MALONI

Bezpečnost a governance pro enterprise AI

Compliance guardrails pro multimodální asistenty: 7 kontrolních mechanizmů

Publikováno 9. října 2025 · Kategorie: Enterprise governance

Představujeme sedm kontrolních mechanizmů, které chrání multimodální asistenty nasazené v enterprise. Obsahová bezpečnost, ochrana identity, auditní logy a reakce na incidenty.

English summary

Seven guardrails for multimodal assistants: input sanitization, content safety, identity verification, data minimization, human escalation, forensic logging, and automated evaluations. Proven in regulated industries by Maloni.

1. Sanitace vstupů a multimodálních dat

Multimodální asistenti přijímají text, audio i obraz. Každý vstup proto před zpracováním prochází kontrolou velikosti, formátu a obsahu. Nasazujeme kombinaci Azure Content Moderatoru, vlastní heuristiky a blacklistu.

  • Automatické odstranění metadat, která mohou obsahovat osobní údaje (EXIF, IPTC).
  • Klasifikace vstupu podle rizikové úrovně a přesměrování na specialistu při podezření na citlivý obsah.

2. Ověření identity a kontextu

Každá seance asistenta má přidělený identifikátor uživatele, role a účel. Integrace s IAM systémy (Azure AD, Entra) zajišťuje, že agent zpracovává jen kontext, ke kterému má uživatel oprávnění.

Implementujeme policy-as-code – guardrail, který zablokuje odpověď, pokud uživatel vybočí ze schváleného scénáře.

3. Obsahová bezpečnost a automatické evaluace

Každá odpověď asistenta prochází evaluací: toxicita, bias, ochrana osobních údajů a pravdivost. Evaluace běží paralelně s generativní odpovědí, takže uživatel dostává výsledek s minimálním zpožděním.

Výsledky se ukládají do audit logu, který vizualizujeme v compliance dashboardu s KPI metrikami.

4. Data minimization & retention

Požadavky a odpovědi uchováváme pouze po nezbytně nutnou dobu. Guardrail kontroluje, zda se logy neukládají s osobními údaji v plaintextu a zda je nastavená správná retenční politika.

5. Human-in-the-loop a eskalace incidentů

Pokud guardrail označí interakci jako rizikovou, přepne asistenta do režimu human-in-the-loop. Incident se loguje do ticket systému a odpovědný tým dostává notifikaci ve Slacku. Orchestrátor automaticky přesměruje konverzaci na specialistu s potřebnou autorizací.

6. Forenzní auditní logy

Každá interakce ukládá strukturovaný log s identitou uživatele, promptem, nástroji, evaluací i zásahy člověka. Logy se replikují do SIEM řešení a jsou dostupné pro interní i externí audit.

7. Runbooky a cvičení

Guardrails podporujeme runbooky, které popisují, jak reagovat na incidenty, bias nálezy i technické výpadky. Každý kvartál děláme tabletop cvičení se stakeholdery.

Další související obsah: GDPR-ready architektura a integrace ChatGPT Apps SDK.

Související články