Minimální povinná výbava – Kde ve firmě končí nadšení z AI a začíná odpovědnost

Řada firem zavádí umělou inteligenci rychleji, než si stihnou zodpovědět otázku, kdo za ni interně odpovídá. Sledují sice pečlivě regulaci, ale vnitřní pravidla, procesy a jasně přiřazená odpovědnost související s užíváním AI ve firmě chybí… A právě tak vznikají skutečné problémy. Shrnuli jsme proto základní minimum, na co v rámci AI governance ve firmě dbát.

Nejnákladnější selhání spojená s nasazením umělé inteligence v posledních letech nevznikla z nezvládnuté technologie, ale právě z absence vnitřní kontroly jejího užívání.

Většina diskusí o umělé inteligenci a právu se soustředí na evropský AI Act. Samotné nařízení vám však ve firmě neodpoví na otázky, které řešíte každý den: který nástroj a jak smí používat vaše HR oddělení, můžete do veřejného chatbota vložit záznam z jednání s klientem, nebo kdo rozhoduje o tom, že AI systém smí samostatně zpracovávat vaše objednávky? Tato pravidla si musí každá organizace nastavit sama.

Firmy přitom většinou dobře vědí, jaké předpisy na ně dopadají. Co ale často chybí, jsou právě vnitřní struktury a mantinely, které by regulaci převedly do praxe: závazná pravidla, schvalovací procesy a konkrétní osoby nesoucí odpovědnost. Podle mezinárodního profesního sdružení ISACA, zaměřeného na správu informačních technologií, audity, řízení rizik a počítačovou bezpečnost, mají pouze čtyři z deseti organizací formální a komplexní politiku v oblasti umělé inteligence. Třicet procent má zavedená pouze omezená pravidla a čtvrtina nemá vůbec žádná.

Přitom nasazením umělé inteligence se odpovědnost nepřenáší na technologii ani na jejího dodavatele. Zůstává u vás ve firmě a odpovědné je i vedení. Péče řádného hospodáře totiž vyžaduje jednat informovaně a s potřebnou pečlivostí a přehlížení rizik může znamenat i osobní odpovědnost členů statutárních orgánů. Sankce podle AI Actu mohou dosáhnout až 35 milionů EUR nebo 7 procent celosvětového obratu. Hlavní riziko však představuje ztráta důvěry zákazníků a zaměstnanců a znehodnocení investic do projektů, které je nutné zastavit.

Poučení z chyb

Nejnákladnější selhání spojená s nasazením umělé inteligence v posledních letech nevznikla z nezvládnuté technologie, ale právě z absence vnitřní kontroly jejího užívání. Amazon ukončil vývoj náborového nástroje poté, co se ukázalo, že systematicky znevýhodňuje uchazečky o zaměstnání. Air Canada prohrála spor se zákazníkem, kterému její chatbot sdělil nesprávné podmínky pro refundaci. Soud rozhodl jednoznačně: firma odpovídá za veškeré informace na svých stránkách bez ohledu na to, zda je vytvořil člověk, nebo algoritmus.

Sankce za smyšlené citace judikatury postihly i renomované advokátní kanceláře a poradenské firmy, přestože měly interní pravidla pro používání AI. Pokud totiž kontrola AI u vás ve firmě nemá jasný standard, proškolené vykonavatele a ověřitelný průběh, existuje pouze na papíře.

Inventura

Prvním krokem vnitřní governance není příprava směrnic, ale inventura. Nelze řídit riziko, o kterém nevíte, a skutečný rozsah používání umělé inteligence bývá výrazně širší, než si ve vedení připouštíte.

Shadow AI, tedy používání veřejně dostupných nástrojů bez vědomí zaměstnavatele, přitom zpravidla nevzniká ze snahy obcházet pravidla.

Zaměstnanci si zvykli využívat AI pro shrnutí textů, překlady či analýzu dokumentů, často ještě z doby, kdy jim firma nenabízela žádnou schválenou alternativu. Problém nastává ve chvíli, kdy se tak děje přes osobní účty a mimo jakákoli interní pravidla. Ve firmě pak nevíte, kdo jaký nástroj používá, jaké informace do něj vkládá, kde jsou data uložena a zda mohou být využita k trénování modelů. Nejcitlivější jsou osobní údaje zákazníků a zaměstnanců, důvěrná klientská data, obchodní tajemství nebo zdrojový kód. Možnosti technického dohledu jsou přitom logicky omezené, přístupy ze soukromých zařízení firma monitorovat nedokáže.

Často chybí mantinely, které by regulaci převedly do praxe.

Jak z toho ven? Plošný zákaz funkční řešení nepředstavuje, vede zpravidla jen k přesunu do ještě méně kontrolovaného prostředí. Cestou je ale systematická evidence: zmapujte, jaké nástroje se v organizaci používají, kým, s jakými daty a od jakého dodavatele. Skutečnou odpovědí je tedy nabídnout zaměstnancům bezpečnou a použitelnou alternativu, typicky podnikové verze nástrojů s odpovídajícími smluvními a bezpečnostními garancemi.

Vnitřní governance nemusí být od počátku dokonalá, musí však existovat a být otevřená dalším úpravám. Za minimální výbavu považujeme čtyři prvky.

K tomu je třeba doplnit jednu klíčovou roli: osobu, která vnitřní governance řeší, disponuje mandátem napříč obchodem, IT, compliance i HR a reportuje přímo vedení. V zahraničí se pro tuto pozici vžívá označení Chief AI Officer. Podstatný však není název, ale existence role a její mandát. Nejde o funkci technickou, ale řídicí. A právě tady vnímáme ve firmách největší deficit. Navíc ji teoreticky nemusí zastávat pouze jeden člověk.

AI agenti jako noví členové týmu

Většina firem dnes používá umělou inteligenci v režimu asistenta: systém navrhuje, člověk rozhoduje. Nastupující generace AI agentů však již samostatně plánuje a jedná. Vyhledá informace, komunikuje s dalšími systémy, odešle zprávu nebo spustí navazující proces.

O agentovi je v kontextu governance užitečné přemýšlet stejně jako o novém zaměstnanci. I jemu ve firmě přidělujete jen přístupy, které potřebuje, vymezujete, co smí dělat samostatně a co podléhá schválení, a vedete o jeho činnosti záznamy. S rostoucí autonomií rostou nároky na dohled: pokud agent zasahuje do citlivých rozhodnutí, například v personální oblasti nebo při posuzování úvěrů, podléhá velmi přísnému regulatornímu režimu. V týmech kombinujících lidi a autonomní systémy musí být předem zřejmé, kdo schvaluje výstupy a kdo za ně odpovídá.

Proč se to vyplatí

Vnitřní governance není překážkou inovací, ale důležitým předpokladem jejich udržitelnosti. Firmy s nastavenými pravidly zavádějí nové nástroje rychleji, protože nezačínají u každého projektu od začátku. Prokazatelná governance se navíc stává obchodním argumentem: finanční instituce ji dnes běžně vyžadují od svých dodavatelů a lze očekávat, že obdobné požadavky budou postupně vznášet i další odběratelé. V poslední době se ukazuje funkční AI governance i jako klíčová součást kontroly nákladů na využívání AI a připravenosti na případné výpadky nebo změny konkrétních jazykových modelů.

Stejně jako se před lety stalo standardem řízení kybernetické bezpečnosti nebo ochrany osobních údajů, mělo by se stát standardem i řízení umělé inteligence. Konkurenční výhodou nebude to, kdo AI používá, ale kdo ji dokáže používat řízeně. V příštích letech totiž nebudou nejúspěšnější firmy ty, které AI nasadí jako první, ale ty, které ji dokážou bezpečně začlenit do svého každodenního fungování.

Klíčové kontakty: