Ověřování výstupů AI je kontrola, zda odpověď umělé inteligence souhlasí se skutečností, s vašimi podklady a se zadáním, než ji použijete. Nejde o pravopis, ale o správnost faktů, čísel, citací, zdrojů a závěrů, protože jazykový model píše přesvědčivě i tehdy, když se mýlí.
Proč je ověřování výstupů AI nutné?
Ověřování je nutné, protože jazykový model netvoří odpověď z ověřené databáze, ale odhaduje nejpravděpodobnější pokračování textu. Většinou tak vznikne správná odpověď, občas ale model doplní údaj, který zní věrohodně a neexistuje. Tomu se říká halucinace. Nejrizikovější jsou přesně ta místa, kterým lidé věří nejvíc: konkrétní data, jména, čísla paragrafů, citace a odkazy na studie. Chybu navíc nepoznáte podle stylu: vymyšlená věta je napsaná stejně sebejistě jako pravdivá.
Jak se ověřuje výstup AI?
Výstup AI se ověřuje po tvrzeních, ne jako celek. Osvědčený postup má čtyři kroky:
- Rozložte text na tvrzení. Vypište si, co odpověď konkrétně tvrdí: údaje, data, jména, příčiny, doporučení.
- Ověřte tvrzení ve zdroji. Každé důležité tvrzení dohledejte v původním podkladu nebo v důvěryhodném zdroji: v zákoně, oficiální dokumentaci, vlastní tabulce. Když AI uvádí odkaz, otevřete ho a přečtěte, zda opravdu říká to, co mu AI připisuje.
- Přepočítejte čísla. Součty, procenta a průměry spočítejte znovu, nejlépe v tabulkovém procesoru.
- Porovnejte se zadáním a rozhodněte. Zkontrolujte, zda odpověď splnila všechny body zadání a nic nepřidala. Pak ji opravte, použijte, nebo zahoďte.
Čím vážnější důsledky by chyba měla, tím důkladněji ověřujte. Shrnutí pro vlastní potřebu stačí projít zběžně, podklad pro rozhodnutí o lidech nebo penězích vyžaduje projít každé tvrzení.
Jaký je nejčastější omyl při ověřování výstupů AI?
Nejčastější omyl je požádat AI, ať svou odpověď zkontroluje sama, a považovat to za ověření. Model může chybu opravdu najít, ale stejně tak ji může potvrdit nebo nahradit jinou, protože nemá přístup ke skutečnosti, jen ke stejnému textu. Druhý omyl je spoléhat na odkazy v odpovědi: i nástroj, který vyhledává na webu, jako Perplexity nebo hloubkový výzkum, může zdroj citovat nepřesně. Odkaz je místo, kde ověřování začíná, ne důkaz.
Kdy ověřování výstupů AI potřebujete v práci?
- Třídní učitel: AI z poznámek připraví zprávu o projektu pro vedení a označí plánovanou exkurzi za uskutečněnou. Při porovnání s poznámkami chybu opraví.
- Úředník: AI v odpovědi občanovi cituje paragraf. Úředník ho otevře v platném znění zákona a zjistí, že číslo odstavce nesedí.
- Účetní: AI shrne výdaje za čtvrtletí. Účetní přepočítá součty v tabulce a najde vynechanou položku.
- Marketér: AI uvede v článku statistiku o trhu. Marketér dohledá původní studii, a když ji nenajde, číslo z textu vyškrtne.
Příklad zadání
Personalistka chce, aby jí AI usnadnila kontrolu shrnutí interní směrnice. Zadání nenahrazuje ověření, ale ukáže, kde začít.
Níže je směrnice o home office a tvé shrnutí. Vypiš každé tvrzení ze shrnutí jako samostatný bod. Ke každému bodu doslova ocituj větu ze směrnice, o kterou se opírá. Pokud takovou větu ve směrnici nenajdeš, napiš NENALEZENO. Nic nedoplňuj z obecných znalostí.
Výsledkem je seznam tvrzení s citacemi. Body označené NENALEZENO ze shrnutí odstraňte. U ostatních si ve směrnici ověřte, že citovaná věta opravdu existuje a říká totéž.
Na co si při ověřování výstupů AI dát pozor?
- Plynulý text svádí k důvěře. Čím hladší odpověď, tím snáz přehlédnete vymyšlený detail. Ověřujte konkrétní tvrzení, ne dojem.
- Vynechané je stejně nebezpečné jako vymyšlené. Zkontrolujte i to, co ve shrnutí chybí, typicky výjimky a podmínky.
- Odbornou věc nechte posoudit odborníka. U právních, zdravotních a finančních témat přizvěte člověka, který obor zná.
Časté otázky
Pomůže, když AI zadám, ať nevymýšlí?
Částečně. Pokyn odpovídat jen z dodaných podkladů a přiznat, když odpověď nezná, chyby omezí, ale neodstraní. Ověření tím neodpadá.
Jaký je rozdíl mezi ověřováním výstupu a detektorem AI textu?
Ověřování zjišťuje, zda je obsah pravdivý a správný. Detektor AI textu se pokouší odhadnout, zda text napsal člověk, nebo stroj, o správnosti neříká nic.