Halucinace je odpověď AI, která zní věrohodně a sebejistě, ale obsahuje nepravdivou nebo vymyšlenou informaci, například neexistující knihu, citaci, paragraf nebo formulář. Vzniká proto, že jazykový model skládá text podle toho, co obvykle následuje, a ne podle ověřené databáze faktů.
Proč vznikají halucinace?
Halucinace vznikají z toho, jak jazykový model pracuje. Model nevyhledává odpověď v databázi, ale po kouscích textu (tokenech) odhaduje, co nejpravděpodobněji následuje. Většinou to vede ke správné odpovědi, protože správná fakta jsou v datech častá. Když ale fakt v datech chybí, je vzácný nebo je otázka hodně konkrétní, model doplní něco, co jen vypadá jako správná odpověď: věrohodné jméno autora, číslo paragrafu nebo název formuláře. Model přitom nemá spolehlivý vnitřní signál „tohle nevím“, proto vymyšlenou odpověď podá stejně sebejistě jako pravdivou.
Halucinace jsou nejčastější u přesných údajů: citací, odkazů, dat, čísel, jmen, názvů předpisů a u otázek na málo známá česká témata.
Čím se halucinace liší od zkreslení?
Halucinace je jednotlivý vymyšlený údaj, zkreslení je systematický posun ve prospěch nebo neprospěch některých skupin. Halucinaci odhalíte ověřením faktu ve zdroji. Zkreslený text může být fakticky správný, a přesto jednostranný, a pozná se až porovnáním více odpovědí.
Jaký je nejčastější omyl o halucinacích?
Častý omyl je, že halucinace je chyba, kterou výrobci brzy opraví, nebo že stačí napsat „nic si nevymýšlej“. Takový pokyn halucinace sníží, ale nevyloučí. Druhý omyl je, že uvedený zdroj odpověď potvrzuje. AI umí vymyslet i odkaz, nebo cituje skutečný zdroj, který o věci mluví jinak.
Kde halucinace v práci hrozí?
- Asistentka ve školní kanceláři: AI v dopise rodiči uvede neexistující formulář k přestupu žáka jako povinný.
- Úředník: AI odcituje paragraf zákona, který říká něco jiného, nebo ho vůbec nemá.
- Lektorka: v seznamu doporučené literatury je kniha se skutečným autorem, ale vymyšleným názvem.
- Účetní: AI shrne smlouvu a doplní lhůtu splatnosti, která ve smlouvě není.
Příklad zadání
Personalistka chce shrnutí interní směrnice a potřebuje vědět, odkud každý údaj pochází.
Odpovídej pouze podle přiložené směrnice o home office. Ke každému tvrzení uveď číslo článku, ze kterého vychází. Pokud směrnice odpověď neobsahuje, napiš „ve směrnici není“ a nic nedoplňuj. Otázka: Kolik dní home office měsíčně může zaměstnanec čerpat a kdo ho schvaluje?
Odpověď opřená o vložený dokument halucinuje méně, na tom stojí i RAG. Personalistka přesto otevře uvedené články a ověří, že tam údaje opravdu jsou.
Na co si u halucinací dát pozor?
- Ověřujte přesné údaje. Jména, čísla, data, citace a paragrafy dohledejte v původním dokumentu nebo oficiálním zdroji.
- Otevřete každý odkaz. Zkontrolujte, že zdroj existuje a říká to, co AI tvrdí.
- Dávejte AI podklady. Vložte dokument a chtějte odpověď jen z něj, s odkazem na místo v textu.
- Povolte odpověď „nevím“. Napište do zadání, že když údaj nezná, má to říct.
- Hlídejte dlouhé konverzace. Když konverzace přesáhne kontextové okno, model starší části nevidí a může je domýšlet. Začněte novou konverzaci.
Časté otázky
Jak se halucinace AI řekne anglicky?
Anglicky AI hallucination. Někteří odborníci dávají přednost slovu konfabulace, používá ho například americký Národní institut pro standardy a technologie (NIST) ve svém rámci pro rizika generativní AI.
Halucinují všechny chatboty?
Ano, halucinovat může každý jazykový model. Napojení na hledání na webu je může omezit, ale správnost nezaručuje. A ani novější model nemusí halucinovat méně.
Jak poznám, že AI halucinuje?
Z textu samotného většinou ne, protože vymyšlená odpověď zní stejně jistě jako pravdivá. Spolehlivé je jen ověření údaje v nezávislém zdroji.