Constitutional AI je metoda firmy Anthropic, jak naučit jazykový model bezpečnému a užitečnému chování podle sepsaného souboru zásad, takzvané ústavy. Místo toho, aby lidé ručně hodnotili tisíce škodlivých odpovědí, model sám podle zásad kritizuje a přepisuje své odpovědi a hodnocení podle ústavy pak slouží k jeho doladění.
Jak funguje Constitutional AI?
Constitutional AI probíhá podle Anthropicu ve dvou fázích. V první fázi (učení s dohledem) model odpoví na záludný dotaz, pak dostane jednu ze zásad ústavy, sám svou odpověď zkritizuje a přepíše ji. Na těchto opravených odpovědích se model doladí. Ve druhé fázi model porovnává dvojice odpovědí a podle zásad určuje, která je lepší. Z těchto hodnocení vzniká zpětná vazba, kterou Anthropic nazývá učení z AI zpětné vazby (RLAIF, reinforcement learning from AI feedback).
Rozdíl proti klasickému postupu je v tom, odkud pochází měřítko. U běžného učení z lidské zpětné vazby je měřítkem vkus hodnotitelů, který nikde není sepsaný. U Constitutional AI je měřítkem text zásad, který si lze přečíst. Obecný cíl, tedy aby model dělal, co lidé opravdu chtějí, popisuje heslo sladění AI s lidskými hodnotami; Constitutional AI je jeden konkrétní nástroj, jak ho dosáhnout.
K čemu je Constitutional AI dobré znát v práci?
- Správce IT: při posuzování nástroje si přečte zveřejněné zásady, podle kterých se model Claude chová, a porovná je s pravidly organizace.
- Úřednice: rozumí, proč model místo prostého odmítnutí vysvětlí, co udělat nemůže a proč; Anthropic uvádí, že metoda vede k méně vyhýbavým odpovědím.
- Metodik vzdělávání: použije princip ústavy jako inspiraci pro vlastní systémový prompt s jasnými zásadami pro firemního asistenta.
Příklad zadání
Marketérka si vypůjčí princip sebekritiky podle zásad, aby text kampaně prošel vlastní kontrolou.
Napiš text letáku na kurz pro seniory. Pak ho zkontroluj podle těchto zásad: 1) žádné sliby, které nemůžeme doložit, 2) žádný nátlak typu "jen dnes", 3) srozumitelné bez cizích slov. U každé zásady napiš, zda ji text splňuje, a nakonec dej opravenou verzi.
Model text napíše, zhodnotí ho a přepíše. Zkontrolujte, zda opravená verze zásady opravdu plní; model sám sebe hodnotí shovívavě.
Na co si u Constitutional AI dát pozor?
- Ústava není zákon. Jde o vnitřní zásady výrobce, ne o právní normu; povinnosti z AI Actu neřeší.
- Zásady nezaručují výsledek. Model se podle nich učil, ale v konkrétní odpovědi je může porušit. Výstupy dál ověřujte.
- Hodnoty si někdo vybral. Text ústavy napsal výrobce; přečtěte si ho, než nástroj nasadíte pro citlivou agendu.
Časté otázky
Jaký je rozdíl mezi Constitutional AI a RLHF?
RLHF bere hodnocení odpovědí od lidí, Constitutional AI nechává odpovědi hodnotit model podle sepsaných zásad. Lidé tak méně čtou škodlivý obsah a měřítko je průhlednější.
Znamená Constitutional AI, že lidé do tréninku nevstupují?
Ne. Lidé píšou samotné zásady, volí, co se do ústavy dostane, a výsledné chování modelu testují. Metoda jen výrazně snižuje počet ručních hodnocení odpovědí, které by jinak museli lidé dělat.
Používá se Constitutional AI u Clauda?
Ano, Anthropic metodu vyvinul a zveřejňuje ústavu, která popisuje, jak se má Claude chovat. Jiní výrobci používají vlastní postupy.