Zkreslení (bias) je systematická chyba, kvůli které AI opakovaně zvýhodňuje nebo znevýhodňuje určité skupiny lidí, názory nebo možnosti. Vzniká hlavně tím, že model přebírá nepoměry a stereotypy z dat, na kterých se učil, a z rozhodnutí lidí, kteří ho stavěli.
Jak vzniká zkreslení v AI?
Zkreslení vzniká hlavně v datech, ze kterých se model učí. Jazykový model se učí z obrovského množství textů a přebírá z nich, co se v nich často opakuje, včetně nepoměrů. Když se v textech zdravotní sestra objevuje skoro vždy jako žena a technik jako muž, model tyto vazby považuje za normální a reprodukuje je. Hlavní zdroje jsou tři:
- Výběrové zkreslení (zkreslení vzorku): v trénovacích datech jsou některé skupiny, jazyky nebo země zastoupené mnohem víc než jiné. Čeština a česká realita jsou v nich menšinou.
- Historické zkreslení: data věrně zachycují minulost, včetně jejích nespravedlností. Model pak „spravedlivě“ zopakuje nespravedlivý stav.
- Lidská rozhodnutí: co se do dat zařadí, jak se označí a jak se model doladí, rozhodují lidé se svými předpoklady.
Na zkreslení se nedá podívat přímo, projevuje se až ve výsledcích, a to opakovaně, ne náhodně.
Čím se zkreslení liší od halucinace?
Zkreslení je systematický posun, halucinace je vymyšlený fakt. Halucinace se dá ověřit: formulář, citace nebo zákon buď existuje, nebo ne. Zkreslený výstup může obsahovat jen pravdivé věty, a přesto být nespravedlivý, protože některé možnosti vynechává nebo některé lidi soustavně hodnotí hůř. Proto ho jednorázová kontrola faktů neodhalí, pozná se až při porovnání více výstupů.
Jaký je nejčastější omyl o zkreslení?
Častý omyl je, že počítač je neutrální, protože nemá názory. Model nemá vlastní názor, ale má statistiku dat, a ta neutrální není. Druhý omyl je, že zkreslení odstraní věta „buď nestranný“ v zadání. Pomůže jen částečně, protože model sám nepozná, kde se mýlí.
Kde se zkreslení projeví v práci?
- Personalistka: nechá AI seřadit životopisy a ta může upřednostnit uchazeče s typickou kariérou a lidi s přerušením kvůli rodičovské dovolené posunout níž.
- Výchovný poradce: AI může dívce se zájmem o elektroniku doporučit spíš pečující obory a chlapci se stejnými zájmy elektrotechniku.
- Učitel: při hodnocení s AI může model hůř hodnotit správné odpovědi napsané méně spisovnou češtinou.
- Marketér: obrázky z generativní AI často zobrazují „ředitele“ jako muže středního věku.
Příklad zadání
Výchovný poradce si ověřuje, jestli doporučení AI nezávisí na pohlaví žáka.
Navrhni pět studijních oborů pro žáka 9. třídy, kterého baví matematika a opravy elektroniky. Doporučení zdůvodni jen zájmy a dovednostmi žáka. Neuváděj ani nepředpokládej pohlaví, původ ani sociální zázemí.
Poradce stejné zadání pošle dvakrát, jednou o žákovi a jednou o žákyni, a obě odpovědi porovná. Když se liší, je to zkreslení a doporučení z AI je jen podklad, ne rada.
Na co si u zkreslení dát pozor?
- Dělejte párový test. Zadání zopakujte se změněným jménem, pohlavím nebo věkem a porovnejte výsledky.
- Hledejte, co chybí. Zkontrolujte, které skupiny lidí, názory nebo možnosti ve výstupu nejsou.
- Rozhodnutí o lidech nenechávejte na AI. U přijímání, hodnocení a doporučení studia je AI jen podklad, konečné slovo a odpovědnost má člověk.
- Ptejte se na důvody. Chtějte zdůvodnění u každého doporučení a ověřte, zda vychází z faktů, ne z obecných představ.
Časté otázky
Jak se zkreslení řekne anglicky?
Anglicky bias, v souvislosti s AI se mluví o AI bias nebo algorithmic bias. Česky se používá také slovo předpojatost.
Co je výběrové zkreslení?
Výběrové zkreslení (zkreslení vzorku) nastane, když data nepředstavují celek, o kterém se z nich usuzuje. U AI to znamená, že se model učil hlavně na některých skupinách a o ostatních ví méně nebo zkresleně.
Dá se zkreslení z AI úplně odstranit?
Úplně ne. Výrobci ho zmírňují výběrem dat a laděním modelu, ale nějaké zkreslení zůstává, proto je potřeba výstupy, které se týkají lidí, kontrolovat.