Velký jazykový model (LLM, z anglického Large Language Model) je neuronová síť natrénovaná na obrovském množství textu tak, aby k zadanému textu odhadla nejpravděpodobnější pokračování. Odpověď skládá postupně po malých kouscích textu (tokenech) a právě tímto opakovaným odhadováním umí psát, shrnovat, překládat i odpovídat na otázky.
Jak funguje velký jazykový model?
Velký jazykový model dělá pořád jednu věc: odhaduje, jaký token má následovat. Token je kousek slova, celé slovo nebo interpunkce. Model vezme vaše zadání, spočítá pravděpodobnosti pro možné pokračování, jedno vybere, připojí ho k textu a celý postup opakuje, dokud odpověď nedokončí.
Aby to fungovalo, prochází model několika fázemi:
- Předtrénování: neuronová síť s miliardami nastavitelných čísel (parametrů) čte obrovské množství textu a učí se odhadovat další slovo. Tím si osvojí gramatiku, styl i spoustu faktů a souvislostí.
- Doladění: model se dál učí na příkladech dobrých odpovědí a na hodnocení od lidí (RLHF), aby plnil pokyny a choval se jako užitečný asistent.
- Používání (inference): model už se neučí, jen podle naučeného generuje odpověď na váš dotaz. Vidí přitom jen to, co se vejde do jeho kontextového okna.
Přirovnání: je to jako velmi zkušený doplňovač textu, který přečetl víc, než by člověk stihl za mnoho životů. Neví ale, co je pravda, ví jen, co obvykle následuje.
Jaký je rozdíl mezi velkým jazykovým modelem a ChatGPT?
Velký jazykový model je jádro, ChatGPT, Claude nebo Gemini jsou aplikace postavené kolem něj. Aplikace k modelu přidává rozhraní, paměť konverzace, hledání na webu, práci se soubory nebo tvorbu obrázků. Proto stejná otázka může v aplikaci s hledáním dopadnout lépe než u samotného modelu, který zná jen to, co bylo v tréninkových datech.
Jaký je nejčastější omyl o velkém jazykovém modelu?
Častý omyl je, že model si odpovědi vyhledává v nějaké databázi. Ve skutečnosti text generuje z naučených vzorců. Proto umí plynule napsat i něco, co neexistuje, například neexistující paragraf nebo knihu. Tomu se říká halucinace a nejde ji úplně odstranit, jen omezit, třeba tím, že model pracuje s vámi dodaným dokumentem.
K čemu se velký jazykový model hodí v práci?
- Výchovný poradce: převede úřední pokyny k odborným praxím do srozumitelného textu pro žáky prvního ročníku a výsledek porovná s originálem.
- Úředník: nechá z dlouhého zápisu z jednání vytáhnout usnesení, termíny a odpovědné osoby.
- Marketérka: nechá přepsat jeden text do tří tónů pro web, newsletter a sociální sítě.
- Asistentka ředitele: připraví návrh odpovědi na stížnost, kterou pak sama upraví a podepíše ředitel.
Příklad zadání
Úřednice potřebuje převést odborný text do srozumitelné podoby pro veřejnost.
Přeformuluj tento text vyhlášky tak, aby mu rozuměl běžný občan. Zachovej všechny termíny, částky a povinnosti. Odborné výrazy vysvětli v závorce. Nic nepřidávej a nic nevynechávej. Na konci vypiš seznam termínů a částek, které text obsahuje. [vložený text]
Seznam na konci slouží ke kontrole: porovnejte ho s originálem a ověřte, že model žádný termín nezměnil ani nevynechal.
Na co si u velkého jazykového modelu dát pozor?
- Plynulý text není správný text. Fakta, čísla a citace ověřte v původním zdroji.
- Model nemusí znát aktuální stav. Jeho znalosti končí datem tréninku, pokud aplikace nehledá na webu.
- Pozor na data, která vkládáte. Osobní a důvěrné údaje dávejte jen do nástroje, který vaše organizace pro takové použití schválila.
Časté otázky
Jak je trénovaný velký jazykový model?
Nejdřív se učí odhadovat další slovo na obrovském množství textů, potom se dolaďuje na ukázkových odpovědích a hodnocení od lidí. Až pak se dává k používání.
Je velký jazykový model totéž co umělá inteligence?
Ne. Je to jeden druh generativní AI, která je zase součástí širšího oboru umělé inteligence.