Token je kousek textu, se kterým jazykový model počítá: celé slovo, část slova, mezera s písmeny nebo interpunkční znaménko. Než model text zpracuje, rozdělí ho na tokeny a každému přiřadí číslo ze svého slovníku, takže model ve skutečnosti nečte slova, ale řadu čísel.
Jak funguje token v AI?
Token vzniká rozdělením textu nástrojem, kterému se říká tokenizátor (tokenizer). Ten má pevný slovník úseků textu, které se v trénovacích datech často opakovaly. Časté krátké slovo bývá jeden token, delší nebo méně obvyklé slovo se rozpadne na několik kusů. Postup má čtyři kroky:
- Věta. Napíšete zadání nebo vložíte dokument.
- Rozdělení. Tokenizátor text rozseká na úseky ze svého slovníku.
- Čísla. Každý úsek nahradí jeho pořadové číslo ve slovníku.
- Model. Jazykový model zpracuje řadu čísel a odpověď skládá zase po tokenech, jeden za druhým.
Proto se v tokenech měří i kapacita, kterou model najednou zvládne, takzvané kontextové okno, a u placených služeb často i cena.
Čím se token liší od slova?
Token je jednotka modelu, slovo je jednotka jazyka. Jedno slovo může být jeden token i několik tokenů a do tokenů se počítají i mezery a znaménka. Každý model má vlastní tokenizátor, takže stejný text má u různých modelů různý počet tokenů. Tokenizátory mnoha modelů jsou stavěné hlavně na angličtinu, proto se stejný text v češtině obvykle rozpadne na víc tokenů než v angličtině.
Jaký je nejčastější omyl o tokenech?
Častý omyl je, že počet tokenů jde spolehlivě přepočítat na slova nebo strany jedním poměrem. Poměr závisí na jazyce, druhu textu (tabulka, kód, běžná řeč) i na modelu. Přesný počet ukáže jen nástroj daného poskytovatele, který text skutečně rozdělí. S tokeny souvisí i zvláštní chyby: model, který nevidí jednotlivá písmena, ale celé kousky slov, může chybovat při počítání písmen nebo přesmyčkách.
K čemu se znalost tokenů hodí v práci?
- Projektová manažerka: vloží do chatu tři dlouhé zápisy z porad a model začne zapomínat začátek. Ví, že narazila na limit tokenů, a zpracuje zápisy po jednom.
- Správce IT: odhaduje náklady na napojení firemní aplikace přes API, kde se platí za vstupní a výstupní tokeny, a proto zkracuje opakované pokyny.
- Zástupkyně ředitele: porovnává dvě verze školního řádu. Místo celých dokumentů vkládá odpovídající oddíly postupně, aby se žádná pasáž neztratila.
Příklad zadání
Asistentka potřebuje shrnout dlouhou smlouvu a chce mít jistotu, že model nic nevynechá.
Posílám první ze tří částí smlouvy (články 1 až 6). Shrň každý článek ve dvou větách a vypiš všechny termíny a částky. Na konci napiš, kterým článkem část končí. Další části pošlu v samostatných zprávách, zatím nic nespojuj.
Model dostane menší díl, který se bezpečně vejde do jeho kapacity. Zkontrolujte, jestli shrnutí obsahuje všechny články a jestli termíny a částky sedí s originálem.
Na co si u tokenů dát pozor?
- Dlouhé dokumenty dělte. Když je text delší, než model pojme, nástroj ho zkrátí nebo začátek „zapomene“. Posílejte ho po oddílech.
- Počet tokenů si změřte. Pro odhad nákladů použijte počítadlo tokenů od poskytovatele, ne přepočet ze slov.
- Ověřujte detaily. Přijetí dokumentu nezaručuje, že model zachytil každou podrobnost. Důležité údaje kontrolujte v původním textu, model si jinak může doplnit halucinaci.
Časté otázky
Co je tokenizace?
Tokenizace je rozdělení textu na tokeny, které provádí tokenizátor ještě předtím, než text dostane jazykový model. Stejný proces běží i opačně, když model skládá odpověď.
Co znamenají tokeny v AI službách?
U AI služeb se tokeny používají jako měrná jednotka: v tokenech se udává, kolik textu model najednou pojme, a u placeného přístupu přes API také cena za zpracovaný text.
Má token v AI něco společného s kryptoměnami?
Nemá. Slovo token se používá i pro digitální aktiva nebo přihlašovací kódy, ale token v AI je jen kousek textu, se kterým počítá jazykový model.