Kontextové okno je pracovní paměť jazykového modelu: všechen text, který model při psaní jedné odpovědi vidí najednou. Patří do něj systémové instrukce nástroje, dosavadní rozhovor, přiložené dokumenty i rozepsaná odpověď a jeho velikost se měří v tokenech.
Jak funguje kontextové okno?
Kontextové okno funguje jako stůl, na který se při každé odpovědi znovu rozloží všechny podklady. Model si mezi zprávami nic nepamatuje: aplikace mu pokaždé pošle celý dosavadní rozhovor znovu a model z něj vychází. Do okna se vejde jen určitý počet tokenů (kousků slov, na které model text dělí). Když se rozhovor nebo dokumenty nevejdou, nástroj musí něco vynechat, obvykle nejstarší zprávy, nebo je zkrátí do souhrnu. Velikost okna se liší podle modelu a nástroje a výrobci ji uvádějí ve své dokumentaci.
Čím se kontextové okno liší od paměti a od RAG?
Kontextové okno je krátkodobé: platí jen pro jeden rozhovor a po jeho skončení zmizí. Funkce paměti v chatbotech ukládá vybrané údaje mimo rozhovor a do okna je vkládá znovu. RAG zase z velké sbírky dokumentů vyhledá jen relevantní úryvky a vloží do okna je, ne celou sbírku. Okno samo je tedy vždy omezené, paměť i RAG jen chytře vybírají, co se do něj dostane. Od trénovacích dat se liší tím, že model se z okna nic trvale nenaučí.
Jaký je nejčastější omyl o kontextovém okně?
Nejčastější omyl zní: co je v okně, to model spolehlivě použije. V dlouhém kontextu ale model může některé údaje přehlédnout a pak může doplnit vymyšlenou odpověď, tedy halucinaci. Velké okno proto pomáhá, ale nenahrazuje jasné zadání a kontrolu.
K čemu se kontextové okno hodí v práci?
- Zástupkyně ředitele: přiloží současnou směrnici o praxích, návrh změn a připomínky vedoucích oborů a nechá hledat rozpory mezi nimi. Všechny tři podklady musí být v okně současně.
- Projektová manažerka: v jednom rozhovoru postupně ladí plán projektu a nemusí v každé zprávě opakovat termíny, protože jsou v okně z dřívějška.
- Účetní: u dlouhé smlouvy se ptá na konkrétní ustanovení. Když je smlouva delší, než okno pojme, rozdělí ji na části.
Příklad zadání
Personalista chce porovnat dva dlouhé dokumenty a ví, že v dlouhém rozhovoru se starší podklady mohou ztratit, proto začíná nový rozhovor.
V novém rozhovoru ti posílám dva dokumenty: <PRACOVNI_RAD> a <NAVRH_ZMEN>. Porovnej je a vypiš každou změnu jako odrážku: číslo článku, původní znění, nové znění. Cituj jen text, který v dokumentech skutečně je. Když článek nenajdeš, napiš "nenalezeno", nic nedoplňuj.
Model vrátí seznam změn s citacemi. Zkontrolujte namátkou tři citace proti originálu a ověřte, že v seznamu nechybí žádný článek, který se změnil.
Na co si u kontextového okna dát pozor?
- U dlouhého rozhovoru na nové téma založte nový rozhovor a klíčové podmínky do něj vložte znovu, místo abyste spoléhali na zprávy z doby před hodinou.
- Když model „zapomene“ pokyn ze začátku, zopakujte ho v aktuální zprávě. Je to znak, že se rozhovor do okna už nevejde celý.
- Podklady označte (například <SMERNICE>, <PRIPOMINKY>) a v zadání se na ně odvolávejte jménem, model je pak méně plete.
- Výstup z dlouhých dokumentů ověřujte v originále, hlavně čísla, data a jména.
Časté otázky
Jak velké kontextové okno mají ChatGPT a Gemini?
Velikost se liší podle modelu, verze i předplatného a mění se s každou novou verzí. Aktuální údaj najdete v dokumentaci výrobce, například u Gemini na stránce Long context v dokumentaci Google AI.
Co se stane, když kontextové okno přetečete?
Nástroj buď nahlásí, že je zpráva nebo soubor příliš dlouhý, nebo tiše vynechá či zkrátí nejstarší části rozhovoru. Model pak s vynechaným textem nepracuje, i když ho stále vidíte na obrazovce.
Pamatuje si AI, co jsem psal včera?
V rámci kontextového okna ne, každý nový rozhovor začíná s prázdným oknem. Výjimkou jsou funkce paměti nebo projekty, které vybrané údaje do nového rozhovoru vkládají samy.