← Fogalomtár
Fogalom
Tokenizer (tokenizáló)
Az a komponens, amely a szöveget tokenekre bontja, mielőtt a modell feldolgozná. A különböző tokenizálók eltérően darabolják ugyanazt a szöveget.
Analógia
Mint egy kiadványszerkesztő sortörési logikája: nem ugyanott vágja el a szöveget minden rendszer, és ez hatással van a végeredményre.
Miért fontos?
Ez közvetlenül befolyásolja a token-számot, az árazást és a kontextusablak kihasználását. Nem-fejlesztőként azért fontos, mert ugyanaz a dokumentum különböző rendszerekben más költséget és más viselkedést eredményezhet.