← Fogalomtár
Fogalom
Token
A legkisebb szövegegység, amelyet az AI feldolgoz. Hozzávetőleg 1 token ≈ 0,75 szó magyarul.
Analógia
Mint a szótagok a beszédben – a modell nem szavakat, hanem kisebb darabokat olvas.
Miért fontos?
Az árazás és a kontextusablak korlátja tokenben mérődik. Ha ezt értjük, tudjuk becsülni a költségeket és megértjük, miért felejti el a modell a hosszú beszélgetések elejét.