Токен token
Минимальный кусок текста, с которым работает LLM. Часто часть слова. В токенах считаются цены и лимиты.
// по-человечески1M токенов ≈ 750 000 слов ≈ 1500 страниц.
Минимальный кусок текста, с которым работает LLM. Часто часть слова. В токенах считаются цены и лимиты.