Счётчик токенов

Часто задаваемые вопросы

Что такое токен?

Фрагмент текста, с которым работает модель: слово, часть слова или знак. Пробелы тоже учитываются. Например, Hello, world! занимает четыре токена. Для короткого текста ниже результата видно его разбиение; символы, которые занимают несколько токенов, показаны целиком.

Для какой модели этот подсчёт?

Текст считаем токенизатором o200k_base, который используется, например, в GPT-4o. Для Claude и других моделей это только ориентир. Служебные части запроса и ответ модели не учитываем. Текст и каждый файл считаются отдельно.

Как оцениваются изображения и PDF?

Для картинок показываем диапазон по размерам и правилам детализации GPT-4o. Из PDF извлекаем текст и отдельно оцениваем изображения страниц при 72 и 150 DPI. Это условные оценки: обработка у модели может отличаться. Текст со сканов не распознаём; если часть документа не удалось прочитать, отмечаем подсчёт как неполный.

Какие файлы можно добавить?

Текстовые файлы, PNG, JPEG, статический WebP и PDF. Документы Office, архивы, аудио и видео здесь не разбираются — из них можно вставить текст. Файлы читаются только в браузере и никуда не отправляются.

Есть ограничения по объёму?

До пяти файлов общим размером 15 МиБ: текстовый файл — до 1 МиБ, изображение — до 10 МиБ, PDF — до 5 МиБ. Всего до 100 страниц PDF и 262 144 знаков текста, не больше 1 МиБ в UTF-8. Некоторые символы, например эмодзи, учитываются как два. Большой текст считается по кнопке; текст не обрезается.

Сохранится ли результат?

Только если вы его скопируете. При уходе со страницы введённые данные и результат сбрасываются. Никакой истории и хранения на сервере нет.

Методы подсчёта: gpt-tokenizer и правила OpenAI для изображений.