Превышен лимит контекста API: длинные чаты, PDF и код

Ошибка context length exceeded или maximum context length обычно означает, что запрос превысил соответствующий лимит контекста. Даже к короткому новому сообщению клиент может добавить всю историю, документы и результаты инструментов.

Не увеличивайте сразу максимальный размер ответа: некоторые интерфейсы учитывают резерв выхода вместе с входом, и ошибка станет ещё вероятнее.

Контекст и размер загрузки — разные ограничения

Признак	Вероятная область
Context length, too many tokens	Число токенов модели или канала
HTTP 413, request too large	Размер тела запроса у шлюза или API
Превышен размер файла	Ограничение загрузки
Долгая обработка и тайм-аут	Время, сеть или обработка запроса

Посредник может изменить текст ошибки, поэтому читайте ответ и документацию. Размер PDF в мегабайтах нельзя напрямую перевести в токены: влияют сканы, извлечение текста и структура файла.

Сделайте короткий запрос в новом диалоге

Сначала сохраните прогресс старой задачи. В новом пустом чате отправьте короткий текст. Если он работает, базовый вызов в этом тесте доступен; изучайте историю и вложения старого запроса.

Проверьте системные инструкции, сообщения, извлечённый текст файлов, код, схемы инструментов, журналы и длинные результаты команд. Видимый текст в поле ввода — лишь часть контекста.

Заявленный максимум модели может превышать лимит посредника или клиента. Проверяйте все три уровня.

Пример бюджета

Предположим, канал разрешает суммарно 32 000 токенов входа и зарезервированного выхода. Вход занимает 29 000, выход запрошен до 4 000: сумма 33 000 превышает предел.

Можно сократить вход или уменьшить допустимый выход, если этого хватает задаче. Реальный интерфейс может иметь дополнительные отдельные ограничения, поэтому пример не заменяет документацию.

Количество символов и токенов не связано постоянным коэффициентом. Используйте счётчик для соответствующей модели, отчёт клиента или данные ошибки и оставляйте запас.

Перенесите длинный диалог через проверенное резюме

В резюме должны быть цель, ограничения, выполненные действия, подтверждённые выводы, открытые вопросы, важные числа и ссылки на файлы, а также следующий шаг.

Проверьте его и перенесите в новый диалог. Сохраните оригиналы: резюме может потерять деталь. Для договоров, расчётов и изменений кода при необходимости прикрепляйте точные исходные фрагменты.

Если запрос на резюме уже не проходит, сократите историю или подготовьте сводку вручную.

Разбейте документ по структуре

Делите по разделам и абзацам, добавляйте номера частей и страницы. При необходимости оставляйте небольшое перекрытие на границах, чтобы не отделить условие от исключения.

Для каждой части получите выводы, ссылки на исходные места и неясности. После объединения проверьте межраздельные выводы по оригиналу. Простая склейка резюме не гарантирует целостности анализа.

Поиск отдельных фрагментов полезен для локальных вопросов, но полная проверка или статистика по документу требуют охвата всего материала.

Сократите материалы проекта

Передавайте относящиеся к задаче файлы, точную ошибку, необходимые связи и настройки. Исключайте зависимости, результаты сборки, повторные файлы и старые журналы.

В логах оставляйте исходную ошибку, полезный стек и шаги воспроизведения. Ограничьте длинные списки, возвращаемые инструментами. Увеличение контекста без ограничения задачи может повысить расходы.

Поможет модель с большим контекстом? Только при поддержке клиентом и каналом; лимит размера загрузки этим не устраняется.

Достаточно удалить сообщения? Клиент может по-прежнему добавлять документы или данные рабочего пространства. Нужна проверка фактического запроса.

Далее: обрывы потокового ответа и диагностика подключения.