Пустой ответ LLM API? Причины и решения
Когда появляется ошибка пустого ответа LLM API, сервер обычно ответил, а пустая строка возникает из-за способа чтения ответа. Вот чек-лист, упорядоченный по частоте возникновения причин.
ОбновленоUnfiltered AI

Ключевые моменты
- Сначала распечатайте сырой JSON. Большинство пустых ответов — это проблема парсинга, а не сбой сервиса.
- Проверьте finish_reason: length, stop и tool_calls — каждое значение объясняет пустое поле content.
- В потоках читайте delta.content осторожно и пропускайте чанки без choices.
- 429 или прокси, буферизующий SSE, могут выглядеть как пустой ответ в некоторых клиентах.
Начните с просмотра сырого ответа
Прежде чем менять настройки, зафиксируйте точный ответ. Библиотеки-обёртки скрывают причину: голый print(response.choices[0].message.content) показывает None или пустую строку, независимо от того, было ли тело пустым, содержало вызов инструмента, достигло лимита длины или вообще не пришло.
Используйте curl, чтобы не мешал клиентский код, и добавьте заголовки с помощью -i:
curl -i https://api.unfilteredaiapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'
Прочитайте три вещи в результате. Во-первых, статусную строку: 200 означает, что ответ был сгенерирован, 429 означает, что достигнут лимит, а ошибка аутентификации, такая как 401, обычно указывает на ключ. Во-вторых, choices[0].finish_reason. В-третьих, заголовки ответа, особенно X-Request-Id (сохраните его, если вы свяжетесь с поддержкой) и X-Balance-USD, который показывает, есть ли на аккаунте ещё кредиты. Если этот вызов curl возвращает текст, сервис работает, и проблема в вашем клиенте. Если он возвращает тело ошибки, причина уже известна.
Причина 1: сообщение содержит вызов инструмента, а не текст
Если вы передали tools и модель решила вызвать одну из них, сообщение ассистента содержит tool_calls, а его поле content равно null или пусто. Код, который читает только content, видит пустой ответ. Решение — сначала проверить наличие вызовов функций, выполнить функцию, добавить результат в виде сообщения с role: "tool" и снова вызвать API.
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "What is the weather in Oslo?"}],
tools=[{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}],
)
msg = resp.choices[0].message
if msg.tool_calls:
print("tool call:", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Если вы не планировали использовать инструменты, удалите поля tools и tool_choice. Оставшееся определение инструмента из предыдущего эксперимента — частая причина получения пустого текста.
Причина 2: ответ был обрезан или не начался
finish_reason объясняет большинство остальных случаев.
- length. Генерация достигла лимита токенов. Возможно, вы установили
max_tokensслишком низким, например 1 или 10. Этот параметр здесь необязателен, так как генерация может использовать всё оставшееся пространство в контекстном окне на 100 000 токенов, поэтому самое простое решение — убрать его. Если нужен лимит, установите его с запасом. - stop. Модель завершила генерацию нормально или сгенерировала одну из ваших
stop-строк. Стоп-символ, например символ новой строки, останавливает ответ на первом переносе строки, что может привести к получению пустого результата, если модель начинает ответ с пустой строки. Удалите или измените этот символ. - tool_calls. См. предыдущий раздел.
Другая проблема с длиной — переполнение контекста. Окно составляет 100 000 токенов, включая промпт и ответ. Если история чата выросла почти до предела, места для ответа почти не остаётся. Удалите старые сообщения или сократите их. На странице «Память диалога и длинное контекстное окно» показаны способы контроля истории. Тело запроса также не должно превышать 8 МБ.
Ещё одна небольшая ловушка: JSON-режим. При response_format, установленном в json_object, укажите слово JSON в инструкциях и опишите желаемую структуру. Размытый промпт в сочетании с JSON-режимом даёт скудный или тривиальный вывод, который кажется пустым, если извлечь из него ключ.
Причина 3: потоковая передача прочитана неверно
Потоковая передача через SSE отправляет множество небольших чанков. Не каждый чанк содержит текст. Первый чанк часто содержит только роль, последний чанк контента содержит finish_reason с пустой дельтой, а финальный чанк, сообщающий об использовании, может прийти со списком choices, который пуст. Код, который индексирует choices[0] для каждого чанка, упадёт, а код, который рассматривает чанк без текста как полный ответ, ничего не выведет.
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write two sentences about rain."}],
stream=True,
)
parts = []
for chunk in stream:
if not chunk.choices:
continue
delta = chunk.choices[0].delta
if delta.content:
parts.append(delta.content)
text = "".join(parts)
print(text if text else "[no content received]")
Две проблемы с окружением также выглядят как пустые потоки. Обратный прокси или CDN, буферизующий ответы, будет удерживать все чанки до конца, поэтому браузер ничего не увидит долгое время, а затем всё сразу, либо сначала сработает таймаут. Отключите буферизацию ответов для маршрута потоковой передачи в вашем прокси. И поток занимает слот параллельности до своего завершения, поэтому заброшенные потоки (закрытая вкладка, отсутствие close()) постепенно исчерпают ваши 8 слотов. Следующий запрос тогда получит 429 вместо текста. Полный пример сервера см. в бэкенде FastAPI с потоковой передачей SSE.
Причина 4: ошибка, которую поглотил ваш клиент
Некоторые HTTP-обёртки возвращают пустую строку при статусе не 200 вместо выброса исключения. Логируйте код статуса и тело для каждого сбоя. Важные случаи:
| Статус или код | Что значит | Что делать |
|---|---|---|
429, rate_limited | Более 300 запросов в минуту на полном ключе (60 на пробном) | Замедлите темп, добавьте очередь |
429, concurrency | Более 8 запросов одновременно на полном ключе (2 на пробном) | Ограничьте количество рабочих процессов |
429 с Retry-After: 5 | Временная перегрузка | Подождите 5 секунд и повторите попытку |
| 401 | Обычно пропущенный или неверный ключ | Проверьте заголовок Authorization: Bearer |
| 404 | Обычно неверный путь или базовый URL | Базовый URL должен заканчиваться на /v1 |
Простая обёртка для повторных попыток занимает несколько строк и устраняет целый класс спорадических пустых ответов:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
def ask(messages, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content or ""
except RateLimitError as e:
wait = 5
retry_after = getattr(e.response, "headers", {}).get("retry-after")
if retry_after:
wait = int(retry_after)
time.sleep(wait)
raise RuntimeError("still limited after retries")
Неудачные или отклонённые запросы не тарифицируются, поэтому цикл повторных попыток не удваивает стоимость. Вы можете убедиться в этом, сравнив значение X-Balance-USD до и после неудачного вызова.
Причина 5: неверный эндпоинт, модель или ключ
Краткий чек-лист ошибок конфигурации, вызывающих странные результаты, а не громкие ошибки:
- Базовый URL —
https://api.unfilteredaiapi.com/v1. Отсутствующий или удвоенный/v1может дать тело ответа 404, которое снисходительный клиент превратит в пустой ответ. - Имя модели —
uncensored, написано именно так. Указание модели из каталога другого провайдера — частая опечатка при копировании. - Существуют только
POST /v1/chat/completionsиGET /v1/models. Устаревший эндпоинт completions, эмбеддинги и маршруты для изображений не доступны, поэтому библиотека, обращающаяся к ним, не получает ничего полезного. - Ключ отправляется как токен Bearer и не содержит случайных пробелов или кавычек из файла env.
Вызовите GET /v1/models со своим ключом в качестве теста подключения. Если он перечисляет модель, базовый URL и ключ верны, и проблема в теле запроса. В быстром старте есть минимальный рабочий запрос для сравнения, а в часто задаваемых вопросах описаны вопросы доступа, лимитов и выставления счетов.
Логирование, которое ускорит разбор следующего инцидента
Пустые ответы сложно отлаживать постфактум, потому что никто не записал, что отправил сервер. Несколько строк в логах превращают загадку в проверку по журналу.
- Записывайте в лог заголовок ответа
X-Request-Idпри каждом вызове, успешном или нет. - Записывайте в лог значение
finish_reason, количество токенов из поляusageи длину возвращённого текста. - Для потоковой передачи логируйте, сколько чанков пришло и сколько из них содержали текст. Нулевое количество чанков с текстом и нормальный finish_reason указывают на проблему в вашем парсере. Нулевое количество чанков вообще указывает на проблему в сети или прокси.
- Настраивайте оповещение по соотношению пустых ответов к общему числу вызовов, а не по единичным событиям. Один пустой ответ из тысячи — это шум. Пять процентов — это ошибка.
При сравнении упавшего вызова с рабочим сначала сравнивайте тела запросов. Изменённый системный промпт, добавленный список stop, уменьшенное значение max_tokens или замена имени модели объясняют большинство регрессий. Включайте тело запроса в лог для выборки вызовов после удаления персональных данных.
Если несколько пользователей одновременно получают пустые ответы, а ваш тест curl также завершается неудачей, причина, скорее всего, не в вашем коде. Сначала проверьте наличие статуса 429 с заголовком Retry-After, поскольку именно так сигнализируется о временной перегрузке, и повторите запрос после указанной задержки. Если тест curl проходит успешно, а ваше приложение выдаёт ошибку, отлаживайте клиентскую часть, используя разделы выше.
Если ответ короткий, а не пустой
Иногда симптомом является однострочный ответ, когда вы хотели получить страницу. Это проблема промпта, а не транспортного уровня. Запросите желаемую длину и форму ("не менее 400 слов, в трёх абзацах"), поместите инструкцию в системное сообщение и немного повысьте temperature, если модель отвечает кратко. Модель настроена на ответы без фильтров контента для законного использования взрослыми, поэтому короткий ответ редко является отказом; чаще это недостаточно чётко сформулированный запрос. Сексуальный контент с участием несовершеннолетних — единственное строгое ограничение, и он всегда отклоняется.
Всё ещё не получается? Отправьте в поддержку X-Request-Id из упавшего ответа, примерное время и тело запроса без вашего ключа. Это позволит найти точный вызов. Если вы новичок в сервисе, на странице ключей есть возможность получить пробный баланс, которого хватит на десятки отладочных вызовов.
Дополнительные руководства
Вопросы и ответы
Почему message.content равен null?
Чаще всего модель вернула tool_calls вместо текста, или поток был прочитан неверно. Проверьте finish_reason и tool_calls в сообщении, прежде чем считать это ошибкой.
Стоит ли пустой ответ денег?
Неудачные или отклонённые запросы не оплачиваются. Если вызов прошёл успешно и были сгенерированы токены, вы увидите соответствующие счётчики использования, а заголовок X-Balance-USD в ответах покажет ваш баланс.
Может ли полное контекстное окно вызвать пустой вывод?
Да. Промпт и ответ вместе занимают 100,000 токенов, поэтому почти полная история оставляет мало или совсем не оставляет места для ответа. Сократите или кратко перескажите предыдущие реплики.
Почему в потоке сначала ничего нет, а потом всё сразу?
Прокси или CDN, вероятно, буферизует ответ SSE. Отключите буферизацию для этого маршрута, чтобы чанки проходили по мере поступления.
Ключ — всего в одной форме от вас
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.