LLM API Yanıtı Boş mu? Nedenleri ve Çözümler
Bir LLM API yanıtı boş hatası ortaya çıktığında, sunucu genellikle yanıt verir ve boş dize yanıtın nasıl okunduğundan kaynaklanır. Her nedenin ne sıklıkla ortaya çıktığına göre sıralanmış bir kontrol listesi aşağıdadır.
GüncellendiUnfiltered AI

Temel noktalar
- Önce ham JSON'u yazdırın. Çoğu boş yanıt bir kesinti değil, bir ayrıştırma sorunudur.
- finish_reason değerini kontrol edin: length, stop ve tool_calls her biri boş content alanını açıklar.
- Streamlerde delta.content değerini güvenli bir şekilde okuyun ve choices içermeyen chunkları atlayın.
- Bir 429 hatası veya SSE'yi arabelleğe alan bir proxy, bazı istemcilerde boş bir yanıt gibi görünebilir.
Önce ham yanıtı inceleyerek başlayın
Herhangi bir ayarı değiştirmeden önce, dönen veriyi tam olarak yakalayın. Sarmalayıcı kütüphaneler nedeni gizler: ham print(response.choices[0].message.content) çağrısı, gövde boşsa, bir tool call içeriyorsa, bir length sınırında biterse veya hiç ulaşmazsa None veya boş bir dize gösterir.
İstemci kodunun engellememesi için curl kullanın ve başlıkları -i ile dahil edin:
curl -i https://api.unfilteredaiapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'
Sonuçta üç şeyi okuyun. İlk olarak, durum satırı: 200 bir tamamlamanın üretildiğini, 429 bir limite ulaşıldığını, 401 gibi bir kimlik doğrulama hatası genellikle anahtara işaret eder. İkinci olarak, choices[0].finish_reason. Üçüncü olarak, yanıt başlıklarını, özellikle X-Request-Id (destek ile iletişime geçerseniz bunu saklayın) ve X-Balance-USD, bu alan hesabınızda hala kredi olup olmadığını gösterir. Bu curl çağrısı metin döndürürse hizmet çalışıyordur ve sorun istemcinizdedir. Bir hata gövdesi döndürürse, nedeni zaten bulmuşsunuzdur.
Neden 1: Mesaj metin yerine bir tool call içeriyor
tools parametresini geçirirseniz ve model bir fonksiyon çağırmaya karar verirse, asistan mesajı tool_calls içerir ve content alanı null veya boştur. Sadece content okuyan kod boş bir yanıt görür. Çözüm, önce tool call'ları kontrol etmek, fonksiyonu çalıştırmak, sonucu role: "tool" rolüyle bir mesaj olarak eklemek ve API'yi tekrar çağırmaktır.
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "What is the weather in Oslo?"}],
tools=[{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}],
)
msg = resp.choices[0].message
if msg.tool_calls:
print("tool call:", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Araçları sunmak istemediyseniz, tools ve tool_choice alanlarını kaldırın. Daha önceki bir deneyden kalan bir araç tanımı, boş metnin klasik bir nedenidir.
Neden 2: Yanıt kesildi veya hiç başlamadı
finish_reason geri kalanın çoğunu açıklar.
- length. Tamamlama bir token sınırına takıldı.
max_tokensparametresini 1 veya 10 gibi çok düşük bir değere ayarmış olabilirsiniz. Bu parametre burada isteğe bağlıdır çünkü tamamlama 100.000 tokenlik pencerede kalan her şeyi kullanabilir, bu nedenle en basit çözüm onu kaldırmaktır. Bir sınır gerekirse, bolca yer bırakarak ayarlayın. - stop. Model normal şekilde bitti veya
stopdizgelerinizden birini üretti. Bir newline gibi bir stop dizgesi, yanıtı ilk satır sonlandırıcıda durdurur; model boş bir satırla başlarsa bu durumda size hiçbir şey bırakmayabilir. Dizgeyi kaldırın veya gevşetin. - tool_calls. Önceki bölüme bakın.
Context overflow diğer bir uzunluk sorunudur. Pencere 100,000 token kapasitesindedir ve istem ile tamamlama birlikte sayılır. Bir sohbet geçmişi bunu dolduracak kadar büyümüşse, yanıt vermek için neredeyse yer kalmamıştır. Eski konuşmaları kısaltın veya özetleyin. konuşma belleği ve uzun context window sayfası, geçmişi kontrol altında tutmanın yollarını gösterir. Bir istek gövdesi de 8 MB'ı geçemez.
Başka bir küçük tuzak: JSON modu. response_format değeri json_object olarak ayarlandığında, talimatlarınıza JSON kelimesini ekleyin ve istediğiniz şekli tanımlayın. Belirsiz bir istem ve JSON modu, anahtarını çıkardığınızda boş görünen ince veya önemsiz çıktılar üretir.
Neden 3: Streaming yanlış okunuyor
SSE üzerinden streaming birçok küçük parça gönderir. Her parça metin içermez. İlk parça genellikle sadece role içerir, son content parçası boş bir delta ile bir finish_reason taşır ve kullanımı bildiren son parça boş bir choices listesi ile gelebilir. Her chunkta choices[0] dizinine erişen kod çöker ve metin içermeyen bir parçayı tüm yanıt olarak işleyen kod hiçbir şey yazdırmaz.
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write two sentences about rain."}],
stream=True,
)
parts = []
for chunk in stream:
if not chunk.choices:
continue
delta = chunk.choices[0].delta
if delta.content:
parts.append(delta.content)
text = "".join(parts)
print(text if text else "[no content received]")
İki ortam sorunu da boş stream'ler gibi görünür. Yanıtları arabelleğe alan bir ters proxy veya CDN, tüm parçaları sona kadar tutar, böylece bir tarayıcı uzun süre hiçbir şey görmez ve sonra her şeyi birden görür veya zaman aşımı önce tetiklenir. Stream rotası için proxy'de yanıt arabellekleme özelliğini kapatın. Ve bir stream, sona erene kadar concurrency slotunu işgal eder, bu nedenle terk edilen stream'ler (kapatılmış bir sekme, eksik close()) kademeli olarak 8 slotunuzu tüketir. Sonraki istek metin yerine bir 429 hatası alır. Tam bir sunucu örneği için SSE streaming ile FastAPI backend sayfasına bakın.
Neden 4: İstemcinizin yuttuğu bir hata
Bazı HTTP sarmalayıcıları, hata fırlatmadan 200 olmayan bir durum kodunda boş bir dize döndürür. Her hata için durum kodunu ve gövdeyi günlüğe kaydedin. Önemli durumlar:
| Durum veya kod | Anlamı | Ne yapılmalı |
|---|---|---|
429, rate_limited | Tam anahtar için dakikada 300'den fazla istek (deneme için 60) | Yavaşlayın, bir kuyruk ekleyin |
429, concurrency | Tam anahtar için aynı anda 8'den fazla istek (deneme için 2) | Çalışanlarınızı sınırlayın |
429 ile Retry-After: 5 | Geçici aşırı yüklenme | 5 saniye bekleyin ve yeniden deneyin |
| 401 | Genellikle eksik veya yanlış anahtar | Authorization: Bearer başlığını kontrol edin |
| 404 | Genellikle yanlış yol veya base URL | Base URL /v1 ile bitmelidir |
Basit bir yeniden deneme sarmalayıcısı birkaç satır alır ve aralıklı boş yanıtların tüm bir sınıfını ortadan kaldırır:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
def ask(messages, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content or ""
except RateLimitError as e:
wait = 5
retry_after = getattr(e.response, "headers", {}).get("retry-after")
if retry_after:
wait = int(retry_after)
time.sleep(wait)
raise RuntimeError("still limited after retries")
Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle bir yeniden deneme döngüsü aynı istek için iki kez ödeme yapmanızı gerektirmez. Başarısız bir çağrıdan önce ve sonra X-Balance-USD değerini karşılaştırarak bunu doğrulayabilirsiniz.
Neden 5: yanlış uç nokta, model veya anahtar
Garip sonuçlar üreten ancak gürültülü hatalar üretmeyen yapılandırma hatalarının kısa bir kontrol listesi:
- Temel URL
https://api.unfilteredaiapi.com/v1şeklindedir. Eksik bir/v1veya çift olan bir yapı, yumuşak bir istemcinin boş bir yanıta dönüştürebileceği 404 yanıt gövdesine yol açabilir. - Model adı
uncensoredolarak, tam olarak yazılır. Başka bir sağlayıcının kataloğundan bir modeli ayarlamak yaygın bir kopyala-yapıştır hatasıdır. - Yalnızca
POST /v1/chat/completionsveGET /v1/modelsmevcuttur. Eski tamamlama uç noktası, gömme ve resim yolları kullanılamaz; bu nedenle bunları çağıran bir kütüphane işe yaramayan bir yanıt alır. - Anahtar bir Bearer token olarak gönderilir ve env dosyasından gelen gereksiz boşluk veya tırnak işareti içermez.
Bağlantı testi olarak GET /v1/models çağrısını API anahtarınızla yapın. Model listeleniyorsa, temel URL ve anahtar doğrudur ve sorun istek gövdesindedir. hızlı başlangıç karşılaştırmak için en az çalışan isteği içerir ve SSS erişim, limitler ve faturalandırma konularını kapsar.
Sonraki sorunu kısaltacak günlük kaydı
Boş yanıtlar, sunucunun ne gönderdiğini kimse kaydetmediği için sonradan hata ayıklaması zordur. Birkaç satır günlük kaydı, bir gizemi bir aramaya dönüştürür.
- Başarılı veya başarısız olsun, her çağrıda
X-Request-Idyanıt başlığını günlüğe kaydedin. finish_reason'i,usagesayımlarını ve döndürülen metnin uzunluğunu günlüğe kaydedin.- Akışlar için, kaç parçanın geldiğini ve kaçının metin taşıdığını günlüğe kaydedin. Metin taşıyan sıfır parça, ayrıştırıcınızda bir soruna işaret eder. Hiç parça gelmemesi, ağ veya vekil sunucu sorununa işaret eder.
- Boş yanıtların toplam çağrılara oranında uyarı verin, yalnızca tekil olaylarda değil. Binde bir boşluk gürültüdür. Yüzde beş bir hatadır.
Başarısız bir çağrıyı çalışan bir çağrı ile karşılaştırdığınızda, istek gövdelerini önce karşılaştırın. Değişen bir sistem istemi, eklenmiş bir stop listesi, daha küçük bir max_tokens veya değiştirilmiş bir model adı, çoğu gerilemenin nedenini açıklar. Kişisel verileri kaldırarak, istek gövdesini çağrıların bir örneği için günlüğe kaydedin.
Birden fazla kullanıcı aynı anda boşluk bildirirse ve curl testiniz de başarısız olursa, neden büyük olasılıkla kodunuz değildir. Önce Retry-After ile birlikte bir 429 olup olmadığını kontrol edin, çünkü geçici aşırı yüklenme bu şekilde bildirilir ve belirtilen gecikmeden sonra yeniden deneyin. Curl testi çalışırsa ve uygulamanız başarısız olursa, yukarıdaki bölümleri kullanarak istemci tarafında ilerleyin.
Yanıt boş yerine kısa ise
Bazen, bir sayfa istediğinizde tek satırlık bir yanıt alırsınız. Bu, bir taşıma sorundan çok bir istemleme sorunudur. İstediğiniz uzunluk ve biçimi belirtin ("en az 400 kelime, üç paragraf halinde"), talimatı sistem mesajına ekleyin ve model kısaysa temperature değerini biraz artırın. Model, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır; bu nedenle kısa bir yanıt nadiren bir reddiyedir; daha çok belirsiz bir istektir. Reşit olmayanların cinsel istismarını içeren cinsel içerik tek katı sınırdır ve her zaman reddedilir.
Hâlâ takıldınız mı? Destek ekibine başarısız yanıtın X-Request-Id'ini, yaklaşık zamanı ve anahtarınız olmadan istek gövdesini gönderin. Bu, kişinin tam çağrıyı bulmasını sağlar. Hizmetle yeni tanıştıysanız, anahtar sayfası deneme kredisi talebini içerir; bu, düzinelerce hata ayıklama çağrısı için yeterlidir.
Daha fazla kılavuz
Sorular ve cevaplar
Neden message.content null?
Çoğu zaman model metin yerine tool_calls döndürmüştür veya akış yanlış okunmuştur. Bunu bir hata olarak işlemek yerine, mesajdaki finish_reason ve tool_calls'i kontrol edin.
Boş yanıt para tutar mı?
Başarısız veya reddedilen istekler için ücret alınmaz. Bir çağrı başarılı oldu ve token ürettiyse, kullanım sayımlarını göreceksinizdir ve başlıklardaki X-Balance-USD bakiyenizi gösterir.
Tam bir bağlam penceresi boş çıktıya neden olabilir mi?
Evet. İstem ve tamamlama 100,000 token paylaşır, bu nedenle neredeyse dolu bir geçmiş, yanıt için çok az veya hiç yer bırakmaz. Daha önceki konuşmaları kısaltın veya özetleyin.
Neden akışım önce hiçbir şey göstermiyor, sonra da her şeyi birden gösteriyor?
Bir vekil sunucu veya CDN, SSE yanıtını büyük olasılıkla arabelleğe alıyor. Bu rota için arabellekleme devre dışı bırakın, böylece parçalar geldikleri gibi geçsin.
Anahtarınız bir adım uzaktadır
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.