TR ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

Geliştiriciler için ham, sansürsüz LLM API'si.

Unfiltered AIAPI anahtarı al

LLM API Yanıtı Boş mu? Nedenleri ve Çözümler

Bir LLM API yanıtı boş hatası ortaya çıktığında, sunucu genellikle yanıt verir ve boş dize yanıtın nasıl okunduğundan kaynaklanır. Her nedenin ne sıklıkla ortaya çıktığına göre sıralanmış bir kontrol listesi aşağıdadır.

Boş bir konuşma balonuna doğru cam bir borudan akan veri, gizli bir dalı ortaya çıkaran bir mercek ile

Temel noktalar

  • Önce ham JSON'u yazdırın. Çoğu boş yanıt bir kesinti değil, bir ayrıştırma sorunudur.
  • finish_reason değerini kontrol edin: length, stop ve tool_calls her biri boş content alanını açıklar.
  • Streamlerde delta.content değerini güvenli bir şekilde okuyun ve choices içermeyen chunkları atlayın.
  • Bir 429 hatası veya SSE'yi arabelleğe alan bir proxy, bazı istemcilerde boş bir yanıt gibi görünebilir.

Önce ham yanıtı inceleyerek başlayın

Herhangi bir ayarı değiştirmeden önce, dönen veriyi tam olarak yakalayın. Sarmalayıcı kütüphaneler nedeni gizler: ham print(response.choices[0].message.content) çağrısı, gövde boşsa, bir tool call içeriyorsa, bir length sınırında biterse veya hiç ulaşmazsa None veya boş bir dize gösterir.

İstemci kodunun engellememesi için curl kullanın ve başlıkları -i ile dahil edin:

curl -i https://api.unfilteredaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Sonuçta üç şeyi okuyun. İlk olarak, durum satırı: 200 bir tamamlamanın üretildiğini, 429 bir limite ulaşıldığını, 401 gibi bir kimlik doğrulama hatası genellikle anahtara işaret eder. İkinci olarak, choices[0].finish_reason. Üçüncü olarak, yanıt başlıklarını, özellikle X-Request-Id (destek ile iletişime geçerseniz bunu saklayın) ve X-Balance-USD, bu alan hesabınızda hala kredi olup olmadığını gösterir. Bu curl çağrısı metin döndürürse hizmet çalışıyordur ve sorun istemcinizdedir. Bir hata gövdesi döndürürse, nedeni zaten bulmuşsunuzdur.

Neden 1: Mesaj metin yerine bir tool call içeriyor

tools parametresini geçirirseniz ve model bir fonksiyon çağırmaya karar verirse, asistan mesajı tool_calls içerir ve content alanı null veya boştur. Sadece content okuyan kod boş bir yanıt görür. Çözüm, önce tool call'ları kontrol etmek, fonksiyonu çalıştırmak, sonucu role: "tool" rolüyle bir mesaj olarak eklemek ve API'yi tekrar çağırmaktır.

from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What is the weather in Oslo?"}],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get current weather for a city",
            "parameters": {
                "type": "object",
                "properties": {"city": {"type": "string"}},
                "required": ["city"],
            },
        },
    }],
)

msg = resp.choices[0].message
if msg.tool_calls:
    print("tool call:", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

Araçları sunmak istemediyseniz, tools ve tool_choice alanlarını kaldırın. Daha önceki bir deneyden kalan bir araç tanımı, boş metnin klasik bir nedenidir.

Neden 2: Yanıt kesildi veya hiç başlamadı

finish_reason geri kalanın çoğunu açıklar.

  • length. Tamamlama bir token sınırına takıldı. max_tokens parametresini 1 veya 10 gibi çok düşük bir değere ayarmış olabilirsiniz. Bu parametre burada isteğe bağlıdır çünkü tamamlama 100.000 tokenlik pencerede kalan her şeyi kullanabilir, bu nedenle en basit çözüm onu kaldırmaktır. Bir sınır gerekirse, bolca yer bırakarak ayarlayın.
  • stop. Model normal şekilde bitti veya stop dizgelerinizden birini üretti. Bir newline gibi bir stop dizgesi, yanıtı ilk satır sonlandırıcıda durdurur; model boş bir satırla başlarsa bu durumda size hiçbir şey bırakmayabilir. Dizgeyi kaldırın veya gevşetin.
  • tool_calls. Önceki bölüme bakın.

Context overflow diğer bir uzunluk sorunudur. Pencere 100,000 token kapasitesindedir ve istem ile tamamlama birlikte sayılır. Bir sohbet geçmişi bunu dolduracak kadar büyümüşse, yanıt vermek için neredeyse yer kalmamıştır. Eski konuşmaları kısaltın veya özetleyin. konuşma belleği ve uzun context window sayfası, geçmişi kontrol altında tutmanın yollarını gösterir. Bir istek gövdesi de 8 MB'ı geçemez.

Başka bir küçük tuzak: JSON modu. response_format değeri json_object olarak ayarlandığında, talimatlarınıza JSON kelimesini ekleyin ve istediğiniz şekli tanımlayın. Belirsiz bir istem ve JSON modu, anahtarını çıkardığınızda boş görünen ince veya önemsiz çıktılar üretir.

Neden 3: Streaming yanlış okunuyor

SSE üzerinden streaming birçok küçük parça gönderir. Her parça metin içermez. İlk parça genellikle sadece role içerir, son content parçası boş bir delta ile bir finish_reason taşır ve kullanımı bildiren son parça boş bir choices listesi ile gelebilir. Her chunkta choices[0] dizinine erişen kod çöker ve metin içermeyen bir parçayı tüm yanıt olarak işleyen kod hiçbir şey yazdırmaz.

from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write two sentences about rain."}],
    stream=True,
)

parts = []
for chunk in stream:
    if not chunk.choices:
        continue
    delta = chunk.choices[0].delta
    if delta.content:
        parts.append(delta.content)

text = "".join(parts)
print(text if text else "[no content received]")

İki ortam sorunu da boş stream'ler gibi görünür. Yanıtları arabelleğe alan bir ters proxy veya CDN, tüm parçaları sona kadar tutar, böylece bir tarayıcı uzun süre hiçbir şey görmez ve sonra her şeyi birden görür veya zaman aşımı önce tetiklenir. Stream rotası için proxy'de yanıt arabellekleme özelliğini kapatın. Ve bir stream, sona erene kadar concurrency slotunu işgal eder, bu nedenle terk edilen stream'ler (kapatılmış bir sekme, eksik close()) kademeli olarak 8 slotunuzu tüketir. Sonraki istek metin yerine bir 429 hatası alır. Tam bir sunucu örneği için SSE streaming ile FastAPI backend sayfasına bakın.

Neden 4: İstemcinizin yuttuğu bir hata

Bazı HTTP sarmalayıcıları, hata fırlatmadan 200 olmayan bir durum kodunda boş bir dize döndürür. Her hata için durum kodunu ve gövdeyi günlüğe kaydedin. Önemli durumlar:

Durum veya kodAnlamıNe yapılmalı
429, rate_limitedTam anahtar için dakikada 300'den fazla istek (deneme için 60)Yavaşlayın, bir kuyruk ekleyin
429, concurrencyTam anahtar için aynı anda 8'den fazla istek (deneme için 2)Çalışanlarınızı sınırlayın
429 ile Retry-After: 5Geçici aşırı yüklenme5 saniye bekleyin ve yeniden deneyin
401Genellikle eksik veya yanlış anahtarAuthorization: Bearer başlığını kontrol edin
404Genellikle yanlış yol veya base URLBase URL /v1 ile bitmelidir

Basit bir yeniden deneme sarmalayıcısı birkaç satır alır ve aralıklı boş yanıtların tüm bir sınıfını ortadan kaldırır:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(model="uncensored", messages=messages)
            return r.choices[0].message.content or ""
        except RateLimitError as e:
            wait = 5
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            if retry_after:
                wait = int(retry_after)
            time.sleep(wait)
    raise RuntimeError("still limited after retries")

Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle bir yeniden deneme döngüsü aynı istek için iki kez ödeme yapmanızı gerektirmez. Başarısız bir çağrıdan önce ve sonra X-Balance-USD değerini karşılaştırarak bunu doğrulayabilirsiniz.

Neden 5: yanlış uç nokta, model veya anahtar

Garip sonuçlar üreten ancak gürültülü hatalar üretmeyen yapılandırma hatalarının kısa bir kontrol listesi:

  1. Temel URL https://api.unfilteredaiapi.com/v1 şeklindedir. Eksik bir /v1 veya çift olan bir yapı, yumuşak bir istemcinin boş bir yanıta dönüştürebileceği 404 yanıt gövdesine yol açabilir.
  2. Model adı uncensored olarak, tam olarak yazılır. Başka bir sağlayıcının kataloğundan bir modeli ayarlamak yaygın bir kopyala-yapıştır hatasıdır.
  3. Yalnızca POST /v1/chat/completions ve GET /v1/models mevcuttur. Eski tamamlama uç noktası, gömme ve resim yolları kullanılamaz; bu nedenle bunları çağıran bir kütüphane işe yaramayan bir yanıt alır.
  4. Anahtar bir Bearer token olarak gönderilir ve env dosyasından gelen gereksiz boşluk veya tırnak işareti içermez.

Bağlantı testi olarak GET /v1/models çağrısını API anahtarınızla yapın. Model listeleniyorsa, temel URL ve anahtar doğrudur ve sorun istek gövdesindedir. hızlı başlangıç karşılaştırmak için en az çalışan isteği içerir ve SSS erişim, limitler ve faturalandırma konularını kapsar.

Sonraki sorunu kısaltacak günlük kaydı

Boş yanıtlar, sunucunun ne gönderdiğini kimse kaydetmediği için sonradan hata ayıklaması zordur. Birkaç satır günlük kaydı, bir gizemi bir aramaya dönüştürür.

  1. Başarılı veya başarısız olsun, her çağrıda X-Request-Id yanıt başlığını günlüğe kaydedin.
  2. finish_reason'i, usage sayımlarını ve döndürülen metnin uzunluğunu günlüğe kaydedin.
  3. Akışlar için, kaç parçanın geldiğini ve kaçının metin taşıdığını günlüğe kaydedin. Metin taşıyan sıfır parça, ayrıştırıcınızda bir soruna işaret eder. Hiç parça gelmemesi, ağ veya vekil sunucu sorununa işaret eder.
  4. Boş yanıtların toplam çağrılara oranında uyarı verin, yalnızca tekil olaylarda değil. Binde bir boşluk gürültüdür. Yüzde beş bir hatadır.

Başarısız bir çağrıyı çalışan bir çağrı ile karşılaştırdığınızda, istek gövdelerini önce karşılaştırın. Değişen bir sistem istemi, eklenmiş bir stop listesi, daha küçük bir max_tokens veya değiştirilmiş bir model adı, çoğu gerilemenin nedenini açıklar. Kişisel verileri kaldırarak, istek gövdesini çağrıların bir örneği için günlüğe kaydedin.

Birden fazla kullanıcı aynı anda boşluk bildirirse ve curl testiniz de başarısız olursa, neden büyük olasılıkla kodunuz değildir. Önce Retry-After ile birlikte bir 429 olup olmadığını kontrol edin, çünkü geçici aşırı yüklenme bu şekilde bildirilir ve belirtilen gecikmeden sonra yeniden deneyin. Curl testi çalışırsa ve uygulamanız başarısız olursa, yukarıdaki bölümleri kullanarak istemci tarafında ilerleyin.

Yanıt boş yerine kısa ise

Bazen, bir sayfa istediğinizde tek satırlık bir yanıt alırsınız. Bu, bir taşıma sorundan çok bir istemleme sorunudur. İstediğiniz uzunluk ve biçimi belirtin ("en az 400 kelime, üç paragraf halinde"), talimatı sistem mesajına ekleyin ve model kısaysa temperature değerini biraz artırın. Model, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır; bu nedenle kısa bir yanıt nadiren bir reddiyedir; daha çok belirsiz bir istektir. Reşit olmayanların cinsel istismarını içeren cinsel içerik tek katı sınırdır ve her zaman reddedilir.

Hâlâ takıldınız mı? Destek ekibine başarısız yanıtın X-Request-Id'ini, yaklaşık zamanı ve anahtarınız olmadan istek gövdesini gönderin. Bu, kişinin tam çağrıyı bulmasını sağlar. Hizmetle yeni tanıştıysanız, anahtar sayfası deneme kredisi talebini içerir; bu, düzinelerce hata ayıklama çağrısı için yeterlidir.

Sorular ve cevaplar

Neden message.content null?

Çoğu zaman model metin yerine tool_calls döndürmüştür veya akış yanlış okunmuştur. Bunu bir hata olarak işlemek yerine, mesajdaki finish_reason ve tool_calls'i kontrol edin.

Boş yanıt para tutar mı?

Başarısız veya reddedilen istekler için ücret alınmaz. Bir çağrı başarılı oldu ve token ürettiyse, kullanım sayımlarını göreceksinizdir ve başlıklardaki X-Balance-USD bakiyenizi gösterir.

Tam bir bağlam penceresi boş çıktıya neden olabilir mi?

Evet. İstem ve tamamlama 100,000 token paylaşır, bu nedenle neredeyse dolu bir geçmiş, yanıt için çok az veya hiç yer bırakmaz. Daha önceki konuşmaları kısaltın veya özetleyin.

Neden akışım önce hiçbir şey göstermiyor, sonra da her şeyi birden gösteriyor?

Bir vekil sunucu veya CDN, SSE yanıtını büyük olasılıkla arabelleğe alıyor. Bu rota için arabellekleme devre dışı bırakın, böylece parçalar geldikleri gibi geçsin.

Anahtarınız bir adım uzaktadır

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı alDokümantasyonu oku