API LLM ตอบกลับว่างเปล่า? สาเหตุและการแก้ไข
เมื่อข้อผิดพลาด API LLM ตอบกลับว่างเปล่าปรากฏขึ้น เซิร์ฟเวอร์มักจะตอบแล้ว และสตริงว่างเกิดจากการอ่านการตอบกลับ นี่คือรายการตรวจสอบ เรียงตามความถี่ของสาเหตุ
อัปเดตUnfiltered AI

ประเด็นสำคัญ
- พิมพ์ JSON แบบดิบออกมาก่อน การตอบกลับเป็นค่าว่างส่วนใหญ่เกิดจากการแยกวิเคราะห์ข้อมูล ไม่ใช่การหยุดทำงานของระบบ
- ตรวจสอบ finish_reason: length, stop และ tool_calls แต่ละค่าอธิบายสาเหตุที่ field content ว่างเปล่า
- ในสตรีม ให้อ่าน delta.content อย่างระมัดระวังและข้าม chunks ที่ไม่มีตัวเลือก
- สถานะ 429 หรือพร็อกซีที่บัฟเฟอร์ SSE อาจทำให้ดูเหมือนว่าคำตอบเป็นค่าว่างในไคลเอนต์บางตัว
เริ่มต้นด้วยการดู response แบบ raw
ก่อนเปลี่ยนการตั้งค่าใดๆ ให้บันทึกสิ่งที่ได้รับกลับมาให้ครบถ้วน ไลบรารี wrapper ซ่อนสาเหตุ: การพิมพ์ print(response.choices[0].message.content) แสดงผล None หรือสตริงว่าง ไม่ว่าบอดี้จะว่าง, มีการเรียกใช้ฟังก์ชัน, จบลงที่ขีดจำกัดความยาว หรือไม่เคยมาถึง
ใช้ curl เพื่อให้ไม่มีโค้ดไคลเอนต์มาขวาง และรวมเฮดเดอร์ด้วย -i:
curl -i https://api.unfilteredaiapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'
อ่านสามสิ่งในผลลัพธ์ ประการแรก แถบสถานะ: 200 หมายถึงมีการสร้างการตอบกลับ, 429 หมายถึงชนขีดจำกัด, ข้อผิดพลาดการตรวจสอบสิทธิ์เช่น 401 มักชี้ไปที่คีย์ ประการที่สอง, choices[0].finish_reason ประการที่สาม, ส่วนหัวของการตอบกลับ โดยเฉพาะ X-Request-Id (เก็บไว้หากติดต่อ support) และ X-Balance-USD ซึ่งแสดงว่าบัญชีมีเครดิตเหลือหรือไม่ หากการเรียก curl นี้ส่งข้อความกลับมา บริการทำงานอยู่และปัญหาอยู่ที่ไคลเอนต์ของคุณ หากส่งบอดี้ข้อผิดพลาดกลับมา คุณทราบสาเหตุแล้ว
สาเหตุที่ 1: ข้อความมี tool call ไม่ใช่ข้อความ
หากคุณส่ง tools และโมเดลตัดสินใจเรียกใช้ฟังก์ชันหนึ่ง ข้อความของผู้ช่วยจะมี tool_calls และ content ของมันจะเป็น null หรือว่าง โค้ดที่อ่านเฉพาะ content จะเห็นคำตอบว่าง การแก้ไขคือตรวจสอบการเรียกใช้ฟังก์ชันก่อน เรียกใช้ฟังก์ชัน, เพิ่มผลลัพธ์เป็นข้อความด้วย role: "tool" และเรียก API อีกครั้ง
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "What is the weather in Oslo?"}],
tools=[{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}],
)
msg = resp.choices[0].message
if msg.tool_calls:
print("tool call:", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments)
else:
print(msg.content)
หากคุณไม่ได้ตั้งใจที่จะเสนอเครื่องมือ ให้ลบฟิลด์ tools และ tool_choice ออก การกำหนดเครื่องมือที่ตกค้างจากการทดลองก่อนหน้านี้เป็นสาเหตุคลาสสิกของข้อความว่าง
สาเหตุที่ 2: คำตอบถูกตัดออกหรือไม่เริ่ม
finish_reason อธิบายสาเหตุที่เหลือส่วนใหญ่
- length. การสร้างคำตอบชนกับขีดจำกัดโทเคน คุณอาจตั้งค่า
max_tokensต่ำมาก เช่น 1 หรือ 10 พารามิเตอร์นี้ไม่จำเป็นที่นี่ เนื่องจากการสร้างคำตอบสามารถใช้พื้นที่ที่เหลือของหน้าต่าง 100,000 โทเคนได้ ดังนั้นวิธีแก้ไขที่ง่ายที่สุดคือการลบพารามิเตอร์ออก หากต้องการกำหนดขีดจำกัด ให้ตั้งค่าโดยเผื่อพื้นที่ไว้ - stop. โมเดลจบการทำงานตามปกติ หรือมันสร้างสตริง
stopของคุณหนึ่งตัว ลำดับหยุดเช่นการขึ้นบรรทัดใหม่จะหยุดการตอบกลับที่การขึ้นบรรทัดแรก ซึ่งอาจทำให้คุณไม่มีอะไรเลยหากโมเดลเริ่มด้วยบรรทัดว่าง ลบหรือปรับลำดับหยุดให้หลวมลง - tool_calls. ดูส่วนก่อนหน้า
ปัญหาความยาวอีกอย่างหนึ่งคือ Context overflow หน้าต่างบริบทมีขนาด 100,000 โทเคน โดยนับพรอมต์และการสร้างคำตอบรวมกัน หากประวัติการแชทขยายจนเกือบเต็มพื้นที่ จะเหลือพื้นที่น้อยมากสำหรับคำตอบ ตัดการสนทนาในช่วงก่อนหน้าหรือสรุปเนื้อหา หน้า ความทรงจำของการสนทนาและหน้าต่างบริบทยาว แสดงวิธีควบคุมประวัติไม่ให้ใหญ่เกินขนาด ขนาดของ request body ก็ไม่สามารถเกิน 8 MB ได้เช่นกัน
กับดักเล็กๆ อีกอย่าง: โหมด JSON เมื่อตั้งค่า response_format เป็น json_object ให้รวมคำว่า JSON ในคำแนะนำของคุณและอธิบายรูปร่างที่คุณต้องการ พรอมต์ที่คลุมเครือร่วมกับโหมด JSON จะผลิตผลลัพธ์บางหรือตื้นเขินซึ่งดูเหมือนว่างเมื่อคุณดึงคีย์ออกมา
สาเหตุที่ 3: การอ่านสตรีมมิงผิดพลาด
การสตรีมผ่าน SSE ส่งข้อมูลแบบ chunks ขนาดเล็กจำนวนมาก ไม่ใช่ทุก chunk ที่มีข้อความ chunk แรกมักมีเพียง role chunk เนื้อหาสุดท้ายจะบรรจุ finish_reason พร้อม delta ที่เป็นค่าว่าง และ chunk สุดท้ายที่รายงานการใช้งานอาจมาพร้อมรายการ choices ที่เป็นค่าว่าง โค้ดที่อ้างอิง choices[0] ในทุก chunk จะเกิดข้อผิดพลาด และโค้ดที่พิจารณา chunk ที่ไม่มีข้อความว่าเป็นคำตอบทั้งหมด จะไม่แสดงผลลัพธ์
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write two sentences about rain."}],
stream=True,
)
parts = []
for chunk in stream:
if not chunk.choices:
continue
delta = chunk.choices[0].delta
if delta.content:
parts.append(delta.content)
text = "".join(parts)
print(text if text else "[no content received]")
ปัญหาสภาพแวดล้อมสองอย่างก็ทำให้ดูเหมือนสตรีมเป็นค่าว่างเช่นกัน พร็อกซีย้อนกลับหรือ CDN ที่บัฟเฟอร์การตอบกลับจะเก็บทุก chunk ไว้จนจบ ทำให้เบราว์เซอร์ไม่เห็นอะไรเลยเป็นเวลานานแล้วเห็นทุกอย่างพร้อมกัน หรือการหมดเวลาเกิดขึ้นก่อน ปิดการบัฟเฟอร์การตอบกลับสำหรับเส้นทางสตรีมในพร็อกซีของคุณ และสตรีมจะครอบครอง concurrency slot ของคุณจนกว่าจะจบ ดังนั้นสตรีมที่ถูกทิ้ง (แท็บที่ปิด, การขาด close()) จะค่อยๆ ใช้พื้นที่ 8 slot ของคุณจนหมด คำขอถัดไปจึงได้สถานะ 429 แทนที่จะเป็นข้อความ ดูตัวอย่างเซิร์ฟเวอร์เต็มรูปแบบได้ที่ แบ็กเอนด์ FastAPI พร้อมสตรีมมิง SSE
สาเหตุที่ 4: ข้อผิดพลาดที่ไคลเอนต์ของคุณกลืนกิน
wrapper HTTP บางตัวคืนค่าสตริงว่างเมื่อสถานะไม่ใช่ 200 แทนที่จะ raise บันทึก status code และ body สำหรับทุกความล้มเหลว กรณีที่สำคัญ:
| สถานะหรือรหัส | ความหมาย | สิ่งที่ควรทำ |
|---|---|---|
429, rate_limited | มากกว่า 300 คำขอต่อนาทีบนคีย์ปกติ (60 บน trial) | ลดความเร็ว เพิ่มคิว |
429, concurrency | มากกว่า 8 คำขอพร้อมกันบนคีย์แบบเต็ม (2 บน trial) | จำกัดจำนวน worker ของคุณ |
429 พร้อม Retry-After: 5 | โอเวอร์โหลดชั่วคราว | รอ 5 วินาทีแล้วลองใหม่ |
| 401 | โดยทั่วไปเกิดจากคีย์ที่ขาดหายหรือผิด | ตรวจสอบส่วนหัว Authorization: Bearer |
| 404 | โดยทั่วไปเกิดจาก path หรือ base URL ที่ผิด | Base URL ต้องลงท้ายด้วย /v1 |
ตัวห่อการลองใหม่แบบง่ายใช้เพียงไม่กี่บรรทัดและขจัดปัญหาการตอบกลับเป็นค่าว่างแบบสุ่มได้:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")
def ask(messages, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content or ""
except RateLimitError as e:
wait = 5
retry_after = getattr(e.response, "headers", {}).get("retry-after")
if retry_after:
wait = int(retry_after)
time.sleep(wait)
raise RuntimeError("still limited after retries")
คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นการลองเรียกซ้ำจึงไม่ทำให้คุณเสียเงินสองเท่า คุณสามารถยืนยันได้โดยการเปรียบเทียบ X-Balance-USD ก่อนและหลังการเรียกที่ล้มเหลว
สาเหตุที่ 5: endpoint, โมเดล หรือคีย์ที่ผิด
รายการตรวจสอบสั้นๆ สำหรับข้อผิดพลาดในการกำหนดค่าที่ทำให้เกิดผลลัพธ์แปลกๆ แทนที่จะเป็นข้อผิดพลาดที่ชัดเจน:
- base URL คือ
https://api.unfilteredaiapi.com/v1การขาด/v1หรือการมีซ้ำกันอาจทำให้ได้ body 404 ซึ่งไคลเอนต์ที่ใจดีอาจแปลงเป็นการตอบกลับว่างเปล่า - ชื่อโมเดลคือ
uncensoredเขียนตรงตัวพอดี การตั้งค่าโมเดลจากแคตตาล็อกของผู้ให้บริการรายอื่นเป็นการคัดลอกและวางที่มักเกิดข้อผิดพลาด - มีเพียง
POST /v1/chat/completionsและGET /v1/modelsเท่านั้น endpoint completions แบบเก่า embeddings และเส้นทางรูปภาพไม่พร้อมใช้งาน ดังนั้นไลบรารีที่เรียกใช้เส้นทางเหล่านี้จึงไม่ได้รับผลลัพธ์ที่มีประโยชน์ - คีย์ถูกส่งเป็น Bearer token และไม่มีช่องว่างหรือเครื่องหมายคำพูดที่เกินมาจากไฟล์ env
เรียก GET /v1/models พร้อมคีย์ของคุณเพื่อทดสอบการเชื่อมต่อ หากมันแสดงรายการโมเดล แสดงว่า base URL และคีย์ถูกต้อง และปัญหาอยู่ที่ body ของคำขอ quickstart มีคำขอที่ทำงานได้ขั้นต่ำสำหรับการเปรียบเทียบ และ FAQ ครอบคลุมการเข้าถึง ขีดจำกัด และการเรียกเก็บเงิน
การเก็บบันทึกที่ช่วยย่นระยะเวลาของเหตุการณ์ครั้งถัดไป
การตอบกลับเป็นค่าว่างยากต่อการดีบักในภายหลังเนื่องจากไม่มีใครบันทึกสิ่งที่เซิร์ฟเวอร์ส่งออกมา การเก็บบันทึกเพียงไม่กี่บรรทัดเปลี่ยนเรื่องลึกลับให้เป็นการค้นหาข้อมูล
- บันทึก header การตอบกลับ
X-Request-Idทุกการเรียก ทั้งสำเร็จหรือไม่สำเร็จ - บันทึก
finish_reason, จำนวนusageและความยาวของข้อความที่ส่งกลับ - สำหรับสตรีมมิง ให้บันทึกจำนวน chunks ที่มาถึงและจำนวนที่มีข้อความ จำนวน chunks เป็นศูนย์ที่มีข้อความชี้ไปที่ parser ของคุณ จำนวน chunks เป็นศูนย์ทั้งหมดชี้ไปที่เครือข่ายหรือพร็อกซี
- แจ้งเตือนที่อัตราส่วนของการตอบกลับว่างเปล่าต่อการเรียกทั้งหมด ไม่ใช่เหตุการณ์เดี่ยว การตอบกลับว่างเปล่าหนึ่งในพันเป็นสัญญาณรบกวน ห้าเปอร์เซ็นต์คือข้อบกพร่อง
เมื่อคุณเปรียบเทียบคำขอที่ล้มเหลวกับคำขอที่ทำงานได้ ให้เปรียบเทียบ body ของคำขอเป็นอันดับแรก การเปลี่ยนแปลง system prompt, รายการ stop ที่เพิ่มขึ้น, ค่า max_tokens ที่เล็กลง หรือการเปลี่ยนชื่อโมเดล อธิบายการถดถอยส่วนใหญ่ได้ ใส่ body ของคำขอใน log สำหรับตัวอย่างของคำขอ หลังจากลบข้อมูลส่วนบุคคลออกแล้ว
หากผู้ใช้หลายคนรายงานผลลัพธ์เป็นค่าว่างพร้อมกัน และการทดสอบด้วย curl ของคุณก็ล้มเหลว สาเหตุอาจไม่ใช่โค้ดของคุณ ให้ตรวจสอบสถานะ 429 พร้อม header Retry-After เป็นอันดับแรก เนื่องจากภาวะ overload ชั่วคราวจะส่งสัญญาณด้วยวิธีนี้ และให้ลองใหม่หลังจากเว้นระยะเวลาตามที่ระบุ หากการทดสอบ curl ใช้งานได้แต่แอปของคุณล้มเหลว ให้ตรวจสอบจากฝั่งไคลเอนต์โดยใช้คำแนะนำในหัวข้อข้างต้น
หากคำตอบสั้นแทนที่จะเป็นค่าว่าง
บางครั้งอาการคือคำตอบหนึ่งบรรทัดเมื่อคุณต้องการทั้งหน้า นั่นเป็นปัญหาการเขียนพรอมต์มากกว่าปัญหาการส่งข้อมูล ขอความยาวและรูปแบบที่คุณต้องการ ("อย่างน้อย 400 คำ แบ่งเป็นสามย่อหน้า") ใส่คำสั่งไว้ใน system message และเพิ่ม temperature เล็กน้อยหากโมเดลตอบสั้น โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดังนั้นคำตอบสั้นๆ จึงไม่ใช่การปฏิเสธในกรณีส่วนใหญ่ มักเกิดจากคำขอที่ระบุไม่ชัดเจน เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์เป็นขีดจำกัดเดียวที่แข็งกร้าวและจะถูกปฏิเสธเสมอ
ยังติดขัดอยู่หรือไม่? ส่ง X-Request-Id จากคำตอบที่ล้มเหลว เวลาโดยประมาณ และ request body โดยไม่มีคีย์ของคุณให้ฝ่ายสนับสนุน นั่นช่วยให้ผู้อื่นพบคำขอที่แน่นอนได้ หากคุณเป็นผู้ใช้ใหม่ หน้าจัดการคีย์ มีส่วนขอรับเครดิตทดลองใช้ ซึ่งเพียงพอสำหรับคำขอ debugging หลายสิบคำขอ
คู่มือเพิ่มเติม
ถาม-ตอบ
ทำไม message.content ถึงเป็น null?
โดยส่วนใหญ่โมเดลส่ง tool_calls แทนข้อความ หรือการอ่าน stream ผิดพลาด ให้ตรวจสอบ finish_reason และ tool_calls ใน message ก่อนที่จะสรุปว่าเป็นข้อผิดพลาด
การตอบกลับแบบว่างเปล่าคิดเงินหรือไม่?
คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน หากการเรียกสำเร็จและสร้างโทเคน คุณจะเห็นจำนวนการใช้งาน และ X-Balance-USD ใน headers แสดงยอดคงเหลือของคุณ
หน้าต่างบริบทที่เต็มอาจทำให้ผลลัพธ์ว่างเปล่าได้หรือไม่?
ใช่ พรอมต์และ completion ใช้โทเคนรวมกัน 100,000 โทเคน ดังนั้นประวัติการสนทนาที่เกือบเต็มจะเหลือพื้นที่น้อยหรือไม่มีเลยสำหรับคำตอบ ให้ตัดตอนหรือสรุปย่อการสนทนาในอดีต
ทำไม stream ของฉันถึงไม่แสดงอะไรเลย แล้วแสดงทุกอย่างพร้อมกัน?
proxy หรือ CDN น่าจะกำลัง buffer response ของ SSE ให้ปิดการ buffer สำหรับเส้นทางนั้นเพื่อให้ chunk ผ่านไปทันทีที่ได้รับ
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด