TH ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

API LLM ดิบ ไม่เซ็นเซอร์ สำหรับนักพัฒนา

Unfiltered AIรับคีย์ API

API LLM ตอบกลับว่างเปล่า? สาเหตุและการแก้ไข

เมื่อข้อผิดพลาด API LLM ตอบกลับว่างเปล่าปรากฏขึ้น เซิร์ฟเวอร์มักจะตอบแล้ว และสตริงว่างเกิดจากการอ่านการตอบกลับ นี่คือรายการตรวจสอบ เรียงตามความถี่ของสาเหตุ

ข้อมูลไหลผ่านท่อแก้วไปยังฟองคำพูดว่างเปล่า พร้อมเลนส์ที่เผยให้เห็นกิ่งที่ซ่อนอยู่

ประเด็นสำคัญ

  • พิมพ์ JSON แบบดิบออกมาก่อน การตอบกลับเป็นค่าว่างส่วนใหญ่เกิดจากการแยกวิเคราะห์ข้อมูล ไม่ใช่การหยุดทำงานของระบบ
  • ตรวจสอบ finish_reason: length, stop และ tool_calls แต่ละค่าอธิบายสาเหตุที่ field content ว่างเปล่า
  • ในสตรีม ให้อ่าน delta.content อย่างระมัดระวังและข้าม chunks ที่ไม่มีตัวเลือก
  • สถานะ 429 หรือพร็อกซีที่บัฟเฟอร์ SSE อาจทำให้ดูเหมือนว่าคำตอบเป็นค่าว่างในไคลเอนต์บางตัว

เริ่มต้นด้วยการดู response แบบ raw

ก่อนเปลี่ยนการตั้งค่าใดๆ ให้บันทึกสิ่งที่ได้รับกลับมาให้ครบถ้วน ไลบรารี wrapper ซ่อนสาเหตุ: การพิมพ์ print(response.choices[0].message.content) แสดงผล None หรือสตริงว่าง ไม่ว่าบอดี้จะว่าง, มีการเรียกใช้ฟังก์ชัน, จบลงที่ขีดจำกัดความยาว หรือไม่เคยมาถึง

ใช้ curl เพื่อให้ไม่มีโค้ดไคลเอนต์มาขวาง และรวมเฮดเดอร์ด้วย -i:

curl -i https://api.unfilteredaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

อ่านสามสิ่งในผลลัพธ์ ประการแรก แถบสถานะ: 200 หมายถึงมีการสร้างการตอบกลับ, 429 หมายถึงชนขีดจำกัด, ข้อผิดพลาดการตรวจสอบสิทธิ์เช่น 401 มักชี้ไปที่คีย์ ประการที่สอง, choices[0].finish_reason ประการที่สาม, ส่วนหัวของการตอบกลับ โดยเฉพาะ X-Request-Id (เก็บไว้หากติดต่อ support) และ X-Balance-USD ซึ่งแสดงว่าบัญชีมีเครดิตเหลือหรือไม่ หากการเรียก curl นี้ส่งข้อความกลับมา บริการทำงานอยู่และปัญหาอยู่ที่ไคลเอนต์ของคุณ หากส่งบอดี้ข้อผิดพลาดกลับมา คุณทราบสาเหตุแล้ว

สาเหตุที่ 1: ข้อความมี tool call ไม่ใช่ข้อความ

หากคุณส่ง tools และโมเดลตัดสินใจเรียกใช้ฟังก์ชันหนึ่ง ข้อความของผู้ช่วยจะมี tool_calls และ content ของมันจะเป็น null หรือว่าง โค้ดที่อ่านเฉพาะ content จะเห็นคำตอบว่าง การแก้ไขคือตรวจสอบการเรียกใช้ฟังก์ชันก่อน เรียกใช้ฟังก์ชัน, เพิ่มผลลัพธ์เป็นข้อความด้วย role: "tool" และเรียก API อีกครั้ง

from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What is the weather in Oslo?"}],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get current weather for a city",
            "parameters": {
                "type": "object",
                "properties": {"city": {"type": "string"}},
                "required": ["city"],
            },
        },
    }],
)

msg = resp.choices[0].message
if msg.tool_calls:
    print("tool call:", msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

หากคุณไม่ได้ตั้งใจที่จะเสนอเครื่องมือ ให้ลบฟิลด์ tools และ tool_choice ออก การกำหนดเครื่องมือที่ตกค้างจากการทดลองก่อนหน้านี้เป็นสาเหตุคลาสสิกของข้อความว่าง

สาเหตุที่ 2: คำตอบถูกตัดออกหรือไม่เริ่ม

finish_reason อธิบายสาเหตุที่เหลือส่วนใหญ่

  • length. การสร้างคำตอบชนกับขีดจำกัดโทเคน คุณอาจตั้งค่า max_tokens ต่ำมาก เช่น 1 หรือ 10 พารามิเตอร์นี้ไม่จำเป็นที่นี่ เนื่องจากการสร้างคำตอบสามารถใช้พื้นที่ที่เหลือของหน้าต่าง 100,000 โทเคนได้ ดังนั้นวิธีแก้ไขที่ง่ายที่สุดคือการลบพารามิเตอร์ออก หากต้องการกำหนดขีดจำกัด ให้ตั้งค่าโดยเผื่อพื้นที่ไว้
  • stop. โมเดลจบการทำงานตามปกติ หรือมันสร้างสตริง stop ของคุณหนึ่งตัว ลำดับหยุดเช่นการขึ้นบรรทัดใหม่จะหยุดการตอบกลับที่การขึ้นบรรทัดแรก ซึ่งอาจทำให้คุณไม่มีอะไรเลยหากโมเดลเริ่มด้วยบรรทัดว่าง ลบหรือปรับลำดับหยุดให้หลวมลง
  • tool_calls. ดูส่วนก่อนหน้า

ปัญหาความยาวอีกอย่างหนึ่งคือ Context overflow หน้าต่างบริบทมีขนาด 100,000 โทเคน โดยนับพรอมต์และการสร้างคำตอบรวมกัน หากประวัติการแชทขยายจนเกือบเต็มพื้นที่ จะเหลือพื้นที่น้อยมากสำหรับคำตอบ ตัดการสนทนาในช่วงก่อนหน้าหรือสรุปเนื้อหา หน้า ความทรงจำของการสนทนาและหน้าต่างบริบทยาว แสดงวิธีควบคุมประวัติไม่ให้ใหญ่เกินขนาด ขนาดของ request body ก็ไม่สามารถเกิน 8 MB ได้เช่นกัน

กับดักเล็กๆ อีกอย่าง: โหมด JSON เมื่อตั้งค่า response_format เป็น json_object ให้รวมคำว่า JSON ในคำแนะนำของคุณและอธิบายรูปร่างที่คุณต้องการ พรอมต์ที่คลุมเครือร่วมกับโหมด JSON จะผลิตผลลัพธ์บางหรือตื้นเขินซึ่งดูเหมือนว่างเมื่อคุณดึงคีย์ออกมา

สาเหตุที่ 3: การอ่านสตรีมมิงผิดพลาด

การสตรีมผ่าน SSE ส่งข้อมูลแบบ chunks ขนาดเล็กจำนวนมาก ไม่ใช่ทุก chunk ที่มีข้อความ chunk แรกมักมีเพียง role chunk เนื้อหาสุดท้ายจะบรรจุ finish_reason พร้อม delta ที่เป็นค่าว่าง และ chunk สุดท้ายที่รายงานการใช้งานอาจมาพร้อมรายการ choices ที่เป็นค่าว่าง โค้ดที่อ้างอิง choices[0] ในทุก chunk จะเกิดข้อผิดพลาด และโค้ดที่พิจารณา chunk ที่ไม่มีข้อความว่าเป็นคำตอบทั้งหมด จะไม่แสดงผลลัพธ์

from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write two sentences about rain."}],
    stream=True,
)

parts = []
for chunk in stream:
    if not chunk.choices:
        continue
    delta = chunk.choices[0].delta
    if delta.content:
        parts.append(delta.content)

text = "".join(parts)
print(text if text else "[no content received]")

ปัญหาสภาพแวดล้อมสองอย่างก็ทำให้ดูเหมือนสตรีมเป็นค่าว่างเช่นกัน พร็อกซีย้อนกลับหรือ CDN ที่บัฟเฟอร์การตอบกลับจะเก็บทุก chunk ไว้จนจบ ทำให้เบราว์เซอร์ไม่เห็นอะไรเลยเป็นเวลานานแล้วเห็นทุกอย่างพร้อมกัน หรือการหมดเวลาเกิดขึ้นก่อน ปิดการบัฟเฟอร์การตอบกลับสำหรับเส้นทางสตรีมในพร็อกซีของคุณ และสตรีมจะครอบครอง concurrency slot ของคุณจนกว่าจะจบ ดังนั้นสตรีมที่ถูกทิ้ง (แท็บที่ปิด, การขาด close()) จะค่อยๆ ใช้พื้นที่ 8 slot ของคุณจนหมด คำขอถัดไปจึงได้สถานะ 429 แทนที่จะเป็นข้อความ ดูตัวอย่างเซิร์ฟเวอร์เต็มรูปแบบได้ที่ แบ็กเอนด์ FastAPI พร้อมสตรีมมิง SSE

สาเหตุที่ 4: ข้อผิดพลาดที่ไคลเอนต์ของคุณกลืนกิน

wrapper HTTP บางตัวคืนค่าสตริงว่างเมื่อสถานะไม่ใช่ 200 แทนที่จะ raise บันทึก status code และ body สำหรับทุกความล้มเหลว กรณีที่สำคัญ:

สถานะหรือรหัสความหมายสิ่งที่ควรทำ
429, rate_limitedมากกว่า 300 คำขอต่อนาทีบนคีย์ปกติ (60 บน trial)ลดความเร็ว เพิ่มคิว
429, concurrencyมากกว่า 8 คำขอพร้อมกันบนคีย์แบบเต็ม (2 บน trial)จำกัดจำนวน worker ของคุณ
429 พร้อม Retry-After: 5โอเวอร์โหลดชั่วคราวรอ 5 วินาทีแล้วลองใหม่
401โดยทั่วไปเกิดจากคีย์ที่ขาดหายหรือผิดตรวจสอบส่วนหัว Authorization: Bearer
404โดยทั่วไปเกิดจาก path หรือ base URL ที่ผิดBase URL ต้องลงท้ายด้วย /v1

ตัวห่อการลองใหม่แบบง่ายใช้เพียงไม่กี่บรรทัดและขจัดปัญหาการตอบกลับเป็นค่าว่างแบบสุ่มได้:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key="YOUR_KEY")

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(model="uncensored", messages=messages)
            return r.choices[0].message.content or ""
        except RateLimitError as e:
            wait = 5
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            if retry_after:
                wait = int(retry_after)
            time.sleep(wait)
    raise RuntimeError("still limited after retries")

คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นการลองเรียกซ้ำจึงไม่ทำให้คุณเสียเงินสองเท่า คุณสามารถยืนยันได้โดยการเปรียบเทียบ X-Balance-USD ก่อนและหลังการเรียกที่ล้มเหลว

สาเหตุที่ 5: endpoint, โมเดล หรือคีย์ที่ผิด

รายการตรวจสอบสั้นๆ สำหรับข้อผิดพลาดในการกำหนดค่าที่ทำให้เกิดผลลัพธ์แปลกๆ แทนที่จะเป็นข้อผิดพลาดที่ชัดเจน:

  1. base URL คือ https://api.unfilteredaiapi.com/v1 การขาด /v1 หรือการมีซ้ำกันอาจทำให้ได้ body 404 ซึ่งไคลเอนต์ที่ใจดีอาจแปลงเป็นการตอบกลับว่างเปล่า
  2. ชื่อโมเดลคือ uncensored เขียนตรงตัวพอดี การตั้งค่าโมเดลจากแคตตาล็อกของผู้ให้บริการรายอื่นเป็นการคัดลอกและวางที่มักเกิดข้อผิดพลาด
  3. มีเพียง POST /v1/chat/completions และ GET /v1/models เท่านั้น endpoint completions แบบเก่า embeddings และเส้นทางรูปภาพไม่พร้อมใช้งาน ดังนั้นไลบรารีที่เรียกใช้เส้นทางเหล่านี้จึงไม่ได้รับผลลัพธ์ที่มีประโยชน์
  4. คีย์ถูกส่งเป็น Bearer token และไม่มีช่องว่างหรือเครื่องหมายคำพูดที่เกินมาจากไฟล์ env

เรียก GET /v1/models พร้อมคีย์ของคุณเพื่อทดสอบการเชื่อมต่อ หากมันแสดงรายการโมเดล แสดงว่า base URL และคีย์ถูกต้อง และปัญหาอยู่ที่ body ของคำขอ quickstart มีคำขอที่ทำงานได้ขั้นต่ำสำหรับการเปรียบเทียบ และ FAQ ครอบคลุมการเข้าถึง ขีดจำกัด และการเรียกเก็บเงิน

การเก็บบันทึกที่ช่วยย่นระยะเวลาของเหตุการณ์ครั้งถัดไป

การตอบกลับเป็นค่าว่างยากต่อการดีบักในภายหลังเนื่องจากไม่มีใครบันทึกสิ่งที่เซิร์ฟเวอร์ส่งออกมา การเก็บบันทึกเพียงไม่กี่บรรทัดเปลี่ยนเรื่องลึกลับให้เป็นการค้นหาข้อมูล

  1. บันทึก header การตอบกลับ X-Request-Id ทุกการเรียก ทั้งสำเร็จหรือไม่สำเร็จ
  2. บันทึก finish_reason, จำนวน usage และความยาวของข้อความที่ส่งกลับ
  3. สำหรับสตรีมมิง ให้บันทึกจำนวน chunks ที่มาถึงและจำนวนที่มีข้อความ จำนวน chunks เป็นศูนย์ที่มีข้อความชี้ไปที่ parser ของคุณ จำนวน chunks เป็นศูนย์ทั้งหมดชี้ไปที่เครือข่ายหรือพร็อกซี
  4. แจ้งเตือนที่อัตราส่วนของการตอบกลับว่างเปล่าต่อการเรียกทั้งหมด ไม่ใช่เหตุการณ์เดี่ยว การตอบกลับว่างเปล่าหนึ่งในพันเป็นสัญญาณรบกวน ห้าเปอร์เซ็นต์คือข้อบกพร่อง

เมื่อคุณเปรียบเทียบคำขอที่ล้มเหลวกับคำขอที่ทำงานได้ ให้เปรียบเทียบ body ของคำขอเป็นอันดับแรก การเปลี่ยนแปลง system prompt, รายการ stop ที่เพิ่มขึ้น, ค่า max_tokens ที่เล็กลง หรือการเปลี่ยนชื่อโมเดล อธิบายการถดถอยส่วนใหญ่ได้ ใส่ body ของคำขอใน log สำหรับตัวอย่างของคำขอ หลังจากลบข้อมูลส่วนบุคคลออกแล้ว

หากผู้ใช้หลายคนรายงานผลลัพธ์เป็นค่าว่างพร้อมกัน และการทดสอบด้วย curl ของคุณก็ล้มเหลว สาเหตุอาจไม่ใช่โค้ดของคุณ ให้ตรวจสอบสถานะ 429 พร้อม header Retry-After เป็นอันดับแรก เนื่องจากภาวะ overload ชั่วคราวจะส่งสัญญาณด้วยวิธีนี้ และให้ลองใหม่หลังจากเว้นระยะเวลาตามที่ระบุ หากการทดสอบ curl ใช้งานได้แต่แอปของคุณล้มเหลว ให้ตรวจสอบจากฝั่งไคลเอนต์โดยใช้คำแนะนำในหัวข้อข้างต้น

หากคำตอบสั้นแทนที่จะเป็นค่าว่าง

บางครั้งอาการคือคำตอบหนึ่งบรรทัดเมื่อคุณต้องการทั้งหน้า นั่นเป็นปัญหาการเขียนพรอมต์มากกว่าปัญหาการส่งข้อมูล ขอความยาวและรูปแบบที่คุณต้องการ ("อย่างน้อย 400 คำ แบ่งเป็นสามย่อหน้า") ใส่คำสั่งไว้ใน system message และเพิ่ม temperature เล็กน้อยหากโมเดลตอบสั้น โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดังนั้นคำตอบสั้นๆ จึงไม่ใช่การปฏิเสธในกรณีส่วนใหญ่ มักเกิดจากคำขอที่ระบุไม่ชัดเจน เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์เป็นขีดจำกัดเดียวที่แข็งกร้าวและจะถูกปฏิเสธเสมอ

ยังติดขัดอยู่หรือไม่? ส่ง X-Request-Id จากคำตอบที่ล้มเหลว เวลาโดยประมาณ และ request body โดยไม่มีคีย์ของคุณให้ฝ่ายสนับสนุน นั่นช่วยให้ผู้อื่นพบคำขอที่แน่นอนได้ หากคุณเป็นผู้ใช้ใหม่ หน้าจัดการคีย์ มีส่วนขอรับเครดิตทดลองใช้ ซึ่งเพียงพอสำหรับคำขอ debugging หลายสิบคำขอ

ถาม-ตอบ

ทำไม message.content ถึงเป็น null?

โดยส่วนใหญ่โมเดลส่ง tool_calls แทนข้อความ หรือการอ่าน stream ผิดพลาด ให้ตรวจสอบ finish_reason และ tool_calls ใน message ก่อนที่จะสรุปว่าเป็นข้อผิดพลาด

การตอบกลับแบบว่างเปล่าคิดเงินหรือไม่?

คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน หากการเรียกสำเร็จและสร้างโทเคน คุณจะเห็นจำนวนการใช้งาน และ X-Balance-USD ใน headers แสดงยอดคงเหลือของคุณ

หน้าต่างบริบทที่เต็มอาจทำให้ผลลัพธ์ว่างเปล่าได้หรือไม่?

ใช่ พรอมต์และ completion ใช้โทเคนรวมกัน 100,000 โทเคน ดังนั้นประวัติการสนทนาที่เกือบเต็มจะเหลือพื้นที่น้อยหรือไม่มีเลยสำหรับคำตอบ ให้ตัดตอนหรือสรุปย่อการสนทนาในอดีต

ทำไม stream ของฉันถึงไม่แสดงอะไรเลย แล้วแสดงทุกอย่างพร้อมกัน?

proxy หรือ CDN น่าจะกำลัง buffer response ของ SSE ให้ปิดการ buffer สำหรับเส้นทางนั้นเพื่อให้ chunk ผ่านไปทันทีที่ได้รับ

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ APIอ่านเอกสาร