API AI Node JS: สตรีมมิง เครื่องมือ และข้อผิดพลาดใน Express
บทช่วยสอน API AI Node js นี้พาคุณจากโฟลเดอร์เปล่าไปยัง Express route ที่สตรีมการตอบกลับแชท เรียกใช้เครื่องมือ และจัดการข้อผิดพลาดขีดจำกัดอัตรา คุณเพียงเปลี่ยน base URL และคีย์ในแพ็กเกจ OpenAI ทางการ จากนั้นส่งโมเดล uncensored
อัปเดตUnfiltered AI

ประเด็นสำคัญ
- ติดตั้งแพ็กเกจ openai และตั้งค่า baseURL เป็น https://api.unfilteredaiapi.com/v1.
- สตรีมด้วย stream: true และส่งต่อ chunk ไปยังเบราว์เซอร์เป็น server-sent events
- tool calls เข้ามาเป็น tool_calls; ส่งผลลัพธ์กลับด้วย role tool
- 429 หมายถึง rate_limited, concurrency หรือ overload ชั่วคราว; ลองใหม่หลังจากช่วง Retry-After
การติดตั้ง: ติดตั้งและส่งคำขอแรก
คุณต้องมี Node 18 ขึ้นไป สร้างโปรเจกต์ ติดตั้ง SDK และ Express แล้วสลับไปใช้ ES modules
mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1 model: uncensored
export AI_API_KEY="YOUR_KEY"
รับคีย์จาก หน้าคีย์ API บัญชีใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียว ใช้ได้ 7 วัน จากนั้นสร้าง client.js:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const res = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);
รันด้วยคำสั่ง node client.js ตัวอย่างโค้ดแต่ละส่วนจะกำหนดไคลเอนต์ใหม่เพื่อให้รันเป็นอิสระได้ นี่คือขั้นตอนการย้ายระบบทั้งหมดหากคุณใช้แพ็กเกจ OpenAI อยู่แล้ว: เปลี่ยน baseURL, คีย์ของคุณ และ ID โมเดล บริการนี้เข้ากันได้กับ OpenAI และรองรับเฉพาะข้อความ พร้อมหน้าต่างบริบท 100,000 โทเคน ดู เอกสารประกอบ สำหรับวิธีการที่รองรับทั้งหมด
สตรีมมิงคำตอบ
การสตรีมส่งโทเคนทันทีที่สร้างเสร็จ ทำให้ผู้ใช้เห็นข้อความได้ทันที ตั้งค่า stream: true และวนลูปผ่านข้อมูลส่วนย่อย:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Describe a rainy harbor town." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) process.stdout.write(delta);
if (chunk.usage) console.log("\nusage:", chunk.usage);
}
การใช้งานมาถึงใน chunk สุดท้าย ซึ่งช่วยให้คุณบันทึกจำนวนโทเคนจริงต่อคำขอได้ จำไว้ว่าคำขอแบบสตรีมจะครอบครอง slot การทำงานพร้อมกันจนกว่าสตรีมจะสิ้นสุด หากไคลเอนต์ตัดการเชื่อมต่อ ให้ยกเลิกการเรียก upstream เพื่อให้ slot ว่างเร็วขึ้น
เส้นทาง Express ที่สตรีมไปยังเบราว์เซอร์
นี่คือเซิร์ฟเวอร์ขนาดเล็กที่มีเส้นทาง POST /chat ซึ่งส่งต่อสตรีมเป็นเหตุการณ์ที่ส่งโดยเซิร์ฟเวอร์ (SSE) และยกเลิกการเรียก upstream เมื่อเบราว์เซอร์ปิดการเชื่อมต่อ
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const app = express();
app.use(express.json({ limit: "1mb" }));
app.post("/chat", async (req, res) => {
const { messages } = req.body;
if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });
res.set({
"Content-Type": "text/event-stream",
"Cache-Control": "no-cache",
Connection: "keep-alive",
});
const controller = new AbortController();
req.on("close", () => controller.abort());
try {
const stream = await client.chat.completions.create(
{ model: "uncensored", messages, stream: true },
{ signal: controller.signal }
);
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
}
res.write("data: [DONE]\n\n");
} catch (err) {
res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
} finally {
res.end();
}
});
app.listen(3000, () => console.log("listening on 3000"));
อย่าใส่คีย์ในโค้ดเบราว์เซอร์ เส้นทางด้านบนเก็บคีย์ไว้ที่เซิร์ฟเวอร์ ซึ่งเป็นตำแหน่งที่เหมาะสม รูปแบบเดียวกันนี้ยังแสดงไว้ใน Python ในบทความ แบ็กเอนด์แชทบอท FastAPI
เรียกใช้เครื่องมือ
การเรียกใช้เครื่องมือปฏิบัติตามรูปแบบของ OpenAI: คุณอธิบายฟังก์ชันใน tools โมเดลจะตอบกลับด้วย tool_calls คุณเรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับเป็นข้อความด้วย role: "tool"
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const tools = [{
type: "function",
function: {
name: "roll_dice",
description: "Roll a die with the given number of sides",
parameters: {
type: "object",
properties: { sides: { type: "integer" } },
required: ["sides"],
},
},
}];
const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
model: "uncensored", messages, tools, tool_choice: "auto",
});
const msg = first.choices[0].message;
if (msg.tool_calls) {
messages.push(msg);
for (const call of msg.tool_calls) {
const { sides } = JSON.parse(call.function.arguments);
const result = 1 + Math.floor(Math.random() * sides);
messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
}
const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
console.log(second.choices[0].message.content);
}
ควรแยกวิเคราะห์ arguments ภายใน try block ในโค้ดจริง เนื่องจากโมเดลอาจส่ง JSON ที่ผิดรูปแบบเป็นครั้งคราว สำหรับผลลัพธ์ที่มีโครงสร้างโดยไม่ต้องใช้เครื่องมือ ให้ตั้งค่า response_format: { type: "json_object" } และกล่าวถึง JSON ในพรอมต์ของคุณ ฉากเกมที่ใช้ฟังก์ชันการทอดลูกเต๋าหรือสินค้าคงคลังมีรายละเอียดใน การสร้าง NPC เกมและนิยายเชิงโต้ตอบ
จัดการข้อผิดพลาดและขีดจำกัดอัตรา
API ส่ง HTTP 429 ในสามสถานการณ์ รหัสข้อผิดพลาด rate_limited หมายถึงคำขอมากเกินไปต่อนาที: 300 สำหรับคีย์เต็ม, 60 สำหรับคีย์ทดลอง รหัส concurrency หมายถึงคำขอพร้อมกันมากเกินไป: 8 สำหรับคีย์เต็ม, 2 สำหรับคีย์ทดลอง เมื่อเกิด overload ชั่วคราว คุณยังได้รับ 429 พร้อม Retry-After: 5 header SDK แสดงสถานะบนข้อผิดพลาดที่โยนออกมา ดังนั้น wrapper เล็กๆ จึงจัดการทั้งสามกรณีนี้:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
export async function chatWithRetry(params, tries = 4) {
for (let i = 0; i < tries; i++) {
try {
return await client.chat.completions.create({ model: "uncensored", ...params });
} catch (err) {
if (err.status === 429 && i < tries - 1) {
const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
await sleep(wait * 1000);
continue;
}
throw err;
}
}
}
wrapper รอตามระยะเวลาที่เซิร์ฟเวอร์ระบุ แล้วใช้การ backoff แบบเอกซ์โพเนนเชียล หมายเหตุว่าแพ็กเกจ OpenAI ยังลองเรียกซ้ำข้อผิดพลาดบางรายการเองด้วย; ตั้งค่า maxRetries บนไคลเอนต์หากคุณต้องการควบคุมสิ่งนี้ สถานะอื่นๆ เช่น 401 สำหรับคีย์ที่ไม่ถูกต้อง ไม่ควรลองใหม่ การดูรายละเอียดเกี่ยวกับขีดจำกัดมีใน FAQ
รันและทดสอบเส้นทาง
เริ่มเซิร์ฟเวอร์ด้วยคำสั่ง node server.js และทดสอบจากเทอร์มินัลที่สอง ใช้แฟล็ก -N เพื่อปิดการบัฟเฟอร์ของ curl เพื่อให้คุณเห็นเหตุการณ์ที่เข้ามาทีละรายการ:
# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'
ในเบราว์เซอร์ ให้ใช้ fetch พร้อม reader หรือไลบรารีช่วย SSE เนื่องจากเป็น POST EventSource ใช้ไม่ได้ จึงใช้ fetch และ decode chunks เอง
แนวปฏิบัติสำหรับระบบผลิต
- เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมหรือที่เก็บความลับ (secret store) ห้ามเก็บไว้ใน repository
- จำกัดบอดีคำขอ API รับได้สูงสุด 8 MB แต่เส้นทางของคุณควรรับได้น้อยกว่ามาก
- จำกัดประวัติที่คุณส่ง ตัดการสนทนาเก่าออกก่อนที่มันจะเสียเงินคุณหรือเติมเต็มหน้าต่าง 100,000 โทเคน
- คิวหรือปฏิเสธงานเพิ่มเติมเมื่อคุณมีสตรีมเปิดอยู่แล้ว 8 อัน แทนที่จะปล่อยให้ API ตอบกลับ 429 ให้ผู้ใช้ของคุณ
- บันทึกหัวข้อความ
X-Request-Idเพื่อให้ฝ่ายสนับสนุนสามารถติดตามคำขอเดียวได้
ตรวจสอบยอดเงินและค่าใช้จ่าย
การตอบกลับทุกฉบับมี X-Balance-USD header และ GET /v1/balance ส่งยอดคงเหลือโดยตรง ราคา $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต หักจากเครดิตแบบเติมเงินล่วงหน้า และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะฟรี การสนทนา 800 โทเคนอินพุตและ 250 โทเคนเอาต์พุตมีค่าใช้จ่าย $0.000245 ดังนั้น 10,000 การสนทนามีค่าใช้จ่าย $2.45 บันทึก usage จากการตอบกลับแต่ละครั้งและคุณสามารถประมาณค่าบิลของคุณได้ภายในไม่กี่เซ็นต์ หน้าราคา แสดงรายการเติมเงินตั้งแต่ $20 ถึง $500
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันควรใช้แพ็คเกจ npm ตัวใด?
แพ็กเกจทางการของ openai ทำงานได้ ตั้งค่า base URL เป็น https://api.unfilteredaiapi.com/v1, ส่งคีย์ของคุณและใช้ model ID uncensored
ฉันสามารถสตรีมมิงการตอบกลับจาก Node ได้ไหม?
ได้ ส่ง stream: true และวนซ้ำด้วย for await เพิ่ม stream_options พร้อม include_usage เพื่อรับจำนวนโทเคนใน chunk สุดท้าย
API รองรับการเรียกใช้ฟังก์ชันหรือไม่
ได้ ส่ง tools และ tool_choice อ่าน tool_calls จากคำตอบและส่งผลลัพธ์เป็น messages พร้อม role tool
เซิร์ฟเวอร์ของฉันควรทำอย่างไรเมื่อได้รับ HTTP 429
รอค่า Retry-After หากมีอยู่ มิฉะนั้นให้ลดความถี่แบบเอกซ์โพเนนเชียล แล้วลองใหม่หลายครั้ง ลดคำขอพร้อมกัน หากรหัสข้อผิดพลาดคือ concurrency
คีย์ของคุณอยู่ห่างแค่การกรอกแบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด