Node JS AI API: स्ट्रीमिंग, टूल्स और एक्सप्रेस में त्रुटियाँ
यह node js ai api ट्यूटोरियल आपको एक खाली फ़ोल्डर से एक Express रूट तक ले जाता है जो चैट प्रतिक्रियाओं को स्ट्रीम करता है, एक टूल कॉल करता है और रेट-लिमिट त्रुटियों को हैंडल करता है। आपको केवल आधिकारिक OpenAI पैकेज में बेस URL और कुंजी बदलनी होती है, फिर मॉडल uncensored भेजें।
अपडेटेडUnfiltered AI

मुख्य बिंदु
- openai पैकेज इंस्टॉल करें और baseURL को https://api.unfilteredaiapi.com/v1 पर सेट करें।
- stream: true के साथ स्ट्रीम करें और चंक को ब्राउज़र में सर्वर-सेंट इवेंट्स के रूप में भेजें।
- टूल कॉल tool_calls के रूप में आते हैं; role tool के साथ परिणाम लौटाएं।
- 429 का मतलब rate_limited, concurrency या अस्थायी ओवरलोड है; Retry-After विलंब के बाद पुनः प्रयास करें।
सेटअप: इंस्टॉल करें और पहला अनुरोध भेजें
आपको Node 18 या उससे नया चाहिए। एक प्रोजेक्ट बनाएं, SDK और Express इंस्टॉल करें, और ES मॉड्यूल पर स्विच करें।
mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1 model: uncensored
export AI_API_KEY="YOUR_KEY"
API कुंजी पृष्ठ से एक कुंजी प्राप्त करें। नए खातों को एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट प्राप्त करने की अनुमति है, जो 7 दिनों के लिए मान्य है। फिर client.js बनाएँ:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const res = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);
इसे node client.js के साथ चलाएँ। नीचे दिया गया प्रत्येक स्निपेट क्लाइंट को फिर से परिभाषित करता है ताकि वह स्वतंत्र रूप से चले। यदि आप पहले से ही OpenAI पैकेज का उपयोग कर रहे हैं, तो यह पूरी माइग्रेशन है: एक अलग baseURL, आपकी कुंजी और मॉडल ID। सेवा OpenAI-संगत है और केवल पाठ के लिए, 100,000 टोकन की कॉन्टेक्स्ट विंडो के साथ। समर्थित प्रत्येक विधि के लिए दस्तावेज़ देखें।
प्रतिक्रिया को स्ट्रीम करें
स्ट्रीमिंग टोकन को तब भेजती है जब वे उत्पादित होते हैं, ताकि उपयोगकर्ता तुरंत टेक्स्ट देख सकें। stream: true सेट करें और चंक पर इटरेट करें:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Describe a rainy harbor town." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) process.stdout.write(delta);
if (chunk.usage) console.log("\nusage:", chunk.usage);
}
उपयोग अंतिम चंक में आता है, जो आपको प्रत्येक अनुरोध के लिए वास्तविक टोकन गणना लॉग करने की अनुमति देता है। एक तथ्य को ध्यान में रखें: एक स्ट्रीम किए गए अनुरोध में उसकी कॉन्करेंसी स्लॉट स्ट्रीम समाप्त होने तक बनी रहती है। यदि क्लाइंट डिस्कनेक्ट हो जाता है, तो अपस्ट्रीम कॉल को एबॉर्ट करें ताकि स्लॉट जल्दी फ्री हो जाए।
ब्राउज़र को स्ट्रीम करने वाला एक एक्सप्रेस रूट
यहाँ एक छोटा सर्वर है जिसमें POST /chat रूट है। यह स्ट्रीम को सर्वर-सेंट इवेंट्स के रूप में आगे बढ़ाता है और जब ब्राउज़र कनेक्शन बंद कर देता है तो अपस्ट्रीम अनुरोध को रद्द कर देता है।
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const app = express();
app.use(express.json({ limit: "1mb" }));
app.post("/chat", async (req, res) => {
const { messages } = req.body;
if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });
res.set({
"Content-Type": "text/event-stream",
"Cache-Control": "no-cache",
Connection: "keep-alive",
});
const controller = new AbortController();
req.on("close", () => controller.abort());
try {
const stream = await client.chat.completions.create(
{ model: "uncensored", messages, stream: true },
{ signal: controller.signal }
);
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
}
res.write("data: [DONE]\n\n");
} catch (err) {
res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
} finally {
res.end();
}
});
app.listen(3000, () => console.log("listening on 3000"));
कुंजी को ब्राउज़र कोड में कभी न डालें। ऊपर दिया गया एंडपॉइंट इसे सर्वर पर रखता है, जहाँ इसका स्थान है। Python में FastAPI चैटबॉट बैकएंड लेख में उसी पैटर्न को दिखाया गया है।
टूल कॉल करें
टूल कॉलिंग OpenAI फॉर्मेट का पालन करती है: आप tools में फ़ंक्शन वर्णित करते हैं, मॉडल tool_calls के साथ जवाब देता है, आप फ़ंक्शन चलाते हैं और परिणाम को role: "tool" संदेश के रूप में वापस भेजते हैं।
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const tools = [{
type: "function",
function: {
name: "roll_dice",
description: "Roll a die with the given number of sides",
parameters: {
type: "object",
properties: { sides: { type: "integer" } },
required: ["sides"],
},
},
}];
const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
model: "uncensored", messages, tools, tool_choice: "auto",
});
const msg = first.choices[0].message;
if (msg.tool_calls) {
messages.push(msg);
for (const call of msg.tool_calls) {
const { sides } = JSON.parse(call.function.arguments);
const result = 1 + Math.floor(Math.random() * sides);
messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
}
const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
console.log(second.choices[0].message.content);
}
वास्तविक कोड में हमेशा arguments को try ब्लॉक के अंदर पार्स करें, क्योंकि मॉडल कभी-कभी खराब JSON लौटा सकते हैं। टूल्स के बिना संरचित आउटपुट के लिए, response_format: { type: "json_object" } सेट करें और अपने प्रॉम्प्ट में JSON का उल्लेख करें। डायस या इन्वेंट्री फ़ंक्शन कॉल करने वाले गेम सीन्स गेम NPC और इंटरैक्टिव फिक्शन बनाते समय में कवर किए गए हैं।
एरर्स और रेट लिमिट्स हैंडल करें
API तीन स्थितियों में HTTP 429 लौटाता है। एरर कोड rate_limited का अर्थ है प्रति मिनट बहुत अधिक अनुरोध: फुल कुंजी के लिए 300, ट्रायल कुंजी के लिए 60। कोड concurrency का अर्थ है एक साथ बहुत अधिक: फुल कुंजी के लिए 8, ट्रायल कुंजी के लिए 2। अस्थायी ओवरलोड पर आपको Retry-After: 5 हेडर के साथ 429 भी मिलता है। SDK फेंके गए त्रुटि पर स्थिति को उजागर करता है, इसलिए एक छोटा रैपर सभी तीन को संभालता है:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
export async function chatWithRetry(params, tries = 4) {
for (let i = 0; i < tries; i++) {
try {
return await client.chat.completions.create({ model: "uncensored", ...params });
} catch (err) {
if (err.status === 429 && i < tries - 1) {
const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
await sleep(wait * 1000);
continue;
}
throw err;
}
}
}
रैपर सर्वर द्वारा मांगे गए विलंब के लिए प्रतीक्षा करता है और एक्सपोनेन्शियल बैकऑफ पर फॉलबैक करता है। ध्यान दें कि OpenAI पैकेज कुछ त्रुटियों को स्वयं भी पुनः प्रयास करता है; यदि आप इसे नियंत्रित करना चाहते हैं तो क्लाइंट पर maxRetries सेट करें। 401 जैसी अन्य स्थितियाँ, जैसे कि खराब कुंजी के लिए, पुनः प्रयास नहीं की जानी चाहिए। लिमिट्स पर एक गहरा अवलोकन FAQ में है।
रूट को चलाएं और टेस्ट करें
सर्वर को node server.js के साथ शुरू करें और दूसरे टर्मिनल से इसका परीक्षण करें। -N फ्लैग curl बफरिंग को बंद कर देता है ताकि आप देख सकें कि इवेंट एक-एक करके आ रहे हैं:
# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'
ब्राउज़र में, fetch और रीडर के साथ, या एक छोटे SSE हेल्पर लाइब्रेरी के साथ स्ट्रीम पढ़ें। चूँकि राउट एक POST है, नेटिव EventSource ऑब्जेक्ट फिट नहीं होता, इसलिए fetch का उपयोग करें और चंक को स्वयं डिकोड करें।
प्रोडक्शन आदतें
- कुंजी को एक एनवायरनमेंट वेरिएबल या सीक्रेट स्टोर में रखें, रीपॉज़िटरी में कभी नहीं।
- अनुरोध बॉडी को कैप करें। API 8 MB तक स्वीकार करता है, लेकिन आपका अपना रूट बहुत कम स्वीकार करना चाहिए।
- भेजे गए इतिहास को सीमित करें। पुराने टर्न्स को काटें ताकि वे आपको पैसे न खर्च करें या 100,000 टोकन विंडो को न भरें।
- जब आपके पास पहले से 8 स्ट्रीम्स खुली हों, तो अतिरिक्त काम को क्यू करें या अस्वीकार करें, इसके बजाय कि API आपके उपयोगकर्ताओं को 429 जवाब दे।
- लॉग
X-Request-Idरिस्पॉन्स हेडर, ताकि सहायता एकल अनुरोध को ट्रैस कर सके।
अपना बैलेंस और लागत जांचें
प्रत्येक प्रतिक्रिया में X-Balance-USD हेडर होता है, और GET /v1/balance सीधे शेष राशि लौटाता है। मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, जो प्रीपेड क्रेडिट से कटाया जाता है, और विफल या अस्वीकृत अनुरोध मुफ्त हैं। 800 इनपुट और 250 आउटपुट टोकन वाले चैट टर्न की लागत $0.000245 है, इसलिए 10,000 टर्न की लागत $2.45 है। प्रत्येक प्रतिक्रिया से usage लॉग करें और आप अपनी बिलिंग कुछ सेंट के भीतर अनुमानित कर सकते हैं। मूल्य निर्धारण पृष्ठ पर $20 से $500 तक टॉप-अप की सूची दी गई है।
अधिक गाइड
प्रश्न और उत्तर
मुझे किस npm पैकेज का उपयोग करना चाहिए?
आधिकारिक openai पैकेज काम करता है। baseURL को https://api.unfilteredaiapi.com/v1 पर सेट करें, अपनी कुंजी पास करें और मॉडल ID uncensored का उपयोग करें।
क्या मैं Node से प्रतिक्रियाओं को स्ट्रीम कर सकता हूँ?
हाँ। stream: true पास करें और for await के साथ पुनरावृत्ति करें। अंतिम चंक में टोकन गणना प्राप्त करने के लिए include_usage के साथ stream_options जोड़ें।
क्या API फ़ंक्शन कॉलिंग का समर्थन करता है?
हाँ। tools और tool_choice भेजें, प्रतिक्रिया से tool_calls पढ़ें और role tool वाले संदेशों के रूप में परिणाम लौटाएं।
HTTP 429 पर मेरे सर्वर को क्या करना चाहिए?
यदि मौजूद हो तो Retry-After मान के लिए प्रतीक्षा करें, अन्यथा घातांकीय रूप से पीछे हटें, फिर कुछ बार पुनः प्रयास करें। यदि त्रुटि कोड concurrency है तो समानांतर अनुरोध कम करें।
आपकी कुंजी बस एक फॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।