Node.js AI API:Expressでのストリーミング、ツール、エラー
このNode.js AI APIチュートリアルでは、空のフォルダからチャット返信をストリーミングし、ツールを呼び出し、レート制限エラーを処理するExpressルートまで導きます。公式OpenAIパッケージではベースURLとキーのみを変更し、モデルuncensoredを送信します。
更新済みUnfiltered AI

主要ポイント
- openaiパッケージをインストールし、baseURLをhttps://api.unfilteredaiapi.com/v1に設定します。
- stream: trueでストリーミングし、チャンクをサーバー送信イベントとしてブラウザに転送します。
- ツール呼び出しはtool_callsとして到着します。role toolで結果を返します。
- 429はレート制限、同時接続、または一時的な過負荷を意味します。Retry-Afterの待機後に再試行してください。
セットアップ:インストールと最初のリクエスト送信
Node 18以降が必要です。プロジェクトを作成し、SDKとExpressをインストールしてESモジュールに切り替えます。
mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1 model: uncensored
export AI_API_KEY="YOUR_KEY"
APIキーページからキーを取得します。新規アカウントはワンクリックで7日間有効な$0.50の無料トライアルクレジットを取得できます。次にclient.jsを作成します:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const res = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);
node client.jsで実行します。以下の各スニペットは、独立して実行できるようにクライアントを再定義します。OpenAIパッケージを使用している場合、移行は異なるbaseURL、APIキー、モデルIDの変更だけです。サービスはOpenAI互換でテキストのみ対応、コンテキストウィンドウは100,000トークンです。サポートされているメソッドの詳細はdocsをご覧ください。
ストリーミングで応答を取得
ストリーミングはトークンが生成されるたびに送信されるため、ユーザーはテキストを即座に表示できます。stream: trueを設定し、チャンクをイテレートします:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Describe a rainy harbor town." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) process.stdout.write(delta);
if (chunk.usage) console.log("\nusage:", chunk.usage);
}
使用量は最後のチャンクで到着し、リクエストごとの実際のトークン数をログに記録できます。覚えておくべき事実があります:ストリーミングリクエストはストリームが終了するまで同時実行スロットを占有します。クライアントが切断した場合、スロットをすばやく解放するためにアップストリーム呼び出しを中止します。
ブラウザにストリーミングするExpressルート
以下はPOST /chatルートを備えた小さなサーバーです。ストリームをサーバー送信イベントとして転送し、ブラウザが接続を閉じたときにアップストリームリクエストをキャンセルします。
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const app = express();
app.use(express.json({ limit: "1mb" }));
app.post("/chat", async (req, res) => {
const { messages } = req.body;
if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });
res.set({
"Content-Type": "text/event-stream",
"Cache-Control": "no-cache",
Connection: "keep-alive",
});
const controller = new AbortController();
req.on("close", () => controller.abort());
try {
const stream = await client.chat.completions.create(
{ model: "uncensored", messages, stream: true },
{ signal: controller.signal }
);
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
}
res.write("data: [DONE]\n\n");
} catch (err) {
res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
} finally {
res.end();
}
});
app.listen(3000, () => console.log("listening on 3000"));
キーをブラウザコードに配置しないでください。上記のルートではキーをサーバーに保持します。同じパターンはFastAPIチャットボットバックエンド記事のPythonでも示されています。
ツールの呼び出し
ツール呼び出しはOpenAI形式に従います:toolsで関数を定義し、モデルはtool_callsで応答します。関数を実行後、role: "tool"メッセージで結果を返します。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const tools = [{
type: "function",
function: {
name: "roll_dice",
description: "Roll a die with the given number of sides",
parameters: {
type: "object",
properties: { sides: { type: "integer" } },
required: ["sides"],
},
},
}];
const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
model: "uncensored", messages, tools, tool_choice: "auto",
});
const msg = first.choices[0].message;
if (msg.tool_calls) {
messages.push(msg);
for (const call of msg.tool_calls) {
const { sides } = JSON.parse(call.function.arguments);
const result = 1 + Math.floor(Math.random() * sides);
messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
}
const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
console.log(second.choices[0].message.content);
}
実際のコードでは、モデルが時々不正なJSONを返す可能性があるため、常にargumentsをtryブロック内で解析してください。ツールなしで構造化出力を行うには、response_format: { type: "json_object" }を設定し、プロンプトにJSONについて言及します。サイコロや在庫関数を呼び出すゲームシーンはゲームNPCとインタラクティブフィクションの構築でカバーされています。
エラーとレート制限の処理
APIは3つの状況でHTTP 429を返します。エラーコードrate_limitedは1分あたりのリクエストが多すぎること(フルキーは300、トライアルキーは60)を意味します。コードconcurrencyは一度に多すぎること(フルキーは8、トライアルキーは2)を意味します。一時的な過負荷の場合も、Retry-After: 5ヘッダー付きで429を受け取ります。SDKはスローされたエラーのステータスを公開するため、小さなラッパーがこれら3つすべてを処理します:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
export async function chatWithRetry(params, tries = 4) {
for (let i = 0; i < tries; i++) {
try {
return await client.chat.completions.create({ model: "uncensored", ...params });
} catch (err) {
if (err.status === 429 && i < tries - 1) {
const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
await sleep(wait * 1000);
continue;
}
throw err;
}
}
}
ラッパーはサーバーが要求する待機時間を待機し、指数バックオフにフォールバックします。OpenAIパッケージも一部のエラーを自動的に再試行することに注意してください。これを制御したい場合は、クライアント側でmaxRetriesを設定してください。APIキーが不正な場合の401などの他のステータスは再試行すべきではありません。制限の詳細についてはFAQをご覧ください。
ルートの実行とテスト
node server.jsでサーバーを起動し、別のターミナルからテストします。-Nフラグはcurlのバッファリングを無効にし、イベントが1つずつ到着するのを見ることができます:
# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'
ブラウザでは、fetchとリーダー、または小さなSSEヘルパーライブラリを使用してストリームを読み取ります。このルートはPOSTであるため、ネイティブなEventSourceオブジェクトは適さないため、fetchを使用してチャンクを自分でデコードしてください。
本番環境の習慣
- キーを環境変数またはシークレットストアに保持し、リポジトリには含めないでください。
- リクエストボディに制限を設けます。APIは最大8 MBを受け付けますが、独自のルートははるかに少ないものを受け付けるべきです。
- 送信する履歴を制限します。古い会話は、コストがかかるか、100,000トークンのウィンドウを満たす前に切り捨てます。
- すでに8つのストリームが開いている場合は、追加の作業をキューに入れるか拒否し、APIがユーザーに429を返さないようにします。
X-Request-Idレスポンスヘッダーをログに記録し、サポートが単一のリクエストを追跡できるようにします。
残高とコストの確認
すべてのレスポンスにはX-Balance-USDヘッダーが含まれ、GET /v1/balanceは残高を直接返します。価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、前払いクレジットから課金され、失敗または拒否されたリクエストは無料です。800入力トークンと250出力トークンのチャットターンは$0.000245かかり、10,000ターンは$2.45かかります。各レスポンスからusageをログに記録すれば、請求額を数セント以内に予測できます。価格ページには$20から$500のチャージが記載されています。
その他のガイド
質問と回答
どのnpmパッケージを使用すべきですか?
公式のopenaiパッケージは動作します。baseURLをhttps://api.unfilteredaiapi.com/v1に設定し、キーを渡してモデルID uncensoredを使用します。
Nodeからレスポンスをストリーミングできますか?
はい。stream: trueを渡してfor awaitでイテレートします。stream_optionsにinclude_usageを追加して、最後のチャンクでトークン数を取得します。
APIは関数呼び出しに対応していますか?
はい。toolsとtool_choiceを送信し、返信からtool_callsを読み取り、role toolのメッセージとして結果を返します。
サーバーはHTTP 429でどうすべきですか?
Retry-Afterの値があればそれを待ち、なければ指数関数的バックオフを行い、数回再試行します。エラーコードがconcurrencyの場合、同時リクエストを減らします。