JA ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

開発者向け、生で無検閲な LLM API

Unfiltered AIAPI キーを取得

Node.js AI API:Expressでのストリーミング、ツール、エラー

このNode.js AI APIチュートリアルでは、空のフォルダからチャット返信をストリーミングし、ツールを呼び出し、レート制限エラーを処理するExpressルートまで導きます。公式OpenAIパッケージではベースURLとキーのみを変更し、モデルuncensoredを送信します。

サーバーラックにリンクされた六角形のギアが、ブラウザウィンドウにストリーミングする光の粒子

主要ポイント

  • openaiパッケージをインストールし、baseURLをhttps://api.unfilteredaiapi.com/v1に設定します。
  • stream: trueでストリーミングし、チャンクをサーバー送信イベントとしてブラウザに転送します。
  • ツール呼び出しはtool_callsとして到着します。role toolで結果を返します。
  • 429はレート制限、同時接続、または一時的な過負荷を意味します。Retry-Afterの待機後に再試行してください。

セットアップ:インストールと最初のリクエスト送信

Node 18以降が必要です。プロジェクトを作成し、SDKとExpressをインストールしてESモジュールに切り替えます。

mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1   model: uncensored
export AI_API_KEY="YOUR_KEY"

APIキーページからキーを取得します。新規アカウントはワンクリックで7日間有効な$0.50の無料トライアルクレジットを取得できます。次にclient.jsを作成します:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const res = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);

node client.jsで実行します。以下の各スニペットは、独立して実行できるようにクライアントを再定義します。OpenAIパッケージを使用している場合、移行は異なるbaseURL、APIキー、モデルIDの変更だけです。サービスはOpenAI互換でテキストのみ対応、コンテキストウィンドウは100,000トークンです。サポートされているメソッドの詳細はdocsをご覧ください。

ストリーミングで応答を取得

ストリーミングはトークンが生成されるたびに送信されるため、ユーザーはテキストを即座に表示できます。stream: trueを設定し、チャンクをイテレートします:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Describe a rainy harbor town." }],
  stream: true,
  stream_options: { include_usage: true },
});

for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) process.stdout.write(delta);
  if (chunk.usage) console.log("\nusage:", chunk.usage);
}

使用量は最後のチャンクで到着し、リクエストごとの実際のトークン数をログに記録できます。覚えておくべき事実があります:ストリーミングリクエストはストリームが終了するまで同時実行スロットを占有します。クライアントが切断した場合、スロットをすばやく解放するためにアップストリーム呼び出しを中止します。

ブラウザにストリーミングするExpressルート

以下はPOST /chatルートを備えた小さなサーバーです。ストリームをサーバー送信イベントとして転送し、ブラウザが接続を閉じたときにアップストリームリクエストをキャンセルします。

import express from "express";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const app = express();
app.use(express.json({ limit: "1mb" }));

app.post("/chat", async (req, res) => {
  const { messages } = req.body;
  if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });

  res.set({
    "Content-Type": "text/event-stream",
    "Cache-Control": "no-cache",
    Connection: "keep-alive",
  });

  const controller = new AbortController();
  req.on("close", () => controller.abort());

  try {
    const stream = await client.chat.completions.create(
      { model: "uncensored", messages, stream: true },
      { signal: controller.signal }
    );
    for await (const chunk of stream) {
      const delta = chunk.choices[0]?.delta?.content;
      if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
    }
    res.write("data: [DONE]\n\n");
  } catch (err) {
    res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
  } finally {
    res.end();
  }
});

app.listen(3000, () => console.log("listening on 3000"));

キーをブラウザコードに配置しないでください。上記のルートではキーをサーバーに保持します。同じパターンはFastAPIチャットボットバックエンド記事のPythonでも示されています。

ツールの呼び出し

ツール呼び出しはOpenAI形式に従います:toolsで関数を定義し、モデルはtool_callsで応答します。関数を実行後、role: "tool"メッセージで結果を返します。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const tools = [{
  type: "function",
  function: {
    name: "roll_dice",
    description: "Roll a die with the given number of sides",
    parameters: {
      type: "object",
      properties: { sides: { type: "integer" } },
      required: ["sides"],
    },
  },
}];

const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
  model: "uncensored", messages, tools, tool_choice: "auto",
});

const msg = first.choices[0].message;
if (msg.tool_calls) {
  messages.push(msg);
  for (const call of msg.tool_calls) {
    const { sides } = JSON.parse(call.function.arguments);
    const result = 1 + Math.floor(Math.random() * sides);
    messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
  }
  const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
  console.log(second.choices[0].message.content);
}

実際のコードでは、モデルが時々不正なJSONを返す可能性があるため、常にargumentsをtryブロック内で解析してください。ツールなしで構造化出力を行うには、response_format: { type: "json_object" }を設定し、プロンプトにJSONについて言及します。サイコロや在庫関数を呼び出すゲームシーンはゲームNPCとインタラクティブフィクションの構築でカバーされています。

エラーとレート制限の処理

APIは3つの状況でHTTP 429を返します。エラーコードrate_limitedは1分あたりのリクエストが多すぎること(フルキーは300、トライアルキーは60)を意味します。コードconcurrencyは一度に多すぎること(フルキーは8、トライアルキーは2)を意味します。一時的な過負荷の場合も、Retry-After: 5ヘッダー付きで429を受け取ります。SDKはスローされたエラーのステータスを公開するため、小さなラッパーがこれら3つすべてを処理します:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const sleep = (ms) => new Promise((r) => setTimeout(r, ms));

export async function chatWithRetry(params, tries = 4) {
  for (let i = 0; i < tries; i++) {
    try {
      return await client.chat.completions.create({ model: "uncensored", ...params });
    } catch (err) {
      if (err.status === 429 && i < tries - 1) {
        const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
        await sleep(wait * 1000);
        continue;
      }
      throw err;
    }
  }
}

ラッパーはサーバーが要求する待機時間を待機し、指数バックオフにフォールバックします。OpenAIパッケージも一部のエラーを自動的に再試行することに注意してください。これを制御したい場合は、クライアント側でmaxRetriesを設定してください。APIキーが不正な場合の401などの他のステータスは再試行すべきではありません。制限の詳細についてはFAQをご覧ください。

ルートの実行とテスト

node server.jsでサーバーを起動し、別のターミナルからテストします。-Nフラグはcurlのバッファリングを無効にし、イベントが1つずつ到着するのを見ることができます:

# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat   -H "Content-Type: application/json"   -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'

ブラウザでは、fetchとリーダー、または小さなSSEヘルパーライブラリを使用してストリームを読み取ります。このルートはPOSTであるため、ネイティブなEventSourceオブジェクトは適さないため、fetchを使用してチャンクを自分でデコードしてください。

本番環境の習慣

  • キーを環境変数またはシークレットストアに保持し、リポジトリには含めないでください。
  • リクエストボディに制限を設けます。APIは最大8 MBを受け付けますが、独自のルートははるかに少ないものを受け付けるべきです。
  • 送信する履歴を制限します。古い会話は、コストがかかるか、100,000トークンのウィンドウを満たす前に切り捨てます。
  • すでに8つのストリームが開いている場合は、追加の作業をキューに入れるか拒否し、APIがユーザーに429を返さないようにします。
  • X-Request-Idレスポンスヘッダーをログに記録し、サポートが単一のリクエストを追跡できるようにします。

残高とコストの確認

すべてのレスポンスにはX-Balance-USDヘッダーが含まれ、GET /v1/balanceは残高を直接返します。価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、前払いクレジットから課金され、失敗または拒否されたリクエストは無料です。800入力トークンと250出力トークンのチャットターンは$0.000245かかり、10,000ターンは$2.45かかります。各レスポンスからusageをログに記録すれば、請求額を数セント以内に予測できます。価格ページには$20から$500のチャージが記載されています。

質問と回答

どのnpmパッケージを使用すべきですか?

公式のopenaiパッケージは動作します。baseURLをhttps://api.unfilteredaiapi.com/v1に設定し、キーを渡してモデルID uncensoredを使用します。

Nodeからレスポンスをストリーミングできますか?

はい。stream: trueを渡してfor awaitでイテレートします。stream_optionsにinclude_usageを追加して、最後のチャンクでトークン数を取得します。

APIは関数呼び出しに対応していますか?

はい。toolsとtool_choiceを送信し、返信からtool_callsを読み取り、role toolのメッセージとして結果を返します。

サーバーはHTTP 429でどうすべきですか?

Retry-Afterの値があればそれを待ち、なければ指数関数的バックオフを行い、数回再試行します。エラーコードがconcurrencyの場合、同時リクエストを減らします。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む