Node JS AI API: потоковая передача, инструменты и ошибки в Express
Это руководство по Node JS AI API проведет вас от пустой папки к маршруту Express, который потоково передает ответы чата, вызывает инструмент и обрабатывает ошибки лимита запросов. Вы меняете только базовый URL и ключ в официальном пакете OpenAI, затем отправляете модель uncensored.
ОбновленоUnfiltered AI

Ключевые моменты
- Установите пакет openai и укажите в baseURL значение https://api.unfilteredaiapi.com/v1.
- Используйте stream: true и передавайте чанки браузеру как события, отправляемые сервером.
- Вызовы инструментов поступают как tool_calls; возвращайте результаты с role tool.
- 429 означает rate_limited, concurrency или временную перегрузку; повторите запрос после задержки Retry-After.
Настройка: установка и отправка первого запроса
Вам нужен Node 18 или новее. Создайте проект, установите SDK и Express, и переключитесь на модули ES.
mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1 model: uncensored
export AI_API_KEY="YOUR_KEY"
Получите ключ на странице API-ключ. Новые аккаунты могут получить $0,50 пробного баланса в один клик, действительного в течение 7 дней. Затем создайте client.js:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const res = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);
Запустите его с помощью node client.js. Каждый фрагмент ниже снова определяет клиент, чтобы он мог работать самостоятельно. Это вся миграция, если вы уже используете пакет OpenAI: другой baseURL, ваш ключ и идентификатор модели. Сервис совместим с OpenAI и поддерживает только текст, с контекстным окном на 100 000 токенов. См. документацию для всех поддерживаемых методов.
Потоковая передача ответа
Потоковая передача отправляет токены по мере их генерации, поэтому пользователи видят текст немедленно. Установите stream: true и итерируйте по фрагментам:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Describe a rainy harbor town." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) process.stdout.write(delta);
if (chunk.usage) console.log("\nusage:", chunk.usage);
}
Данные об использовании приходят в последнем чанке, что позволяет логировать реальное количество токенов на запрос. Имейте в виду: потоковый запрос занимает свой слот параллельности до конца потока. Если клиент отключается, прервите вызов на стороне сервера, чтобы слот освободился быстрее.
Маршрут Express с потоковой передачей в браузер
Вот небольшой сервер с маршрутом POST /chat. Он перенаправляет поток как события, отправляемые сервером, и отменяет запрос к провайдеру, когда браузер закрывает соединение.
import express from "express";
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const app = express();
app.use(express.json({ limit: "1mb" }));
app.post("/chat", async (req, res) => {
const { messages } = req.body;
if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });
res.set({
"Content-Type": "text/event-stream",
"Cache-Control": "no-cache",
Connection: "keep-alive",
});
const controller = new AbortController();
req.on("close", () => controller.abort());
try {
const stream = await client.chat.completions.create(
{ model: "uncensored", messages, stream: true },
{ signal: controller.signal }
);
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
}
res.write("data: [DONE]\n\n");
} catch (err) {
res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
} finally {
res.end();
}
});
app.listen(3000, () => console.log("listening on 3000"));
Никогда не помещайте ключ в код браузера. Маршрут выше хранит его на сервере, где ему и место. Тот же шаблон показан в Python в статье бэкенд чат-бота FastAPI.
Вызов инструмента
Вызов инструмента следует формату OpenAI: вы описываете функции в tools, модель отвечает с tool_calls, вы запускаете функцию и отправляете результат обратно как сообщение с role: "tool".
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const tools = [{
type: "function",
function: {
name: "roll_dice",
description: "Roll a die with the given number of sides",
parameters: {
type: "object",
properties: { sides: { type: "integer" } },
required: ["sides"],
},
},
}];
const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
model: "uncensored", messages, tools, tool_choice: "auto",
});
const msg = first.choices[0].message;
if (msg.tool_calls) {
messages.push(msg);
for (const call of msg.tool_calls) {
const { sides } = JSON.parse(call.function.arguments);
const result = 1 + Math.floor(Math.random() * sides);
messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
}
const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
console.log(second.choices[0].message.content);
}
Всегда парсите arguments внутри блока try в реальном коде, так как модели иногда могут возвращать некорректный JSON. Для структурированного вывода без инструментов установите response_format: { type: "json_object" } и упомяните JSON в своем промпте. Сцены игр, которые вызывают функции кубиков или инвентаря, описаны в создании игровых NPC и интерактивной прозе.
Обработка ошибок и лимитов запросов
API возвращает HTTP 429 в трех ситуациях. Код ошибки rate_limited означает слишком много запросов в минуту: 300 для полного ключа, 60 для пробного ключа. Код concurrency означает слишком много одновременно: 8 для полного ключа, 2 для пробного ключа. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5. SDK отображает статус в выданной ошибке, поэтому небольшая обертка обрабатывает все три:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.unfilteredaiapi.com/v1",
apiKey: process.env.AI_API_KEY,
});
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
export async function chatWithRetry(params, tries = 4) {
for (let i = 0; i < tries; i++) {
try {
return await client.chat.completions.create({ model: "uncensored", ...params });
} catch (err) {
if (err.status === 429 && i < tries - 1) {
const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
await sleep(wait * 1000);
continue;
}
throw err;
}
}
}
Обертка ждет задержку, которую запрашивает сервер, и переходит к экспоненциальной отсрочке повторов. Обратите внимание, что пакет OpenAI также сам повторяет некоторые ошибки; установите maxRetries на клиенте, если хотите контролировать это. Другие статусы, такие как 401 для неверного ключа, не следует повторять. Более подробный обзор лимитов находится в FAQ.
Запуск и тестирование маршрута
Запустите сервер с помощью node server.js и протестируйте его из второго терминала. Флаг -N отключает буферизацию curl, чтобы вы видели, как события поступают одно за другим:
# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'
В браузере прочитайте поток с помощью fetch и reader, или с помощью небольшой библиотеки SSE. Поскольку маршрут является POST, нативный объект EventSource не подходит, поэтому используйте fetch и декодируйте фрагменты самостоятельно.
Производственные привычки
- Храните ключ в переменной окружения или хранилище секретов, никогда в репозитории.
- Ограничьте тело запроса. API принимает до 8 МБ, но ваш собственный маршрут должен принимать гораздо меньше.
- Ограничьте историю, которую вы отправляете. Обрезайте старые сообщения, прежде чем они обойдутся вам дорого или заполнят окно в 100 000 токенов.
- Ставьте в очередь или отклоняйте лишнюю работу, когда у вас уже открыто 8 потоков, вместо того чтобы позволить API отвечать 429 вашим пользователям.
- Логируйте заголовок ответа
X-Request-Id, чтобы поддержка могла отследить один запрос.
Проверка баланса и стоимости
Каждый ответ содержит заголовок X-Balance-USD, а GET /v1/balance возвращает баланс напрямую. Тариф: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов; списание идёт с предоплаченного баланса, а неудачные или отклоненные запросы бесплатны. Один ход чата из 800 входных и 250 выходных токенов стоит $0,000245, поэтому 10 000 ходов стоят $2,45. Логируйте usage из каждого ответа, и вы сможете предсказать свой счет с точностью до нескольких центов. На странице тарифов указаны пополнения от $20 до $500.
Дополнительные руководства
Вопросы и ответы
Какой пакет npm следует использовать?
Официальный пакет openai подойдёт. Укажите в baseURL https://api.unfilteredaiapi.com/v1, передайте свой ключ и используйте идентификатор модели uncensored.
Можно ли получать потоковые ответы из Node?
Да. Передайте stream: true и итерируйте с помощью for await. Добавьте stream_options с include_usage, чтобы получить количество токенов в последнем фрагменте.
Поддерживает ли API вызов функций?
Да. Отправьте tools и tool_choice, прочитайте tool_calls из ответа и верните результаты как сообщения с role tool.
Что должен делать мой сервер при HTTP 429?
Подождите столько, сколько указано в Retry-After, если это значение есть, в противном случае увеличивайте паузу экспоненциально, затем повторите попытку несколько раз. Уменьшите количество параллельных запросов, если код ошибки — concurrency.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.