RU ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

Чистый API LLM без цензуры для разработчиков.

Unfiltered AIПолучить API-ключ

Node JS AI API: потоковая передача, инструменты и ошибки в Express

Это руководство по Node JS AI API проведет вас от пустой папки к маршруту Express, который потоково передает ответы чата, вызывает инструмент и обрабатывает ошибки лимита запросов. Вы меняете только базовый URL и ключ в официальном пакете OpenAI, затем отправляете модель uncensored.

Шестиугольная шестерня, соединённая с серверной стойкой, которая потоком передаёт частицы света в окно браузера

Ключевые моменты

  • Установите пакет openai и укажите в baseURL значение https://api.unfilteredaiapi.com/v1.
  • Используйте stream: true и передавайте чанки браузеру как события, отправляемые сервером.
  • Вызовы инструментов поступают как tool_calls; возвращайте результаты с role tool.
  • 429 означает rate_limited, concurrency или временную перегрузку; повторите запрос после задержки Retry-After.

Настройка: установка и отправка первого запроса

Вам нужен Node 18 или новее. Создайте проект, установите SDK и Express, и переключитесь на модули ES.

mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1   model: uncensored
export AI_API_KEY="YOUR_KEY"

Получите ключ на странице API-ключ. Новые аккаунты могут получить $0,50 пробного баланса в один клик, действительного в течение 7 дней. Затем создайте client.js:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const res = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);

Запустите его с помощью node client.js. Каждый фрагмент ниже снова определяет клиент, чтобы он мог работать самостоятельно. Это вся миграция, если вы уже используете пакет OpenAI: другой baseURL, ваш ключ и идентификатор модели. Сервис совместим с OpenAI и поддерживает только текст, с контекстным окном на 100 000 токенов. См. документацию для всех поддерживаемых методов.

Потоковая передача ответа

Потоковая передача отправляет токены по мере их генерации, поэтому пользователи видят текст немедленно. Установите stream: true и итерируйте по фрагментам:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Describe a rainy harbor town." }],
  stream: true,
  stream_options: { include_usage: true },
});

for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) process.stdout.write(delta);
  if (chunk.usage) console.log("\nusage:", chunk.usage);
}

Данные об использовании приходят в последнем чанке, что позволяет логировать реальное количество токенов на запрос. Имейте в виду: потоковый запрос занимает свой слот параллельности до конца потока. Если клиент отключается, прервите вызов на стороне сервера, чтобы слот освободился быстрее.

Маршрут Express с потоковой передачей в браузер

Вот небольшой сервер с маршрутом POST /chat. Он перенаправляет поток как события, отправляемые сервером, и отменяет запрос к провайдеру, когда браузер закрывает соединение.

import express from "express";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const app = express();
app.use(express.json({ limit: "1mb" }));

app.post("/chat", async (req, res) => {
  const { messages } = req.body;
  if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });

  res.set({
    "Content-Type": "text/event-stream",
    "Cache-Control": "no-cache",
    Connection: "keep-alive",
  });

  const controller = new AbortController();
  req.on("close", () => controller.abort());

  try {
    const stream = await client.chat.completions.create(
      { model: "uncensored", messages, stream: true },
      { signal: controller.signal }
    );
    for await (const chunk of stream) {
      const delta = chunk.choices[0]?.delta?.content;
      if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
    }
    res.write("data: [DONE]\n\n");
  } catch (err) {
    res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
  } finally {
    res.end();
  }
});

app.listen(3000, () => console.log("listening on 3000"));

Никогда не помещайте ключ в код браузера. Маршрут выше хранит его на сервере, где ему и место. Тот же шаблон показан в Python в статье бэкенд чат-бота FastAPI.

Вызов инструмента

Вызов инструмента следует формату OpenAI: вы описываете функции в tools, модель отвечает с tool_calls, вы запускаете функцию и отправляете результат обратно как сообщение с role: "tool".

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const tools = [{
  type: "function",
  function: {
    name: "roll_dice",
    description: "Roll a die with the given number of sides",
    parameters: {
      type: "object",
      properties: { sides: { type: "integer" } },
      required: ["sides"],
    },
  },
}];

const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
  model: "uncensored", messages, tools, tool_choice: "auto",
});

const msg = first.choices[0].message;
if (msg.tool_calls) {
  messages.push(msg);
  for (const call of msg.tool_calls) {
    const { sides } = JSON.parse(call.function.arguments);
    const result = 1 + Math.floor(Math.random() * sides);
    messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
  }
  const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
  console.log(second.choices[0].message.content);
}

Всегда парсите arguments внутри блока try в реальном коде, так как модели иногда могут возвращать некорректный JSON. Для структурированного вывода без инструментов установите response_format: { type: "json_object" } и упомяните JSON в своем промпте. Сцены игр, которые вызывают функции кубиков или инвентаря, описаны в создании игровых NPC и интерактивной прозе.

Обработка ошибок и лимитов запросов

API возвращает HTTP 429 в трех ситуациях. Код ошибки rate_limited означает слишком много запросов в минуту: 300 для полного ключа, 60 для пробного ключа. Код concurrency означает слишком много одновременно: 8 для полного ключа, 2 для пробного ключа. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5. SDK отображает статус в выданной ошибке, поэтому небольшая обертка обрабатывает все три:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const sleep = (ms) => new Promise((r) => setTimeout(r, ms));

export async function chatWithRetry(params, tries = 4) {
  for (let i = 0; i < tries; i++) {
    try {
      return await client.chat.completions.create({ model: "uncensored", ...params });
    } catch (err) {
      if (err.status === 429 && i < tries - 1) {
        const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
        await sleep(wait * 1000);
        continue;
      }
      throw err;
    }
  }
}

Обертка ждет задержку, которую запрашивает сервер, и переходит к экспоненциальной отсрочке повторов. Обратите внимание, что пакет OpenAI также сам повторяет некоторые ошибки; установите maxRetries на клиенте, если хотите контролировать это. Другие статусы, такие как 401 для неверного ключа, не следует повторять. Более подробный обзор лимитов находится в FAQ.

Запуск и тестирование маршрута

Запустите сервер с помощью node server.js и протестируйте его из второго терминала. Флаг -N отключает буферизацию curl, чтобы вы видели, как события поступают одно за другим:

# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat   -H "Content-Type: application/json"   -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'

В браузере прочитайте поток с помощью fetch и reader, или с помощью небольшой библиотеки SSE. Поскольку маршрут является POST, нативный объект EventSource не подходит, поэтому используйте fetch и декодируйте фрагменты самостоятельно.

Производственные привычки

  • Храните ключ в переменной окружения или хранилище секретов, никогда в репозитории.
  • Ограничьте тело запроса. API принимает до 8 МБ, но ваш собственный маршрут должен принимать гораздо меньше.
  • Ограничьте историю, которую вы отправляете. Обрезайте старые сообщения, прежде чем они обойдутся вам дорого или заполнят окно в 100 000 токенов.
  • Ставьте в очередь или отклоняйте лишнюю работу, когда у вас уже открыто 8 потоков, вместо того чтобы позволить API отвечать 429 вашим пользователям.
  • Логируйте заголовок ответа X-Request-Id, чтобы поддержка могла отследить один запрос.

Проверка баланса и стоимости

Каждый ответ содержит заголовок X-Balance-USD, а GET /v1/balance возвращает баланс напрямую. Тариф: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов; списание идёт с предоплаченного баланса, а неудачные или отклоненные запросы бесплатны. Один ход чата из 800 входных и 250 выходных токенов стоит $0,000245, поэтому 10 000 ходов стоят $2,45. Логируйте usage из каждого ответа, и вы сможете предсказать свой счет с точностью до нескольких центов. На странице тарифов указаны пополнения от $20 до $500.

Вопросы и ответы

Какой пакет npm следует использовать?

Официальный пакет openai подойдёт. Укажите в baseURL https://api.unfilteredaiapi.com/v1, передайте свой ключ и используйте идентификатор модели uncensored.

Можно ли получать потоковые ответы из Node?

Да. Передайте stream: true и итерируйте с помощью for await. Добавьте stream_options с include_usage, чтобы получить количество токенов в последнем фрагменте.

Поддерживает ли API вызов функций?

Да. Отправьте tools и tool_choice, прочитайте tool_calls из ответа и верните результаты как сообщения с role tool.

Что должен делать мой сервер при HTTP 429?

Подождите столько, сколько указано в Retry-After, если это значение есть, в противном случае увеличивайте паузу экспоненциально, затем повторите попытку несколько раз. Уменьшите количество параллельных запросов, если код ошибки — concurrency.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию