PL ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

Surowe API LLM bez cenzury dla deweloperów.

Unfiltered AIPobierz klucz API

API AI Node JS: strumieniowanie, narzędzia i błędy w Express

Ten samouczek dotyczący API AI Node JS przeprowadzi Cię od pustego folderu do trasy Express, która strumieniuje odpowiedzi czatu, wywołuje narzędzie i obsługuje błędy limitu zapytań. Wystarczy zmienić baseURL i klucz w oficjalnym pakiecie OpenAI, a następnie wysłać model uncensored.

Sześciokątny sprzęt połączony z szafą serwerową, strumieniujący cząstki światła do okna przeglądarki

Kluczowe punkty

  • Zainstaluj pakiet openai i ustaw baseURL na https://api.unfilteredaiapi.com/v1.
  • Strumieniuj z stream: true i przekaż fragmenty do przeglądarki jako zdarzenia wysyłane przez serwer.
  • Wywołania narzędzi przychodzą jako tool_calls; zwróć wyniki z role tool.
  • 429 oznacza rate_limited, concurrency lub tymczasowe przeciążenie; ponów próbę po opóźnieniu Retry-After.

Konfiguracja: zainstaluj i wyślij pierwsze zapytanie

Wymagany Node 18 lub nowszy. Utwórz projekt, zainstaluj SDK i Express oraz przełącz się na moduły ES.

mkdir ai-node && cd ai-node
npm init -y
npm pkg set type=module
npm install openai express
# base URL: https://api.unfilteredaiapi.com/v1   model: uncensored
export AI_API_KEY="YOUR_KEY"

Pobierz klucz ze strony klucz API. Nowe konta mogą aktywować $0,50 kredytu próbnego jednym kliknięciem, ważny przez 7 dni. Następnie utwórz client.js:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const res = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a tavern keeper." }],
});
console.log(res.choices[0].message.content);

Uruchom go poleceniem node client.js. Każdy poniższy fragment definiuje klienta ponownie, aby działał samodzielnie. To cała migracja, jeśli już używasz pakietu OpenAI: inny baseURL, Twój klucz i identyfikator modelu. Usługa jest kompatybilna z OpenAI i obsługuje tylko tekst, z oknem kontekstu 100 000 tokenów. Zobacz dokumentację, aby poznać wszystkie obsługiwane metody.

Strumieniuj odpowiedź

Strumieniowanie wysyła tokeny w miarę ich generowania, dzięki czemu użytkownicy widzą tekst natychmiast. Ustaw stream: true i iteruj po fragmentach:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Describe a rainy harbor town." }],
  stream: true,
  stream_options: { include_usage: true },
});

for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) process.stdout.write(delta);
  if (chunk.usage) console.log("\nusage:", chunk.usage);
}

Użycie pojawia się w ostatnim fragmencie, co pozwala logować rzeczywistą liczbę tokenów na zapytanie. Pamiętaj o jednej rzeczy: strumieniowane zapytanie zajmuje swój slot współbieżności do końca strumienia. Jeśli klient się rozłączy, przerwij wywołanie upstream, aby szybko zwolnić slot.

Trasa Express strumieniująca do przeglądarki

Oto mały serwer z trasą POST /chat. Przekazuje strumień jako zdarzenia wysyłane przez serwer i anuluje zapytanie upstream, gdy przeglądarka zamknie połączenie.

import express from "express";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const app = express();
app.use(express.json({ limit: "1mb" }));

app.post("/chat", async (req, res) => {
  const { messages } = req.body;
  if (Array.isArray(messages) === false) return res.status(400).json({ error: "messages required" });

  res.set({
    "Content-Type": "text/event-stream",
    "Cache-Control": "no-cache",
    Connection: "keep-alive",
  });

  const controller = new AbortController();
  req.on("close", () => controller.abort());

  try {
    const stream = await client.chat.completions.create(
      { model: "uncensored", messages, stream: true },
      { signal: controller.signal }
    );
    for await (const chunk of stream) {
      const delta = chunk.choices[0]?.delta?.content;
      if (delta) res.write("data: " + JSON.stringify({ delta }) + "\n\n");
    }
    res.write("data: [DONE]\n\n");
  } catch (err) {
    res.write("data: " + JSON.stringify({ error: err.status || 500 }) + "\n\n");
  } finally {
    res.end();
  }
});

app.listen(3000, () => console.log("listening on 3000"));

Nigdy nie umieszczaj klucza w kodzie przeglądarki. Powyższa trasa utrzymuje go na serwerze, gdzie powinien się znaleźć. Ten sam wzorzec pokazano w Pythonie w artykule chatbot backend FastAPI.

Wywołanie narzędzia

Wywoływanie narzędzi podąża za formatem OpenAI: opisujesz funkcje w tools, model odpowiada tool_calls, uruchamiasz funkcję i wysyłasz wynik z powrotem jako wiadomość z role: "tool".

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const tools = [{
  type: "function",
  function: {
    name: "roll_dice",
    description: "Roll a die with the given number of sides",
    parameters: {
      type: "object",
      properties: { sides: { type: "integer" } },
      required: ["sides"],
    },
  },
}];

const messages = [{ role: "user", content: "Roll a d20 for my attack." }];
const first = await client.chat.completions.create({
  model: "uncensored", messages, tools, tool_choice: "auto",
});

const msg = first.choices[0].message;
if (msg.tool_calls) {
  messages.push(msg);
  for (const call of msg.tool_calls) {
    const { sides } = JSON.parse(call.function.arguments);
    const result = 1 + Math.floor(Math.random() * sides);
    messages.push({ role: "tool", tool_call_id: call.id, content: String(result) });
  }
  const second = await client.chat.completions.create({ model: "uncensored", messages, tools });
  console.log(second.choices[0].message.content);
}

Zawsze parsuj arguments w bloku try w rzeczywistym kodzie, ponieważ modele czasami mogą zwracać niepoprawny JSON. Dla wyjścia strukturalnego bez narzędzi ustaw response_format: { type: "json_object" } i wspomnij o JSON w swoim promptcie. Sceny gier, które wywołują funkcje rzutu kostką lub inwentarza, omówiono w budowanie NPC w grach i fikcji interaktywnej.

Obsługuj błędy i limity zapytań

API zwraca HTTP 429 w trzech sytuacjach. Kod błędu rate_limited oznacza zbyt wiele zapytań na minutę: 300 dla pełnego klucza, 60 dla klucza próbnego. Kod concurrency oznacza zbyt wiele naraz: 8 dla pełnego klucza, 2 dla klucza próbnego. Przy tymczasowym przeciążeniu otrzymujesz również 429 z nagłówkiem Retry-After: 5. SDK udostępnia status w rzuconym błędzie, więc mała funkcja opakowująca obsługuje wszystkie trzy:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.unfilteredaiapi.com/v1",
  apiKey: process.env.AI_API_KEY,
});

const sleep = (ms) => new Promise((r) => setTimeout(r, ms));

export async function chatWithRetry(params, tries = 4) {
  for (let i = 0; i < tries; i++) {
    try {
      return await client.chat.completions.create({ model: "uncensored", ...params });
    } catch (err) {
      if (err.status === 429 && i < tries - 1) {
        const wait = Number(err.headers?.["retry-after"]) || 2 ** i;
        await sleep(wait * 1000);
        continue;
      }
      throw err;
    }
  }
}

Wrapper czeka na opóźnienie, o które prosi serwer, a następnie stosuje wykładnicze opóźnienie. Zauważ, że pakiet OpenAI również ponawia niektóre błędy samodzielnie; ustaw maxRetries na kliencie, jeśli chcesz to kontrolować. Inne statusy, takie jak 401 za zły klucz, nie powinny być ponawiane. Głębszy przegląd limitów znajdziesz w FAQ.

Uruchom i przetestuj trasę

Uruchom serwer za pomocą node server.js i przetestuj go z drugiego terminala. Flagi -N wyłącza buforowanie curl, dzięki czemu widzisz przychodzące zdarzenia jedno po drugim:

# the server calls https://api.unfilteredaiapi.com/v1 with model uncensored
curl -N http://localhost:3000/chat   -H "Content-Type: application/json"   -d '{"messages":[{"role":"user","content":"Write a two-line riddle."}]}'

W przeglądarce odczytuj strumień za pomocą fetch i readera lub za pomocą małej biblioteki pomocniczej SSE. Ponieważ trasa to POST, natywny obiekt EventSource nie pasuje, więc użyj fetch i dekoduj fragmenty samodzielnie.

Nawyki produkcyjne

  • Trzymaj klucz w zmiennej środowiskowej lub magazynie sekretów, nigdy w repozytorium.
  • Ogranicz ciało zapytania. API akceptuje do 8 MB, ale Twoja własna trasa powinna akceptować znacznie mniej.
  • Ogranicz historię, którą wysyłasz. Przycinaj stare zwroty, zanim zaczną kosztować Cię pieniądze lub wypełnią okno kontekstu 100 000 tokenów.
  • Kolejkuj lub odrzucaj dodatkową pracę, gdy masz już 8 otwartych strumieni, zamiast pozwalać API zwracać 429 Twoim użytkownikom.
  • Loguj nagłówek odpowiedzi X-Request-Id, aby wsparcie mogło prześledzić pojedyncze zapytanie.

Sprawdź saldo i koszty

Każda odpowiedź zawiera nagłówek X-Balance-USD, a GET /v1/balance zwraca stan konta bezpośrednio. Ceny wynoszą $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, pobierane z przedpłaconego kredytu, a nieudane lub odrzucone zapytania są darmowe. Jedna tura czatu z 800 tokenami wejściowymi i 250 tokenami wyjściowymi kosztuje $0,000245, więc 10 000 tur kosztuje $2,45. Zapisuj usage z każdej odpowiedzi, a będziesz mógł przewidzieć rachunek z dokładnością do kilku centów. Strona ceny zawiera informacje o doładowaniach od $20 do $500.

Pytania i odpowiedzi

Który pakiet npm powinienem użyć?

Oficjalny pakiet openai działa. Ustaw baseURL na https://api.unfilteredaiapi.com/v1, przekaż swój klucz i użyj modelu uncensored.

Czy mogę strumieniować odpowiedzi z Node?

Tak. Przekaż stream: true i iteruj za pomocą for await. Dodaj stream_options z include_usage, aby uzyskać liczbę tokenów w ostatnim fragmencie.

Czy API obsługuje wywoływanie funkcji?

Tak. Wyślij tools i tool_choice, odczytaj tool_calls z odpowiedzi i zwróć wyniki jako wiadomości z role tool.

Co powinien robić mój serwer przy HTTP 429?

Poczekaj na wartość Retry-After, jeśli jest obecna, w przeciwnym razie zastosuj wykładnicze opóźnienie, a następnie ponów próbę kilka razy. Zmniejsz liczbę równoległych zapytań, jeśli kod błędu dotyczy współbieżności.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy adres URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację