RU ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

Нефильтруемый LLM API для разработчиков.

Unfiltered AIПолучить API-ключ

Бэкенд чат-бота без фильтров на FastAPI и серверных событиях

Это руководство передает потоковый вывод модели через небольшой бэкенд FastAPI. Храните ключ на сервере, изолируйте историю диалога по сессиям и обрабатывайте прерванные потоки перед тем, как отображать ответ как завершенный.

Бэкенд чат-бота без фильтров на FastAPI и серверных событиях

Ключевые моменты

  • Специализированные провайдеры инференса, такие как Unfiltered AI, предлагают стабильное поведение без цензуры на одной модели, избегая случайности маршрутизации агрегаторов.
  • Агрегаторы вроде OpenRouter предоставляют доступ к множеству моделей, но строгость применения фильтров контента может варьироваться в зависимости от конкретной версии модели.
  • Unfiltered AI использует модель с открытыми весами на выделенном оборудовании с контекстным окном на 100k токенов по цене $0,15/$0.50 за миллион токенов.
  • Для строгого соответствия NSFW или ролевым играм специализированный API без цензуры устраняет необходимость сложной настройки промптов для обхода общих фильтров.

Система в виде словесной схемы

Представьте три блока в ряд и две стрелки между ними. Слева — browser. Посередине — ваш процесс FastAPI. Справа — эндпоинт модели по адресу https://api.unfilteredaiapi.com/v1. Левая стрелка передает одно сообщение пользователя и возвращает поток небольших текстовых кадров. Правая стрелка передает полную историю разговора и возвращает серверные события. Средний блок выполняет три задачи и ничего больше: хранит API-ключ, владеет состоянием разговора и преобразует один формат потока в другой.

Хранение ключа в среднем блоке — причина существования этого слоя. Ключ, переданный в браузер, становится доступен всем, кто откроет инструменты разработчика. Вторая причина — состояние: браузер отправляет только новый текст и идентификатор сессии, тогда как сервер решает, сколько истории воспроизвести. Это решение становится важным, когда разговоры становятся длинными, что статья о памяти рассматривает подробно.

Всё здесь использует стандартный формат chat-completions с stream: true, поэтому установите fastapi, uvicorn и httpx и ничего больше.

Что приходит по правой стрелке

При включенном потоке ответ представляет собой последовательность строк. Каждая полезная строка начинается с data: за которым следует чанк JSON, чей choices[0].delta.content содержит несколько символов. Последняя реальная строка — data: [DONE]. Сразу перед ней автоматически добавляется чанк использования; он содержит подсчет токенов и не имеет записей choices, поэтому ретранслятор должен проверять это перед индексацией.

Рассматривайте поток как три фазы: тихий старт, пока модель читает ваш промпт, устойчивый поток фрагментов и короткий эпилог с использованием и маркером. Приведенный ниже ретранслятор отражает эти фазы. Он передает фрагменты по мере поступления, накапливает их в одну строку и записывает эту строку в сессию только когда поток заканчивается.

Эндпоинт ретранслятора

В основе лежит асинхронный генератор stream_reply. Библиотека FastAPI использует StreamingResponse для его обработки и отправки каждой сгенерированной строки клиенту. Два маршрута оборачивают один и тот же генератор: POST для fetch и GET для EventSource.

# app.py
import json
import os
import uuid

import httpx
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel

API_URL = "https://api.unfilteredaiapi.com/v1/chat/completions"
SYSTEM = {"role": "system", "content": "You are Corvin, a patient narrator of dark, adult-oriented fiction."}

app = FastAPI()
sessions: dict[str, list[dict]] = {}      # session id -> message list


class Turn(BaseModel):
    session_id: str
    text: str


def sse(data, event=None):
    head = f"event: {event}\n" if event else ""
    return f"{head}data: {json.dumps(data)}\n\n"


async def stream_reply(session_id: str, text: str):
    history = sessions.setdefault(session_id, [])
    history.append({"role": "user", "content": text})
    payload = {
        "model": "uncensored",
        "messages": [SYSTEM] + history,
        "stream": True,
        "max_tokens": 700,
    }
    headers = {"Authorization": f"Bearer {os.environ['API_KEY']}"}
    parts: list[str] = []

    async with httpx.AsyncClient(timeout=httpx.Timeout(10.0, read=120.0)) as client:
        async with client.stream("POST", API_URL, headers=headers, json=payload) as r:
            if r.status_code != 200:
                body = (await r.aread()).decode()
                history.pop()                       # do not keep a turn that got no answer
                yield sse({"status": r.status_code, "body": body}, event="error")
                return
            async for line in r.aiter_lines():
                if not line.startswith("data: "):
                    continue
                raw = line[6:]
                if raw == "[DONE]":
                    break
                chunk = json.loads(raw)
                if not chunk.get("choices"):         # the final usage chunk
                    continue
                piece = chunk["choices"][0]["delta"].get("content")
                if piece:
                    parts.append(piece)
                    yield sse(piece)

    history.append({"role": "assistant", "content": "".join(parts)})
    yield sse({}, event="done")


@app.post("/session")
def new_session():
    return {"session_id": uuid.uuid4().hex}


@app.post("/chat")
async def chat(turn: Turn):
    return StreamingResponse(
        stream_reply(turn.session_id, turn.text),
        media_type="text/event-stream",
        headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
    )


@app.get("/chat/stream")                              # for EventSource, which only does GET
async def chat_get(session_id: str, text: str):
    return StreamingResponse(
        stream_reply(session_id, text),
        media_type="text/event-stream",
        headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
    )

Читайте генератор сверху вниз. Он сначала добавляет сообщение пользователя, чтобы модель его увидела. Если статус вышестоящего сервиса не 200, он удаляет это сообщение и генерирует событие error, что сохраняет историю без неотвеченных ходов. При успехе он генерирует каждый фрагмент как JSON-строку, так переносятся переносы строк и кавычки. Когда цикл заканчивается, он сохраняет текст ассистента и отправляет событие done.

Важны два заголовка. Cache-Control: no-cache предотвращает удержание потока промежуточными узлами, а X-Accel-Buffering: no сообщает прокси-серверу типа nginx немедленно передавать байты.

Выбор хранилища сессий

Словарь в примере — самое простое возможное хранилище: один список сообщений на идентификатор сессии. У него есть три честных ограничения. Он исчезает при перезапуске, не разделяется между процессами воркеров и растет без ограничений. Выберите следующий шаг в зависимости от того, какое ограничение мешает больше.

  1. Один процесс, короткие сессии: оставьте словарь, добавьте очистку по времени истечения, которая удаляет сессии, простаивающие час.
  2. Несколько воркеров: переместите список сообщений в разделяемое хранилище ключ-значение, с идентификатором сессии в качестве ключа и массивом JSON в качестве значения. Сериализуйте доступ по сессии, чтобы два одновременных запроса не могли переплетаться.
  3. Стойкая история: записывайте каждый ход в строку базы данных с ключом по сессии и номеру последовательности, и загружайте хвост по требованию.

Что бы вы ни выбрали, скройте это за двумя функциями, load(session_id) и append(session_id, message), чтобы stream_reply никогда не узнавал, где хранятся данные. Также генерируйте идентификаторы сессий на сервере, как делает маршрут /session, и рассматривайте их как неугадываемые секреты.

Клиентская часть с fetch

По левой стрелке браузер должен прочитать тело POST-запроса в потоковом режиме. fetch предоставляет его как читаемый поток, а TextDecoderStream преобразует байты в текст. Фреймы разделены пустой строкой, поэтому клиент буферизует входящий текст и вырезает полные фреймы.

<!doctype html>
<meta charset="utf-8">
<title>Chat</title>
<div id="log"></div>
<form id="f"><input id="t" autocomplete="off" size="50"><button>Send</button></form>
<script>
const sid = localStorage.getItem("sid") ?? (() => {
  const id = crypto.randomUUID().replaceAll("-", "");
  localStorage.setItem("sid", id);
  return id;
})();
const log = document.getElementById("log");

function line(text) {
  const p = document.createElement("p");
  p.textContent = text;
  log.append(p);
  return p;
}

document.getElementById("f").addEventListener("submit", async (e) => {
  e.preventDefault();
  const box = document.getElementById("t");
  const text = box.value.trim();
  if (!text) return;
  box.value = "";
  line("You: " + text);
  const out = line("");

  const res = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ session_id: sid, text }),
  });
  const reader = res.body.pipeThrough(new TextDecoderStream()).getReader();
  let buf = "";
  while (true) {
    const { value, done } = await reader.read();
    if (done) break;
    buf += value;
    let cut;
    while ((cut = buf.indexOf("\n\n")) >= 0) {
      const frame = buf.slice(0, cut);
      buf = buf.slice(cut + 2);
      if (frame.startsWith("event: done")) continue;
      if (frame.startsWith("event: error")) { out.textContent += " [request failed]"; continue; }
      if (frame.startsWith("data: ")) out.textContent += JSON.parse(frame.slice(6));
    }
  }
});
</script>

Страница пишет с помощью textContent, а не innerHTML, поэтому вывод модели не может внедрить разметку на вашу страницу. Это маленькая привычка с большим эффектом, когда модель генерирует произвольную фантазию.

Тестирование ретранслятора без фронтенда

Сначала протестируйте средний блок изолированно. Клиент терминала исключает браузер из уравнения, поэтому любая проблема, которую вы видите, принадлежит ретранслятору. Флаг -N отключает буферизацию вывода curl; без него вы увидели бы весь ответ сразу и ошибочно заключили бы, что потоковая передача сломана.

uvicorn app:app --port 8000 &
SID=$(curl -s -X POST localhost:8000/session | python3 -c "import sys,json; print(json.load(sys.stdin)['session_id'])")
curl -N -X POST localhost:8000/chat -H "Content-Type: application/json" \
  -d "{\"session_id\": \"$SID\", \"text\": \"Open with a storm.\"}"

Вы должны увидеть строки, начинающиеся с data: , каждая из которых содержит цитируемый фрагмент, затем финальный фрейм event: done. Отправьте второе сообщение с тем же идентификатором сессии и попросите рассказчика продолжить; если он продолжит с того места, где остановился, хранилище работает. Если все строки приходят одним потоком, что-то между вами и процессом буферизует, и обычный подозреваемый — обратный прокси с включенной буферизацией ответа.

После этого прохождения страница браузера — лишь вопрос чтения тех же кадров. Главная страница сайта и документация перечисляют поля запроса, если вы хотите передать больше параметров сэмплирования через ретранслятор.

Вариант EventSource и его компромиссы

API браузера EventSource обрабатывает парсинг и повторное подключение за вас, но он может выдавать только GET-запросы. Вот почему у бэкенда есть второй маршрут. Цена в том, что текст пользователя передается в URL, а URL часто попадают в логи доступа на машинах, которые вы управляете. Для приватных разговоров предпочитайте подход POST и fetch.

const q = new URLSearchParams({ session_id: sid, text: "Describe the harbour at dusk." });
const src = new EventSource("/chat/stream?" + q);
const out = document.getElementById("log").appendChild(document.createElement("p"));

src.onmessage = (ev) => { out.textContent += JSON.parse(ev.data); };
src.addEventListener("done", () => src.close());   // without this, EventSource reconnects
src.addEventListener("error", () => src.close());

Обратите внимание на слушатель done. Когда сервер закрывает поток событий, EventSource предполагает сбой сети и переподключается, что отправит то же сообщение снова. Закрытие источника самостоятельно на done и на error разрывает этот цикл.

Режимы отказа и ограничения, которые нужно учитывать при проектировании

Пройдитесь по стрелкам еще раз и спросите, что может сломаться. Справа: 401 означает неверный ключ, 402 означает, что баланс исчерпан, 403 означает, что запрос заблокирован, 429 означает, что вы превысили 300 запросов в минуту по этому ключу, а 503 с upstream_busy заслуживает повторной попытки через несколько секунд. Ретранслятор выдает все их как одно событие error со статусом, чтобы браузер мог выбрать сообщение.

Клиент, разрывающий соединение во время потока, отменяет генератор, и частичный текст ассистента никогда не сохраняется. Обычно это правильное поведение; если вы предпочитаете сохранять частичные ответы, храните их в блоке finally.

Для планирования затрат предположите ход, который отправляет 3000 входных токенов и возвращает 600. По цене $0,15 и $0,50 за миллион это $0,00075 плюс $0,0006, около $0,00135 за ход, поэтому тысяча ходов стоит около $1,35. Эти цифры — предположения; проверьте чанк использования для ваших реальных чисел. По ставкам см. цены, а для обзора вариантов прочитайте сравнение API чат-ботов.

Вопросы и ответы

Почему не вызывать модель напрямую из браузера?

API-ключ будет виден каждому посетителю. Небольшой ретранслятор сохраняет ключ в тайне и позволяет контролировать историю и лимиты запросов.

Включает ли поток использование токенов?

Да. В конце автоматически добавляется чанк с использованием, в нём нет записей choices, поэтому пропускайте чанки без них при извлечении текста.

Когда следует использовать EventSource вместо fetch?

Используйте EventSource, если допустим метод GET и вам нужна встроенная повторная попытка подключения. Используйте fetch для тел POST-запросов, чтобы скрытый текст не попадал в URL.

Сколько пользователей может поддерживать один ключ?

Лимит составляет 300 запросов в минуту на ключ, общий для всех ваших пользователей, поэтому добавьте задержку на пользователя в слое релая.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию