FastAPI와 서버 전송 이벤트를 사용한 무검열 채팅봇 백엔드
이 가이드는 스트리밍된 모델 출력을 작은 FastAPI 백엔드를 통해 중계합니다. 키를 서버에 보관하고 세션별로 대화 기록을 분리하며, 응답이 완료된 것으로 표시되기 전에 중단된 스트림을 처리하십시오.

업데이트됨Unfiltered AI
핵심 내용
- Unfiltered AI과 같은 전용 추론 제공업체는 단일 모델에서 일관된 무검열 동작을 제공하여 집계기 라우팅의 무작위성을 피합니다.
- OpenRouter와 같은 집계기는 여러 모델에 대한 접근을 제공하지만 특정 모델 버전에 따라 콘텐츠 필터 적용 정도가 다를 수 있습니다.
- Unfiltered AI은 전용 하드웨어에서 100k 컨텍스트 창을 사용하는 오픈 웨이트 모델을 사용하며, 토큰 100만 개당 $0.15/$0.50에 제공됩니다.
- 엄격한 NSFW 또는 역할극 일관성을 위해 전용 무검열 LLM API는 일반 필터를 우회하기 위한 복잡한 프롬프트 엔지니어링의 필요성을 없앱니다.
단어로 표현한 시스템 그림
세 개의 상자와 그 사이의 두 화살표를 상상하세요. 왼쪽에는 browser이 있고, 중간에는 FastAPI 프로세스이 있으며, 오른쪽에는 https://api.unfilteredaiapi.com/v1의 모델 엔드포인트이 있습니다. 왼쪽 화살표는 하나의 사용자 메시지를 전달하고 작은 텍스트 프레임의 스트림을 반환합니다. 오른쪽 화살표는 전체 대화를 전달하고 서버 전송 이벤트를 반환합니다. 중간 상자는 세 가지 작업만 수행합니다: API 키를 보관하고, 대화 상태를 관리하며, 하나의 스트림 형식을 다른 형식으로 변환합니다.
중간 상자에 키를 보관하는 것이 이 레이어가 존재하는 이유입니다. 브라우저로 전송된 키는 개발자 도구를 여는 모든 사람에게 공개된 키입니다. 두 번째 이유는 상태입니다. 브라우저는 새로운 텍스트와 세션 ID만 전송하며 서버가 얼마나 많은 기록을 재생할지 결정합니다. 대화가 길어지면 이 결정이 중요해지며, 메모리 문서에서 이를 심층적으로 다룹니다.
여기서는 stream: true와 함께 표준 chat-completions 형식을 사용하므로 fastapi, uvicorn 및 httpx만 설치하면 됩니다.
오른쪽 화살표로 전달되는 데이터
스트리밍이 활성화되면 응답은 줄의 시퀀스입니다. 각 유용한 줄은 data: 로 시작하며, choices[0].delta.content에 몇 문자가 포함된 JSON 청크가 따릅니다. 마지막 실제 줄은 data: [DONE]입니다. 그 직전에 사용량 청크가 자동으로 추가되며 토큰 수를 포함하고 choices 항목이 없으므로 인덱싱 전에 이를 테스트해야 합니다.
스트림을 세 단계로 처리하세요: 모델이 프롬프트를 읽는 조용한 시작, 일정한 조각 흐름, 사용량과 신호를 포함한 짧은 에필로그. 아래 중계기는 이러한 단계를 반영합니다. 도착하는 대로 조각을 전달하고, 이를 하나의 문자열로 누적하며, 흐름이 끝날 때만 해당 문자열을 세션에 기록합니다.
중계 엔드포인트
핵심은 stream_reply라는 비동기 생성기입니다. FastAPI의 StreamingResponse은 이를 소비하고 각 생성된 문자열을 클라이언트에 플러시합니다. 두 라우트는 동일한 생성기를 감쌉니다: fetch용 POST와 EventSource용 GET입니다.
# app.py
import json
import os
import uuid
import httpx
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
API_URL = "https://api.unfilteredaiapi.com/v1/chat/completions"
SYSTEM = {"role": "system", "content": "You are Corvin, a patient narrator of dark, adult-oriented fiction."}
app = FastAPI()
sessions: dict[str, list[dict]] = {} # session id -> message list
class Turn(BaseModel):
session_id: str
text: str
def sse(data, event=None):
head = f"event: {event}\n" if event else ""
return f"{head}data: {json.dumps(data)}\n\n"
async def stream_reply(session_id: str, text: str):
history = sessions.setdefault(session_id, [])
history.append({"role": "user", "content": text})
payload = {
"model": "uncensored",
"messages": [SYSTEM] + history,
"stream": True,
"max_tokens": 700,
}
headers = {"Authorization": f"Bearer {os.environ['API_KEY']}"}
parts: list[str] = []
async with httpx.AsyncClient(timeout=httpx.Timeout(10.0, read=120.0)) as client:
async with client.stream("POST", API_URL, headers=headers, json=payload) as r:
if r.status_code != 200:
body = (await r.aread()).decode()
history.pop() # do not keep a turn that got no answer
yield sse({"status": r.status_code, "body": body}, event="error")
return
async for line in r.aiter_lines():
if not line.startswith("data: "):
continue
raw = line[6:]
if raw == "[DONE]":
break
chunk = json.loads(raw)
if not chunk.get("choices"): # the final usage chunk
continue
piece = chunk["choices"][0]["delta"].get("content")
if piece:
parts.append(piece)
yield sse(piece)
history.append({"role": "assistant", "content": "".join(parts)})
yield sse({}, event="done")
@app.post("/session")
def new_session():
return {"session_id": uuid.uuid4().hex}
@app.post("/chat")
async def chat(turn: Turn):
return StreamingResponse(
stream_reply(turn.session_id, turn.text),
media_type="text/event-stream",
headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
)
@app.get("/chat/stream") # for EventSource, which only does GET
async def chat_get(session_id: str, text: str):
return StreamingResponse(
stream_reply(session_id, text),
media_type="text/event-stream",
headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
)생성기를 위에서 아래로 읽어보십시오. 사용자 메시지를 먼저 추가하므로 모델이 이를 확인합니다. 상위 상태가 200이 아니면 해당 메시지를 다시 제거하고 error 이벤트를 발생시켜 미답변 턴이 없는 상태를 유지합니다. 성공 시 각 조각을 JSON 문자열로 발생시키며, 이를 통해 줄바꿈과 따옴표가 프레임 작업을 거치며 유지됩니다. 루프가 끝나면 어시스턴트 텍스트를 저장하고 done 이벤트를 보냅니다.
두 개의 헤더가 중요합니다. Cache-Control: no-cache은 중계자가 스트림을 보유하지 못하게 방지하고, X-Accel-Buffering: no는 nginx 스타일 프록시가 바이트를 즉시 통과하도록 지시합니다.
세션 스토어 선택하기
예제의 사전은 가장 단순한 저장소입니다: 세션 ID당 메시지 목록 하나입니다. 세 가지 정직한 제한이 있습니다. 재시작 시 사라지며, 워커 프로세스 간에 공유되지 않으며, 무한히 커집니다. 가장 먼저 문제가 되는 제한에 따라 다음 단계를 선택하십시오.
- 단일 프로세스, 짧은 세션: 사전을 유지하고 1시간 동안 유휴 상태인 세션을 삭제하는 시간 만료 스윕을 추가하세요.
- 여러 워커: 메시지 목록을 공유 키-값 스토어로 이동하세요. 세션 ID를 키로, JSON 배열을 값으로 사용합니다. 세션별로 접근을 직렬화하여 두 동시 요청이 교차하지 않도록 하세요.
- 내구성 있는 히스토리: 세션 및 순서 번호를 키로 사용하여 데이터베이스 행에 각 턴을 기록하고, 필요할 때 꼬리를 로드합니다.
무엇을 선택하든 load(session_id) 및 append(session_id, message) 두 함수 뒤에 숨기세요. 이렇게 하면 stream_reply이 데이터가 어디에 있는지 알 필요가 없습니다. 또한 /session 라우트가 수행하듯이 서버에서 세션 ID를 생성하고 이를 예측 불가능한 비밀로 취급하세요.
fetch를 사용한 브라우저 측 구현
왼쪽 화살표에서 브라우저는 스트리밍 POST 본문을 읽어야 합니다. fetch은 이를 읽기 가능한 스트림으로 노출하며, TextDecoderStream은 바이트를 텍스트로 변환합니다. 프레임은 빈 줄로 구분되므로 클라이언트는 들어오는 텍스트를 버퍼링하고 완전한 프레임을 잘라냅니다.
<!doctype html>
<meta charset="utf-8">
<title>Chat</title>
<div id="log"></div>
<form id="f"><input id="t" autocomplete="off" size="50"><button>Send</button></form>
<script>
const sid = localStorage.getItem("sid") ?? (() => {
const id = crypto.randomUUID().replaceAll("-", "");
localStorage.setItem("sid", id);
return id;
})();
const log = document.getElementById("log");
function line(text) {
const p = document.createElement("p");
p.textContent = text;
log.append(p);
return p;
}
document.getElementById("f").addEventListener("submit", async (e) => {
e.preventDefault();
const box = document.getElementById("t");
const text = box.value.trim();
if (!text) return;
box.value = "";
line("You: " + text);
const out = line("");
const res = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ session_id: sid, text }),
});
const reader = res.body.pipeThrough(new TextDecoderStream()).getReader();
let buf = "";
while (true) {
const { value, done } = await reader.read();
if (done) break;
buf += value;
let cut;
while ((cut = buf.indexOf("\n\n")) >= 0) {
const frame = buf.slice(0, cut);
buf = buf.slice(cut + 2);
if (frame.startsWith("event: done")) continue;
if (frame.startsWith("event: error")) { out.textContent += " [request failed]"; continue; }
if (frame.startsWith("data: ")) out.textContent += JSON.parse(frame.slice(6));
}
}
});
</script>페이지는 textContent로 작성하고 innerHTML는 사용하지 않으므로 모델 출력이 페이지에 마크업을 삽입할 수 없습니다. 이는 모델이 임의의 허구를 생성할 때 큰 보상을 가져오는 작은 습관입니다.
프론트엔드를 작성하기 전 중계 테스트하기
먼저 중간 상자를 분리하여 테스트하세요. 터미널 클라이언트는 브라우저를 방정식에서 제외하므로 관찰된 문제는 모두 중계기에 속합니다. -N 플래그는 curl의 출력 버퍼링을 비활성화합니다. 없으면 전체 응답이 한 번에 도착하는 것을 보고 스트리밍이 중단된 것으로 잘못 결론짓게 됩니다.
uvicorn app:app --port 8000 &
SID=$(curl -s -X POST localhost:8000/session | python3 -c "import sys,json; print(json.load(sys.stdin)['session_id'])")
curl -N -X POST localhost:8000/chat -H "Content-Type: application/json" \
-d "{\"session_id\": \"$SID\", \"text\": \"Open with a storm.\"}"data: 로 시작하는 줄, 각 줄이 인용된 조각을 포함하고, 마지막 event: done 프레임을 보게 됩니다. 같은 세션 ID로 두 번째 메시지를 보내 화자에게 계속하도록 요청하세요. 멈췄던 곳에서 시작하면 스토어가 작동합니다. 모든 줄이 한 번에 도착하면 당신과 프로세스 사이에 버퍼링이 있는 것이며, 일반적인 의심 대상은 응답 버퍼링이 켜져 있는 역방향 프록시입니다.
이것을 통과하면 브라우저 페이지는 같은 프레임을 읽는 것일 뿐입니다. 사이트 홈과 문서에는 더 많은 샘플링 옵션을 릴레이로 전달하려는 경우 요청 필드를 나열합니다.
EventSource 버전과 그 트레이드오프
브라우저의 EventSource API는 구문 분석과 재연결을 처리하지만 GET 요청만 발행할 수 있습니다. 이것이 백엔드가 두 번째 라우트를 가진 이유입니다. 비용은 사용자 텍스트가 URL을 통해 이동한다는 것이며, URL은 실행 중인 머신의 액세스 로그에 남는 경향이 있습니다. 개인 대화의 경우 POST 및 fetch 접근 방식을 선호하세요.
const q = new URLSearchParams({ session_id: sid, text: "Describe the harbour at dusk." });
const src = new EventSource("/chat/stream?" + q);
const out = document.getElementById("log").appendChild(document.createElement("p"));
src.onmessage = (ev) => { out.textContent += JSON.parse(ev.data); };
src.addEventListener("done", () => src.close()); // without this, EventSource reconnects
src.addEventListener("error", () => src.close());done 리스너에 주의하세요. 서버가 이벤트 스트림을 종료하면 EventSource은 네트워크 오류라고 가정하고 재연결하며, 이는 동일한 메시지를 다시 전송합니다. done 및 error에서 소스를 직접 종료하면 해당 루프가 중단됩니다.
실패 모드와 설계 시 고려해야 할 한계
화살표를 한 번 더 따라가며 각 단계에서 무엇이 깨질 수 있는지 물어보십시오. 오른쪽에서: 401은 잘못된 키를 의미하고, 402는 잔액이 모두 소모되었음을 의미하며, 403은 요청이 차단되었음을 의미하고, 429는 이 키로 분당 300개 요청을 초과했음을 의미하며, upstream_busy과 함께 503은 몇 초 후 재시도를 필요로 합니다. 릴레이는 이를 모두 상태가 첨부된 하나의 error 이벤트로 표시하므로 브라우저가 메시지를 선택할 수 있습니다.
스트림 중 연결이 끊긴 클라이언트는 생성기를 취소하며 부분 어시스턴트 텍스트는 저장되지 않습니다. 이는 일반적으로 올바른 동작입니다. 부분 응답을 유지하려면 finally 블록에 저장하세요.
비용 계획을 위해 3,000 입력 토큰을 보내고 600을 반환하는 턴을 가정하세요. 토큰 100만 개당 $0.15 및 $0.50일 때, 이는 $0.00075 + $0.0006, 즉 턴당 약 $0.00135이며, 천 번의 턴은 약 $1.35가 듭니다. 이 수치는 가정입니다. 실제 숫자를 확인하려면 사용량 청크를 확인하세요. 속도에 대해서는 가격을, 선택 사항 개요는 채팅봇 API 비교을 참조하세요.
더 많은 가이드
질문과 답변
브라우저에서 직접 모델을 호출하지 않는 이유는 무엇인가?
API 키는 모든 방문자에게 표시됩니다. 작은 중계는 키를 비공개로 유지하고 히스토리 및 속도 제한을 제어할 수 있게 합니다.
스트림에 토큰 사용량 정보가 포함되나요?
네. 최종 사용량 청크가 자동으로 추가되며 choices 항목이 없으므로 텍스트 추출 시 해당 항목이 없는 청크를 건너뛰세요.
언제 fetch 대신 EventSource를 사용해야 하나요?
GET이 가능하고 내장된 재연결을 원할 때는 EventSource를 사용하고, POST 본문에는 fetch를 사용하세요. 이렇게 하면 개인 텍스트가 URL에 노출되지 않습니다.
하나의 키로 몇 명의 사용자를 지원할 수 있나요?
키당 분당 300회 요청이 한도로, 모든 사용자가 이 한도를 공유합니다. 따라서 리레이에 사용자별 대기 시간을 추가하세요.