FastAPI ve sunucu tarafından gönderilen olaylarla sansürsüz bir sohbet botu arka ucu
Bu kılavuz, akışlı model çıktısını küçük bir FastAPI arka ucundan iletir. Anahtarı sunucuda tutun, konuşma geçmişini oturuma göre izole edin ve bir yanıtı tam olarak göstermeden önce kesilen akışları işleyin.

GüncellendiUnfiltered AI
Önemli noktalar
- Unfiltered AI gibi özel donanımlı çıkarım sağlayıcıları, tek bir modelde tutarlı sansürsüz davranış sunar ve birleştirici yönlendirmenin rastgeleliğinden kaçınır.
- OpenRouter gibi birleştiriciler birden fazla modele erişim sağlar ancak belirli model sürümüne bağlı olarak içerik filtrelerinin uygulanma sıkılığında farklılık gösterebilirler.
- Unfiltered AI, 100k bağlam penceresine sahip özel donanımda açık ağırlıklı bir model kullanır ve fiyatı milyon token başına $0,15/$0.50'dir.
- Sıkı NSFW veya rol yapma tutarlılığı için, özel bir sansürsüz LLM API'si, genel filtreleri aşmak için karmaşık istem mühendisliğine olan ihtiyacı ortadan kaldırır.
Sistemin kelimelerle çizimi
Yan yana üç kutu ve aralarında iki ok hayal edin. Solda browser bulunur. Ortada, FastAPI işleminiz yer alır. Sağda ise https://api.unfilteredaiapi.com/v1 adresindeki model uç noktası bulunur. Sol ok bir kullanıcı mesajı taşır ve küçük metin parçalarından oluşan bir akış döndürür. Sağ ok tüm sohbeti taşır ve sunucu tarafından gönderilen olayları döndürür. Ortadaki kutu üç işlevi yerine getirir ve daha fazlasını yapmaz: API anahtarını tutar, sohbet durumunu yönetir ve bir akış formatını diğerine dönüştürür.
Anahtarı orta kutuda tutmak, bu katmanın var olma nedenidir. Bir tarayıcıya gönderilen bir anahtar, geliştirici araçlarını açan herkes için herkese açık hale getirilmiş bir anahtardır. İkinci neden durum: tarayıcı yalnızca yeni metni ve bir oturum kimliği gönderir, sunucu ise kaç geçmişin yeniden oynatılacağına karar verir. Bu karar, sohbetler büyüdükçe önemlidir; bu hafıza makalesi bunu derinlemesine ele alır.
Buradaki her şey stream: true ile standart chat-completions formatını kullanır, bu nedenle fastapi, uvicorn ve httpx yükleyin ve başka hiçbir şey kurmayın.
Sağ okta ne var
Akış açık olduğunda yanıt, satır dizisidir. Her anlamlı satır data: ile başlar ve choices[0].delta.content birkaç karakter içeren bir JSON parçası içerir. Son gerçek satır data: [DONE]'dir. Bundan hemen önce, token sayıları taşıyan ve choices girdisi olmayan bir kullanım parçası otomatik olarak eklenir; bu nedenle aktarıcı, dizine eklemeden önce bunun için test etmelidir.
Akışı üç aşamaya bölün: modelinizin isteminizi okuduğu sessiz bir başlangıç, parçaların düzenli akışı ve kullanım ve son sinyali içeren kısa bir epilog. Aşağıdaki aktarıcı bu aşamaları yansıtır. Parçaları geldikçe iletir, bunları tek bir dizeye biriktirir ve akış bittiğinde yalnızca o dizeyi oturuma yazar.
Aktarım uç noktası
Çekirdek, stream_reply adlı bir async jeneratördür. FastAPI'nin StreamingResponse bunu tüketir ve her verilen dizeyi istemciye gönderir. Aynı jeneratörü saran iki rota vardır: fetch için POST ve EventSource için GET.
# app.py
import json
import os
import uuid
import httpx
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
API_URL = "https://api.unfilteredaiapi.com/v1/chat/completions"
SYSTEM = {"role": "system", "content": "You are Corvin, a patient narrator of dark, adult-oriented fiction."}
app = FastAPI()
sessions: dict[str, list[dict]] = {} # session id -> message list
class Turn(BaseModel):
session_id: str
text: str
def sse(data, event=None):
head = f"event: {event}\n" if event else ""
return f"{head}data: {json.dumps(data)}\n\n"
async def stream_reply(session_id: str, text: str):
history = sessions.setdefault(session_id, [])
history.append({"role": "user", "content": text})
payload = {
"model": "uncensored",
"messages": [SYSTEM] + history,
"stream": True,
"max_tokens": 700,
}
headers = {"Authorization": f"Bearer {os.environ['API_KEY']}"}
parts: list[str] = []
async with httpx.AsyncClient(timeout=httpx.Timeout(10.0, read=120.0)) as client:
async with client.stream("POST", API_URL, headers=headers, json=payload) as r:
if r.status_code != 200:
body = (await r.aread()).decode()
history.pop() # do not keep a turn that got no answer
yield sse({"status": r.status_code, "body": body}, event="error")
return
async for line in r.aiter_lines():
if not line.startswith("data: "):
continue
raw = line[6:]
if raw == "[DONE]":
break
chunk = json.loads(raw)
if not chunk.get("choices"): # the final usage chunk
continue
piece = chunk["choices"][0]["delta"].get("content")
if piece:
parts.append(piece)
yield sse(piece)
history.append({"role": "assistant", "content": "".join(parts)})
yield sse({}, event="done")
@app.post("/session")
def new_session():
return {"session_id": uuid.uuid4().hex}
@app.post("/chat")
async def chat(turn: Turn):
return StreamingResponse(
stream_reply(turn.session_id, turn.text),
media_type="text/event-stream",
headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
)
@app.get("/chat/stream") # for EventSource, which only does GET
async def chat_get(session_id: str, text: str):
return StreamingResponse(
stream_reply(session_id, text),
media_type="text/event-stream",
headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"},
)Üreteci yukarıdan aşağıya okuyun. Önce kullanıcı mesajını ekler, böylece model onu görür. Üst durum 200 değilse, bu mesajı tekrar kaldırır ve bir error olayı yayar; bu, cevapsız dönüşleri içermeyen geçmişi korur. Başarı durumunda her parçayı bir JSON dizgesi olarak yayar; bu, yeni satırların ve tırnak işaretlerinin çerçevelenme sırasında nasıl hayatta kaldığını gösterir. Döngü bittiğinde asistan metnini kaydeder ve done olayı gönderir.
İki başlık önemlidir. Cache-Control: no-cache ara sunucuların akışı tutmasını engeller ve X-Accel-Buffering: no nginx tarzı bir vekile baytları hemen geçirmesini söyler.
Oturum deposu seçimi
Örnekteki sözlük en basit depolama biçimidir: Oturum kimliği başına bir mesaj listesi. Üç dürüst sınırlaması vardır. Yeniden başlatmada kaybolur, işçi süreçler arasında paylaşılmaz ve sınırsız büyür. Sıradaki adımı, hangi sınırlamanın ilk olarak sorun yarattığına göre seçin.
- Tek işleyici, kısa oturumlar: sözlüğü koruyun, bir saat boyunca boşta olan oturumları silen bir zaman aşımı süpürge ekleyin.
- Birden fazla işleyici: mesaj listesini, oturum kimliğinin anahtar ve JSON dizisinin değer olduğu paylaşılan bir anahtar-değer deposuna taşıyın. İki eşzamanlı istek iç içe geçemesin diye oturum başına erişimi seri hale getirin.
- Kalıcı geçmiş: her dönüşü, oturuma ve sıralama numarasına göre anahtarla bir veritabanı satırına yazın ve sonu gerektiğinde yükleyin.
Ne seçerseniz seçin, bunu load(session_id) ve append(session_id, message) iki işlevin arkasına gizleyin, böylece stream_reply verinin nerede olduğunu asla öğrenmesin. Ayrıca oturum kimliklerini /session yolunun yaptığı gibi sunucuda oluşturun ve bunları tahmin edilemez sırlar olarak ele alın.
Tarayıcı tarafı fetch ile
Sol okta tarayıcı, akışlı bir POST gövdesini okumalıdır. fetch bunu okunabilir bir akış olarak sunar ve TextDecoderStream baytları metne dönüştürür. Çerçeveler boş bir satırla ayrılır, bu nedenle istemci gelen metni arabelleğe alır ve tam çerçeveleri kesip alır.
<!doctype html>
<meta charset="utf-8">
<title>Chat</title>
<div id="log"></div>
<form id="f"><input id="t" autocomplete="off" size="50"><button>Send</button></form>
<script>
const sid = localStorage.getItem("sid") ?? (() => {
const id = crypto.randomUUID().replaceAll("-", "");
localStorage.setItem("sid", id);
return id;
})();
const log = document.getElementById("log");
function line(text) {
const p = document.createElement("p");
p.textContent = text;
log.append(p);
return p;
}
document.getElementById("f").addEventListener("submit", async (e) => {
e.preventDefault();
const box = document.getElementById("t");
const text = box.value.trim();
if (!text) return;
box.value = "";
line("You: " + text);
const out = line("");
const res = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ session_id: sid, text }),
});
const reader = res.body.pipeThrough(new TextDecoderStream()).getReader();
let buf = "";
while (true) {
const { value, done } = await reader.read();
if (done) break;
buf += value;
let cut;
while ((cut = buf.indexOf("\n\n")) >= 0) {
const frame = buf.slice(0, cut);
buf = buf.slice(cut + 2);
if (frame.startsWith("event: done")) continue;
if (frame.startsWith("event: error")) { out.textContent += " [request failed]"; continue; }
if (frame.startsWith("data: ")) out.textContent += JSON.parse(frame.slice(6));
}
}
});
</script>Sayfa textContent ile yazar, innerHTML asla kullanmaz; bu nedenle model çıktısı sayfanıza biçimlendirme enjekte edemez. Bu, model rastgele kurgu üretirken büyük bir avantaj sağlayan küçük bir alışkanlıktır.
Herhangi bir ön uç yazmadan önce aktarımı deneyin
Orta kutuyu önce yalnız başına test edin. Bir terminal istemcisi tarayıcıyı denklemden çıkarır; bu nedenle gördüğünüz herhangi bir sorun aktarıcıya aittir. -N bayrağı, curl'un çıktı arabelleklemeyi kapatır; aksi takdirde tüm yanıtın tek seferde geldiğini görür ve akışın bozuk olduğu yanlış sonucuna varırsınız.
uvicorn app:app --port 8000 &
SID=$(curl -s -X POST localhost:8000/session | python3 -c "import sys,json; print(json.load(sys.stdin)['session_id'])")
curl -N -X POST localhost:8000/chat -H "Content-Type: application/json" \
-d "{\"session_id\": \"$SID\", \"text\": \"Open with a storm.\"}"data: ile başlayan satırlar, her biri tırnak içinde bir parça taşıyan, ardından son event: done çerçevesini görmelisiniz. Aynı oturum kimliğiyle ikinci bir mesaj gönderin ve anlatıcının devam etmesini isteyin; durduğu yerden devam ederse depo çalışıyor demektir. Tüm satırlar tek bir patlamada gelirse, siz ile süreç arasında arabellekleyen bir şey vardır ve yaygın şüpheli, yanıt arabelleklemesi açık bırakılmış bir ters vekil sunucudur.
Bu geçtiğinde, tarayıcı sayfası yalnızca aynı çerçeveleri okumakla ilgilidir. site ana sayfası ve belgeler, aktarıcı üzerinden daha fazla örnekleme seçeneği geçirmek istiyorsanız istek alanlarını listeler.
EventSource varyantı ve ödünleşimi
Tarayıcının EventSource API'si, ayrıştırma ve yeniden bağlantı işlemlerini sizin için halleder ancak yalnızca GET istekleri gönderebilir. Bu nedenle arka uçta ikinci bir rota bulunur. Maliyet, kullanıcı metninin URL'de yer almasıdır ve URL'ler genellikle çalıştırdığınız makinelerin erişim günlüklerinde son bulur. Gizli konuşmalar için POST ve fetch yaklaşımını tercih edin.
const q = new URLSearchParams({ session_id: sid, text: "Describe the harbour at dusk." });
const src = new EventSource("/chat/stream?" + q);
const out = document.getElementById("log").appendChild(document.createElement("p"));
src.onmessage = (ev) => { out.textContent += JSON.parse(ev.data); };
src.addEventListener("done", () => src.close()); // without this, EventSource reconnects
src.addEventListener("error", () => src.close());done dinleyicisine dikkat edin. Bir sunucu bir olay akışını kapattığında, EventSource bir ağ hatası olduğunu varsayar ve yeniden bağlanır; bu da aynı mesajın tekrar gönderilmesine yol açar. Kaynağı kendiniz done ve error üzerinde kapatarak bu döngüyü kırarsınız.
Hata durumları ve etrafında tasarım yapılması gereken sınırlar
Okları bir kez daha gezin ve her birinde neyin bozulabileceğini sorun. Sağda: 401 kötü bir anahtar anlamına gelir, 402 bakiyenin tükendiği anlamına gelir, 403 isteğin engellendiği anlamına gelir, 429 bu anahtar için dakikada 300 isteği aştığınız anlamına gelir ve upstream_busy ile 503 birkaç saniye sonra yeniden denemeyi hak eder. Aktarıcı bunların tümünü, ekli durumla birlikte tek bir error olayı olarak ortaya çıkarır; böylece tarayıcı bir mesaj seçebilir.
Akış sırasında bağlantısı kesilen bir istemci, üreteci iptal eder ve kısmi asistan metni kaydedilmez. Bu genellikle doğru davranıştır; kısmi yanıtları korumayı tercih ederseniz, bunları finally bloğunda saklayın.
Maliyet planlaması için, 3.000 girdi tokenı gönderen ve 600 döndüren bir dönüş varsayın. Milyon başına $0,15 ve $0,50 ile bu, dönüş başına $0,00075 artı $0,0006, yaklaşık $0,00135'tir; bu nedenle bin dönüş yaklaşık $1,35'e mal olur. Bu rakamlar varsayımdır; gerçek sayılarınız için kullanım parçasını kontrol edin. Hızlar için fiyatlandırma'ye, seçeneklerin genel görünümü için ise sohbetbotu API karşılaştırması'ni okuyun.
Daha fazla kılavuz
Sorular ve cevaplar
Neden modele doğrudan tarayıcıdan istek göndermiyorsunuz?
API anahtarı tüm ziyaretçiler için görünür olacaktır. Küçük bir aktarıcı anahtarı gizli tutar ve geçmiş ile hız limitlerini kontrol etmenizi sağlar.
Akış token kullanımını içeriyor mu?
Evet. Otomatik olarak son bir kullanım parçası eklenir; choices girişi olmadığı için metin çıkarırken bu parçaları atlayın.
fetch yerine ne zaman EventSource kullanmalıyım?
GET kabul edilebilir ve yerleşik yeniden bağlanma istiyorsanız EventSource kullanın. Özel metinlerin URL'lerde görünmemesi için POST gövdeleri için fetch kullanın.
Bir anahtar kaç kullanıcıyı destekleyebilir?
Limit, tüm kullanıcılarınız arasında paylaşılan ana başına dakikada 300 istektir, bu nedenle aktarıcıya kullanıcı başına bekleme süresi ekleyin.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın, temel URL'yi değiştirin. Kurulumun tamamı bu kadar.