100k pencerede sohbet hafızası: bütçeleme, kısaltma ve özetler
100.000 tokenlık bir pencere devasa görünse de uzun bir rol yapma veya hikaye onu doldurabilir. Bu makale bağlamı bir defter olarak ele alır: yanıt için yer ayırırsınız, küçük bir sabitlenmiş gerçekler kümesini korursunuz, eski dönüşleri yuvarlak özetlere dönüştürürsünüz ve geri kalanını kısaltırsınız. Her adım, uyarlayabileceğiniz kısa Python kodlarıyla gelir.

GüncellendiUnfiltered AI
Ana noktalar
- Unfiltered AI gibi özel çıkarım sağlayıcıları, tek bir modelde tutarlı sansürsüz davranış sunar ve toplayıcı yönlendirmesinin rastgeleliğinden kaçınır.
- OpenRouter gibi toplayıcılar birden fazla modele erişim sağlar ancak belirli model sürümüne bağlı olarak içerik filtrelerinin ne kadar sıkı uygulandığı değişebilir.
- Unfiltered AI, 100k bağlam penceresine sahip özel donanımlarda açık ağırlıklı bir model kullanır ve milyon token başına $0,15/$0,50 fiyatlandırma ile gelir.
- Sıkı NSFW veya rol yapma tutarlılığı için, özel bir sansürsüz LLM API'si, genel filtreleri aşmak için karmaşık istem mühendisliğine olan ihtiyacı ortadan kaldırır.
Pencereyi bir defter olarak düşünün
Model çağrılar arasında hafızaya sahip değildir. Hatırlama gibi görünen şey, metni yeniden göndermenizdir ve her yeniden gönderilen token, katı bir tavanı olan bir defterde bir satırdır: 100.000 token, istem and yanıt tarafından paylaşılır. İstem için daha fazla harcarsanız, cevap için daha az yer bırakırsınız; her ikisi için de çok fazla isterseniz, istek 400 hatasıyla reddedilir.
İşlevsel bir defter şöyle görünür. Yanıt için 1.500 tokenı max_tokens olarak ayırın. Tahmini bir sayı olduğundan 3.000 tokenı marj olarak ayırın. Kalan 59.500 token istek bütçesidir. Bu bütçe içinde dört içerik türü rekabet eder: sistem istemi, sabitlenmiş gerçekler, yuvarlak özet ve son dönüşler. Bu makalenin geri kalanı kimin kazanacağını belirlemeye dairdir.
Öncelik sırası belirtmek basittir. Sistem ve sabitlenmiş içerik asla kesilmez. Özet kesilmek yerine değiştirilir. Son dönüşler en eski önceden kesilir. Son dönüşlerden atılan hiçbir şey kaybolmaz, çünkü önce özetle birleştirilir.
Tokenizer olmadan sayma
Tahminlerinizi kontrol etmek için döndürülen usage sayımlarını kullanın. Karakter başına token kısayolu dil, noktalama işareti ve koda göre değişebilir. Çıktı için yer bırakın ve tahminler birleşik bağlam sınırına yaklaştığında girişi azaltın.
Bu yüzden marj vardır ve kalibre etmenin değerlidir. Her çağrının ardından, gönderdiğiniz karakterleri usage.prompt_tokens ile karşılaştırın ve oranınızı gözlemlenen değere doğru ayarlayın. Küçük bir yumuşatma faktörü, tek bir tuhaf mesajın onu bozmasını engeller.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4Kalibratörün est değerini kırpıcıya takarsanız, bütçe konuşmanın gerçek karakteri ortaya çıktıkça otomatik olarak sıkışır veya genişler. Diyalog ve kısa kelimelerle zengin bir hikaye, anlatımsız metinden daha fazla token maliyeti gerektirme eğilimindedir, bu nedenle gözlemlenen oranı izlemek değerlidir.
Kısaltma: en yeniden başlayarak, çiftin ortasından değil
Yakın geçmişi sondan başa doğru tarayın ve yalnızca bütçeye sığan mesajları ekleyin. En son mesaj alışverişi bile çok büyükse, onu bilinçli olarak kırpın veya reddedin. Gerekli bağlamı ve izin verilen rolleri geçerli bir sırayla tutun; son turları seçmek tutarlı yanıtlar garanti etmez.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedİşlev iki şey döndürür: gönderilecek mesajlar ve düşen dönüşler. Düşen dönüşleri atmak yerine döndürmek, özetlerin mümkün kıldığı tasarım kararını temsil eder. Hiçbir şey sessizce silinmez.
Hayatta kalması gereken gerçekleri sabitleme
Bir özet doğası gereği kayıplıdır. Asla sapmaması gereken karakter gerçekleri, örneğin bir isim, bir sır, bir söz veya dünyanın bir kuralı, bir özetleyicinin onları tutmayı seçmesine bağlı olmamalıdır. Bunları geçmişin dışında kısa bir liste olarak saklayın ve her çağrıda özel bir sistem mesajı olarak enjekte edin.
- Kimliği sabitle: isimler, ilişkiler, tür, yaş (sadece yetişkinler), meslek.
- Kısıtlamaları sabitle: anlatıcının yapmaması veya henüz ifşa etmemesi gereken şeyler.
- Nadiren değişen durumu sabitle: konum, mevsim, kimin neyi elinde tuttuğu.
- Atmosferi sabitlemeyin. Ruh hali, evrilebileceği özetlerde yer almalıdır.
Sabitlenmiş bloğu yaklaşık 400 token altında tutun. Eğer bu değerin üzerine çıkarsa, ikinci bir sistem istemi gibi davranmaya başlar ve model her sabitlenmiş satırı eşit derecede acil olarak işlemeye başlar. Listeyi düzenli olarak gözden geçirin ve artık geçerli olmayan gerçekleri emekli edin.
Yuvarlak özetler
Dönüşler pencereden çıktığında, modelden bunları mevcut bir özetle birleştirmesini isteyin. İstem, koddan daha önemlidir: neyi koruması gerektiğini (kimin mevcut olduğu, neyin değiştiği, sözler, çözülmemiş konular, mevcut yer) ve neyi bırakması gerektiğini (dolgular, tekrarlayan betimlemeler) söyleyin ve uzunluğu kelime cinsinden sınırlandırın. Bir sınır, özetin çözdüğü sorunun kendisi olan yavaş yavaş şişmesini engeller.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()Düşük bir sıcaklık kullanın. Bir özet sadık olmalı, icat edici olmamalıdır. Geliştirme sırasında her yirmi fold'da bir özetin kendinizi okuması ucuz bir koruyucu tedbirdir; her yeni özet önceki üzerine inşa edildiğinden hatalar birikir.
Parçaları bir araya getirme
Aşağıdaki sınıf, kısaltma, sabitleme ve özetlemeyi tek bir döngüde bağlar. Her çağrı, istimi oluşturur, bir şeyin düşüp düşmediğini kontrol eder, varsa özetle birleştirir ve yeniden oluşturur. Kasten tembel bir kuraldır: pencere zorladığında sadece özetler, bu yüzden kısa sohbetler bir özet çağrısı için ödeme yapmaz.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))Bu, FastAPI arka uç makalesindaki akış aktarıcısıyla doğal olarak eşleşir; oturum deposu burada tek düz liste yerine summary, pinned ve turns tutar. Aynı kalıpta yapılandırılmış NPC durumu için oyun diyalog kılavuzune bakın.
Hatırlamanın maliyeti
Uzun hafıza ücretsiz değildir, çünkü tüm istem her çağrıda tekrar ücretlendirilir. İki kurulum varsayın. İlkinde, geçmiş 50.000 istem tokenı doldurmasına izin verilir ve her yanıt 500 token'dır. Giriş maliyeti 50.000 x $0,15 / 1.000.000 = $0,0075, çıkış maliyeti 500 x $0,50 / 1.000.000 = $0,00025, bu yüzden her dönüş yaklaşık $0,00775 maliyetindedir. İkincisinde, son dönüşlerin 8.000 tokenını, 600 tokenlık bir özet ve 400 sabitlenmiş tokenı korursunuz, toplamda yaklaşık 9.000. Giriş $0,00225, çıkış $0,00025, bu yüzden her dönüş yaklaşık $0,0028'dir.
1.000 dönüş üzerinde bu, bu varsayımlar altında $13'e karşılık gelir. Özet yaklaşımı ayrıca nadiren 3.000 giriş ve 450 çıkış tokenı olan ekstra bir çağrı maliyeti olan yaklaşık $0,0012'ye sahiptir, bu da tasarruflar yanında ihmal edilebilir düzeydedir. Oranlar fiyatlandırma sayfasında yer almaktadır.
Pratik tavsiye: Pencere orada olduğu için pencereyi doldurmayın. Pencereyi, bir sahnenin gerçekten uzun kelimesi kelimesine bağlamı gerektirdiği anlar için bir sigorta olarak kullanın ve geri kalanını özetlere bırakın.
Hafıza şemalarının sessizce başarısız olduğu yerler
Üç başarısızlık deseni tekrar tekrar ortaya çıkar. İlki özet kaymasıdır: bir ayrıntı parafraz edilir, parafraz tekrar özetlenir ve bir düzine fold'dan sonra orijinal gerçek tanınmaz hale gelir. Kaybetmeyi göze alamadığınız her şey için sabitleme çaredir ve sert bir kelime sınırı, özetin her şeyi yutmasını önler.
İkincisi sığladır. Saf kısaltma ve özet yoksa, en eski dönüş kaybolur ve karakter bir an önce bildiği bir şeyi aniden unutur. Kullanıcılar bunu fark eder. Özetleyiciyi pencere zorlanmadan önce, örneğin istek bütçenin %80'ini aştığında çalıştırmak geçişi yumuşatır.
Üçüncüsü kısaltmadan sonra rol kafa karışıklığıdur, geçmiş bir etkileşimin ortasında başlar. Kısaltıcıdaki lider-asistan kontrolü bunun içindir. Uzun sahte bir sohbet oluşturan, kısaltan ve ilk mesajın kullanıcıdan olduğunu ve tahmini toplamın bütçenin altında kaldığını doğrulayan bir test ekleyin.
Sorular ve cevaplar
İstem ile max_tokens 100.000'i aşarsa ne olur?
İstek reddedilmez: max_tokens, pencerede kalan boşluğa göre kısaltılır ve yanıt pencerenin sonunda sona erer. Sadece 100.000 token'ı aşan bir istem 400 bad request hatası döndürür.
Bir istek öncesinde tokenları tam olarak sayabilir miyim?
Tam olarak önceden mümkün değil. Yerel olarak tahmin edin, bir güvenlik payı bırakın ve her yanıtla birlikte dönen usage.prompt_tokens değeriyle kalibre edin.
Özetleme ne sıklıkla yapılmalı?
Sadece konuşma geçmişi bağlam penceresinden çıktığında. Bu, kısa konuşmaların ek isteklerle dolmasını engeller.
Sabitlenmiş bilgiler ve özetler ücretlendirilir mi?
Evet. İstem token'ı olarak gönderilen her şey, her istekte milyon giriş token'ı başına $0,15 oranında ücretlendirilir; bu yüzden her ikisini de kompakt tutun.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın, base URL'yi değiştirin. Kurulum bu kadar basit.