Gesprächsspeicher im 100k-Fenster: Budgetierung, Kürzung und Zusammenfassungen
Ein Kontextfenster mit 100.000 Token klingt enorm, bis ein langes Rollenspiel oder eine Geschichte es füllt. Dieser Artikel behandelt den Kontext als Kontobuch: Du legst Platz für die Antwort frei, schützte eine kleine Menge verankerter Fakten, fältest ältere Nachrichten in eine fortlaufende Zusammenfassung und kürzest den Rest. Jeder Schritt enthält kurzes Python, das du anpassen kannst.

AktualisiertUnfiltered AI
Wichtige Punkte
- Dedizierte Inferenzanbieter wie Unfiltered AI bieten konsistentes unzensiertes Verhalten auf einem einzelnen Modell und vermeiden die Zufälligkeit von Aggregator-Routings.
- Aggregatoren wie OpenRouter bieten Zugriff auf mehrere Modelle, können sich jedoch darin unterscheiden, wie streng sie Inhaltsfilter je nach spezifischer Modellversion anwenden.
- Unfiltered AI verwendet ein Open-Weight-Modell auf dedizierter Hardware mit einem 100k-Kontextfenster, priced at $0,15/$0,50 pro Million Tokens.
- Für strenge NSFW- oder Rollenspiel-Konsistenz eliminiert eine dedizierte unzensierte LLM-API die Notwendigkeit komplexer Prompt-Engineering, um generische Filter zu umgehen.
Denke an das Fenster als Kontobuch
Das Modell hat kein Gedächtnis zwischen Aufrufen. Was sich wie Erinnern anfühlt, ist, dass du Text erneut sendest, und jeder erneut gesendete Token ist eine Zeile in einem Kontobuch mit einer Obergrenze: 100.000 Token, geteilt vom Prompt and und der Antwort. Wenn du mehr für den Prompt ausgibst, bleibt weniger Platz für die Antwort; wenn du zu viel von beidem anforderst, wird die Anfrage mit einem 400er abgelehnt.
Ein brauchbares Kontobuch sieht so aus. Reserve 1.500 Token für die Antwort, da dies das ist, was du als max_tokens übergibst. Reserve weitere 3.000 als Puffer, da jede lokale Tokenzählung eine Schätzung ist. Das lässt 59.500 Token Budget für den Prompt. Innerhalb dieses Budgets konkurrieren vier Arten von Inhalten: der System-Prompt, verankerte Fakten, eine fortlaufende Zusammenfassung und die wörtlichen jüngsten Nachrichten. Der Rest dieses Artikels handelt davon zu entscheiden, wer gewinnt.
Die Prioritätsreihenfolge ist einfach zu formulieren. System- und gepinnte Inhalte werden nie geschnitten. Die Zusammenfassung wird ersetzt, statt geschnitten zu werden. Aktuelle Nachrichten werden älteste zuerst geschnitten. Alles, was aus den aktuellen Nachrichten entfernt wird, geht nicht verloren, da es zuerst in die Zusammenfassung eingebettet wird.
Zählen ohne Tokenizer
Verwende die zurückgegebenen usage-Werte, um deine Schätzungen zu überprüfen. Eine Faustregel Zeichen pro Token kann je nach Sprache, Zeichensetzung und Code variieren. Plane Puffer für die Ausgabe ein und reduziere die Eingabe, wenn die Schätzungen sich dem kombinierten Kontextlimit nähern.
Deshalb gibt es den Puffer, und es lohnt sich, zu kalibrieren. Vergleiche nach jedem Aufruf die Zeichen, die du gesendet hast, mit usage.prompt_tokens und passe dein Verhältnis an den beobachteten Wert an. Ein kleiner Glättungsfaktor verhindert, dass eine einzelne seltsame Nachricht das Verhältnis aus dem Gleichgewicht bringt.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4Wenn du den Kalibrierer-est in den Kürzer einfügst, verengen oder erweitern sich die Budgets automatisch, während sich das reale Zeichenbild der Konversation zeigt. Eine Geschichte, die stark in Dialogen und kurzen Wörtern besteht, kostet tendenziell mehr Token pro Zeichen als erläuternder Text, daher lohnt es sich, das beobachtete Verhältnis zu beobachten.
Kürzen: Neueste zuerst, nie mitten in einem Paar
Durchlaufe den Verlauf rückwärts und füge nur Nachrichten hinzu, die in das Budget passen. Wenn selbst der neueste Austausch zu groß ist, kürze oder lehne sie bewusst ab. Behalte den erforderlichen Kontext und die erlaubten Rollen in einer gültigen Reihenfolge; die Auswahl der letzten Beiträge garantiert keine kohärenten Antworten.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedDie Funktion gibt zwei Dinge zurück: die zu sendenden Nachrichten und die Nachrichten, die herausgefallen sind. Die zurückgegebenen verworfenen Nachrichten statt sie zu verwerfen, ist die Designentscheidung, die Zusammenfassungen ermöglicht. Nichts wird stillschweigend gelöscht.
Fakten fixieren, die überdauern müssen
Eine Zusammenfassung ist von Natur aus verlustbehaftet. Charakterfakten, die niemals abweichen dürfen, wie ein Name, ein Geheimnis, ein Versprechen oder eine Regel der Welt, sollten nicht davon abhängen, dass ein Zusammenfasser sich entscheidet, sie zu behalten. Speichere sie als kurze Liste außerhalb des Verlaufs und injiziere sie bei jedem Aufruf als dedizierte Systemnachricht.
- Identität fixieren: Namen, Beziehungen, Spezies, Alter (nur Erwachsene), Beruf.
- Einschränkungen fixieren: Dinge, die der Erzähler nicht tun oder noch nicht offenbaren darf.
- Zustand fixieren, der sich selten ändert: Ort, Jahreszeit, wer was hält.
- Verpinke nicht die Atmosphäre. Die Stimmung gehört in die Zusammenfassung, wo sie sich entwickeln kann.
Halte den verankerten Block unter etwa 400 Token. Wenn er darüber hinaus wächst, verhält er sich wie ein zweiter System-Prompt, und das Modell beginnt, jede verankerte Zeile als gleich dringend zu behandeln. Überprüfe die Liste gelegentlich und entferne Fakten, die nicht mehr zutreffen.
Laufende Zusammenfassungen
Wenn Nachrichten aus dem Fenster fallen, bitte das Modell, sie in eine bestehende Zusammenfassung einzubetten. Der Prompt ist wichtiger als der Code: Sage ihm, was es behalten soll (wer anwesend ist, was sich geändert hat, Versprechen, offene Fäden, aktueller Ort) und was es weglassen soll (Füllmaterial, wiederholte Beschreibungen), und begrenze die Länge in Wörtern. Eine Begrenzung verhindert, dass die Zusammenfassung langsam zu genau dem Problem anschwillt, das sie löst.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()Verwende eine niedrige Temperatur. Eine Zusammenfassung sollte treu sein, nicht erfinderisch. Ein günstiger Schutz ist, die Zusammenfassung selbst alle zwanzig oder so Schritte während der Entwicklung zu lesen; Fehler summieren sich, da jede neue Zusammenfassung auf der vorherigen aufbaut.
Die Teile zusammenfügen
Die Klasse unten verbindet Kürzen, Fixieren und Zusammenfassen in einer Schleife. Jeder Aufruf baut den Prompt, prüft, ob etwas verworfen wurde, bettet es bei Bedarf in die Zusammenfassung ein und baut sie neu auf. Die Regel ist absichtlich faul: Sie fasst nur zusammen, wenn das Fenster es erzwingt, sodass kurze Gespräche nie für einen Zusammenfassungsaufruf zahlen müssen.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))Dies passt natürlich zum Streaming-Relay in dem FastAPI-Backend-Artikel, wo der Session-Speicher summary, pinned und turns statt einer flachen Liste halten würde. Für strukturierten NPC-Status nach demselben Muster siehe den Spiel-Dialog-Leitfaden.
Die Kosten des Erinnerns
Langes Gedächtnis ist nicht kostenlos, da der gesamte Prompt bei jedem Aufruf erneut abgerechnet wird. Nimm zwei Konfigurationen an. Im ersten Fall darf die Historie 50.000 Prompt-Token füllen und jede Antwort 500 Token. Eingabe kostet 50.000 x $0,15 / 1.000.000 = $0,0075, Ausgabe kostet 500 x $0,50 / 1.000.000 = $0,00025, also kostet jeder Schritt etwa $0,00775. Im zweiten Fall behältst du 8.000 Token der jüngsten Nachrichten plus eine 600-Token-Zusammenfassung und 400 verankerte Token, insgesamt etwa 9.000. Eingabe ist $0,00225, Ausgabe $0,00025, also ist jeder Schritt bei etwa $0,0028.
Über 1.000 Schritte sind das etwa $13 gegenüber $2,75 unter diesen Annahmen. Der Zusammenfassungsansatz kostet auch gelegentlich einen zusätzlichen Aufruf von vielleicht 3.000 Input und 450 Output Token, etwa $0,0012, was angesichts der Einsparungen vernachlässigbar ist. Die Preise findest du auf der Preisseite.
Der praktische Rat: Fülle das Fenster nicht nur, weil es da ist. Nutze das große Fenster als Versicherung für Momente, in denen eine Szene wirklich langen wörtlichen Kontext braucht, und lass Zusammenfassungen den Rest tragen.
Wo Speicher-Schemata leise versagen
Drei Fehlermuster tauchen immer wieder auf. Das erste ist Zusammenfassungsdrift: Ein Detail wird paraphrasiert, die Paraphrase wird erneut zusammengefasst, und nach einem Dutzend Faltungen ist die ursprüngliche Tatsache nicht mehr wiederzuerkennen. Verankern ist die Heilung für alles, was du dir nicht leisten kannst zu verlieren, und eine harte Wortbegrenzung verhindert, dass die Zusammenfassung alles absorbiert.
Das zweite ist der Abgrund. Bei einem reinen Trimmen ohne Zusammenfassung verschwindet die älteste Nachricht einfach und der Charakter vergisst plötzlich etwas, das er vor einem Moment noch wusste. Die Nutzer merken es. Das Ausführen des Zusammenfassers einen Schritt vor dem Fenster, das ihn erzwingt, zum Beispiel wenn der Prompt etwa 80 Prozent des Budgets überschreitet, glättet den Übergang.
Das dritte ist Rollenverwirrung nach dem Trimmen, wenn der Verlauf mitten in einer Unterhaltung beginnt. Die führende-Assistenten-Prüfung im Trimmer existiert dafür. Füge einen Test hinzu, der eine lange fiktive Konversation aufbaut, sie trimmt und assertiert, dass die erste erhaltene Nachricht vom Benutzer stammt und dass die geschätzte Gesamtzahl unter dem Budget bleibt. Es dauert fünf Minuten und verhindert eine Klasse von Fehlern, die im manuellen Spiel schwer zu finden sind.
Fragen und Antworten
Was passiert, wenn Prompt plus max_tokens 100.000 überschreiten?
Die Anfrage wird nicht abgelehnt: max_tokens wird auf den im Fenster verbleibenden Platz gekürzt, und die Antwort endet am Ende des Fensters. Nur eine Eingabe mit mehr als 100.000 Tokens löst einen 400 Bad Request aus.
Kann ich Tokens vor einer Anfrage exakt zählen?
Nicht exakt im Voraus. Schätze lokal, behalte einen Sicherheitspuffer und kalibriere gegen den mit jeder Antwort zurückgegebenen Wert usage.prompt_tokens.
Wie oft sollte ich zusammenfassen?
Nur wenn die Gesprächswechsel aus dem Kontextfenster fallen. Das hält kurze Gespräche frei von zusätzlichen Anfragen.
Werden angepinnte Fakten und Zusammenfassungen abgerechnet?
Ja. Alles, was du als Prompt-Token sendest, wird bei jeder Anfrage mit $0,15 pro Million Input-Token abgerechnet, also halte beides kompakt.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den API-Schlüssel und ändere die Base URL. Das ist die gesamte Einrichtung.