Pamięć konwersacji w oknie 100k: budżetowanie, przycinanie i podsumowania
Okno 100 000 tokenów wydaje się ogromne, dopóki nie wypełnisz go długą rozmową fabularną lub opowieścią. Traktujemy kontekst jak księgę: rezerwujesz miejsce na odpowiedź, chronisz mały zestaw przypiętych faktów, zwijasz starsze tury w podsumowanie kumulujące się i obcinasz resztę. Każdy krok opatrzony jest krótkim kodem Python, który możesz dostosować.

ZaktualizowanoUnfiltered AI
Kluczowe punkty
- Dedykowani dostawcy inferencji, tacy jak Unfiltered AI, oferują spójne zachowanie bez cenzury na jednym modelu, unikając losowości routingu agregatorów.
- Agregatory takie jak OpenRouter zapewniają dostęp do wielu modeli, ale mogą różnić się pod względem ścisłości stosowania filtrów treści w zależności od konkretnej wersji modelu.
- Unfiltered AI używa modelu o otwartych wagach na dedykowanym sprzęcie z oknem kontekstu 100k, wycenionego na $0,15/$0,50 za milion tokenów.
- Dla ścisłej spójności NSFW lub fabularnej dedykowany API LLM bez cenzury eliminuje potrzebę skomplikowanego inżynierii promptów w celu obejścia ogólnych filtrów.
Traktuj okno jak księgę
Model nie pamięta stanu między wywołaniami. To, co wydaje się pamięcią, to w rzeczywistości ponowne wysłanie tekstu, a każde ponownie wysłane tokeny to linia w księdze z twardym limitem: 100 000 tokenów, dzielona między prompt and odpowiedź. Wydasz więcej na prompt i zostawisz mniej miejsca na odpowiedź; poprosisz o za dużo obu i zapytanie zostanie odrzucone kodem 400.
Działająca księga wygląda następująco. Zarezerwuj 1 500 tokenów na odpowiedź, ponieważ tyle przekażesz jako max_tokens. Zarezerwuj kolejne 3 000 jako margines, ponieważ dowolny lokalny licznik tokenów to szacunek. To pozostawia 59 500 tokenów budżetu na prompt. W ramach tego budżetu rywalizują cztery rodzaje treści: prompt systemowy, przypięte fakty, podsumowanie kumulujące się oraz dosłowne ostatnie tury. Reszta tego artykułu dotyczy decydowania o tym, kto wygrywa.
Kolejność priorytetów jest prosta do zdefiniowania. System i treść przypięta nigdy nie są przycinane. Suma jest zastępowana, a nie przycinana. Ostatnie tury są przycinane od najstarszych. Wszystko, co zostanie usunięte z ostatnich tur, nie jest tracone, ponieważ najpierw jest zwijane do sumy.
Liczenie bez tokenera
Użyj zwróconych liczb z pola usage, aby sprawdzić swoje szacunki. Szybkie przeliczniki znaków na tokeny mogą się różnić w zależności od języka, interpunkcji i kodu. Zostaw miejsce na odpowiedź i zmniejsz ilość danych wejściowych, gdy szacunki zbliżają się do łącznego limitu kontekstu.
Dlatego istnieje margines i dlatego warto kalibrować. Po każdym wywołaniu porównaj wysłane znaki z usage.prompt_tokens i dostosuj swój współczynnik do wartości obserwowanej. Mały współczynnik wygładzania zapobiega, by jedna dziwna wiadomość nie zaburzyła wyniku.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4Jeśli przełączysz est kalibratora na obcinarkę, budżet zacieśnia się lub rozluźnia automatycznie, gdy ujawnia się rzeczywisty charakter rozmowy. Opowieść bogata w dialogi i krótkie słowa ma tendencję do kosztowania więcej tokenów na znak niż proza ekspozycyjna, więc obserwowany współczynnik wart jest obserwacji.
Przycinanie: od najnowszych, nigdy w połowie pary
Przechodź historię wstecz i dodawaj tylko wiadomości, które mieszczą się w budżecie. Jeśli nawet najnowsza wymiana jest zbyt duża, celowo ją przycinaj lub odrzucaj. Zachowaj wymagany kontekst i dozwolone role w poprawnej kolejności; wybranie ostatnich tur nie gwarantuje spójnych odpowiedzi.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedFunkcja zwraca dwie rzeczy: wiadomości do wysłania i tury, które wypadły. Zwracanie odrzuconych tur, zamiast ich porzucania, jest decyzją projektową, która umożliwia podsumowania. Nic nie jest usuwane cicho.
Przypinanie faktów, które muszą przetrwać
Podsumowanie jest z natury stratne. Fakty dotyczące postaci, które nigdy nie mogą ulec zmianie, takie jak imię, sekret, obietnica lub zasada świata, nie powinny zależeć od tego, czy sumaryzator zdecyduje się je zachować. Przechowuj je jako krótką listę spoza historii i wstrzykuj je jako dedykowaną wiadomość systemową przy każdym wywołaniu.
- Zablokuj tożsamość: imiona, relacje, gatunek, wiek (tylko dorośli), zawód.
- Przypnij ograniczenia: rzeczy, których narrator nie powinien robić lub ujawnić.
- Przypnij stan, który rzadko się zmienia: lokalizacja, pora roku, kto co trzyma.
- Nie przypinaj atmosfery. Nastrój należy do sumy, gdzie może ewoluować.
Trzymaj przypięty blok poniżej około 400 tokenów. Jeśli przekroczy tę wartość, zaczyna zachowywać się jak drugi prompt systemowy, a model zaczyna traktować każdą przypiętą linię jako równie pilną. Przeglądaj listę okresowo i usuwaj fakty, które przestały być prawdziwe.
Podsumowania kumulujące się
Gdy tury wypadną z okna, poproś model o zwinięcie ich do istniejącej sumy. Prompt ma większe znaczenie niż kod: powiedz mu, co zachować (kto jest obecny, co się zmieniło, obietnice, nierozwiązane wątki, obecne miejsce) i co odrzucić (wypełniacz, powtarzający się opis), i ogranicz długość w słowach. Ograniczenie zapobiega powolnemu puchnięciu sumy w problem, który rozwiązuje.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()Użyj niskiej temperatury. Podsumowanie powinno być wierne, nie wynalazcze. Tanią ochroną jest samodzielne przeczytanie podsumowania co około dwadzieścia zwinięć podczas rozwoju; błędy się kumulują, ponieważ każde nowe podsumowanie jest budowane na poprzednim.
Łączenie elementów w całość
Poniższa klasa łączy przycinanie, przypinanie i podsumowywanie w jednej pętli. Każde wywołanie buduje prompt, sprawdza, czy coś zostało odrzucone, zwija to do sumy, jeśli tak, i odbudowuje. Reguła jest celowo leniwa: podsumowuje tylko wtedy, gdy okno to wymusza, więc krótkie konwersacje nigdy nie płacą za wywołanie podsumowania.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))To naturalnie łączy się z przekaźnikiem strumieniowania w artykule backendu FastAPI, gdzie magazyn sesji przechowywałby summary, pinned i turns zamiast jednej płaskiej listy. Dla ustrukturyzowanego stanu NPC na tym samym wzorcu zobacz przewodnik po dialogach gier.
Koszt pamiętania
Długa pamięć nie jest darmowa, ponieważ cały prompt jest ponownie rozliczany przy każdym wywołaniu. Załóż dwa ustawienia. W pierwszym historia wypełnia 50 000 tokenów promptu, a każda odpowiedź ma 500 tokenów. Koszt wejścia to 50 000 x $0,15 / 1 000 000 = $0,0075, koszt wyjścia to 500 x $0,50 / 1 000 000 = $0,00025, więc każda tura kosztuje około $0,00775. W drugim trzymasz 8 000 tokenów ostatnich tur plus sumę 600 tokenów i 400 przypiętych tokenów, około 9 000 łącznie. Wejście to $0,00225, wyjście $0,00025, więc każda tura to około $0,0028.
Przez 1 000 tur jest to około $13 versus $2,75 przy tych założeniach. Podejście z sumą kosztuje również okazjonalne dodatkowe wywołanie około 3 000 wejścia i 450 wyjścia tokenów, około $0,0012, co jest pomijalne wobec oszczędności. Stawki są na stronie cennika.
Praktyczna rada: nie wypełniaj okna tylko dlatego, że jest dostępne. Użyj dużego okna jako ubezpieczenia na momenty, gdy scena naprawdę potrzebuje długiego kontekstu dosłownego, i pozwól sumom carrying resztę.
Gdzie schematy pamięci cicho zawodzą
Trzy wzorce błędów pojawiają się wciąż na nowo. Pierwszy to dryf podsumowania: szczegół jest parafrazowany, parafraza jest ponownie podsumowywana, a po dwunastu zwinięciach oryginalny fakt staje się nie do rozpoznania. Zablokowanie kluczowych faktów to lekarstwo na wszystko, czego nie możesz stracić, a twardy limit tokenów zapobiega wchłanianiu wszystkiego przez podsumowanie.
Drugim jest klif. Przy czystym przycinaniu bez sumy najstarsza tura po prostu znika, a postać nagle zapomina o czymś, co wiedziała chwilę temu. Użytkownicy to zauważają. Uruchomienie sumaryzatora o krok wcześniej, zanim okno to wymusi, na przykład gdy prompt przekracza około 80 procent budżetu, wygładza przejście.
Trzecim jest zamiana ról po przycięciu, gdy historia zaczyna się w trakcie wymiany. Sprawdzenie roli asystenta w przycinarce służy właśnie temu celowi. Dodaj test, który buduje długą fikcyjną rozmowę, przycina ją i sprawdza, czy pierwsza zachowana wiadomość pochodzi od użytkownika oraz czy szacowana całkowita liczba tokenów mieści się w budżecie. Zajmie to pięć minut, a zapobiegnie klasie błędów trudnych do wykrycia przy ręcznym testowaniu.
Pytania i odpowiedzi
Co się stanie, jeśli prompt plus max_tokens przekroczą 100 000?
Żądanie nie jest odrzucane: max_tokens jest obcinane do pozostałej pojemności okna kontekstowego, a odpowiedź kończy się na jego końcu. Tylko prompt dłuższy niż 100 000 tokenów zwraca błąd 400 bad request.
Czy mogę dokładnie policzyć tokeny przed zapytaniem?
Nie dokładnie z góry. Oszacuj lokalnie, zachowaj margines bezpieczeństwa i kalibruj względem wartości usage.prompt_tokens zwracanej z każdą odpowiedzią.
Jak często powinienem podsumowywać?
Tylko wtedy, gdy rozmowa wyjdzie poza okno kontekstu. Dzięki temu krótkie konwersacje pozostaną wolne od dodatkowych wywołań.
Czy przypięte fakty i podsumowania są rozliczane?
Tak. Wszystko, co wyślesz jako token promptu, jest rozliczane po $0,15 za milion tokenów wejściowych przy każdym zapytaniu, więc trzymaj oba zwięźle.
Twój klucz jest o jeden formularz stąd
Stwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.