100k 視窗的對話記憶:預算、修剪與摘要
100,000 token 的上下文視窗聽起來很龐大,直到長篇角色扮演或故事將其填滿為止。本文將上下文視為帳本:你為回應預留空間、保護一小組固定的事實、將較舊的輪次摺疊為滾動摘要並修剪其餘部分。每個步驟都附有可適配的短 Python 程式碼。

更新Unfiltered AI
重點
- 專屬推理供應商如 Unfiltered AI 在單一模型上提供一致的無審查行為,避免聚合器路由的隨機性。
- OpenRouter 等聚合器提供多個模型的存取,但根據特定模型版本,它們應用內容篩選的嚴格程度可能有所不同。
- Unfiltered AI 在專用硬體上使用開放權重模型,具有 100k 上下文視窗,價格為每百萬 token $0.15/$0.50。
- 對於嚴格的 NSFW 或角色扮演一致性,專屬的無審查 LLM API 消除了為繞過通用篩選器而進行複雜提示詞工程的必要。
將視窗視為帳簿
模型在呼叫之間沒有記憶。感覺像是記住,其實是你重新發送文字,而每個重新發送的 token 都是帳本上的一行,有硬性上限:100,000 tokens,由提示詞 and 加上回應共享。如果在提示詞上花費更多,你就為答案預留的空間更少;如果兩者都要求太多,請求將以 400 被拒絕。
可行的帳本看起來像這樣。為回應預留 1,500 token,因為這是你將作為 max_tokens 傳遞的數量。再預留 3,000 token 作為餘量,因為任何本地 token 計數都是估計值。這為提示詞留下了 59,500 token 的預算。在該預算內,四種內容相互競爭:系統提示詞、固定的事實、滾動摘要和逐字記錄的近期輪次。本文的其餘部分關於決定誰獲勝。
優先順序很簡單。系統和固定內容絕不會被修剪。摘要會被替換而非修剪。最近的輪次會從最舊的開始修剪。從最近輪次中刪除的任何內容都不會遺失,因為它們會先被摺疊到摘要中。
不使用 tokenizer 計數
使用回傳的 usage 計數來檢查您的估計值。字元對 token 的簡易換算法會因語言、標點符號和程式碼而有所不同。為輸出預留空間,並在估計值接近總上下文限制時減少輸入。
這就是餘量存在的原因,以及校準值得的原因。每次呼叫後,比較你發送的字符與 usage.prompt_tokens,並將你的比率調整為觀察到的值。一個小的平滑因子可以防止單個異常消息將其打亂。
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4如果你將校準器的 est 換入修剪器,隨著對話真實字符的出現,預算會自動緊縮或放寬。以對話和短詞為主的故事情節每字符消耗的 token 往往比說明性散文更多,因此值得關注觀察到的比率。
修剪:從最新開始,絕不從中間對切
從最近的歷史記錄開始向後遍歷,僅加入符合預算的訊息。即使最新的對話輪次太大,也請刻意截斷或拒絕它。保留必要的上下文和允許的角色以維持有效順序;僅選擇最近的輪次並不保證回答的連貫性。
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, dropped該函式回傳兩件事:要發送的訊息和掉出的輪次。回傳掉出的輪次而非丟棄它們,是使摘要成為可能的設計決策。沒有任何內容會靜默刪除。
固定必須保留的事實
摘要本質上是損耗的。必須永不漂移的角色事實,例如名字、秘密、承諾或世界規則,不應該依賴摘要器選擇保留它們。將它們存為歷史之外的短列表,並在每次呼叫時作為專屬系統訊息注入。
- 固定身份: 名稱、關係、物種、年齡(僅成人)、職業。
- 固定限制: 敘述者必須不做或尚未揭露的事情。
- 固定很少改變的狀態: 位置、季節、誰持有什麼。
- 不要固定氛圍。 情緒屬於摘要,在那裡它可以演變。
保持固定區塊約低於 400 token。如果它超過那個數量,它開始表現得像第二個系統提示詞,模型開始將每個固定的行視為同等緊急。定期審查列表並淘汰不再真實的事實。
滾動摘要
當輪次超出視窗時,要求模型將它們摺疊到現有摘要中。提示詞比程式碼更重要:告訴它要保留什麼(誰在場、發生了什麼變化、承諾、未解決的線索、當前地點)以及要丟棄什麼(填充物、重複的描述),並限制字數。限制可防止摘要緩慢膨脹成它解決的問題本身。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()使用低溫度。摘要應該忠實,而非富有創意。一個廉價的保護措施是在開發期間每進行約二十次摺疊後自行閱讀摘要;錯誤會累積,因為每個新摘要都是基於前一個建立的。
將各部分組合起來
下面的類別在一個迴圈中連接修剪、固定和摘要。每次呼叫建立提示詞,檢查是否有內容被刪除,如果有則將其摺疊到摘要中,然後重新建立。規則故意是惰性的:它只在視窗迫使時才摘要,因此短對話永遠不會為摘要呼叫付費。
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))這與 FastAPI 後端文章 中的串流輸出中繼自然配對,其中會話儲存庫將儲存 summary、pinned 和 turns 而不是一個扁平列表。對於相同模式下的結構化 NPC 狀態,請參見 遊戲對話指南。
記憶的成本
長記憶並非免費,因為整個提示詞在每次呼叫時都會再次計費。假設兩種設置。在第一種中,允許歷史記錄填滿 50,000 個提示詞 token,每次回應為 500 token。輸入成本為 50,000 x $0.15 / 1,000,000 = $0.0075,輸出成本為 500 x $0.50 / 1,000,000 = $0.00025,所以每次輪次的成本約為 $0.00775。在第二種中,你保留 8,000 token 的近期輪次加上 600 token 的摘要和 400 個固定的 token,總共約 9,000。輸入為 $0.00225,輸出 $0.00025,所以每次輪次接近 $0.0028。
超過 1,000 個回合,在這些假設下,這大約是 $13 對比 $2.75。摘要方法也會偶爾產生額外的呼叫,大約需要 3,000 個輸入 token 和 450 個輸出 token,成本約為 $0.0012,與節省的成本相比可忽略不計。費率請見 定價頁面。
實用建議:不要僅僅因為視窗在那裡就將其填滿。將大視窗作為場景真正需要長逐字上下文時的保險,讓摘要承擔其餘部分。
記憶方案靜默失敗之處
三個失敗模式反覆出現。第一個是 摘要漂移:細節被改寫,改寫後的內容再次被摘要,經過十幾次摺疊後,原始事實變得無法辨認。固定不可承受損失的任何內容是解藥,硬性字詞上限可防止摘要吸收一切。
第二個是斷崖。若僅進行截斷且無摘要,最早的對話輪次會直接消失,導致模型突然忘記它剛才知道的內容。使用者會察覺到這一點。在視窗臨界點之前執行一次摘要器(例如當提示詞消耗約 80% 的額度時),可以平滑過渡。
第三個是截斷後的角色混淆,此時歷史記錄可能從對話中途開始。修剪器中的「領先助手」檢查就是為了解決這個問題。新增一個測試,建構一個長的假想對話,將其修剪,並斷言第一個保留的訊息來自使用者,且預估總量保持在預算內。這只需五分鐘,即可防止一類在手动遊玩時難以察覺的錯誤。
問答
如果提示詞加上 max_tokens 超過 100,000 會發生什麼?
請求不會被拒絕:max_tokens 會根據視窗剩餘空間進行截斷,回覆也會在視窗結束時停止。只有當提示長度超過 100,000 個 token 時,才會回傳 400 bad request。
我可以在請求之前精確計算 token 嗎?
無法事先精確計算。在本地估算,保留安全邊際,並根據每次回應回傳的 usage.prompt_tokens 數值進行校準。
我應該多久摘要一次?
僅當對話輪次超出上下文視窗時才需要。這能確保短對話不會產生額外的請求。
固定的事實和摘要會計費嗎?
是的。你作為提示詞 token 發送的每百萬個輸入 token,每次呼叫都會以 $0.15 計費,因此請保持精簡。