100k 窗口下的对话记忆:预算、修剪与摘要
100,000 token 的上下文窗口看似巨大,直到长角色扮演或故事将其填满。本文将上下文视为账本:你为回复预留空间,保护一组固定的事实,将旧轮次折叠为滚动摘要,并裁剪其余部分。每个步骤都配有可适配的简短 Python 代码。

更新于Unfiltered AI
要点
- 像 Unfiltered AI 这样的专用推理提供商在单一模型上提供一致的无审查行为,避免了聚合器路由的随机性。
- 像 OpenRouter 这样的聚合器提供对多个模型的访问,但根据具体模型版本的不同,其应用内容过滤的严格程度可能会有所不同。
- Unfiltered AI 在专用硬件上使用开放权重模型,提供 100k 上下文窗口,价格为每百万 token $0.15/$0.50。
- 对于严格的 NSFW 或角色扮演一致性,专用的无审查 LLM API 消除了为绕过通用过滤器而进行复杂提示词工程的需求。
将窗口视为账本
模型在调用之间没有记忆。所谓的“记忆”其实是你重新发送文本,而每次重新发送的 token 都在账本上记一笔,上限为 100,000 tokens,由提示词 and 与回复共享。如果在提示词上花费更多,留给回答的空间就会减少;如果两者都要求过多,请求将被 400 错误拒绝。
一个可行的账本结构如下:为回复预留 1,500 个 token,因为这是你将作为 max_tokens 传递的值。再预留 3,000 个 token 作为余量,因为任何本地 token 计数都是估算值。这样为提示词留下了 59,500 个 token 的预算。在该预算内,四类内容相互竞争:系统提示词、固定事实、滚动摘要和逐字记录的最近对话。本文的其余部分将讨论如何决定谁胜出。
优先级顺序很简单。系统内容和固定内容永远不会被截断。摘要会被替换而不是被截断。近期轮次按最旧优先被截断。从近期轮次中丢弃的内容不会丢失,因为它们会先被折叠到摘要中。
不使用分词器计数
使用返回的 usage 计数来核对你的估算。字符与 token 的换算比例会因语言、标点和代码而异。为输出留出空间,当估算值接近上下文总限制时,应减少输入。
这就是余量存在的原因,校准是值得的。每次调用后,比较你发送的字符数与 usage.prompt_tokens,并将你的比率调整到观察值。小的平滑因子可以防止一条异常消息将其打乱。
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4如果你将校准器的 est 替换到修剪器中,随着对话实际字符的出现,预算会自动收紧或放宽。以对话和短词为主的故事每字符消耗的 token 往往多于说明性文本,因此值得观察观察到的比率。
修剪:从最新开始,绝不截断中间
从最近的历史记录向前回溯,仅添加在预算范围内的消息。如果即使是最新的对话轮次也过大,请有意截断或拒绝它。保持必要上下文和允许角色序列的有效性;仅选择最近的轮次并不能保证回答的连贯性。
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, dropped该函数返回两样东西:要发送的消息和掉出窗口的轮次。返回被丢弃的轮次而不是丢弃它们,是使摘要成为可能的设计决策。没有任何内容被静默删除。
固定必须保留的事实
摘要本质上是有损的。那些绝不能发生漂移的角色事实,如姓名、秘密、承诺或世界观规则,不应依赖于摘要器是否选择保留它们。将它们作为简短列表存储在历史记录之外,并在每次调用时作为专用的系统消息注入。
- 固定身份: 名字、关系、物种、年龄(仅限成年人)、职业。
- 固定约束: 叙述者必须不做或尚未揭示的事情。
- 固定很少变化的状态: 位置、季节、谁持有什么。
- 不要固定氛围。 情绪属于摘要,在那里它可以演变。
保持固定块在大约 400 token 以下。如果它超过这个数量,它就会表现得像第二个系统提示词,模型开始将每一行固定内容视为同等紧急。定期审查列表并退役不再真实的事实。
滚动摘要
当轮次超出窗口时,要求模型将它们折叠到现有摘要中。提示词比代码更重要:告诉它要保留什么(谁在场、发生了什么变化、承诺、未解决的线索、当前位置)以及要丢弃什么(填充物、重复描述),并以单词数限制长度。限制长度可以防止摘要缓慢膨胀成它要解决的问题本身。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()使用低温度。摘要应忠实而非富有想象力。一种低成本的保障措施是在开发过程中每折叠约二十次时亲自阅读摘要;错误会累积,因为每个新摘要都是基于前一个摘要构建的。
将各部分组合起来
下面的类将修剪、固定和摘要连接到一个循环中。每次调用都会构建提示词,检查是否有内容被丢弃,如果有则将其折叠到摘要中,然后重新构建。该规则设计得较为宽松:它仅在上下文窗口迫不得已时才进行摘要,因此简短的对话无需为摘要调用付费。
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))这与 FastAPI 后端文章 中的流式传输中继自然配对,其中会话存储将持有 summary、pinned 和 turns 而不是一个扁平列表。对于相同模式下的结构化 NPC 状态,请参阅 游戏对话指南。
记忆的成本
长期记忆并非免费,因为整个提示词在每次调用时都会再次计费。假设两种设置。第一种情况下,历史记录允许填充 50,000 个提示词 token,每次回复为 500 个 token。输入成本为 50,000 x $0.15 / 1,000,000 = $0.0075,输出成本为 500 x $0.50 / 1,000,000 = $0.00025,因此每轮成本约为 $0.00775。第二种情况下,你保留 8,000 个最近对话的 token 加上 600 个 token 的摘要和 400 个固定 token,总计约 9,000 个 token。输入成本为 $0.00225,输出为 $0.00025,因此每轮成本约为 $0.0028。
在 1,000 次轮次下,这大约是 $13,而在这些假设下第二种情况是 $2.75。摘要方法还偶尔需要额外的调用,大约 3,000 输入和 450 输出 token,约 $0.0012,与节省相比微不足道。费率在 定价页面 上。
实用建议:不要因为窗口在那里就填满它。将大窗口作为场景真正需要长原始上下文的时刻的保险,让摘要承担其余部分。
记忆方案静默失效之处
三种失败模式反复出现。第一种是 摘要漂移:细节被改写,改写后的内容再次被摘要,经过 dozen 次折叠后,原始事实变得无法辨认。固定是任何你无法承受丢失的事物的解药,硬性的单词限制可以防止摘要吸收所有内容。
第二种是 悬崖。纯修剪且无摘要时,最旧的轮次 simply 消失,角色突然忘记了它刚才知道的事情。用户会注意到。在窗口强制之前运行摘要器一步,例如当提示词超过预算的约 80% 时,可以平滑过渡。
第三种是 修剪后的角色混淆,当历史开始在交互中间开始时。修剪器中的前置助手检查就是为此存在的。添加一个测试,构建一个长的假对话,修剪它,并断言第一个保留的消息来自用户,且估计总数保持在预算之下。这需要五分钟,可以防止一类在手动游戏中难以发现的错误。
问答
如果提示词加上 max_tokens 超过 100,000 会怎样?
请求不会被拒绝:max_tokens 会被截断至窗口剩余容量,回复在窗口末尾停止。仅当提示词超过 100,000 个 token 时,才会返回 400 bad request。
我可以在请求前精确计算 token 吗?
无法提前精确计算。请在本地估算,保留安全余量,并根据每次响应返回的 usage.prompt_tokens 值进行校准。
我应该多久总结一次?
仅在对话轮次超出上下文窗口时进行总结。这能确保简短对话不会产生额外的请求。
固定的事实和摘要会计费吗?
是的。你作为提示词 token 发送的所有内容都会在每个请求中按每百万输入 token $0.15 计费,因此请保持两者精简。