100kウィンドウの会話メモリ:予算、トリミング、サマリー
100,000トークンのウィンドウは巨大に見えますが、長いロールプレイや物語で埋まってしまうことがあります。この記事では、コンテキストを台帳として扱います。返信用の領域を確保し、限られた固定事実を保護し、古いやり取りをローリングサマリーに折りたたみ、残りをトリミングします。各ステップには、Pythonで適応可能な短いコードが含まれています。

更新日Unfiltered AI
主要ポイント
- Unfiltered AIのような専用推論プロバイダーは、単一モデルで一貫した無検閲の動作を提供し、アグリゲータールーティングのランダム性を回避します。
- OpenRouterのようなエグリーガーは複数のモデルにアクセスできますが、特定のモデルバージョンに応じてコンテンツフィルターの適用厳格さが異なる場合があります。
- Unfiltered AIは100kのコンテキストウィンドウを持つオープンウェイトモデルを専用ハードウェアで使用し、100万トークンあたり$0.15/$0.50で提供しています。
- 厳格なNSFWやロールプレイの一貫性には、専用無検閲LLM APIを使用することで、一般的なフィルターを回避するための複雑なプロンプトエンジニアリングの必要性がなくなります。
ウィンドウを台帳として考える
モデルは呼び出し間で記憶を持ちません。記憶しているように感じるのは、あなたがテキストを再送信しているためであり、再送信されるトークンごとに台帳の行が追加されます。その硬い上限は100,000トークンで、プロンプトand返信で共有されます。プロンプトにより多くを使うと回答の余地が減り、両方に多すぎるとリクエストは400で拒否されます。
実用的な台帳は以下のようになります。返信用に1,500トークンを予約します(これはmax_tokensとして渡す値です)。さらに3,000トークンをマージンとして確保します(ローカルのトークンカウントは推定値であるため)。これでプロンプト用の予算が59,500トークン残ります。この予算内では、4種類のコンテンツが競合します:システムプロンプト、固定事実、ローリングサマリー、および直近のやり取りのそのままのテキスト。この記事の残りは、誰が優先されるかを決定する方法についてです。
優先順位は明確です。システムコンテンツと固定コンテンツは決して切り捨てません。サマリーは切り捨てるのではなく置き換えます。直近のやり取りは古いものから順に切り捨てます。直近のやり取りから削除された内容は失われません。まずサマリーに折りたたまれるためです。
トークナイザーなしでのカウント
返されたusageの値を使って見積もりを確認してください。文字数からトークン数を推測する簡易計算は、言語、句読点、コードによって異なります。出力分の余地を残し、見積もりがコンテキスト制限の合計に近づいたら入力を減らしてください。
これがマージンが存在する理由であり、較正が有益な理由です。各呼び出し後、送信した文字数とusage.prompt_tokensを比較し、比率を観測値に近づけて調整してください。小さな平滑化係数により、1つの奇妙なメッセージが全体を狂わせることを防げます。
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4較正器のestをトリマーに組み込むと、会話の実際の性質が明らかになるにつれて、予算が自動的に調整されます。対話や短い言葉が多い物語は、説明的な文章よりも文字あたりのトークンコストが高くなる傾向があるため、観測された比率は注意深く監視する価値があります。
トリミング:最新優先、ペアの途中では行わない
直近の履歴を逆順に確認し、予算に収まるメッセージのみを追加してください。最新の対話ですら大きすぎる場合は、意図的に切り捨てまたは拒否してください。必要なコンテキストと許可されたロールを有効な順序で維持してください。直近のターンだけを選択しても、一貫した回答が保証されるわけではありません。
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedこの関数は2つのものを返します:送信するメッセージと、外れたやり取りです。外れたやり取りを破棄するのではなく返すことが、サマリーを可能にする設計上の決定です。何も静かに削除されません。
維持すべき事実の固定
要約は本質的に可逆性を持ちません。名前、秘密、約束、世界のルールなど、決してずれてはならない文字列の事実は、要約がそれらを保持するかどうかにかかってはいけません。それらは履歴外の短いリストとして保存し、すべての呼び出しで専用のシステムメッセージとして挿入してください。
- アイデンティティを固定:名前、関係、種族、年齢(成人のみ)、職業。
- 制約を固定:ナレーターがしてはならないこと、またはまだ明かしてはいけないこと。
- めったに変化しない状態を固定:場所、季節、誰が何を持っているか。
- 雰囲気は固定しない。ムードはサマリーに含まれるべきであり、そこで進化させるものです。
固定ブロックは約400トークン未満に保ってください。それを超えると、それは2つ目のシステムプロンプトのように振る舞い始め、モデルはすべての固定行を同等に重要視し始めます。リストを定期的にレビューし、もはや真実でなくなった事実を廃棄してください。
ローリングサマリー
ウィンドウから外れたやり取りがある場合、モデルに既存のサマリーにそれらを折りたたむよう依頼します。コードよりもプロンプトが重要です。何を保持するか(誰が参加しているか、何が変わったか、約束、解決していないスレッド、現在の場所)と何を捨てるか(おしゃべり、繰り返しの説明)を指示し、単語数で長さを制限してください。制限を設けることで、サマリーが解決しようとしている問題そのものへと徐々に膨張するのを防げます。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()低い温度を使用してください。サマリーは創造的であるよりも忠実であるべきです。開発中は、約20回ごとのサマリーを自分で読むという安価な保護策があります。エラーは蓄積します。新しいサマリーは前のものに基づいて構築されるためです。
ピースを組み合わせる
以下のクラスは、トリミング、固定、サマリングを1つのループで接続します。各呼び出しでプロンプトを構築し、何かが削除されたか確認し、そうであればそれをサマリーに折りたたみ、再構築します。ルールは意図的に遅延実行です。ウィンドウが強制した場合のみサマリーを実行するため、短い会話ではサマリー呼び出しのコストを支払う必要がありません。
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))これは、セッションストアが1つの平坦なリストの代わりにsummary、pinned、turnsを保持するFastAPIバックエンドの記事のストリーミングリレーと自然に連携します。同じパターンによる構造化されたNPC状態については、ゲームダイアログガイドを参照してください。
記憶のコスト
長いメモリは無料ではありません。なぜなら、全体のプロンプトが呼び出しごとに再度課金されるからです。2つのセットアップを想定します。1つ目は、履歴が50,000プロンプトトークンを満たすことを許可し、各返信が500トークンである場合です。入力は50,000 x $0.15 / 1,000,000 = $0.0075、出力は500 x $0.50 / 1,000,000 = $0.00025なので、各ターンは約$0.00775かかります。2つ目は、直近のターン8,000トークン、600トークンのサマリー、400トークンの固定データを保持し、合計約9,000トークンに抑える場合です。入力は$0.00225、出力は$0.00025なので、各ターンは約$0.0028です。
1,000ターンでは、これらの仮定の下で約$13対$2.75となります。サマリーアプローチには、おそらく3,000入力と450出力トークンの追加呼び出しが Occasionally 必要ですが、これは約$0.0012であり、節約額に比べれば無視できるレベルです。料率は料金ページに記載されています。
実用的なアドバイス:ウィンドウがあるからといって、それを埋めないでください。大きなウィンドウを、シーンが本当に長いそのままのコンテキストを必要とする瞬間のための保険として使い、残りはサマリーに任せてください。
記憶スキームが静かに失敗する場所
3つの失敗パターンが繰り返されます。1つ目は要約のドリフトです。詳細が要約され、さらに要約が繰り返され、十数回の要約を経て元の事実が判別不能になります。失ってはいけないものにはピン留めが解決策であり、文字数の上限を設けることで要約がすべてを吸収するのを防げます。
2つ目は崖です。純粋なトリミングでサマリーがない場合、最も古いやり取りは単に消え去り、キャラクターは直前まで知っていたことを突然忘れます。ユーザーはこれに気づきます。サマライザーをウィンドウが強制する1ステップ前に実行する(例えば、プロンプトが予算の約80%を超えたとき)ことで、遷移を滑らかにできます。
3つ目はトリミング後の役割の混乱で、履歴が対話の途中で始まってしまう場合です。トリマーの先頭アシスタントチェックはこれのために存在します。長い架空の会話を構築し、トリミングし、最初に保持されたメッセージがユーザー由来であり、推定合計が予算内にとどまっていることをアサートするテストを追加してください。これには5分かかり、手動プレイでは見つけにくいバグのクラスを防げます。
質問と回答
プロンプトとmax_tokensの合計が100,000を超えた場合どうなりますか?
リクエストは拒否されません。max_tokensはウィンドウの空き容量に合わせて調整され、応答はウィンドウの末尾で停止します。100,000トークンを超えるプロンプトの場合のみ、400 bad requestが返されます。
リクエスト前にトークンを正確にカウントできますか?
事前に正確にカウントすることはできません。ローカルで推定し、安全マージンを確保し、各レスポンスに含まれるusage.prompt_tokensの値に合わせて調整してください。
要約はどのくらいの頻度で行うべきですか?
ウィンドウから外れた会話のみで行ってください。これにより、短い会話では不要な呼び出しを避けることができます。
固定された事実や要約は課金対象ですか?
はい。プロンプトトークンとして送信されるすべての内容は、各呼び出しで100万入力トークンあたり$0.15で課金されます。両方をコンパクトに保ってください。