Память диалога в окне 100k: распределение, обрезка и саммари
Окно на 100 000 токенов кажется огромным, пока длинный ролевой диалог или история не заполнят его. Эта статья рассматривает контекст как бухгалтерскую книгу: вы выделяете место для ответа, защищаете небольшой набор закрепленных фактов, сворачиваете старые реплики в накопительные резюме и обрезаете остальное. Каждый шаг сопровождается коротким кодом на Python, который вы можете адаптировать.

ОбновленоUnfiltered AI
Ключевые моменты
- Специализированные провайдеры инференса, такие как Unfiltered AI, предлагают согласованное uncensored поведение на одной модели, избегая случайности маршрутизации агрегаторов.
- Агрегаторы вроде OpenRouter предоставляют доступ к множеству моделей, но строгость применения фильтров контента может варьироваться в зависимости от конкретной версии модели.
- Unfiltered AI использует open-weight модель на выделенном оборудовании с контекстным окном 100k по цене $0,15/$0,50 за миллион токенов.
- Для строгого NSFW или согласованности ролевых игр dedicated uncensored LLM API устраняет необходимость сложного промпт-инжиниринга для обхода общих фильтров.
Думайте об окне как о бухгалтерской книге
Модель не помнит контекст между вызовами. То, что кажется запоминанием, — это вы повторно отправляете текст, и каждый повторно отправленный токен — это строка в бухгалтерской книге с жестким пределом: 100 000 токенов, общий для промпта and и ответа. Потратите больше на промпт — оставите меньше места для ответа; запросите слишком много того и другого — запрос будет отклонен с ошибкой 400.
Рабочая бухгалтерная книга выглядит так. Зарезервируйте 1 500 токенов под ответ, так как это то, что вы передадите как max_tokens. Зарезервируйте еще 3 000 в качестве запаса, так как любой локальный подсчет токенов — это оценка. Остается 59 500 токенов бюджета для промпта. Внутри этого бюджета конкурируют четыре вида контента: system prompt, закрепленные факты, накопительное саммари и дословные недавние реплики. Остальная часть статьи о том, кто побеждает.
Порядок приоритетов прост. System и pinned контент никогда не обрезаются. Саммари заменяется, а не обрезается. Недавние реплики обрезаются от старых к новым. Всё, что удалено из недавних реплик, не теряется, так как оно сначала сворачивается в саммари.
Подсчет без токенизатора
Используйте возвращаемые счётчики usage для проверки своих оценок. Упрощённый расчёт «символов на токен» может варьироваться в зависимости от языка, пунктуации и кода. Оставляйте место для вывода и уменьшайте объём ввода, когда оценки приближаются к общему лимиту контекста.
Вот почему существует запас и почему стоит калибровать. После каждого вызова сравните отправленные символы с usage.prompt_tokens и подстройте свой коэффициент под наблюдаемое значение. Небольшой фактор сглаживания не позволит одному странному сообщению выбить его из строя.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4Если вы подставите значение est калибровщика в обрезатель, бюджет автоматически ужесточится или смягчится по мере того, как реальный характер диалога проявится. История, насыщенная диалогом и короткими словами, обычно требует больше токенов на символ, чем повествовательная проза, поэтому наблюдаемое соотношение стоит отслеживать.
Обрезка: от новых к старым, никогда не посреди пары
Двигайтесь по недавней истории в обратном порядке и добавляйте только те сообщения, которые укладываются в бюджет. Если даже самый новый обмен слишком велик, намеренно усеките его или отклоните. Сохраняйте необходимый контекст и допустимые роли в корректной последовательности; выбор недавних реплик не гарантирует связных ответов.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedФункция возвращает две вещи: сообщения для отправки и реплики, которые выпали. Возвращение выпавших реплик, а не их отбрасывание, — это дизайнерское решение, делающее возможными саммари. Ничто не удаляется молча.
Закрепление фактов, которые должны выжить
Саммари по природе является lossy. Факты о персонаже, которые никогда не должны дрейфовать, такие как имя, тайна, обещание или правило мира, не должны зависеть от того, решит ли суммаризатор их сохранить. Храните их коротким списком вне истории и внедряйте как dedicated system message при каждом вызове.
- Закрепите личность: имена, отношения, вид, возраст (только взрослые), род занятий.
- Закрепите ограничения: то, что рассказчик не должен делать или раскрывать пока.
- Закрепите состояние, которое редко меняется: местоположение, сезон, кто что держит.
- Не закрепляйте атмосферу. Настроение принадлежит саммари, где оно может эволюционировать.
Держите закрепленный блок в пределах примерно 400 токенов. Если он вырастет больше, он начнет вести себя как второй системный промпт, и модель начнет воспринимать каждую закрепленную строку как равнозначно срочную. Периодически просматривайте список и убирайте факты, которые перестали быть актуальными.
Накопительные саммари
Когда реплики выпадают из окна, попросите модель свернуть их в существующее саммари. Промпт важнее кода: скажите ему, что сохранять (кто присутствует, что изменилось, обещания, незавершенные нити, текущее место) и что отбрасывать (заполнители, повторяющееся описание), и ограничьте длину в словах. Ограничение не дает саммари медленно раздуваться в ту самую проблему, которую оно решает.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()Используйте низкую temperature. Саммари должно быть faithful, а не изобретательным. Дешевой защитой является чтение саммари самостоятельно каждые двадцать или около того сворачиваний во время разработки; ошибки накапливаются, так как каждое новое саммари строится на предыдущем.
Сборка кусков вместе
Класс ниже соединяет trimming, pinning и summarising в одном цикле. Каждый вызов строит промпт, проверяет, было ли что-то удалено, сворачивает это в саммари, если да, и перестраивает. Правило намеренно ленивое: оно делает саммari только тогда, когда окно заставляет, поэтому короткие диалоги никогда не платят за вызов саммари.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))Это естественно сочетается с потоковым ретранслятором в статье о бэкенде FastAPI, где хранилище сессий будет хранить summary, pinned и turns вместо одного плоского списка. Для структурированного состояния NPC по тому же шаблону см. руководство по диалогам в играх.
Цена памяти
Долгая память не бесплатна, потому что весь промпт снова выставляется на счет при каждом вызове. Представьте два сценария. В первом история занимает 50 000 токенов промпта, а каждый ответ — 500 токенов. Входные данные стоят 50 000 x $0,15 / 1 000 000 = $0,0075, выходные данные стоят 500 x $0,50 / 1 000 000 = $0,00025, поэтому каждый ход стоит около $0,00775. Во втором вы храните 8 000 токенов недавних реплик плюс резюме на 600 токенов и 400 закрепленных токенов, всего около 9 000. Входные данные стоят $0,00225, выходные $0,00025, поэтому каждый ход стоит около $0,0028.
За 1 000 ходов это примерно $13 против $2,75 при этих предположениях. Подход с резюме также требует периодического дополнительного вызова на примерно 3 000 входных и 450 выходных токенов, что стоит около $0,0012, что незначительно на фоне экономии. Тарифы указаны на странице цен.
Практический совет: не заполняйте окно просто потому, что оно есть. Используйте большое окно как страховку для моментов, когда сцене действительно нужен длинный дословный контекст, а остальное пусть несут саммари.
Где схемы памяти тихо ломаются
Три шаблона сбоев появляются снова и снова. Первый — дрейф резюме: деталь перефразируется, перефразирование снова суммируется, и после десятка сворачиваний исходный факт становится неузнаваемым. Закрепление — лекарство для всего, что вы не можете позволить себе потерять, а жесткий лимит слов предотвращает поглощение резюме всего текста.
Второй — обрыв. При чистой обрезке без резюме старейшая реплика просто исчезает, и персонаж внезапно забывает то, что знал мгновение назад. Пользователи замечают это. Запуск суммаризатора на шаг раньше, чем окно вынуждает к обрезке, например, когда промпт занимает около 80 процентов бюджета, сглаживает переход.
Третий — путаница ролей после обрезки, когда история начинается посреди обмена. Проверка ведущего ассистента в обрезателе создана для этого. Добавьте тест, который строит длинный фейковый диалог, обрезает его и утверждает, что первое сохраненное сообщение от пользователя, а оценочный общий объем остается в пределах бюджета. Это занимает пять минут и предотвращает класс ошибок, которые трудно обнаружить при ручном тестировании.
Вопросы и ответы
Что произойдёт, если промпт плюс max_tokens превысят 100 000?
Запрос не отклоняется: max_tokens обрезается до оставшегося места в окне, а ответ завершается в конце окна. Только запрос с промптом длиннее 100 000 токенов возвращает ошибку 400 bad request.
Могу ли я точно посчитать токены перед запросом?
Не совсем точно заранее. Оцените локально, оставьте запас и калибруйте его по значению usage.prompt_tokens, возвращаемому в каждом ответе.
Как часто нужно суммировать?
Только когда диалог выходит за пределы контекстного окна. Это позволяет избежать лишних вызовов в коротких беседах.
Выставляются ли на счет закрепленные факты и резюме?
Да. За каждый токен промпта, который вы отправляете, взимается плата в размере $0,15 за миллион входных токенов при каждом вызове, поэтому держите их в компактном виде.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.