RU ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

Сырой API LLM без цензуры для разработчиков.

Unfiltered AIПолучить API-ключ

Память диалога в окне 100k: распределение, обрезка и саммари

Окно на 100 000 токенов кажется огромным, пока длинный ролевой диалог или история не заполнят его. Эта статья рассматривает контекст как бухгалтерскую книгу: вы выделяете место для ответа, защищаете небольшой набор закрепленных фактов, сворачиваете старые реплики в накопительные резюме и обрезаете остальное. Каждый шаг сопровождается коротким кодом на Python, который вы можете адаптировать.

Память диалога в окне 100k: распределение, обрезка и саммари

Ключевые моменты

  • Специализированные провайдеры инференса, такие как Unfiltered AI, предлагают согласованное uncensored поведение на одной модели, избегая случайности маршрутизации агрегаторов.
  • Агрегаторы вроде OpenRouter предоставляют доступ к множеству моделей, но строгость применения фильтров контента может варьироваться в зависимости от конкретной версии модели.
  • Unfiltered AI использует open-weight модель на выделенном оборудовании с контекстным окном 100k по цене $0,15/$0,50 за миллион токенов.
  • Для строгого NSFW или согласованности ролевых игр dedicated uncensored LLM API устраняет необходимость сложного промпт-инжиниринга для обхода общих фильтров.

Думайте об окне как о бухгалтерской книге

Модель не помнит контекст между вызовами. То, что кажется запоминанием, — это вы повторно отправляете текст, и каждый повторно отправленный токен — это строка в бухгалтерской книге с жестким пределом: 100 000 токенов, общий для промпта and и ответа. Потратите больше на промпт — оставите меньше места для ответа; запросите слишком много того и другого — запрос будет отклонен с ошибкой 400.

Рабочая бухгалтерная книга выглядит так. Зарезервируйте 1 500 токенов под ответ, так как это то, что вы передадите как max_tokens. Зарезервируйте еще 3 000 в качестве запаса, так как любой локальный подсчет токенов — это оценка. Остается 59 500 токенов бюджета для промпта. Внутри этого бюджета конкурируют четыре вида контента: system prompt, закрепленные факты, накопительное саммари и дословные недавние реплики. Остальная часть статьи о том, кто побеждает.

Порядок приоритетов прост. System и pinned контент никогда не обрезаются. Саммари заменяется, а не обрезается. Недавние реплики обрезаются от старых к новым. Всё, что удалено из недавних реплик, не теряется, так как оно сначала сворачивается в саммари.

Подсчет без токенизатора

Используйте возвращаемые счётчики usage для проверки своих оценок. Упрощённый расчёт «символов на токен» может варьироваться в зависимости от языка, пунктуации и кода. Оставляйте место для вывода и уменьшайте объём ввода, когда оценки приближаются к общему лимиту контекста.

Вот почему существует запас и почему стоит калибровать. После каждого вызова сравните отправленные символы с usage.prompt_tokens и подстройте свой коэффициент под наблюдаемое значение. Небольшой фактор сглаживания не позволит одному странному сообщению выбить его из строя.

class Calibrator:
    """Learns the real chars-per-token ratio from the usage block."""
    def __init__(self):
        self.ratio = 4.0

    def update(self, sent_messages, prompt_tokens):
        chars = sum(len(m["content"]) for m in sent_messages)
        if prompt_tokens > 0 and chars > 2000:
            observed = chars / prompt_tokens
            self.ratio = 0.8 * self.ratio + 0.2 * observed   # smooth it

    def est(self, text):
        return int(len(text) / self.ratio) + 4

Если вы подставите значение est калибровщика в обрезатель, бюджет автоматически ужесточится или смягчится по мере того, как реальный характер диалога проявится. История, насыщенная диалогом и короткими словами, обычно требует больше токенов на символ, чем повествовательная проза, поэтому наблюдаемое соотношение стоит отслеживать.

Обрезка: от новых к старым, никогда не посреди пары

Двигайтесь по недавней истории в обратном порядке и добавляйте только те сообщения, которые укладываются в бюджет. Если даже самый новый обмен слишком велик, намеренно усеките его или отклоните. Сохраняйте необходимый контекст и допустимые роли в корректной последовательности; выбор недавних реплик не гарантирует связных ответов.

# memory.py
WINDOW = 64_000      # prompt + completion share this
MAX_OUT = 1_500      # what we ask for in max_tokens
MARGIN = 3_000       # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN   # 59,500 tokens for the prompt

def est_tokens(text: str) -> int:
    # Rough heuristic: about 4 characters per token for English prose.
    return len(text) // 4 + 4

def build_messages(system, pinned, summary, turns):
    """Return (messages_to_send, dropped_turns). turns is oldest-first."""
    head = [{"role": "system", "content": system}]
    if pinned:
        head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
    if summary:
        head.append({"role": "system", "content": "Story so far: " + summary})

    used = sum(est_tokens(m["content"]) for m in head)
    kept = []
    for m in reversed(turns):                  # walk from the newest turn backwards
        cost = est_tokens(m["content"])
        if used + cost > BUDGET:
            break
        kept.append(m)
        used += cost
    kept.reverse()
    while kept and kept[0]["role"] != "user":  # never start on an orphaned assistant turn
        kept.pop(0)
    dropped = turns[: len(turns) - len(kept)]
    return head + kept, dropped

Функция возвращает две вещи: сообщения для отправки и реплики, которые выпали. Возвращение выпавших реплик, а не их отбрасывание, — это дизайнерское решение, делающее возможными саммари. Ничто не удаляется молча.

Закрепление фактов, которые должны выжить

Саммари по природе является lossy. Факты о персонаже, которые никогда не должны дрейфовать, такие как имя, тайна, обещание или правило мира, не должны зависеть от того, решит ли суммаризатор их сохранить. Храните их коротким списком вне истории и внедряйте как dedicated system message при каждом вызове.

  • Закрепите личность: имена, отношения, вид, возраст (только взрослые), род занятий.
  • Закрепите ограничения: то, что рассказчик не должен делать или раскрывать пока.
  • Закрепите состояние, которое редко меняется: местоположение, сезон, кто что держит.
  • Не закрепляйте атмосферу. Настроение принадлежит саммари, где оно может эволюционировать.

Держите закрепленный блок в пределах примерно 400 токенов. Если он вырастет больше, он начнет вести себя как второй системный промпт, и модель начнет воспринимать каждую закрепленную строку как равнозначно срочную. Периодически просматривайте список и убирайте факты, которые перестали быть актуальными.

Накопительные саммари

Когда реплики выпадают из окна, попросите модель свернуть их в существующее саммари. Промпт важнее кода: скажите ему, что сохранять (кто присутствует, что изменилось, обещания, незавершенные нити, текущее место) и что отбрасывать (заполнители, повторяющееся описание), и ограничьте длину в словах. Ограничение не дает саммари медленно раздуваться в ту самую проблему, которую оно решает.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])

SUMMARY_PROMPT = (
    "Compress the material below into a running summary of at most 250 words. "
    "Keep: who is present, what changed, promises and secrets, unresolved threads, "
    "the current location and mood. Drop: filler and repeated description. "
    "Write plain past-tense prose, no bullet points."
)

def fold_into_summary(old_summary, dropped_turns):
    transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
    user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
        temperature=0.2,
        max_tokens=450,
    )
    return r.choices[0].message.content.strip()

Используйте низкую temperature. Саммари должно быть faithful, а не изобретательным. Дешевой защитой является чтение саммари самостоятельно каждые двадцать или около того сворачиваний во время разработки; ошибки накапливаются, так как каждое новое саммари строится на предыдущем.

Сборка кусков вместе

Класс ниже соединяет trimming, pinning и summarising в одном цикле. Каждый вызов строит промпт, проверяет, было ли что-то удалено, сворачивает это в саммари, если да, и перестраивает. Правило намеренно ленивое: оно делает саммari только тогда, когда окно заставляет, поэтому короткие диалоги никогда не платят за вызов саммари.

from memory import build_messages, fold_into_summary, client, MAX_OUT

class Conversation:
    def __init__(self, system, pinned):
        self.system, self.pinned = system, pinned
        self.summary, self.turns = "", []

    def say(self, text):
        self.turns.append({"role": "user", "content": text})
        messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
        if dropped:                                   # something fell out of the window
            self.summary = fold_into_summary(self.summary, dropped)
            self.turns = self.turns[len(dropped):]
            messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
        r = client.chat.completions.create(
            model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
        )
        answer = r.choices[0].message.content
        self.turns.append({"role": "assistant", "content": answer})
        return answer

convo = Conversation(
    system="You narrate a slow-burn adult mystery set in a mountain hotel.",
    pinned=["Ines Duarte is the night manager and is lying about the ledger.",
            "It is the third night of the blizzard; the road is closed.",
            "The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))

Это естественно сочетается с потоковым ретранслятором в статье о бэкенде FastAPI, где хранилище сессий будет хранить summary, pinned и turns вместо одного плоского списка. Для структурированного состояния NPC по тому же шаблону см. руководство по диалогам в играх.

Цена памяти

Долгая память не бесплатна, потому что весь промпт снова выставляется на счет при каждом вызове. Представьте два сценария. В первом история занимает 50 000 токенов промпта, а каждый ответ — 500 токенов. Входные данные стоят 50 000 x $0,15 / 1 000 000 = $0,0075, выходные данные стоят 500 x $0,50 / 1 000 000 = $0,00025, поэтому каждый ход стоит около $0,00775. Во втором вы храните 8 000 токенов недавних реплик плюс резюме на 600 токенов и 400 закрепленных токенов, всего около 9 000. Входные данные стоят $0,00225, выходные $0,00025, поэтому каждый ход стоит около $0,0028.

За 1 000 ходов это примерно $13 против $2,75 при этих предположениях. Подход с резюме также требует периодического дополнительного вызова на примерно 3 000 входных и 450 выходных токенов, что стоит около $0,0012, что незначительно на фоне экономии. Тарифы указаны на странице цен.

Практический совет: не заполняйте окно просто потому, что оно есть. Используйте большое окно как страховку для моментов, когда сцене действительно нужен длинный дословный контекст, а остальное пусть несут саммари.

Где схемы памяти тихо ломаются

Три шаблона сбоев появляются снова и снова. Первый — дрейф резюме: деталь перефразируется, перефразирование снова суммируется, и после десятка сворачиваний исходный факт становится неузнаваемым. Закрепление — лекарство для всего, что вы не можете позволить себе потерять, а жесткий лимит слов предотвращает поглощение резюме всего текста.

Второй — обрыв. При чистой обрезке без резюме старейшая реплика просто исчезает, и персонаж внезапно забывает то, что знал мгновение назад. Пользователи замечают это. Запуск суммаризатора на шаг раньше, чем окно вынуждает к обрезке, например, когда промпт занимает около 80 процентов бюджета, сглаживает переход.

Третий — путаница ролей после обрезки, когда история начинается посреди обмена. Проверка ведущего ассистента в обрезателе создана для этого. Добавьте тест, который строит длинный фейковый диалог, обрезает его и утверждает, что первое сохраненное сообщение от пользователя, а оценочный общий объем остается в пределах бюджета. Это занимает пять минут и предотвращает класс ошибок, которые трудно обнаружить при ручном тестировании.

Вопросы и ответы

Что произойдёт, если промпт плюс max_tokens превысят 100 000?

Запрос не отклоняется: max_tokens обрезается до оставшегося места в окне, а ответ завершается в конце окна. Только запрос с промптом длиннее 100 000 токенов возвращает ошибку 400 bad request.

Могу ли я точно посчитать токены перед запросом?

Не совсем точно заранее. Оцените локально, оставьте запас и калибруйте его по значению usage.prompt_tokens, возвращаемому в каждом ответе.

Как часто нужно суммировать?

Только когда диалог выходит за пределы контекстного окна. Это позволяет избежать лишних вызовов в коротких беседах.

Выставляются ли на счет закрепленные факты и резюме?

Да. За каждый токен промпта, который вы отправляете, взимается плата в размере $0,15 за миллион входных токенов при каждом вызове, поэтому держите их в компактном виде.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию