KO ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

개발자를 위한 원시 무검열 LLM API.

Unfiltered AIAPI 키 받기

100k 창 내 대화 메모리: 예산 할당, 정리 및 요약

100,000토큰 창은 긴 역할극이나 스토리가 채워지기 전까지 거대해 보입니다. 이 글은 컨텍스트를 원장처럼 다룹니다: 응답을 위한 공간을 확보하고, 고정된 사실 세트를 보호하며, 오래된 턴을 롤링 요약으로 통합하고 나머지를 정리합니다. 각 단계마다 수정 가능한 짧은 Python 코드가 제공됩니다.

100k 창 내 대화 메모리: 예산 할당, 정리 및 요약

핵심 포인트

  • Unfiltered AI과 같은 전용 추론 제공자는 단일 모델에서 일관된 무검열 동작을 제공하여 집계기 라우팅의 무작위성을 피합니다.
  • OpenRouter와 같은 집계기는 여러 모델에 대한 접근을 제공하지만, 특정 모델 버전에 따라 콘텐츠 필터 적용 엄격도가 다를 수 있습니다.
  • Unfiltered AI은 전용 하드웨어에서 오픈 웨이트 모델을 사용하며, 컨텍스트 창은 100k입니다. 토큰 100만 개당 $0.15/$0.50에 제공됩니다.
  • 엄격한 NSFW나 역할극 일관성을 위해 전용 무검열 LLM API는 일반 필터를 우회하기 위한 복잡한 프롬프트 엔지니어링의 필요성을 제거합니다.

창을 원장처럼 생각하세요

모델은 호출 간에 기억을 유지하지 않습니다. 기억하는 것처럼 느껴지는 것은 텍스트를 다시 보내는 것이며, 다시 전송된 모든 토큰은 단단한 한계가 있는 원장의 줄입니다: 100,000토큰, 프롬프트 and 응답과 공유됩니다. 프롬프트에 더 많이 쓰면 답변을 위한 공간이 줄어듭니다. 둘 다 너무 많이 요청하면 요청이 400으로 거부됩니다.

작동 가능한 원장 장부는 다음과 같습니다. max_tokens로 전달할 답변을 위해 1,500개의 토큰을 할당하십시오. 로컬 토큰 수는 모두 추정치이므로 마진으로 3,000개를 추가로 할당하십시오. 그러면 프롬프트에 사용할 예산이 59,500개 남습니다. 해당 예산 내에서 네 가지 유형의 콘텐츠가 경쟁합니다: 시스템 프롬프트, 고정된 사실, 롤링 요약, 그리고 원문 그대로의 최근 턴들입니다. 이 문서의 나머지 부분은 누가 이길지 결정하는 방법에 관한 것입니다.

우선순위는 명시하기 간단합니다. 시스템과 고정된 콘텐츠는 절단되지 않습니다. 요약은 잘리는 대신 대체됩니다. 최근 턴은 가장 오래된 것부터 잘립니다. 최근 턴에서 삭제된 내용은 요약에 먼저 통합되므로 손실되지 않습니다.

토크나이저 없이 세기

반환된 usage 카운트를 사용하여 추정치를 확인하세요. 토큰당 문자 수 간략화는 언어, 구두점 및 코드에 따라 달라질 수 있습니다. 출력에 여유 공간을 두고 추정치가 결합된 컨텍스트 한도에 도달하면 입력을 줄이세요.

마진이 존재하는 이유와 보정이 효과적인 이유입니다. 각 호출 후, 전송한 문자 수와 usage.prompt_tokens를 비교하고 비율을 관찰된 값에 가깝게 조정하십시오. 작은 평활화 인자는 한 번의 이상한 메시지가 이를 흔들리지 않도록 합니다.

class Calibrator:
    """Learns the real chars-per-token ratio from the usage block."""
    def __init__(self):
        self.ratio = 4.0

    def update(self, sent_messages, prompt_tokens):
        chars = sum(len(m["content"]) for m in sent_messages)
        if prompt_tokens > 0 and chars > 2000:
            observed = chars / prompt_tokens
            self.ratio = 0.8 * self.ratio + 0.2 * observed   # smooth it

    def est(self, text):
        return int(len(text) / self.ratio) + 4

교정기의 est을 트리머에 넣으면 대화의 실제 특성이 드러남에 따라 예산이 자동으로 조절되거나 완화됩니다. 대화와 짧은 단어가 많은 스토리는 설명적 문체보다 문자당 토큰 비용이 더 많이 들기 때문에 관찰된 비율을 주시할 가치가 있습니다.

정리: 최신부터, 쌍 중간이 아닌 방식

최근 기록을 거꾸로 확인하고 예산에 맞는 메시지만 추가하세요. 최신 대화조차도 너무 크다면 의도적으로 잘라내거나 거부하세요. 필수 컨텍스트와 허용된 역할을 유효한 순서로 유지하세요. 최근 턴만 선택한다고 해서 일관된 답변이 보장되지는 않습니다.

# memory.py
WINDOW = 64_000      # prompt + completion share this
MAX_OUT = 1_500      # what we ask for in max_tokens
MARGIN = 3_000       # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN   # 59,500 tokens for the prompt

def est_tokens(text: str) -> int:
    # Rough heuristic: about 4 characters per token for English prose.
    return len(text) // 4 + 4

def build_messages(system, pinned, summary, turns):
    """Return (messages_to_send, dropped_turns). turns is oldest-first."""
    head = [{"role": "system", "content": system}]
    if pinned:
        head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
    if summary:
        head.append({"role": "system", "content": "Story so far: " + summary})

    used = sum(est_tokens(m["content"]) for m in head)
    kept = []
    for m in reversed(turns):                  # walk from the newest turn backwards
        cost = est_tokens(m["content"])
        if used + cost > BUDGET:
            break
        kept.append(m)
        used += cost
    kept.reverse()
    while kept and kept[0]["role"] != "user":  # never start on an orphaned assistant turn
        kept.pop(0)
    dropped = turns[: len(turns) - len(kept)]
    return head + kept, dropped

함수는 두 가지를 반환합니다: 전송할 메시지와 누락된 턴들입니다. 삭제된 턴을 버리는 대신 반환하는 것이 요약이 가능하게 하는 설계 결정입니다. 아무것도 조용히 삭제되지 않습니다.

생존해야 할 사실 고정하기

요약은 본질적으로 손실이 있습니다. 이름, 비밀, 약속 또는 세계의 규칙처럼 절대 편차가 없어야 하는 인물 관련 사실은 요약기가 이를 유지할지 선택하는지에 의존해서는 안 됩니다. 이를 역사 외부의 짧은 목록으로 저장하고, 모든 호출에서 전용 시스템 메시지로 삽입하십시오.

  • 신분 고정: 이름, 관계, 종, 나이(성인만), 직업.
  • 제약 조건 고정: 내레이터가 하지 말아야 하거나 아직 드러내서는 안 되는 것들.
  • 드물게 변경되는 상태 고정: 위치, 계절, 누가 무엇을 가지고 있는지.
  • 분위기를 고정하지 마십시오. 무드는 요약에 속하며, 진화할 수 있습니다.

고정된 블록을 약 400토큰 미만으로 유지하십시오. 이를 초과하면 두 번째 시스템 프롬프트처럼 행동하기 시작하고 모델은 모든 고정된 줄을 동등하게 긴급하게 취급하기 시작합니다. 목록을 정기적으로 검토하고 더 이상 참이 아닌 사실을 폐기하십시오.

롤링 요약

턴이 창 밖으로 벗어나면 모델에 기존 요약으로 통합하도록 요청하십시오. 프롬프트가 코드보다 중요합니다. 유지해야 할 것(누가 있는지, 무엇이 변했는지, 약속, 미해결된 스레드, 현재 장소)과 삭제해야 할 것(여분, 반복된 설명)을 알려주고 단어 수로 길이를 제한하십시오. 제한은 요약이 해결하려는 문제 자체로 천천히 팽창하는 것을 방지합니다.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])

SUMMARY_PROMPT = (
    "Compress the material below into a running summary of at most 250 words. "
    "Keep: who is present, what changed, promises and secrets, unresolved threads, "
    "the current location and mood. Drop: filler and repeated description. "
    "Write plain past-tense prose, no bullet points."
)

def fold_into_summary(old_summary, dropped_turns):
    transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
    user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
        temperature=0.2,
        max_tokens=450,
    )
    return r.choices[0].message.content.strip()

낮은 temperature를 사용하십시오. 요약은 정직해야 하며, 창의적이어서는 안 됩니다. 개발 중 약 20회 폴드마다 요약을 직접 읽는 것은 간단한 보호책입니다. 각 새 요약이 이전 것을 기반으로 구축되므로 오류가 누적됩니다.

조각들을 함께 연결하기

아래의 클래스는 트리밍, 고정 및 요약을 하나의 루프에서 연결합니다. 각 호출은 프롬프트를 구축하고, 무언가 삭제되었는지 확인하고, 해당 경우 요약에 통합한 다음 다시 구축합니다. 규칙은 의도적으로 게으릅니다: 창이 강요할 때만 요약하므로 짧은 대화는 요약 호출 비용을 지불하지 않습니다.

from memory import build_messages, fold_into_summary, client, MAX_OUT

class Conversation:
    def __init__(self, system, pinned):
        self.system, self.pinned = system, pinned
        self.summary, self.turns = "", []

    def say(self, text):
        self.turns.append({"role": "user", "content": text})
        messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
        if dropped:                                   # something fell out of the window
            self.summary = fold_into_summary(self.summary, dropped)
            self.turns = self.turns[len(dropped):]
            messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
        r = client.chat.completions.create(
            model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
        )
        answer = r.choices[0].message.content
        self.turns.append({"role": "assistant", "content": answer})
        return answer

convo = Conversation(
    system="You narrate a slow-burn adult mystery set in a mountain hotel.",
    pinned=["Ines Duarte is the night manager and is lying about the ledger.",
            "It is the third night of the blizzard; the road is closed.",
            "The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))

이것은 the FastAPI backend article의 스트리밍 릴레이와 자연스럽게 결합됩니다. 해당 문서에서는 세션 저장소가 하나의 평탄한 목록 대신 summary, pinned 및 turns을 보유합니다. 동일한 패턴의 구조화된 NPC 상태에 대해서는 the game dialogue guide를 참조하십시오.

기억의 비용

긴 메모리는 무료가 아닙니다. 전체 프롬프트는 각 호출에서 다시 청구되기 때문입니다. 두 가지 설정을 가정하십시오. 첫 번째에서는 히스토리가 50,000 프롬프트 토큰을 채우도록 허용되고 각 응답은 500토큰입니다. 입력 비용은 50,000 x $0.15 / 1,000,000 = $0.0075, 출력 비용은 500 x $0.50 / 1,000,000 = $0.00025이므로 각 턴 비용은 약 $0.00775입니다. 두 번째에서는 최근 턴 8,000토큰과 600토큰 요약, 400 고정 토큰을 유지하여 총 약 9,000이 됩니다. 입력은 $0.00225, 출력은 $0.00025이므로 각 턴은 약 $0.0028입니다.

1,000 턴 동안 이는 가정 하에 약 $13 대 $2.75입니다. 요약 방식은 또한 약 3,000 입력 및 450 출력 토큰의 가끔 추가 호출 비용인 약 $0.0012가 들며, 이는 절약액에 비해 미미합니다. 요금은 가격 페이지에 있습니다.

실용적인 조언: 창이 존재하므로 창을 채우지 마십시오. 큰 창은 장면이 정말로 긴 원문 컨텍스트가 필요한 순간을 위한 보험으로 사용하십시오. 나머지는 요약이 처리하도록 하십시오.

메모리 체계가 조용히 실패하는 지점

세 가지 실패 패턴이 다시 나타납니다. 첫 번째는 요약 편차입니다: 세부 사항이 의역되고, 그 의역이 다시 요약되며, 열 번 이상의 접기 후 원래 사실은 식별할 수 없게 됩니다. 잃을 여유가 없는 모든 것에 대한 해결책은 고정이며, 요약이 모든 것을 흡수하지 않도록 단어 수의 하드 제한이 필요합니다.

두 번째는 절벽입니다. 순수 트리밍과 요약이 없으면 가장 오래된 턴은 단순히 사라지고 캐릭터는 방금 전까지 알고 있던 것을 갑자기 잊어버립니다. 사용자가 인지합니다. 창이 가득 차기 직전, 예를 들어 프롬프트가 예산의 약 80퍼센트를 넘을 때 요약기를 실행하면 전환이 매끄러워집니다.

세 번째는 트리밍 후 역할 혼란입니다. 역사가 교환 중간에 시작할 때 발생합니다. 트리머의 선행 어시스턴트 확인은 이를 위해 존재합니다. 긴 가짜 대화를 생성하고 트리밍한 후, 유지된 첫 번째 메시지가 사용자에서 왔고 추정된 총계가 예산을 넘지 않는다고 확인하는 테스트를 추가하십시오. 5분이 걸리며 수동 테스트에서 발견하기 어려운 일종의 버그를 방지합니다.

질문과 답변

프롬프트와 max_tokens의 합이 100,000을 초과하면 어떻게 됩니까?

요청이 거부되지 않습니다. max_tokens은 창(window)에 남은 공간으로 제한되며, 응답은 창의 끝에서 중단됩니다. 100,000개 토큰을 초과하는 프롬프트만 400 Bad Request 오류를 반환합니다.

요청 전에 토큰을 정확히 세는 것이 가능합니까?

정확히 미리 세는 것은 아니다. 로컬에서 추정하고 안전 마진을 유지하며, 각 응답과 함께 반환되는 usage.prompt_tokens 값에 대해 교정하십시오.

요약은 얼마나 자주 해야 하나요?

턴이 창에서 벗어날 때만. 이렇게 하면 짧은 대화에 추가 호출이 발생하지 않습니다.

고정된 사실과 요약은 요금이 부과되나요?

예. 프롬프트 토큰으로 전송하는 모든 것은 각 호출당 토큰 100만 개당 $0.15로 청구되므로 양쪽을 간결하게 유지하십시오.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 Base URL을 변경하세요. 이것이 전체 설정입니다.

API 키 받기문서 읽기