Memori percakapan dalam jendela 100k: penganggaran, pemangkasan, dan ringkasan
Jendela 100.000 token terdengar sangat besar hingga sebuah roleplay atau cerita panjang mengisinya. Artikel ini memperlakukan konteks sebagai buku besar: Anda menyediakan ruang untuk balasan, melindungi sekumpulan kecil fakta yang disematkan, melipat giliran lama ke dalam ringkasan bergulir, dan memangkas sisanya. Setiap langkah disertai kode Python singkat yang dapat Anda adaptasi.

DiperbaruiUnfiltered AI
Poin kunci
- Penyedia inferensi khusus seperti Unfiltered AI menawarkan perilaku tanpa sensor yang konsisten pada satu model, menghindari keacakan dari pengalihan agregator.
- Agregator seperti OpenRouter menyediakan akses ke beberapa model tetapi mungkin bervariasi dalam seberapa ketat mereka menerapkan filter konten tergantung pada versi model tertentu.
- Unfiltered AI menggunakan model bobot terbuka pada perangkat keras khusus dengan jendela konteks 100k, dengan harga $0,15/$0.50 per juta token.
- Untuk konsistensi NSFW atau peran yang ketat, API LLM tanpa sensor khusus menghilangkan kebutuhan rekayasa prompt kompleks untuk melewati filter umum.
Pikirkan jendela sebagai buku besar
Model tidak memiliki memori antar panggilan. Apa yang terasa seperti mengingat adalah Anda mengirim ulang teks, dan setiap token yang dikirim ulang adalah baris dalam buku besar dengan batas keras: 100.000 token, dibagi oleh prompt and balasan. Menghabiskan lebih banyak pada prompt akan mengurangi ruang untuk jawaban; meminta terlalu banyak untuk keduanya akan menyebabkan permintaan ditolak dengan status 400.
Buku kerja yang dapat diterapkan terlihat seperti ini. Cadangkan 1.500 token untuk balasan, karena itu adalah nilai yang Anda teruskan sebagai max_tokens. Cadangkan 3.000 token sebagai margin, karena setiap penghitungan token lokal adalah estimasi. Sisa 59.500 token adalah anggaran untuk prompt. Di dalam anggaran itu, empat jenis konten bersaing: prompt sistem, fakta yang disematkan, ringkasan bergulir, dan giliran terbaru secara harfiah. Sisa artikel ini membahas tentang menentukan siapa yang menang.
Urutan prioritasnya sederhana untuk dinyatakan. Sistem dan konten yang disematkan tidak pernah dipotong. Ringkasan diganti daripada dipotong. Giliran terbaru dipotong tertua-dulu. Apa pun yang dihapus dari giliran terbaru tidak hilang, karena itu dilipat ke dalam ringkasan terlebih dahulu.
Menghitung tanpa tokenizer
Gunakan hitungan usage yang dikembalikan untuk memeriksa estimasi Anda. Jalan pintas karakter-per-token dapat bervariasi tergantung bahasa, tanda baca, dan kode. Sisakan ruang untuk output dan kurangi input ketika estimasi mendekati batas konteks gabungan.
Itulah mengapa margin ada, dan mengapa penting untuk mengkalibrasi. Setelah setiap panggilan, bandingkan karakter yang Anda kirim dengan usage.prompt_tokens dan sesuaikan rasio Anda menuju nilai yang diamati. Faktor penghalusan kecil mencegah satu pesan aneh mengacaukannya.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4Jika Anda menukar est dari pengkalibrasi ke pemangkasan, anggaran akan mengencang atau mengendur secara otomatis seiring munculnya karakter nyata percakapan. Cerita yang padat dialog dan kata-kata pendek cenderung membutuhkan lebih banyak token per karakter daripada prosa ekspositori, sehingga rasio yang diamati layak untuk diperhatikan.
Pemangkasan: terbaru dulu, tidak pernah di tengah pasangan
Lihat riwayat terbaru secara mundur dan tambahkan hanya pesan yang sesuai dengan anggaran. Jika bahkan pertukaran terbaru pun terlalu besar, potong atau tolak secara sengaja. Pertahankan konteks yang diperlukan dan peran yang diizinkan dalam urutan yang valid; memilih giliran terbaru tidak menjamin jawaban yang koheren.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedFungsi mengembalikan dua hal: pesan untuk dikirim dan giliran yang keluar. Mengembalikan giliran yang dihapus, bukan membuangnya, adalah keputusan desain yang membuat ringkasan mungkin. Tidak ada yang dihapus secara diam-diam.
Menyematkan fakta yang harus bertahan
Ringkasan bersifat lossy secara alami. Fakta karakter yang tidak boleh menyimpang, seperti nama, rahasia, janji, atau aturan dunia, seharusnya tidak bergantung pada pemilih ringkasan untuk memilih menyimpannya. Simpan sebagai daftar pendek di luar riwayat dan injeksikan sebagai pesan sistem khusus pada setiap panggilan.
- Sematkan identitas: nama, hubungan, spesies, usia (hanya dewasa), pekerjaan.
- Sematkan batasan: hal yang tidak boleh dilakukan atau diungkapkan narator.
- Semangkan status yang jarang berubah: lokasi, musim, siapa memegang apa.
- Jangan sematkan suasana. Suasana hati milik ringkasan, di mana ia dapat berkembang.
Pertahankan blok yang disematkan di bawah sekitar 400 token. Jika tumbuh melebihi itu, ia mulai berperilaku seperti prompt sistem kedua dan model mulai memperlakukan setiap baris yang disematkan sebagai sama-sama mendesak. Tinjau daftar secara berkala dan pensiunkan fakta yang sudah tidak lagi benar.
Ringkasan bergulir
Ketika giliran keluar dari jendela, minta model untuk melipatnya ke dalam ringkasan yang ada. Prompt lebih penting daripada kode: beri tahu apa yang harus disimpan (siapa hadir, apa yang berubah, janji, utas yang belum terselesaikan, tempat saat ini) dan apa yang harus dihilangkan (pengisi, deskripsi berulang), dan batasi panjang dalam kata-kata. Batas menjaga ringkasan dari pembengkakan perlahan menjadi masalah yang sama yang dipecahkannya.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()Gunakan suhu rendah. Ringkasan harus setia, bukan kreatif. Pengaman murah adalah membaca ringkasan sendiri setiap dua puluh lipat selama pengembangan; kesalahan terakumulasi karena setiap ringkasan baru dibangun di atas yang sebelumnya.
Menggabungkan potongan-potongan
Kelas di bawah ini menghubungkan pemangkasan, penyematan, dan peringkasan dalam satu loop. Setiap panggilan membangun prompt, memeriksa apakah ada yang terlewat, melipatnya ke dalam ringkasan jika ya, dan membangun ulang. Aturan ini sengaja malas: hanya merangkum ketika jendela memaksanya, sehingga percakapan pendek tidak pernah membayar untuk panggilan ringkasan.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))Ini berpasangan secara alami dengan relai streaming di artikel backend FastAPI, di mana penyimpanan sesi akan menyimpan summary, pinned dan turns alih-alih satu daftar datar. Untuk status NPC terstruktur dengan pola yang sama, lihat panduan dialog game.
Biaya mengingat
Memori panjang tidak gratis, karena seluruh prompt ditagihkan lagi pada setiap panggilan. Asumsikan dua pengaturan. Dalam yang pertama, riwayat diizinkan mengisi 50.000 token prompt dan setiap balasan adalah 500 token. Biaya input adalah 50.000 x $0,15 / 1.000.000 = $0,0075, biaya output adalah 500 x $0,50 / 1.000.000 = $0,00025, sehingga setiap giliran biaya sekitar $0,00775. Dalam yang kedua, Anda menyimpan 8.000 token dari giliran terbaru plus ringkasan 600 token dan 400 token yang disematkan, sekitar 9.000 total. Input adalah $0,00225, output $0,00025, sehingga setiap giliran adalah sekitar $0,0028.
Selama 1.000 giliran itu adalah sekitar $13 versus $2,75 di bawah asumsi ini. Pendekatan ringkasan juga membutuhkan panggilan tambahan sesekali sekitar 3.000 input dan 450 token output, sekitar $0,0012, yang dapat diabaikan dibandingkan dengan penghematan. Harga ada di halaman harga.
Saran praktis: jangan isi jendela hanya karena ada di sana. Gunakan jendela besar sebagai asuransi untuk saat-saat adegan benar-benar membutuhkan konteks harfiah panjang, dan biarkan ringkasan membawa sisanya.
Di mana skema memori gagal secara diam-diam
Tiga pola kegagalan muncul berulang kali. Yang pertama adalah penyimpangan ringkasan: detail diparafrasekan, parafrase dirangkum lagi, dan setelah satu setengah lipat, fakta asli tidak dapat dikenali. Penyematan adalah obat untuk apa pun yang tidak bisa Anda hilangkan, dan batas keras kata mencegah ringkasan menyerap semuanya.
Yang kedua adalah tebing. Dengan pemangkasan murni dan tanpa ringkasan, giliran tertua hanya menghilang dan karakter tiba-tiba melupakan sesuatu yang diketahuinya sesaat yang lalu. Pengguna menyadarinya. Menjalankan peringkasan satu langkah sebelum jendela memaksanya, misalnya ketika prompt melewati sekitar 80 persen dari anggaran, melicinkan transisi.
Yang ketiga adalah kebingungan peran setelah pemangkasan, ketika riwayat dimulai di tengah pertukaran. Pemeriksaan asisten terdepan di pemangkas ada untuk ini. Tambahkan tes yang membangun percakapan palsu panjang, memangkasnya, dan menegaskan bahwa pesan pertama yang disimpan berasal dari pengguna dan bahwa total estimasi tetap di bawah anggaran. Ini membutuhkan lima menit dan mencegah kelas bug yang sulit ditemukan dalam permainan manual.
Tanya jawab
Apa yang terjadi jika prompt ditambah max_tokens melebihi 100.000?
Permintaan tidak ditolak: max_tokens dipangkas sesuai ruang yang tersedia dalam jendela konteks, dan respons berhenti di akhir jendela tersebut. Hanya prompt yang melebihi 100.000 token yang mengembalikan kesalahan 400 bad request.
Dapatkah saya menghitung token secara tepat sebelum permintaan?
Tidak secara tepat sebelumnya. Perkirakan secara lokal, jaga margin keamanan, dan kalibrasi terhadap nilai usage.prompt_tokens yang dikembalikan dengan setiap respons.
Seberapa sering saya harus merangkum?
Hanya ketika giliran jatuh keluar dari jendela. Itu menjaga percakapan pendek bebas dari panggilan tambahan.
Apakah fakta yang disematkan dan ringkasan ditagihkan?
Ya. Semua yang Anda kirim sebagai token prompt ditagih sebesar $0,15 per juta token input pada setiap permintaan, jadi tetap ringkas.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.