ذاكرة المحادثة ضمن نافذة 100k: تحديد الميزية، القص والملخصات
قد تبدو نافذة بحجم 100,000 رمز ضخمة حتى تملأها محادثة دورية طويلة أو قصة. يتناول هذا المقال السياق كدفتر حسابات: تخصص مساحة للإجابة، تحمي مجموعة صغيرة من الحقائق المثبتة، تدمج الأدوار الأقدم في ملخص متحرك وتقصر الباقي. كل خطوة تأتي مع كود Python قصير يمكنك تعديله.

محدّثUnfiltered AI
نقاط رئيسية
- مقدمو الاستدعاء المتخصصون مثل Unfiltered AI يقدمون سلوكاً غير خاضع للرقابة ومتسقاً على نموذج واحد، متجنبين عشوائية توجيه المجمع.
- توفر المجمعات مثل OpenRouter الوصول إلى نماذج متعددة ولكن قد تختلف في مدى صرامة تطبيق فلاتر المحتوى اعتماداً على إصدار النموذج المحدد.
- يستخدم Unfiltered AI نموذج مفتوح الأوزان على أجهزة مخصصة مع نافذة سياق بحجم 100k، بسعر $0.15/$0.50 لكل مليون رمز.
- للتوافق الصارم مع NSFW أو لعب الأدوار، يلغي API LLM غير الخاضع للرقابة الحاجة إلى هندسة موجّهات معقدة لتجاوز الفلاتر العامة.
فكر في النافذة كدفتر حسابات
ليس للنموذج ذاكرة بين المكالمات. ما يبدو وكأنه تذكر هو إعادة إرسال النص، وكل رمز مُعاد إرساله هو سطر في دفتر حسابات بحد أقصى صارم: 100,000 رمز، مشتركة بين الموجّه and والإجابة. أنفقت أكثر على الموجّه فتترك مساحة أقل للإجابة؛ طلبت الكثير من كليهما فسيُرفض الطلب بخطأ 400.
يبدو دفتر الحسابات القابل للتطبيق كالتالي. احجز 1,500 رمز للإجابة، لأن هذا هو ما ستمرره كـ max_tokens. احجز 3,000 أخرى كهامش، لأن أي عد محلي للرموز هو تقدير. هذا يترك 59,500 رمز من الميزية للموجه. داخل هذه الميزية، تتنافس أربعة أنواع من المحتوى: الموجّه النظامي، الحقائق المثبتة، الملخص المتحرك، والأدوار الحديثة حرفياً. يتناول باقي هذا المقال حول من يفوز.
ترتيب الأولوية بسيط في البيان. المحتوى النظامي والمثبت لا يُقصّ أبداً. يُستبدل الملخص بدلاً من قصه. تُقص الأدوار الحديثة الأقدم أولاً. أي شيء يُسقط من الأدوار الحديثة لا يضيع، لأنه يُدمج في الملخص أولاً.
العد بدون محزّم الرموز
استخدم عدادات usage المُعادة للتحقق من تقديراتك. يمكن أن يختلف اختصار الأحرف لكل رمز حسب اللغة والعلامات الترقيمية والكود. اترك مجالاً للمخرجات وقلل المدخلات عندما تقترب التقديرات من حد السياق المشترك.
لهذا يوجد الهامش، ولماذا يجدر معايرة النسبة. بعد كل استدعاء، قارن الأحرف التي أرسلتها مع usage.prompt_tokens وحرّك النسبة نحو القيمة المرصودة. عامل تنعيم صغير يمنع رسالة غريبة واحدة من إخراجها عن مسارها.
class Calibrator:
"""Learns the real chars-per-token ratio from the usage block."""
def __init__(self):
self.ratio = 4.0
def update(self, sent_messages, prompt_tokens):
chars = sum(len(m["content"]) for m in sent_messages)
if prompt_tokens > 0 and chars > 2000:
observed = chars / prompt_tokens
self.ratio = 0.8 * self.ratio + 0.2 * observed # smooth it
def est(self, text):
return int(len(text) / self.ratio) + 4إذا استبدلت est للمعاير في المقص، فإن الميزية تتشدد أو ترتخي تلقائياً مع ظهور طبيعة المحادثة الحقيقية. القصة الغنية بالحوار والكلمات القصيرة تميل إلى تكلفة رموز أكثر لكل حرف من النثر التوضيحي، لذا فإن النسبة المرصودة تستحق المراقبة.
القص: الأحدث أولاً، أبداً في المنتصف
استعرض السجل الحديث إلى الخلف وأضف فقط الرسائل التي تتسع لها الميزانية. إذا كان حتى أحدث تبادل كبيراً جداً، فاقتطعه أو ارفضه عمداً. احتفظ بالسياق المطلوب والأدوار المسموح بها بترتيب صحيح؛ فاختيار الرسائل الأخيرة لا يضمن إجابات متماسكة.
# memory.py
WINDOW = 64_000 # prompt + completion share this
MAX_OUT = 1_500 # what we ask for in max_tokens
MARGIN = 3_000 # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN # 59,500 tokens for the prompt
def est_tokens(text: str) -> int:
# Rough heuristic: about 4 characters per token for English prose.
return len(text) // 4 + 4
def build_messages(system, pinned, summary, turns):
"""Return (messages_to_send, dropped_turns). turns is oldest-first."""
head = [{"role": "system", "content": system}]
if pinned:
head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
if summary:
head.append({"role": "system", "content": "Story so far: " + summary})
used = sum(est_tokens(m["content"]) for m in head)
kept = []
for m in reversed(turns): # walk from the newest turn backwards
cost = est_tokens(m["content"])
if used + cost > BUDGET:
break
kept.append(m)
used += cost
kept.reverse()
while kept and kept[0]["role"] != "user": # never start on an orphaned assistant turn
kept.pop(0)
dropped = turns[: len(turns) - len(kept)]
return head + kept, droppedتعيد الدالة شيئين: الرسائل للإرسال والأدوار التي خرجت. إرجاع الأدوار المرفوضة، بدلاً من تجاهلها، هو قرار التصميم الذي يجعل الملخصات ممكنة. لا يُحذف شيء بصمت.
تثبيت الحقائق التي يجب أن تبقى
الملخص بطبيعته يفقد البيانات. حقائق الشخصية التي يجب ألا تنحرف، مثل الاسم، السر، الوعد أو قاعدة العالم، لا ينبغي أن تعتمد على اختيار الملخص للاحتفاظ بها. احفظها كقائمة قصيرة خارج السجل وأدرجها كرسالة نظامية مخصصة في كل استدعاء.
- ثبت الهوية: الأسماء، العلاقات، الأنواع، العمر (بالغون فقط)، المهنة.
- ثبت القيود: الأشياء التي يجب على الراوي عدم فعلها أو كشفها بعد.
- ثبت الحالة التي نادراً ما تتغير: الموقع، الموسم، من يمسك ماذا.
- لا تثبت الأجواء. المزاج ينتمي إلى الملخص، حيث يمكنه التطور.
حافظ على كتلة التثبيت تحت حوالي 400 رمز. إذا نمت فوق ذلك، تبدأ في التصرف كرسالة نظامية ثانية ويبدأ النموذج في معاملة كل سطر مثبت كضروري بنفس القدر. راجع القائمة بشكل دوري واعتزل الحقائق التي لم تعد صحيحة.
الملخصات المتحركة
عندما تخرج الأدوار من النافذة، اطلب من النموذج دمجها في ملخص موجود. يهم الموجّه أكثر من الكود: أخبره بما يجب الاحتفاظ به (من حاضر، ماذا تغير، الوعود، الخيوط غير المحلولة، المكان الحالي) وما يجب إسقاطه (الحشو، الوصف المتكرر)، وحد الطول بالكلمات. الحد يمنع الملخص من التضخم ببطء ليصبح المشكلة التي يحلها.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])
SUMMARY_PROMPT = (
"Compress the material below into a running summary of at most 250 words. "
"Keep: who is present, what changed, promises and secrets, unresolved threads, "
"the current location and mood. Drop: filler and repeated description. "
"Write plain past-tense prose, no bullet points."
)
def fold_into_summary(old_summary, dropped_turns):
transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
temperature=0.2,
max_tokens=450,
)
return r.choices[0].message.content.strip()استخدم درجة حرارة منخفضة. يجب أن يكون الملخص أميناً، ليس مبتكراً. حماية رخيصة هي قراءة الملخص بنفسك كل عشرين تقريباً من الطيات أثناء التطوير؛ تتراكم الأخطاء لأن كل ملخص جديد يُبنى على السابق.
تجميع القطع معاً
الفئة أدناه تربط القص والتثبيت والتلخيص في حلقة واحدة. يبني كل استدعاء الموجّه، يتحقق مما إذا كان شيء ما قد سُقط، يدمجه في الملخص إذا حدث، ويعيد البناء. القاعدة كسولة عن قصد: تلخص فقط عندما تجبرها النافذة، لذا لا تدفع المحادثات القصيرة مقابل استدعاء ملخص.
from memory import build_messages, fold_into_summary, client, MAX_OUT
class Conversation:
def __init__(self, system, pinned):
self.system, self.pinned = system, pinned
self.summary, self.turns = "", []
def say(self, text):
self.turns.append({"role": "user", "content": text})
messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
if dropped: # something fell out of the window
self.summary = fold_into_summary(self.summary, dropped)
self.turns = self.turns[len(dropped):]
messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
r = client.chat.completions.create(
model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
)
answer = r.choices[0].message.content
self.turns.append({"role": "assistant", "content": answer})
return answer
convo = Conversation(
system="You narrate a slow-burn adult mystery set in a mountain hotel.",
pinned=["Ines Duarte is the night manager and is lying about the ledger.",
"It is the third night of the blizzard; the road is closed.",
"The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))هذا يتوافق بشكل طبيعي مع وسيط البث في مقال FastAPI الخلفي، حيث سيحتوي متجر الجلسة على summary، pinned وturns بدلاً من قائمة مسطحة واحدة. للحالة المنظمة لـ NPC على نفس النمط، انظر دليل حوار اللعبة.
تكلفة التذكر
الذاكرة الطويلة ليست مجانية، لأن كل الموجّه يُحسب مرة أخرى في كل استدعاء. افترض إعدادين. في الأول، يُسمح للسجل بملء 50,000 رمز موجّه وكل إجابة 500 رمز. تكلف المدخلات 50,000 x $0.15 / 1,000,000 = $0.0075، تكلف المخرجات 500 x $0.50 / 1,000,000 = $0.00025، لذا يكلف كل دور حوالي $0.00775. في الثاني، تحتفظ بـ 8,000 رمز من الأدوار الحديثة بالإضافة إلى ملخص 600 رمز و400 رمز مثبت، حوالي 9,000 في المجموع. المدخلات $0.00225، المخرجات $0.00025، لذا فإن كل دور قريب من $0.0028.
على مدار 1,000 دور، هذا حوالي $13 مقابل $2.75 تحت هذه الافتراضات. نهج الملخص يكلف أيضاً استدعاء إضافي عرضي ربما 3,000 مدخل و450 رمز مخرج، حوالي $0.0012، وهو ضئيل مقارنة بالمدخرات. الأسعار في صفحة الأسعار.
النصيحة العملية: لا تملأ النافذة فقط لأنها موجودة. استخدم النافذة الكبيرة كعصر للحظات التي تحتاج فيها المشهد حقاً إلى سياق حرفي طويل، ودع الملخصات تحمل الباقي.
حيث تفشل مخططات الذاكرة بصمت
تظهر ثلاثة أنماط فشل مراراً وتكراراً. الأول هو انحراف الملخص: يُعاد صياغة تفصيل ما، ثم يُختصر النص الناتج مرة أخرى، وبعد بضع دورات من هذا يتحول الحقيقة الأصلية إلى شيء غير قابل للتعرف. التثبيت هو الحل لأي شيء لا يمكنك تحمل خسارته، وحدّ صارم لعدد الرموز يمنع الملخص من استيعاب كل شيء.
الثاني هو المنحدر. مع التقليم الخالص وبدون تلخيص، تختفي المحادثة الأقدم تماماً وينسى الشخصية فجأة شيئاً كانت تعرفه قبل لحظات. يلاحظ المستخدمون ذلك. تشغيل أداة التلخيص خطوة واحدة قبل امتلاء نافذة السياق يجبرها على ذلك، على سبيل المثال عندما يتجاوز الموجّه حوالي 80 بالمائة من الميزانية، مما ينعّم الانتقال.
الثالث هو التباس الأدوار بعد التقليم، حيث يبدأ السجل في منتصف المحادثة. يوجد فحص المساعد الرائد في أداة التقليم لهذا الغرض. أضف اختبارًا يبني محادثة وهمية طويلة، ثم يقوم بتقليمها، ويتحقق من أن الرسالة الأولى المحفوظة من المستخدم، وأن الإجمالي المقدر يبقى ضمن الميزانية. يستغرق الأمر خمس دقائق ويمنع فئة من الأخطاء التي يصعب اكتشافها في الاختبار اليدوي.
أسئلة وأجوبة
ماذا يحدث إذا تجاوز مجموع الموجّه وmax_tokens 100,000؟
لا يتم رفض الطلب: يتم اقتطاع قيمة max_tokens بما يتناسب مع المساحة المتبقية في النافذة، ويتوقف الرد عند نهاية النافذة. فقط عندما يتجاوز طول النص الموجه 100,000 رمزًا، يتم إرجاع خطأ 400 bad request.
هل يمكنني عد الرموز بدقة قبل الطلب؟
ليس تماماً مسبقاً. قدّر محلياً، واحتفظ بهامش أمان، وقم بالمعايرة مقابل قيمة usage.prompt_tokens المعادة مع كل استجابة.
كم مرة يجب أن ألخّص؟
فقط عندما تخرج الأدوار من نافذة السياق. هذا يبقي المحادثات القصيرة خالية من الطلبات الإضافية.
هل تُحسب الحقائق الثابتة والملخصات؟
نعم. يتم احتساب كل ما ترسله كرموز مدخلة للموجّه بسعر $0.15 لكل مليون رمز مدخل في كل استدعاء، لذا حافظ على كونهما مدمجين.
مفتاحك على بُعد نموذج واحد
أنشئ حسابًا، انسخ المفتاح، غيّر عنوان URL الأساسي. هذا هو الإعداد الكامل.