VI ▾

unfilteredaiapi.comhttps://api.unfilteredaiapi.com/v1

Unfiltered AI

API LLM không kiểm duyệt, thô cho nhà phát triển.

Unfiltered AILấy khóa API

Bộ nhớ hội thoại trong cửa sổ 100k: phân bổ, cắt và tóm tắt

Cửa sổ 100.000 token nghe có vẻ khổng lồ cho đến khi một cuộc nhập vai hoặc câu chuyện dài đầy nó. Bài viết này xử lý ngữ cảnh như một sổ cái: bạn dành chỗ cho phản hồi, bảo vệ một tập nhỏ các sự kiện đã ghim, gộp các lượt cũ hơn thành tóm tắt cuộn và cắt phần còn lại. Mỗi bước đều có đoạn Python ngắn để bạn điều chỉnh.

Bộ nhớ hội thoại trong cửa sổ 100k: phân bổ, cắt và tóm tắt

Các điểm chính

  • Các nhà cung cấp suy luận chuyên dụng như Unfiltered AI cung cấp hành vi không kiểm duyệt nhất quán trên một mô hình, tránh tính ngẫu nhiên của việc định tuyến qua bộ tổng hợp.
  • Các bộ tổng hợp như OpenRouter cung cấp quyền truy cập vào nhiều mô hình nhưng có thể khác nhau về mức độ nghiêm ngặt khi áp dụng bộ lọc nội dung tùy thuộc vào phiên bản mô hình cụ thể.
  • Unfiltered AI sử dụng mô hình trọng số mở trên phần cứng chuyên dụng với cửa sổ ngữ cảnh 100k, giá $0,15/$0,50 cho mỗi triệu token.
  • Đối với tính nhất quán NSFW hoặc đóng vai nghiêm ngặt, một API LLM không kiểm duyệt chuyên dụng loại bỏ nhu cầu về kỹ thuật prompt phức tạp để vượt qua các bộ lọc chung.

Hãy xem cửa sổ như một sổ cái

Mô hình không có bộ nhớ giữa các lần gọi. Cảm giác như đang nhớ lại thực chất là bạn gửi lại văn bản, và mỗi token gửi lại là một dòng trong sổ cái với trần cứng: 100.000 token, dùng chung cho prompt and và câu trả lời. Dành nhiều hơn cho prompt thì bạn còn ít chỗ hơn cho câu trả lời; yêu cầu quá nhiều cho cả hai thì yêu cầu bị từ chối với mã 400.

Một sổ cái khả thi trông như thế này. Trữ 1.500 token cho câu trả lời, vì đó là những gì bạn sẽ truyền dưới dạng max_tokens. Trữ thêm 3.000 làm biên độ, vì bất kỳ bộ đếm token cục bộ nào cũng chỉ là ước lượng. Điều đó còn lại 59.500 token ngân sách cho prompt. Trong ngân sách đó, bốn loại nội dung cạnh tranh nhau: prompt hệ thống, sự kiện đã ghim, tóm tắt cuộn và các lượt hội thoại gần đây nguyên văn. Phần còn lại của bài viết này nói về việc quyết định ai sẽ thắng.

Thứ tự ưu tiên rất dễ phát biểu. Nội dung hệ thống và nội dung đã ghim không bao giờ bị cắt. Bản tóm tắt được thay thế thay vì bị cắt. Các lượt gần đây bị cắt theo thứ tự cũ nhất trước. Mọi thứ bị loại khỏi các lượt gần đây không bị mất, vì chúng được gộp vào tóm tắt trước.

Đếm mà không cần tokenizer

Sử dụng các số liệu usage được trả về để kiểm tra các ước lượng của bạn. Cách ước lượng nhanh theo ký tự trên token có thể thay đổi tùy theo ngôn ngữ, dấu câu và mã. Hãy dành chỗ cho đầu ra và giảm đầu vào khi các ước lượng tiến gần đến giới hạn ngữ cảnh kết hợp.

Đó là lý do tại sao biên độ tồn tại, và tại sao việc hiệu chuẩn lại có lợi. Sau mỗi lần gọi, hãy so sánh số ký tự bạn đã gửi với usage.prompt_tokens và nudge tỷ lệ của bạn về giá trị quan sát được. Một hệ số làm mịn nhỏ giúp một thông điệp kỳ lạ không làm lệch nó.

class Calibrator:
    """Learns the real chars-per-token ratio from the usage block."""
    def __init__(self):
        self.ratio = 4.0

    def update(self, sent_messages, prompt_tokens):
        chars = sum(len(m["content"]) for m in sent_messages)
        if prompt_tokens > 0 and chars > 2000:
            observed = chars / prompt_tokens
            self.ratio = 0.8 * self.ratio + 0.2 * observed   # smooth it

    def est(self, text):
        return int(len(text) / self.ratio) + 4

Nếu bạn thay est của bộ hiệu chuẩn vào bộ cắt, ngân sách sẽ tự động siết chặt hoặc nới lỏng khi đặc điểm thực sự của cuộc hội thoại lộ ra. Một câu chuyện nặng về hội thoại và từ ngắn có xu hướng tốn nhiều token hơn trên mỗi ký tự so với văn bản giải thích, vì vậy tỷ lệ quan sát được đáng để theo dõi.

Cắt: mới nhất trước, không bao giờ cắt giữa cặp

Duyệt ngược lịch sử gần đây và chỉ thêm các tin nhắn vừa với ngân sách. Nếu ngay cả cuộc trao đổi mới nhất cũng quá lớn, hãy cắt bớt hoặc từ chối nó một cách có chủ đích. Giữ ngữ cảnh bắt buộc và các vai trò được phép theo một trình tự hợp lệ; việc chọn các lượt gần đây không đảm bảo các câu trả lời mạch lạc.

# memory.py
WINDOW = 64_000      # prompt + completion share this
MAX_OUT = 1_500      # what we ask for in max_tokens
MARGIN = 3_000       # slack for estimation error
BUDGET = WINDOW - MAX_OUT - MARGIN   # 59,500 tokens for the prompt

def est_tokens(text: str) -> int:
    # Rough heuristic: about 4 characters per token for English prose.
    return len(text) // 4 + 4

def build_messages(system, pinned, summary, turns):
    """Return (messages_to_send, dropped_turns). turns is oldest-first."""
    head = [{"role": "system", "content": system}]
    if pinned:
        head.append({"role": "system", "content": "Pinned facts (always true):\n- " + "\n- ".join(pinned)})
    if summary:
        head.append({"role": "system", "content": "Story so far: " + summary})

    used = sum(est_tokens(m["content"]) for m in head)
    kept = []
    for m in reversed(turns):                  # walk from the newest turn backwards
        cost = est_tokens(m["content"])
        if used + cost > BUDGET:
            break
        kept.append(m)
        used += cost
    kept.reverse()
    while kept and kept[0]["role"] != "user":  # never start on an orphaned assistant turn
        kept.pop(0)
    dropped = turns[: len(turns) - len(kept)]
    return head + kept, dropped

Hàm trả về hai thứ: các thông điệp để gửi và các lượt đã bị loại. Trả lại các lượt bị loại, thay vì loại bỏ chúng, là quyết định thiết kế khiến việc tóm tắt trở nên khả thi. Không có gì bị xóa lặng lẽ.

Ghim các sự kiện phải tồn tại

Một bản tóm tắt vốn dĩ bị mất dữ liệu. Các sự kiện về nhân vật không bao giờ được lệch, chẳng hạn như tên, bí mật, lời hứa hoặc quy tắc của thế giới, không nên phụ thuộc vào việc bộ tóm tắt có chọn giữ chúng hay không. Hãy lưu chúng dưới dạng một danh sách ngắn bên ngoài lịch sử và tiêm chúng dưới dạng thông điệp hệ thống chuyên dụng trong mỗi lệnh gọi.

  • Ghim danh tính: tên, mối quan hệ, loài, tuổi (chỉ người lớn), nghề nghiệp.
  • Ghim các ràng buộc: những điều người kể chuyện không được làm hoặc tiết lộ.
  • Ghim trạng thái thay đổi hiếm khi: vị trí, mùa, ai đang giữ gì.
  • Không ghim bầu không khí. Tâm trạng thuộc về phần tóm tắt, nơi nó có thể phát triển.

Giữ khối đã ghim dưới khoảng 400 token. Nếu nó phát triển vượt quá mức đó, nó bắt đầu hoạt động như một prompt hệ thống thứ hai và mô hình bắt đầu coi mỗi dòng đã ghim đều quan trọng như nhau. Xem lại danh sách thường xuyên và loại bỏ các sự kiện không còn đúng nữa.

Tóm tắt tuần hoàn

Khi các lượt rơi ra khỏi cửa sổ, hãy yêu cầu mô hình gộp chúng vào một bản tóm tắt hiện có. Prompt quan trọng hơn mã: hãy nói cho nó biết những gì cần giữ (ai có mặt, những gì đã thay đổi, lời hứa, các luồng chưa giải quyết, địa điểm hiện tại) và những gì cần loại bỏ (từ đệm, mô tả lặp lại), và giới hạn độ dài bằng từ. Một giới hạn giữ cho bản tóm tắt không phình to chậm chạp thành chính vấn đề mà nó giải quyết.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.unfilteredaiapi.com/v1", api_key=os.environ["API_KEY"])

SUMMARY_PROMPT = (
    "Compress the material below into a running summary of at most 250 words. "
    "Keep: who is present, what changed, promises and secrets, unresolved threads, "
    "the current location and mood. Drop: filler and repeated description. "
    "Write plain past-tense prose, no bullet points."
)

def fold_into_summary(old_summary, dropped_turns):
    transcript = "\n".join(f"{m['role']}: {m['content']}" for m in dropped_turns)
    user = f"Existing summary:\n{old_summary or '(none)'}\n\nNew material:\n{transcript}"
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "system", "content": SUMMARY_PROMPT}, {"role": "user", "content": user}],
        temperature=0.2,
        max_tokens=450,
    )
    return r.choices[0].message.content.strip()

Sử dụng nhiệt độ thấp. Một bản tóm tắt nên trung thực, không phải sáng tạo. Một biện pháp bảo vệ rẻ là tự đọc bản tóm tắt mỗi hai mươi lần gộp trong quá trình phát triển; các lỗi tích lũy vì mỗi bản tóm tắt mới được xây dựng dựa trên bản tóm tắt trước đó.

Ghép các mảnh lại với nhau

Lớp dưới đây kết hợp cắt, ghpin và tóm tắt trong một vòng lặp. Mỗi lệnh gọi xây dựng prompt, kiểm tra xem có gì bị loại không, gộp nó vào tóm tắt nếu có, và xây dựng lại. Quy tắc có chủ đích lười biếng: nó chỉ tóm tắt khi cửa sổ bắt buộc, vì vậy các cuộc hội thoại ngắn không phải trả phí cho một lệnh gọi tóm tắt.

from memory import build_messages, fold_into_summary, client, MAX_OUT

class Conversation:
    def __init__(self, system, pinned):
        self.system, self.pinned = system, pinned
        self.summary, self.turns = "", []

    def say(self, text):
        self.turns.append({"role": "user", "content": text})
        messages, dropped = build_messages(self.system, self.pinned, self.summary, self.turns)
        if dropped:                                   # something fell out of the window
            self.summary = fold_into_summary(self.summary, dropped)
            self.turns = self.turns[len(dropped):]
            messages, _ = build_messages(self.system, self.pinned, self.summary, self.turns)
        r = client.chat.completions.create(
            model="uncensored", messages=messages, max_tokens=MAX_OUT, temperature=0.8
        )
        answer = r.choices[0].message.content
        self.turns.append({"role": "assistant", "content": answer})
        return answer

convo = Conversation(
    system="You narrate a slow-burn adult mystery set in a mountain hotel.",
    pinned=["Ines Duarte is the night manager and is lying about the ledger.",
            "It is the third night of the blizzard; the road is closed.",
            "The narrator never reveals the culprit before the player accuses someone."],
)
print(convo.say("I ask Ines why the guest book has a page missing."))

Điều này kết hợp tự nhiên với bộ chuyển tiếp truyền phát trong bài viết backend FastAPI, nơi kho lưu trữ phiên sẽ giữ summary, pinned và turns thay vì một danh sách phẳng. Đối với trạng thái NPC có cấu trúc theo cùng mẫu, hãy xem hướng dẫn hội thoại trò chơi.

Chi phí của việc ghi nhớ

Bộ nhớ dài không miễn phí, vì toàn bộ prompt được tính phí lại trên mỗi yêu cầu. Giả sử hai thiết lập. Trong cái đầu tiên, lịch sử được phép lấp đầy 50.000 token prompt và mỗi phản hồi là 500 token. Chi phí đầu vào là 50.000 x $0,15 / 1.000.000 = $0,0075, chi phí đầu ra là 500 x $0,50 / 1.000.000 = $0,00025, vì vậy mỗi lượt tốn khoảng $0,00775. Trong cái thứ hai, bạn giữ 8.000 token của các lượt gần đây cộng với tóm tắt 600 token và 400 token đã ghim, tổng cộng khoảng 9.000. Đầu vào là $0,00225, đầu ra $0,00025, vì vậy mỗi lượt gần $0,0028.

Hơn 1.000 lượt, điều đó tương đương $13 so với $2,75 dưới các giả định này. Phương pháp tóm tắt cũng tốn một cuộc gọi thêm thỉnh thoảng khoảng 3.000 token đầu vào và 450 token đầu ra, khoảng $0,0012, điều này không đáng kể so với khoản tiết kiệm. Giá cả có trên trang giá cả.

Lời khuyên thực tế: đừng lấp đầy cửa sổ chỉ vì nó có đó. Hãy sử dụng cửa sổ lớn như một bảo hiểm cho những khoảnh khắc một cảnh thực sự cần ngữ cảnh nguyên văn dài, và để các bản tóm tắt đảm nhận phần còn lại.

Nơi các lược bộ nhớ thất bại thầm lặng

Ba mẫu lỗi xuất hiện lại đi lại lại. Thứ nhất là trôi dạt tóm tắt: một chi tiết được diễn giải lại, bản diễn giải lại được tóm tắt lại, và sau một vài lần gập, sự kiện ban đầu trở nên không thể nhận ra. Ghim là cách chữa trị cho bất cứ thứ gì bạn không thể chịu mất, và một giới hạn cứng về số lượng từ ngăn tóm tắt hấp thụ mọi thứ.

Điểm thứ hai là điểm gãy. Với việc cắt thuần túy và không có trình tóm tắt, lượt tin cũ nhất sẽ biến mất và nhân vật đột nhiên quên đi điều vừa biết. Người dùng sẽ nhận ra. Chạy trình tóm tắt một bước trước khi cửa sổ ngữ cảnh bắt đầu, ví dụ khi prompt chiếm khoảng 80% ngân sách, sẽ làm mượt quá trình chuyển tiếp.

Điểm thứ ba là nhầm lẫn vai trò sau khi cắt, khi lịch sử bắt đầu giữa một cuộc trao đổi. Kiểm tra vai trò trợ lý trong bộ cắt tồn tại để giải quyết vấn đề này. Hãy thêm một bài kiểm tra xây dựng một cuộc hội thoại giả dài, cắt nó, và xác nhận tin nhắn được giữ lại đầu tiên là từ người dùng và tổng ước tính vẫn nằm trong ngân sách. Việc này mất năm phút và ngăn ngừa một lớp lỗi khó phát hiện khi chơi thủ công.

Hỏi đáp

Điều gì xảy ra nếu prompt cộng với max_tokens vượt quá 100.000?

Yêu cầu không bị từ chối: max_tokens được cắt giảm cho phù hợp với dung lượng còn lại trong cửa sổ ngữ cảnh, và phản hồi sẽ dừng lại ở cuối cửa sổ đó. Chỉ khi prompt dài hơn 100.000 token thì mới trả về lỗi 400 bad request.

Tôi có thể đếm token chính xác trước một yêu cầu không?

Không chính xác trước đó. Ước lượng cục bộ, giữ biên an toàn và hiệu chuẩn theo giá trị usage.prompt_tokens được trả về với mỗi phản hồi.

Tôi nên tóm tắt thường xuyên như thế nào?

Chỉ khi các lượt hội thoại rơi ra khỏi cửa sổ ngữ cảnh. Điều này giữ cho các cuộc hội thoại ngắn không phải thực hiện các yêu cầu bổ sung.

Các sự kiện được ghim và bản tóm tắt có tính phí không?

Có. Mọi thứ bạn gửi dưới dạng token prompt đều được tính phí $0,15 cho mỗi triệu token đầu vào trên mỗi yêu cầu, vì vậy hãy giữ cả hai đều ngắn gọn.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ quy trình thiết lập.

Lấy khóa APIĐọc tài liệu