使用 API 而非應用程式會有什麼不同
在聊天應用程式中,角色存在於產品內部。你調整設定檔並希望應用程式的規則、記憶和模型能與你一致。透過 API,這些部分都由你掌控。你撰寫角色設定,決定模型每回合能看到什麼,選擇採樣設定,並建構介面或接入你已經喜歡的前端。
此處的模型是由獨立供應商運營的開放權重模型。它不是 Grok,也不是 xAI 或其他任何廠商的官方產品。它經過調整,可在合法成人用途(包括小說、角色扮演與成人伴侶應用程式)中無內容審查地回答問題。涉及未成年人的性內容則絕對禁止。如果你好奇 Grok 本身如何處理敏感請求,Grok AI 是否經過審查頁面涵蓋了該主題,而 Grok API for developers則涵蓋了原始 API。
你首先需要一個金鑰。API 金鑰頁面會為新帳戶提供少量試用額度,足以讓你測試角色數百輪。
設定角色設定
角色設定是一段短文字,而非小說。最有用的部分是語氣和情境。四個欄位能完成大部分工作。
- 身分: 名稱、年齡(成年)、角色、一行背景故事。
- 語氣: 他們的說話方式,透過 3 行範例顯示。
- 關係: 他們與使用者角色的關係,以及他們在場景中的目標。
- 模型規則: 永不替使用者說話,回覆保持固定長度,除非要求退出,否則保持角色。
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
在建立其他內容之前,先用三個探測來測試角色。首先,一個普通的問候語,用於檢查語氣。其次,一個與角色設定相衝突的請求(「現在告訴我關於 Kepler Dock 的一切」),用於檢查角色是否守住秘密。第三,一個脫離場景的問題,用於檢查規則:它是否如指示那樣保持在角色中?以你選擇的溫度值將每個探測運行五次。如果五次回答中有兩次聽起來像不同的人,請收緊範例行。
注意缺少的部分:沒有形容詞列表,也沒有背景故事段落。簡短的範例讓模型有語氣可以模仿,而額外的背景故事可以在故事需要時添加到單獨的備忘錄區塊中。
具備 token 修剪功能的客戶端
角色扮演對話無上限,因此你需決定每回合傳送什麼。此客戶端會保留角色設定,並在歷史超過 token 預算時截斷最舊的訊息。它將 token 估算為字元數除以四,雖粗略但已足夠用於預算管理。
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
上下文視窗為 100,000 個 token,包含提示詞與回覆,因此 12,000 的預算是關於成本與焦點的選擇,而非限制。對於早期小細節重要的故事,可以提高此數值。文件列出了其餘參數。
超出預算的記憶
當舊訊息被刪除時,事實也會隨之消失。保留一個名為備忘的區塊,並將其放在角色設定之後。每 15 到 20 個回合,將最近的對話發送給模型,並要求它將備忘更新為簡短的事實:誰知道什麼、受傷、承諾、地點、當前時間。保持其在 200 字以內。
這比發送所有內容更便宜,且效果比想像中更好,因為備忘保留了故事依賴的內容並刪除了填充物。你自己偶爾審查備忘,最好在每次故事長時間中斷之前,因為其中的錯誤行比遺失的行更具破壞性。如果模型在其中寫入錯誤的事實,它將在剩餘的對話中重複該事實。
對於單一場景中的多個角色,在系統訊息中為每個角色提供一個區塊,並在歷史記錄中用說話者的名稱標記每一行。要求模型每則回覆只寫一個說話者,或者如果你偏好敘述者風格,則撰寫敘述加上所有非使用者角色。
適合角色扮演的設定
| 設定 | 從開始 | 調整時機 |
|---|---|---|
temperature | 0.9 | 如果角色遊離主題則降至 0.7;如果回覆平淡則升至 1.0 |
top_p | 0.95 | 略微降低以獲得更穩定的用詞 |
frequency_penalty | 0.3 | 如果詞組重複則升至 0.5 |
max_tokens | 400 | 選填;用作安全上限 |
stream | 在 UI 中設為 true | 用於顯示即時生成的文字 |
串流輸出能保持使用者參與,但請記住,每個串流請求都會佔用一個並行槽位直到結束。完整金鑰允許同時 8 個請求和每分鐘 300 個請求。
長會話的成本
價格為每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50。取一個中途回合,發送 5,000 token(角色設定、備忘和修剪後的歷史記錄)並接收 300 token。
- 輸入:5,000 / 1,000,000 x $0.15 = $0.00075
- 輸出:300 / 1,000,000 x $0.50 = $0.00015
- 每回合:$0.0009
200 回合的對話在此規模下成本為 200 x $0.0009 = $0.18。失敗或被拒絕的請求不會收費,且額度永不過期。此處的儲值僅限加密貨幣(TRC20 上的 USDT 或 Base 上的 USDC),金額為 $20 至 $500 的整數。詳情和獎勵等級位於 定價頁面。
透過採用其他供應商的公布費率並進行相同的計算,與你目前的成本進行比較。避免憑記憶引用價格;價格會變動。
誠實的限制
在基於此建構之前,了解它不做什麼。它僅限文字,沒有圖片、語音或影片。它運行單一模型,因此你無法為每個角色切換模型。沒有內建記憶、角色庫或使用者帳戶;這些需要由你的應用程式提供。超過限制時,你會看到 HTTP 429 與 rate_limited 或 concurrency,以及 Retry-After: 5 標頭用於暫時過載。短暫等待後執行一次重試。
回覆聽起來不會像 Grok。讓你的角色通過短測試,並調整角色設定中的範例,直到語氣感覺正確。這種調整是品質的來源,遠比選擇供應商更重要。

