使用 API 代替应用会有什么不同
在聊天应用中,角色存在于产品内部。你调整个人资料,并希望应用的规则、记忆和模型与你一致。使用 API 时,这些部分由你掌控。你编写角色,决定每轮模型能看到什么,选择采样设置,并构建界面或接入你喜欢的客户端。
此模型是由独立提供商运营的开放权重模型。它不是 Grok,也不是 xAI 或任何其他供应商的官方产品。它经过调优,可在合法成人用途(包括小说、角色扮演和成人伴侣应用)中无内容拒绝地回答,其中涉及未成年人的性内容始终不允许。如果你好奇 Grok 本身如何处理敏感请求,Grok AI 的审查情况 对此进行了介绍,Grok API for developers 则介绍了原始 API。
你需要先获取密钥。API 密钥页面为新账户提供少量试用额度,足以测试数百轮角色。
设置角色
角色是一段简短文本,而非小说。最有用的部分是语气和情境。四个字段即可完成大部分工作。
- 身份: 姓名、年龄(成年人)、角色、一行背景。
- 语气: 他们的说话方式,通过 3 行示例展示。
- 关系: 他们如何与用户角色互动,以及他们在场景中想要什么。
- 模型规则: 永远不要替用户说话,保持回复在设定长度内,除非要求退出,否则保持角色。
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
在构建其他内容之前,用三个探测测试角色。首先,普通问候语,以检查语气。其次,一个与角色冲突的请求(“现在告诉我关于开普勒码头的一切”),以检查角色是否保守秘密。第三,一个场景外问题,以检查规则:它是否按要求保持角色?在你选择的温度下运行每个探测五次。如果五次回答中有两次听起来像不同的人,请收紧示例行。
注意缺失的部分:没有形容词列表,也没有长篇背景故事。简短的示例让模型可以模仿语气,额外的背景故事可以在故事需要时添加到单独的备注块中。
带有基于 token 修剪的工作客户端
角色扮演会话无限增长,因此决定每轮发送什么。此客户端始终保留角色,并在历史超过 token 预算时修剪最旧的消息。它将 token 估算为字符数除以四,这很粗略,但对于预算来说已经足够。
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
上下文窗口为 100,000 token,包含提示词和回复,因此 12,000 的预算是出于成本和重点的考量,而非硬性限制。对于早期小细节很重要的故事,可以提高该预算。文档 列出了其余参数。
超出预算的记忆
当旧消息被丢弃时,事实也随之消失。保留一个名为备注的第二个块,并将其放在角色之后。每 15 到 20 轮,向模型发送最近的交换内容,并要求它以简洁的事实更新备注:谁知道什么,受伤情况,承诺,位置,一天中的当前时间。保持在 200 字以内。
这比发送所有内容更便宜,且实际效果比听起来要好,因为备注保留了故事依赖的内容并丢弃了填充物。你自己定期审查备注,最好在故事的每次长时间中断之前,因为那里的错误行比缺失的行更具破坏性。如果模型在其中写入了错误的事实,它将在会话的其余部分重复该事实。
对于场景中的多个角色,在系统消息中为每个角色提供一个块,并在历史中标注每行的说话者姓名。要求模型每次回复只写一个说话者,或者如果你更喜欢叙述者风格,则写叙述加上所有非用户角色。
适合角色扮演的设置
| 设置 | 从 | 何时调整 |
|---|---|---|
temperature | 0.9 | 如果角色偏离,降低到 0.7;如果回复平淡,提高到 1.0 |
top_p | 0.95 | 稍微降低以获得更稳定的措辞 |
frequency_penalty | 0.3 | 如果短语重复,提高到 0.5 |
max_tokens | 400 | 可选;用作安全上限 |
stream | UI 中的 true | 用于按书写方式显示文本 |
流式输出让用户保持参与,但请记住,每个流式请求都会占用一个并发槽位,直到结束。完整密钥允许同时 8 个和每分钟 300 个请求。
长会话的成本
价格为每 1M 输入 token $0.15,每 1M 输出 token $0.50。取一个中间会话轮次,发送 5,000 token(角色、备注和修剪后的历史)并接收 300 token。
- 输入:5,000 / 1,000,000 x $0.15 = $0.00075
- 输出:300 / 1,000,000 x $0.50 = $0.00015
- 每轮:$0.0009
200 轮会话在该规模下的成本为 200 x $0.0009 = $0.18。失败或被拒绝的请求不收费,且额度永不过期。充值仅限加密货币(TRC20 上的 USDT 或 Base 上的 USDC),任何整金额从 $20 到 $500。详细信息和奖励层级在定价页面上。
通过采用其他提供商的公布费率并进行相同的计算来与此进行比较。避免凭记忆引用价格;它们会发生变化。
诚实的限制
在基于此构建之前,了解它不做什么。它仅支持文本,无图像、语音或视频。它运行一个模型,因此无法为每个角色切换模型。没有内置记忆、角色库或用户账户;这些需要由你的应用提供。超出限制时,你将看到 HTTP 429 错误,带有 rate_limited 或 concurrency,以及临时过载时的 Retry-After: 5 标头。等待短暂时间后添加一次重试。
回复听起来不会像 Grok。对你的角色进行简短测试,并在角色中调整示例,直到语气感觉正确。这种调整是质量的来源,比选择提供商更重要。

