アプリではなくAPIを使うと何が変わるのか
チャットアプリではキャラクターは製品内に存在します。プロフィールを調整し、アプリのルール、メモリ、モデルがあなたの意図と一致するのを待ちます。APIでは、それらの部品はあなたのものであり、ペルソナを記述し、各ターンでモデルが何を見るかを決定し、サンプリング設定を選び、インターフェースを構築するか、すでに好きなフロントエンドに接続できます。
ここで提供されているモデルは、独立したプロバイダが運用するオープンウェイトモデルです。Grok ではなく、xAI やその他のベンダーの公式製品でもありません。法的な成人向け利用(フィクション、ロールプレイ、成人向けコンパニオンアプリを含む)においてコンテンツ拒否なしで回答するようにチューニングされています。未成年者に関連する性的コンテンツは常に禁止されています。Grok 自体がセンシティブなリクエストをどのように扱うか気になる場合は、Grok AI は検閲されているかで確認でき、開発者向け Grok APIで元の API について解説しています。
まずキーが必要です。APIキーページでは、新規アカウントに少量のトライアルクレジットを提供しており、数百回のターンでペルソナをテストするのに十分です。
ペルソナを設定する
ペルソナは短テキストであり、小説ではありません。最も有用な部分はボイスと状況です。4つのフィールドが大半の役割を果たします。
- アイデンティティ: 名前、年齢(成人)、役割、背景の一行。
- ボイス: 話し方、サンプル行3つで示す。
- 関係性: ユーザーのキャラクターとの関係、およびシーンでの欲求。
- モデルへのルール: ユーザーの代弁をしない、返信を指定された長さに保つ、指示がない限りキャラクターを維持する。
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
何かを構築する前に、3つのプローブでペルソナをテストしてください。まず、ボイスを確認するための単純な挨拶。次に、キャラクターの秘密を保つかどうかを確認するための、キャラクターに圧力をかけるリクエスト(「今すぐケプラー・ドックのすべてを教えて」)。最後に、ルールを確認するためのシーン外の質問(指示された通りにキャラクターを維持しているか)。選択した温度で各プローブを5回実行してください。5回の回答のうち2つが別人のように聞こえる場合は、サンプル行を絞り込んでください。
欠落しているものにご注目ください:形容詞のリストも、背景設定の段落もありません。短いサンプルはモデルが模倣すべき声を与え、物語に追加の背景設定が必要な場合は、別のノートブロックに追加できます。
トークンベースのトリミング付き動作クライアント
ロールプレイセッションは無限に成長するため、各ターンで何を送信するかを決定してください。このクライアントは常にペルソナを保持し、履歴がトークン予算を超えた時点で最も古いメッセージを切り捨てます。トークンは文字数を4で割ったものとして概算され、これは粗いですが予算管理には十分です。
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
ウィンドウはプロンプトと返信で100,000トークンです。12,000の予算は制限ではなくコストと焦点の選択です。初期の小さな詳細が重要な物語では、これを上げてください。残りのパラメータはドキュメントに記載されています。
予算を超えるメモリ
古いメッセージがドロップされると、事実もそれとともに消えます。「ノート」と呼ばれる2番目のブロックを保持し、ペルソナの直後に配置してください。15〜20ターンごとに、モデルに最近のやり取りを送信し、誰が何を知っているか、怪我、約束、場所、現在の時刻など、簡潔な事実としてノートを更新するように依頼してください。200語以内に保ってください。
これはすべてを送信するよりも安価で、想像以上に効果的です。ノートは物語に依存する事実を保持し、フィラーをドロップするためです。物語の長い中断前などに、定期的にノート自体を確認してください。そこに誤った行があると、欠落している場合よりも害が大きくなります。モデルが誤った事実をノートに書き込むと、セッションの残り全体でその事実を繰り返します。
1つのシーンで複数のペルソナを使用する場合、システムメッセージに各ペルソナ用のブロックを与え、履歴の各行に話者の名前をラベル付けしてください。モデルに返信ごとに1人の話者のみ、またはナレータースタイルを好む場合はナレーションとユーザー以外の全キャラクターの書き込みを依頼します。
ロールプレイに適した設定
| 設定 | 開始値 | 調整するタイミング |
|---|---|---|
temperature | 0.9 | キャラクターが逸脱する場合は0.7に下げ、平坦な返信の場合は1.0に上げます |
top_p | 0.95 | 文章の安定性を高めるためにやや下げます |
frequency_penalty | 0.3 | フレーズの繰り返しがある場合は0.5に上げます |
max_tokens | 400 | オプション;安全上限として使用 |
stream | UIではtrue | 書きながら表示されるテキストに必要 |
ストリーミングはユーザーのエンゲージメントを維持しますが、ストリーミングされた各リクエストは終了まで同時実行スロットの1つを保持することに注意してください。フルキーでは同時に8つ、1分間に300件のリクエストが可能です。
長いセッションのコストはいくら?
価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。ペルソナ、ノート、切り捨てられた履歴を含む5,000トークンの送信と300トークンの受信を含むセッション中のターンを取ります。
- 入力:5,000 / 1,000,000 x $0.15 = $0.00075
- 出力:300 / 1,000,000 x $0.50 = $0.00015
- ターンごと:$0.0009
その規模での200ターンセッションのコストは、200 x $0.0009 = $0.18です。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。ここではチャージは暗号資産のみ(TRC20上のUSDTまたはBase上のUSDC)で、$20から$500までの任意の金額が可能です。詳細とボーナスティアは料金ページに記載されています。
他のプロバイダの公開料率を取得し、同じ計算を行うことで、現在のコストと比較してください。記憶からの価格引用は避けましょう。それらは変化します。
正直な制限
これを構築する前に、何ができないかを知ってください。テキストのみで、画像、音声、ビデオはありません。1つのモデルのみで動作するため、キャラクターごとにモデルを切り替えることはできません。組み込みメモリ、キャラクターライブラリ、ユーザーアカウントはありません。それらはあなたのアプリが供給するものです。制限を超えると、HTTP 429とrate_limitedまたはconcurrencyが表示され、一時的な過負荷時にはRetry-After: 5ヘッダーが付きます。短い待機後にリトライを1回追加してください。
返信はGrokのように聞こえません。キャラクターを短いテストに通し、ペルソナのサンプルを調整してボイスがしっくりくるようにしてください。そのチューニングこそが品質の源であり、プロバイダの選択よりもはるかに重要です。

