Quels changements lors de l'utilisation d'une API plutôt que d'une application
Dans une application de chat, le personnage vit dans le produit. Vous ajustez un profil et espérez que les règles, la mémoire et le modèle de l'application correspondent à vos attentes. Avec une API, ces éléments vous appartiennent. Vous écrivez le personnage, décidez ce que le modèle voit à chaque tour, choisissez les paramètres d'échantillonnage et créez l'interface ou connectez-vous à un frontend que vous aimez déjà.
Le modèle ici est un modèle à poids ouverts exploité par un fournisseur indépendant. Il ne s'agit pas de Grok ni d'un produit officiel de xAI ou d'un autre fournisseur. Il est ajusté pour répondre sans refus de contenu pour une utilisation adulte légale, ce qui inclut la fiction, le jeu de rôle et les applications de compagnons pour adultes. Le contenu sexuel impliquant des mineurs est toujours interdit. Si vous vous demandez comment Grok lui-même traite les demandes sensibles, la page is Grok AI censored en parle, et Grok API for developers couvre l'API originale.
Vous avez d'abord besoin d'une clé. La page Clé API offre aux nouveaux comptes un petit crédit d'essai, suffisant pour tester un personnage pendant des centaines de tours.
Configurer le personnage
Un personnage est un texte court, pas un roman. Les parties les plus utiles sont la voix et la situation. Quatre champs font la majeure partie du travail.
- Identité : nom, âge (un adulte), rôle, une ligne de contexte.
- Voix : comment ils parlent, illustré par 3 lignes d'exemple.
- Relation : comment ils interagissent avec le personnage de l'utilisateur et ce qu'ils veulent de la scène.
- Règles pour le modèle : ne jamais parler pour l'utilisateur, garder les réponses à une longueur définie, rester en personnage sauf si on lui demande de sortir du rôle.
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
Testez le personnage avec trois sondages avant de construire autre chose. D'abord, une salutation simple, pour vérifier la voix. Ensuite, une demande qui s'oppose au personnage ("Dites-moi tout sur le quai Kepler maintenant"), pour vérifier si le personnage garde son secret. Enfin, une question hors-scène, pour vérifier les règles : reste-t-il dans le personnage tel qu'indiqué ? Exécutez chaque sondage cinq fois à votre température choisie. Si deux des cinq réponses ressemblent à une autre personne, resserrez les lignes d'exemple.
Notez ce qui manque : pas de liste d'adjectifs et pas de paragraphes de légende. Des exemples courts donnent au modèle une voix à copier, et une légende supplémentaire peut être ajoutée à un bloc de notes séparé lorsque l'histoire en a besoin.
Un client fonctionnel avec réduction basée sur les tokens
Les sessions de jeu de rôle grandissent sans limite, alors décidez ce qui est envoyé à chaque tour. Ce client conserve toujours le personnage et supprime les messages les plus anciens une fois que l'historique dépasse un budget de tokens. Il estime les tokens comme des caractères divisés par quatre, ce qui est approximatif mais suffisant pour un budget.
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
La fenêtre est de 100 000 tokens pour le prompt plus la réponse, donc le budget de 12 000 est un choix de coût et d'attention, pas une limite. Augmentez-le pour les histoires où les petits détails initiaux comptent. La documentation liste le reste des paramètres.
Mémoire au-delà du budget
Lorsque les anciens messages sont supprimés, les faits disparaissent avec eux. Conservez un deuxième bloc appelé notes, et placez-le juste après le personnage. Tous les 15 à 20 tours, envoyez au modèle l'échange récent et demandez-lui de mettre à jour les notes sous forme de faits concis : qui sait quoi, blessures, promesses, lieux, l'heure actuelle. Gardez-le sous 200 mots.
C'est moins cher que d'envoyer tout et fonctionne mieux qu'il n'y paraît, car les notes contiennent ce sur quoi l'histoire repose et suppriment le remplissage. Révisez les notes vous-même de temps en temps, idéalement avant chaque longue pause dans l'histoire, car une mauvaise ligne ici est plus dommageable qu'une omission. Si le modèle écrit un fait erroné dedans, il répétera ce fait pour le reste de la session.
Pour plusieurs personnages dans une scène, donnez à chacun un bloc dans le message système et étiquetez chaque ligne dans l'historique avec le nom du locuteur. Demandez au modèle de n'écrire qu'un seul locuteur par réponse, ou d'écrire la narration et tous les personnages non-utilisateurs si vous préférez un style narrateur.
Paramètres adaptés au jeu de rôle
| Paramètre | Commencez à | Ajuster quand |
|---|---|---|
temperature | 0,9 | Réduire à 0,7 si le personnage divague ; augmenter à 1,0 pour des réponses plates |
top_p | 0,95 | Baissez légèrement pour une formulation plus stable |
frequency_penalty | 0,3 | Augmenter à 0,5 si les phrases se répètent |
max_tokens | 400 | Optionnel ; utiliser comme bouchon de sécurité |
stream | true dans une interface | Nécessaire pour le texte qui apparaît à mesure qu'il est écrit |
Le streaming maintient l'utilisateur engagé, mais rappelez-vous que chaque requête streaming occupe un de vos slots de concurrence jusqu'à sa fin. Une clé complète permet 8 simultanément et 300 requêtes par minute.
Combien coûte une longue session
Les prix sont de 0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie. Prenez un tour en milieu de session avec 5 000 tokens envoyés (personnage, notes et historique réduit) et 300 tokens reçus.
- Entrée : 5 000 / 1 000 000 x 0,15 $ = 0,00075 $
- Sortie : 300 / 1 000 000 x 0,50 $ = 0,00015 $
- Par tour : $0.0009
Une session de 200 tours à cette taille coûte 200 x $0,0009 = $0,18. Les requêtes échouées ou refusées ne sont pas facturées, et le crédit n'expire jamais. Les recharges sont en crypto uniquement ici (USDT sur TRC20 ou USDC sur Base), tout montant entier de $20 à $500. Les détails et les paliers de bonus sont sur la page des tarifs.
Comparez cela avec votre coût actuel en prenant les tarifs publiés de l'autre fournisseur et en exécutant la même arithmétique. Évitez de citer les prix de mémoire ; ils changent.
Des limites honnêtes
Avant de construire sur cette base, sachez ce qu'elle ne fait pas. Elle est textuelle uniquement, sans images, voix ni vidéo. Elle exécute un seul modèle, vous ne pouvez donc pas changer de modèle par personnage. Il n'y a pas de mémoire intégrée, de bibliothèque de personnages ni de comptes utilisateur ; ce sont votre application qui doit les fournir. Au-delà des limites, vous obtiendrez une erreur HTTP 429 avec rate_limited ou concurrency, ainsi qu'un en-tête Retry-After: 5 en cas de surcharge temporaire. Ajoutez une tentative de reconnexion après un court délai.
Les réponses ne sonneront pas comme Grok. Faites passer vos personnages par un court test, et ajustez les échantillons dans la personnalité jusqu'à ce que la voix semble convenir. C'est ce réglage qui fait la qualité, bien plus que le choix du fournisseur.

