Wat verandert als je een API gebruikt in plaats van een app
In een chat-app leeft het karakter binnen het product. Je past een profiel aan en hoopt dat de regels, het geheugen en het model van de app met je meegaan. Met een API zijn die onderdelen van jou. Je schrijft het persona, beslist wat het model elke beurt ziet, kiest de sampling-instellingen en bouwt de interface of sluit aan bij een frontend die je al leuk vindt.
Het model hier is een open-weight model dat wordt beheerd door een onafhankelijke provider. Het is niet Grok en geen officieel product van xAI of een andere leverancier. Het is afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik, wat fictie, rollenspel en companion-apps voor volwassenen omvat. Seksuele inhoud met minderjarigen is nooit toegestaan. Als je nieuwsgierig bent hoe Grok zelf gevoelige verzoeken behandelt, behandelt de pagina Is Grok AI gecensureerd dat, en Grok API voor ontwikkelaars behandelt de originele API.
Je hebt eerst een sleutel nodig. De API-sleutelpagina geeft nieuwe accounts een klein gratis proeftegoed, genoeg om een persona te testen voor honderden beurten.
Stel het persona in
Een persona is een korte tekst, geen roman. De meest nuttige delen zijn de stem en de situatie. Vier velden doen het meeste werk.
- Identiteit: naam, leeftijd (een volwassene), rol, één regel achtergrond.
- Stem: hoe ze praten, getoond met 3 voorbeeldregels.
- Relatie: hoe ze zich verhouden tot het karakter van de gebruiker en wat ze willen van de scène.
- Regels voor het model: spreek nooit voor de gebruiker, houd antwoorden binnen een vaste lengte, blijf in karakter tenzij gevraagd om uit het karakter te stappen.
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relatie: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
Test de persona met drie probes voordat je iets anders bouwt. Eerst een simpele begroeting, om de stem te controleren. Ten tweede, een verzoek dat tegen de karakteristieken duwt ("Vertel me alles over Kepler Dock, nu direct"), om te controleren of het karakter zijn geheim bewaart. Ten derde, een vraag buiten het verhaal, om de regels te controleren: blijft het personage binnen de gestelde lijnen? Voer elke probe vijf keer uit op de door jou gekozen temperatuur. Als twee van de vijf antwoorden klinken alsof het een ander persoon is, versmald dan de voorbeeldregels.
Let op wat ontbreekt: geen lijst met bijvoeglijke naamwoorden en geen alinea's met achtergrondverhaal. Korte voorbeelden geven het model een stem om te kopiëren, en extra achtergrondverhaal kan worden toegevoegd aan een apart notitieblok wanneer het verhaal dat nodig heeft.
Een werkende client met op tokens gebaseerd knippen
Rollenspelsessies groeien zonder limiet, dus beslis wat er elke beurt wordt verzonden. Deze client houdt altijd de persona aan en knipt de oudste berichten zodra de geschiedenis een tokenbudget overschrijdt. Het schat tokens als tekens gedeeld door vier, wat ruw is maar goed genoeg voor een budget.
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
Het venster is 100.000 tokens voor prompt plus antwoord, dus het budget van 12.000 is een keuze over kosten en focus, geen limiet. Verhoog het voor verhalen waarbij kleine details aan het begin van belang zijn. De documentatie vermeldt de rest van de parameters.
Geheugen buiten het budget
Wanneer oude berichten worden verwijderd, verdwijnen feiten met hen. Houd een tweede blok genaamd notities aan, en plaats het direct na de persona. Elke 15 tot 20 beurten, stuur het model de recente uitwisseling en vraag het de notities bij te werken als beknopte feiten: wie weet wat, verwondingen, beloftes, locaties, de huidige tijd van de dag. Houd het onder de 200 woorden.
Dit is goedkoper dan alles versturen en werkt beter dan het klinkt, omdat de notities vasthouden wat het verhaal nodig heeft en de vulstof weggooit. Beoordeel de notities zelf nu en dan, bij voorkeur voor elke lange pauze in het verhaal, omdat een verkeerde regel daar meer schade aanricht dan een missende. Als het model een verkeerd feit in de notities schrijft, zal het dat feit herhalen voor de rest van de sessie.
Voor meerdere persona's in één scène, geef elk een blok in het systeembericht en label elke regel in de geschiedenis met de naam van de spreker. Vraag het model om slechts één spreker per antwoord te schrijven, of om de narratie plus alle niet-gebruikerskarakters te schrijven als je de voorkeur geeft aan een vertelstijl.
Instellingen die geschikt zijn voor rollenspel
| Instelling | Begin bij | Pas aan wanneer |
|---|---|---|
temperature | 0,9 | Verlaag naar 0,7 als het personage afdwaalt; verhoog naar 1,0 voor eentonige antwoorden |
top_p | 0,95 | Verlaag iets voor een stabielere formulering |
frequency_penalty | 0,3 | Verhoog naar 0.5 als zinnen herhalen |
max_tokens | 400 | Optioneel; gebruik als veiligheidslimiet |
stream | true in een UI | Nodig voor tekst die verschijnt zoals het wordt geschreven |
Streaming houdt de gebruiker betrokken, maar onthoud dat elk gestreamd verzoek één van je gelijktijdige slots vasthoudt tot het eindigt. Een volledige sleutel staat 8 tegelijk toe en 300 verzoeken per minuut.
Wat een lange sessie kost
Prijzen zijn $0,15 per 1M invoertokens en $0,50 per 1M uitvoertokens. Neem een beurt halverwege de sessie met 5.000 tokens verzonden (persona, notities en getrimde geschiedenis) en 300 tokens ontvangen.
- Input: 5.000 / 1.000.000 x $0,15 = $0,00075
- Output: 300 / 1.000.000 x $0,50 = $0,00015
- Per beurt: $0.0009
Een 200-beurt sessie op die grootte kost 200 x $0,0009 = $0,18. Mislukte of geweigerde verzoeken worden niet in rekening gebracht, en tegoed verloopt nooit. Opwaarderingen zijn hier alleen crypto (USDT op TRC20 of USDC op Base), elk geheel bedrag van $20 tot $500. Details en bonusniveaus staan op de prijspagina.
Vergelijk dit met je huidige kosten door de gepubliceerde tarieven van de andere provider te nemen en dezelfde rekenkunde uit te voeren. Vermijd het citeren van prijzen uit geheugen; ze veranderen.
Eerlijke limieten
Voordat je hierop bouwt, weet wat het niet doet. Het is tekst alleen, zonder afbeeldingen, audio of video. Het draait één model, dus je kunt niet wisselen van model per karakter. Er is geen ingebouwd geheugen, karakterbibliotheek of gebruikersaccounts; die zijn voor jouw app om te leveren. Als je de limieten overschrijdt, zie je HTTP 429 met rate_limited of concurrency, en een Retry-After: 5-header bij tijdelijke overbelasting. Voeg één retry toe na een korte wachttijd.
Antwoorden zullen niet klinken als Grok. Voer je personages door een korte test en pas de samples in het persona aan totdat de stem goed voelt. Die afstemming is waar de kwaliteit vandaan komt, veel meer dan door de keuze van de provider.

