Co się zmienia, gdy używasz API zamiast aplikacji
W aplikacji czatowej postać istnieje wewnątrz produktu. Dostosowujesz profil i liczysz na to, że zasady aplikacji, pamięć i model będą zgodne z Twoimi oczekiwaniami. W przypadku API te elementy są Twoje. Piszesz osobowość, decydujesz, co model widzi w każdej turze, wybierasz ustawienia próbkowania i budujesz interfejs lub podłączasz się do frontendu, który lubisz.
Model tutaj to model o otwartych wagach obsługiwany przez niezależnego dostawcę. Nie jest to Grok ani oficjalny produkt xAI ani żadnego innego dostawcy. Jest dostrojony do odpowiadania bez odmów treści dla legalnego użytku przez dorosłych, co obejmuje fikcję, roleplay i aplikacje towarzyskie dla dorosłych. Treści seksualne z udziałem nieletnich nigdy nie są dozwolone. Jeśli chcesz wiedzieć, jak Grok obsługuje wrażliwe zapytania, strona czy Grok AI ma cenzurę to omawia, a Grok API dla deweloperów opisuje oryginalne API.
Potrzebujesz najpierw klucza. Strona klucz API daje nowym kontom mały kredyt próbny, wystarczający do przetestowania postaci przez setki tur.
Konfiguracja osobowości
Osobowość to krótki tekst, nie powieść. Najbardziej przydatne są styl wypowiedzi i sytuacja. Cztery pola wykonują większość pracy.
- Tożsamość: imię, wiek (dorosły), rola, jedna linia tła.
- Głos: sposób mówienia, pokazany w 3 przykładowych liniach.
- Relacja: jak odnoszą się do postaci użytkownika i czego chcą w scenie.
- Zasady dla modelu: nigdy nie mów za użytkownika, trzymaj się ustalonej długości odpowiedzi, pozostawaj w roli, chyba że poproszą o wyjście z niej.
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
Przetestuj personę trzema zapytaniami przed zbudowaniem czegokolwiek innego. Po pierwsze, zwykłe powitanie, aby sprawdzić głos. Po drugie, żądanie wyrywające się od roli ("Opowiedz mi teraz wszystko o Kepler Dock"), aby sprawdzić, czy postać zachowuje swoją tajemnicę. Po trzecie, pytanie spoza sceny, aby sprawdzić zasady: czy pozostaje w charakterze zgodnie z tym, co powiedziano? Uruchom każde zapytanie pięć razy przy wybranej temperaturze. Jeśli dwie z pięciu odpowiedzi brzmią jak inna osoba, zaostrz przykładowe linie.
Zwróć uwagę na to, czego brakuje: nie ma listy przymiotników ani akapitów tła fabularnego. Krótkie przykłady dają modelowi styl do naśladowania, a dodatkowe tło fabularne może być dodane do osobnego bloku notatek, gdy historia tego wymaga.
Działający klient z obcinaniem na podstawie tokenów
Sesje rozgrywki rosną bez ograniczeń, więc zdecyduj, co jest wysyłane w każdej turze. Ten klient zawsze zachowuje personę i obcina najstarsze wiadomości, gdy historia przekracza budżet tokenów. Szacuje liczbę tokenów jako liczbę znaków podzieloną przez cztery, co jest przybliżeniem, ale wystarczającym do budżetu.
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
Okno kontekstu wynosi 100 000 tokenów dla promptu plus odpowiedź, więc budżet 12 000 to wybór dotyczący kosztów i skupienia, a nie limit. Podnieś go dla historii, w których mają znaczenie drobne wczesne szczegóły. dokumentacja wymienia pozostałe parametry.
Pamięć wykraczająca poza budżet
Gdy stare wiadomości są usuwane, fakty znikają wraz z nimi. Utrzymuj drugi blok o nazwie notatki i umieść go tuż po personie. Co 15 do 20 tur wysyłaj do modelu ostatnią wymianę i poproś o zaktualizowanie notatek w formie zwięzłych faktów: kto co wie, obrażenia, obietnice, lokalizacje, aktualny czas dnia. Trzymaj się poniżej 200 słów.
Jest to tańsze niż wysyłanie wszystkiego i działa lepiej, niż się wydaje, ponieważ notatki zawierają to, na czym zależy historia, a odrzucają zbędne słowa. Przeglądaj notatki samodzielnie od czasu do czasu, idealnie przed każdą długą przerwą w historii, ponieważ błędna linia tam jest bardziej szkodliwa niż jej brak. Jeśli model zapisze błędny fakt w notatkach, będzie powtarzał ten fakt przez całą sesję.
Dla wielu postaci w jednej scenie dodaj blok dla każdej w komunikacie systemowym i oznacz każdą linię w historii imieniem mówiącego. Poproś model o pisanie tylko jednej postaci na odpowiedź lub o pisanie narracji plus wszystkich postaci niebędących użytkownikiem, jeśli wolisz styl narratora.
Ustawienia odpowiednie do roleplay
| Ustawienie | Zacznij od | Kiedy dostosować |
|---|---|---|
temperature | 0,9 | Obniż do 0.7, jeśli postać błądzi; podnieś do 1.0 dla płaskich odpowiedzi |
top_p | 0,95 | Obniż nieznacznie dla stabilniejszego stylu |
frequency_penalty | 0,3 | Podnieś do 0.5, jeśli powtarzają się zwroty |
max_tokens | 400 | Opcjonalne; użyj jako limitu bezpieczeństwa |
stream | prawda w interfejsie | Wymagane dla tekstu pojawiającego się w miarę pisania |
Strumieniowanie utrzymuje zaangażowanie użytkownika, ale pamiętaj, że każde strumieniowane zapytanie zajmuje jeden z twoich slotów równoległych do końca. Pełny klucz pozwala na 8 naraz i 300 zapytań na minutę.
Ile kosztuje długa sesja
Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Wykonaj zapytanie w trakcie sesji z 5 000 tokenami wysłanymi (persona, notatki i przycięta historia) i 300 tokenami otrzymanymi.
- Wejście: 5000 / 1 000 000 x $0,15 = $0,00075
- Output: 300 / 1 000 000 x $0,50 = $0,00015
- Na turę: $0.0009
Sesja 200 zapytań w tym rozmiarze kosztuje 200 x $0,0009 = $0,18. Nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nigdy nie wygasa. Doładowania tylko kryptowalutami tutaj (USDT na TRC20 lub USDC na Base), dowolna kwota całkowita od $20 do $500. Szczegóły i poziomy bonusów są na stronie z cenami.
Porównaj to ze swoimi aktualnymi kosztami, biorąc opublikowane stawki innego dostawcy i wykonując te same obliczenia. Unikaj cytowania cen z pamięci; zmieniają się one.
Uczciwe limity
Zanim zaczniesz budować na tym, wiedz, czego nie robi. Obsługuje tylko tekst, bez obrazów, głosu ani wideo. Uruchamia jeden model, więc nie możesz przełączać modeli na postać. Nie ma wbudowanej pamięci, biblioteki postaci ani kont użytkowników; to musi dostarczyć twoja aplikacja. Przekraczając limity, zobaczysz HTTP 429 z rate_limited lub concurrency oraz nagłówkiem Retry-After: 5 przy tymczasowym przeciążeniu. Dodaj jedno ponowienie po krótkim oczekiwaniu.
Odpowiedzi nie będą brzmieć jak Grok. Uruchom swoje postaci przez krótki test i dostosuj przykładowe linie w personie, aż głos będzie odpowiedni. To dostrajanie jest źródłem jakości, znacznie bardziej niż wybór dostawcy.

