Bir uygulama yerine API kullandığınızda ne değişir
Bir sohbet uygulamasında karakter ürünün içinde yaşar. Bir profil ayarlarsınız ve uygulamanın kurallarının, hafızasının ve modelinin sizinle uyum sağlayacağını umarsınız. Bir API ile bu parçalar size aittir. Kişiliği siz yazarsınız, modelin her adımda ne göreceğine siz karar verirsiniz, örnekleme ayarlarını siz seçersiniz ve arayüzü oluşturursunuz veya zaten beğendiğiniz bir ön yüze bağlanırsınız.
Buradaki model, bağımsız bir sağlayıcı tarafından işletilen bir açık ağırlıklı modeldir. Grok değildir ve xAI'nin veya başka bir satıcının resmi bir ürünü değildir. Yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır; bu, yetişkinler için kurgu, rol yapma ve arkadaş uygulamalarını içerir. Reşit olmayanların yer aldığı cinsel içerik asla izin verilmez. Grok'un hassas istekleri nasıl ele aldığını merak ediyorsanız, Grok AI sansürsüz müdür sayfası bunu ele alır ve Geliştiriciler için Grok API orijinal API'yi kapsar.
Önce bir anahtara ihtiyacınız var. API anahtarı sayfası yeni hesaplara küçük bir deneme kredisi verir; bu, yüzlerce dönüş için bir kişiliği test etmek için yeterlidir.
Kişiliği kurun
Bir kişilik kısa bir metindir, bir roman değil. En faydalı kısımlar ses ve durumdur. Dört alan işin çoğunu halleder.
- Kimlik: ad, yaş (yetişkin), rol, bir cümlelik arka plan.
- Ses: nasıl konuştuğu, 3 örnek satır ile gösterilir.
- İlişki: kullanıcı karakteriyle nasıl ilişki kurduğu ve sahneden ne istediği.
- Model için kurallar: kullanıcı adına asla konuşmayın, yanıtları belirli bir uzunlukta tutun, dışarı çıkmanız istenmedikçe karakterde kalın.
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
Başka bir şey kurmadan önce kişiliği üç soruyla test edin. İlk olarak, sesi kontrol etmek için düz bir selamlama. İkinci olarak, karaktere karşı çekme yapan bir istek ("Şu an Kepler Limanı hakkında her şeyi anlat"), karakterin sırrını koruyup korumadığını kontrol etmek için. Üçüncü olarak, sahne dışı bir soru, kuralları kontrol etmek için: anlatıldığı gibi karakterde kalıyor mu? Her soruyu seçtiğiniz sıcaklıkta beş kez çalıştırın. Beş cevabın ikisi farklı biri gibi geliyorsa örnek satırları sıkılaştırın.
Eksik olanı fark edin: bir sıfat listesi ve evren bilgisi paragrafları yok. Kısa örnekler modele kopyalanacak bir ses verir ve ekstra evren bilgisi, hikaye gerektiğinde ayrı bir notlar bloğuna eklenebilir.
Token tabanlı kısaltma ile çalışan bir istemci
Rol yapma oturumları sınırsız büyür, bu nedenle her dönüşte ne gönderileceğine karar verin. Bu istemci her zaman kişiliği korur ve geçmiş bir token bütçesini aştığında en eski mesajları kısaltır. Tokenları karakter sayısını dörde bölerek tahmin eder; bu kabaca ancak bir bütçe için yeterlidir.
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
Pencere, istek ve yanıt için 100.000 token'dır, bu nedenle 12.000 bütçe bir maliyet ve odaklanma seçimidir, bir sınır değil. Küçük erken detayların önemli olduğu hikayeler için artırın. dokümantasyon parametrelerin geri kalanını listeler.
Bütçenin ötesinde hafıza
Eski mesajlar atıldığında, gerçekler de onlarla birlikte kaybolur. Notlar adında ikinci bir blok tutun ve bunu kişiliğin hemen arkasına yerleştirin. Her 15-20 adımda, modele son konuşmayı gönderin ve notları kuru gerçekler olarak güncellemesini isteyin: kimin neyi bildiği, yaralar, vaatler, konumlar, günün saati. 200 kelime altında tutun.
Her şeyi göndermekten daha ucuzdur ve düşündüğünüzden daha iyi çalışır, çünkü notlar hikayenin bağlı olduğu şeyleri tutar ve dolgu metni atar. Notları kendiniz gözden geçirin, ideal olarak hikayedeki her uzun mola öncesi, çünkü oradaki yanlış bir satır eksik olandan daha zararlıdır. Model yanlış bir gerçeği oraya yazarsa, oturumun geri kalanında bu gerçeği tekrarlar.
Bir sahnedeki birden fazla kişilik için, sistem mesajında her birine bir blok verin ve geçmişteki her satırı konuşanın adıyla etiketleyin. Modele her yanıtta yalnızca bir konuşmacı yazmasını isteyin veya bir anlatıcı tarzı tercih ediyorsanız anlatıcıyı ve tüm kullanıcı olmayan karakterleri yazmasını isteyin.
Rol yapmaya uygun ayarlar
| Ayar | Şurada başlayın | Ne zaman ayarlayın |
|---|---|---|
temperature | 0,9 | Karakter dolaşıyorsa 0,7'ye düşürün; düz yanıtlar için 1,0'a çıkarın |
top_p | 0,95 | Daha kararlı bir yazım için biraz düşürün |
frequency_penalty | 0,3 | Cümleler tekrar ediyorsa 0,5'e çıkarın |
max_tokens | 400 | İsteğe bağlı; bir güvenlik sınırı olarak kullanın |
stream | Bir arayüzde true | Yazıldığı gibi görünen metinler için gerekli |
Akış, kullanıcıyı meşgul tutar, ancak her akışlı istek, sona erene kadar eşzamanlı yuvalarınızdan birini işgal eder. Tam bir anahtar aynı anda 8 istek ve dakikada 300 istek için izin verir.
Uzun bir oturumun maliyeti
Fiyatlar 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir. Bir kişilik ayarı, notlar ve kısaltılmış geçmiş ile 5.000 token gönderen ve 300 token alan bir oturum içi istek yapın.
- Girdi: 5.000 / 1.000.000 x $0,15 = $0,00075
- Çıktı: 300 / 1.000.000 x $0,50 = $0,00015
- Her dönüş: $0.0009
Bu boyutta bir 200 dönüşlü oturum 200 x $0,0009 = $0,18'e mal olur. Başarısız veya reddedilen istekler ücretlendirilmez ve kredi asla sona ermez. Yüklemeler burada yalnızca kripto ile yapılır (TRC20 üzerinde USDT veya Base üzerinde USDC), $20 ile $500 arasında herhangi bir tam miktar. Ayrıntılar ve bonus katmanları fiyatlandırma sayfasında yer alır.
Diğer sağlayıcının yayınladığı oranları alıp aynı aritmetiği çalıştırarak bunu mevcut maliyetinizle karşılaştırın. Fiyatları hafızadan alıntılamaktan kaçının; değişirler.
Dürüst sınırlar
Bunun üzerinde inşa etmeden önce ne yapmadığını bilin. Yalnızca metindir, resim, ses veya video yoktur. Tek bir model çalıştırır, bu nedenle karakter başına model değiştiremezsiniz. Yerleşik hafıza, karakter kütüphanesi veya kullanıcı hesapları yoktur; bunlar uygulamanızın sağlaması gereken şeylerdir. Sınırların ötesinde rate_limited veya concurrency ile HTTP 429 ve geçici aşırı yüklenme durumunda Retry-After: 5 başlığını görürsünüz. Kısa bir beklemeden sonra bir yeniden deneme ekleyin.
Yanıtlar Grok gibi duyulmayacaktır. Karakterlerinizi kısa bir testten geçirin ve ses doğru gelene kadar kişiliğin içindeki örnekleri ayarlayın. Kalite, sağlayıcı seçimiyle değil, bu ayarlamayla gelir.

