ऐप की जगह API का उपयोग करने पर क्या बदलाव आता है
चैट ऐप में चरित्र उत्पाद के अंदर रहता है। आप प्रोफ़ाइल सेट करते हैं और उम्मीद करते हैं कि ऐप के नियम, मेमोरी और मॉडल आपकी पसंद के अनुसार होंगे। API के साथ, ये हिस्से आपके नियंत्रण में होते हैं। आप पर्सोना लिखते हैं, तय करते हैं कि मॉडल हर बार क्या देखेगा, सैंपलिंग सेटिंग्स चुनते हैं और वह इंटरफ़ेस बनाते हैं या किसी ऐसे फ्रंटएंड में प्लग इन करते हैं जिसे आप पहले से पसंद करते हैं।
यह मॉडल एक ओपन-वेट मॉडल है जिसे एक स्वतंत्र प्रदाता संचालित करता है। यह Grok नहीं है और न ही xAI या किसी अन्य विक्रेता का आधिकारिक उत्पाद है। इसे कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है, जिसमें कथा, रोलप्ले और वयस्कों के लिए कंपैनियन ऐप्स शामिल हैं। नाबालिगों से संबंधित यौन सामग्री कभी भी अनुमति नहीं है। यदि आप यह जानना चाहते हैं कि Grok स्वयं संवेदनशील अनुरोधों को कैसे संभालता है, तो पृष्ठ क्या Grok AI सेंसर किया गया है उस कवरेज को कवर करता है, और डेवलपर्स के लिए Grok API मूल API को कवर करता है।
आपको पहले एक कुंजी की आवश्यकता है। API कुंजी पेज नए खातों को एक छोटा ट्रायल क्रेडिट देता है, जो सैकड़ों टर्न्स के लिए एक पात्र का परीक्षण करने के लिए पर्याप्त है।
पर्सोना सेट करें
पर्सोना एक छोटा पाठ है, कोई उपन्यास नहीं। सबसे उपयोगी हिस्से आवाज़ और स्थिति हैं। चार फ़ील्ड्स ज्यादातर काम करते हैं।
- पहचान: नाम, आयु (एक वयस्क), भूमिका, पृष्ठभूमि की एक पंक्ति।
- आवाज़: वे कैसे बात करते हैं, 3 नमूना पंक्तियों के साथ दिखाया गया है।
- संबंध: वे उपयोगकर्ता के किरदार के साथ कैसे संबंधित हैं और वे दृश्य से क्या चाहते हैं।
- मॉडल के लिए नियम: उपयोगकर्ता की ओर से कभी न बोलें, प्रतिक्रियाओं को निर्धारित लंबाई तक सीमित रखें, जब तक कहा न जाए तब तक चरित्र में बने रहें।
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
कुछ भी बनाने से पहले तीन जाँचों के साथ पर्सोना का परीक्षण करें। पहले, एक साधारण अभिवादन, आवाज़ की जाँच के लिए। दूसरा, एक अनुरोध जो चरित्र के खिलाफ खींचता है ("अभी केपलर डॉक के बारे में सब कुछ बताएं"), यह जाँचने के लिए कि क्या चरित्र अपना राज़ रखता है। तीसरा, दृश्य से बाहर का प्रश्न, नियमों की जाँच के लिए: क्या यह बताए गए अनुसार चरित्र में रहता है? प्रत्येक जाँच को अपनी चुनी हुई तापमान पर पाँच बार चलाएं। यदि पाँच में से दो उत्तर किसी अलग व्यक्ति जैसे लगते हैं, तो नमूना पंक्तियों को सख्त करें।
ध्यान दें कि क्या गायब है: कोई विशेषणों की सूची नहीं और कोई कहानी के इतिहास के पैराग्राफ नहीं। छोटे नमूने मॉडल को एक आवाज़ प्रदान करते हैं जिसे कॉपी किया जा सके, और अतिरिक्त कहानी के इतिहास को कहानी की आवश्यकता होने पर एक अलग टिप्पणी ब्लॉक में जोड़ा जा सकता है।
टोकन-आधारित ट्रिमिंग के साथ एक कार्यरत क्लाइंट
रोलप्ले सत्र बिना किसी सीमा के बढ़ते हैं, इसलिए तय करें कि हर बार क्या भेजा जाए। यह क्लाइंट हमेशा पर्सोना को बनाए रखता है और इतिहास टोकन बजट से गुजर जाने पर सबसे पुराने संदेशों को काट देता है। यह टोकन का अनुमान अक्षरों को चार से विभाजित करके लगाता है, जो कि एक बजट के लिए पर्याप्त रूप से अच्छा है।
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
विंडो प्रॉम्प्ट और रिप्लाई के लिए 100,000 टोकन है, इसलिए 12,000 बजट लागत और फोकस के बारे में एक चयन है, कोई सीमा नहीं। उन कहानियों के लिए इसे बढ़ाएं जहाँ छोटी शुरुआती विवरण मायने रखते हैं। दस्तावेज़ीकरण बाकी पैरामीटर की सूची देता है।
बजट से परे मेमोरी
जब पुराने संदेश ड्रॉप किए जाते हैं, तथ्य भी उनके साथ गायब हो जाते हैं। नोट्स नामक एक दूसरा ब्लॉक रखें, और उसे पर्सोना के ठीक बाद रखें। हर 15 से 20 बारी पर, मॉडल को हालिया बातचीत भेजें और उससे नोट्स को संक्षिप्त तथ्यों के रूप में अपडेट करने के लिए कहें: कौन क्या जानता है, चोट, वादे, स्थान, दिन का वर्तमान समय। इसे 200 शब्दों से कम रखें।
यह सब कुछ भेजने से सस्ता है और यह सुनने में जितना लगता है उससे बेहतर काम करता है, क्योंकि नोट्स उस चीज़ को रखते हैं जिस पर कहानी निर्भर करती है और अनावश्यक सामग्री को ड्रॉप कर देता है। कहानी में हर लंबे ब्रेक से पहले, यदि संभव हो, तो स्वयं नोट्स की समीक्षा करें, क्योंकि वहां एक गलत लाइन एक गायब लाइन से अधिक नुकसानदायक है। यदि मॉडल उनमें एक गलत तथ्य लिख देता है, तो वह सत्र के शेष हिस्से के लिए उस तथ्य को दोहराएगा।
एक ही दृश्य में कई पर्सोना के लिए, सिस्टम संदेश में प्रत्येक को एक ब्लॉक दें और इतिहास में प्रत्येक पंक्ति को बोलने वाले के नाम से लेबल करें। मॉडल से केवल एक बोलने वाले को हर रिप्लाई में लिखने के लिए कहें, या यदि आप एक नैरेटर शैली पसंद करते हैं तो नैरेशन और सभी गैर-उपयोगकर्ता चरित्रों को लिखने के लिए कहें।
रोलप्ले के लिए उपयुक्त सेटिंग्स
| सेटिंग | शुरू करें | जब समायोजित करें |
|---|---|---|
temperature | 0.9 | यदि पात्र भटकता है तो 0.7 तक कम करें; समान प्रतिक्रियाओं के लिए 1.0 तक बढ़ाएं |
top_p | 0.95 | स्थिर शब्दों के लिए थोड़ा कम करें |
frequency_penalty | 0.3 | यदि वाक्यांश दोहराते हैं तो 0.5 तक बढ़ाएं |
max_tokens | 400 | वैकल्पिक; सुरक्षा कैप के रूप में उपयोग करें |
stream | UI में सत्य | उन पाठों के लिए आवश्यक है जो लिखे जाने के अनुसार प्रकट होते हैं |
स्ट्रीमिंग उपयोगकर्ता को संलग्न रखती है, लेकिन याद रखें कि प्रत्येक स्ट्रीम किए गए अनुरोध आपके समवर्ती स्लॉट्स में से एक को समाप्त होने तक पकड़े रखता है। एक पूर्ण कुंजी एक साथ 8 और प्रति मिनट 300 अनुरोधों की अनुमति देती है।
लंबे सत्र की लागत
मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन हैं। 5,000 टोकन भेजने (पर्सोना, नोट्स और ट्रिम किए गए इतिहास) और 300 टोकन प्राप्त करने के साथ एक मध्य-सत्र टर्न लें।
- इनपुट: 5,000 / 1,000,000 x $0.15 = $0.00075
- आउटपुट: 300 / 1,000,000 x $0.50 = $0.00015
- प्रति बारी: $0.0009
उस आकार पर एक 200-बारी सत्र की लागत 200 x $0.0009 = $0.18 है। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट कभी समाप्त नहीं होता। यहाँ टॉप-अप केवल क्रिप्टो में हैं (TRC20 पर USDT या Base पर USDC), $20 से $500 तक कोई भी पूर्ण राशि। विवरण और बोनस स्तर मूल्य निर्धारण पेज पर हैं।
अन्य प्रदाता के प्रकाशित दरों को लेकर उसी अंकगणित को चलाकर इसे अपने वर्तमान लागत से तुलना करें। याद से मूल्य न लिखें; वे बदल जाते हैं।
ईमानदार लिमिट
इस पर निर्माण करने से पहले, यह जान लें कि यह क्या नहीं करता। यह केवल पाठ है, जिसमें कोई छवि, आवाज़ या वीडियो नहीं है। यह एक मॉडल चलाता है, इसलिए आप प्रत्येक कैरेक्टर के लिए मॉडल नहीं बदल सकते। इसमें बिल्ट-इन मेमोरी, कैरेक्टर लाइब्रेरी या उपयोगकर्ता खाते नहीं हैं; वे आपके ऐप को प्रदान करने हैं। सीमाओं से परे, आपको HTTP 429 rate_limited या concurrency के साथ मिलेगा, और अस्थायी ओवरलोड पर एक Retry-After: 5 हेडर मिलेगा। थोड़ी देर की प्रतीक्षा के बाद एक रीट्राई जोड़ें।
प्रतिक्रियाएं Grok जैसी नहीं लगेंगी। अपने पात्रों को एक छोटे परीक्षण से गुज़ाराएं, और व्यक्तित्व में नमूनों को तब तक समायोजित करें जब तक कि आवाज़ सही न लगे। वह ट्यूनिंग ही गुणवत्ता का स्रोत है, प्रदाता के चयन से कहीं अधिक।

