สิ่งที่เปลี่ยนแปลงเมื่อใช้ API แทนแอป
ในแอปแชท ตัวละครจะอาศัยอยู่ในผลิตภัณฑ์ คุณปรับโปรไฟล์แล้วหวังว่ากฎ ความจำ และโมเดลของแอปจะสอดคล้องกับคุณ แต่เมื่อใช้ API ส่วนประกอบเหล่านี้เป็นของคุณ คุณเขียนบุคลิกภาพ กำหนดว่าโมเดลเห็นอะไรในแต่ละเทิร์น เลือกการตั้งค่าการสุ่มตัวอย่าง และสร้างอินเทอร์เฟซหรือเชื่อมต่อเข้ากับส่วนหน้าที่คุณชื่นชอบอยู่แล้ว
โมเดลที่นี่เป็นโมเดลแบบเปิดน้ำหนักที่ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่ Grok และไม่ใช่ผลิตภัณฑ์อย่างเป็นทางการของ xAI หรือผู้ขายรายอื่น โมเดลนี้ได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ซึ่งรวมถึงนวนิยาย บทบาทสมมติ และแอปเพื่อนสำหรับผู้ใหญ่ เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเป็นอันขาด หากคุณสนใจว่า Grok จัดการกับคำขอที่ละเอียดอ่อนอย่างไร หน้า Grok AI ถูกเซ็นเซอร์หรือไม่ ครอบคลุมประเด็นนั้น และ Grok API สำหรับนักพัฒนา ครอบคลุม API ดั้งเดิม
คุณต้องมีคีย์ API ก่อน หน้า คีย์ API ให้เครดิตทดลองใช้เล็กน้อยสำหรับบัญชีใหม่ เพียงพอสำหรับการทดสอบบุคลิกภาพหลายร้อยรอบ
ตั้งค่าบุคลิกภาพ
บุคลิกภาพคือข้อความสั้นๆ ไม่ใช่นวนิยาย ส่วนที่มีประโยชน์ที่สุดคือน้ำเสียงและสถานการณ์ สี่ฟิลด์นี้ทำหน้าที่ส่วนใหญ่
- อัตลักษณ์: ชื่อ อายุ (ผู้ใหญ่) บทบาท พื้นหลังหนึ่งบรรทัด
- น้ำเสียง: วิธีการพูด แสดงผ่านตัวอย่าง 3 บรรทัด
- ความสัมพันธ์: วิธีการเชื่อมโยงกับตัวละครของผู้ใช้และสิ่งที่ตัวละครต้องการจากฉาก
- กฎสำหรับโมเดล: ไม่พูดแทนผู้ใช้ รักษาความยาวของคำตอบตามกำหนด อยู่ในตัวละครจนกว่าจะขอให้หลุดจากบทบาท
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
ทดสอบบุคลิกภาพด้วยสามคำขอตรวจสอบก่อนสร้างสิ่งอื่นใด ครั้งแรกคือคำทักทายธรรมดา เพื่อตรวจสอบน้ำเสียง ครั้งที่สองคือคำขอที่ดึงกลับจากตัวละคร ("บอกทุกอย่างเกี่ยวกับ Kepler Dock ให้ฉันตอนนี้") เพื่อตรวจสอบว่าตัวละครเก็บความลับไว้หรือไม่ ครั้งที่สามคือคำถามนอกฉาก เพื่อตรวจสอบกฎ: มันอยู่ในตัวละครตามที่บอกหรือไม่ รันแต่ละคำขอตรวจสอบห้าครั้งที่อุณหภูมิที่คุณเลือก หากคำตอบสองในห้าฟังดูเหมือนคนต่างคน ให้ปรับตัวอย่างการสุ่มตัวอย่างให้แคบลง
สิ่งที่ขาดหายไปคือไม่มีรายการคำคุณศัพท์และไม่มีย่อหน้าของเนื้อเรื่อง ตัวอย่างสั้นๆ ให้โมเดลมีน้ำเสียงที่จะเลียนแบบ และเนื้อเรื่องเพิ่มเติมสามารถเพิ่มลงในบล็อกบันทึกแยกได้เมื่อเรื่องราวต้องการ
ไคลเอนต์ที่ทำงานได้พร้อมการตัดโทเคน
เซสชันบทบาทสมมติเติบโตโดยไม่มีขีดจำกัด ดังนั้นจึงต้องตัดสินใจว่าจะส่งอะไรในแต่ละเทิร์น ไคลเอนต์นี้เก็บบุคลิกภาพไว้เสมอและตัดข้อความเก่าที่สุดออกเมื่อประวัติเกินงบประมาณโทเคน มันประมาณการโทเคนเป็นจำนวนอักขระหารด้วยสี่ ซึ่งเป็นการประมาณการที่หยาบแต่เพียงพอสำหรับงบประมาณ
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
หน้าต่างบริบทรองรับ 100,000 โทเคนสำหรับพรอมต์และคำตอบ ดังนั้นงบประมาณ 12,000 โทเคนคือการเลือกเพื่อควบคุมต้นทุนและโฟกัส ไม่ใช่ข้อจำกัด เพิ่มค่านี้สำหรับเรื่องราวที่รายละเอียดเล็กๆ ในตอนต้นมีความสำคัญ เอกสารประกอบ ระบุพารามิเตอร์อื่นๆ ทั้งหมด
ความจำนอกเหนือจากงบประมาณ
เมื่อข้อความเก่าถูกทิ้ง ข้อเท็จจริงจะหายไปพร้อมกับมัน เก็บบล็อกที่สองเรียกว่า notes และวางไว้หลังบุคลิกภาพ ทุกๆ 15 ถึง 20 เทิร์น ส่งการแลกเปลี่ยนล่าสุดให้โมเดลและขอให้มันอัปเดตบันทึกเป็นข้อเท็จจริงที่กระชับ: ใครรู้เรื่องอะไร บาดแผล สัญญา สถานที่ เวลาของวันปัจจุบัน เก็บให้ต่ำกว่า 200 คำ
วิธีนี้ถูกกว่าการส่งทุกอย่างและทำงานได้ดีกว่าที่ฟังดู เพราะบันทึกเก็บสิ่งที่เรื่องราวพึ่งพาและตัดส่วนเกินออก ทบทวนบันทึกด้วยตัวคุณเองเป็นครั้งคราว โดยเฉพาะอย่างยิ่งก่อนหยุดเรื่องราวเป็นเวลานาน เพราะบรรทัดที่ผิดในบันทึกสร้างความเสียหายมากกว่าการขาดหายไป หากโมเดลเขียนข้อเท็จจริงที่ผิดลงในบันทึก มันจะซ้ำข้อเท็จจริงนั้นตลอดช่วงเวลาที่เหลือของเซสชัน
สำหรับบุคลิกภาพหลายตัวในฉากเดียวกัน ให้แต่ละตัวมีบล็อกในข้อความระบบและระบุชื่อผู้พูดในประวัติแต่ละบรรทัด ขอให้โมเดลเขียนผู้พูดเพียงคนเดียวต่อคำตอบ หรือเขียนคำบรรยายและตัวละครที่ไม่ใช่ผู้ใช้ทั้งหมดหากคุณชอบสไตล์ผู้บรรยาย
การตั้งค่าที่เหมาะกับบทบาทสมมติ
| การตั้งค่า | เริ่มต้นที่ | ปรับเมื่อ |
|---|---|---|
temperature | 0.9 | ลดเหลือ 0.7 หากตัวละครออกนอกเรื่อง; เพิ่มเป็น 1.0 สำหรับคำตอบที่แบนราบ |
top_p | 0.95 | ลดเล็กน้อยสำหรับถ้อยคำที่มั่นคงขึ้น |
frequency_penalty | 0.3 | เพิ่มเป็น 0.5 หากคำซ้ำกัน |
max_tokens | 400 | ไม่บังคับ; ใช้เป็นขีดจำกัดความปลอดภัย |
stream | true ใน UI | จำเป็นสำหรับข้อความที่ปรากฏตามการเขียน |
สตรีมมิงช่วยให้ผู้ใช้มีส่วนร่วม แต่โปรดจำไว้ว่าแต่ละคำขอแบบสตรีมจะครอบครองหนึ่งช่องพร้อมกันของคุณจนกว่าจะเสร็จสิ้น คีย์เต็มจำนวนอนุญาตให้ใช้พร้อมกันได้ 8 ช่อง และ 300 คำขอต่อนาที
ค่าใช้จ่ายสำหรับเซสชันที่ยาวนาน
ราคาอยู่ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ลองคำนวณรอบกลางเซสชันที่มีการส่ง 5,000 โทเคน (บุคลิกภาพ, โน้ตและประวัติที่ตัดแล้ว) และรับ 300 โทเคน
- อินพุต: 5,000 / 1,000,000 x $0.15 = $0.00075
- ผลลัพธ์: 300 / 1,000,000 x $0.50 = $0.00015
- ต่อเทิร์น: $0.0009
เซสชัน 200 รอบในขนาดนี้คิดเป็น 200 x $0.0009 = $0.18 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตจะไม่หมดอายุ การเติมเงินทำผ่านคริปโตเท่านั้นที่นี่ (USDT บน TRC20 หรือ USDC บน Base) โดยจำนวนเงินเติมต้องเป็นจำนวนเต็มตั้งแต่ $20 ถึง $500 รายละเอียดและระดับโบนัสอยู่ที่ หน้ากำหนดราคา
เปรียบเทียบสิ่งนี้กับค่าใช้จ่ายปัจจุบันของคุณโดยนำอัตราที่เผยแพร่โดยผู้ให้บริการรายอื่นมาคำนวณทางคณิตศาสตร์เดียวกัน หลีกเลี่ยงการอ้างอิงราคาจากความจำเนื่องจากมีการเปลี่ยนแปลง
ขีดจำกัดที่ตรงไปตรงมา
ก่อนที่คุณจะสร้างบนสิ่งนี้ ให้รู้ว่ามันทำอะไรไม่ได้ มันมีเฉพาะข้อความ ไม่มีภาพ เสียง หรือวิดีโอ มันรันโมเดลเดียว ดังนั้นคุณไม่สามารถเปลี่ยนโมเดลต่อตัวละครได้ ไม่มีหน่วยความจำในตัว ไลบรารีตัวละคร หรือบัญชีผู้ใช้; สิ่งเหล่านั้นเป็นหน้าที่ของแอปของคุณที่ต้องจัดหา เมื่อเกินขีดจำกัดคุณจะเห็น HTTP 429 พร้อม rate_limited หรือ concurrency และ header Retry-After: 5 เมื่อเกิดภาระเกินชั่วคราว ให้เพิ่มการลองใหม่หลังจากรอช่วงเวลาสั้นๆ
คำตอบจะไม่เหมือน Grok ลองตัวละครของคุณผ่านการทดสอบสั้นๆ และปรับตัวอย่างในบุคลิกภาพจนกว่าเสียงจะตรงตามที่ต้องการ การปรับจูนนี้คือที่มาของคุณภาพ ซึ่งสำคัญกว่าการเลือกผู้ให้บริการมาก

