Điều gì thay đổi khi bạn sử dụng API thay vì ứng dụng
Trong một ứng dụng chat, nhân vật sống bên trong sản phẩm. Bạn điều chỉnh hồ sơ và hy vọng các quy tắc, bộ nhớ và mô hình của ứng dụng phù hợp với bạn. Với API, những phần đó thuộc về bạn. Bạn viết persona, quyết định mô hình thấy gì trong mỗi lượt, chọn cài đặt lấy mẫu và xây dựng giao diện hoặc kết nối với một frontend mà bạn đã thích.
Mô hình ở đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành. Nó không phải là Grok và không phải là sản phẩm chính thức của xAI hay bất kỳ nhà cung cấp nào khác. Nó được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, bao gồm tiểu thuyết, nhập vai và các ứng dụng bạn đồng hành cho người lớn. Nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm. Nếu bạn tò mò về cách Grok xử lý các yêu cầu nhạy cảm, trang Grok AI có kiểm duyệt sẽ đề cập đến điều đó, còn Grok API cho nhà phát triển sẽ đề cập đến API gốc.
Bạn cần một khóa trước tiên. Trang khóa API cung cấp cho các tài khoản mới một khoản tín dụng dùng thử nhỏ, đủ để kiểm tra persona cho hàng trăm lượt.
Thiết lập persona
Persona là một đoạn văn bản ngắn, không phải tiểu thuyết. Các phần hữu ích nhất là giọng nói và tình huống. Bốn trường thực hiện hầu hết công việc.
- Nhân vật: tên, tuổi (một người trưởng thành), vai trò, một dòng thông tin nền.
- Giọng nói: cách họ nói, được thể hiện qua 3 dòng mẫu.
- Mối quan hệ: cách họ tương tác với nhân vật của người dùng và những gì họ muốn từ cảnh đó.
- Quy tắc cho mô hình: không bao giờ nói thay người dùng, giữ các câu trả lời ở độ dài quy định, ở trong vai trừ khi được yêu cầu rời khỏi vai diễn.
You are Ravi Okonkwo, a 41-year-old ship's doctor on a long-haul freighter.
Voice: warm, unhurried, dark humor when stressed. Example lines:
"Sit. I've seen worse. Not today, but I've seen worse."
"You want the truth or the comforting version? I stock both."
Relationship: you are the user's old friend and the only one aboard who knows about the incident at Kepler Dock.
Rules: write only Ravi's words, actions and surroundings. Never write the user's actions. 60 to 160 words per reply. Stay in character.
Kiểm tra persona với ba câu hỏi trước khi xây dựng bất cứ thứ gì khác. Đầu tiên, một lời chào đơn giản để kiểm tra giọng nói. Thứ hai, một yêu cầu kéo ngược lại nhân vật ("Cho tôi biết mọi thứ về Kepler Dock ngay bây giờ"), để kiểm tra xem nhân vật có giữ bí mật không. Thứ ba, một câu hỏi ngoài cảnh, để kiểm tra các quy tắc: nó có duy trì nhân vật như đã nói không? Chạy mỗi câu hỏi năm lần ở nhiệt độ bạn đã chọn. Nếu hai trong năm câu trả lời nghe giống như một người khác, hãy siết chặt các dòng mẫu.
Hãy chú ý những gì bị thiếu: không có danh sách tính từ và không có đoạn văn tiểu sử. Các mẫu ngắn giúp mô hình có giọng điệu để sao chép, và thông tin nền có thể được thêm vào một khối ghi chú riêng khi câu chuyện cần đến.
Client hoạt động với việc cắt giảm dựa trên token
Phiên nhập vai không có giới hạn, vì vậy bạn hãy quyết định những gì sẽ gửi ở mỗi lượt. Client này luôn giữ nhân vật và cắt các tin nhắn cũ nhất khi lịch sử vượt quá ngân sách token. Nó ước tính token bằng cách chia số ký tự cho bốn, cách tính này sơ bộ nhưng đủ tốt cho ngân sách.
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredgrok.com/v1", api_key="YOUR_KEY")
PERSONA = open("ravi.txt").read()
BUDGET = 12000 # tokens of history to send, well under the 100,000 window
history = []
def est(text):
return len(text) // 4 + 4
def trimmed():
total, kept = 0, []
for m in reversed(history):
total += est(m["content"])
if total > BUDGET:
break
kept.append(m)
return list(reversed(kept))
def say(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "system", "content": PERSONA}] + trimmed(),
temperature=0.9,
top_p=0.95,
frequency_penalty=0.3,
max_tokens=400,
)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply, r.usage
reply, usage = say("I find Ravi in the med bay at 3 a.m. 'Can't sleep either?'")
print(reply)
print(usage.prompt_tokens, usage.completion_tokens)
Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng thêm phản hồi, nên ngân sách 12.000 là lựa chọn về chi phí và trọng tâm, không phải giới hạn. Tăng nó lên cho các câu chuyện mà các chi tiết nhỏ ở đầu rất quan trọng. tài liệu liệt kê các tham số còn lại.
Bộ nhớ vượt quá ngân sách
Khi các tin nhắn cũ bị loại bỏ, sự thật cũng biến mất cùng với chúng. Hãy giữ một khối thứ hai gọi là ghi chú, và đặt nó ngay sau phần nhân vật. Cứ sau 15 đến 20 lượt, hãy gửi cho mô hình cuộc hội thoại gần đây và yêu cầu nó cập nhật ghi chú dưới dạng các sự kiện ngắn gọn: ai biết gì, thương tích, lời hứa, địa điểm, thời gian hiện tại trong ngày. Hãy giữ nó dưới 200 từ.
Cách này rẻ hơn việc gửi mọi thứ và hoạt động tốt hơn vẻ ngoài của nó, vì các ghi chú giữ những gì câu chuyện phụ thuộc vào và loại bỏ phần thừa. Hãy tự xem lại các ghi chú định kỳ, lý tưởng nhất là trước mỗi khoảng nghỉ dài trong câu chuyện, vì một dòng sai ở đó gây thiệt hại hơn là một dòng bị thiếu. Nếu mô hình viết một sự kiện sai vào đó, nó sẽ lặp lại sự kiện đó cho phần còn lại của phiên.
Đối với nhiều persona trong một cảnh, hãy cung cấp cho mỗi người một khối trong thông báo hệ thống và gắn nhãn mỗi dòng trong lịch sử với tên của người nói. Yêu cầu mô hình viết chỉ một người nói mỗi phản hồi, hoặc viết lời dẫn và tất cả các nhân vật không phải người dùng nếu bạn thích phong cách người kể chuyện.
Cài đặt phù hợp cho nhập vai
| Cài đặt | Bắt đầu ở | Điều chỉnh khi |
|---|---|---|
temperature | 0,9 | Giảm xuống 0,7 nếu nhân vật đi lạc; tăng lên 1,0 cho các phản hồi phẳng |
top_p | 0,95 | Giảm nhẹ để có cách diễn đạt ổn định hơn |
frequency_penalty | 0,3 | Tăng lên 0,5 nếu các cụm từ lặp lại |
max_tokens | 400 | Tùy chọn; sử dụng như một giới hạn an toàn |
stream | true trong giao diện người dùng | Cần thiết cho văn bản xuất hiện khi nó được viết |
Truyền phát giữ người dùng gắn bó, nhưng hãy nhớ rằng mỗi yêu cầu truyền phát giữ một trong các slot đồng thời của bạn cho đến khi kết thúc. Khóa đầy đủ cho phép 8 cùng lúc và 300 yêu cầu mỗi phút.
Một phiên dài tốn bao nhiêu
Giá là $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra. Thực hiện một lượt giữa phiên với 5.000 token được gửi (persona, ghi chú và lịch sử đã cắt giảm) và 300 token nhận được.
- Đầu vào: 5.000 / 1.000.000 x $0,15 = $0,00075
- Đầu ra: 300 / 1.000.000 x $0,50 = $0,00015
- Mỗi lượt: $0.0009
Một phiên 200 lượt ở kích thước đó tốn 200 x $0,0009 = $0,18. Các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí, và tín dụng trả trước không bao giờ hết hạn. Các khoản nạp tiền ở đây chỉ chấp nhận tiền mã hóa (USDT trên TRC20 hoặc USDC trên Base), với số nguyên từ $20 đến $500. Chi tiết và các bậc thưởng có trên trang giá cả.
Hãy so sánh điều này với chi phí hiện tại của bạn bằng cách lấy các mức giá công bố của nhà cung cấp khác và thực hiện cùng phép tính. Tránh trích dẫn giá từ trí nhớ; chúng thay đổi.
Giới hạn trung thực
Trước khi bạn xây dựng trên điều này, hãy biết những gì nó không làm. Nó chỉ là văn bản, không có hình ảnh, giọng nói hoặc video. Nó chạy một mô hình, vì vậy bạn không thể chuyển đổi mô hình theo nhân vật. Không có bộ nhớ tích hợp, thư viện nhân vật hoặc tài khoản người dùng; những thứ đó là do ứng dụng của bạn cung cấp. Vượt quá giới hạn, bạn sẽ thấy HTTP 429 với rate_limited hoặc concurrency, và tiêu đề Retry-After: 5 khi quá tải tạm thời. Thêm một lần thử lại sau một khoảng thời gian chờ ngắn.
Các câu trả lời sẽ không giống như Grok. Hãy chạy thử các nhân vật của bạn qua một bài kiểm tra ngắn và điều chỉnh các mẫu trong phần nhân vật cho đến khi giọng điệu phù hợp. Việc tinh chỉnh này mới là nơi tạo ra chất lượng, nhiều hơn là từ việc lựa chọn nhà cung cấp.

