了解上下文視窗限制
上下文視窗定義了模型在單一請求中能處理的文字最大量。對於現代開放權重模型,此限制通常介於 8,000 到 128,000 個 token 之間,但你必須同時計算輸入提示詞與生成輸出的 token。如果你的模型支援 100,000 個 token 的視窗,你不能發送 60,000 個 token 的提示詞並期望獲得 10,000 個 token 的回應,因為總數將超過限制。請務必為模型的生成保留緩衝空間。
要有效管理這一點,請在將輸入文字傳送至 API 之前進行截斷。使用 tokenizer 準確計算 token,而不是依賴字元計數。如果你正在處理大型文件,請考慮將它們分割成區塊或使用滑動視窗方法。這可確保你的請求保持在模型的容量範圍內,並降低錯誤風險。
- 計算總 token:輸入 token + 輸出 token ≤ 上下文視窗大小。
- 使用可靠的 tokenizer 函式庫在發送請求前計算 token。
- 實作截斷邏輯以適應可用空間。
串流與非串流回應
串流允許你在模型生成時接收回應,而不是等待整個輸出完成。這對於使用者體驗至關重要,特別是處理長回應時。串流使用伺服器發送事件 (SSE),在資料可用時以區塊形式發送。非串流回應會等待完整輸出,這可能導致大型輸出的高延遲與超時。
使用串流時,你必須正確處理部分回應。每個區塊包含輸出的一部分,你需要將這些區塊串接以形成完整回應。此外,串流有助於記憶體管理,因為你不需要在顯示之前將整個輸出儲存在記憶體中。
對於無審查模型,串流對於聊天機器人或程式碼生成工具等即時應用程式特別有用。它提供即時回饋,並允許使用者看到模型的思考過程逐步展開。
處理工具函式呼叫
工具函式呼叫允許模型執行外部函式或 API。這對於獲取即時資料、執行計算或與其他服務互動等任務至關重要。使用工具呼叫時,你必須提供定義函式參數與返回類型的 JSON 結構描述。模型將根據此結構描述生成函式呼叫。
工具呼叫的常見問題包括格式錯誤的 JSON 結構描述、缺少必要參數或資料類型錯誤。要進行疑難排解,請根據工具呼叫規格驗證你的 JSON 結構描述。確保所有必要欄位都存在,且資料類型符合預期格式。如果模型無法生成有效的函式呼叫,請檢查錯誤訊息以找出問題所在。
- 為每個函式定義清晰精確的 JSON 結構描述。
- 在將結構描述傳送至 API 之前進行驗證。
- 透過記錄與重試失敗的呼叫來優雅地處理錯誤。
有效載重大小與 8MB 限制
API 實施了 8 MB 的請求主體限制,其中包括包含你的提示詞、系統指示與任何其他參數的 JSON 有效載重。如果你的請求超過此限制,API 將返回 413 Payload Too Large 錯誤。此限制對於管理伺服器資源與確保一致的效能至關重要。
要保持在 8 MB 限制內,請透過移除不必要的欄位與壓縮大型文字輸入來最佳化你的有效載重。如果你正在傳送影像或檔案,請考慮將它們轉換為 base64 編碼並檢查其大小。此外,對於大型輸出使用串流,以避免在記憶體中緩衝整個回應。
如果你經常達到此限制,請考慮將請求分解為較小的區塊或使用更有效率的資料格式。監控你的有效載重大小有助於你識別瓶頸並最佳化 API 使用。
速率限制:每分鐘 300 次請求
速率限制透過限制你在特定時間範圍內可以發送的請求數量,防止 API 過度使用。限制為每個 API 金鑰每分鐘 300 次請求。如果你超過此限制,API 將返回 429 Too Many Requests 錯誤。實施此限制是為了確保公平使用並維持服務穩定性。
要有效處理速率限制,請在客戶端程式碼中實作指數退避。這意味著如果你收到 429 錯誤,你在重試之前會等待一段短時間,並逐漸增加後續重試的等待時間。這種方法有助於避免用重複請求淹沒 API。
- 監控你的請求速率並相應調整客戶端行為。
- 使用指數退避來優雅地處理 429 錯誤。
- 考慮將請求分組以減少個別呼叫的數量。
Token 計數錯誤
準確的 token 計數對於管理上下文視窗與估算成本至關重要。許多開發者依賴字元計數,這可能會導致顯著的差異,特別是對於多語言文字或特殊字元。Tokenizer 將文字轉換為 token,即模型處理的基本文字單位。
Token 計數錯誤可能導致請求超過上下文視窗或產生意外成本。要避免這些問題,請使用與模型 tokenizer 匹配的可靠 tokenizer 函式庫。這可確保 token 計數準確且與模型的預期一致。
此外,請追蹤你隨時間的 token 使用情況,以識別模式並最佳化你的 API 使用。定期檢視你的 token 計數可幫助你就 API 策略做出明智的決策。
處理 404 與 429 錯誤
HTTP 404 錯誤表示未找到請求的資源,而 429 錯誤表示你已超過速率限制。正確處理這些錯誤對於維持強大的 API 整合至關重要。
對於 404 錯誤,請驗證端點 URL 是否正確以及資源是否存在。如果端點已變更,請相應更新你的客戶端程式碼。對於 429 錯誤,請實作帶有指數退避的重試邏輯,如前所述。這可確保你的客戶端能夠從暫時性的速率限制問題中恢復而不會失敗。
記錄這些錯誤並監控其頻率可幫助你識別 API 使用的潛在問題。如果你經常遇到 429 錯誤,請考慮最佳化你的請求模式或升級你的 API 方案。
無審查輸出的最佳實踐
無審查模型旨在提供原始、無過濾的回應,這可能導致更廣泛的輸出範圍,包括具爭議性或露骨的內容。要管理這一點,請為你的使用案例定義清晰的指南,並在需要時過濾輸出。這對於需要特定語氣或風格的應用程式特別重要。
使用無審查模型時,請準備好輸出會有較高程度的變異性。徹底測試你的提示詞,以確保它們產生預期的結果。此外,請考慮實作後處理步驟,根據你的特定需求過濾或精煉輸出。
例如,如果你正在使用無審查模型進行內容生成,你可能希望過濾掉髒話或敏感主題。這可以透過簡單的文本處理技術或更先進的 NLP 模型來完成。定期檢視你的輸出內容可以幫助你識別模式,並據此調整過濾策略。
