理解上下文窗口限制
上下文窗口定义了模型在单次请求中能处理的最大文本量。对于现代开放权重模型,此限制通常在 8,000 到 128,000 个 token 之间,但你必须同时考虑输入提示词和生成的输出。如果你的模型支持 100,000 个 token 的窗口,你不能发送 60,000 个 token 的提示词并期望获得 10,000 个 token 的响应,因为总数会超出限制。始终为模型的生成留出缓冲空间。
为了有效管理这一点,请在将输入文本发送到 API 之前对其进行截断。使用 tokenizer 准确计算 token 数,而不是依赖字符计数。如果你正在处理大文档,请考虑将它们拆分为块或使用滑动窗口方法。这确保你的请求保持在模型的容量范围内,并降低错误风险。
- 计算总 token:输入 token + 输出 token ≤ 上下文窗口大小。
- 使用可靠的 tokenizer 库在发送请求前计算 token。
- 实现截断逻辑以适配可用空间。
流式与非流式响应
流式输出允许你在模型生成时接收响应,而不是等待整个输出完成。这对于用户体验至关重要,尤其是在处理长响应时。流式输出使用 Server-Sent Events (SSE),以数据块的形式发送可用数据。非流式响应等待完整输出,这可能导致大输出的高延迟和超时。
使用流式输出时,你必须正确处理部分响应。每个数据块包含输出的一部分,你需要将这些数据块拼接成完整响应。此外,流式输出有助于内存管理,因为你不需要在显示之前将整个输出存储在内存中。
对于无审查模型,流式输出对于聊天机器人或代码生成工具等实时应用特别有用。它提供即时反馈,并允许用户看到模型的思考过程。
处理工具函数调用
工具函数调用允许模型执行外部函数或 API。这对于获取实时数据、执行计算或与其他服务交互等任务至关重要。使用工具调用时,你必须提供一个 JSON 模式来定义函数的参数和返回类型。模型将根据此模式生成函数调用。
工具调用的常见问题包括 JSON 模式格式错误、缺少必需参数或数据类型不正确。要排查问题,请根据工具调用规范验证你的 JSON 模式。确保所有必需字段都存在,且数据类型符合预期格式。如果模型未能生成有效的函数调用,请检查错误消息以获取线索。
- 为每个函数定义清晰精确的 JSON 模式。
- 在发送到 API 之前验证模式。
- 通过记录和重试失败的调用来优雅地处理错误。
负载大小与 8MB 限制
API 强制执行 8 MB 的请求体限制,其中包括包含你的提示词、系统指令和任何其他参数的 JSON 负载。如果请求超过此限制,API 将返回 413 Payload Too Large 错误。此限制对于管理服务器资源并确保一致的性能至关重要。
为了保持在 8 MB 限制内,请通过移除不必要的字段和压缩大文本输入来优化负载。如果你正在发送图片或文件,请考虑将其转换为 base64 编码并检查其大小。此外,对大输出使用流式输出,以避免在内存中缓冲整个响应。
如果你经常达到此限制,请考虑将请求分解为更小的块或使用更高效的数据格式。监控你的负载大小可以帮助你识别瓶颈并优化 API 使用。
速率限制:每分钟 300 次请求
速率限制通过限制你在特定时间框架内可以发出的请求数量来防止 API 过度使用。限制为每个 API 密钥每分钟 300 次请求。如果你超过此限制,API 将返回 429 Too Many Requests 错误。此限制旨在确保公平使用并保持服务稳定性。
为了有效处理速率限制,请在客户端代码中实现指数退避。这意味着如果你收到 429 错误,你需要等待一小段时间再重试,并逐渐增加后续重试的等待时间。这种方法有助于避免用重复请求压垮 API。
- 监控你的请求速率并相应调整客户端行为。
- 使用指数退避优雅地处理 429 错误。
- 考虑批量请求以减少单独调用的数量。
Token 计数错误
准确的 token 计数对于管理上下文窗口和估算成本至关重要。许多开发者依赖字符计数,这可能导致显著差异,特别是对于多语言文本或特殊字符。Tokenizer 将文本转换为 token,即模型处理的基本文本单元。
token 计数错误可能导致请求超出上下文窗口或产生意外成本。为避免这些问题,请使用与模型 tokenizer 匹配的可靠 tokenizer 库。这确保 token 计数准确且与模型的预期一致。
此外,请跟踪你随时间推移的 token 使用情况,以识别模式并优化 API 使用。定期审查你的 token 计数可以帮助你就 API 策略做出明智决策。
处理 404 和 429 错误
HTTP 404 错误表示未找到请求的资源,而 429 错误表示你已超过速率限制。正确处理这些错误对于保持稳健的 API 集成至关重要。
对于 404 错误,请验证端点 URL 是否正确且资源存在。如果端点已更改,请相应更新客户端代码。对于 429 错误,请实现带有指数退避的重试逻辑,如前所述。这确保你的客户端可以从临时速率限制问题中恢复而不会失败。
记录这些错误并监控其频率可以帮助你识别 API 使用的潜在问题。如果你经常遇到 429 错误,请考虑优化请求模式或升级 API 计划。
无审查输出的最佳实践
无审查模型旨在提供原始、无过滤的响应,这可能导致更广泛的输出,包括争议性或显式内容。为了管理这一点,请为你的用例定义清晰的指南并按需过滤输出。这对于需要特定语气或风格的应用尤为重要。
使用无审查模型时,请准备好输出具有更高的可变性。彻底测试你的提示词,以确保它们产生所需的结果。此外,请考虑实施后处理步骤,根据你的特定要求过滤或优化输出。
例如,如果你使用无审查模型进行内容生成,可能需要过滤掉粗俗用语或敏感话题。这可以通过简单的文本处理技术或更高级的 NLP 模型来实现。定期审查输出结果有助于你识别模式并相应地调整过滤策略。
