DeepInfra

​

配置

DEEPINFRA_API_KEY=...

providers:
  deepinfra:
    type: deepinfra
    api_key: "${DEEPINFRA_API_KEY}"
    # base_url 默认为 "https://api.deepinfra.com/v1/openai"。

DEEPINFRA_BASE_URL=https://api.deepinfra.com/v1/openai
DEEPINFRA_MODELS=Qwen/Qwen3-32B,Qwen/Qwen3-Embedding-0.6B

​

模型

curl http://localhost:8080/v1/chat/completions \
  -H "Authorization: Bearer $GOMODEL_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepinfra/Qwen/Qwen3-32B", "messages": [{"role": "user", "content": "Hello"}]}'

​

行为说明

• Responses 是无状态的。 DeepInfra 不保存任何响应，因此 store: true 对上游不起作用。如果配置了 GoModel 响应存储，previous_response_id 链仍然有效：网关会在分发请求之前重放已存储的历史记录。如果未配置，DeepInfra 会以无效请求错误拒绝 previous_response_id 和 conversation。
• 结构化的 Responses 输出通过聊天处理。 DeepInfra 原生的 Responses 端点会拒绝所有 text 设置（text.format、 text.verbosity），因此 GoModel 会通过聊天补全处理这些请求，json_schema 和 json_object 在其中可以正常使用。
• 语音默认为 MP3。 省略 response_format 时，DeepInfra 会返回 WAV；GoModel 则改为发送 OpenAI 的默认值（mp3）。如需其他格式，请显式设置 response_format。
• 图像按图像单位计价。 DeepInfra 按图像单位列出图像价格，GoModel 会将该费率记录为每张图像的价格。对于 DeepInfra 按尺寸或步数计费的模型，成本追踪结果为近似值。
• 透传需要手动启用。 将 deepinfra 添加到 ENABLED_PASSTHROUGH_PROVIDERS 即可开放 /p/deepinfra/...，它会使用网关的 DeepInfra 密钥，将 Base URL 下的任何路径转发出去。