透传 API

​

概览

http://localhost:8080/p/anthropic

POST /p/anthropic/v1/messages

POST /messages

​

工作原理

/p/{provider}/{endpoint}

/p/anthropic/messages
/p/anthropic/v1/messages

Authorization: Bearer change-me

​

访问控制

• GOMODEL_MASTER_KEY：始终拥有透传访问权限。
• 托管 API 密钥：默认创建时不带透传访问权限。在引入透传访问权限之前就已存在的密钥会保留该权限。 没有访问权限的密钥会收到 403，错误代码为 passthrough_access_denied。
• 模型允许列表：指定了 model 的请求体会根据调用方的允许列表进行检查。未指定模型的请求作用于 整个提供商，因此允许列表必须授予整个提供商（anthropic/）或全部内容（/）的权限。仅限于 anthropic/claude-sonnet-4-6 的密钥可以为该模型调用 POST /p/anthropic/v1/messages， 但不能调用 GET /p/anthropic/v1/models。

curl -X PUT "http://localhost:8080/admin/auth-keys/${KEY_ID}/passthrough-access" \
  -H "Authorization: Bearer $GOMODEL_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"passthrough_access": true}'

​

Anthropic SDK 示例

import os
from anthropic import Anthropic

client = Anthropic(
    base_url="http://localhost:8080/p/anthropic",
    auth_token=os.environ["GOMODEL_MASTER_KEY"],
)

message = client.messages.create(
    model="claude-3-haiku-20240307",
    max_tokens=16,
    messages=[
        {
            "role": "user",
            "content": "Reply with exactly ok",
        }
    ],
)

print(message.content[0].text)

import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic({
  baseURL: "http://localhost:8080/p/anthropic",
  authToken: process.env.GOMODEL_MASTER_KEY,
});

const message = await client.messages.create({
  model: "claude-3-haiku-20240307",
  max_tokens: 16,
  messages: [
    {
      role: "user",
      content: "Reply with exactly ok",
    },
  ],
});

console.log(message.content[0].text);

​

当前限制

• openai、anthropic、openrouter、kilo、zai、sglang、vllm、llamacpp、llmd、deepseek、edenai 和 jev 默认启用。
• Chutes 支持透传，但需要运维人员显式启用，因为透传可能会转发不标识模型的提供商原生路由。 只有在您确实打算暴露该接口时，才将 chutes 添加到 ENABLED_PASSTHROUGH_PROVIDERS。
• GoModel 不会转换透传的请求体或响应体。
• JSON 透传请求体中指定的 model 会根据调用方的模型允许列表进行检查，与请求体大小无关， 最大不超过配置的请求体上限；更大的请求体会以该上限自身的错误被拒绝。重复包含顶层 model 字段的请求体会被拒绝，因为否则将由上游决定哪一个生效。未指定模型的请求需要提供商级别的授权 （参见访问控制）。
• 上游账户是共享的。拥有透传访问权限的密钥可以访问该账户上由其他密钥创建的对象，例如文件或批处理任务。 只应将 passthrough_access 授予您信任其访问整个提供商账户的密钥。
• 提供商原生的错误响应体和状态码会被直接代理，而不会转换为兼容 OpenAI 的响应。
• 依赖兼容 OpenAI 的请求或响应格式的功能，可能不会以与 /v1 流量相同的方式作用于透传流量。

​

相关环境变量

ENABLE_PASSTHROUGH_ROUTES=true
ALLOW_PASSTHROUGH_V1_ALIAS=true
ENABLED_PASSTHROUGH_PROVIDERS=openai,anthropic,openrouter,kilo,zai,sglang,vllm,llamacpp,llmd,deepseek,edenai,jev