Dies ist ein eigener Provider-Typ, getrennt von Amazon Bedrock Runtime.
Verwenden Sie
bedrock-mantle für OpenAI-kompatible Mantle-Modelle und bedrock für
Converse-Modelle von Bedrock Runtime. Sie können beide gleichzeitig konfigurieren.Voraussetzungen
Aktivieren Sie die Modelle in Ihrem AWS-Konto und wählen Sie eine unterstützte AWS-Region. Sie können sich mit einem Amazon-Bedrock-API-Key oder über die Standard-Credential-Chain von AWS authentifizieren.Konfiguration
- Bedrock-API-Key
- AWS-Zugangsdaten (SigV4)
AWS_PROFILE, IAM
Identity Center sowie Container- oder Instanzrollen. Bevorzugen Sie im Produktivbetrieb
Workload-Zugangsdaten gegenüber langlebigen Access Keys.
AWS_BEARER_TOKEN_BEDROCK wird ebenfalls als Bearer-Token-Fallback akzeptiert. Setzen Sie dazu
BEDROCK_MANTLE_BASE_URL, damit die Provider-Erkennung Mantle aktivieren kann.
Die Base URL kann eine AWS-Region oder ein vollständiger Endpunkt sein. Eine Region ist die
empfohlene Form:
BEDROCK_MANTLE_REGION, dann AWS_REGION, dann AWS_DEFAULT_REGION und schließlich us-east-1.
Wenn nur IAM-Zugangsdaten vorhanden sind, setzen Sie BEDROCK_MANTLE_BASE_URL, damit die
Provider-Erkennung Mantle aktiviert.
Alternativ konfigurieren Sie den Provider in config.yaml:
GPT-5.6 aufrufen
"stream": true. previous_response_id, Tools,
Reasoning-Steuerungen und unbekannte Erweiterungsfelder werden an Mantle weitergeleitet, ohne den
Request in das Chat-Format zu übersetzen.
Verfügbarkeit von GPT-5.6
Diese Modelle unterstützen die Responses API, nicht Chat Completions, Converse oder Invoke. GoModel
sendet sie automatisch an
/openai/v1/responses, den modellspezifischen Pfad, den AWS
voraussetzt. Andere Mantle-Modelle verwenden je nach Bedarf /v1/responses oder
/v1/chat/completions.
Auswahl des Endpunktpfads
BEDROCK_MANTLE_API_MODE steuert, welchen OpenAI-kompatiblen Pfad GoModel verwendet:
Der Modellkatalog verwendet immer
/v1/models. Nutzen Sie einen Override, wenn AWS ein Modell
hinzufügt, bevor die automatische Pfadliste von GoModel aktualisiert wurde.
In YAML setzen Sie dieselbe Option mit api_mode:
Mehrere Mantle-Provider
Verwenden Sie Umgebungsvariablen mit Suffix für getrennte Regionen oder Konten:bedrock-mantle-east und bedrock-mantle-west registriert.
Fehlerbehebung
- GPT-5.6 liefert
404oder lehnt den Request ab – verwenden Sie den Provider-Typbedrock-mantle. Der Bedrock-Runtime-Provider nutzt Converse, das GPT-5.6 nicht unterstützt. 403/ Zugriff verweigert – aktivieren Sie den Modellzugriff und prüfen Sie, ob der API-Key oder der IAM-Principal in dieser Region Inferenz über Bedrock Mantle aufrufen darf.- Provider wird mit
AWS_BEARER_TOKEN_BEDROCKoder einer IAM-Rolle nicht erkannt – setzen SieBEDROCK_MANTLE_BASE_URL, um den Provider ohne Key zu aktivieren. - Ein neu veröffentlichtes Modell verwendet die falsche Route – setzen Sie
BEDROCK_MANTLE_API_MODE=openaioderstandardfür diese Provider-Instanz.