Audio API: Speech-to-Text und Text-to-Speech

​

Übersicht

​

Unterstützte Endpunkte

​

Text-to-Speech

curl https://your-gateway/v1/audio/speech \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini-tts",
    "input": "Hello from GoModel.",
    "voice": "alloy",
    "response_format": "wav"
  }' \
  --output speech.wav

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway/v1",
    api_key=os.environ["GOMODEL_KEY"],
)

speech = client.audio.speech.create(
    model="gpt-4o-mini-tts",
    input="Hello from GoModel.",
    voice="alloy",
    response_format="wav",
)
speech.write_to_file("speech.wav")

import { writeFile } from "node:fs/promises";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://your-gateway/v1",
  apiKey: process.env.GOMODEL_KEY,
});

const speech = await client.audio.speech.create({
  model: "gpt-4o-mini-tts",
  input: "Hello from GoModel.",
  voice: "alloy",
  response_format: "wav",
});

await writeFile("speech.wav", Buffer.from(await speech.arrayBuffer()));

​

Speech-to-Text

curl https://your-gateway/v1/audio/transcriptions \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -F "file=@speech.wav" \
  -F "model=gpt-4o-transcribe" \
  -F "response_format=json"

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway/v1",
    api_key=os.environ["GOMODEL_KEY"],
)

with open("speech.wav", "rb") as audio_file:
    transcription = client.audio.transcriptions.create(
        file=audio_file,
        model="gpt-4o-transcribe",
        response_format="json",
    )

print(transcription.text)

import { createReadStream } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://your-gateway/v1",
  apiKey: process.env.GOMODEL_KEY,
});

const transcription = await client.audio.transcriptions.create({
  file: createReadStream("speech.wav"),
  model: "gpt-4o-transcribe",
  response_format: "json",
});

console.log(transcription.text);

​

Self-hosted Speech-to-Text-Server

providers:
  local-stt:
    type: openai
    base_url: "http://localhost:8000/v1"
    api_key: "unused"
    models:
      - id: "whisper-1" # der Modellname, den Ihr Server erwartet
        metadata:
          modes: [audio_transcription] # führt es als Audiomodell

​

Streaming

curl -N https://your-gateway/v1/audio/transcriptions \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -F "file=@speech.wav" \
  -F "model=gpt-4o-transcribe" \
  -F "stream=true"

​

Weiterleitung von Parametern

• /v1/audio/speech – unbekannte JSON-Felder (zum Beispiel stream_format) werden wieder in den Upstream-Body eingefügt.
• /v1/audio/transcriptions und /v1/audio/translations – unbekannte Formularwerte (zum Beispiel include[]=logprobs, chunking_strategy, stream) werden in den Multipart-Body für den Upstream geschrieben, einschließlich wiederholter Werte.

​

Kostenerfassung

• Sprachausgabe (/v1/audio/speech) erfasst die Anzahl der Eingabezeichen (input_characters, bepreist mit per_character_input, wie tts-1 abgerechnet wird) und die Dauer des synthetisierten Audios (audio_output_seconds, bepreist mit per_second_output, wie gpt-4o-mini-tts abgerechnet wird). Die Dauer wird anhand des zurückgegebenen wav, pcm oder mp3 gemessen; andere Codecs (opus, aac, flac) lassen sich ohne Dekodierung nicht messen, und die Zeile enthält einen entsprechenden Kostenhinweis.
• Transkriptionen und Übersetzungen werden nach der Dauer des hochgeladenen Audios bepreist (audio_seconds, bepreist mit per_second_input). GoModel übernimmt die Dauer, die der Provider in usage.seconds oder in duration von verbose_json meldet, und misst andernfalls den Upload selbst. Die Kosten hängen daher nicht vom response_format ab, das der Client angefordert hat, und auch Provider, die überhaupt keine Nutzung melden (Groq, ElevenLabs), werden erfasst.
• Nach Token abgerechnete Transkriptionsmodelle (gpt-4o-transcribe und ähnliche) melden Token-usage und werden stattdessen mit input_per_mtok / output_per_mtok bepreist. Ein Modell, das sowohl einen Token-Preis als auch einen Preis pro Sekunde veröffentlicht, wird nach der Einheit abgerechnet, die der Provider gemeldet hat, nie nach beiden.

​

Einschränkungen

• Kein Failover, keine Guardrails, kein Response-Cache – diese Stufen werden übersprungen. Requests werden trotzdem autorisiert, gegen das Budget geprüft, erfasst (siehe Kostenerfassung) und unter ihrem /v1/audio/*-Pfad in das Audit-Log geschrieben.
• OpenAI-Request-Form rein, Provider-Dialekt raus – Clients senden immer das Audioformat von OpenAI. OpenAI-kompatible Upstreams erhalten es unverändert; Requests an Xiaomi MiMo, Cohere und MiniMax werden in den nativen Audio-Vertrag des jeweiligen Providers übersetzt. Weitere Provider werden hinter diesem Endpunkt nicht angepasst.
• Keine Retries für eine gestreamte Response – siehe Streaming.
• Realtime Voice-to-Voice (die WebSocket-basierte Realtime-API) wird nicht unterstützt.

​

Audit-Logging

• Body-Logging aus (LOGGING_LOG_BODIES=false) – unabhängig von dieser Einstellung wird kein Audio-Body gespeichert.
• Body-Logging an, Audio aus (Standard) – die Audio-Response wird als schlanker Platzhalter {__audio__, content_type, bytes, stored: false} erfasst; es werden keine Audio-Bytes gespeichert.
• Body-Logging an, Audio an – /v1/audio/speech speichert seine Texteingabe und das erzeugte Audio, sodass das Dashboard einen eingebetteten Player anzeigt, und /v1/audio/transcriptions speichert das hochgeladene Audio (ebenfalls im Dashboard abspielbar) zusammen mit den Upload-Metadaten (Dateiname, Modell, Parameter).