Audio API: zamiana mowy na tekst i tekstu na mowę

​

Przegląd

​

Obsługiwane endpointy

​

Tekst na mowę

curl https://your-gateway/v1/audio/speech \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini-tts",
    "input": "Hello from GoModel.",
    "voice": "alloy",
    "response_format": "wav"
  }' \
  --output speech.wav

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway/v1",
    api_key=os.environ["GOMODEL_KEY"],
)

speech = client.audio.speech.create(
    model="gpt-4o-mini-tts",
    input="Hello from GoModel.",
    voice="alloy",
    response_format="wav",
)
speech.write_to_file("speech.wav")

import { writeFile } from "node:fs/promises";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://your-gateway/v1",
  apiKey: process.env.GOMODEL_KEY,
});

const speech = await client.audio.speech.create({
  model: "gpt-4o-mini-tts",
  input: "Hello from GoModel.",
  voice: "alloy",
  response_format: "wav",
});

await writeFile("speech.wav", Buffer.from(await speech.arrayBuffer()));

​

Mowa na tekst

curl https://your-gateway/v1/audio/transcriptions \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -F "file=@speech.wav" \
  -F "model=gpt-4o-transcribe" \
  -F "response_format=json"

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway/v1",
    api_key=os.environ["GOMODEL_KEY"],
)

with open("speech.wav", "rb") as audio_file:
    transcription = client.audio.transcriptions.create(
        file=audio_file,
        model="gpt-4o-transcribe",
        response_format="json",
    )

print(transcription.text)

import { createReadStream } from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://your-gateway/v1",
  apiKey: process.env.GOMODEL_KEY,
});

const transcription = await client.audio.transcriptions.create({
  file: createReadStream("speech.wav"),
  model: "gpt-4o-transcribe",
  response_format: "json",
});

console.log(transcription.text);

​

Self-hosted serwery mowy na tekst

providers:
  local-stt:
    type: openai
    base_url: "http://localhost:8000/v1"
    api_key: "unused"
    models:
      - id: "whisper-1" # nazwa modelu, której oczekuje Twój serwer
        metadata:
          modes: [audio_transcription] # oznacza go jako model audio

​

Streaming

curl -N https://your-gateway/v1/audio/transcriptions \
  -H "Authorization: Bearer $GOMODEL_KEY" \
  -F "file=@speech.wav" \
  -F "model=gpt-4o-transcribe" \
  -F "stream=true"

​

Przekazywanie parametrów

• /v1/audio/speech – nieznane pola JSON (na przykład stream_format) są z powrotem scalane z body wysyłanym do upstreamu.
• /v1/audio/transcriptions i /v1/audio/translations – nieznane wartości formularza (na przykład include[]=logprobs, chunking_strategy, stream) są zapisywane w body multipart wysyłanym do upstreamu, łącznie z powtórzonymi wartościami.

​

Śledzenie kosztów

• Mowa (/v1/audio/speech) zapisuje liczbę znaków wejściowych (input_characters, wyceniane przez per_character_input, tak jak rozliczany jest tts-1) oraz czas trwania zsyntetyzowanego audio (audio_output_seconds, wyceniane przez per_second_output, tak jak rozliczany jest gpt-4o-mini-tts). Czas trwania jest mierzony na podstawie zwróconego wav, pcm lub mp3; innych kodeków (opus, aac, flac) nie da się zmierzyć bez dekodowania, a wiersz zawiera wtedy zastrzeżenie kosztowe, które to opisuje.
• Transkrypcje i tłumaczenia są wyceniane według czasu trwania przesłanego audio (audio_seconds, wyceniane przez per_second_input). GoModel bierze czas trwania raportowany przez providera w usage.seconds lub w polu duration z verbose_json, a w przeciwnym razie mierzy sam upload – dzięki temu koszt nie zależy od response_format, o który poprosił klient, a providery, które w ogóle nie raportują użycia (Groq, ElevenLabs), też są mierzone.
• Modele transkrypcji rozliczane w tokenach (gpt-4o-transcribe i podobne) raportują usage w tokenach i są wyceniane przez input_per_mtok / output_per_mtok. Model, który publikuje zarówno stawkę tokenową, jak i stawkę za sekundę, jest rozliczany w tej jednostce, którą zaraportował provider – nigdy w obu.

​

Ograniczenia

• Brak failoveru, guardrails i cache’u odpowiedzi – te etapy są pomijane. Requesty nadal są autoryzowane, sprawdzane pod kątem budżetu, mierzone (zobacz śledzenie kosztów) i zapisywane w logu audytowym pod swoją ścieżką /v1/audio/*.
• Na wejściu kształt requestu OpenAI, na wyjściu dialekt providera – klienci zawsze wysyłają format audio OpenAI. Upstreamy kompatybilne z OpenAI otrzymują go bez zmian; requesty do Xiaomi MiMo, Cohere i MiniMax są tłumaczone na natywny kontrakt audio każdego z tych providerów. Inne providery nie są adaptowane za tym endpointem.
• Brak retry dla streamowanej odpowiedzi – zobacz Streaming.
• Realtime voice-to-voice (realtime API przez WebSocket) nie jest obsługiwane.

​

Logowanie audytowe

• Logowanie body wyłączone (LOGGING_LOG_BODIES=false) – żadne body audio nie jest zapisywane, niezależnie od tego ustawienia.
• Logowanie body włączone, audio wyłączone (domyślnie) – odpowiedź audio jest zapisywana jako lekki placeholder {__audio__, content_type, bytes, stored: false}; bajty audio nie są zapisywane.
• Logowanie body włączone, audio włączone – /v1/audio/speech zapisuje tekst wejściowy i wygenerowane audio, dzięki czemu dashboard wyświetla wbudowany odtwarzacz, a /v1/audio/transcriptions zapisuje przesłane audio (również do odtworzenia w dashboardzie) razem z metadanymi uploadu (nazwa pliku, model, parametry).