Slowdown

​

Przegląd

​

Konfiguracja spowolnienia

​

Dashboard

​

config.yaml

virtual_models:
  # Spowolnij konkretny model dla każdego wywołującego.
  - source: openai/gpt-4o
    slowdown: 0.5

  # Udostępnij spowolniony alias i zostaw prawdziwy model bez zmian.
  - source: slow-sonnet
    target: anthropic/claude-sonnet-4-6
    slowdown: 2

​

Zmienna środowiskowa

VIRTUAL_MODELS=[{"source":"slow-sonnet","target":"anthropic/claude-sonnet-4-6","slowdown":2}]

​

Admin API

curl -X PUT http://localhost:8080/admin/virtual-models \
  -H "Authorization: Bearer $GOMODEL_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"source":"slow-sonnet","target_model":"anthropic/claude-sonnet-4-6","slowdown":2}'

​

Pierwszeństwo

• Własne spowolnienie aliasu wygrywa ze spowolnieniem jego modelu docelowego.
• Alias bez wartości dziedziczy spowolnienie modelu docelowego, do którego się rozwiązuje. Ustaw w aliasie 0, aby z tego zrezygnować.
• W modelu wirtualnym z load balancingiem dziedziczenie korzysta z celu wybranego dla danego requestu.
• Spowolnienie samego modelu można ustawić dokładnie (openai/gpt-4o) albo dla całego modelu (gpt-4o, u każdego providera); wygrywa wartość dokładna. Bardziej szczegółowy wpis, który zostawia spowolnienie puste albo którego user_paths wykluczają wywołującego, nie przesłania wartości ogólniejszej. Reguła dostępu dla całego providera nigdy więc nie wyłącza spowolnienia modelu.
• W łańcuchu obowiązuje tylko spowolnienie zewnętrznego modelu wirtualnego.
• Spowolnienie ustawione na modelu z user_paths dotyczy tylko requestów z tych ścieżek użytkownika.

​

Co jest spowalniane

​

Streaming i pamięć