HTTP_PROXY, HTTPS_PROXY i NO_PROXY dla całego procesu. To wystarcza
w przypadku firmowego proxy wychodzącego, przez które musi przechodzić cały ruch.
Ustaw proxy_url w providerze, gdy proxy potrzebują tylko niektórzy providerzy
albo różni providerzy potrzebują różnych proxy: aby dotrzeć do providera
zablokowanego w Twoim regionie, nadać jednemu providerowi stały wychodzący adres IP
dla jego allowlisty lub podglądać ruch jednego providera, podczas gdy reszta idzie
bezpośrednio.
Konfiguracja
Providerzy konfigurowani wyłącznie przez środowisko używają prefiksu providera i opcjonalnego sufiksu instancji, tak jak każde inne ustawienie providera:config.yaml:
Obsługiwane proxy
Nazwy hostów są zawsze rozwiązywane na proxy, więc
socks5:// i socks5h://
działają identycznie. URL składa się ze schematu, hosta, opcjonalnego portu
(domyślnie 80, 443 lub 1080) i opcjonalnych danych uwierzytelniających: ścieżka,
query lub fragment są odrzucane przy starcie i w dashboardzie.
Zasady
proxy_urlprovidera dotyczy wszystkiego, co ten provider wysyła: wykrywania modeli, inferencji, streamingu, plików i batchy.- Provider z
proxy_urlignorujeHTTP_PROXY,HTTPS_PROXYiNO_PROXY. Provider bez niego zachowuje zachowanie obowiązujące dla całego procesu. - Nieprawidłowy
proxy_urlto błąd konfiguracji: provider jest pomijany przy starcie z wpisem w logu podającym jego nazwę, a dashboard odrzuca zapis. - Dane uwierzytelniające proxy nigdy nie trafiają do logów. Admin API i status
providera pokazują URL z hasłem zastąpionym przez
xxxxx. - Połączenia są poolowane per provider, więc każdy provider utrzymuje własne połączenia keep-alive do swojego proxy.
Weryfikacja
Endpoint statusu providerów raportuje zamaskowane proxy dla każdego providera:Pule proxy z health checkami, automatyczny failover między proxy i reguły
przypisania obejmujące wielu providerów naraz to
funkcja GoModel Pro.