Przejdź do głównej treści

Co to robi

Gdy użytkownik kończy długą rozmowę słowem „dzięki!” albo „pa”, klient wysyła do modelu całą rozmowę tylko po to, żeby dostać „Nie ma za co!”. Jeśli prompt cache providera zdążył już wygasnąć, ta jednowyrazowa tura jest rozliczana jako cały kontekst po pełnej cenie. Guardrail courtesy_reply rozpoznaje takie tury i odpowiada na nie w gatewayu, więc rozmowa nie jest wysyłana ponownie. Domyślnie odpowiedzią jest gotowy tekst i nic nie trafia do providera; przy reply: model tylko kilka ostatnich wiadomości trafia do małego reply_model. Działa na /v1/chat/completions, /v1/responses i /v1/messages oraz rozpoznaje podziękowania i pożegnania po angielsku, polsku, niemiecku, hiszpańsku, francusku, portugalsku i włosku.

Kiedy odpowiada

Domyślnie odpowiada tylko wtedy, gdy pominięcie modelu daje realną oszczędność:
  • Cache jest zimny. Gateway pamięta, kiedy każda rozmowa ostatnio trafiła do swojego providera i modelu. Na turę grzecznościową odpowiada tylko wtedy, gdy prompt cache prawdopodobnie wygasł (domyślnie po pięciu minutach, dłużej, gdy request prosi o dłuższy cache) albo provider w ogóle nie cache’uje. Dopóki cache jest ciepły, tura kosztuje głównie tanie odczyty z cache i trafia do modelu jak zwykle.
  • Rozmowa jest wystarczająco duża. Rozmowy poniżej 2000 tokenów trafiają do modelu; oszczędność nie jest warta zastąpienia jego odpowiedzi.
  • Wiadomość jest wyłącznie grzecznościowa. Krótkie wiadomości złożone tylko z podziękowań lub pożegnań. Wszystko, co zawiera pytanie, prośbę lub nową informację, trafia do modelu.
Śledzenie cache wymaga identyfikatora sesji, który GoModel wykrywa automatycznie dla większości klientów; zobacz Utrzymywanie sesji. Rozmowa, której gateway nie obserwował, na przykład nowa sesja albo obsłużona przez inną replikę, jest traktowana jako zimna, chyba że unknown_cache ma wartość warm.

Co zawsze trafia do modelu

Guardrail nie wchodzi w drogę, gdy gotowa odpowiedź mogłaby być błędna:
  • oczekujące wyniki narzędzi lub funkcji oraz treści inne niż tekst wysłane z turą
  • tura tuż po pytaniu asystenta, gdzie „dzięki” może znaczyć „tak, działaj”
  • wymuszone wywołania narzędzi i ustrukturyzowane odpowiedzi
  • requesty Responses ze stanem po stronie providera; na turę Responses guardrail odpowiada tylko przy "store": false
Potwierdzenia takie jak „ok”, „super” czy „jasne” domyślnie nie dostają odpowiedzi, bo często znaczą „działaj” w odniesieniu do tego, co zaproponował asystent. Włączysz je przez reply_to_acknowledgments.

Włączenie

Dodaj regułę do sekcji guardrails w config/config.yaml:
Podziękowania i pożegnania spełniające powyższe warunki dostają teraz gotową odpowiedź bez kosztu inferencji. Reguły z config.yaml trafiają do domyślnego workflow; własny workflow uruchamia regułę tylko wtedy, gdy odwołuje się do niej jeden z jego kroków fazy prompt. Regułę możesz też utworzyć w Plugins & Guardrails w Dashboardzie, który pokazuje każde ustawienie z opisem.

Główne ustawienia

Ustawienia umieszczasz pod kluczem config: reguły:
Pełną listę, w tym własne teksty odpowiedzi, dodatkowe frazy i opcjonalny model decyzyjny dla sformułowań spoza wbudowanej listy, zwraca GET /admin/guardrails/types i pokazuje Dashboard. Odpowiedzi grzecznościowe należą do uprawnienia licencyjnego kompresji. Bez niego skonfigurowana reguła nadal się ładuje i przepuszcza każdy request.
Ostatnia modyfikacja 18 listopada 2026