Co to robi
Gdy użytkownik kończy długą rozmowę słowem „dzięki!” albo „pa”, klient wysyła do modelu całą rozmowę tylko po to, żeby dostać „Nie ma za co!”. Jeśli prompt cache providera zdążył już wygasnąć, ta jednowyrazowa tura jest rozliczana jako cały kontekst po pełnej cenie. Guardrailcourtesy_reply rozpoznaje takie tury i odpowiada na nie w
gatewayu, więc rozmowa nie jest wysyłana ponownie. Domyślnie odpowiedzią jest
gotowy tekst i nic nie trafia do providera; przy reply: model tylko kilka
ostatnich wiadomości trafia do małego reply_model. Działa na
/v1/chat/completions, /v1/responses i /v1/messages oraz rozpoznaje
podziękowania i pożegnania po angielsku, polsku, niemiecku, hiszpańsku,
francusku, portugalsku i włosku.
Kiedy odpowiada
Domyślnie odpowiada tylko wtedy, gdy pominięcie modelu daje realną oszczędność:- Cache jest zimny. Gateway pamięta, kiedy każda rozmowa ostatnio trafiła do swojego providera i modelu. Na turę grzecznościową odpowiada tylko wtedy, gdy prompt cache prawdopodobnie wygasł (domyślnie po pięciu minutach, dłużej, gdy request prosi o dłuższy cache) albo provider w ogóle nie cache’uje. Dopóki cache jest ciepły, tura kosztuje głównie tanie odczyty z cache i trafia do modelu jak zwykle.
- Rozmowa jest wystarczająco duża. Rozmowy poniżej 2000 tokenów trafiają do modelu; oszczędność nie jest warta zastąpienia jego odpowiedzi.
- Wiadomość jest wyłącznie grzecznościowa. Krótkie wiadomości złożone tylko z podziękowań lub pożegnań. Wszystko, co zawiera pytanie, prośbę lub nową informację, trafia do modelu.
unknown_cache ma wartość warm.
Co zawsze trafia do modelu
Guardrail nie wchodzi w drogę, gdy gotowa odpowiedź mogłaby być błędna:- oczekujące wyniki narzędzi lub funkcji oraz treści inne niż tekst wysłane z turą
- tura tuż po pytaniu asystenta, gdzie „dzięki” może znaczyć „tak, działaj”
- wymuszone wywołania narzędzi i ustrukturyzowane odpowiedzi
- requesty Responses ze stanem po stronie providera; na turę Responses
guardrail odpowiada tylko przy
"store": false
reply_to_acknowledgments.
Włączenie
Dodaj regułę do sekcjiguardrails w config/config.yaml:
config.yaml trafiają do
domyślnego workflow; własny workflow
uruchamia regułę tylko wtedy, gdy odwołuje się do niej jeden z jego kroków
fazy prompt. Regułę możesz też utworzyć w
Plugins & Guardrails w Dashboardzie, który pokazuje każde ustawienie z
opisem.
Główne ustawienia
Ustawienia umieszczasz pod kluczemconfig: reguły:
Pełną listę, w tym własne teksty odpowiedzi, dodatkowe frazy i opcjonalny
model decyzyjny dla sformułowań spoza wbudowanej listy, zwraca
GET /admin/guardrails/types i pokazuje Dashboard.
Odpowiedzi grzecznościowe należą do uprawnienia licencyjnego kompresji. Bez
niego skonfigurowana reguła nadal się ładuje i przepuszcza każdy request.