Was es tut
Wenn ein Nutzer eine lange Unterhaltung mit „Danke!“ oder „Tschüss“ beendet, sendet der Client die gesamte Unterhaltung an das Modell, nur um „Gern geschehen!“ zurückzubekommen. Ist der Prompt-Cache des Providers bis dahin abgelaufen, wird diese Ein-Wort-Nachricht als voller Kontext zum vollen Preis abgerechnet. Die Guardrailcourtesy_reply erkennt solche Nachrichten und beantwortet sie
im Gateway, sodass die Unterhaltung nicht erneut gesendet wird. Standardmäßig
ist die Antwort ein fester Text und nichts erreicht einen Provider; mit
reply: model gehen nur die letzten Nachrichten an ein kleines reply_model.
Sie funktioniert
mit /v1/chat/completions, /v1/responses und /v1/messages und erkennt
Dank und Abschied auf Englisch, Polnisch, Deutsch, Spanisch, Französisch,
Portugiesisch und Italienisch.
Wann sie antwortet
Standardmäßig antwortet sie nur, wenn das Überspringen des Modells echtes Geld spart:- Der Cache ist kalt. Das Gateway merkt sich, wann jede Unterhaltung zuletzt ihren Provider und ihr Modell erreicht hat. Eine Höflichkeitsnachricht wird nur beantwortet, wenn der Prompt-Cache wahrscheinlich abgelaufen ist (standardmäßig nach fünf Minuten, länger, wenn der Request einen längeren Cache anfordert) oder der Provider gar nicht cacht. Solange der Cache warm ist, kostet die Nachricht vor allem günstige Cache-Lesezugriffe und geht wie gewohnt an das Modell.
- Die Unterhaltung ist groß genug. Unterhaltungen unter 2.000 Tokens gehen an das Modell; die Einsparung lohnt es nicht, seine Antwort zu ersetzen.
- Die Nachricht ist reine Höflichkeit. Kurze Nachrichten, die nur aus Dankes- oder Abschiedsfloskeln bestehen. Alles mit einer Frage, einer Bitte oder neuen Informationen geht an das Modell.
unknown_cache nicht auf
warm steht.
Was immer das Modell erreicht
Die Guardrail hält sich heraus, wann immer eine vorgefertigte Antwort falsch sein könnte:- ausstehende Tool- oder Funktionsergebnisse sowie Nicht-Text-Inhalte in der Nachricht
- eine Nachricht direkt nach einer Frage des Assistenten, bei der „Danke“ „Ja, mach weiter“ bedeuten kann
- erzwungene Tool-Aufrufe und strukturierte Ausgaben
- providerseitig zustandsbehaftete Responses-Requests; eine Responses-Nachricht
wird nur mit
"store": falsebeantwortet
reply_to_acknowledgments.
Aktivieren
Fügen Sie dem Abschnittguardrails in config/config.yaml eine Regel hinzu:
config.yaml gehören
zum Standard-Workflow; ein eigener Workflow
führt die Regel nur aus, wenn einer seiner Prompt-Schritte auf sie verweist.
Sie können die Regel auch unter
Plugins & Guardrails im Dashboard anlegen, das jede Einstellung mit
Hilfetext zeigt.
Wichtigste Einstellungen
Einstellungen gehören unter den Schlüsselconfig: der Regel:
Die vollständige Liste, einschließlich eigener Antworttexte, zusätzlicher
Phrasen und eines optionalen Entscheidungsmodells für Formulierungen, die die
eingebaute Liste nicht kennt, liefert
GET /admin/guardrails/types; das
Dashboard zeigt sie ebenfalls.
Höflichkeitsantworten gehören zur Compression-Berechtigung. Ohne sie wird
eine konfigurierte Regel trotzdem geladen und lässt jeden Request durch.