Filter

Filter werden verwendet, um Aktionen gegen eingehende Benutzernachrichten und ausgehende Assistenten-Nachrichten (LLM) durchzuführen. Mögliche Aktionen, die in einem Filter durchgeführt werden können, umfassen das Senden von Nachrichten an Überwachungsplattformen (wie Langfuse oder DataDog), das Modifizieren von Nachrichteninhalt, das Blockieren toxischer Nachrichten, das Übersetzen von Nachrichten in eine andere Sprache oder das Ratenlimitieren von Nachrichten bestimmter Benutzer. Eine Liste von Beispielen wird im Pipelines-Repository gepflegt. Filter können als Funktion oder auf einem Pipelines-Server ausgeführt werden. Der allgemeine Arbeitsablauf ist in der untenstehenden Abbildung zu sehen.

Wenn eine Filter-Pipeline für ein Modell oder eine Pipe aktiviert ist, wird die eingehende Nachricht vom Benutzer (oder "Inlet") zur Verarbeitung an den Filter übergeben. Der Filter führt die gewünschte Aktion gegen die Nachricht aus, bevor er die Chat-Vervollständigung vom LLM-Modell anfordert. Abschließend führt der Filter eine Nachbearbeitung der ausgehenden LLM-Nachricht (oder "Outlet") durch, bevor diese an den Benutzer gesendet wird.