Evaluieren und Testen von GenAI-Apps - Ein Bericht aus der Praxis
Im Zeitalter der LLMs werden Entwickler und Tester vor viele Fragen gestellt: Wie teste ich eine GenAI-App mit nicht-deterministischen Outputs? Wie bewerte ich die Qualität einer LLM-generierten Antwort? Was ist überhaupt eine "gute" Antwort? Und wenn ich einen Fehler finde, wie behebe ich ihn? Wir haben keine abschließenden Antworten auf diese Fragen, aber wir zeigen euch anhand von Beispielen aus aktuellen Projekten, wie wir mit diesen Problemen umgehen und was wir gelernt haben.
Marius ist Software Engineer bei cronn. Seit gut zwei Jahren konzipiert und implementiert er Gen-AI-Anwendungen zur Lösung konkreter Problemstellungen. Eine Kernaufgabe dieser Arbeit ist es, die Qualiät von KI-generierten Outputs empirisch mess- und quantifizierbar zu machen.
