Bei Software Craftership waren automatisierte Tests ein unverzichtbarer Bestandteil der Entwicklung – ein Handwerk, das in der aktuellen Begeisterung für KI-Systeme oft vernachlässigt wird. Doch das muss nicht so bleiben. In dieser Session liegt der Fokus auf der Integration automatisierter Tests in KI-Agentensysteme. Thomas Blank zeigt, wie semantische Ähnlichkeitsprüfungen und LLM-basierte Metriken in Testumgebungen eingebettet werden können, um die Zuverlässigkeit und Sicherheit von Anwendungen zu gewährleisten. Darüber hinaus wird er erläutern, wie Tools wie promptfoo dazu beitragen, Red Teaming für KI-Agenten durchzuführen und wie maßgeschneiderte KPIs entwickelt werden können, um diese Systeme effektiv vor böswilligen Angriffen zu schützen.

Zielpublikum: Softwareentwickler:innen aller Erfahrungsstufen, die bereits jetzt schon oder in Zukunft von ihren Stakeholdern aufgetragen bekommen, Large Language Models und Agentensysteme in ihre Projekte zu integrieren.
Voraussetzungen: Basiswissen über die Nutzung von LLMs, gegebenenfalls Erfahrungen mit der Verwendung ihrer APIs.
Level: Basic