Lektionen aus der Praxis: Wie testet man GenAI-Anwendungen erfolgreich?
Generative AI bietet enorme Potenziale, stellt jedoch besondere Herausforderungen beim Testen und Validieren dar. In dieser Session untersuchen wir praxisnahe Strategien zur Anpassung bewährter Softwaretechnik-Prinzipien an GenAI und zeigen auf, wo neue Ansätze erforderlich sind. Schwerpunktmäßig geht es um:
- Teststrategien für nichtdeterministische Ausgaben
- die Auswahl und den Umgang mit widersprüchlichen Metriken
- Vergleich von Unit-Tests und End-to-End-Tests in der Welt der GenAI
- Evaluation der Evaluatoren
- Techniken zur Bewertung von Modell-Halluzinationen und -Biases
- Performance- und Skalierbarkeitstests
Teilnehmer erhalten konkrete Einblicke, wie man robuste Testpraktiken für GenAI-Anwendungen entwickelt und die Anforderungen moderner KI-Systeme meistert.
Zielpublikum: Entwickler, die AI-Anwendungen entwickeln
Voraussetzungen: Grundlegens Verständnis über Testen in der Softwareentwicklung und über LLMs
Level: Basic
Steve Haupt, an agile software developer at andrena objects, views software development as a quality-driven craft. Fascinated by AI, he explores its implications for software craftsmanship, working on AI projects and developing best practices. Steve focuses on applying Clean Code and XP principles to AI development. He regularly speaks on AI and co-created an AI training course, aiming to bridge traditional software development with modern AI technologies for sustainable solutions.
More content from this speaker? Have a look at sigs.de: https://www.sigs.de/experten/steve-haupt/
Steffen Heberle arbeitet als Softwareentwickler bei der andrena objects ag und hat Erfahrung in der Entwicklung von mathematisch-analytischer Software, Gerätesteuerung und Datenaufnahme, Mobile-Apps und Full-Stack-Webanwendungen. Seit Ende 2022 beschäftigt er sich mit dem Potenzial von LLMs für KI-Anwendungen und deren Einfluss auf die Arbeit von Entwicklungsteams. Gemeinsam mit Kollegen konzipiert er Schulungen und berät Kunden zu diesem Thema.
