Wenn über KI geredet wird, ist meist ein LLM gemeint. Auch andere KIs, wie eine Support Vector Machine können uns in unserer täglichen Testerarbeit unterstützen. Wie uns LLMs, aber auch andere KIs helfen können, zeige ich anhand mehrerer Praxisbeispiele auf. Zunächst schauen wir auf die Problemstellung im Projekt, dann wird die Lösung und wie wir dabei KI eingesetzt haben gezeigt. Dabei gehe ich außerdem auf viele Tools ein, die KI-Bestandteile haben, wo ihre Stärken und Schwächen liegen und…

Herkömmliche Testverfahren funktionieren nicht mit Chatbots und RAG-Anwendungen (Chat with your data)! Der einfache Vergleich eines Outputs mit einer optimalen Antwort ist aufgrund der statistischen Natur von LLMs und ihrer Tendenz zu Halluzinationen unmöglich. Außerdem sind Tests aufgrund der Subjektivität und des Umfangs schwierig. Was macht eine gute Antwort aus und wie reagiert ein Chatbot, wenn man Fragen außerhalb der definierten Regeln stellt? Wir müssen über neue Testtechniken und daraus…

Pattern thinking is a natural human way of making sense of the world. We recognise patterns in problems to associate them with patterns in solutions. This idea is not to be confused with being confined to making use of named patterns identified by others.

Away from the world of mnemonics and cheat sheets for prompt engineering, I explore basic anatomy of prompting in this talk. Along the way, I discuss applied pattern thinking in prompt engineering so that you are not cramming patterns - you are…

Building secure and reliable software is an essential and challenging endeavor that requires extensive testing. Due to development teams' time and resource constraints, testing falls short, and necessary tests are even skipped altogether. Feedback-based fuzzing is the most practical dynamic testing method to find bugs and security vulnerabilities in software. In this talk, I'll provide an overview of fuzzing and show how we can leverage large language models to generate the test harnesses needed…

Der Vortrag untersucht, inwieweit künstliche Intelligenz beim Test von Webseiten auf Barrierefreiheit helfen kann. Im Fokus steht die generelle Anwendbarkeit und das Potenzial von KI-Technologien, um den Prozess des Barrierefreiheitstestens zu vereinfachen. Dabei wird erörtert, wie KI-gestützte Methoden dazu beitragen können, die Effizienz und Effektivität der Tests zu steigern, indem sie manuelle Vorgänge ergänzen oder sogar ersetzen. Der Vortrag bietet Einblicke in den Entwicklungsstand eines…

Die dynamische Fortentwicklung von KI-Technologien, einschließlich ChatGPT und Gemini, kündigt eine Ära des Wandels in der Welt des Softwaretestens an. Die weite Verbreitung dieser Sprachmodelle unterstreicht die umwälzende Wirkung der KI auf unser Fachgebiet. Es steht außer Frage, dass wir uns mit innovativen Testmethoden und neuen Technologien auseinandersetzen müssen, vor allem im Hinblick auf KI-basierte Systeme. Solche Systeme beginnen bereits, die Tätigkeiten von Softwaretesterinnen und…