Den Sprung in die Zukunft wagen!
Das Thema Generative AI ist auf einem rasanten Vormarsch und hat die Softwareentwicklung erreicht. Das gilt auch für das Testen von Software. Es ist absehbar, dass sich alle in die Qualitätssicherung involvierten Personen mit den Techniken von KI und insbesondere Generative AI auseinandersetzen müssen, um die damit einhergehenden Vorteile zu nutzen.
Der InfoDay Generative AI Testing gibt einen Überblick zu alledem, was schon heute möglich ist, aber auch zu dem, worin die mit Large Language Models (LLMs) genutzten Techniken noch scheitern.
Sollen Tester, Testmanager und andere Qualitätsverantwortliche jetzt den Sprung in die Zukunft wagen und den Einsatz von KI für Testing und QA in Betracht ziehen? Unsere Online-Konferenz am 3. Juli 2024 gibt die Antworten.
Die Themen im Überblick
Die Vorträge des InfoDay Generative AI Testing geben Antworten auf folgende Fragen:
- Was sind die offensichtlichen Vorteile von Generative AI für das Testing?
- Wo scheitert generative KI noch?
- Adaptive Testgenerierung mit LLMs: Wie lassen sich Unit-Tests und Testdaten mit KI generieren?
- Welche Ansätze gibt es zur Überprüfung der Qualität von LLMs?
- Wie muss gutes Prompting beim Testing aussehen?
- Wann können Fuzz-Testing und Generative AI für eine skalierbare Teststrategie sorgen?
- Was sind die wichtigsten Tools und Helferlein beim automatisiertem Testen mit Generative AI?
- Wie verändert Generative AI die Rolle des Testers?
Das Programm
In sechs Fachvorträgen à 45 Minuten katapultieren Sie Ihr Wissen auf das nächste Level. Tauchen Sie tiefer ein in die Materie ein und tauschen Sie sich im Anschluss eines Talks mit dem Speaker oder den anderen Teilnehmenden in einer 15-minütigen Live-Q&A aus. Stellen Sie Fragen oder gehen Sie auf Ihre aktuellen beruflichen Herausforderungen ein.
- Mittwoch
03.07.
Alexander Neumann ist Chief Content Officer bei SIGS DATACOM. In dieser Position ist er verantwortlich für die inhaltliche Ausrichtung des IT-Medienhauses. Zuvor baute er bei Heise Medien den Online-Channel heise Developer auf und das damit verbundene Developer-Konferenz-Business. Zuletzt war er bei Heise als Head of Events für das gesamte Events-Business zuständig.
Wenn über KI geredet wird, ist meist ein LLM gemeint. Auch andere KIs, wie eine Support Vector Machine können uns in unserer täglichen Testerarbeit unterstützen. Wie uns LLMs, aber auch andere KIs helfen können, zeige ich anhand mehrerer Praxisbeispiele auf. Zunächst schauen wir auf die Problemstellung im Projekt, dann wird die Lösung und wie wir dabei KI eingesetzt haben gezeigt. Dabei gehe ich außerdem auf viele Tools ein, die KI-Bestandteile haben, wo ihre Stärken und Schwächen liegen und worauf zu achten ist, wenn wir diese Tools in ihrem Projekt einsetzen wollen.
Mehr Inhalte dieses Speakers? Schaut doch mal bei sigs.de vorbei: https://www.sigs.de/autor/nils.roettger
Nils Röttger hat an der Universität in Göttingen Informatik studiert. Bereits während des Master-Studiums lag sein Schwerpunkt im Themengebiet Softwaretest und Qualitätssicherung, in dem er seit über 15 Jahren tätig ist. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Seniorberater und Projektleiter. Bei imbus ist er u.a. für die fachliche Aus- und Weiterbildung, den Bereich Mobile Testing verantwortlich und ist Scrum Master im internen KI-Team. Außerdem beschäftigt er sich immer wieder mit neuen Themen und berichtet darüber in vielen Vorträgen, zuletzt insbesondere mit Bezug zur künstlichen Intelligenz.
Herkömmliche Testverfahren funktionieren nicht mit Chatbots und RAG-Anwendungen (Chat with your data)! Der einfache Vergleich eines Outputs mit einer optimalen Antwort ist aufgrund der statistischen Natur von LLMs und ihrer Tendenz zu Halluzinationen unmöglich. Außerdem sind Tests aufgrund der Subjektivität und des Umfangs schwierig. Was macht eine gute Antwort aus und wie reagiert ein Chatbot, wenn man Fragen außerhalb der definierten Regeln stellt? Wir müssen über neue Testtechniken und daraus resultierende KPIs (Key Performance Indicators) nachdenken, um die Zuverlässigkeit, Genauigkeit, Glaubwürdigkeit und Relevanz der Antworten der Chatbots sicherzustellen. Diese Techniken befinden sich noch in der Erforschung und müssen möglicherweise an spezifische Anwendungsfälle angepasst werden.
Wir werden den aktuellen Stand der Forschung in Bezug auf Chatbot-Tests umreißen, eine Reihe von KPIs vorstellen, die für Chatbots wichtig sind, den Stand der Test-Frameworks demonstrieren und mit einem Ausblick auf zukünftige Entwicklungen schließen.
Sebastian Macke ist Computerenthusiast mit einer Leidenschaft für die Softwareentwicklung und hat Physik studiert und promoviert. Er interessiert sich für alle computernahen Bereiche und hat Kenntnisse in physikalischen Simulationen, Architekturoptimierung, Parallelisierung, Programmierung grafischer Benutzeroberflächen, Webprogrammierung, Reverse Engineering, Sicherheit, Computeremulationen und schließlich KI. Er interessiert sich seit den späten 90er-Jahren für maschinelles Lernen. Zu sehen, wie diese Technologie gerade jetzt explodiert, ist sowohl aufregend als auch bestätigend. Er konzentriert sich derzeit in seinem Arbeitsleben auf dieses Thema.
Pattern thinking is a natural human way of making sense of the world. We recognise patterns in problems to associate them with patterns in solutions. This idea is not to be confused with being confined to making use of named patterns identified by others.
Away from the world of mnemonics and cheat sheets for prompt engineering, I explore basic anatomy of prompting in this talk. Along the way, I discuss applied pattern thinking in prompt engineering so that you are not cramming patterns - you are creating them, you are engineering your own.
I take Test Design as a case study, but in large parts, the talk is applicable to anyone interested in prompt engineering.
Rahul Verma is an awarded thought leader for his contributions to the testing community. He is a Senior Coach and Consultant with trendig technology services gmbh. He is the creator of Arjuna – a free, open-source Python based modern test automation framework. He is a contributing author and reviewer for various certification bodies including Artificial Intelligence United, Selenium United, ISTQB and CMAP.
His software testing experience includes using LLMs for test design and reviews, building test automation frameworks in Python and Java, web security, white box testing and web performance testing. His research work focuses on object oriented design patterns as applied to test automation and extending them into general purpose models.
He has presented, published articles and educated thousands of testers in the said areas. His testing ideas and work are deeply influenced by his deep interest in poetry and spirituality.
Building secure and reliable software is an essential and challenging endeavor that requires extensive testing. Due to development teams' time and resource constraints, testing falls short, and necessary tests are even skipped altogether. Feedback-based fuzzing is the most practical dynamic testing method to find bugs and security vulnerabilities in software. In this talk, I'll provide an overview of fuzzing and show how we can leverage large language models to generate the test harnesses needed for fuzzing automatically. This enables an automated and scalable testing strategy for modern software.
Khaled Yakdan is the Chief Scientist and Co-Founder at Code Intelligence. Holding a Ph.D. in Computer Science and having spent over nine years in academia, Khaled now oversees the implementation of research outcomes in AI, usable security, and vulnerability detection into Code Intelligence’s products. He worked and contributed to research in reverse engineering, vulnerability finding, and concolic executions. His papers are published at top-tier international security conferences.
Der Vortrag untersucht, inwieweit künstliche Intelligenz beim Test von Webseiten auf Barrierefreiheit helfen kann. Im Fokus steht die generelle Anwendbarkeit und das Potenzial von KI-Technologien, um den Prozess des Barrierefreiheitstestens zu vereinfachen. Dabei wird erörtert, wie KI-gestützte Methoden dazu beitragen können, die Effizienz und Effektivität der Tests zu steigern, indem sie manuelle Vorgänge ergänzen oder sogar ersetzen. Der Vortrag bietet Einblicke in den Entwicklungsstand eines Werkzeugs und zeigt, in welchen Bereichen der Einsatz von KI besonders vielversprechend ist und wo noch Herausforderungen bestehen.
Dr. Valentin Dallmeier studierte in Passau und Saarbrücken Informatik und promovierte am Lehrstuhl für Softwaretechnik in Saarbrücken. In seiner Doktorarbeit kombinierte er Testfallgenerierung mit Techniken der Modellextraktion – eine Leistung, die 2010 mit dem Ernst-Denert-Preis als beste Dissertation der Softwaretechnik im deutschsprachigen Raum für ihre Praxisrelevanz ausgezeichnet wurde. Die erforschten Techniken führten zur Gründung der Testfabrik, in deren Vorstand er seit 2013 innovative Werkzeuge zur Testautomatisierung entwickelt.
Die dynamische Fortentwicklung von KI-Technologien, einschließlich ChatGPT und Gemini, kündigt eine Ära des Wandels in der Welt des Softwaretestens an. Die weite Verbreitung dieser Sprachmodelle unterstreicht die umwälzende Wirkung der KI auf unser Fachgebiet. Es steht außer Frage, dass wir uns mit innovativen Testmethoden und neuen Technologien auseinandersetzen müssen, vor allem im Hinblick auf KI-basierte Systeme. Solche Systeme beginnen bereits, die Tätigkeiten von Softwaretesterinnen und -testern zu verändern, da sie in der Lage sind, bestimmte Aufgaben zu übernehmen, die zuvor spezialisiertes menschliches Wissen voraussetzten.
Aber welche langfristigen Konsequenzen wird dies nach sich ziehen? Wie wird sich die Funktion des Testens in den kommenden Jahren wandeln, und bleibt das herkömmliche Softwaretesten weiterhin von Bedeutung? Diese zentralen Fragen werden im Vortrag von Florian Fieber erörtert.
Er wird einen Einblick in den derzeitigen Zustand der KI-gestützten Testautomatisierung geben, mögliche Entwicklungen für die Zukunft aufzeigen und versuchen, überzeugende Antworten auf diese komplexen Fragen zu liefern. Ziel ist es, nicht nur die Chancen, sondern auch die Beschränkungen der Automatisierung
Mehr Inhalte dieses Speakers? Schaut doch mal bei sigs.de vorbei: https://www.sigs.de/autor/Florian.Fieber
Florian Fieber verantwortet als Chief Process Officer bei der TestSolutions GmbH neben dem Testprozessmanagement der gesamten Organisation auch den Schulungsbereich mit der “QualityDojo – TestSolutions Academy”. Er ist seit knapp 20 Jahren im Bereich der Qualitätssicherung von Softwaresystemen tätig und hat in dieser Zeit mehrere Trainings- und Beratungsunternehmen (mit-)gegründet. Seine Schwerpunkte als Berater und Trainer liegen im Testmanagement, Testprozessmanagement sowie der Testprozessverbesserung.
Nach dem Studium der Medieninformatik sowie Information Systems arbeitete er zunächst als Softwareentwickler für Enterprise-Anwendungen sowie als wissenschaftlicher Mitarbeiter an der Berliner Hochschule für Technik. Seine Schwerpunkte entwickelten sich seitdem von der Testanalyse über die Testautomatisierung zum Testmanagement und der Prozessverbesserung und umfassen heute alle qualitätssichernden Aspekte im gesamten Softwarelebenszyklus.
Er ist seit 2018 Mitglied im German Testing Board e.V. (GTB) und engagiert sich dort u.a. als Leiter der Arbeitsgruppe Acceptance Testing und als stellvertretender Leiter der Arbeitsgruppe Glossar sowie in den Arbeitsgruppen Agile und Mobile. Von 2020 bis 2022 war er stellvertretender Vorsitzender und seit 2022 ist er Vorsitzender des GTB.
Was sind Ihre Vorteile?
Sechs Vorträge mit renommierten Experten
Bequeme Online-Teilnahme vom eigenen Schreibtisch aus
Die Vortragsinhalte sind am Puls der Zeit und behandeln wichtige Themen sowie neue Trends
Stellen Sie den Expert:innen Fragen via Chat und Zoom
Unbefristeter Zugang zu allen Videos und Materialien
Zielgruppen
- Qualitätsverantwortliche
- Tester:innen
- Testmanager:innen
- IT-Projektleiter:innen
Kontakt
Tel.: +49 2241 2341-100
E-Mail: konferenzen(at)sigs-datacom.de
ENTDECKEN SIE DAS NEUE FACHPORTAL FÜR IT-PROFIS!
SIGS.de bietet Themenvielfalt und Know-how von Profis für Profis!
Sie erhalten beispielhafte Anregungen, praxisnahe Fachinformationen, die neusten Trends und Hintergrundwissen in exklusiven Themen-Channels und Fachartikeln zu: Softwarearchitektur, Development, AI, Cloud-Computing, IT-Sicherheit und vielen weiteren Schwerpunktthemen.