•  
Generative AI Testing
Wie GenAI bei der Qualitätssicherung helfen kann
3. Juli 2024 | Online
menu

Generative AI Testing


Wie sich durch KI das Testing verändert


Den Sprung in die Zukunft wagen!

Das Thema Generative AI ist auf einem rasanten Vormarsch und hat die Softwareentwicklung erreicht. Das gilt auch für das Testen von Software. Es ist absehbar, dass sich alle in die Qualitätssicherung involvierten Personen mit den Techniken von KI und insbesondere Generative AI auseinandersetzen müssen, um die damit einhergehenden Vorteile zu nutzen.

Der InfoDay Generative AI Testing gibt einen Überblick zu alledem, was schon heute möglich ist, aber auch zu dem, worin die mit Large Language Models (LLMs) genutzten Techniken noch scheitern.

Sollen Tester, Testmanager und andere Qualitätsverantwortliche jetzt den Sprung in die Zukunft wagen und den Einsatz von KI für Testing und QA in Betracht ziehen? Unsere Online-Konferenz am 3. Juli 2024 gibt die Antworten.

 

Die Themen im Überblick

Die Vorträge des InfoDay Generative AI Testing geben Antworten auf folgende Fragen:

  • Was sind die offensichtlichen Vorteile von Generative AI für das Testing?
  • Wo scheitert generative KI noch?
  • Adaptive Testgenerierung mit LLMs: Wie lassen sich Unit-Tests und Testdaten mit KI generieren?
  • Welche Ansätze gibt es zur Überprüfung der Qualität von LLMs?
  • Wie muss gutes Prompting beim Testing aussehen?
  • Wann können Fuzz-Testing und Generative AI für eine skalierbare Teststrategie sorgen?
  • Was sind die wichtigsten Tools und Helferlein beim automatisiertem Testen mit Generative AI?
  • Wie verändert Generative AI die Rolle des Testers?

 

Das Programm

In sechs Fachvorträgen à 45 Minuten katapultieren Sie Ihr Wissen auf das nächste Level. Tauchen Sie tiefer ein in die Materie ein und tauschen Sie sich im Anschluss eines Talks mit dem Speaker oder den anderen Teilnehmenden in einer 15-minütigen Live-Q&A aus. Stellen Sie Fragen oder gehen Sie auf Ihre aktuellen beruflichen Herausforderungen ein.

Track: Vortrag

Nach Tracks filtern
Alle ausklappen
  • Mittwoch
    03.07.
09:00 - 09:15
Begrüßung
Begrüßung

Alexander Neumann ist Chief Content Officer bei SIGS DATACOM. In dieser Position ist er verantwortlich für die inhaltliche Ausrichtung des IT-Medienhauses. Zuvor baute er bei Heise Medien den Online-Channel heise Developer auf und das damit verbundene Developer-Konferenz-Business. Zuletzt war er bei Heise als Head of Events für das gesamte Events-Business zuständig.

Alexander Neumann
Alexander Neumann
Track: Vortrag
Vortrag: Opening
flag VORTRAG MERKEN

Vortrag Teilen

09:15 - 10:00
KI in der Qualitätssicherung
KI in der Qualitätssicherung

Wenn über KI geredet wird, ist meist ein LLM gemeint. Auch andere KIs, wie eine Support Vector Machine können uns in unserer täglichen Testerarbeit unterstützen. Wie uns LLMs, aber auch andere KIs helfen können, zeige ich anhand mehrerer Praxisbeispiele auf. Zunächst schauen wir auf die Problemstellung im Projekt, dann wird die Lösung und wie wir dabei KI eingesetzt haben gezeigt. Dabei gehe ich außerdem auf viele Tools ein, die KI-Bestandteile haben, wo ihre Stärken und Schwächen liegen und worauf zu achten ist, wenn wir diese Tools in ihrem Projekt einsetzen wollen.

Nils Röttger hat an der Universität in Göttingen Informatik studiert. Bereits während des Master-Studiums lag sein Schwerpunkt im Themengebiet Softwaretest und Qualitätssicherung, in dem er seit über 15 Jahren tätig ist. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Seniorberater und Projektleiter. Bei imbus ist er u.a. für die fachliche Aus- und Weiterbildung, den Bereich Mobile Testing verantwortlich und ist Scrum Master im internen KI-Team. Außerdem beschäftigt er sich immer wieder mit neuen Themen und berichtet darüber in vielen Vorträgen, zuletzt insbesondere mit Bezug zur künstlichen Intelligenz.

Nils Röttger
Nils Röttger
Track: Vortrag
Vortrag: V1
flag VORTRAG MERKEN

Vortrag Teilen

10:15 - 11:00
Adaptive Testgenerierung mit LLMs
Adaptive Testgenerierung mit LLMs

Für die Entwicklung und Implementierung funktionsfähiger und korrekter Software sind umfangreiche Tests notwendig. Unit-Tests kommen beispielsweise zum Einsatz, um die Funktionalität und Qualität von Code-Teilen sicherzustellen. Zudem basieren diese Tests auf einer nicht unerheblichen Menge an Testdaten, die eine entscheidende Rolle bei der Testqualität spielen. Traditionelle Methoden der Testdatengenerierung sind zeitaufwendig und liefern nicht immer realistische oder abdeckende Datenmengen. 

Mit dem Aufkommen von Sprachmodellen, insbesondere Large Language Models (LLMs) wie GPT-4, ergeben sich neue Möglichkeiten bei der Generierung von Tests und Testdaten. Dieser Vortrag untersucht den Einsatz von LLMs in der Testdatengenerierung und der Generierung von Unit-Tests. Durch das Verstehen von Anforderungen und Kontext bieten LLMs zahlreiche Möglichkeiten bei der Testgenerierung. Darüber hinaus sind adaptive Tests denkbar, um Regressionstests zu erstellen. Andere LLMs, wie das StarCoder-Modell, lassen sich zur Codeerzeugung nutzen und bieten auf diese Weise zusätzliche Möglichkeiten für beispielsweise Unit-Tests an. 

LLMs für die Testgenerierung zu nutzen erzeugt aber, getreu dem Ausdruck "Who Watches the Watchmen?", die Fragestellung, wer die Qualität von LLMs und deren Ergebnissen überprüft. Die Evaluierung von LLMs wird somit immer bedeutender, ist aber gleichzeitig komplex, da sie kreativ ist und von den verwendeten Eingabeaufforderungen (Prompts) abhängig ist. Der Vortrag nähert sich diesen Fragestellungen mit zahlreichen Beispielen zur Erzeugung von Unit-Tests und Testdaten, sowie Ansätzen zur Überprüfung der Qualität von LLMs.

Dr. Fabian Deitelhoff arbeitet nach seiner Promotion zu "Source Code Comprehension" als IT-Leiter, Head of Software Development und Head of Product bei der Education Partners GmbH. Darüber hinaus ist er mit brickobotik in der MINT-Bildung und mit Loosely.Ruhr in der Cross-Plattform-Softwareentwicklung tätig. Seine Schwerpunkte sind Low- und No-Code sowie digitale Geschäftsmodelle.

Daneben ist er als freier Autor, Dozent und Softwareentwickler im .NET- und Web-Umfeld tätig. 

Mehr Inhalte dieses Speakers? Schaut doch mal bei sigs.de vorbei: https://www.sigs.de/autor/Fabian.Deitelhoff

Fabian Deitelhoff
Fabian Deitelhoff
Track: Vortrag
Vortrag: V2
flag VORTRAG MERKEN

Vortrag Teilen

11:15 - 12:00
Pattern Thinking for Prompt Engineers: A Case Study in Test Design
Pattern Thinking for Prompt Engineers: A Case Study in Test Design

Pattern thinking is a natural human way of making sense of the world. We recognise patterns in problems to associate them with patterns in solutions. This idea is not to be confused with being confined to making use of named patterns identified by others.

Rahul Verma is an awarded thought leader for his contributions to the testing community. He is a Senior Coach and Consultant with trendig technology services gmbh. He is the creator of Arjuna – a free, open-source Python based modern test automation framework. He is a contributing author and reviewer for various certification bodies including Artificial Intelligence United, Selenium United, ISTQB and CMAP.

His software testing experience includes using LLMs for test design and reviews, building test automation frameworks in Python and Java, web security, white box testing and web performance testing. His research work focuses on object oriented design patterns as applied to test automation and extending them into general purpose models.

He has presented, published articles and educated thousands of testers in the said areas. His testing ideas and work are deeply influenced by his deep interest in poetry and spirituality.

Rahul Verma
Rahul Verma
Track: Vortrag
Vortrag: V3
flag VORTRAG MERKEN

Vortrag Teilen

13:15 - 14:00
Unit tests on steroids: leveraging fuzz testing and generative AI for a scalable testing strategy
Unit tests on steroids: leveraging fuzz testing and generative AI for a scalable testing strategy

Building secure and reliable software is an essential and challenging endeavor that requires extensive testing. Due to development teams' time and resource constraints, testing falls short, and necessary tests are even skipped altogether. Feedback-based fuzzing is the most practical dynamic testing method to find bugs and security vulnerabilities in software. In this talk, I'll provide an overview of fuzzing and show how we can leverage large language models to generate the test harnesses needed for fuzzing automatically. This enables an automated and scalable testing strategy for modern software.

Khaled Yakdan is the Chief Scientist and Co-Founder at Code Intelligence. Holding a Ph.D. in Computer Science and having spent over nine years in academia, Khaled now oversees the implementation of research outcomes in AI, usable security, and vulnerability detection into Code Intelligence’s products. He worked and contributed to research in reverse engineering, vulnerability finding, and concolic executions. His papers are published at top-tier international security conferences.

Khaled Yakdan
Khaled Yakdan
Track: Vortrag
Vortrag: V4
flag VORTRAG MERKEN

Vortrag Teilen

14:15 - 15:00
TBA
TBA

Weitere Informationen folgen in Kürze.

Track: Vortrag
Vortrag: V5
flag VORTRAG MERKEN

Vortrag Teilen

15:15 - 16:00
Wie verändert Generative AI die Rolle des Testers?
Wie verändert Generative AI die Rolle des Testers?

Die dynamische Fortentwicklung von KI-Technologien, einschließlich ChatGPT und Gemini, kündigt eine Ära des Wandels in der Welt des Softwaretestens an. Die weite Verbreitung dieser Sprachmodelle unterstreicht die umwälzende Wirkung der KI auf unser Fachgebiet. Es steht außer Frage, dass wir uns mit innovativen Testmethoden und neuen Technologien auseinandersetzen müssen, vor allem im Hinblick auf KI-basierte Systeme. Solche Systeme beginnen bereits, die Tätigkeiten von Softwaretesterinnen und -testern zu verändern, da sie in der Lage sind, bestimmte Aufgaben zu übernehmen, die zuvor spezialisiertes menschliches Wissen voraussetzten.

Aber welche langfristigen Konsequenzen wird dies nach sich ziehen? Wie wird sich die Funktion des Testens in den kommenden Jahren wandeln, und bleibt das herkömmliche Softwaretesten weiterhin von Bedeutung? Diese zentralen Fragen werden im Vortrag von Florian Fieber erörtert.

Er wird einen Einblick in den derzeitigen Zustand der KI-gestützten Testautomatisierung geben, mögliche Entwicklungen für die Zukunft aufzeigen und versuchen, überzeugende Antworten auf diese komplexen Fragen zu liefern. Ziel ist es, nicht nur die Chancen, sondern auch die Beschränkungen der Automatisierung

Florian Fieber verantwortet als Chief Process Officer bei der TestSolutions GmbH neben dem Testprozessmanagement der gesamten Organisation auch den Schulungsbereich mit der “QualityDojo – TestSolutions Academy”. Er ist seit knapp 20 Jahren im Bereich der Qualitätssicherung von Softwaresystemen tätig und hat in dieser Zeit mehrere Trainings- und Beratungsunternehmen (mit-)gegründet. Seine Schwerpunkte als Berater und Trainer liegen im Testmanagement, Testprozessmanagement sowie der Testprozessverbesserung.

Nach dem Studium der Medieninformatik sowie Information Systems arbeitete er zunächst als Softwareentwickler für Enterprise-Anwendungen sowie als wissenschaftlicher Mitarbeiter an der Berliner Hochschule für Technik. Seine Schwerpunkte entwickelten sich seitdem von der Testanalyse über die Testautomatisierung zum Testmanagement und der Prozessverbesserung und umfassen heute alle qualitätssichernden Aspekte im gesamten Softwarelebenszyklus.

Er ist seit 2018 Mitglied im German Testing Board e.V. (GTB) und engagiert sich dort u.a. als Leiter der Arbeitsgruppe Acceptance Testing und als stellvertretender Leiter der Arbeitsgruppe Glossar sowie in den Arbeitsgruppen Agile und Mobile. Von 2020 bis 2022 war er stellvertretender Vorsitzender und seit 2022 ist er Vorsitzender des GTB.

Florian Fieber
Florian Fieber
Track: Vortrag
Vortrag: V6
flag VORTRAG MERKEN

Vortrag Teilen

Zurück

Was sind Ihre Vorteile?

Sechs Vorträge mit renommierten Experten

Bequeme Online-Teilnahme vom eigenen Schreibtisch aus

Die Vortragsinhalte sind am Puls der Zeit und behandeln wichtige Themen sowie neue Trends

Stellen Sie den Expert:innen Fragen via Chat und Zoom

Unbefristeter Zugang zu allen Videos und Materialien

Ticketpreis

* Preise verstehen sich als Netto-Preise zzgl. der gesetzlichen Mehrwertsteuer.

Zielgruppen

  • Qualitätsverantwortliche
  • Tester:innen
  • Testmanager:innen
  • IT-Projektleiter:innen

Kontakt

Tel.: +49 2241 2341-100 
E-Mail: konferenzen(at)sigs-datacom.de

ENTDECKEN SIE DAS NEUE FACHPORTAL FÜR IT-PROFIS!

SIGS.de bietet Themenvielfalt und Know-how von Profis für Profis

Sie erhalten beispielhafte Anregungen, praxisnahe Fachinformationen, die neusten Trends und Hintergrundwissen in exklusiven Themen-Channels und Fachartikeln zu Softwarearchitektur, Development, AI, Cloud-Computing, IT-Sicherheit und vielen weiteren Schwerpunktthemen