
Konferenzprogramm
Die Sprecherinnen und Sprecher der InfoDays Generative AI für Developer präsentieren, implementieren und diskutieren mit den Teilnehmenden alles von A wie Agents, über Large Language Models, Embeddings, RAG, Fine-Tuning, Frameworks wie Langchain und LlamaIndex bis hin zu Z wie Zero-Shot Prompting.
Track: Track 1
- Montag
27.05. - Dienstag
28.05.
Dank leistungsstarker Libraries wie LangChain und LlamaIndex lassen sich erste eigene Generative-AI-Anwendungen auf Hello-World-Niveau mit nur wenigen Zeilen Code realisieren. Genauso schnell stoßen diese ersten Gehversuche aber auch an ihre Grenzen. Denn die Realität wartet mit Herausforderungen auf, die sich mit diesem trivialen Ansatz nicht so einfach lösen lassen. Was aber braucht es für eine Generative-AI-Anwendung auf Enterprise-Niveau? Eine Generative AI Architecture muss her.
Im Rahmen der Session bauen wir Schritt für Schritt eine komplexe Generative-AI-Anwendung auf. Beginnend mit einem minimalistischen RAG-System schauen wir uns verschiedene Herausforderungen an und diskutieren dazu passende Lösungsansätze. Am Ende steht eine Architektur, die den Herausforderungen der Realität Stand hält.
Tim Wüllner arbeitet als Machine Learning Engineer in Oldenburg. Nach mehreren Jahren in der Forschung im Bereich der autonomen Schifffahrt, führte ihn sein Verlangen nach praxis-orientierter Arbeit zur OPEN KNOWLEDGE GmbH. Hier wechselte der Fokus dann von zunächst "klassischer" Webentwicklung im Front- und Backend zu Machine Learning spezifischen Aufgaben, insbesondere der Computer Vision und der Anwendung von Large Language Models. In der Verknüpfung von Webentwicklung und Machine Learning steckt großes Potential, welches Tim in verschiedenen Kundenprojekten bestmöglich ausschöpfen möchte.
Während Generative AI aktuell viele Bereiche der Wirtschaft revolutioniert, bietet sie auch denen, die IT-Systeme angreifen, neue Werkzeuge und Einfallstore. Dieser Vortrag zeigt, wie Angreifer GenAI für ihre Zwecke einsetzen und über Schwachstellen in diesen Systemen nachdenken, diese aufspüren und ausnutzen. Es werden aktuelle Trends der Bedrohungslage besprochen und daraus abgeleitet, auf welche Bereiche sich Sicherheitsbemühungen fokussieren sollten und welche aktuellen Maßnahmen es gegen diese Bedrohungen gibt. Dies wird anhand von echten Angriffen und Ausschnitten aus dem Darknet illustriert. Dieser Vortrag hat zum Ziel, ein plastisches Bild von Angreifern zu zeichnen, welches allen, die GenAI-Anwendungen entwickeln, implementieren und nutzen, dabei hilft, für deren Sicherheit zu sorgen.
Zielpublikum: Jeder, der GenAI entwickelt oder implementiert. Damit der Gedanke an Sicherheit von "Ach, wird schon ..." zu "Ist das gut genug, um einen Angreifer aufzuhalten ist?" wird.
Voraussetzungen: Grundlegendes Verständnis über die Verwendung und Implementierung von GenAI.
Schwierigkeitsgrad: Advanced
Paul liebt alles, was mit Cybersicherheit und Hacking zu tun hat. Sein neustes Interesse in diesem Bereich gilt der KI-Sicherheit. Er ist IT-Sicherheitsanalyst bei NSIDE ATTACK LOGIC. Er genießt es, von anderen zu lernen und sein Wissen zu teilen. Außerhalb der Infosec-Welt interessiert er sich für Sport, Uhrenreparatur und das Erweitern seines Stapels unvollendeter Projekte, Sprachen und Fähigkeiten, die er versucht hat zu lernen oder aufzubauen.
Angestoßen durch den Erfolg von ChatGPT fragen sich viele Unternehmen, wie man LLMs mit den eigenen Daten anreichern und nutzen kann. Eine Möglichkeit hierfür ist Retrieval Augmented Generation (RAG). Das Ziel unserer GenAI-Reise ist die Entwicklung eines RAG Systems, dessen einzelne Komponenten ohne großen Aufwand an die vielseitigen Anforderungen des Kunden angepasst werden können. Für den Bau eines solchen RAGs existieren bereits einige Frameworks, wie LangChain, LlamaIndex, oder haystack, die dies ermöglichen. Im Vortrag wollen wir von unseren Erfahrungen berichten und Licht in den Framework-Dschungel bringen, indem wir für die jeweiligen Frameworks die Austauschbarkeit einzelner Komponenten, deren praktische Einbindung im Code und generelle Stärken und Schwächen demonstrieren.
Zielpublikum: Softwareentwickler:innen, die sich für die Fähigkeiten von LLMs interessieren oder Retrieval-Augmented Generation in ihren Anwendungen implementieren möchten
Voraussetzungen: Keine
Schwierigkeitsgrad: Advanced
Alina Bos ist Softwareingenieurin mit Fokus auf Data Science sowie Machine Learning. Sie ist Gründerin der "Data Science und Machine Learning"-Community von Accso und beschäftigt sich seit kurzem mit Retrieval Augmented Generation (RAG).
Patrick Klaus ist Software Engineer bei Accso. Nach seinem erfolgreich abgeschlossenen Masterstudium beschäftigt er sich seit kurzem mit RAG-Systemen (Retrieval Augmented Generation). Dabei liegt sein Fokus vor allem auf der modularen Architektur und der flexiblen Erweiterung und Anpassung der Pipelines.
Texte, Code oder Bilder: KI-Generatoren kommen zunehmend mehr im beruflichen Alltag an. Doch mit der professionellen Nutzung steigt zugleich der Wunsch nach Rechtssicherheit bei der Anwendung der neuen Technologie. Der Vortrag befasst sich mit den rechtlichen Herausforderungen und Chancen des Einsatzes von KI in Unternehmen, insbesondere im Hinblick auf das Urheberrecht und den Datenschutz.
Unter anderem werden Hilfestellungen zu folgenden Fragen gegeben:
- Welche Daten darf man eingeben?
- Darf man Ergebnisse frei verwenden und veröffentlichen?
- Wer ist eigentlich der Autor?
- Gibt es eine Möglichkeit, die eigenen Inhalte vor der Indexierung für KI zu schützen?
- Wann sind Geschäftsgeheimnisse in Gefahr?
Der Vortrag gibt einen Überblick über die relevanten Rechtsgebiete und praktische Handlungsempfehlungen für den Einsatz von KI.
Dr. Michael Koch ist Diplom-Wirtschaftsjurist (FH) und promovierte mit dem Dissertationsthema "Völkerrechtliche Fragen des Cyberwar". Bis 2020 war er in einer Beratungsfirma für IT-Sicherheit und Datenschutz in Hannover tätig. Seit Anfang 2020 ist er Mitarbeiter der Rechtsabteilung von Heise Medien. Er ist zertifizierter Datenschutzbeauftragter (TÜV Nord) und als Mentor für Datenschutz in einem Accelerator-Programm für Startups tätig. Darüber hinaus ist Herr Dr. Koch Referent und Autor zu Fragen des Datenschutz-, IT- und KI-Rechts.
Die kritische Infrastruktur wird nach wie vor von Dinosauriersystemen aus dem letzten Jahrtausend getragen. Die Ablösung dieser Altsysteme ist ein drängendes Problem der Digitalisierung in Deutschland. In meinem Projekt musste ich in wenigen Wochen ein 30 Jahre altes System auf Basis von IBM iSeries (AS/400) mit RPG-Code analysieren. Überraschenderweise kannte ChatGPT die RGP-Referenz von IBM. Mithilfe von ChatGPT konnte ich mich schnell einarbeiten und so ein brauchbares Arbeitsverständnis des Systems erreichen. Aber wo Licht ist, ist auch Schatten: ChatGPT hat kein Kontextverständnis, ist unvollständig und neigt zu Fehlschlüssen. Als Vorgeschmack hier der Powermove: ChatGPT nach jeder Antwort grundsätzlich danach fragen, was es falsch gemacht hat. Du wirst überrascht sein!
Zielpublikum: Alle, die ein Altsystem in einer nicht mehr gebräuchlichen Programmiersprache verstehen wollen/dürfen/müssen.
Voraussetzungen: Interesse an alten Programmiersprachen und Systemarchäologie.
Schwierigkeitsgrad: Basic
Martin Binder ist Lead IT-Consultant und seit über 15 Jahren bei der QAware und beschäftigt sich mit der Gestaltung, Konzeption und Entwicklung von Anwendungen. Er formt Ideen genauso gerne wie konkrete technische Architekturen und Datenmodelle. Komplexe Sachverhalte zu analysieren, zu abstrahieren, neu zu denken und zur Umsetzung zu bringen ist sein Schwerpunkt.
Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.
Los geht es mit einer Einführung in die Herausforderungen beim Debugging generativer AI-Workflows und wie diese mit den fortschrittlichen Funktionen von LangFuse und LangSmith bewältigt werden können. Der Schwerpunkt liegt dabei auf der zunehmenden Komplexität von LLM-Anwendungen, die umfangreiche Abstraktionen wie dynamische Prompts, Antworten von Retrievern und Tools, komplexe Chains und Agents nutzen. Hier können die verschachtelten Traces in LangFuse oder LangSmith dabei helfen, das Geschehen besser zu verstehen und die Ursachen von Problemen zu ergründen. Anschließend gehen wir auf die Analyse und das Tracking von Metriken wie Kosten, Latenzzeiten und Qualität der LLMs ein.
Ziel des Talks ist es, den Teilnehmern die Werkzeuge und Kenntnisse an die Hand zu geben, um ihre generativen AI-Workflows effizienter zu gestalten und die Transparenz und Kontrolle über ihre KI-Systeme zu erhöhen.
Marco Frodl ist Principal Consultant für Generative AI bei der Thinktecture AG und konzentriert sich im Bereich der künstlichen Intelligenz auf Generative AI. Ihn fasziniert die Vision, in natürlicher Sprache mit Apps und Devices kommunizieren zu können. Sein Beratungsfokus ist die Entwicklung von AI-Workflows unter Verwendung von LLMs von OpenAI, Anthropic oder Mistral. Er ist Fan von Streamlit, LangChain und LangFuse, weil sich damit komplexe AI-Abläufe kompakt implementieren und fantastisch tracen lassen.
RAG-Anwendungen verknüpfen unternehmensinternes Wissensbasen mit der Leistungsfähigkeit von Large-Language-Modellen (LLMs). In diesem Vortrag erfahren Sie, wie RAG-Systeme aufgebaut sind, welche Probleme sie bei unseren Kunden lösen und welche Grenzen diese Methodik hat. Wir bieten Einblicke aus unseren Projekterfahrungen und zeigen verschiedene Ausbaustufen von RAG-Systemen auf. Dabei stellen wir Retrieval-Techniken wie Query Expansions, HyQE und HyDE vor und diskutieren, wie RAG-Systeme überwacht und kontinuierlich verbessert werden können.
Zielpublikum: Data Scientists, Analysts, Engineers und Entscheider*innen
Voraussetzungen: Basic-Know-how LLMs & Vector Embeddings
Schwierigkeitsgrad: Advanced
Lukas Heidemann ist IT-Berater bei der viadee IT-Unternehmensberatung. Er ist Experte für Generative KI und intelligente Suchsysteme und hat die Entwicklung mehrerer GenAI-Anwendungen geleitet.
Tobias Goerke ist Berater bei der viadee IT-Unternehmensberatung. Als Data Scientist liegen seine Schwerpunkte in der Einführung künstlich intelligenter Systeme und der Erforschung verschiedener Verfahren des erklärbaren Maschinenlernens.
Ein Chabot halluziniert einem Kunden eine sehr großzügige Erstattungsrichtline herbei und ein Richter entscheidet, dass diese KI-Erfindung für die Firma bindend ist. Ein Benutzer "überredet" ein LLM, alles tun zu können, und erhält prompt Zugriff auf sensible Daten. Beides sind Albtraumszenarien für ein Unternehmen. Aber dennoch: Mit dem großen Erfolg von Chatbots und LLM-Apps erhält die Integration von Generative AI in Business-Anwendungen heute eine zentrale Rolle in der Geschäftsstrategie vieler Unternehmen.
In dieser Session beleuchtet Sebastian Gingter, wie wir robuste LLM-basierte Lösungen entwickeln können, die sowohl innovativ als auch sicher sind. Wir diskutieren reale Beispiele von Problemen in Anwendungen, die direkt durch ein LLM entstehen, wie eben Halluzinationen oder Prompt-Injection-Angriffe. Die Teilnehmer sehen, welche Maßnahmen führende Anbieter ergriffen haben, um solche Risiken zu verhindern, und welche konkreten Möglichkeiten sie haben, Generative AI in ihre Schranken zu verweisen und zu einem sicheren, vertrauenswürdigen und wertschöpfenden Bestandteil ihrer Produkte zu machen.
Sebastian Gingter blickt auf über fünfundzwanzig Jahre Erfahrung als professioneller Softwareentwickler zurück. Im Zuge seiner Arbeit als Consultant bei der Thinktecture AG ist sein Blick allerdings fest nach vorne gerichtet: auf die Integration von Generative AI im Businessumfeld und auf moderne (Web-)Technologien sowohl auf dem Client als auch auf dem Server mit C# und .NET. Seit 2008 spricht er mit Spaß und Leidenschaft international auf Konferenzen und publiziert Fachartikel.
Ergebnisse automatischer Security-Quellcodeanalyse-Werkzeuge können ein Softwareprojekt aufgrund ihrer bloßen Anzahl oder Fragestellungen, wie "was ist das eigentlich?", "ist das für uns relevant?" oder "wie sollen wir damit umgehen?" derart überfordern, dass sich der eigentliche Nutzen auflöst oder sogar ins Gegenteil verkehrt. Moderne LLMs könn(t)en hier Abhilfe schaffen – es gilt dabei jedoch, einige Hürden zu nehmen! Wir berichten in diesem Vortag von unseren Erkenntnissen und Erfahrungen im Umgang mit abertausend Findings, den Qualitätsunterschieden verschiedener Large-Language-Modelle bei der Bewertungsdurchführung, den Dos und Don’ts beim Prompt-Engineering und was uns sonst noch so auf dem Weg zur automatisierten Pipeline in die Quere kam.
Zielpublikum: Entwickler:innen, Softwarearchitekt:innen, IT-Security-Berater:innen, Secure-SDLC-Verantwortliche
Voraussetzungen: Grundlegende Kenntnisse hinsichtlich des Einsatzes von LLMs sowie ein grobes Verständnis dafür, was (gängige) Schwachstellen im Quellcode sind, werden vorausgesetzt.
Schwierigkeitsgrad: Advanced
Mirko Richter ist Software-Security-Berater, Sourcecode-Analyse-Spezialist und Schulungsleiter für Grundlagenschulungen bis hin zu Advanced-Coding- und Secure-SDLC-Trainings. Er beschäftigt sich seit Mitte der 90er-Jahre mit Softwareentwicklung, -architektur und -sicherheit. Er ist Sprecher auf Konferenzen und Autor mehrerer Fachartikel.
Mit der fortschreitenden Entwicklung großer Sprachmodelle (LLMs) wird eine neue Epoche durch Flow Engineering eingeleitet. In diesem Vortrag wird der Wandel von Prompt Engineering zu Flow Engineering und dessen Einfluss auf die Automatisierung komplexer Aufgaben in der Softwarearchitektur beleuchtet. Es wird präsentiert, wie Flow Engineering durch Aufteilung in kleinere Schritte und iterative Prozesse die Genauigkeit und Effizienz von LLMs steigert und bei der Schaffung KI-gesteuerter Lösungen hilft, die sich stärker am menschlichen Denk- und Entwicklungsprozess orientieren.
Durch die Analyse spezifischer Beispiele, wie die Implementierung von AutoGen als Agent-Framework und die Nutzung von Generative Agents, wird die tatsächliche Umsetzung und die Verwendung von Flow Engineering im Bereich der KI verdeutlicht. Den Zuhörenden werden die Möglichkeiten dieser Technik für eine fortschrittliche Softwarearchitektur aufgezeigt sowie deren Einfluss auf die Neudefinition der Interaktion zwischen Mensch und Maschine.
Dieser Vortrag wendet sich an Entwickler:innen, Architekt:innen und Fachleute, die an der Verbindung von KI und Softwarearchitektur arbeiten. Wir erkunden gemeinsam, wie Flow Engineering das Feld der Softwareentwicklung umgestaltet und die berufliche Praxis bereichert.
Ilyes Tascou verbindet als AI Software Architect bei Micromata GmbH tiefgreifende Expertise in generativer KI mit praktischer Erfahrung in Softwareentwicklung und agilen Methoden. Seine Spezialgebiete umfassen die Implementierung von Large Language Models und AI Agents sowie die Integration von No-Code Lösungen, womit er Unternehmen bei der digitalen Transformation unterstützt. Mit über acht Jahren Branchenerfahrung und einer Zertifizierung im Projektmanagement steht er an der Spitze der Entwicklung innovativer AI-Strategien und -Lösungen.
KI-Trends von heute sind in unseren Anwendungen die Features von morgen. Doch es dauert, bis diese aus den Forschungslaboren zu uns durchgesickert sind. In diesem Vortrag werfen wir den Blick auf die aktuellen Trends in KI-Forschungslaboren und skizzieren, was dies für die nächste Iteration an KI-Anwendung bedeutet. Themenschwerpunkte sind:
- synthetische Daten: Was ist das Limit von LLM-Destillierung
- langsames Denken (Verlagerung der Rechenleistung vom Training hin zur Inferenz)
- Koppeln von LLM mit Feedback-Systemen
- Foundation Models: Closed Source vs. Open Source
- neue Architekturen: Mamba, xLSTM .. lösen sie die Transformer-Architektur ab?
Zielpublikum: Softwarearchitekt:innen und Entwickler:innen
Voraussetzungen: Grundverständniss über Sprachmodelle
Schwierigkeitsgrad: Advanced
Steve Haupt, an agile software developer at andrena objects, views software development as a quality-driven craft. Fascinated by AI, he explores its implications for software craftsmanship, working on AI projects and developing best practices. Steve focuses on applying Clean Code and XP principles to AI development. He regularly speaks on AI and co-created an AI training course, aiming to bridge traditional software development with modern AI technologies for sustainable solutions.
More content from this speaker? Have a look at sigs.de: https://www.sigs.de/experten/steve-haupt/
Das Trainieren der offenen LLMs wie LLama oder Mistral ist im vergangenen Jahr deutlich einfacher geworden, bringt aber gleichzeitig viele Varianten mit sich. Zu klassischem supervised Finetuning kam low rank adaption, dazu Quantisierung, darauf folgten Direct Preference Optimization und Merging. Die neue Vielfalt der Werkzeuge sorgte nicht nur für einen unerwarteten Variantenreichtum an offenen Modellen, sondern erlaubt es auch jedem von uns, sein eigenes Modell zu erzeugen und zu trainieren, ohne dafür gleich ein Vermögen auszugeben. Wir stellen die Konzepte vor und zeigen, wie man mit einem Nachmittag Arbeit sein eigenes deutschsprachiges Modell erzeugt.
Zielpublikum: Entwickler und andere Interessierte, die eigene deutsche Modelle trainieren wollen.
Voraussetzungen: Keine
Schwierigkeitsgrad: Advanced
Johann-Peter Hartmann ist einer der wenigen Überlebenden der Versuchsreihe "Wie lange überlebt eigentlich ein Hacker, wenn man ihn kontinuierlich mit Managementaufgaben bewirft?". Dazu musste er Firmen gründen und führen, investieren und dabei viele Fehler machen. Trotz der daraus resultierenden Herausforderungen für geistige Gesundheit sind die Grundfunktionen und Restkompetenz eines Hackers erhaltengeblieben und dominieren den Blick auf Themen wie AI, Architektur, Leadership, Agile, DevOps und natürlich Security.