Konferenzprogramm
Die Sprecherinnen und Sprecher der InfoDays Generative AI für Developer präsentieren, implementieren und diskutieren mit den Teilnehmenden alles von A wie Agents, über Large Language Models, Embeddings, RAG, Fine-Tuning, Frameworks wie Langchain und LlamaIndex bis hin zu Z wie Zero-Shot Prompting.
Track: Track 1
- Montag
27.05. - Dienstag
28.05.
Dank leistungsstarker Libraries wie LangChain und LlamaIndex lassen sich erste eigene Generative-AI-Anwendungen auf Hello-World-Niveau mit nur wenigen Zeilen Code realisieren. Genauso schnell stoßen diese ersten Gehversuche aber auch an ihre Grenzen. Denn die Realität wartet mit Herausforderungen auf, die sich mit diesem trivialen Ansatz nicht so einfach lösen lassen. Was aber braucht es für eine Generative-AI-Anwendung auf Enterprise-Niveau? Eine Generative AI Architecture muss her.
Im Rahmen…
Während Generative AI aktuell viele Bereiche der Wirtschaft revolutioniert, bietet sie auch denen, die IT-Systeme angreifen, neue Werkzeuge und Einfallstore. Dieser Vortrag zeigt, wie Angreifer GenAI für ihre Zwecke einsetzen und über Schwachstellen in diesen Systemen nachdenken, diese aufspüren und ausnutzen. Es werden aktuelle Trends der Bedrohungslage besprochen und daraus abgeleitet, auf welche Bereiche sich Sicherheitsbemühungen fokussieren sollten und welche aktuellen Maßnahmen es gegen…
Angestoßen durch den Erfolg von ChatGPT fragen sich viele Unternehmen, wie man LLMs mit den eigenen Daten anreichern und nutzen kann. Eine Möglichkeit hierfür ist Retrieval Augmented Generation (RAG). Das Ziel unserer GenAI-Reise ist die Entwicklung eines RAG Systems, dessen einzelne Komponenten ohne großen Aufwand an die vielseitigen Anforderungen des Kunden angepasst werden können. Für den Bau eines solchen RAGs existieren bereits einige Frameworks, wie LangChain, LlamaIndex, oder haystack,…
Texte, Code oder Bilder: KI-Generatoren kommen zunehmend mehr im beruflichen Alltag an. Doch mit der professionellen Nutzung steigt zugleich der Wunsch nach Rechtssicherheit bei der Anwendung der neuen Technologie. Der Vortrag befasst sich mit den rechtlichen Herausforderungen und Chancen des Einsatzes von KI in Unternehmen, insbesondere im Hinblick auf das Urheberrecht und den Datenschutz.
Unter anderem werden Hilfestellungen zu folgenden Fragen gegeben:
- Welche Daten darf man eingeben?
- Darf…
Die kritische Infrastruktur wird nach wie vor von Dinosauriersystemen aus dem letzten Jahrtausend getragen. Die Ablösung dieser Altsysteme ist ein drängendes Problem der Digitalisierung in Deutschland. In meinem Projekt musste ich in wenigen Wochen ein 30 Jahre altes System auf Basis von IBM iSeries (AS/400) mit RPG-Code analysieren. Überraschenderweise kannte ChatGPT die RGP-Referenz von IBM. Mithilfe von ChatGPT konnte ich mich schnell einarbeiten und so ein brauchbares Arbeitsverständnis des…
Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.
Los geht es mit einer Einführung in die Herausforderungen beim Debugging…
RAG-Anwendungen verknüpfen unternehmensinternes Wissensbasen mit der Leistungsfähigkeit von Large-Language-Modellen (LLMs). In diesem Vortrag erfahren Sie, wie RAG-Systeme aufgebaut sind, welche Probleme sie bei unseren Kunden lösen und welche Grenzen diese Methodik hat. Wir bieten Einblicke aus unseren Projekterfahrungen und zeigen verschiedene Ausbaustufen von RAG-Systemen auf. Dabei stellen wir Retrieval-Techniken wie Query Expansions, HyQE und HyDE vor und diskutieren, wie RAG-Systeme…
Ein Chabot halluziniert einem Kunden eine sehr großzügige Erstattungsrichtline herbei und ein Richter entscheidet, dass diese KI-Erfindung für die Firma bindend ist. Ein Benutzer "überredet" ein LLM, alles tun zu können, und erhält prompt Zugriff auf sensible Daten. Beides sind Albtraumszenarien für ein Unternehmen. Aber dennoch: Mit dem großen Erfolg von Chatbots und LLM-Apps erhält die Integration von Generative AI in Business-Anwendungen heute eine zentrale Rolle in der Geschäftsstrategie…
Ergebnisse automatischer Security-Quellcodeanalyse-Werkzeuge können ein Softwareprojekt aufgrund ihrer bloßen Anzahl oder Fragestellungen, wie "was ist das eigentlich?", "ist das für uns relevant?" oder "wie sollen wir damit umgehen?" derart überfordern, dass sich der eigentliche Nutzen auflöst oder sogar ins Gegenteil verkehrt. Moderne LLMs könn(t)en hier Abhilfe schaffen – es gilt dabei jedoch, einige Hürden zu nehmen! Wir berichten in diesem Vortag von unseren Erkenntnissen und Erfahrungen im…
Mit der fortschreitenden Entwicklung großer Sprachmodelle (LLMs) wird eine neue Epoche durch Flow Engineering eingeleitet. In diesem Vortrag wird der Wandel von Prompt Engineering zu Flow Engineering und dessen Einfluss auf die Automatisierung komplexer Aufgaben in der Softwarearchitektur beleuchtet. Es wird präsentiert, wie Flow Engineering durch Aufteilung in kleinere Schritte und iterative Prozesse die Genauigkeit und Effizienz von LLMs steigert und bei der Schaffung KI-gesteuerter Lösungen…
KI-Trends von heute sind in unseren Anwendungen die Features von morgen. Doch es dauert, bis diese aus den Forschungslaboren zu uns durchgesickert sind. In diesem Vortrag werfen wir den Blick auf die aktuellen Trends in KI-Forschungslaboren und skizzieren, was dies für die nächste Iteration an KI-Anwendung bedeutet. Themenschwerpunkte sind:
- synthetische Daten: Was ist das Limit von LLM-Destillierung
- langsames Denken (Verlagerung der Rechenleistung vom Training hin zur Inferenz)
- Koppeln von…
Das Trainieren der offenen LLMs wie LLama oder Mistral ist im vergangenen Jahr deutlich einfacher geworden, bringt aber gleichzeitig viele Varianten mit sich. Zu klassischem supervised Finetuning kam low rank adaption, dazu Quantisierung, darauf folgten Direct Preference Optimization und Merging. Die neue Vielfalt der Werkzeuge sorgte nicht nur für einen unerwarteten Variantenreichtum an offenen Modellen, sondern erlaubt es auch jedem von uns, sein eigenes Modell zu erzeugen und zu trainieren,…