Konferenzprogramm
Die Sprecherinnen und Sprecher der InfoDays Generative AI für Developer präsentieren, implementieren und diskutieren mit den Teilnehmenden alles von A wie Agents, über Large Language Models, Embeddings, RAG, Fine-Tuning, Frameworks wie Langchain und LlamaIndex bis hin zu Z wie Zero-Shot Prompting.
- Montag
27.05. - Dienstag
28.05. - Mittwoch
29.05.
In einer Ära, in der generative KI-Modelle immer ausgefeilter werden, untersucht dieser Eröffnungsvortrag die Rolle und die Notwendigkeit von Prompts als Mittel zur Kommunikation und Befehlseingabe. Er wirft einen Blick auf die kommenden Innovationen, die das Feld prägen könnten. Er beleuchtet, wie sich die Beziehung zwischen Mensch und Maschine durch fortschrittlichere und intuitiver Prompting-Methoden transformieren könnte, die über traditionelle und auf natürlichsprachliche Interaktionen,…
Dank leistungsstarker Libraries wie LangChain und LlamaIndex lassen sich erste eigene Generative-AI-Anwendungen auf Hello-World-Niveau mit nur wenigen Zeilen Code realisieren. Genauso schnell stoßen diese ersten Gehversuche aber auch an ihre Grenzen. Denn die Realität wartet mit Herausforderungen auf, die sich mit diesem trivialen Ansatz nicht so einfach lösen lassen. Was aber braucht es für eine Generative-AI-Anwendung auf Enterprise-Niveau? Eine Generative AI Architecture muss her.
Im Rahmen…
Eine Suchfunktion, die nicht frustrierend ist? Kann es so etwas überhaupt geben oder wird das ein ewiger Traum bleiben? Es ist kaum zu glauben. Aber die generische Suche steht vor einer Revolution. Retrieval Augmented Generation, kurz RAG, lautet das neue Zauberwort und ist so neu, dass es noch nicht mal einen eigenen Wikipedia Eintrag hat.
- Was ist es?
- Was kann es?
- Was haben die neuen Sprachmodelle damit zu tun?
- Welche Kernkomponenten hat ein RAG-System?
- Was können wir von der Technologie…
Während Generative AI aktuell viele Bereiche der Wirtschaft revolutioniert, bietet sie auch denen, die IT-Systeme angreifen, neue Werkzeuge und Einfallstore. Dieser Vortrag zeigt, wie Angreifer GenAI für ihre Zwecke einsetzen und über Schwachstellen in diesen Systemen nachdenken, diese aufspüren und ausnutzen. Es werden aktuelle Trends der Bedrohungslage besprochen und daraus abgeleitet, auf welche Bereiche sich Sicherheitsbemühungen fokussieren sollten und welche aktuellen Maßnahmen es gegen…
Angestoßen durch den Erfolg von ChatGPT fragen sich viele Unternehmen, wie man LLMs mit den eigenen Daten anreichern und nutzen kann. Eine Möglichkeit hierfür ist Retrieval Augmented Generation (RAG). Das Ziel unserer GenAI-Reise ist die Entwicklung eines RAG Systems, dessen einzelne Komponenten ohne großen Aufwand an die vielseitigen Anforderungen des Kunden angepasst werden können. Für den Bau eines solchen RAGs existieren bereits einige Frameworks, wie LangChain, LlamaIndex, oder haystack,…
Embeddings, auch bekannt als Embedding-Vektoren, bilden die Grundlage der semantischen Suche. Systeme, die beispielsweise Retrieval Augmented Generation (RAG) nutzen, um Informationen zu suchen und die Antwort durch ein Large Language Model (LLM) formulieren zu lassen, basieren auf diesen. Doch Embeddings bieten weit mehr Möglichkeiten: Sie ermöglichen das schnelle und unkomplizierte Verstehen natürlichsprachlicher Anweisungen. So können wir beispielsweise basierend auf Nutzereingaben die…
Texte, Code oder Bilder: KI-Generatoren kommen zunehmend mehr im beruflichen Alltag an. Doch mit der professionellen Nutzung steigt zugleich der Wunsch nach Rechtssicherheit bei der Anwendung der neuen Technologie. Der Vortrag befasst sich mit den rechtlichen Herausforderungen und Chancen des Einsatzes von KI in Unternehmen, insbesondere im Hinblick auf das Urheberrecht und den Datenschutz.
Unter anderem werden Hilfestellungen zu folgenden Fragen gegeben:
- Welche Daten darf man eingeben?
- Darf…
Erfahren Sie, wie Sie generative KI-Services und -Tools nutzen können, um Ihre Anwendungen mit fortschrittlichen maschinellen Lernfunktionen auszustatten. In diesem Vortrag werden Large-Language- und Foundation-Modelle für Anwendungsentwickler vorgestellt und erklärt, wie diese sich in Amazon Bedrock nutzen lassen, um skalierbare und robuste generative KI-Anwendungen zu erstellen. Markus Weyerhäuser und Joachim Aumann werden Sie durch einen Anwendungsfall führen und wichtige…
Die kritische Infrastruktur wird nach wie vor von Dinosauriersystemen aus dem letzten Jahrtausend getragen. Die Ablösung dieser Altsysteme ist ein drängendes Problem der Digitalisierung in Deutschland. In meinem Projekt musste ich in wenigen Wochen ein 30 Jahre altes System auf Basis von IBM iSeries (AS/400) mit RPG-Code analysieren. Überraschenderweise kannte ChatGPT die RGP-Referenz von IBM. Mithilfe von ChatGPT konnte ich mich schnell einarbeiten und so ein brauchbares Arbeitsverständnis des…
In diesem Talk gehen wir direkt in die Praxis: Welche Möglichkeiten habe ich auf der Azure-Plattform, wenn ich sogenannte “intelligente Applikationen” entwickeln möchte? Welche Modelle kann ich für meine Zwecke nutzen, wann ist eine Eigenentwicklung sinnvoll und wann sind bereits existierende Copiloten die bessere Wahl. Zudem beleuchten wir, wie man Sicherheit und Compliance im Griff behält.
Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.
Los geht es mit einer Einführung in die Herausforderungen beim Debugging…
Neuronale Netze sind durch (nach Abschluss ihres Trainings unveränderliche) Formeln ausdrückbar und daher mathematisch gesehen deterministisch. Auch LLMs, deren übliche Nutzererfahrung ein anderes Verhalten suggeriert, lassen sich durch Parameter deterministisch gestalten. Soweit die Theorie – jedoch zeigen z.B. die OpenAI-Modelle auch bei Verwendung fester Seeds und einer Temperatur von 0 nichtdeterministisches Verhalten. Verschiedene aktuelle Veröffentlichungen beleuchten dieses Verhaltens und…
Lasst den ersten Konferenztag bei kühlen Getränken und guten Gesprächen ausklingen.
RAG-Anwendungen verknüpfen unternehmensinternes Wissensbasen mit der Leistungsfähigkeit von Large-Language-Modellen (LLMs). In diesem Vortrag erfahren Sie, wie RAG-Systeme aufgebaut sind, welche Probleme sie bei unseren Kunden lösen und welche Grenzen diese Methodik hat. Wir bieten Einblicke aus unseren Projekterfahrungen und zeigen verschiedene Ausbaustufen von RAG-Systemen auf. Dabei stellen wir Retrieval-Techniken wie Query Expansions, HyQE und HyDE vor und diskutieren, wie RAG-Systeme…
Der Vortrag untersucht die Auswirkungen der KI-Einführung auf Arbeitsumgebungen. Traditionelle Rollen werden kritisch hinterfragt und deren potenzielle Entwicklung in einer AI-gestützten Zukunft diskutiert. Nach einer Einführung in die Grundlagen und Potenziale generativer KI für die Umgestaltung von Arbeitsprozessen folgt eine Betrachtung der Veränderungen in Arbeitsabläufen und Zusammenarbeit durch KI-Technologien. Besonderes Augenmerk liegt auf der Identifizierung neuer Rollen und…
Ein Chabot halluziniert einem Kunden eine sehr großzügige Erstattungsrichtline herbei und ein Richter entscheidet, dass diese KI-Erfindung für die Firma bindend ist. Ein Benutzer "überredet" ein LLM, alles tun zu können, und erhält prompt Zugriff auf sensible Daten. Beides sind Albtraumszenarien für ein Unternehmen. Aber dennoch: Mit dem großen Erfolg von Chatbots und LLM-Apps erhält die Integration von Generative AI in Business-Anwendungen heute eine zentrale Rolle in der Geschäftsstrategie…
Auch bei der cronn GmbH nutzen wir GenAI, um unser Portfolio an individuellen Softwarelösungen zu erweitern und unseren Kunden innovative Werkzeuge zur Prozessoptimierung zu bieten. In diesem Vortrag gewähren wir einen ehrlichen Einblick in unsere GenAI-Projekte – sowohl die Erfolgsgeschichten als auch die Herausforderungen, denen wir uns stellen mussten.
Auf diesem Weg mussten wir auch von Best Practices in der Architektur abweichen, wurden mit den Grenzen des Prompting und den…
Ergebnisse automatischer Security-Quellcodeanalyse-Werkzeuge können ein Softwareprojekt aufgrund ihrer bloßen Anzahl oder Fragestellungen, wie "was ist das eigentlich?", "ist das für uns relevant?" oder "wie sollen wir damit umgehen?" derart überfordern, dass sich der eigentliche Nutzen auflöst oder sogar ins Gegenteil verkehrt. Moderne LLMs könn(t)en hier Abhilfe schaffen – es gilt dabei jedoch, einige Hürden zu nehmen! Wir berichten in diesem Vortag von unseren Erkenntnissen und Erfahrungen im…
Retrieval Augmented Generation (RAG) verwendet Daten aus Retrievern wie Vektor-Datenbanken, damit die relevanten Informationen gefunden werden und Benutzerfragen beantwortet werden können.
Wenn mehrere Retriever (z.B. Support-Tickets, Produkte, Kundenliste) verwendet werden sollen, kann die Auswahl der optimalen Datenquelle zur gestellten Frage eine Herausforderung sein. Marco Frodl wird das MultiRouteChain-Paradigma aus dem LangChain-Framework vorstellen, mit dem die AI dynamisch die Auswahl…
Mit der fortschreitenden Entwicklung großer Sprachmodelle (LLMs) wird eine neue Epoche durch Flow Engineering eingeleitet. In diesem Vortrag wird der Wandel von Prompt Engineering zu Flow Engineering und dessen Einfluss auf die Automatisierung komplexer Aufgaben in der Softwarearchitektur beleuchtet. Es wird präsentiert, wie Flow Engineering durch Aufteilung in kleinere Schritte und iterative Prozesse die Genauigkeit und Effizienz von LLMs steigert und bei der Schaffung KI-gesteuerter Lösungen…
Dieser Vortrag befasst sich mit der Google Cloud Data Platform und der zugehörigen KI-Plattform Vertex AI im Kontext von generativen KI-Anwendungsfällen. Denn erfolgreiche Firmen im Bereich AI haben eine Datenplattform geschaffen, die es ihnen ermöglicht, neue Use Cases schnell zu verproben. Die Vorteile von Serverless Services im Bereich Data Management und Data Sharing werden als Grundlage für eine Datenstrategie erläutert, bevor es tiefer in das Themenfeld der "Generativen KI" geht.
Diskutieren Sie mit unseren Experten beim Panel der InfoDays Generative AI für Developer!
KI-Trends von heute sind in unseren Anwendungen die Features von morgen. Doch es dauert, bis diese aus den Forschungslaboren zu uns durchgesickert sind. In diesem Vortrag werfen wir den Blick auf die aktuellen Trends in KI-Forschungslaboren und skizzieren, was dies für die nächste Iteration an KI-Anwendung bedeutet. Themenschwerpunkte sind:
- synthetische Daten: Was ist das Limit von LLM-Destillierung
- langsames Denken (Verlagerung der Rechenleistung vom Training hin zur Inferenz)
- Koppeln von…
Diese Session zeigt dir, wie du mit Prompt Engineering und GitHub Copilot deine tägliche Arbeit optimieren kannst. Gregor, der in enger Zusammenarbeit mit dem Microsoft-Produktteam für GitHub Copilot Chat steht, wird seine Insiderkenntnisse teilen und demonstrieren, wie du GitHub Copilot so einsetzt, dass du genau den Code generierst, den du brauchst – effizient und zielgerichtet. Diese Session ist für Entwickler*innen gedacht, die bereit sind, ihre Produktivität zu maximieren und sich von der…
Das Trainieren der offenen LLMs wie LLama oder Mistral ist im vergangenen Jahr deutlich einfacher geworden, bringt aber gleichzeitig viele Varianten mit sich. Zu klassischem supervised Finetuning kam low rank adaption, dazu Quantisierung, darauf folgten Direct Preference Optimization und Merging. Die neue Vielfalt der Werkzeuge sorgte nicht nur für einen unerwarteten Variantenreichtum an offenen Modellen, sondern erlaubt es auch jedem von uns, sein eigenes Modell zu erzeugen und zu trainieren,…
Agenten sind seit den 1940er-Jahren in Simulationen etabliert und zeichnen sich durch autonome Interaktionen untereinander und mit ihrer Umwelt aus. In aktuellen Simulationsanwendungen wird ihr Verhalten oft durch Entscheidungsgraphen modelliert. Dieser Vortrag beleuchtet die Funktionsweisen und Einsatzgebiete von Agenten, insbesondere von KI-Agenten, und vergleicht diese miteinander. Anschließend wird ein Fallbeispiel vorgestellt, in dem KI-Agenten in eine agentenbasierte Fabriksimulation in…
LangChain ist nicht nur das am meisten verbreitete Framework für AI-Applikationen mit dem größten Wachstum, es hat schon zu Beginn seiner Existenz Wert darauf gelegt, "agentic" zu sein. Dementsprechend bringt es alles mit, was man sich aktuell zum Thema Agenten nur wünschen kann. Von einfachen Rechercheagenten zu diskutierenden CAMEL-Multiagenten, von per LangGraph synchronisierten Agenten bis zu welchen, die Bilder verstehen, Webseiten crawlen und Captchas lösen, die Code dokumentieren und…
29. Mai von 09:00 bis 17:00 Uhr: ausgebucht
05. Juni von 09:00 bis 17:00 Uhr (Zusatztermin online): verfügbar
ChatGPT (und die darin verwendeten GPT-3.5 und GPT-4) sind die bekanntesten Sprachmodelle. Leider kann man diese aber nur wenig anpassen, das geht maximal über den Kontext.
In vielen Unternehmensanwendungen würde man das aber gerne machen, um z.B. domänenspezifisches Vokabular abzudecken. Im Gegensatz zum Training ist das Feintuning von Modellen viel schneller, auch dank LoRA (Low Rank…