Konferenzprogramm
Die Sprecherinnen und Sprecher der InfoDays Generative AI für Developer präsentieren, implementieren und diskutieren mit den Teilnehmenden alles von A wie Agents, über Large Language Models, Embeddings, RAG, Fine-Tuning, Frameworks wie Langchain und LlamaIndex bis hin zu Z wie Zero-Shot Prompting.
Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.
Los geht es mit einer Einführung in die Herausforderungen beim Debugging generativer AI-Workflows und wie diese mit den fortschrittlichen Funktionen von LangFuse und LangSmith bewältigt werden können. Der Schwerpunkt liegt dabei auf der zunehmenden Komplexität von LLM-Anwendungen, die umfangreiche Abstraktionen wie dynamische Prompts, Antworten von Retrievern und Tools, komplexe Chains und Agents nutzen. Hier können die verschachtelten Traces in LangFuse oder LangSmith dabei helfen, das Geschehen besser zu verstehen und die Ursachen von Problemen zu ergründen. Anschließend gehen wir auf die Analyse und das Tracking von Metriken wie Kosten, Latenzzeiten und Qualität der LLMs ein.
Ziel des Talks ist es, den Teilnehmern die Werkzeuge und Kenntnisse an die Hand zu geben, um ihre generativen AI-Workflows effizienter zu gestalten und die Transparenz und Kontrolle über ihre KI-Systeme zu erhöhen.
Marco Frodl ist Principal Consultant für Generative AI bei der Thinktecture AG und konzentriert sich im Bereich der künstlichen Intelligenz auf Generative AI. Ihn fasziniert die Vision, in natürlicher Sprache mit Apps und Devices kommunizieren zu können. Sein Beratungsfokus ist die Entwicklung von AI-Workflows unter Verwendung von LLMs von OpenAI, Anthropic oder Mistral. Er ist Fan von Streamlit, LangChain und LangFuse, weil sich damit komplexe AI-Abläufe kompakt implementieren und fantastisch tracen lassen.
