Konferenzprogramm
Die Sprecherinnen und Sprecher der InfoDays Generative AI für Developer präsentieren, implementieren und diskutieren mit den Teilnehmenden alles von A wie Agents, über Large Language Models, Embeddings, RAG, Fine-Tuning, Frameworks wie Langchain und LlamaIndex bis hin zu Z wie Zero-Shot Prompting.
Determinismus? Ist heute leider aus
Neuronale Netze sind durch (nach Abschluss ihres Trainings unveränderliche) Formeln ausdrückbar und daher mathematisch gesehen deterministisch. Auch LLMs, deren übliche Nutzererfahrung ein anderes Verhalten suggeriert, lassen sich durch Parameter deterministisch gestalten. Soweit die Theorie – jedoch zeigen z.B. die OpenAI-Modelle auch bei Verwendung fester Seeds und einer Temperatur von 0 nichtdeterministisches Verhalten. Verschiedene aktuelle Veröffentlichungen beleuchten dieses Verhaltens und zeigen, dass dies für neuronale Netze im Allgemeinen gilt. Wir stellen diese Forschungsergebnisse in den Zusammenhang, erklären mögliche Gründe für nichtdeterministisches Verhalten neuronaler Netze und erläutern Konsequenzen für deren praktische Anwendung. Abschließend zeigen wir Mitigationsstrategien.
Zielpublikum: Developers, Data Scientists, Project Managers
Voraussetzungen: Keine
Schwierigkeitsgrad: Basic
Gregor Endler erwarb mit seiner Dissertation “Adaptive Data Quality Monitoring with a Focus on the Completeness of Timestamped Data” 2017 den Doktortitel in Informatik. Seitdem ist er als Data Scientist bei der codemanufaktur GmbH tätig. Seine Arbeit umfasst insbesondere Machine Learning, Datenanalyse und Datenvisualisierung.
Daniel Oeh arbeitet seit 2021 bei der codemanufaktur GmbH als Data Scientist und hat seitdem in Projekten mit den Schwerpunkten Visualisierung, Machine Learning und Datenanalyse gearbeitet. Davor promovierte er an der Friedrich-Alexander Universität Erlangen-Nürnberg im Bereich Mathematik.
