Advanced RAG: AI-basierte Retriever-Auswahl mit Turbo
Retrieval Augmented Generation (RAG) nutzt Retriever wie Vector-DBs, um relevante Informationen zur Beantwortung von Anfragen zu finden. In komplexen RAG-Szenarien werden oft mehrere Datenquellen genutzt. Die Auswahl des passenden Retrievers kann durch eine MultiRoute-Chain erfolgen, wobei ein LLM dynamisch die semantisch beste Datenquelle wählt. Dieser Ansatz ist jedoch zeit- und kostenintensiv. Eine schnellere und günstigere Alternative ist der Einsatz eines Semantic Router, der statt eines LLMs ein Embedding-Modell zur Retrieverwahl verwendet. Dieser Ansatz bietet vergleichbare Qualität bei deutlich geringeren Kosten. Mit Live-Coding wird eine MultiRoute-Chain implementiert und anschließend auf den Semantic Router optimiert.
Zielpublikum: Developer, IT-Manager, GenAI-Enthusiasten
Voraussetzungen: Keine
Level: Advanced
Marco Frodl ist Principal Consultant für Generative AI bei der Thinktecture AG und konzentriert sich im Bereich der künstlichen Intelligenz auf Generative AI. Ihn fasziniert die Vision, in natürlicher Sprache mit Apps und Devices kommunizieren zu können. Sein Beratungsfokus ist die Entwicklung von AI-Workflows unter Verwendung von LLMs von OpenAI, Anthropic oder Mistral. Er ist Fan von Streamlit, LangChain und LangFuse, weil sich damit komplexe AI-Abläufe kompakt implementieren und fantastisch tracen lassen.
