Die rasante Entwicklung von GenAI hat ein komplexes Ökosystem von Tools hervorgebracht, aber viele Gespräche konzentrieren sich nur auf einzelne Funktionen und Lösungen. Das Gesamtbild wird dadurch öfters ausser Acht gelassen. Dieser Vortrag bietet eine praktische Roadmap für den Aufbau einer GenAI Infrastruktur. Wir beginnen mit einer Thinnest Viable Platform (TVP), die das minimale Setup zeigt, das für LLM-Inferenz auf Kubernetes erforderlich ist. Auf dem Weg zur MVP werde ich wesentliche Plattformkomponenten erkunden: LLM-Gateways, Vektordatenbanken und KServe-Einsätze. Schließlich werden wir uns mit fortgeschrittenen Plattformfunktionen befassen: intelligenter Lastausgleich für LLMs, Observability und Techniken zur Leistungsoptimierung.