Workshop: LLM Server Konfiguration

Du möchtest die volle Kontrolle über deine KI-Anwendungen und deine Daten behalten? In diesem Workshop verlassen wir die Welt der Cloud-Abos und schauen uns an, wie man Large Language Models (LLMs) auf eigener Infrastruktur hostet, konfiguriert und optimiert.

Wir zeigen dir, wie du Open-Source-Modelle lokal oder auf einem Server zum Laufen bringst, damit du unabhängig von externen Anbietern experimentieren kannst.

Die geplanten Themen im Workshop:

• Hardware-Anforderungen: Was braucht man wirklich? (GPU vs. CPU, VRAM und Co.)
• Deployment-Frameworks: Einführung in Tools wie Ollama, vLLM oder LocalAI.
• Modellauswahl & Quantisierung: Wie man die richtige Balance zwischen Modellgröße und Performance findet.
• API-Bereitstellung: So stellst du dein Modell anderen Anwendungen zur Verfügung.
• Datenschutz & Sicherheit: Lokales Hosting als Lösung für sensible Daten.

Zielgruppe: Dieser Workshop ist für alle geeignet, die tiefer in die technische Infrastruktur hinter der KI eintauchen wollen. Grundkenntnisse im Umgang mit der Kommandozeile (Terminal/Linux) sind von Vorteil.