Lernziele und Agenda Workshop Offline LLMs
-
Funktionsweise von Offline LLMs verstehen
-
Unterschiede zu Cloud-basierten LLMs kennenlernen
-
Installation und Einrichtung lokaler LLMs (ollama, bitNet etc.)
-
Nutzung von Python zur Steuerung und Integration von LLMs
-
Verbindung von Offline LLMs mit Tools, z.B. Datenbanken, Suche-APIs, Automatisierungen
-
Chancen & Grenzen für den praktischen Einsatz im Unternehmen erkennen
INHOUSE-SEMINAR
Seminardurchführung am Standort des Kunden
€1.820,00
pro Tag bis 4 Teilnehmer zzgl. gesetzlicher USt
Alle Inhalte der Inhouse-Seminare werden individuell zugeschnitten und zielgruppenspezifisch vermittelt.
Intensive Nachbetreuung ermöglicht den Teilnehmern ihre Kenntnisse in kürzester Zeit umzusetzen.
Empfohlene Seminardauer: 2 Tage
Leihgebühren Schulungsnotebook (auf Wunsch): 60,- Euro (pro Tag, pro Schulungsrechner)
Inhalte des Workshops Offline LLMs
-
Funktionsweise von Offline LLMs verstehen
-
Unterschiede zu Cloud-basierten LLMs kennenlernen: Quantisierung: 8-bit, 4-bit, Größe der Modelle.
-
Installation und Einrichten lokaler LLMs mit ollama etc., Hardwareanforderungen, Hinweise zur Geschwindigkeit.
-
Nutzung von Python zur Steuerung und Integration von LLMs.
-
Verbinden von Offline LLMs mit Tools, insbesondere Schnittstellen zu Such-APIs und Datenbanken.
-
Bewertung der Ergebnisse mit einem strukturierten Ansatz: Klassische Metriken als KPIs und der G-Eval-Ansatz.
Hinweise zur Umsetzung Workshop Offline LLMs
Mittlerweile gibt es sehr gut Schnittstellen, die externe Informationen bereitstellen, u.a. Tools wie tavily, die Suchergebnisse von Google bereitstellen. Damit können die Offline-Modelle kleiner werden und auf Consumer-Hardware mit vertretbaren Geschwindigkeiten genutzt werden. Vorteil: Es werden keine sensiblen Informationen mehr nach draußen gegeben.
-
Es handelt sich um einen komplett praktisch ausgerichteten Workshop: Es wird in allen Teilen immer praktisch gearbeitet.
-
Wir nutzen unterschiedliche Hardware und können so zeigen, wie schnell welcher Ansatz funktioniert.
-
Alles wird in Python umgesetzt.
-
Wir bauen Schnittstellen, insbesondere zu Suchmaschinen. Damit erreichen wir eine ähnliche Performanz wie Cloud-basierte Tools.
Detaillierte Inhalte des Workshops Offline LLMs
Grundlagen von Large Language Models
Zu Beginn des Workshops erhalten die Teilnehmer eine Einführung in die grundlegende Funktionsweise von Large Language Models (LLMs). Dabei wird erläutert, wie transformerbasierte Modelle trainiert werden, welche Daten sie nutzen und wie sie Texte analysieren und generieren können.
Die Teilnehmer lernen, welche Komponenten ein Sprachmodell ausmachen und wie Eingaben verarbeitet werden, um daraus Antworten zu erzeugen. Ein besonderer Fokus liegt auf dem Verständnis der technischen Architektur moderner Sprachmodelle und deren praktischer Einsatzmöglichkeiten.
Dieses grundlegende Verständnis ist wichtig, um später fundierte Entscheidungen über den Einsatz von LLM-Technologien im Unternehmen treffen zu können.
Unterschiede zwischen Offline- und Cloud-basierten LLMs
Architektur und Infrastruktur von LLM-Systemen
Ein zentraler Bestandteil des Workshops ist der Vergleich zwischen cloud-basierten Sprachmodellen und lokal betriebenen LLMs. Während viele Anwendungen auf Cloud-Diensten basieren, gewinnen lokal ausgeführte Modelle zunehmend an Bedeutung.
Die Teilnehmer lernen, welche Unterschiede es hinsichtlich Architektur, Infrastruktur, Kostenstruktur und Datenschutz gibt. Besonders in Unternehmenskontexten spielt die Frage eine wichtige Rolle, ob Daten an externe Dienste übertragen werden dürfen oder ob eine lokale Verarbeitung erforderlich ist.
Anhand konkreter Beispiele wird diskutiert, in welchen Szenarien der Einsatz von Offline-LLMs sinnvoll ist und wann cloudbasierte Modelle Vorteile bieten.
Installation und Einrichtung lokaler LLMs
Arbeiten mit Plattformen wie Ollama und BitNet
Im Workshop wird gezeigt, wie lokale LLMs installiert und betrieben werden können. Die Teilnehmer lernen verschiedene Plattformen kennen, mit denen Sprachmodelle lokal ausgeführt werden können, darunter beispielsweise Ollama oder Systeme auf Basis quantisierter Modelle wie BitNet.
Dabei wird Schritt für Schritt demonstriert, wie Modelle installiert, konfiguriert und gestartet werden können. Außerdem werden unterschiedliche Hardwareanforderungen und typische Setup-Varianten erläutert.
Ziel dieses Abschnitts ist es, den Teilnehmern die Fähigkeit zu vermitteln, eigene lokale LLM-Umgebungen aufzubauen und zu betreiben.
Nutzung von Python zur Steuerung von LLMs
Integration von Sprachmodellen in Python-Anwendungen
Ein wichtiger Bestandteil des Workshops ist die Nutzung von Python zur Steuerung und Integration von LLMs. Python spielt im KI-Ökosystem eine zentrale Rolle und ermöglicht es, Sprachmodelle flexibel in Anwendungen einzubinden.
Die Teilnehmer lernen, wie Python-Skripte genutzt werden können, um Anfragen an lokale Modelle zu senden, Antworten zu verarbeiten und automatisierte Workflows zu erstellen. Dabei werden typische Bibliotheken und Schnittstellen vorgestellt, die für die Arbeit mit LLM-Systemen genutzt werden können.
Durch praktische Beispiele entsteht ein Verständnis dafür, wie LLM-Funktionen in eigene Anwendungen integriert werden können.
Verbindung von Offline LLMs mit externen Tools
Integration mit Datenbanken, APIs und Automatisierungssystemen
Ein besonderes Potenzial von lokalen LLMs entsteht, wenn sie mit anderen Systemen kombiniert werden. Im Workshop wird deshalb gezeigt, wie Sprachmodelle mit externen Tools und Datenquellen verbunden werden können.
Beispiele hierfür sind:
• Datenbanken zur Speicherung und Analyse von Ergebnissen
• Such-APIs zur Erweiterung des Wissenskontexts
• Automatisierungsplattformen zur Integration in Geschäftsprozesse
Die Teilnehmer lernen, wie solche Systeme miteinander verbunden werden können, sodass aus einzelnen Komponenten leistungsfähige KI-gestützte Anwendungen entstehen.
Chancen und Grenzen von Offline LLMs im Unternehmenskontext
Bewertung von Einsatzszenarien für Unternehmen
Zum Abschluss des Workshops wird diskutiert, welche Chancen und Grenzen der Einsatz von Offline-LLMs im Unternehmensumfeld mit sich bringt. Dabei werden Aspekte wie Datenschutz, Infrastrukturkosten, Modellqualität und Wartungsaufwand betrachtet.
Die Teilnehmer lernen, typische Einsatzszenarien zu bewerten und abzuschätzen, wann der Einsatz lokaler Modelle sinnvoll ist und wann cloudbasierte Lösungen Vorteile bieten können.
Dieser Abschnitt hilft dabei, das im Workshop erarbeitete Wissen in strategische Entscheidungen für reale Unternehmensprojekte zu übertragen.
HINWEISE ZUR UMSETZUNG
-
Der Workshop ist komplett praktisch ausgerichtet: In allen Teilen wird hands-on gearbeitet.
-
Es kommen verschiedene Hardware-Szenarien zum Einsatz, um Geschwindigkeiten und Grenzen realistisch einschätzen zu können.
-
Alle Übungen werden in Python umgesetzt.
-
Wir bauen Schnittstellen zu Suchmaschinen und zeigen, wie damit ähnliche Performanz wie bei Cloud-basierten Tools erreicht werden kann.
-
Ein klarer Vorteil: Keine sensiblen Daten verlassen das Unternehmen, da ausschließlich lokale Modelle verwendet werden.
Zielgruppen und Hinweise:
Workshop Offline LLMs
Zielgruppe des Seminars
Zielgruppe des Workshops
Der Workshop „Offline LLMs“ richtet sich an Fachkräfte und Teams, die Large Language Models lokal betreiben und in eigene Anwendungen oder Arbeitsprozesse integrieren möchten. Im Mittelpunkt steht der praktische Einsatz von Sprachmodellen ohne Cloud-Abhängigkeit.
Typische Teilnehmer sind:
• Data Scientists und Machine-Learning-Teams, die mit lokalen Modellen arbeiten möchten
• Python-Entwicklerinnen und Python-Entwickler, die KI-Funktionen in eigene Anwendungen integrieren
• IT-Abteilungen, die KI-Infrastruktur im eigenen Unternehmen aufbauen oder evaluieren
• Analytics- und Innovationsteams, die neue KI-Technologien testen und prototypisch einsetzen
• Unternehmen mit hohen Datenschutzanforderungen, bei denen Cloud-Lösungen nur eingeschränkt nutzbar sind
Der Workshop eignet sich besonders für Organisationen, die LLM-Technologien unabhängig von Cloud-Diensten einsetzen oder sensible Daten lokal verarbeiten möchten.
Voraussetzungen
Für die Teilnahme sind grundlegende Kenntnisse in Python hilfreich, insbesondere im Umgang mit Skripten, Bibliotheken und einfachen Datenstrukturen.
Erfahrungen mit Machine Learning oder Deep Learning sind nicht zwingend erforderlich. Die relevanten Konzepte rund um Large Language Models werden im Workshop schrittweise erklärt und anhand praktischer Beispiele demonstriert.
Hinweise zur Durchführung
Der Workshop ist praxisorientiert aufgebaut und kombiniert theoretische Grundlagen mit praktischen Übungen. Die Teilnehmer arbeiten mit realistischen Beispielen und lernen Schritt für Schritt, wie lokale LLM-Systeme installiert, konfiguriert und in Anwendungen integriert werden können.
Die praktischen Übungen können je nach technischer Umgebung unter Windows, Linux oder macOS durchgeführt werden. Für die Arbeit mit lokalen LLMs wird eine Python-Umgebung benötigt.
Der Workshop kann als Inhouse-Seminar, Online-Workshop oder Präsenzveranstaltung durchgeführt werden.