Workshop Offline LLMs
Als Workshop im Betrieb oder Online, gerne auch an unserem Standort in Wiesbaden
Für alle Personen, die sich mit Künstlicher Intelligenz beschäftigen und die Möglichkeiten von Offline Large Language Models (LLMs) verstehen und praktisch anwenden möchten. Der Workshop zeigt, wie man LLMs lokal einsetzt – unabhängig von Cloud-Anbietern – und gibt einen praxisnahen Überblick zu typischen Anwendungsfällen im Unternehmen.
LERNZIELE UND AGENDA
Ziele:
-
Funktionsweise von Offline LLMs verstehen
-
Unterschiede zu Cloud-basierten LLMs kennenlernen
-
Installation und Einrichtung lokaler LLMs (Pollama, LM Studio, GPT4All)
-
Nutzung von Python zur Steuerung und Integration von LLMs
-
Verbindung von Offline LLMs mit Tools, z.B. Datenbanken, Suche-APIs, Automatisierungen
-
Chancen & Grenzen für den praktischen Einsatz im Unternehmen erkennen
INHOUSE-SEMINAR
Seminardurchführung am Standort des Kunden
€1.390,00
pro Tag bis 4 Teilnehmer zzgl. gesetzlicher USt
Alle Inhalte der Inhouse-Seminare werden individuell zugeschnitten und zielgruppenspezifisch vermittelt.
Intensive Nachbetreuung ermöglicht den Teilnehmern ihre Kenntnisse in kürzester Zeit umzusetzen.
Empfohlene Seminardauer: 2 Tage
Leihgebühren Schulungsnotebook (auf Wunsch): 60,- Euro (pro Tag, pro Schulungsrechner)
WORKSHOP
Sie nennen uns Ihre Themen!
Preis auf Anfrage
zzgl. gesetzlicher USt und ggf. Reisekoste
Alle Inhalte des Workshops werden individuell zugeschnitten und zielgruppenspezifisch vermittelt.
Gerne führen wir den Workshop bei Ihnen vor Ort, in Wiesbaden oder online durch.
Leihgebühren Schulungsnotebook (auf Wunsch): 60,- Euro (pro Tag, pro Schulungsrechner)
Inhalte des Workshops
-
Funktionsweise von Offline LLMs verstehen
-
Unterschiede zu Cloud-basierten LLMs kennenlernen: Quantisierung: 8-bit, 4-bit, Größe der Modelle.
-
Installation und Einrichten lokaler LLMs mit ollama etc., Hardwareanforderungen, Hinweise zur Geschwindigkeit.
-
Nutzung von Python zur Steuerung und Integration von LLMs.
-
Verbinden von Offline LLMs mit Tools, insbesondere Schnittstellen zu Such-APIs und Datenbanken.
-
Bewertung der Ergebnisse mit einem strukturierten Ansatz: Klassische Metriken als KPIs und der G-Eval-Ansatz.
Hinweise zur Umsetzung
Mittlerweile gibt es sehr gut Schnittstellen, die externe Informationen bereitstellen, u.a. Tools wie tavily, die Suchergebnisse von Google bereitstellen. Damit können die Offline-Modelle kleiner werden und auf Consumer-Hardware mit vertretbaren Geschwindigkeiten genutzt werden. Vorteil: Es werden keine sensiblen Informationen mehr nach draußen gegeben.
-
Es handelt sich um einen komplett praktisch ausgerichteten Workshop: Es wird in allen Teilen immer praktisch gearbeitet.
-
Wir nutzen unterschiedliche Hardware und können so zeigen, wie schnell welcher Ansatz funktioniert.
-
Alles wird in Python umgesetzt.
-
Wir bauen Schnittstellen, insbesondere zu Suchmaschinen. Damit erreichen wir eine ähnliche Performanz wie Cloud-basierte Tools.
INHALT
Dieser Workshop richtet sich an alle, die die Funktionsweise von Offline Large Language Models (LLMs) verstehen und praktisch einsetzen möchten. Im Mittelpunkt stehen praxisnahe Szenarien, in denen LLMs lokal betrieben und mit Python gesteuert werden. Dabei lernen die Teilnehmenden, wie sich Offline-Modelle in Unternehmensprozesse integrieren lassen – unabhängig von Cloud-Anbietern und mit voller Kontrolle über die Daten.
Zunächst werden die Unterschiede zwischen Offline- und Cloud-basierten LLMs vorgestellt. Hierbei geht es u.a. um Quantisierung (8-bit, 4-bit), Modellgrößen, Hardwareanforderungen und Geschwindigkeitsaspekte. Anschließend erfolgt die praktische Installation und Einrichtung von lokalen LLMs (z. B. mit ollama) und die Integration über Python.
Ein weiterer Schwerpunkt liegt auf dem Verbinden von Offline LLMs mit Tools, insbesondere Schnittstellen zu Such-APIs und Datenbanken. Dabei werden unterschiedliche Hardware-Setups vorgestellt, sodass klar wird, unter welchen Bedingungen welcher Ansatz sinnvoll ist.
Abgerundet wird der Workshop durch die Bewertung der Ergebnisse mit einem strukturierten Ansatz: Klassische Metriken (KPIs) werden ergänzt durch moderne Verfahren wie den G-Eval-Ansatz.
HINWEISE ZUR UMSETZUNG
-
Der Workshop ist komplett praktisch ausgerichtet: In allen Teilen wird hands-on gearbeitet.
-
Es kommen verschiedene Hardware-Szenarien zum Einsatz, um Geschwindigkeiten und Grenzen realistisch einschätzen zu können.
-
Alle Übungen werden in Python umgesetzt.
-
Wir bauen Schnittstellen zu Suchmaschinen und zeigen, wie damit ähnliche Performanz wie bei Cloud-basierten Tools erreicht werden kann.
-
Ein klarer Vorteil: Keine sensiblen Daten verlassen das Unternehmen, da ausschließlich lokale Modelle verwendet werden.