INHALT

​

Large Language Models (LLMs) werden heute meist mit leistungsstarken GPUs oder über Cloud-Dienste betrieben. Für viele Unternehmen stellt dies jedoch eine Hürde dar: GPU-Hardware ist teuer, Cloud-Dienste verursachen laufende Kosten und sensible Daten dürfen häufig nicht an externe Anbieter übertragen werden. Gleichzeitig wächst der Bedarf, KI-Modelle direkt in lokale Anwendungen zu integrieren.

​

Dieser Workshop zeigt, wie Large Language Models vollständig lokal und ohne GPU betrieben werden können. Im Mittelpunkt steht dabei der Ansatz besonders effizienter Modelle, insbesondere BitNet, die speziell für den Einsatz auf Standard-Hardware entwickelt wurden. Ziel des Workshops ist es, den Teilnehmenden ein praxisnahes Verständnis dafür zu vermitteln, wie sich moderne Sprachmodelle auch auf normalen CPUs ausführen lassen.

​

Zu Beginn werden die technischen Grundlagen moderner LLMs erläutert. Die Teilnehmenden lernen, wie Transformer-Modelle grundsätzlich funktionieren, welche Rolle Parameteranzahl, Kontextlänge und Tokenisierung spielen und warum klassische Modelle oft hohe Hardwareanforderungen haben. Darauf aufbauend wird erklärt, wie neue Ansätze zur Modellkompression und Quantisierung – etwa 4-Bit-, 8-Bit- oder extrem reduzierte Gewichtsdarstellungen – den Betrieb deutlich effizienter machen.

​

Ein besonderer Schwerpunkt liegt auf dem BitNet-Ansatz, der auf stark quantisierten Gewichten basiert und dadurch besonders ressourcenschonend arbeitet. Die Teilnehmenden lernen, wie sich diese Modelle von klassischen LLM-Architekturen unterscheiden und warum sie sich besonders gut für den Einsatz auf CPUs eignen. Auch die praktischen Grenzen solcher Modelle werden diskutiert, etwa hinsichtlich Modellgröße, Geschwindigkeit und Qualität der generierten Texte.

​

Im praktischen Teil des Workshops richten die Teilnehmenden Schritt für Schritt eine lokale Umgebung für den Betrieb von Offline-LLMs ein. Dabei wird gezeigt, wie Modelle heruntergeladen, gestartet und getestet werden können. Ziel ist es, ein vollständig lokal laufendes System aufzusetzen, das ohne Internetverbindung oder externe APIs genutzt werden kann.

​

Anhand mehrerer praktischer Beispiele wird anschließend demonstriert, wie ein CPU-basiertes LLM für typische Aufgaben eingesetzt werden kann. Dazu gehören unter anderem:

​

• Generierung und Zusammenfassung von Texten

• Analyse kurzer Dokumente oder Datensätze

• Unterstützung bei Programmieraufgaben

• einfache Automatisierungsaufgaben mit lokalem LLM-Support

 

Darüber hinaus lernen die Teilnehmenden, wie sich ein lokales LLM in Python-Workflows integrieren lässt. Dabei wird gezeigt, wie Programme mit einem lokalen Modell kommunizieren können, beispielsweise über einfache API-Aufrufe oder lokale Schnittstellen. Dies eröffnet Möglichkeiten für eine Vielzahl praktischer Anwendungen, etwa interne Assistenzsysteme, Dokumentenanalyse oder KI-gestützte Automatisierung.

​

Ein weiterer wichtiger Bestandteil des Workshops ist die Bewertung von Performance und Ressourcenverbrauch. Die Teilnehmenden analysieren, wie viel RAM und Rechenleistung unterschiedliche Modelle benötigen und welche Faktoren die Geschwindigkeit der Textgenerierung beeinflussen. Dadurch entsteht ein realistisches Bild davon, in welchen Szenarien CPU-basierte Modelle sinnvoll eingesetzt werden können.

​

Neben den technischen Aspekten werden auch organisatorische und strategische Fragen behandelt. Lokale LLMs bieten erhebliche Vorteile in Bezug auf Datenschutz, IT-Sicherheit und Kostenkontrolle, da keine sensiblen Daten an externe Cloud-Anbieter übertragen werden müssen. Gerade für Unternehmen mit hohen Compliance-Anforderungen kann dies ein entscheidender Vorteil sein.

​

Zum Abschluss des Workshops werden verschiedene Praxis-Szenarien für Offline-KI in Unternehmen diskutiert. Dazu gehören beispielsweise lokale Analysewerkzeuge, KI-Unterstützung für interne Dokumente, Automatisierung wiederkehrender Aufgaben oder der Einsatz von KI auf Edge-Systemen ohne Internetverbindung.

​

Nach dem Workshop verfügen die Teilnehmenden über ein fundiertes Verständnis dafür, wie sich moderne Sprachmodelle auch ohne GPU und ohne Cloud-Infrastruktur betreiben lassen und wie solche Systeme in reale Anwendungen integriert werden können.

​

Die Umsetzung erfolgt immer praktisch, gerne auch anhand Ihrer konkreten Fragestellung (falls Sie das Seminar exklusiv als Firmenseminar gebucht haben) in Python (vs code). Wenn Sie ein Firmenseminar buchen, können Sie jede beliebige IDE nutzen.

 

Buchen Sie ein Firmenseminar, so schneiden wir die Inhalte natürlich gerne auf ihre Bedürfnisse zu und schulen auch an ihren Daten. Sprechen Sie uns einfach an!