CHATGPT IM BETRIEBLICHEN EINSATZ – FREIRÄUME SCHAFFEN DURCH LARGE LANGUAGE MODELLE
Präsenzveranstaltungen in Wiesbaden oder Online-Seminar an 1 Tag: 1.090,- € pro Person (netto)
Wie können nun die Large Language Modelle im betrieblichen Alltag zum Automatisieren von Routinetätigkeiten genutzt werden? Das zeigen wir im Seminar am Beispiel von ChatGPT von open.ai, sicherlich einem der aktuell besten LLMs am Markt.
Termine Offene Schulungen Crash-Kurs: 29.02.2024, 11.10.2024
LERNZIELE UND AGENDA
Ziele:
-
Grundlagen LLMs und erste Schritte im open.ai Portal
- open.ai API
- Prompt Engineering
- Verwenden eigener Informationen im LLM: Möglichkeit 1: In-Context-Daten
- Verwenden eigener Informationen im LLM: Möglichkeit 2: Retrieval-Augmented Generation, RAG
- Verwenden eigener Informationen im LLM: Möglichkeit 3: Fine Tuning
- Verwenden anderer LLMs
INHOUSE-SEMINAR
Seminardurchführung am Standort des Kunden oder online
€1.390,00
pro Tag bis 4 Teilnehmer zzgl. gesetzlicher USt
Alle Inhalte der Inhouse-Seminare werden individuell zugeschnitten und zielgruppenspezifisch vermittelt.
Intensive Nachbetreuung ermöglicht den Teilnehmern ihre Kenntnisse in kürzester Zeit umzusetzen.
Empfohlene Seminardauer: 1-1,5 Tage
Leihgebühren Schulungsnotebook (auf Wunsch): 60,- Euro (pro Tag, pro Schulungsrechner)
WORKSHOP
Sie nennen uns Ihre Themen!
Preis auf Anfrage
zzgl. gesetzlicher USt und ggf. Reisekoste
Alle Inhalte des Workshops werden individuell zugeschnitten und zielgruppenspezifisch vermittelt.
Gerne führen wir den Workshop bei Ihnen vor Ort, in Wiesbaden oder online durch.
Leihgebühren Schulungsnotebook (auf Wunsch): 60,- Euro (pro Tag, pro Schulungsrechner)
Modul 1: Grundlagen LLMs und erste Schritte im open.ai Portal
-
In diesem Modul lernen Sie ChatGPT von open.ai im Interface kennen. An praktischen Beispielen erläutern wir die Grundlagen von Large Language Modellen (LLMs). Sie können LLMs dann direkt im open.ai Portal testen.
Modul 3: Prompt Engineering
-
Unter Prompt Engineering wird das geschickte Anpassen der Fragen verstanden, die an die Large Language Modelle gesendet werden, um optimale, auf ihre Bedürfnisse zugeschnittene Ergebnisse zu erhalten. So kann dem LLM zuerst mitgeteilt werden, dass es ein Sachbearbeiter sei, mit der Aufgabe, Kundenstammdaten zu verwalten. Weiter: Es kommen Änderungswünsche von Stammdaten per E-Mail. Die KI soll dann herausfinden, was der Wunsch der Kundin ist – z.B. ändern der IBAN, und dann auch die IBAN extrahieren.
Modul 2: open.ai API
-
ChatGPT lässt sich viel bequemer über die API aus Python heraus ansteuern. Hier stellt open.ai ein Paket mit vielen hilfreichen Funktionen bereit. Wir setzen in diesem Abschnitt Python Code auf und steuern dann über die API ChatGPT an. Weitere Funktionen, wir das Zählen von Token, das Berechnen der Kosten etc. werden auch behandelt.
Modul 4: Verwenden eigener Informationen im LLM: Möglichkeit 1: In-Context-Daten
-
Interessant wird es dann, wenn auch eigene Daten verwendet werden können. Ein Beispiel ist hier bereits beschrieben worden: die Übergabe einer Kunden-E-Mail mit der Bitte um Extraktion der Daten entsprechend Kundenwunsch.
-
Es können aber auch umfangreichere Informationen durch das LLM verarbeitet werden. Nun hängt es davon ab, wie umfangreich diese Daten sind: sind es nur geringe Mengen von Daten (wir sprechen hier von mehreren DIN-A4-Seiten an Umfang), so können die Daten mit dem Prompt übergeben und bearbeitet werden.
Modul 5: Verwenden eigener Informationen im LLM: Möglichkeit 2: Retrieval-Augmented Generation, RAG
-
Werden es mehr Informationen, so kann zweistufig gearbeitet werden. Im ersten Schritt werden die Texte aufbereitet und in einer Vektordatenbank als sog. Chunks (Textabschnitte mit variablen Längen) abgelegt.
-
Eine Anfrage durchsucht dann die Vektordatenbank mittels klassischen Information Retrieval Verfahren und extrahiert dann die relevanten Chunks. Diese Chunks werden dann zusammen mit der Anfrage an das Large Language Model übergeben und von diesem bearbeitet. So können auch aktuelle Informationen verarbeitet werden.
Modul 6: Verwenden eigener Informationen im LLM: Möglichkeit 3: Fine Tuning
-
Um größere Datenbestände direkt im LLM verarbeiten zu können, besteht die Möglichkeit des Fine Tunings. Hierbei wird das LLM weitertrainiert mit dem Ziel, die Gewichte einiger Hidden-Layer auf die neuen Daten anzupassen.
-
Zu beachten ist, dass der Prozess des Fine-Tuning zeitaufwändig ist. Dazu kommen die Kosten des Finetunings. open.ai stellt hier Möglichkeiten zur Verfügung, die kostenpflichtig sind. Die Daten sind in ein entsprechendes Format zu bringen. Das kann in Python umgesetzt werden.
Modul 7: Verwenden anderer LLMs
-
Nicht nur open.ai hat mit ChatGPT ein Large Language Modell entwickelt. Es stehen zahlreiche weitere LLMs zur Verfügung, einen guten Überblick bietet hier die Plattform huggingface. Zu nennen sind hier sicherlich Llama von Meta und Falcon. Für beide Modelle gibt es auch huggingface auch bereits zugeschnittene Modelle, z.B. auf die deutsche oder französische Sprache. Das Modul bietet einen Überblick über die Auswahl geeigneter Modelle an (Lizenz, Sprachen etc.) und nennt auch die Anforderungen, die an ein Deployment oder ein Fine-Tuning der Modelle zu stellen sind.
INHALT
Automatisierungen schaffen Freiräume, indem Routinetätigkeiten durch eine KI übernommen werden. Viele zu automatisierende Routinetätigkeiten finden aber auf Basis von recht unstrukturierten Daten statt. Zu nennen sind hier insbesondere Texte, seien es Kundenanfragen mit der Bitte um eine Adress- oder IBAN-Änderung, oder Reisekostenabrechnungen, zu deren Zwecke Informationen von Quittungen, Rechnungen etc. notwendig sind.
Hier kommen die recht neuen Large Language Modelle ins Spiel: Auch hier handelt es sich um Deep Learning Modelle. Bisher stand einfach die Hardware nicht zur Verfügung, um die für die menschliche Sprache notwendigen komplexen Modelle auf einem Niveau zu trainieren, dass mit der KI interaktiv gearbeitet werden kann, dass die KI selbstständig Informationen extrahiert, Texte zusammenfasst, den Sinn von Texten beschreibt etc.
Doch wie können nun die Large Language Modelle im betrieblichen Alltag zum Automatisieren von Routinetätigkeiten genutzt werden? Das zeigen wir im Seminar am Beispiel von ChatGPT von open.ai, sicherlich einem der aktuell besten LLMs am Markt. Das Automatisieren von Abfragen geschieht dabei mittels Python API. Über diese Python API lässt sich ChatGPT bequem in die eigene Software einbetten. Informationen können so einfach aus betrieblichen Datenbanken an das LLM übergeben und Ergebnisse können dann direkt in den Systemen weiterverarbeitet werden.