Inhalte des Workshops LLM-gestützte Analyse von Dossiers der Frühen Nutzenbewertung nach § 35a SGB V

 

Ein praxisnahes Seminar zu Large Language Models, Market Access und medizinisch-regulatorischen Dokumenten

 

LLM-gestützte Analyse medizinisch-regulatorischer Dokumente

 

Dossiers der frühen Nutzenbewertung nach § 35a SGB V enthalten umfangreiche medizinische, methodische und regulatorische Informationen. Sie eignen sich besonders gut, um den praktischen Einsatz von Large Language Models im Bereich Market Access und Evidenzbasierter Medizin zu demonstrieren.

 

In diesem Seminar wird anhand eines konkreten Workflows gezeigt, wie öffentlich verfügbare Dossiers und begleitende Dokumente mit LLMs systematisch durchsucht, strukturiert und inhaltlich ausgewertet werden können.

 

Im Mittelpunkt steht ein praktisches Beispiel: Die Teilnehmenden analysieren gemeinsam Dossiers der frühen Nutzenbewertung im Hinblick auf MAIC-Analysen und verwandte Begriffe. Dabei wird gezeigt, wie Dokumente beschafft, in analysierbaren Text umgewandelt und anschließend mit einem LLM sequentiell ausgewertet werden können.

 

Das Seminar ist bewusst praxisnah und explorativ angelegt. Alle Schritte werden live demonstriert. Die Teilnehmenden können je nach Setup aktiv mitarbeiten oder den vollständigen Workflow nachvollziehen.

 

• Einsatzmöglichkeiten von LLMs im Bereich Market Access verstehen

• Dossiers der frühen Nutzenbewertung als Analysegegenstand einordnen

• typische Dokumentquellen und Dokumenttypen kennenlernen

• PDF-Dokumente für LLM-Analysen vorbereiten

• längere Dokumente in analysierbare Textabschnitte zerlegen

• Such- und Analyseprompts für medizinisch-regulatorische Fragestellungen entwickeln

• Begriffe wie MAIC, indirekter Vergleich und Matching-Adjusted Indirect Comparison systematisch identifizieren

• LLM-Ergebnisse strukturiert zusammenfassen und tabellarisch auswerten

• Chancen, Grenzen und Risiken LLM-gestützter Analysen einschätzen

• mögliche Erweiterungen auf IQWiG-Bewertungen, Bundesanzeiger-Veröffentlichungen und weitere Verfahrensarten diskutieren

​

Praxisbeispiel: MAIC in Dossiers der frühen Nutzenbewertung

 

Ein zentrales Beispiel des Seminars ist die Suche nach MAIC-Analysen in Dossiers zur frühen Nutzenbewertung.

 

Dazu wird ein vollständiger Analyseworkflow demonstriert: Zunächst werden relevante Dossiers identifiziert und heruntergeladen. Anschließend werden die PDF-Dokumente in Rohtext umgewandelt. Danach werden die Texte abschnittsweise mit einem LLM durchsucht und ausgewertet.

 

Gesucht wird unter anderem nach Begriffen wie:

 

• MAIC

• Matching-Adjusted Indirect Comparison

• indirekter Vergleich

• adjustierter indirekter Vergleich

• indirekte Evidenz

• Matching

• Gewichtung

• Effektmodifikatoren

• prognostische Faktoren

​

Für gefundene Textstellen wird zusätzlich eine kurze fachliche Zusammenfassung erzeugt. Ziel ist nicht nur das Auffinden einzelner Begriffe, sondern eine erste strukturierte Einschätzung, worum es in der jeweiligen Passage geht.

 

Ergebnis:  

 

Die Teilnehmenden verstehen, wie LLMs bei der systematischen Exploration großer medizinisch-regulatorischer Dokumentbestände eingesetzt werden können.

​

Technischer Workflow

 

Das Seminar zeigt einen vollständigen End-to-End-Workflow von der Dokumentquelle bis zur strukturierten Auswertung.

 

Besprochen und demonstriert werden unter anderem:

 

• Auswahl geeigneter Dokumentquellen

• Download und Ablage der Dokumente

• Umgang mit PDF-Dateien

• Konvertierung von PDFs in Rohtext

• Zerlegung langer Dokumente in kleinere Textabschnitte

• Entwicklung robuster Such- und Analyseprompts

• sequentielle Analyse mit einem LLM

• strukturierte Ausgabe der Ergebnisse

• Zusammenführung der Ergebnisse in Tabellen

• manuelle Plausibilisierung und fachliche Kontrolle

 

Der Workflow kann mit Cloud-basierten LLMs oder lokalen LLMs umgesetzt werden. Im Seminar steht nicht ein bestimmtes Tool im Vordergrund, sondern das methodische Vorgehen.

 

Ergebnis:  

 

Die Teilnehmenden können nachvollziehen, wie aus einer Sammlung umfangreicher PDF-Dokumente eine strukturierte, LLM-gestützte Analyse entsteht.

​

LLMs im Bereich Market Access und Nutzenbewertung

 

Large Language Models können im Bereich Market Access und Nutzenbewertung an vielen Stellen unterstützen. Besonders relevant sind Aufgaben, bei denen große Textmengen durchsucht, strukturiert oder zusammengefasst werden müssen.

 

Im Seminar werden typische Anwendungsfelder diskutiert:

 

• Exploration umfangreicher Dossiers

• Identifikation methodischer Schlüsselbegriffe

• Vergleich von Aussagen über mehrere Dokumente hinweg

• Vorstrukturierung von Evidenztabellen

• Extraktion relevanter Passagen

• Zusammenfassung methodischer Argumentationen

• Vorbereitung fachlicher Reviews

• Unterstützung bei der Orientierung in IQWiG-Bewertungen und Beschlüssen

• Analyse wiederkehrender Argumentationsmuster

 

Dabei wird klar zwischen Assistenzfunktion und fachlicher Bewertung unterschieden. LLMs können die Arbeit beschleunigen und strukturieren, ersetzen aber nicht die medizinische, statistische und regulatorische Prüfung.

 

Ergebnis:  

 

Die Teilnehmenden können realistische Einsatzmöglichkeiten von LLMs im Bereich Market Access einschätzen und von überzogenen Erwartungen abgrenzen.

​

Erweiterbare Dokumentbasis

 

Das im Seminar gezeigte Vorgehen lässt sich auf verschiedene medizinisch-regulatorische Dokumenttypen übertragen.

 

Neben Dossiers der frühen Nutzenbewertung nach § 35a SGB V können beispielsweise auch folgende Dokumente analysiert werden:

 

• weitere Module der Dossiers

• IQWiG-Nutzenbewertungen

• Beschlüsse und Tragende Gründe des G-BA

• Veröffentlichungen im Bundesanzeiger

• Unterlagen zu Verfahren nach §§ 135, 137c und 137e SGB V

• Unterlagen zu Verfahren nach § 137h SGB V

• medizinische Veröffentlichungen

• systematische Reviews und Meta-Analysen

 

Im Seminar wird diskutiert, welche Dokumenttypen für welche Fragestellungen geeignet sind und welche technischen und methodischen Anpassungen jeweils erforderlich werden.

 

Ergebnis:  

 

Die Teilnehmenden erkennen, wie der gezeigte Workflow auf weitere Fragestellungen und Dokumentbestände übertragen werden kann.

​

Prompting und Ergebnisstrukturierung

 

Ein wichtiger Bestandteil des Seminars ist die Entwicklung geeigneter Prompts.

 

Gerade bei medizinisch-regulatorischen Dokumenten reicht eine einfache Stichwortsuche häufig nicht aus. Die Ergebnisse müssen inhaltlich eingeordnet, zusammengefasst und strukturiert ausgegeben werden.

 

Besprochen werden unter anderem:

​

• Suchprompts für konkrete Begriffe und Synonyme

• Analyseprompts für methodische Passagen

• Prompts zur kurzen fachlichen Zusammenfassung

• Prompts zur strukturierten Tabellenausgabe

• Umgang mit Unsicherheit und fehlenden Informationen

• Abgrenzung zwischen Textfund, Interpretation und Bewertung

• Strategien zur Reduktion von Fehlinterpretationen

• manuelle Validierung der Ergebnisse

 

Ergebnis:  

 

Die Teilnehmenden können Prompts so formulieren, dass LLM-Ergebnisse besser überprüfbar, strukturierter und fachlich brauchbarer werden.

​

Chancen und Grenzen

 

Das Seminar behandelt LLM-gestützte Analysen bewusst nicht als vollautomatische Lösung, sondern als unterstützenden Workflow.

 

Diskutiert werden unter anderem:

 

• typische Stärken von LLMs bei großen Textmengen

• Grenzen bei langen Dokumenten und komplexen Kontexten

• Risiken durch Halluzinationen und Fehlinterpretationen

• Bedeutung sauberer Quellen- und Textstellenbezüge

• Notwendigkeit fachlicher Plausibilisierung

• Datenschutz- und Vertraulichkeitsfragen bei nicht-öffentlichen Dokumenten

• Unterschied zwischen öffentlichem Dokumentmaterial und vertraulichen Unternehmensdaten

• Rolle lokaler LLMs bei sensiblen Datenbeständen

 

Ergebnis:  

 

Die Teilnehmenden können LLM-gestützte Workflows realistisch bewerten und wissen, an welchen Stellen fachliche Kontrolle zwingend erforderlich ist.

​