31 · Verarbeitung klinischer Freitexte mit LLMs

Klinischer Aufhänger

Deine Notaufnahme dokumentiert Aufnahme-Anamnesen auf Deutsch. Du willst automatisch erkennen, ob eine Notiz auf eine klinische Verschlechterung hindeutet, noch bevor der SOFA-Score laborchemisch bestätigt ist. Oft steckt das erste Signal im Text: „zunehmende Dyspnoe", „Laktat steigend", „Patient agitiert". Hier siehst du, wie weit klassische NLP trägt, und wo ihre Grenzen liegen.

1 Tokenisierung, Stoppwörter und N-Gramme

Jede Textverarbeitung beginnt damit, den Rohstring in Tokens zu zerlegen. Ein Token ist hier ein Wort, das nach Kleinschreibung, Entfernung der Interpunktion und Stoppwort-Filterung übrig bleibt.

Stoppwörter (der, die, das, und, in, …) sind semantisch leer und erhöhen nur die Dimensionalität. TfidfVectorizer(stop_words=None) überlässt dir die Wahl; für Deutsch empfiehlt sich eine explizite Liste oder, falls keine deutschen Listen installiert sind, stop_words="english" als grobe Näherung.

N-Gramme fangen Mehrwort-Muster auf: ngram_range=(1, 2) erzeugt Uni- und Bigramme. So entsteht „Laktat steigend" als einzelnes Merkmal statt zweier unverbundener Wörter.

Hinweis — die Codeblöcke unten sind Auszüge. Sie zeigen die entscheidenden Schritte, nicht jede Import-Zeile. Das vollständige, am Stück lauffähige Skript ist code/python.py (im Browser über den Python-Reiter oben). In Colab führst du das ganze Modul mit einer Zeile aus: !python module/31-klinische-texte-llm/code/python.py — siehe das in Colab öffnen.

from sklearn.feature_extraction.text import TfidfVectorizer
vec = TfidfVectorizer(ngram_range=(1, 2), min_df=2, max_df=0.95)
X_tfidf = vec.fit_transform(texts)   # shape: (n_docs, vocab_size)

2 TF-IDF als Merkmalraum

TF-IDF gewichtet jeden Token doppelt:

• Term Frequency (TF): wie oft taucht das Wort im Dokument auf?
• Inverse Document Frequency (IDF): wie selten ist es im gesamten Korpus?

Seltene, spezifische Wörter (z. B. „Laktat") erhalten hohe Gewichte; universelle Wörter (z. B. „Patient") werden abgewertet. Das Ergebnis ist eine dünn besetzte Matrix; code/python.py druckt die tatsächliche Größe aus — für unsere Notizen 500 Zeilen × 742 Spalten (Unigramme und Bigramme, min_df=2, max_df=0.95).

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import TfidfVectorizer

pipe = Pipeline([
    ("tfidf", TfidfVectorizer(ngram_range=(1, 2), min_df=2, max_df=0.95, sublinear_tf=True)),
    ("model", LogisticRegression(max_iter=1000, class_weight="balanced", C=1.0)),
])
pipe.fit(X_train, y_train)

3 Klassifikation und AUC

Die Pipeline wird auf verschlechterung (0/1) trainiert. Als Gütekriterium wählen wir die AUC-ROC, sie ist unabhängig von der Schwelle, und das Label ist leicht unbalanciert (34,6 % positiv).

from sklearn.metrics import roc_auc_score, classification_report

proba = pipe.predict_proba(X_test)[:, 1]
auc   = roc_auc_score(y_test, proba)
print(f"Test-AUC: {auc:.3f}")
print(classification_report(y_test, pipe.predict(X_test), target_names=["stabil", "Verschlechterung"]))

4 Prädiktive Tokens interpretieren

Die Koeffizienten der logistischen Regression entsprechen den Log-Odds-Gewichten pro Token. Positive Koeffizienten zeigen ein Verschlechterungs-Signal, negative stehen für stabile Verläufe.

import numpy as np
import pandas as pd

feature_names = pipe.named_steps["tfidf"].get_feature_names_out()
coef          = pipe.named_steps["model"].coef_[0]

top_n = 15
idx   = np.argsort(np.abs(coef))[::-1][:top_n]
tokens_df = pd.DataFrame({
    "token": feature_names[idx],
    "koeffizient": coef[idx],
})

5 Embeddings, das Konzept

Bag-of-Words behandelt jeden Token als atomare Einheit ohne Bedeutungsähnlichkeit. Word-Embeddings (Word2Vec, GloVe) ordnen jedem Wort einen Vektor im geometrischen Raum zu: „Dyspnoe" liegt nahe „Atemnot", beides signalisiert dasselbe.

Sentence-Transformer-Modelle (z. B. sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) erzeugen für einen ganzen Satz oder ein Dokument einen einzigen Vektor, kontextsensitiv, vortrainiert auf Millionen von Texten. Sie schneiden in der Regel deutlich besser ab als TF-IDF, besonders bei kurzen, medizinischen Texten.

# Konzept-Snippet — NICHT ausgeführt (Netzwerkzugang und ~400 MB Modell nötig)
# from sentence_transformers import SentenceTransformer
# model_emb = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
# embeddings = model_emb.encode(texts, show_progress_bar=True)
# Dann: LogisticRegression(max_iter=1000).fit(embeddings[train_idx], y_train)

6 Verantwortungsvoller LLM-Einsatz in der Medizin

Große Sprachmodelle kommerzieller Anbieter können klinische Texte zusammenfassen, Differenzialdiagnosen vorschlagen und Dokumentation vereinfachen. Die Risiken sind real und spezifisch:

Halluzination: LLMs erfinden plausibel klingende, aber falsche Informationen, Medikamentendosen, Studienergebnisse, Befunde. Jede Ausgabe muss von klinisch geschultem Personal verifiziert werden.

PHI an externe APIs: Echte Patientendaten an externe Cloud-KI-Dienste zu senden, verstößt in der Regel gegen DSGVO und ärztliche Schweigepflicht. Alternativen: lokal betreibbare offene Sprachmodelle (On-Premise-Betrieb), dedizierte Datenverarbeitungsverträge oder ausschließlich synthetische bzw. anonymisierte Texte.

Prompt-Design: Die Qualität der Ausgabe hängt stark vom Prompt ab. Strukturierte Prompts mit Rollenbeschreibung, Aufgabenformat und Negativbeispielen verbessern die Konsistenz; Ausgabe-Parser validieren das Format maschinell.

Validation und Human-in-the-Loop: Kein LLM-Output sollte ohne menschliche Überprüfung in klinische Workflows fließen. Das bedeutet Auditierbarkeit, Logging und klare Eskalationspfade.

Regulatorisches Risiko: Klinische Entscheidungsunterstützung fällt unter MDR 2017/745 (Klasse IIa/III) und den EU AI Act (Hochrisiko-KI). Validierung, CE-Kennzeichnung und Post-Market-Surveillance sind Pflicht, bevor ein Modell bei Patient:innen eingesetzt wird, gleich, ob selbst trainiert oder ein Foundation Model.

Wann du Hilfe holst. Sobald echte Patiententexte (PHI) verarbeitet werden, ein LLM Befunde generieren statt nur klassifizieren soll, oder die Ergebnisse klinisch genutzt werden, brauchst du Datenschutz-, Ethik- und Methodikberatung samt Human-in-the-Loop-Validierung — ein extrahiertes Signal ist noch kein validierter Befund.

Fallstricke und Merksätze

• TF-IDF ignoriert Reihenfolge und Kontext. „Kein Fieber" hat denselben Fieber-Token wie „Fieber".
• Der Vectorizer gehört in die Pipeline, sonst kennt er die Testdokumente (Leakage).
• Koeffizienten ≠ Kausalität. Immer auf klinische Plausibilität prüfen.
• Kein PHI an externe APIs. Lokale Modelle oder anonymisierte Texte als Standard.
• LLM-Ausgaben sind nicht verlässlich ohne Validation. Human-in-the-Loop ist Pflicht, nicht Option.

Selbstcheck