34 · Studiendesign zur Validierung klinischer KI-Systeme

Klinischer Aufhänger

Dein Sepsis-Vorhersagemodell hat retrospektiv eine beeindruckende AUC von 0,89 erzielt. Nun soll das System als klinisches Entscheidungsunterstützungssystem (CDSS) auf der Intensivstation eingeführt werden und Ärzt:innen per SMS warnen. Der Chefarzt fragt: „Verbessert dieses System tatsächlich das Überleben der Patient:innen oder führt es nur zu mehr Fehlalarmen und zusätzlichem Stress?“ Um diese Frage zu beantworten, musst du eine klinische Studie konzipieren, die über rein statistische Metriken hinausgeht.

1 Prospektive vs. Retrospektive Validierung

Ein Modell, das auf historischen Daten hervorragend abschneidet, kann im echten Klinikalltag aus mehreren Gründen versagen:

• Dataset Shift: Die Patient:innenpopulation oder Dokumentationspraxis hat sich seit der Datensammlung verändert.
• Fehlende Interaktion: Retrospektive Daten zeigen nicht, wie Ärzt:innen reagieren, wenn sie einen Alarm erhalten.
• Klinischer Nutzen: Eine hohe AUC bedeutet nicht automatisch, dass Patient:innen früher behandelt werden oder seltener sterben.

2 Der Schattenbetrieb (Silent Deployment)

Bevor eine KI Patient:innen beeinflusst, sollte sie im Schattenbetrieb (Silent Deployment) laufen.

• Das Modell erhält Live-Daten aus dem KAS (z. B. via FHIR-Schnittstelle) und berechnet Risikoscores.
• Niemand sieht diese Scores – weder Pflegende noch Ärzt:innen. Es erfolgt keine Intervention.
• Die Scores und die tatsächlichen klinischen Outcomes werden protokolliert.

Nutzen des Schattenbetriebs

1. Technische Validierung: Läuft die Pipeline stabil und ohne Latenzen?
2. Prospektive Baseline: Entspricht die prospektive AUC der retrospektiven?
3. Kalibrierungs-Check: Stimmen die vorhergesagten Wahrscheinlichkeiten auch im Live-Betrieb?

Hinweis — die Codeblöcke unten sind Auszüge. Sie zeigen die entscheidenden Schritte, nicht jede Import-Zeile. Das vollständige, am Stück lauffähige Skript ist code/python.py (im Browser über den Python-Reiter oben). In Colab führst du das ganze Modul mit einer Zeile aus: !python module/34-design-ki-studien/code/python.py — siehe das in Colab öffnen.

# Modell einmalig trainieren, dann auf zunehmend verschobenen Stichproben
# derselben Kohorte neu bewerten -- Simulation eines Spectrum-Shifts im
# Schattenbetrieb. Voller Code: code/python.py (Funktion simulate_drift()).
model = LogisticRegression(max_iter=1000).fit(X_train_scaled, y_train)
for monat in range(1, 7):
    stichprobe = ziehe_kraenkere_stichprobe(kohorte, staerke=0.15 * monat)
    proba = model.predict_proba(stichprobe)[:, 1]
    print(monat, roc_auc_score(y, proba), brier_score_loss(y, proba))

Im aktuellen Lauf (code/python.py) bleibt die AUC über sechs simulierte Monate stabil bis leicht steigend, während der Brier Score spürbar zunimmt (die genauen Prozentzahlen gibt das Skript bei jedem Lauf aus) — die Diskriminierung allein hätte die zunehmende Fehlkalibrierung nicht angezeigt. Führe code/python.py oder code/r.R selbst aus, um die exakten Werte für deinen Lauf zu sehen.

3 Bias-Quellen im klinischen Einsatz

Bei der Interaktion zwischen Mensch und Maschine treten spezifische psychosoziale und methodische Effekte auf:

• Automation Bias: Das blinde Vertrauen in die Maschine. Ärzt:innen übersehen eigene klinische Warnsignale, weil die KI "grünes Licht" gibt.
• Spectrum Bias: Das Modell wurde an schwerkranken Intensivpatient:innen trainiert, wird aber nun auf einer Normalstation eingesetzt, wo das Patient:innenspektrum völlig anders ist. Die Falsch-Positiv-Rate steigt drastisch.
• Alarm-Müdigkeit (Alert Fatigue): Wenn 90 % der Alarme Fehlalarme sind, ignorieren Ärzt:innen das System irgendwann komplett – auch die echten Warnungen.

4 Studiendesigns für klinische KI

Um den echten Nutzen nachzuweisen, reichen statistische Modelltests nicht. Es braucht interventionelle Studien:

1. Vorher-Nachher-Vergleich: Einfach zu implementieren, aber anfällig für historische Trends (z. B. Einführung neuer Leitlinien zeitgleich mit der KI).
2. Cluster-randomisierte Studien (cRCT): Die Randomisierung erfolgt nicht pro Patient:in (da Ärzt:innen sich durch das System beeinflussen lassen und dieses Wissen auf alle Patient:innen übertragen), sondern pro Station oder Schicht. Station A nutzt das System, Station B arbeitet standardmäßig.
3. Nicht-Unterlegenheits-Studien: Nachweis, dass der Einsatz der KI die Behandlungsqualität zumindest nicht verschlechtert, aber z. B. Ressourcen schont.

Wann du Hilfe holst. Der Sprung von retrospektiver AUC zur prospektiven Wirksamkeitsstudie ist ein eigenes Studiendesign mit eigener Fallzahl, Randomisierung und Ethikvotum — hol Biostatistik, Studienmethodik und Ethikkommission an Bord, bevor ein CDSS am Krankenbett Alarme auslöst.

Fallstricke und Merksätze

Berichtsstandards nutzen: - TRIPOD-AI: Für die Entwicklung und Validierung des Algorithmus. - DECIDE-AI: Für die Evaluation in frühen klinischen Phasen. - CONSORT-AI: Für randomisierte kontrollierte Studien mit KI-Beteiligung.

Selbstcheck