06 · Datenbereinigung und Datentransformation

Klinischer Aufhänger

Du hast eine Aufnahmekohorte und separat die Laborwerte. Bevor du eine Frage beantworten kannst – „Haben septische Patient:innen ein höheres Laktat?“ – müssen die Daten sauber und zusammengeführt sein. Genau dieser Schritt kostet in der Praxis 80 % der Zeit. Wir machen ihn hier transparent.

1 Konzept: Tidy Data

Daten sind „tidy”, wenn

1. jede Variable eine Spalte ist,
2. jede Beobachtung eine Zeile ist,
3. jede Beobachtungseinheit eine Tabelle bildet.

kohorte.csv ist bereits tidy (eine Zeile je Patient:in). vitalwerte.csv ist tidy im long format (eine Zeile je Messung). Tidy Data ist die Grundlage, auf der alle folgenden Module aufbauen, sauberer Input, verlässlicher Output.

2 Fehlende Werte zuerst ansehen

Fehlende Werte nie „wegmachen”, bevor du sie verstanden hast. Erst zählen, dann entscheiden (löschen vs. behalten vs. imputieren). In unseren Daten fehlen drei Größen, aus drei verschiedenen Gründen:

Die letzten beiden sehen gleich aus („nicht zufällig“) und haben völlig verschiedene Konsequenzen. Beim Laktat hängt das Fehlen von einer beobachteten Kovariate ab, nicht vom unbeobachteten Laktatwert selbst. Beim pH hängt es am Outcome — und genau das entscheidet, ob dropna() unschädlich oder ein Kunstfehler ist. Modul 14 rechnet beides vor.

3 Die fünf Kern-Verben

Der vollständige, lauffähige Code steht in code/python.py und code/r.R. Hier die Kernidee:

In Python:

import pandas as pd

cohort = pd.read_csv("https://schradern.github.io/data-science-coach/data/kohorte.csv")
labs   = pd.read_csv("https://schradern.github.io/data-science-coach/data/labor.csv")

# 1) Standardise gender encoding ('w' -> 'weiblich')
cohort["geschlecht"] = cohort["geschlecht"].replace({"w": "weiblich"})

# 2) Count missing values — understand before acting
print(cohort.isna().sum())

# 3) Join: cohort + labs via patient_id
df = cohort.merge(labs, on="patient_id", how="left")

# 4) Group: median lactate by admission type
print(
    df.groupby("aufnahmegrund")["laktat_mmol_l"]
      .median()
      .sort_values(ascending=False)
)

…und dasselbe Ergebnis in R:

library(tidyverse)

cohort <- read_csv("https://schradern.github.io/data-science-coach/data/kohorte.csv", show_col_types = FALSE) |>
  mutate(geschlecht = if_else(geschlecht == "w", "weiblich", geschlecht))
labs   <- read_csv("https://schradern.github.io/data-science-coach/data/labor.csv", show_col_types = FALSE)

df <- left_join(cohort, labs, by = "patient_id")

df |>
  group_by(aufnahmegrund) |>
  summarise(laktat_median = median(laktat_mmol_l, na.rm = TRUE)) |>
  arrange(desc(laktat_median))

4 Long ↔ Wide

vitalwerte.csv liegt long vor (eine Zeile je Messung). Manche Auswertungen brauchen wide (eine Spalte je Tag). In pandas: pivot_table; in tidyr: pivot_wider. Der umgekehrte Weg (melt / pivot_longer) ist genauso wichtig, die meisten Funktionen für Grafik und Statistik erwarten long.

import pandas as pd

vitals = pd.read_csv("https://schradern.github.io/data-science-coach/data/vitalwerte.csv")

# Long -> Wide: one column per measurement day
map_wide = vitals.pivot_table(
    index="patient_id", columns="tag", values="map_mmhg"
)
print(map_wide.shape)   # rows = patients, cols = days

# Wide -> Long again (e.g. for plotting)
map_long = map_wide.reset_index().melt(
    id_vars="patient_id", var_name="tag", value_name="map_mmhg"
)

library(dplyr)
library(tidyr)
library(readr)
vitals <- read_csv("https://schradern.github.io/data-science-coach/data/vitalwerte.csv", show_col_types = FALSE)

# Long -> Wide
map_wide <- vitals |>
  select(patient_id, tag, map_mmhg) |>
  pivot_wider(names_from = tag, values_from = map_mmhg, names_prefix = "tag")

# Wide -> Long
map_long <- map_wide |>
  pivot_longer(-patient_id, names_to = "tag", values_to = "map_mmhg")

Fallstricke und Merksätze

• Erst zählen, dann handeln. Fehlende Werte sind eine Information, kein Müll.
• na.rm = TRUE (R) bzw. pandas-skipna ändern Ergebnisse still, bewusst setzen.

• Ein left_join/merge(how="left") darf die Zeilenzahl der linken Tabelle nicht erhöhen. Immer vorher/nachher die Form prüfen (df.shape).

• Tidy zuerst. Jede Stunde Aufräumen spart drei Stunden Analyse.

Selbstcheck