Von Denkfehlern und Massentestungen

Liebe Leser,
habt Ihr schon mal vom Prävalenzfehler gehört? Solltet Ihr aber!
Der Prävalenzfehler (eng. base-rate-fallacy) ist ein weit verbreiteter Denkfehler: Man überschätzt konkrete Einzelfall-Informationen und unterschätzt die zugrundeliegende Häufigkeit (Prävalenz, Basisrate) eines Ereignisses. Häh? Was bedeutet das konkret?

Beispiel 1 – Horst

„Horst ist schüchtern, zurückgezogen, hilfsbereit, ordnungsliebend, detailverliebt und wenig an Menschen oder der realen Welt interessiert. Ist er von Beruf eher Bibliothekar oder Bauer?“

Die meisten halten ihn vermutlich für einen Bibliothekar – obwohl es (in den USA, bei uns wird es nicht viel anders sein) mehr als 10x so viele Landwirte als Bibliothekare gibt. Die schiere Anzahl der Bauern macht es wahrscheinlicher, dass ein schüchterner, ordentlicher Mensch trotzdem Bauer ist. Noch klarer wird es bei extremen Verhältnissen: Horst liebt Astronomie. Ist er eher Banker oder Astronaut? Hier würden die meisten dann doch auf einen Banker tippen.

So gewappnet, kommen wir jetzt zu

Beispiel 2 – Medizinischer Test

Eine tödliche Krankheit tritt bei 1 von 1000 Menschen auf. Du lässt dich zufällig (also anlasslos) darauf testen. Der Test ist sehr gut: 100 % Sensitivität (keine falsch-negativen Ergebnisse) und
99 % Spezifität (nur 1 % falsch-positive Ergebnisse). Dein Test ist leider positiv. Wie hoch ist die Wahrscheinlichkeit, dass du die Krankheit hast?
1%, 9%, 10%, 90% oder 99%?

Versuche selbst, auf die Lösung zu kommen!

Hier Groks Versuch eines Bauer-Bibliothekar-Hybrids:

Die richtige Antwort ist 9%!
Warum?

Bei 1000 Getesteten erwarten wir:

• 1 echter Kranker → 1 richtig Positiver
• aufgrund der 99% Spezifität 1% also 10 falsch Positive
  Von 11 positiven Ergebnissen ist also nur eines echt. Dein positives Testergebnis ist also mit 9% (=1 aus 11) richtig positiv.

Hier anschaulicher zu sehen:

^{https://www.scientificamerican.com/article/the-false-positive-paradox-explains-why-you-misjudge-risk/}

Der Prävalenzfehler wird daher auch false positive paradoxon genannt. Je seltener eine Erkrankung ist, desto mehr falsch-positive Ergebnisse produziert selbst ein sehr guter Test. Konsequenz in der Praxis: Massenscreenings auf seltene Krankheiten erzeugen meist mehr Schaden (unnötige Behandlungen, Angst, Kosten) als Nutzen. Bestes Beispiel waren die anlasslosen Massentestungen auf Covid mit fragwürdigen Tests (mehr dazu hier)! Aber dort ging es ja darum, die Angstlevels hoch zu halten, um die Restriktionen aufrechtzuerhalten und dafür waren die vielen Falschpositiven durchaus nützlich.

Deshalb sollte man immer gezielt testen, wenn bereits Symptome oder andere Risikofaktoren vorliegen – dann steigt die Vortest-Wahrscheinlichkeit deutlich und ein positiver Befund wird aussagekräftiger. Daher hatte ich im Beispiel auch dazugeschrieben, dass Du Dich anlasslos hast testen lassen. Wenn die Krankheit z.B. bestimmte Symptome gehabt hätte, die nur jeder 10. Mensch hat und Dich der Arzt deshalb für den Test ausgewählt hätte, dann wäre auch das Ergebnis wesentlich aussagekräftiger (nämlich 50% statt 9%)!

Beispiel 3 - Überwachung

Beim Champions League Finale 2017 in Cardiff scannte die Polizei mit Gesichtserkennung von öffentlichen Kameras die Gesichter von ca. 170.000 Personen, um "persons of interest" (also bekannte Straftäter) aufzuspüren. Ergebnis: 2470 Treffer, davon 2297 falsch positiv! Das System war nicht defekt – es litt einfach unter der extrem niedrigen Basisrate echter Krimineller. Ähnlich werden vermutlich datenintensive "Terrorabwehr-Programme" (zb. eine Chatkontrolle) scheitern: Bei winziger Basisrate echter Krimineller produzieren selbst gute Algorithmen Millionen falscher Treffer, binden Ressourcen und verletzen Bürgerrechte.

Fazit:

Der Prävalenzfehler zeigt: Je seltener etwas ist, desto mehr falsche Alarme gibt es – egal wie gut das Verfahren ist (eventuell gibt es in Zukunft mit AI noch bessere Verfahren, aber noch ist es nicht soweit). Das gilt für Medizin, Sicherheitspolitik und viele andere Bereiche.
Statistisches Wissen (das in der Schule leider nicht gelehrt wird) ist daher essenziell, um vernünftige Entscheidungen zu treffen. Und auch um abzuwägen, wann Falschpositive in Kauf genommen werden sollten und wann nicht. Auch bei den Feuermeldern sind die meiste Alarme falsch-positiv. Aber hier ist es vertretbar, da durch die wenigen echten Alarme viele Leben gerettet werden.

Quellen:
https://de.wikipedia.org/wiki/Pr%C3%A4valenzfehler
https://www.scientificamerican.com/article/the-false-positive-paradox-explains-why-you-misjudge-risk/

Verwandte Posts:
So durchschaust Du die gängigsten Statistik-Tricks