Verursacht maschinelles Lernen eine Wissenschaftskrise?
Die Techniken des maschinellen Lernens, die von Tausenden von Wissenschaftlern zur Analyse großer Datenmengen eingesetzt werden, erzeugen irreführende und oft völlig falsche Ergebnisse.
Die Techniken des maschinellen Lernens, die von Tausenden von Wissenschaftlern zur Analyse großer Datenmengen eingesetzt werden, erzeugen irreführende und oft völlig falsche Ergebnisse.
Dr. Genevera Allen von der Rice University in Houston (USA) ist der Ansicht, dass der zunehmende Einsatz solcher Techniken zu einer „Krise in der Wissenschaft“ beiträgt. Sie warnt die Forscher, dass, wenn sie ihre Techniken nicht verbessern, sie nicht nur Zeit, sondern auch Geld verschwenden. Dr. Allen stellte ihre Forschungen bei der AAAS (American Association for the Advancement of Science) in Washington vor.
Das Problem dabei ist, dass die Antworten, die sich aus solchen Untersuchungen ergeben, häufig ungenau oder sogar falsch sein können, weil die Software in den Daten Muster ermittelt, die nur in dem betreffenden Datensatz, nicht aber in der realen Welt existieren.
Häufig fällt die Ungenauigkeit einer solchen Studie erst dann auf, wenn die gleiche Technik auf einen anderen großen Datensatz angewandt wird und es den Anschein hat, dass sich die Ergebnisse nicht decken.
In der Wissenschaft wächst die Erkenntnis, dass es eine Reproduzierbarkeitskrise gibt. Laut Dr. Allen wird dies maßgeblich durch die Anwendung von Techniken des maschinellen Lernens in der wissenschaftlichen Forschung verursacht.
Diese „Krise“ bezieht sich auf die alarmierende Zahl wissenschaftlicher Ergebnisse, die nicht reproduziert werden können, wenn andere Forscher das gleiche Experiment durchführen. Es wird vermutet, dass dies auf etwa 85 % aller weltweit durchgeführten biomedizinischen Forschungen zutrifft.
Eine der Ursachen der Krise ist, dass Algorithmen für das maschinelle Lernen sich besonders darauf konzentrieren, „interessante“ Muster zu finden – mit der offensichtlichen Folge, dass ein Muster fast zwangsläufig gefunden wird, insbesondere wenn es sich um sehr große Datensätze handelt. Die Frage ist jedoch, ob das gefundene Muster wirklich etwas Wesentliches bedeutet – was in vielen Fällen wahrscheinlich nicht der Fall ist.
Quelle: BBC News
Dr. Genevera Allen von der Rice University in Houston (USA) ist der Ansicht, dass der zunehmende Einsatz solcher Techniken zu einer „Krise in der Wissenschaft“ beiträgt. Sie warnt die Forscher, dass, wenn sie ihre Techniken nicht verbessern, sie nicht nur Zeit, sondern auch Geld verschwenden. Dr. Allen stellte ihre Forschungen bei der AAAS (American Association for the Advancement of Science) in Washington vor.
Reproduzierbarkeitskrise
Immer mehr wissenschaftliche Forschung basiert auf dem Einsatz von Software für das maschinelle Lernen zur Analyse bereits gesammelter Daten, in einer Vielzahl von Forschungsbereichen von der Biomedizin bis zur Astronomie. Die verwendeten Datensätze sind meist sehr umfangreich und zudem sehr teuer.Das Problem dabei ist, dass die Antworten, die sich aus solchen Untersuchungen ergeben, häufig ungenau oder sogar falsch sein können, weil die Software in den Daten Muster ermittelt, die nur in dem betreffenden Datensatz, nicht aber in der realen Welt existieren.
Häufig fällt die Ungenauigkeit einer solchen Studie erst dann auf, wenn die gleiche Technik auf einen anderen großen Datensatz angewandt wird und es den Anschein hat, dass sich die Ergebnisse nicht decken.
In der Wissenschaft wächst die Erkenntnis, dass es eine Reproduzierbarkeitskrise gibt. Laut Dr. Allen wird dies maßgeblich durch die Anwendung von Techniken des maschinellen Lernens in der wissenschaftlichen Forschung verursacht.
Diese „Krise“ bezieht sich auf die alarmierende Zahl wissenschaftlicher Ergebnisse, die nicht reproduziert werden können, wenn andere Forscher das gleiche Experiment durchführen. Es wird vermutet, dass dies auf etwa 85 % aller weltweit durchgeführten biomedizinischen Forschungen zutrifft.
Ein strukturelles Problem
Die Krise der Reproduzierbarkeit ist in den letzten 20 Jahren stets größer geworden. Die Ausführung, die Struktur der Experimente ist nicht gut genug durchdacht, um zu verhindern, dass sich die Forscher selbst täuschen und nur sehen, was sie sehen wollen. Die wissenschaftliche Forschung muss statt dessen zunächst eine (vorzugsweise falsifizierbare) Hypothese aufstellen, und erst dann wird geprüft, ob experimentelle Daten die Hypothese bestätigen können.Eine der Ursachen der Krise ist, dass Algorithmen für das maschinelle Lernen sich besonders darauf konzentrieren, „interessante“ Muster zu finden – mit der offensichtlichen Folge, dass ein Muster fast zwangsläufig gefunden wird, insbesondere wenn es sich um sehr große Datensätze handelt. Die Frage ist jedoch, ob das gefundene Muster wirklich etwas Wesentliches bedeutet – was in vielen Fällen wahrscheinlich nicht der Fall ist.
Quelle: BBC News
