KI in der Wissenschaft: Neue IPN-Studie zeigt, dass künstliche Intelligenz hilft, Forschungsliteratur systematisch zu beschreiben

Wissen wächst. Und damit auch die Zahl von wissenschaftlichen Artikeln in den Forschungsfeldern. Um einen Überblick über ein Forschungsfeld zu gewinnen, fassen Forscher*innen die Artikel systematisch zusammen. Das Problem dabei ist: Solche Literaturübersichten zu erstellen ist mühselig und sehr zeitaufwendig.

Ein Team des Leibniz-Instituts für die Pädagogik der Naturwissenschaften (IPN) in Kiel hat nun gemeinsam mit Wissenschaftler*innen der Universitäten Hildesheim und Wien Ideen vorgestellt, wie dieser Prozess zukünftig beschleunigt werden kann. Die Studie, geleitet von Thorben Jansen und Lucas Liebenow (beide IPN), ist vor kurzem im renommierten Psychological Bulletin erschienen und wurde zudem in die Editors’ Choice Collection der American Psychological Association (APA) aufgenommen – eine besondere wissenschaftliche Auszeichnung für die Arbeit des Teams.

„Das Aufwendigste und Anstrengendste an einer Literaturzusammenfassung ist es, die Eigenschaften der einzelnen Artikel zu beschreiben“, so Lucas Liebenow. „Pro Artikel müssen 50 bis 100 Informationen über die Ergebnisse, den Studienkontext und die Methode nach dem Vier-Augen-Prinzip in eine Tabelle übertragen werden.“ Manuell dauere dies oft bis zu drei Stunden pro Artikel. Das Team untersuchte an über 300.000 Datenpunkten aus 2.179 Studien, wie präzise acht verschiedene KI-Modelle (wie sie auch in ChatGPT eingesetzt werden) diese Aufgabe übernehmen können. Um die Genauigkeit bestimmen zu können, nahmen sie bereits veröffentlichte Literaturzusammenfassungen, bei denen Menschen diesen Prozess durchgeführt hatten, und wiederholten ihn mit den KI-Modellen.

Die Ergebnisse der Studie zeigen, dass die Genauigkeit der KI-Modelle zwischen exzellent und unzureichend schwankt und besonders dann hoch ist, wenn klar ist, welche Information gesucht wird und wenn die Information im Artikel eindeutig steht. Wurde eine Information von mehreren Modellen aus den Artikeln kodiert, waren die Ergebnisse häufiger korrekt als wenn nur ein Modell die Information fand. Das deutet darauf hin, man in der Anwendung mehrere KI Modelle gleichzeitig benutzen sollte.

Thorben Jansen fasst zusammen: „Mit unserer grundlegenden Studie konnten wir zeigen, dass unter Einbezug von KI-Modellen, in Zukunft die Arbeit, Literaturzusammenfassungen zusammenzustellen, enorm beschleunigt werden kann. Früher habe ich an einem Tag zwei Artikel kodiert. Mit Unterstützung der KI-Modelle schaffe ich es, aktuell 15 bis 20 Artikel durchzusehen und zu beschreiben, Tendenz steigend.“ Die nächsten Schritte des Teams sind nun herauszufinden, wie Forschende KI zur Beschleunigung wissenschaftlicher Methoden nutzen können und dabei die Kontrolle bewahren.

Der vollständige Artikel ist frei verfügbar unter:
https://psycnet.apa.org/fulltext/2027-04635-004.html