Wirken und Grenzen der Evidenz

COVID-19 hat dazu beigetragen, dass Forschung beschleunigt und Studien in immer schnellerem Tempo publiziert wurden. Um die Übersicht über Erkenntnisse und ihre Qualität zu wahren, sind systematische Reviews probat. Doch wie gehen andere Wissenschaftsfelder mit den für die Medizin bewährten Methoden der Evidenzbasierung um?

Von Michaela Endemann

Die COVID-19-Pandemie erforderte rasche evidenzbasierte Empfehlungen für politische Entscheidungsträger_innen auf allen Ebenen und Disziplinen. Sich allerdings nur auf einzelne wissenschaftliche Studien zu verlassen, kann trügerisch sein. Das internationale Forschungsnetzwerk Cochrane zur Förderung evidenzbasierter Entscheidungsfindung in der Medizin produziert seit Jahrzehnten systematische Reviews nach strengen Methoden, um valide Aussagen über die Evidenz zu einer Fragestellung zu generieren. Die systematische Literaturrecherche zum Thema nach vorher festgelegten Kriterien ist dabei zur Fachdisziplin geworden. Suchspezialist_innen durchlaufen mittlerweile eine eigene Ausbildung. „Mit der systematischen Suche steht und fällt die Qualität der systematischen Evidenzsynthesen. Wird zu breit gesucht, versinkt das Review-Team in Tausenden von irrelevanten Abstracts. Wird zu eng gesucht, können relevante Studien übersehen werden“, sagt Barbara Nußbaumer-Streit, Co-Direktorin am Zentrum Cochrane Österreich an der Universität für Weiterbildung Krems. Mittels der GRADE-Methode, sie steht für Grading of Recommendations, Assessment, Development and Evaluation, bewerten dann die Gutachter_innen, immer mindestens zwei, unabhängig voneinander, wie vertrauenswürdig die gefundene Literatur ist.

Systematische Reviews, also übergreifende Zusammenfassungen, meist zur Wirksamkeit von Interventionen zur Prävention, Behandlung und Rehabilitation vorhandener relevanter Forschungsergebnisse, werden bei Cochrane bereits seit knapp 30 Jahren durchgeführt. Der Prozess erfolgt nach klaren methodischen Vorgaben, die im Cochrane-Handbuch zu finden sind. Alle von Cochrane weltweit durchgeführten Reviews sind öffentlich in der Cochrane Library digital abrufbar. „Die Reviews werden entweder von politischen Entscheidungsträgern in Auftrag gegeben, wie z. B. von der WHO, oder sind Eigeninitiativen von Forschergruppen. Sie werden allerdings nicht von der Industrie finanziert, um Interessenkonflikte ausschließen zu können“, so Barbara Nußbaumer-Streit.

Wenn’s schnell gehen muss

Während Systematic Reviews keinem Zeitdruck unterliegen und schon mal auch bis zu zwei Jahre zur Fertigstellung dauern können, geht das bei Rapid Reviews deutlich schneller. „Das Konzept der Rapid Reviews ist nicht neu, schon 2015 hat Cochrane Österreich gemeinsam mit Kolleg_innen aus den USA und Kanada die Arbeitsgruppe ‚Cochrane Rapid Reviews Methods Group (RRMG)‘ ins Leben gerufen“, erläutert Nußbaumer-Streit. Beispielsweise wird nur in einer begrenzten Auswahl von Datenbanken und bzw. oder nur nach englischsprachigen Studien gesucht. „Wichtig ist es, methodische Abkürzungen zu wählen, die trotzdem noch zu validen Aussagen führen.“

Barbara Nußbaumer-Streit war unter anderem am Cochrane Rapid Review zur Wirksamkeit der Quarantäne zur Eindämmung der COVID-19-Pandemie beteiligt, der von der WHO beauftragt wurde. Gemeinsam mit einem Team ihres Departments an der Universität für Weiterbildung Krems wollte sie herausfinden, ob Quarantänemaßnahmen wirklich wirken. „Innerhalb einer Woche mussten wir der WHO den ersten Bericht schicken. Nach einem Monat wollte die WHO ein Update und nach einem weiteren Monat wurde der Review in der Cochrane Library veröffentlicht. Wir mussten tausende Studien prüfen, hatten zwei Meetings pro Tag, dazwischen wurde nur am Review gearbeitet, anfangs noch im Büro, da wir im Februar 2020, also vor dem ersten Lockdown begonnen hatten“, erzählt Nußbaumer-Streit. Eine Besonderheit: In der Erstfassung waren die zur damaligen Zeit besten verfügbaren Studien Modellierungsstudien, die normalerweise nicht in Cochrane Reviews eingeschlossen werden. Nach zwei Monaten gab es dann bereits Beobachtungsstudien. „Der Rapid Review war durchaus eine Herausforderung und nichts, was man täglich machen kann“, erinnert sich die Wissenschafterin.

Leitlinien für die Praxis

Ähnlich wie bei Rapid Reviews war auch der Bedarf an medizinischen Leitlinien in der Pandemie groß. Die Universität Krems und Cochrane arbeiten dafür intensiv mit dem American College of Physicians, insbesondere mit Amir Qaseem, Vizepräsident der Abteilung für klinische Politik und des Zentrums für Evidenzüberprüfung am American College of Physicians (ACP), zusammen. Grundlage ist ein von der WHO bereits 2014 erstelltes Handbuch für die Entwicklung von Leitlinien, darunter Prozesse zur Erstellung von Rapid advice guidelines als Reaktion auf die Ebola-Epidemie, die 2017 neu überarbeitet wurden. Amir Qaseem und sein Team vom ACP verfassten 2021 im Zuge der COVID-19-Pandemie ein Methodenpaper, um den Prozess anschaulich darzustellen. Die Rapid advice guidelines oder Practice Points basieren ebenso wie der Cochrane-Prozess auf der systematischen Überprüfung der Literatur, der Anwendung der GRADE-Methode, der Anwendung strenger Richtlinien zur Offenlegung von Interessen und zum Umgang mit Interessenkonflikten, die Einbeziehung einer öffentlichen (nichtärztlichen) Perspektive und die Aufrechterhaltung der Dokumente und einem dualen Prozess. Wie Qaseem meint, hätten sich diese Rapid advice guidelines ebenfalls als ressourcenintensiv erwiesen.

Kritische Diskussion

Übersichtsarbeiten zur Evidenzbasierung haben sich in der Medizin etabliert und sind als Entscheidungsgrundlage anerkannt. Wie gehen andere Felder der Wissenschaft damit um? Für die Praxis der Erziehungswissenschaften und die Bildungspolitik beispielsweise wird die zunehmend stärkere Orientierung an und die Nutzung von evidenzbasierten Befunden durchaus kritisch diskutiert. So spricht beispielsweise die deutsche Bildungsforscherin Sieglinde Jornitz 2009 davon, dass das Konzept Evidenz ohne wissenschaftstheoretische Überlegungen auf die Pädagogik übertragen wurde. Daniel Tröhler, Professor am Institut für Bildungswissenschaft an der Universität Wien, spricht in einer seiner Veröffentlichungen 2014 von einer „Medikalisierung“ der Bildungsforschung und -politik und er meint dazu heute: „Wir haben eine Bildungspolitik, die wie die Medizinforschung verfährt: Trial and Error, statistische Nachweise, aber keine Deliberation. Die Politik, die so verfährt, hat das Argumentieren verdrängt bzw. die Statistik an die Stelle von Argumenten gesetzt.“ Es gäbe zudem überhaupt keine Evidenzen, dass evidenzbasierte Bildungspolitik irgendwelchen positiven Einfluss habe, eher negativen, weil damit viel Reformunruhe ins pädagogische Feld gekommen sei. Aus Lehrer- und Schuldirektorenkreisen sei sogar vom „Qualitätszirkus ohne Mehrwert“ die Rede. Zudem solle man vor lauter Datenlukrieren nicht übersehen, dass Bildung in erster Linie mit Menschen zu tun habe und sich nicht jeder Lernfortschritt in evidenzbasierten Daten abbilden lasse.

Das Forschungsdesign, also die Verfahrensregeln der Wissensproduktion, steht ebenso im Fokus der Evidenzbasierung. Auch hier zeigen sich unterschiedliche Anforderungen je nach Forschungsgebiet mit Auswirkung auf die Interpretierbarkeit von Befunden. Heidi Reber, bis vor kurzem aktives Mitglied im VEÖ-Verband der Ernährungswissenschaften Österreichs: „Für die Zulassung von Medikamenten eignet sich die gegenwärtig benutzte Evidenzskala bestens. Für die Beurteilung von anderen, sich auf Gesundheit und Krankheit auswirkenden Faktoren wie etwa Inhaltsstoffe in der Ernährung, ist sie unbrauchbar. Wollen wir z. B. eine Studie mit hohem Evidenzgrad durchführen, um zu erforschen, ob die nachweislich bei Tieren krebserregenden und mutagenen Inhaltsstoffe von raffiniertem Palmöl auch bei jungen Menschen cancerogen und mutagen wirken, müssten wir mehrere tausend Kinder, die sich in wesentlichen Merkmalen wie Alter, Wohnort, Gesundheitszustand usw. nicht unterscheiden, randomisiert in eine Versuchs und eine Kontrollgruppe einteilen und diese müsste über mehrere Jahrzehnte kontrolliert ernährt und beobachtet werden. Dennoch meint sie: „Man könnte auch die Evidenzkriterien für ernährungsbezogene Fragen anpassen. So könnte man z. B. Tierversuche und eventuell auch eine nachgewiesene positive Korrelation bei Menschen als ausreichende Evidenz definieren, um das Vorsorgeprinzip anwenden zu können. Wenn ein Molekül bei Tieren carcinogen oder mutagen wirkt oder andere negative Folgen hat, solle das genug Grund sein, es in Lebensmitteln zu verbieten.“

Diese herausfordernde Übertragbarkeit konzediert auch Nußbaumer-Streit: „In anderen Bereichen im Gesundheitswesen wie Public Health ist es schwieriger. Beispielsweise ist die Frage, wie sich eine Fettsteuer auf Lebensmittel auf die Gesundheit auswirkt, schwerer in Studien zu untersuchen, als die Wirksamkeit von Medikamenten.“ Doch, so die Forscherin, zahle es sich aus, auch diese Fragestellungen evidenzbasiert zu beantworten.

BARBARA NUSSBAUMER-STREIT
Dr.in Barbara Nußbaumer-Streit, MSc BSc ist Co-Direktorin von Cochrane Österreich und wissenschaftliche Mitarbeiterin am Department für Evidenzbasierte Medizin und Evaluation der Universität für Weiterbildung Krems.

AMIR QASEEM
Dr. Amir Qaseem ist Vizepräsident der Abteilung für klinische Politik und des Zentrums für Evidenzüberprüfung am American College of Physicians (ACP). Das ACP ist enger Kooperationspartner des Departments für Evidenzbasierte Medizin und Evaluation der Universität für Weiterbildung Krems.

HEIDI REBER
Mag.^a Heidi Reber engagierte sich aktiv im Verband der Ernährungswissenschafter Österreichs VEÖ und lehrte bis 2012 Ernährungswissenschaften am Campus Wieselburg. Bis vor kurzem leitete sie die „Osteoporose Selbsthilfe Saalfelden“.

DANIEL TRÖHLER
Univ.-Prof. Dr. Daniel Tröhler ist ein Schweizer Erziehungswissenschaftler und derzeit Professor am Institut für Bildungswissenschaft an der Universität Wien. Sein Forschungsfokus liegt auf vergleichender Bildungsgeschichte.