If you don't remember your password, you can reset it by entering your email address and clicking the Reset Password button. You will then receive an email that contains a secure link for resetting your password
If the address matches a valid account an email will be sent to __email__ with instructions for resetting your password
Korrespondenzadresse: Benjamin Barnes. Robert Koch-Institut, Abteilung für Epidemiologie und Gesundheitsmonitoring, Nordufer 20, 13353 Berlin, Deutschland.
Seit Anfang der COVID-19-Pandemie zeigt sich ein hoher Bedarf an zügigen Evidenzzusammenstellungen zur Beantwortung dringender Public-Health-Fragen. Der vorliegende Beitrag gibt einen Überblick über verschiedene Review-Typen für Public-Health-relevante Fragestellungen sowie eine Synthese bestehender Empfehlungen zur Erstellung von Reviews. Ziel ist es, die Planung eines eigenen Reviews bzw. die kritische Beurteilung veröffentlichter Reviews zu unterstützen.
Methode
Die Basis bildete eine ausführliche Recherche zu Leitlinien und Empfehlungen für unterschiedliche Review-Typen. Des Weiteren wurden institutsinterne Journal Clubs zur Bedarfsermittlung und zur kritischen Auseinandersetzung mit den verschiedenen Review-Typen durchgeführt. Zur Dissemination der Ergebnisse wurden für die einzelnen Review-Typen Fact Sheets mit den wichtigsten Informationen, Voraussetzungen und Arbeitsschritten sowie ein Entscheidungsbaum zur Identifizierung des für die jeweilige Fragestellung geeigneten Review-Typs entwickelt.
Ergebnisse
Von den identifizierten Review-Typen wurden Systematic, Rapid, Scoping, Umbrella und Narrative Reviews näher betrachtet, weil sie für Fragestellungen im Public-Health-Bereich besonders relevant sind. Zusammen mit Scoping und Umbrella Reviews weisen Systematic Reviews aufgrund der Anforderungen an eine umfangreiche, systematische Evidenzsynthese und Reproduzierbarkeit den höchsten Ressourcenbedarf auf. Rapid-Methoden können den Review-Prozess beschleunigen, beispielsweise durch eine sehr eng formulierte Fragestellung, eine eingeschränkte Literatursuche oder die Durchführung bestimmter Schritte durch eine anstatt zwei Personen.
Diskussion
Systematic Reviews können als „Goldstandard“ angesehen werden, wurden jedoch in erster Linie für klinische Fragestellungen zu Interventionen entwickelt. Dagegen wurde in diesem Artikel der Fokus auf Review-Typen gelegt, die die Vielfalt der Fragestellungen sowie die vorwiegende Verwendung quantitativer Methoden im Public-Health-Bereich berücksichtigen. Die entwickelten Fact Sheets sowie der Entscheidungsbaum sollen einen niedrigschwelligen Zugang zu Reviews ermöglichen und dabei Perspektiven der Forschung und Ressourcenplanung verknüpfen. Sie ergänzen bestehende Leitlinien und Empfehlungen.
Schlussfolgerung
Für Reviews im Public-Health-Kontext stehen hinsichtlich der Vielfalt an Fragestellungen verschiedene Review-Typen inklusive ihrer unterschiedlichen Anforderungen und Abläufe zur Verfügung. Angesichts dieser Vielfalt kann eine systematische Einführung für Forschende, die ein Review planen oder beurteilen, hilfreich sein.
Abstract
Background
Since the beginning of the COVID-19 pandemic, there has been a high demand for rapid evidence syntheses to answer urgent public health questions. This article provides an overview of different types of reviews for public health questions and a synthesis of existing recommendations for the preparation of reviews. The aim is to support the planning of one's own review and the critical evaluation of published reviews.
Methods
The basis of this summary is an extensive search for guidelines and recommendations for different review types. Furthermore, internal journal clubs were held to determine knowledge needs and to critically discuss the various review types. Relating to the dissemination of results, fact sheets were developed for the individual review types including the most important information, prerequisites and work steps, as well as a decision tree for identifying the appropriate review type for the respective question.
Results
Of the review types identified, Systematic, Rapid, Scoping, Umbrella, and Narrative Reviews were considered in more detail because they are particularly relevant to public health issues. Together with scoping and umbrella reviews, systematic reviews have the highest resource requirements due to the demands for extensive, systematic evidence synthesis and reproducibility. Rapid methods can accelerate the review process, for example by a very narrowly formulated question, a limited literature search, or the execution of certain steps by one instead of two persons.
Discussion
Systematic Reviews may be considered as the gold standard, but they were developed primarily for clinical questions relating to interventions. This article, however, focusses on review types that consider the diversity of questions as well as the predominant use of quantitative methods in the field of public health. The fact sheets developed and the decision tree should enable low-threshold access to reviews while linking the perspectives of research and resource planning. They complement existing guidelines and recommendations.
Conclusion
To answer the diverse spectrum of public health questions, various types of reviews with various requirements and approaches are available. Given this diversity, a systematic introduction can be helpful for researchers planning or assessing a review.
Systematische Evidenzsynthesen im Public-Health-Bereich unterstützen bei der Planung und Weiterentwicklung von Public-Health-Maßnahmen und helfen außerdem dabei, Evidenzlücken aufzudecken [
]. Ihre Rollen sind in bestimmten normgebenden Public-Health-Bereichen bereits etabliert, beispielsweise in der Erarbeitung von Empfehlungen der Ständigen Impfkommission beim Robert Koch-Institut (RKI) [
STIKO, Standardvorgehensweise (SOP) der Ständigen Impfkommission (STIKO) für die systematische Entwicklung von Impfempfehlungen. Version 3.1 (Stand 14.11.2018), Berlin, 2018.
Allgemeine Verwaltungsvorschrift zur wissenschaftlichen Bewertung von Früherkennungsuntersuchungen zur Ermittlung nicht übertragbarer Krankheiten (StrlSchGVwV-Früherkennung). Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit (BMU), 2018.
Berufskrankheiten-Verordnung vom 31. Oktober 1997 (BGBl. I S. 2623), die zuletzt durch Artikel 1 der Verordnung vom 29. Juni 2021 (BGBl. I S. 2245) geändert worden ist, 2021.
Die COVID-19-Pandemie hat verdeutlicht, dass Public-Health-Forschungseinrichtungen und -Institutionen immer wieder vor der Herausforderung stehen, möglichst zeitnah gesicherte Erkenntnisse zu Ausmaß, Folgen und Umgangsmöglichkeiten in Bezug auf neue Gesundheitskrisen zusammenzutragen, sodass gesundheitspolitische Entscheidungen schnell und fundiert getroffen werden können [
]. Eine Möglichkeit, Evidenz vergleichsweise zügig zusammenzustellen, sind sogenannte Rapid Systematic Reviews (kurz: Rapid Reviews), die im Zuge der dynamischen Entwicklung von Inzidenzen und Eindämmungsstrategien in der COVID-19-Pandemie vermehrt erarbeitet wurden [
für die Querschnitts A. G. Rapid Reviews des Kompetenznetzes Public Health zu COVID-19
Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens.
]. Das Rapid Review ist eine Form des systematischen Reviews, bei der aufgrund von Ressourcenbeschränkungen (z. B. einer kurzen zeitlichen Frist für eine dringliche Entscheidung) die Vorgehensweise verkürzt und die Ergebnisse relativ zeitnah zur Verfügung gestellt werden können.
Wegen des hohen Bedarfs an zügiger Evidenzzusammenstellung während der Pandemie haben sich verschiedene Forschungsgruppen mit der Festlegung und Weiterentwicklung allgemeiner Empfehlungen bzw. Leitlinien zu Rapid Reviews beschäftigt [
für die Querschnitts A. G. Rapid Reviews des Kompetenznetzes Public Health zu COVID-19
Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens.
], auch die Abteilung für Epidemiologie und Gesundheitsmonitoring des RKI. Dabei wurden neben Rapid Reviews auch weitere im Public-Health-Kontext gebräuchliche Review-Typen berücksichtigt. Es wurde eine Arbeitsgruppe damit beauftragt, allgemeine Empfehlungen und übergeordnete Leitlinien für die Erstellung dieser Reviews zusammenzutragen, sie abteilungsintern zu diskutieren und im Anschluss adressatengerecht aufzuarbeiten.
Der vorliegende Beitrag stellt den Arbeitsprozess sowie die Ergebnisse dieser Arbeitsgruppe dar. Er liefert einen breiten Überblick über Review-Typen, die für Public-Health-relevante Fragestellungen mit quantitativem Fokus verwendet werden können. In diesem Zusammenhang verweist er auf unterschiedliche bestehende Leitlinien sowie vertiefende und weiterführende Literatur. Die so entstandene Synthese von Empfehlungen soll Forschende im Bereich Public Health dabei unterstützen, passende Review-Typen für eine vorliegende Fragestellung zu finden und eine erste Orientierung für das methodische Vorgehen bieten. Zudem kann sie dabei helfen, Ergebnisse und Qualität von publizierten Reviews besser zu beurteilen.
Methoden
Grundlage für den vorliegenden Überblick bildete eine ausführliche Recherche ausgehend von der wachsenden Bedeutung von Reviews für Public Health sowohl in Deutschland als auch international. Ziel dabei war es, eine Auswahl und Zusammenfassung der für Public Health relevanten Review-Typen zu erstellen. Insbesondere wurden Aspekte wie der Bedarf nach schneller Evidenzsynthese, die systematische Evidenzerfassung bezüglich übertragbarer und nicht-übertragbarer Krankheiten, aber auch die Analyse von Forschungsbedarfen und -lücken („Gap-Analysis“) berücksichtigt.
Leitlinien und Empfehlungen für viele unterschiedliche Review-Typen wurden vor allem von Cochrane [
] veröffentlicht und für diese Übersichtsarbeit verwendet. Diese und weitere Empfehlungen für die betrachteten Review-Typen sind nachfolgend aufgeführt:
für die Querschnitts A. G. Rapid Reviews des Kompetenznetzes Public Health zu COVID-19
Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens.
Pollock M, Fernandes R, Becker L, Pieper D, Hartling L. Chapter V: Overviews of Reviews. In: Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V, editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021), 2021.
Um die Zusammenfassung wesentlicher Merkmale und Besonderheiten der ausgewählten Reviews für Akteur:innen im Bereich Public Health bereitzustellen, wurden verschiedene Disseminationsformate entwickelt. Dazu zählten Journal Clubs als abteilungsinterne Kurz-Fortbildungen mit dem Ziel, unterschiedliche Review-Typen vorzustellen sowie die Informationsbedürfnisse der in der Abteilung tätigen Wissenschaftler:innen zu erfassen. Jeder Journal Club begann mit einem kurzen Input-Vortrag zu Besonderheiten und zu Empfehlungen für die Durchführung des jeweiligen Review-Typs, abgeleitet aus den oben genannten Quellen. Im Anschluss wurde in Kleingruppen und abschließend im Plenum ein zuvor ausgewählter Beispielreview aus der aktuellen Literatur analysiert und diskutiert. Diskussionsthemen waren beispielsweise die korrekte Umsetzung der jeweiligen Leitlinie oder die Eignung des Review-Typs für die jeweilige Fragestellung.
Aufbauend auf den Ergebnissen dieser Journal Clubs wurden von den immer zwei Vortragenden zugehörige Fact Sheets entwickelt. Zu diesem Zweck wurden die zu den jeweiligen Review-Typen existierenden Leitlinien und Empfehlungen (s. oben), die sich mitunter stark unterscheiden, überblicksartig zusammengefasst. Zur besseren Orientierung wurden die jeweils verwendeten Leitlinien auf dem Fact Sheet vermerkt. Die Fact Sheets sollen die existierenden Empfehlungen nicht ersetzen, sondern in einer kurzen, übersichtlichen Form die wichtigsten Informationen und Arbeitsschritte darstellen, die für die Erstellung eines bestimmten Review-Typs benötigt werden. Wenn unterschiedliche Empfehlungen vorliegen, wurde in den jeweiligen Abschnitten der Ergebnisse beschrieben, wie diese verknüpft wurden. Die Fact Sheets wurden folgendermaßen strukturiert:
•
Allgemeine Information
o
Kurze Zusammenfassung
o
Leitlinie(n)
o
Ressourcenbedarf
•
Arbeitsschritte
1.
Review planen
○
Fragestellung formulieren
○
Review-Protokoll erstellen
○
Über Software-Unterstützung entscheiden
2.
Literatur durchsuchen
○
Literatur durchsuchen
○
Studien auswählen
○
Daten extrahieren
3.
Evidenz zusammenstellen
○
Risk of Bias (RoB) bewerten
○
Evidenz zusammenfassen und interpretieren
Des Weiteren wurde ein Entscheidungsbaum entwickelt, der dabei helfen soll, den geeigneten Review-Typ für die jeweilige Fragestellung auszuwählen. Der Entscheidungsbaum basiert auf dem vom Knowledge Translation Program des Li Ka Shing Knowledge Institute des St. Michael’s Hospital entwickelten Werkzeug „What review is right for you?“ [
] und wurde an die Bedarfe der Public-Health-Forschung angepasst. Der Entscheidungsbaum berücksichtigt epidemiologische und Public-Health-relevante Fragestellungen sowie Zielsetzungen für die Surveillance übertragbarer und nicht-übertragbarer Krankheiten und der Versorgungsforschung.
Ergebnisse
Ausgewählte Public-Health-relevante Review-Typen
Folgende Review-Typen wurden aufgrund ihrer vorrangigen Verwendung bei Public-Health-relevanten Fragestellungen ausgewählt: Systematic Review, Rapid Review, Umbrella Review, Scoping Review und Narrative Review. Zur Abschätzung des zeitlichen und personellen Aufwands der verschiedenen Review-Typen siehe Tabelle 1.
Tabelle 1Ressourcenbedarf für dargestellte Review-Typen.
: Bei Rapid Reviews sollen Personen, die Arbeitsschritte einzeln bearbeiten, Erfahrung mit der Durchführung von Reviews haben (s. Abschnitt Übergreifende Aspekte).
, Prüfung jeweils durch zweite Person
Scoping Review
≥ 12 Monate
≥2 Personen für unabhängige Studienauswahl und Datenextraktion
Narrative Review
≤ 4 Monate
≥1 Person/en
Umbrella Review
≤ 12 Monate
≥2 Personen für unabhängige Studienauswahl, Datenextraktion und Qualitätsbewertung
1 : Bei jedem Review-Typ soll die Expertise eines:r Informationsspezialisten:in herangezogen werden.
2 : Bei Rapid Reviews sollen Personen, die Arbeitsschritte einzeln bearbeiten, Erfahrung mit der Durchführung von Reviews haben (s. Abschnitt Übergreifende Aspekte).
Abbildung 1 zeigt beispielhaft das Fact Sheet für Systematic Reviews. Die weiteren Fact Sheets sind als Anhang A verfügbar. Abbildung 2 zeigt den Entscheidungsbaum, der die Auswahl des jeweils geeigneten Review-Typs erleichtern soll. Ausgangspunkt für die Entscheidung für einen Review-Typ ist die Public-Health-Fragestellung bzw. Zielsetzung des Reviews, die der folgende Kurzdarstellung der Review-Typen jeweils vorangestellt werden soll.
Ist das Ziel die systematische, reproduzierbare und umfassende Zusammenstellung von Literatur zu einer definierten Fragestellung, z. B. zum Effekt einer Exposition oder zur Effektivität einer Intervention, eignet sich ein hoch standardisiertes Systematic Review [
]. Dieser Abschnitt bildet lediglich wesentliche Schritte der Erstellung eines Systematic Reviews ab. Die Leitlinien von Cochrane und JBI beschreiben jeweils das komplette Verfahren und müssen bei der Durchführung herangezogen werden. Systematische Reviews erfordern - verglichen mit anderen Review-Typen und abhängig von der konkreten Fragestellung - die meisten Ressourcen, sowohl zeitlich als auch personell, da bei (fast) allen Schritten mindestens zwei Personen parallel und unabhängig voneinander arbeiten müssen [
] dargestellt, um den Ansprüchen der Reproduzierbarkeit und möglichst geringen Verzerrung zu genügen. Zunächst wird die Fragestellung unter präziser Eingrenzung der Kriterien Population, Intervention bzw. Exposition, Comparator (Vergleichsgruppe), Outcome und Setting (PICOS- bzw. PECOS-Schema) definiert. Ein Beispiel für eine Fragestellung ist: Welche Effekte hat die Grippeimpfung bei Personen mit Diabetes? (P: Patienten mit Typ-1- und Typ-2-Diabetes jedes Alters, I: Grippeimpfung, C: Personen mit Diabetes, die keine Impfung oder ein Placebo erhielten, O: alle in entsprechenden Studien berichteten klinisch oder im Labor bestätigten Outcomes) [
]. Die Fragestellung dient als Grundlage für die weitere Planung und Durchführung des Reviews. Zur Planung des Systematic Reviews gehört die Erarbeitung und Veröffentlichung eines Review-Protokolls in einer Online-Datenbank, wie z. B. dem Prospective Register of Systematic Reviews (PROSPERO). Weitere Plattformen zur Veröffentlichung von Protokollen sind z. B. das Open Science Framework (OSF), die Cochrane Database oder die Datenbank der Campbell Collaboration. Das Review-Protokoll legt u. a. die Literatursuche fest, die in mehr als zwei zu dem Thema einschlägigen Datenbanken erfolgen sollte. Bei Systematic Reviews zu Interventionen ist außerdem eine Suche in Registern für Interventionsstudien (Trial Registries) erforderlich. Auch nach grauer Literatur (z.B. Dissertationen) sollte gesucht werden, ebenso wie nach vor dem Peer Review veröffentlichten Publikationen (preprint). Grundsätzlich müssen alle Beschränkungen der Suche (nach Publikationstyp oder Publikationszeitraum) begründet werden. Die Studienauswahl wird in einem mehrstufigen Verfahren getroffen. Zunächst werden Titel und Abstract mit den im Protokoll ebenso definierten Ein- und Ausschlusskriterien abgeglichen, idealerweise von zwei Personen. Die danach verbleibenden Studien werden vollständig gesichtet. Dabei ist zwingend erforderlich, dass das Volltextscreening durch zwei Personen unabhängig voneinander erfolgt. Besteht über den Ein- oder Ausschluss Uneinigkeit, sollte mit Hilfe einer Diskussion Konsens erreicht werden. Ist dies nicht möglich, wird eine dritte unabhängige Person hinzugezogen, um den Fall zu entscheiden [
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.2. Cochrane,
2021
]. Ergebnisse von Suche und Screening-Prozess werden in einem Flussdiagramm dargestellt, und Studien, die bei dem Volltext-Screening ausgeschlossen wurden, müssen zitiert und der Grund für den Ausschluss erläutert [
]. Aus den ausgewählten Studien werden Daten anhand eines standardisierten Formulars extrahiert und die Studienqualität zur Abschätzung des Risikos für eine systematische Verzerrung (Risk of Bias, RoB; s. Abschnitt Risk-of-Bias-Werkzeuge) mithilfe eines validierten Instruments abgeschätzt.
In einem Systematic Review werden Ergebnisse der Datenextraktion und der Bewertung der Studienqualität zunächst deskriptiv (tabellarisch und/oder narrativ) zusammengefasst. Stellt sich heraus, dass mehrere eingeschlossene Primärstudien einander methodisch ausreichend ähnlich sind und Effektschätzer berichtet wurden, soll sich in einer Meta-Analyse eine quantitative Auswertung der gepoolten Daten anschließen. Die Meta-Analyse bezeichnet eine statistische Methode zur Integration von Ergebnissen (Effekten) aus mehreren Einzelstudien zur Schätzung eines mittleren Gesamteffekts [
Meta-analysis of observational studies in epidemiology: a proposal for reporting. Meta-analysis Of Observational Studies in Epidemiology (MOOSE) group.
Deeks JJ, Altman DG (Herausgeber). Chapter 10: Analysing data and undertaking meta-analyses. In: Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V, editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021), 2021.
]. Bei IPD-Meta-Analysen (individual participant data) werden anonymisierte Primärdaten in die Meta-Analyse eingeschlossen, neu kombiniert und analysiert [
in: Higgins J. Thomas J. Chandler J. Cumpston M. Li T. Page M. Welch V. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2022). Place Published,
2022
]. Bei prospektiven Meta-Analysen werden Studien vor der Bekanntgabe der Ergebnisse – möglicherweise schon bei der Studienplanung – ausgewählt und eingeschlossen [
Chapter 22: Prospective approaches to accumulating evidence.
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Place Published,
2022
]. In der Variante der Network-Meta-Analyse werden sogar mehrere Interventionen aus verschiedenen Studien gleichzeitig verglichen und statistisch analysiert [
Die Erkenntnisse eines Systematic Reviews werden tabellarisch zusammengefasst und bewertet, beispielsweise anhand des Grading of Recommendations Assessment, Development and Evaluation (GRADE) Frameworks (s. Abschnitt Bewertung der Qualität der Evidenz). Daran schließen sich Ergebnisinterpretation und Ableitung von Public-Health-Implikationen an.
Rapid Review
Auch bei einem Rapid Review ist das Ziel eine Zusammenfassung möglichst aller vorhandenen Evidenz zu einer, genau wie bei einem Systematic Review, präzise formulierten Fragestellung. Die Evidenzsynthese soll hohen qualitativen Ansprüchen genügen und transparent durchgeführt werden. Häufig hat die Beantwortung der Frage jedoch eine große Dringlichkeit oder die personellen Ressourcen sind begrenzt. Dann können bei der Durchführung des Reviews „Abkürzungen“ vorgenommen und sorgfältig dokumentiert werden [
für die Querschnitts A. G. Rapid Reviews des Kompetenznetzes Public Health zu COVID-19
Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens.
]. Zum einen wird die Fragestellung anhand von PICOS oder PECOS in Absprache mit den Stakeholdern (Interessengruppen) eher eng gewählt, z. B. indem auf eine Intervention und auf ein oder wenige Outcomes fokussiert wird. Auch beim Rapid Review sollten mindestens zwei Datenbanken eingeschlossen werden, graue Literatur kann aber begründet ausgeschlossen werden. Einschränkungen der Sprache, des Publikationszeitraums, des Studiendesigns etc. bei der Literatursuche sind ebenfalls gängige Möglichkeiten zur Verkürzung der Suche und der anschließenden Studienauswahl. Das Screening von Titel und Abstract erfolgt durch eine erfahrene Person, während eine zweite etwa 20% der Titel und Abstracts sichtet, um das Screeningverfahren zu validieren. Alle in diesem Schritt eingeschlossenen Publikationen werden im Anschluss ebenfalls von der erfahrenen Person als Volltext gesichtet, wobei eine zweite Person alle ausgeschlossenen Volltexte prüft. Die auf wesentliche Studiencharakteristika und Outcomes konzentrierte Datenextraktion sowie die Bewertung des Risk of Bias mit validierten Instrumenten werden ebenfalls von einer Person ausgeführt, eine zweite Person prüft stichprobenartig. Die Evidenz wird meist deskriptiv und ohne Meta-Analyse zusammengefasst. Eine Evidenzbewertung, z. B. mit dem GRADE-Ansatz (s. Abschnitt Bewertung der Qualität der Evidenz), durch eine erfahrene Person, geprüft durch eine zweite Person, ist für ein Rapid Review nicht zwingend erforderlich. Sowohl durch mögliche Abkürzungen in fast allen Prozessstufen als auch durch die Beschränkung der beteiligten Personen kann ein Rapid Review in einer deutlich kürzeren Zeitspanne (≤ 4 Monate) erstellt werden als ein Systematic Review (≥ 12 Monate). Ein Beispiel für eine Fragestellung zu Beginn der Pandemie ist: wie hat sich die psychische Gesundheit in der erwachsenen Allgemeinbevölkerung in Deutschland während der COVID-19-Pandemie entwickelt („Population: Allgemeinbevölkerung in Deutschland; Exposition: COVID-19-Pandemie; Comparison: vor/nach bzw. nach COVID-Ausbruch in Deutschland; Outcome: Psychische Gesundheit)“) [
Bisherige Leitlinien für die Erstellung von Rapid Reviews definieren diesen als Abkürzung der Methodik eines Systematic Reviews. Deswegen wird diese Form auch „Rapid Systematic Review“ genannt. Auch bei anderen Review-Typen, beispielsweise bei Scoping oder Umbrella Reviews, könnten „Abkürzungen“ wie in Rapid Systematic Reviews eingesetzt werden [
]. Allerding wurden die Auswirkungen dieser Methoden auf die Ergebnisse und Schlussfolgerungen anderer Review-Typen noch nicht systematisch untersucht und sind deswegen kein Gegenstand des vorliegenden Manuskripts.
Scoping Review
Scoping Reviews sind ein relativ neuer Typ von systematischen Literaturübersichten, die zur Untersuchung breiterer Fragestellungen besser als klassische Systematic Reviews geeignet sind, dabei aber wesentliche Elemente einer systematischen Literaturübersicht beinhalten. Im Gegensatz zu klassischen Systematic Reviews, die sich z. B. mit der Wirksamkeit von spezifischen Interventionen mittels klar definierter Outcomes in fest umrissenen Populationen auseinandersetzen, dienen Scoping Reviews häufig dazu, ein Forschungsfeld zu sondieren und zu beschreiben. Dabei können z. B. Schlüsselkonzepte identifiziert, inhaltliche Grenzen abgesteckt, Arbeitsdefinitionen erstellt, Forschungslücken identifiziert oder auch die Möglichkeit eines spezifischeren Systematic Reviews evaluiert werden [
]. Die breite Fragestellung führt dazu, dass bei einem Scoping Review üblicherweise unterschiedliche Studiendesigns eingeschlossen werden und eine systematische Bewertung der Qualität der unterschiedlichen Studien häufig nicht möglich ist [
]. Die Fragestellung eines Scoping Reviews ist zwar meistens breit, sollte aber dennoch vor Beginn der Studie klar definiert werden. Hierbei kann auf das PICOS- bzw. PECOS-Schema zurückgegriffen werden, bei vielen Scoping Reviews wird jedoch das Population-Concept-Context-Schema (PCC) für die Formulierung der Fragestellung benutzt [
]. Ein Beispiel wäre ein Überblick über die Evidenz zu den Auswirkungen von Familiencharakteristiken auf die Entstehung gesundheitlicher Ungleichheiten (Concept) bei Schulkindern und Jugendlichen (Population) im familiärem Umfeld (Context) [
]. Die Elemente der PCC-Merkhilfe sollten im Titel der Publikation benannt werden.
Die Veröffentlichung eines Review-Protokolls vor Beginn der Suche (z. B. auf der Plattform OSF) wird empfohlen, um Zusammenarbeit zwischen Forschenden zu erleichtern und Forschungsabsichten transparent darzulegen. Bei der Suche nach Literatur sollten mindestens zwei einschlägige Datenbanken eingeschlossen werden. Da es um die möglichst vollständige Erfassung eines Forschungsfeldes geht, wird empfohlen, die Suche in allen in Frage kommenden Datenbanken, einschließlich in Preprint-Servern, durchzuführen [
]. Mithilfe der Ein- und Ausschlusskriterien prüfen zwei Personen jeden Artikel unabhängig, zunächst Titel und Abstract und anschließend den Volltext. Ein iteratives Vorgehen ist möglich und ggf. empfehlenswert, d. h. nach der Sichtung eines Teils der Literatur können Suchstrategie und das Schema zur standardisierten Datenextraktion gezielt angepasst werden [
]. Eine systematische Bewertung der Qualität der Evidenz oder weiterführende quantitative Meta-Analysen erfolgen üblicherweise nicht. Wie Systematic Reviews können auch Scoping Reviews sowohl zeitlich als auch personell ressourcenintensiv sein. Weil bei (fast) allen Schritten mindestens zwei Personen parallel und unabhängig voneinander arbeiten müssen und häufig komplexe Fragestellungen mit einer Vielzahl unterschiedlicher Publikationen bearbeitet werden, können für die Erstellung eines Scoping Reviews mehr als 12 Monate erforderlich sein.
Umbrella Review
Ist ein Forschungsfeld bereits durch Reviews beforscht, kann ein Umbrella Review (auch Overview of Reviews, Review of Reviews) durchgeführt werden [
]. Zusammengefasst werden dabei nicht Ergebnisse von Primär- oder Einzelstudien, sondern Ergebnisse von Systematic Reviews oder Meta-Analysen (in Cochrane Overviews of Reviews werden nur Cochrane Reviews eingeschlossen [
Pollock M, Fernandes R, Becker L, Pieper D, Hartling L. Chapter V: Overviews of Reviews. In: Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V, editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021), 2021.
]). Dadurch hängt das Evidenzlevel eines Umbrella Reviews von der Qualität und dem Evidenzlevel der eingeschlossenen Systematic Reviews ab. Die Fragestellung kann breiter als bei einem Systematic Review formuliert sein, z. B. können verschiedene Interventionen zu einem Gesundheitsaspekt oder eine einzige Intervention mit verschiedenen Outcomes Gegenstand der Untersuchung sein. Auch können verschiedene Populationen in einem Umbrella Review betrachtet werden [
]. Die PICOS- bzw. PECOS-Kriterien sollten detailliert festgelegt werden, ggf. unter Berücksichtigung mehrerer Populationen, Interventionen etc. Ein Beispiel für eine Fragestellung ist: Wie ist die Assoziation zwischen verschiedenen Vorerkrankungen (z.B. Asthma, chronisch-obstruktive Lungenerkrankung, kardiovaskuläre Erkrankungen, Diabetes) und schweren Verläufen einer COVID-19-Infektion? [
]. Ziel der Suche ist eine Erfassung möglichst aller vorliegenden Systematic Reviews und ggf. Meta-Analysen. In vielen biomedizinischen Datenbanken gibt es Filter, um die Suche auf Systematic Reviews zu beschränken. Diese haben aber den Nachteil, dass noch nicht als Systematic Reviews indizierte Literatur übersehen wird. Stattdessen sollten die Begriffe „Systematic Review“ und „Meta-Analyse“ in ihren unterschiedlichen Schreibweisen in den Suchstring eingefügt werden. Zudem gibt es in PubMed einen definierten Suchterm („systematic[sb]“) [
],mit dem Systematic Reviews auch vor ihrer Indizierung identifiziert werden können. Des Weiteren hat PEROSH (Partnership for European Research in Occupational Safety and Health) Arbeitsgruppe OSH Evidence den nachfolgenden Suchterm für Pubmed empfohlen, der sensitiver ist: “meta-analysis as topic”[MeSH Terms] OR meta-analysis[pt] OR meta-analysis[tiab] OR review[pt] OR review[tiab] NOT (letter[pt] OR editorial[pt] OR comment[pt]) NOT (“animals”[MeSH Terms:noexp] NOT “humans”[MeSH Terms]) [
Verbeek J, Fishta A, Nold A, Euler U, Van den Heuvel S. Clearinghouse of Systematic Reviews METHODS Re-issued 2020 with updated weblinks, PEROSH - OSH Evidence 2014.
]. Generell gilt, es sollten mindestens zwei relevante Datenbanken durchsucht werden, ratsam ist der Einschluss von Datenbanken, die sich auf die Zusammenstellung von Reviews spezialisiert haben, z. B. Epistemonikos.org oder Healthevidence.org.
Teil der Ergebnisdarstellung soll eine Tabelle mit den Eigenschaften der eingeschlossenen Systematic Reviews sein, die u.a. kennzeichnet, ob und wie sich Reviews hinsichtlich der in ihnen eingeschlossenen Einzelstudien überlappen. Es werden aber keine Ergebnisse aus Einzelstudien, sondern nur deren Synthesen aus den Reviews berichtet. Eine Bewertung der Qualität der Systematic Reviews erfolgt nach einem standardisierten Vorgehen (s. Abschnitt Risk-of-Bias-Werkzeuge). Angepasst an die Fragestellung des Umbrella Reviews werden die Ergebnisse der Systematic Reviews tabellarisch oder narrativ synthetisiert. Abschließend sollte eine gut interpretierbare Zusammenfassung der Evidenz folgen, z. B. in Form einer Visualisierung.
Narrative Review
Die Zusammenstellung des Forschungsstands zu einem bestimmten Thema kann auch auf eine nicht explizit systematische Weise mittels eines Narrative Reviews geschehen. Dieser Review-Typ ist sehr weit verbreitet [
]. Kennzeichnend für das Narrative Review ist eine qualitative, erzählende (narrative) Zusammenfassung von Publikationen zu einer häufig eher breiteren Fragestellung. Von den hier beschriebenen Review-Typen kommt das Narrative Review mit den geringsten Ressourcen aus (≤ 4 Monate, nur eine Person benötigt). Dies hängt mit dem wenig standardisierten Vorgehen zusammen: So sind die Formulierung von Ein- und Ausschlusskriterien, die Erstellung eines Review-Protokolls, die Qualitätsbewertung der eingeschlossenen Publikationen sowie die abschließende Bewertung der Evidenz fakultativ. Es werden zwar die für das Thema zentralen Datenbanken durchsucht und häufig graue Literatur eingeschlossen, das Auswahlverfahren muss jedoch nicht im Vorfeld festgelegt werden. Daher sollte dieser Review-Typ nicht gewählt werden, wenn das Ziel in einer systematischen, reproduzierbaren Erfassung des Forschungsstands mit einer möglichst umfassenden Identifizierung aller relevanten Publikationen besteht. Narrative Reviews können eine breite Übersicht über ein (Public-Health-)Thema zu geben, z.B. um sehr rasch die erste existierende Evidenz zur psychischen Gesundheit von Kindern und Jugendlichen in den ersten Wochen der COVID-19 Pandemie darzustellen [
]. Sie sind jedoch als Grundlage für evidenzbasierte Public-Health-Empfehlungen eher ungeeignet. Narrative Reviews können durchgeführt werden, wenn nur sehr geringe Ressourcen vorhanden sind, sollten sich dann aber an Qualitätskriterien orientieren, wie sie das SANRA-Tool (Scale for the Quality Assessment of Narrative Review Articles) [
] zur Verfügung stellt. Dieses wurde entwickelt, um eine kritische Einordnung der Qualität von Narrative Reviews zu ermöglichen und Qualitätsstandards für diesen Review-Typ zu etablieren.
Übergreifende Aspekte
Einige Aspekte wie Erfahrungen und Suchstrategien betreffen die Erstellung mehrerer Review-Typen und werden nachfolgend zusammen dargestellt:
Als erfahrene Personen können solche charakterisiert werden, die allgemein Erfahrung im Erstellen von Reviews haben, aber auch jene mit spezialisierten Erfahrungen z. B. im Bereich Literatursuche oder Datenextraktion. Dies können für unterschiedliche Abschnitte im Review-Prozess unterschiedliche Personen sein, sowohl Wissenschaftler:innen als auch bspw. Informationsspezialist:innen. Ebenso kann eine Person, je nach Thema, bei verschiedenen Reviews unterschiedliche Expertise einbringen [
]. Expertise bei der Erstellung von Reviews ist nicht zwingend gleichzusetzen mit technischen Fähigkeiten. Sie beinhaltet ebenso die wissenschafts- bzw. erkenntnistheoretischen, methodologischen, fachwissenschaftlichen sowie evtl. praktischen Erfahrungen (Fachexpertise) der am Review beteiligten Personen (Mischung aus verschiedenen Disziplinen, Methodologien und Perspektiven) [
Einschränkungen bei der Suchstrategie können, unabhängig von verfügbaren Ressourcen, für alle Review-Typen erwogen werden. Wichtig ist, dass die festgelegten Einschränkungen transparent dokumentiert werden. Wesentliche Möglichkeiten sind der Ausschluss von grauer Literatur, die Beschränkung auf englischsprachige Artikel und die Beschränkung der Anzahl durchsuchter Datenbanken. Die Konsequenz dieser Einschränkungen ist, dass die Suche dann ggf. weniger sensitiv ausfällt. Dies kann dazu führen, dass Verzerrungen auftreten (Publikationsbias, Selektionsbias) und es zu Informationsverlust kommt [
]. Studien konnten einerseits zeigen, dass die Berücksichtigung grauer Literatur das Risiko für Publikationsbias senkt und – zumindest bei randomisierten Studien von Interventionen – zu eher kleineren Effektschätzern führen kann [
]. Dies ist jedoch abhängig von der Qualität der eingeschlossenen Studien aus der grauen Literatur. Andererseits kann die Berücksichtigung von Studien geringerer methodologischer Qualität, die ohne Peer Review als graue Literatur veröffentlicht wurden, wiederum zu Verzerrungen bei den Ergebnissen des Reviews führen [
Die Einschränkung der Sprache (sowie das Ausschließen grauer Literatur) wird bei Systematic Reviews nur in begründeten Fällen und abhängig von der Forschungsfrage empfohlen [
]. Bei Einschränkung der Sprache auf jene Sprachen, die das Review-Team beherrscht, sollte in der Veröffentlichung auf mögliche Einschränkungen aufgrund verpasster Literatur in anderen Sprachen hingewiesen werden. Studien zu dieser Thematik zeigten, dass die Beschränkung der Sprache auf Englisch bei Systematischen Reviews zu Interventionen nicht zwangsläufig zu Informationsverlusten und Verzerrungen führt (auch abhängig vom Thema) [
Die Beschränkung der Anzahl durchsuchter Datenbanken kann die „Ergebnisflut“ verringern und somit die Literatursuche sowie das anschließende Screening abkürzen. Für Rapid Reviews ist dies eine gängige Möglichkeit, den Review-Prozess zu beschleunigen. Für andere Review-Typen mit breiter Fragestellung, wie bspw. den Scoping Reviews, kann die Beschränkung der Anzahl bzw. Auswahl der Datenbanken das Suchergebnis und in der Folge auch die Schlussfolgerungen beeinträchtigen. Studien [
] konnten zeigen, dass die Suche in mindestens zwei Datenbanken oder die Kombination aus einer Datenbank und der Suche über Referenzlisten in der Regel zu einer ähnlichen Richtung bei den Schlussfolgerungen führen wie eine umfassende Literatursuche. Wird aber eine hohe Sensitivität der Suchstrategie benötigt, ist eine umfassende Suche notwendig [
Eine selektivere Suche, wie hier beschrieben durch Beschränkungen der Suchstrategie, der Sprache und der Anzahl an durchsuchten Datenbanken kann die Anfälligkeit für Verzerrungen in Bezug auf die Aussagekraft des Reviews erhöhen [
]. Zur Beantwortung Public-Health-relevanter gesundheitspolitischer Empfehlungen sollte dies berücksichtigt und kritisch reflektiert werden.
Arbeitshilfen
Entscheidungsbaum
Es wurde ein Entscheidungsbaum entwickelt (Abbildung 2), der dabei helfen soll, den geeigneten Review-Typ für die jeweilige Fragestellung auszuwählen. Der Entscheidungsbaum richtet sich vor allem an Wissenschaftlerinnen und Wissenschaftler, die mit der verschiedenen Review-Typen und den jeweiligen Methodiken und Erfordernissen (noch) nicht so gut vertraut sind. Anhand eines mehrstufigen Fragensystems kann aus den in diesem Manuskript aufgeführten Review-Typen der für die vorhandene Forschungsfrage am besten geeignete ausgewählt werden. Die innerhalb des Entscheidungsbaums zu treffenden Entscheidungen sollen natürlich nicht formal erfolgen, sondern sind vielmehr von der Forschungsfrage abzuleiten, aber auch davon, ob Ressourcenbeschränkungen bestehen, welche Evidenz genutzt, welche Analysen durchgeführt und wie die Ergebnisse dargestellt werden sollen (rein deskriptiv über tabellarische oder narrative Zusammenfassung der Ergebnisse und/oder quantitativ mittels Meta-Analyse). An einem einfachen Beispiel kann das erläutert werden. Die für das Review auszuwertenden Studiendaten, mit denen die Forschungsfrage beantwortet werden soll, erlauben aus methodischer Sicht ein systematisches Review. Möglicherweise verhindern aber mangelnde Ressourcen die Durchführung eines Reviews mit den methodischen Anforderungen an ein systematisches Review. Der Entscheidungsbaum zeigt, dass bei Ressourcenbeschränkungen jeweils eine Rapid Version möglich sein kann. Im ersten Fall wäre dann zu entscheiden, ob Aktivitäten zur Verbesserung der Ressourcensituation vorgenommen werden sollen und können oder ob ein anderer Review-Typ bei einer zeitkritischen Fragestellung ausreichend ist, in diesem Fall ein Rapid Review mit methodischen „Abkürzungen“. Es ist gerade die Kombination dieser verschiedenen Faktoren, bei der der Entscheidungsbaum unterstützend wirken kann. Bei der Entwicklung des Entscheidungsbaumes wurden Änderungen im Vergleich zum zugrundeliegenden Werkzeug „What review is right for you?“[
] vorgenommen. So wurde z. B. der weitverbreitete Typ Narrative Review als Option aufgenommen sowie die Möglichkeit, auch bei Fragestellungen zu Krankheitslast, Kosten und Kosteneffektivität von Interventionen eine Meta-Analyse (oder, wenn zutreffend, auch eine Network-Meta-Analyse) durchzuführen.
Review-Software
Um Autor:innen bei der Erstellung eines Reviews organisatorisch zu unterstützen und zeitaufwändige Schritte zu beschleunigen, stehen verschiedene Software-Lösungen zur Verfügung. Umfassende Programme unterstützen bei allen oder fast allen Schritten der Review-Erstellung, von der Erstellung des Review-Protokolls über die Festlegung von Suchstrings, Titel- und Abstract-Screening, Volltext-Screening, Datenextraktion und Risk-of-Bias-Bewertung bis hin zur Durchführung von Meta-Analysen [
]. Andere Softwareprogramme fokussieren auf das Titel- und Abstract-Screening und setzen dabei Algorithmen des maschinellen Lernens ein, um Vorschläge für den Ein- bzw. Ausschluss von Artikeln automatisiert zu erstellen [
]. Internet-basierte Software-Dienste unterstützen zudem die Zusammenarbeit mehrerer Autor:innen mit einer gemeinsamen Arbeitsoberfläche und einem gemeinsamen Speicherort.
In Bezug auf die existierende Software, die bei der Erstellung von Reviews eingesetzt werden kann, ist eine große Dynamik zu beobachten. Zusammenfassende Darstellungen sehen sich mit dem Problem konfrontiert, dass sie schnell veraltet sein können [
]. Deshalb wurde in der vorliegenden Arbeit von einer Auflistung der verschiedenen existierenden Software-Lösungen abgesehen. Die Webseite „Systematic Review Toolbox“ bietet eine durchsuchbare Datenbank über Software für die Erstellung von Reviews [
]. Die Datenbank wird durch eine Arbeitsgruppe der Universität von York gepflegt.
Risk-of-Bias-Werkzeuge
Potentielle Verzerrungen (Bias) der vorhandenen Evidenz sollen bei der Durchführung eines Reviews systematisch analysiert werden, um die Sicherheit der Ergebnisse des Reviews adäquat beurteilen zu können [
]. Eine wichtige Quelle potentieller Verzerrungen sind die Ergebnisse der eingeschlossenen Studien, deren Validität aufgrund von methodischen Mängeln beeinträchtigt sein kann. Weil jedes Studiendesign für unterschiedliche Verzerrungen anfällig sein kann, stehen verschiedene Instrumente zur Bewertung des Risk of Bias zur Verfügung. Für randomisierte Studien stehen beispielsweise das Werkzeug Risk of Bias 2 (RoB 2) von Cochrane [
Besonders relevante Studiendesigns für Reviews im Public-Health-Bereich sind nicht-randomisierte Interventionsstudien und Beobachtungsstudien, beispielsweise Kohorten- und Fall-Kontroll-Studien. Häufig eingesetzte Erhebungsinstrumente für diese Studiendesigns sind das „Risk Of Bias In Non-randomised Studies – of Interventions“ (ROBINS-I; [
J.P. Higgins, R. Morgan, A. Rooney, K. Taylor, K. Thayer, R. Silva, C. Lemeris, A. Akl, W. Arroyave, T. Bateson, N. Berkman, P. Demers, F. Forastiere, B. Glenn, A. Hróbjartsson, E. Kirrane, J. LaKind, T. Luben, R. Lunn, A. McAleenan, L. McGuinness, J. Meerpohl, S. Mehta, R. Nachman, J. Obbagy, A. O'Connor, E. Radke, J. Savović, M. Schubauer-Berigan, P. Schwingl, H. Schunemann, B. Shea, K. Steenland, T. Stewart, K. Straif, K. Tilling, V. Verbeek, R. Vermeulen, M. Viswanathan, S. Zahm, J.A. Sterne, Risk Of Bias In Non-randomized Studies - of Exposure (ROBINS-E). Launch version, 1 June 2022. https://www.riskofbias.info/welcome/robins-e-tool, 2022 (accessed 12.07.2022).
]. Kritikunkte beziehen sich beispielsweise auf die empfohlene Methodik zur Bewertung der Response-Rate als Zeichen von Selektionsbias in Fall-Kontroll-Studien, mangelnde Differenzierungsfähigkeit hinsichtlich der Qualität der statistischen Methoden und die Zusammenfassung der Ergebnisse als Gesamtscore.
Für die Risk-of-Bias-Beurteilung von Systematic Reviews, beispielsweise im Rahmen eines Umbrella Reviews oder zur Beurteilung methodischer Einschränkungen bei Rapid Reviews, existieren spezielle Instrumente wie AMSTAR 2 [
]. Die empfohlenen Werkzeuge fassen die erhobenen Informationen in mehreren Bias-Domänen wie Confounding, fehlenden Daten und Ergebnisdarstellung zusammen. Um eine allgemeine Einschätzung des RoB für eine einzelne Studie zu erreichen, empfiehlt Cochrane, das allgemeine RoB mindestens so hoch einzustufen, wie das höchste Risiko unter den einzelnen Domänen [
Chapter 8: Assessing risk of bias in a randomized trial.
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, Place Published,
2022
Damit die Ergebnisse eines Reviews für Entscheidungen und Empfehlungen angemessen herangezogen werden können, ist eine Einschätzung der Sicherheit der zusammengefassten Evidenz ein wesentlicher Schritt. Für Reviews mit klinischen Fragestellungen wurde hierfür das GRADE-Framework entwickelt [
H. Schünemann, J. Brożek, G. Guyatt, A.D. Oxman, Handbook for grading the quality of evidence and the strength of recommendations using the GRADE approach. https://gdt.gradepro.org/app/handbook/handbook.html, 2013 (accessed 24 September 2021).
]. GRADE führt für jede Fragestellung zu einer vierstufigen Einschätzung der Sicherheit der Evidenz hin – hoch, mäßig, niedrig, sehr niedrig. Dabei werden folgende Aspekte betrachtet: übergreifendes Risk of Bias der eingeschlossenen Studien; Direktheit, Präzision und Konsistenz der Ergebnisse; Publikationsbias; Effektstärke der untersuchten Intervention; Richtung des Effekts von potentiellem residualem Confounding und das eventuelle Vorhandensein einer Dosis-Wirkungs-Beziehung [
Da das GRADE-Framework für klinische Fragestellungen entwickelt wurde, wird die Qualität der Evidenz von Beobachtungsstudien initial als „niedrig“ eingeschätzt, die randomisiert-kontrollierter Studien zunächst als „hoch“. Nach den oben genannten Kriterien kann dann in einem nächsten Schritt die Sicherheit der Evidenz von Beobachtungsstudien, die aus ethischen oder praktischen Gründen für manche Fragestellungen im Public-Health-Bereich das einzig mögliche Studiendesign darstellen höhergestuft werden (ebenso wie die der RCT zurückgestuft werden kann).
Weiterhin wurde, um die Sicherheit der Public-Health-Evidenz gut differenzieren zu können, für infektionsepidemiologische Fragestellungen das PRECEPT-Framework entwickelt [
T. Eckmanns, T. Harder, A. Takla, O. Wichmann, S. Ellis, F. Forland, R. James, J. Meerpohl, A. Morgan, E. Rehfuess, H. Schünemann, T. Zuiderent-Jerak, H. De Carvalho Gomes, A. Jansen, PRECEPT - Development of an evidence assessment framework for public health / infectious disease prevention and control in Europe, 2015.
]. Dieses unterteilt die Evidenz in vier Domänen: Inzidenz und Prävalenz, Risikofaktoren, Diagnostik und Interventionen. In den ersten drei Domänen wird empfohlen, die Sicherheit der Evidenz auch aus Beobachtungsstudien zunächst als „hoch“ einzustufen, bevor sie nach den etablierten GRADE-Kriterien eventuell noch zurückgestuft wird. Daneben gibt es auch Ansätze wie die Navigation Guide [
The Navigation Guide systematic review methodology: a rigorous and transparent method for translating environmental health science into better health outcomes.
WHO/ILO work-related burden of disease and injury: Protocol for systematic reviews of exposure to long working hours and of the effect of exposure to long working hours on depression.
] mit einer dreistufigen Einteilung, die der Bedeutung von Beobachtungsstudien tragen und bei denen die Sicherheit der Evidenz von Beobachtungsstudien initial als „moderat“ eingeordnet wird. Die GRADE Public-Health-Projektgruppe eruiert derzeit außerdem Anpassungen des GRADE-Verfahrens für den breiteren Public-Health-Kontext [
Eine der zentralen Aufgaben von Public-Health-Instituten wie dem RKI ist die Generierung und Aufbereitung wissenschaftlicher Erkenntnisse als Basis für gesundheitspolitische Entscheidungen. Dies wurde insbesondere im Zusammenhang mit der COVID-19-Pandemie deutlich [
]. Eine wesentliche Rolle bei der Aufbereitung wissenschaftlicher Erkenntnisse stellen Literatur-Reviews dar. Im Prozess der Review-Erstellung können neue Erkenntnisse generiert, die vorhandene Evidenz zusammengetragen und bewertet sowie Wissenslücken und Forschungsbedarfe identifiziert werden. Methodisch nach gängigen Richtlinien systematisch durchgeführte Reviews können belastbare Informationen als Grundlage für entsprechende Entscheidungen beitragen.
Ziele des vorliegenden Manuskripts waren, einen Überblick über diese Leitlinien und Empfehlungen für die Erstellung von quantitativ ausgerichteten Public-Health-relevanten Reviews zu erarbeiten und auf dieser Basis Entscheidungshilfen für die Auswahl eines Review-Typs zur Verfügung zu stellen.
Auswahl der beschriebenen Review-Typen
Angesichts der Vielzahl unterschiedlicher Review-Typen wurde mit Blick auf Public-Health-Fragestellungen ein Fokus auf die folgenden Typen gewählt: Systematic Review, Rapid Review, Umbrella Review, Scoping Review und Narrative Review. Sutton et al. [
] identifizierten 48 verschiedene Review-Typen, die in sieben „Familien“ zusammengefasst wurden. Die hier vorgestellten Review-Typen lassen sich fünf dieser „Familien“ (Traditional [Narrative], Systematic, Umbrella, Rapid und Purpose-specific [Scoping]) zuordnen; die „Qualitative systematic review family“ und die „Mixed method review family“ sind nicht vertreten. Dies liegt darin begründet, dass sich Public-Health-Forschung auf Bevölkerungsebene mit dem Anspruch auf Repräsentativität oftmals vor allem auf quantitative und weniger auf qualitative Daten bezieht, obwohl qualitative sowie Mixed-Methods immer öfter herangezogen werden [
Die ausgewählten Review-Typen unterscheiden sich in ihren methodischen Vor- und Nachteilen. Wegen des stark standardisierten Vorgehens mögen Systematic Reviews als „Goldstandard“ unter den Review-Typen angesehen werden, insbesondere bei Fragen zu Interventionen im klinischen Setting. Ein breiteres Repertoire von Ansätzen für die Literatursynthese, wie es in diesem Beitrag vorgestellt wird, berücksichtigt jedoch die Vielfalt der Fragestellungen im Public-Health-Bereich noch besser: Scoping Reviews können beispielsweise breit gefasste Fragestellungen untersuchen, neue oder komplexe Forschungsfelder systematisch und umfassend beschreiben und zusammenfassen sowie Forschungslücken identifizieren. Bei Scoping Reviews erfolgt eine kritische Bewertung der eingeschlossenen Studien jedoch fakultativ, und Fragen, die anhand einer Meta-Analyse beantwortet werden müssen, eignen sich nicht für ein Scoping Review [
]. Rapid Reviews stellen eine erste systematische Zusammenstellung der Evidenz für zeitkritische Entscheidungen dar. Um die eingesetzten „Abkürzungen“ eines Rapid Reviews adäquat bewerten zu können, müssen noch offene methodische Fragen beantwortet werden [
What are the most important unanswered research questions on rapid review methodology? A James Lind Alliance research methodology Priority Setting Partnership: the Priority III study protocol [version 2; peer review: 2 approved, 2 approved with reservations].
]. Umbrella Reviews können eine gut abgedeckte Forschungslandschaft umfassend abbilden, aber aktuelle Studien, die noch in keinem Systematic Review aufgegriffen wurden, werden in einem Umbrella Review nicht berücksichtigt. Narrative Reviews kommen in der Literatur häufig vor und bilden den Forschungsstand erzählend ab. Aufgrund mangelnder Systematik eignen sich Narrative Reviews nicht als Grundlage für evidenzbasierte Public-Health-Empfehlungen. Darüber hinaus zeigt die Entwicklung spezieller Frameworks zur Bewertung von Evidenz wie beispielsweise PRECEPT für das Gebiet der Infektionsepidemiologie [
T. Eckmanns, T. Harder, A. Takla, O. Wichmann, S. Ellis, F. Forland, R. James, J. Meerpohl, A. Morgan, E. Rehfuess, H. Schünemann, T. Zuiderent-Jerak, H. De Carvalho Gomes, A. Jansen, PRECEPT - Development of an evidence assessment framework for public health / infectious disease prevention and control in Europe, 2015.
WHO/ILO work-related burden of disease and injury: Protocol for systematic reviews of exposure to long working hours and of the effect of exposure to long working hours on depression.
], dass Anpassungsbedarf der bestehenden Methoden für Public-Health-Fragestellungen besteht und Lösungsansätze erarbeitet werden.
„Rapid“-Methoden bei Public-Health-Reviews
Der zeitliche und personelle Ressourcenaufwand für die meisten Review-Typen kann, wie in Tabelle 1 dargestellt, erheblich sein. Mit Ausnahme von Narrative Reviews sollten zwei oder mehr Personen gleichzeitig an der Suche, Studienauswahl, Datenextraktion und Bewertung beteiligt sein. Stehen die Ressourcen nicht im notwendigen Umfang zur Verfügung, können Abkürzungen zeitaufwändiger Schritte der Review-Erstellung vorgenommen werden. Solche „Rapid“-Methoden wurden in Leitlinien für Rapid (Systematic) Reviews festgehalten und werden auch für weitere Review-Typen, beispielsweise für Umbrella Reviews („Rapid Umbrella Review“) und Scoping Reviews („Rapid Scoping Review“) beschrieben (vgl. Entscheidungsbaum, Abbildung 2) [
]. Eine wissenschaftlich fundierte Analyse der „Rapid“-Ansätze dieser Review-Typen steht allerdings noch aus. Inwieweit „Abkürzungen“ wie beispielsweise eine Einschränkung der Sprache oder die Sichtung von Titeln und Abstracts durch lediglich eine Person die Ergebnisse eines Scoping Reviews oder Umbrella Reviews negativ beeinflussen können, wurde noch nicht hinreichend untersucht. Aus diesem Grund wurden im Entscheidungsbaum die Review-Typen Rapid Umbrella Review und Rapid Scoping Review ausgegraut dargestellt. Angesichts des Bedarfs für eine beschleunigte Evidenzsynthese, wie er sich z. B. im Verlauf der COVID-19-Pandemie ergeben hat, besteht hier ein methodischer Forschungsbedarf für den Public-Health-Bereich.
Umbrella Reviews, Systematic Reviews und Scoping Reviews sind unter den hier vorgestellten Review-Typen diejenigen mit dem höchsten Ressourcenbedarf. Dies liegt unter anderem an den gestellten Anforderungen einer umfangreichen, systematischen Evidenzsynthese, die diese Reviews erfüllen müssen. Dies soll letztlich dazu führen, dass die Ergebnisse nachvollziehbar und reproduzierbar sind und ein hohes Erkenntnisniveau der getroffenen Aussagen erreicht werden kann. Am anderen Ende des Evidenzspektrums stehen die Narrative Reviews, die aufgrund des wenig standardisierten Vorgehens starken subjektiven Einflüssen unterliegen können. Dies kann schließlich zu einer geringeren Reproduzierbarkeit der Ergebnisse und einer erhöhten Unsicherheit hinsichtlich der Belastbarkeit der Aussagen führen. Gleichwohl ist dieser Review-Typ weit verbreitet, wohl auch wegen des gut anpassbaren Vorgehens und des geringeren Ressourcenbedarfs [
Die hier vorgestellten Fact Sheets mit ihrem strukturell einheitlichen Aufbau sollen Forschenden, die mit dem Thema bislang gar nicht oder nur wenig vertraut sind, einen schnellen Einstieg ermöglichen und einen ersten Überblick liefern, sowohl zu der Charakteristik der einzelnen Review-Typen als auch zu einem Vergleich zwischen den verschiedenen Review-Typen. Die Fact Sheets fassen die wesentlichen Aussagen der verschiedenen Leitlinien und Empfehlungen zusammen und sollen diese nicht ersetzen. Der Entscheidungsbaum berücksichtigt Public-Health-relevante Fragestellungen sowie Aspekte aus der Surveillance übertragbarer und nicht-übertragbarer Krankheiten und der Versorgungsforschung. Auch hier gilt, dass der Entscheidungsbaum Leitlinien und Empfehlungen nicht ersetzen soll, sondern Hilfestellung bei der Auswahl eines passenden Review-Typs geben kann. Die gemeinsame Nutzung der entwickelten Arbeitstools und Entscheidungshilfen kann helfen, einen Zugang zu Reviews zu eröffnen und dabei die Perspektiven der Forschung und der Ressourcenplanung zu verknüpfen.
Living und Mixed Methods-Reviews
Ein Review-Typ, der in diesem Beitrag nicht aufgeführt wurde, der jedoch für den Public-Health-Bereich relevant sein kann, ist das Living Review: eine dynamische, anhaltende und online verfügbare Zusammenfassung von Evidenz, die schnell und regelmäßig auf den neuesten Stand gebracht wird, sobald neue Informationen zur Verfügung stehen [
]. Living Reviews tragen, insbesondere im Gesundheitsbereich z. B. in der anhaltenden COVID-19-Pandemie, dem schnellen Zugewinn an wissenschaftlicher Erkenntnis Rechnung. Im Gegensatz dazu sind klassische Systematic Reviews weniger dynamisch, da sie nur in festgelegten Zeitabständen aktualisiert werden. Voraussetzung für ein Living Review ist eine reproduzierbare Suchstrategie mit fortlaufend durchgeführter Suche zur Identifikation neuer Studien, einschließlich der – wenn nötig – erneuten Durchführung von Metaanalysen [
Public-Health-Maßnahmen sind häufig komplexe Interventionen und die Beurteilung ihrer Effektivität sollte stärker als z. B. im klinischen Setting den Kontext sowie das Verhalten und die Interaktionen der beteiligten Personen berücksichtigen. Mixed Methods-Reviews zielen darauf ab, relevante Informationen aus quantitativen, qualitativen oder Mixed Methods-Studien zu synthetisieren, um eine umfassendere Evidenzsynthese zu erstellen, als durch die Betrachtung eines einzelnen dieser Evidenzbereiche möglich wäre [
]. Der Fokus liegt hierbei auf der Identifizierung potentieller zugrundeliegender kausaler Mechanismen zur Beantwortung der Frage „Was wirkt bei wem, unter welchen Umständen, wie und warum?“ Dabei wird insbesondere analysiert, in welchem Kontext die in den Interventionen bereitgestellten Ressourcen genutzt werden können, um ein positives gesundheitliches Ergebnis zu erreichen. Obwohl Mixed Methods-Ansätze keine neue Erfindung sind, ist diese Art der Forschung und der Evidenzsynthese im Public-Health-Bereich noch nicht so stark etabliert wie in anderen wissenschaftlichen Disziplinen [
Evidenzsynthesen im Public-Health-Kontext unterliegen besonderen Herausforderungen, auch abgesehen von den außergewöhnlichen Anforderungen während einer Pandemie. Im Vergleich zu Reviews von medizinischen Interventionen basieren Public-Health-Evidenzsynthesen häufiger auf Beobachtungsstudien unter Alltagsbedingungen. Etablierte Methoden für die Erstellung von Reviews können für Public-Health-Fragestellungen benutzt werden, aber angepasste Frameworks wie PRECEPT oder Mixed Methods-Ansätze zielen darauf ab, die Komplexität im Public-Health-Bereich explizit abzubilden. Public-Health-Evidenzsynthesen in Bezug auf nicht-übertragbare Krankheiten und Gesundheitsförderung könnten von zusätzlicher Weiterentwicklung profitieren.
Die COVID-19-Pandemie erfordert weiterhin zeitnahe Informationen als Entscheidungsgrundlagen für den Schutz der öffentlichen Gesundheit. Um rasche aber dennoch wissenschaftlich fundierte Evidenzsynthesen zu erstellen, kann im Sinne von Rapid Reviews die Methodik abgekürzt werden. Wie sich diese Abkürzungen auf die Ergebnisse von Reviews auswirken, wurde jedoch noch nicht abschließend untersucht [
What are the most important unanswered research questions on rapid review methodology? A James Lind Alliance research methodology Priority Setting Partnership: the Priority III study protocol [version 2; peer review: 2 approved, 2 approved with reservations].
]. Darüber hinaus unterstreicht der dynamische Kontext einer Pandemie die Bedeutung von Living Reviews, um Veränderungen im Wissensstand zeitnah zu beurteilen und zu kommunizieren. Aus diesen Gründen ist insbesondere bei „Rapid“-Ansätzen eine transparente Darstellung der eingesetzten, der gegebenenfalls angepassten sowie der ausgelassenen methodischen Schritte ein wesentlicher Aspekt der Dokumentation.
Förderung
DP wurde durch Mittel des Projekts „Aufbau einer nationalen Mental Health Surveillance am RKI”, welches vom Bundesministerium für Gesundheit (Förderkennzeichen: ZMI5-2519FSB402) gefördert wird, finanziert. RM und MB wurden durch Mittel des Projekts “Verlängerung des Projektes Aufbau einer Nationalen Diabetes-Surveillance mit Erweiterung zu einer NCD-Surveillance (DiabSurv 3.0)”, welches vom Bundesministerium für Gesundheit (Förderkennzeichen: 2522DIA700) gefördert wird, finanziert.
Danksagung
Wir danken Kristin Manz und Katharina Heldt für ihr kritisches Lesen und ihre hilfreichen Anregungen bei der Vorbereitung dieses Manuskripts.
Interessenkonflikt
Alle Autor*innen geben an, dass kein Interessenskonflikt besteht.
Autor*innenschaft
Benjamin Barnes: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts, Supervision. Maike Buchmann: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Rebekka Mumm: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Enno Nowossadeck: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Diana Peitz: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Franziska Prütz: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Benjamin Wachtler: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts. Antje Wienecke: Konzeptentwicklung, Investigation, Visualisierung, Entwurf des Manuskripts, Bearbeitung des Manuskripts.
Anhang A. Zusätzliche Daten
The following are the Supplementary data to this article:
STIKO, Standardvorgehensweise (SOP) der Ständigen Impfkommission (STIKO) für die systematische Entwicklung von Impfempfehlungen. Version 3.1 (Stand 14.11.2018), Berlin, 2018.
Allgemeine Verwaltungsvorschrift zur wissenschaftlichen Bewertung von Früherkennungsuntersuchungen zur Ermittlung nicht übertragbarer Krankheiten (StrlSchGVwV-Früherkennung). Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit (BMU), 2018.
Berufskrankheiten-Verordnung vom 31. Oktober 1997 (BGBl. I S. 2623), die zuletzt durch Artikel 1 der Verordnung vom 29. Juni 2021 (BGBl. I S. 2245) geändert worden ist, 2021.
für die Querschnitts A. G. Rapid Reviews des Kompetenznetzes Public Health zu COVID-19
Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens.
Pollock M, Fernandes R, Becker L, Pieper D, Hartling L. Chapter V: Overviews of Reviews. In: Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V, editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021), 2021.
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.2. Cochrane,
2021
Meta-analysis of observational studies in epidemiology: a proposal for reporting. Meta-analysis Of Observational Studies in Epidemiology (MOOSE) group.
Deeks JJ, Altman DG (Herausgeber). Chapter 10: Analysing data and undertaking meta-analyses. In: Higgins J, Thomas J, Chandler J, Cumpston M, Li T, Page M, Welch V, editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021), 2021.
in: Higgins J. Thomas J. Chandler J. Cumpston M. Li T. Page M. Welch V. Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2022). Place Published,
2022
Chapter 22: Prospective approaches to accumulating evidence.
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Place Published,
2022
Verbeek J, Fishta A, Nold A, Euler U, Van den Heuvel S. Clearinghouse of Systematic Reviews METHODS Re-issued 2020 with updated weblinks, PEROSH - OSH Evidence 2014.
J.P. Higgins, R. Morgan, A. Rooney, K. Taylor, K. Thayer, R. Silva, C. Lemeris, A. Akl, W. Arroyave, T. Bateson, N. Berkman, P. Demers, F. Forastiere, B. Glenn, A. Hróbjartsson, E. Kirrane, J. LaKind, T. Luben, R. Lunn, A. McAleenan, L. McGuinness, J. Meerpohl, S. Mehta, R. Nachman, J. Obbagy, A. O'Connor, E. Radke, J. Savović, M. Schubauer-Berigan, P. Schwingl, H. Schunemann, B. Shea, K. Steenland, T. Stewart, K. Straif, K. Tilling, V. Verbeek, R. Vermeulen, M. Viswanathan, S. Zahm, J.A. Sterne, Risk Of Bias In Non-randomized Studies - of Exposure (ROBINS-E). Launch version, 1 June 2022. https://www.riskofbias.info/welcome/robins-e-tool, 2022 (accessed 12.07.2022).
Chapter 8: Assessing risk of bias in a randomized trial.
in: Higgins J.P.T. Thomas J. Chandler J. Cumpston M. Li T. Page M.J. Welch V.A. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, Place Published,
2022
H. Schünemann, J. Brożek, G. Guyatt, A.D. Oxman, Handbook for grading the quality of evidence and the strength of recommendations using the GRADE approach. https://gdt.gradepro.org/app/handbook/handbook.html, 2013 (accessed 24 September 2021).
T. Eckmanns, T. Harder, A. Takla, O. Wichmann, S. Ellis, F. Forland, R. James, J. Meerpohl, A. Morgan, E. Rehfuess, H. Schünemann, T. Zuiderent-Jerak, H. De Carvalho Gomes, A. Jansen, PRECEPT - Development of an evidence assessment framework for public health / infectious disease prevention and control in Europe, 2015.
The Navigation Guide systematic review methodology: a rigorous and transparent method for translating environmental health science into better health outcomes.
WHO/ILO work-related burden of disease and injury: Protocol for systematic reviews of exposure to long working hours and of the effect of exposure to long working hours on depression.
What are the most important unanswered research questions on rapid review methodology? A James Lind Alliance research methodology Priority Setting Partnership: the Priority III study protocol [version 2; peer review: 2 approved, 2 approved with reservations].
00170-2&id=gr1.jpg){kind=link}
00170-2&id=gr2.jpg){kind=link}