Leserbrief zu „Wie belastbar sind Studien der aktuell dauerhaft aufgenommenen diwgitalen Gesundheitsanwendungen (DiGA)? Methodische Qualität der Studien zum Nachweis positiver Versorgungseffekte von DiGA“ (ZEFQ 175 (2022) 1-16) von P.L. Kolominsky-Rabas et al.

Das Review der Autoren Kolomnsky-Rabas und Kollegen hat sich zum Ziel gesetzt, die methodische Qualität der Zulassungsstudien von sechs digitalen Gesundheitsanwendungen (DiGA) im Bereich „Nervensystem und Psyche“ zu beurteilen. Anhand der Ergebnisse der Studienbewertung durch das „Revised Risk-of-Bias Tool“ (RoB 2) ziehen die Autoren die Schlussfolgerung, dass alle sechs Studien ein hohes Verzerrungspotenzial aufweisen und somit DiGA auf der Grundlage von unzureichender wissenschaftlicher Güte dauerhaft in die Versorgung gelangen.

Das Review listet detailliert die Verzerrungspotentiale der einzelnen Studien auf und bietet eine transparente Bewertung der Studien durch übersichtliche Tabellen. Zudem werden die Hintergründe der DiGA-Studien ausführlich erläutert und Lösungsmöglichkeiten für die Verbesserung der Studienqualität vorgeschlagen. Dennoch gibt es Limitationen, welche die Aussagekraft des Reviews einschränken und welche von den Autoren nicht aufgegriffen wurden. Diese fassen wir wie folgt zusammen:

Unvoreingenommenheit der Autoren: In der Einleitung des Artikels schreiben die Autoren: „Ziel dieser Arbeit ist die es, die Studien zum Nachweis positiver Versorgungseffekte der dauerhaft in das DiGA-Verzeichnis aufgenommenen DiGA aus den Kategorien „Nervensystem“ und „Psyche“ auf ihre methodische Qualität hin zu analysieren und zu bewerten.“ (Seite 3). Dies lässt auf eine nicht-gerichtete Zielsetzung schließen. Dem entgegengesetzt steht im Fazit des Artikels (Seite 14): „Die Befürchtung, dass DiGA auf der Grundlage von Studien mit unzureichender wissenschaftlicher Güte dauerhaft in die Versorgung gelangen, hat sich somit bestätigt.“ Die Abwesenheit einer Referenz legt nahe, dass dies die Annahme der Autoren war und somit eine Vorannahme über die Studienqualität bestand, welche bestätigt wurde.

Unvollständige Methodenbeschreibung: Entgegen der Empfehlung für das Reporting bei der Verwendung des RoB 2 Tools (MECIR C53; Section 7.3.2 Cochrane Handbook) ist nicht berichtet, wer die Bewertung der Studienqualität durchgeführt hat, wie viele Personen beteiligt waren, ob diese unabhängig voneinander bewertet haben und wie vorgegangen wurde, wenn Uneinigkeit bestand. Dies ist relevant, da die Übereinstimmung von Studienbewertungen bei Verwendung des Tools generell niedrig ist, insbesondere bei den Kategorien Verblindung (Domäne 4) (kappa < .60) und „Bias durch Selektion des berichteten Ereignisses“ (kappa < .50) [, ], welche im dargelegten Artikel überwiegend zu einem hohen Gesamtrisiko der Studien geführt haben (siehe Tabelle 2). In diesem Kontext ist es auch wichtig zu erwähnen, dass zeitgleich zu dem hier besprochenen Review ein weiteres Review mit ähnlicher Zielsetzung im Journal BMC Health Services Research erschienen ist, welches ebenfalls 8 der 9 Studien mit dem RoB 2 Tool bewertet []. Im starken Kontrast zum vorliegenden Review wurde bei keiner der 8 überlappenden Studien Domäne 4, Bias durch Ergebnismessung, mit einem hohen Risiko bewertet. Ein weiterer Punkt ist, dass es Ziel des RoB 2 Tools ist, das Verzerrungsrisiko der Studienergebnisse anhand der verfügbaren Informationen zu bewerten. Wie von den Autoren erwähnt, können hierfür Informationen verwendet werden, die über die Publikation hinausgehen (z.B. Studienregister; Studienprotokolle). Aus Tabelle 3 geht hervor, dass die Berichterstattung nicht immer vollständig war und somit Informationen für die Studienqualitätsbewertung gefehlt haben. Obwohl dies auf eine fehlerhafte Berichterstattung schließen lässt, welche durchaus verbessert werden sollte, bedeutet dies nicht, dass fehlende Informationen nicht eingeholt werden können. Im Gegenteil, es ist durchaus üblich, die Erstautoren oder Leiter*innen der entsprechenden Studie zu kontaktieren und, wo es angebracht ist, fehlende Informationen einzuholen und dies beim methodischen Vorgehen zu berichten.

Fehlende Diskussion der Verwendung des RoB 2 Tools: Die Verwendung des RoB 2 Tools und dessen Limitationen im angewendeten Kontext werden nicht hinterfragt, es wird lediglich erwähnt, dass es auch andere Instrumente gibt und nicht ausgeschlossen werden kann, dass andere Aspekte der Qualitätsbewertung nicht berücksichtigt wurden (Seite 14). Die Autoren haben sich auf DiGAs im Bereich „Nervensystem“ und „Psyche“ fokussiert. Aus den Beschreibungen der Anwendungen (Seite 3-6) geht hervor, dass es sich um Interventionen mit psychotherapeutischen Inhalten handelt, welche, in diesem Fall, mittels randomisiert-kontrollierter Studien auf Wirksamkeit geprüft wurden. Das RoB 2 Tool wurde ursprünglich für den medizinischen Bereich entwickelt und stößt bei psychotherapeutischen Studien auf Probleme, welche bei der Interpretation der Ergebnisse nicht außer Acht gelassen werden sollten []. Bei Verwendung des RoB 2 Tools führt ein hohes Verzerrungsrisiko in einer der 5 Domänen zu einem hohen Gesamtrisiko. Bei 6 der 9 Studien des Reviews geht dieses Gesamtrisiko auf das hoch eingeschätzte Risiko der Domäne 4 zurück (siehe Tabelle 2), welche laut Autoren im Wesentlichen aufgrund fehlender Verblindung und selbstberichteter Endpunkte mit hohem Risiko eingestuft wurde. Zusätzlich zu der oben genannten Übereinstimmungsproblematik bei diesen Items, wird auch deren Bedeutsamkeit bei psychotherapeutischer Forschung diskutiert. Denn, 1.) Im Gegensatz zu pharmakologischen Studien ist die Verblindung von Patient*innen und Therapeut*innen bei Psychotherapie nicht möglich [] und wird daher, aufgrund der konzeptuellen Schwierigkeiten und der Unumgänglichkeit, von >40% der Meta-Analysen zur Psychotherapie nicht berücksichtigt []; und 2.) Ist es gängige Praxis der psychotherapeutischen Forschung, selbstberichtete Endpunkte als äquivalent zu klinischen Beobachtungen zu betrachten, obwohl Patient*innen nicht verblindet sind [, ]. Die Annahme, welche auch von den Autoren getroffen wird (Seite 7 & 14), dass selbstberichtete Endpunkte bei psychotherapeutischer Forschung zu einer Überschätzung der Behandlungsergebnisse führen, konnte in Metaanalysen nicht bestätigt werden. Im Gegenteil, es wurde gezeigt, dass die Bewertung durch verblindete Betrachtung größere Effekte als Selbstbewertung zeigte []. Diese Punkte, obwohl stark in der psychotherapeutischen Forschung diskutiert, werden weder bei der Bewertung der Studienqualität noch bei der Interpretation der Ergebnisse berücksichtigt; tatsächlich wird empfohlen, den Endpunkt in Form einer Fremdbeurteilung zu erheben (Seite 14).

Problematische Lösungsansätze: Zusätzlich zu der oben genannten Empfehlung gehen auch die weiteren Lösungsansätze der Autoren auf Domäne 4 des RoB 2 Tools zurück. Unter dem Titel „Verblindung auch bei DiGA möglich“ wird vorgeschlagen, mögliche Placebo-Effekte durch eine „Sham-Intervention“ zu kontrollieren und somit eine Verblindung zu gewährleisten. Auch dies ist im Kontext psychotherapeutischer Forschung fehlerhaft. 1.) Eine Verblindung findet auch unter diesen Umständen nicht statt, da die Patienten sich weiterhin bewusst sind, welche Intervention sie machen []. Zudem ist auch eine „Sham-Intervention“ eine Intervention und kann somit kein „real placebo“ sein. Wir stimmen den Autoren zu, dass eine „Sham-Intervention“ oder eine aktive Kontrolle die Verzerrung durch die Erwartungshaltung reduzieren können [], gleichzeitig ist es aber auch wichtig zu bedenken, dass die Erwartungshaltung ein aktives unspezifisches Therapieelement ist, ebenso wie das systematische Beobachten der Symptome über die Zeit [, ]. Vergleicht man also eine DiGA mit einer „Sham-Intervention“, so testet man die Intervention, je nachdem wie komplex sie gestaltet ist, gegen ihre eigenen unspezifischen oder spezifischen Therapiekomponenten []. Ein solches Studiendesign hat definitiv Stärken, eignet sich jedoch nicht, um, wie von den Autoren korrekt in der Methodik beschrieben, zu zeigen, „dass die Anwendung der DiGA besser ist als die Nichtanwendung“ (Seite 3).

Unvollständige Berücksichtigung der Literatur bei Annahmen: Dass Literatur an Stellen einseitig beschrieben wurde, zeigt sich unter anderem auch in der Annahme auf Seite 14: „Grundsätzlich haben vulnerable Gruppen, also beispielsweise ältere Menschen, eine geringere Adhärenz bei digitalen Anwendungen als nicht vulnerable Gruppen“. Dieses Argument wird von einer Quelle gestützt, welche eine narrative Übersichtsarbeit darstellt, die sich zum Ziel gesetzt hat „das Konzept der Adhärenz bei digitalen Interventionen näher zu beleuchten und von verwandten Konzepten abzugrenzen“ (Quelle 26). In dieser Übersichtsarbeit findet keine systematische Datenauswertung zum Thema Adhärenz bei digitalen Anwendungen statt. Tatsächlich zeigen systematische Übersichtsarbeiten z.B., dass von 20 Studien, welche Alter in Bezug auf online Interventionen mit psychologischen Inhalten untersucht haben, 50% keinen Zusammenhang zwischen Alter und Adhärenz gefunden haben. Alle übrigen berichteten inkonsistente Ergebnisse; 5 Studien zeigten, dass ein höheres Alter mit besserer Adhärenz assoziiert war und 4 Studien zeigten, dass ein jüngeres Alter mit besserer Adhärenz verbunden war. Eine weitere Studie zeigte gemischte Ergebnisse innerhalb der Analysen []. Die Annahme der Autoren ist daher in ihrer Aussage nicht korrekt und irreführend.