Advertisement
ZEFQ
Advanced searchSave search
Qualität und Sicherheit in der Gesundheitsversorgung / Quality and Safety in Health Care| Volume 117, P9-19, November 2016

Download started.

Ok

Grundsätze für die Evaluation telemedizinischer Anwendungen – Ergebnisse eines systematischen Reviews und Konsens-Verfahrens

  • Author Footnotes
    1 geteilte Erstautorenschaft
    Katrin Arnold
    Correspondence
    Korrespondenzadresse: Dipl.-Soz. Katrin Arnold, Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Fetscherstr. 74, 01307 Dresden, Deutschland.
    Footnotes
    1 geteilte Erstautorenschaft
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland; Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Author Footnotes
    1 geteilte Erstautorenschaft
    Madlen Scheibe
    Footnotes
    1 geteilte Erstautorenschaft
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland; Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Olaf Müller
    Affiliations
    Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Jochen Schmitt
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland
    Search for articles by this author
  • und die CCS THOS Konsensgruppe
    Author Footnotes
    2 Beteiligte siehe Danksagung
  • Author Footnotes
    1 geteilte Erstautorenschaft
    2 Beteiligte siehe Danksagung
DOI:https://doi.org/10.1016/j.zefq.2016.04.011
Grundsätze für die Evaluation telemedizinischer Anwendungen – Ergebnisse eines systematischen Reviews und Konsens-Verfahrens
Previous ArticleWie beschränken Autoren systematischer Reviews ihre Literatursuchen, wenn nur Studien aus Deutschland eingeschlossen werden sollen?
Next ArticleWas vom Tage übrig bleibt – Arbeitsalltag einer Universitätsmedizin für Kinder und Jugendliche

      Zusammenfassung

      Hintergrund

      Der in Deutschland bislang zögerliche Übergang telemedizinisch unterstützter Versorgungsansätze in die Regelversorgung kann unter anderem auf Defizite in der Evaluationspraxis dieser Anwendungen zurückgeführt werden. Ohne methodisch solide und vollständig publizierte Evaluationen können die notwendigen Wirksamkeits- bzw. Kosteneffektivitätsnachweise für Entscheidungsträger und potenzielle Anwender nicht erbracht werden. Für adäquate, vergleichbare Evaluationen telemedizinischer Anwendungen fehlen wissenschaftlich fundierte und verbindliche methodische Standards.

      Methoden

      Im Rahmen des telemedizinischen Infrastrukturprojektes CCS Telehealth Ostsachsen (CCS THOS) wurden auf der Grundlage eines systematischen Reviews zu Evaluations(rahmen)konzepten für telemedizinische Anwendungen (Suchzeitraum bis September 2014, Datenbanken Medline, Embase, HTA-Database, DARE, NHS EED) sowie einer zusätzlichen selektiven Literaturrecherche Vorschläge für Evaluationsgrundsätze abgeleitet. Diese wurden anschließend einem formalen Konsensverfahren (nominaler Gruppenprozess) unter Beteiligung relevanter Interessengruppen (Kostenträger, Leistungserbringer, Vertreter der Gesundheitspolitik, Wissenschaftler) unterzogen.

      Ergebnisse

      19 Arbeiten wurden in den systematischen Review eingeschlossen. Diese präsentierten entsprechend der vorab definierten Einschlusskriterien jeweils ein auf der Grundlage eines systematischen Reviews und/oder eines Konsensverfahrens erstelltes Evaluations(rahmen)konzept für telemedizinische Anwendungen. Die hieraus sowie aus der selektiven Literaturrecherche (23 Arbeiten) abgeleiteten Vorschläge für Evaluationsgrundsätze mündeten durch das formale Konsensverfahren in zehn konsentierten Grundsätzen, wovon acht einstimmig und zwei mit jeweils einer Enthaltung beschlossen wurden. Die Grundsätze beinhalten Kriterien für die Planung, Durchführung und das Berichten von Telemedizin-Evaluationen. Ihre Einhaltung ist für alle Nutzer der telemedizinischen Infrastruktur von CCS THOS verpflichtend. Darüber hinaus war deren Aufgreifen durch andere Projekte und Initiativen von Beginn an ausdrücklich beabsichtigt.

      Schlussfolgerungen

      Die verabschiedeten Grundsätze für die Evaluation telemedizinischer Anwendungen sind in Deutschland die ersten, die auf evidenz- und konsensbasierter Grundlage entwickelt worden sind. Aufgrund der Erstellungsmethodik besitzen sie eine starke wissenschaftliche und gesundheitspolitische Legitimation. Hierdurch, sowie aufgrund ihrer allgemeinen Anwendbarkeit, wird eine über die im Projekt CCS THOS erstellte Telemedizin-Plattform hinausgehende, breite Berücksichtigung dieser Standards in der deutschen Telemedizin-Landschaft empfohlen.

      Abstract

      Background

      The limited number of telemedicine applications being transferred to standard medical care in Germany may to some extent be explained by deficits in the current evaluation practice. Effectiveness and cost effectiveness can only be demonstrated to decision makers and potential users with methodologically sound and fully published evaluations. There is a lack of well-founded and mandatory standards for adequate, comparable evaluations of telemedicine applications.

      Methods

      As part of the project CCS Telehealth Eastern Saxony (CCS THOS), a systematic review on evaluation concepts for telemedicine applications (search period until September 2014, databases Medline, Embase, HTA-Database, DARE, NHS EED) as well as an additional selective literature search were conducted. Suggestions for evaluation fundamentals were derived from the results. These suggestions were subjected to a formal consensus process (nominal group process) with relevant stakeholder groups (healthcare payers, healthcare providers, health policy representatives, researchers).

      Results

      19 papers were included in the systematic review. In accordance with the predefined inclusion criteria, each presented an evaluation concept for telemedicine applications that was based upon a systematic review and/or a consensus process. Via a formal consensus process, the suggestions for evaluation principles derived from the review and the selective literature search (23 papers) resulted in ten agreed evaluation principles. Eight of them were unanimously agreed upon, two were arrived at with one abstention each. The principles enclose criteria for the planning, conduct and reporting of telemedicine evaluations. Adherence to them is obligatory for users of the telemedical infrastructure provided by CCS THOS. Furthermore, right from the beginning the intention was very much for these principles to be seized upon by other projects and initiatives.

      Conclusions

      The agreed evaluation principles for telemedicine applications are the first in Germany to be based both upon evidence and consensus. Due to the methodology of development, they have a strong scientific and health policy legitimation. Therefore, and because of their general applicability, adherence to these principles beyond the context of the telemedicine platform developed within CCS THOS is recommended, namely throughout the German telemedicine scene.

      Schlüsselwörter

      Keywords

      To read this article in full you will need to make a payment

      Purchase one-time access:

      Academic & Personal: 24 hour online accessCorporate R&D Professionals: 24 hour online access
      One-time access price info
      • For academic or personal research use, select 'Academic and Personal'
      • For corporate R&D use, select 'Corporate R&D Professionals'

      Subscribe:

      Subscribe to Zeitschrift für Evidenz, Fortbildung und Qualität im Gesundheitswesen
      Already a print subscriber? Claim online access
      Already an online subscriber? Sign in
      Register: Create an account
      Institutional Access: Sign in to ScienceDirect

      Literatur

        • Dansky K.H.
        • Thompson D.
        • Sanner T.
        A framework for evaluating eHealth research.
        Eval. Program. Plann. 2006; 29: 397-404
        View in Article
        • Miller E.A.
        Solving the disjuncture between research and practice: telehealth trends in the 21st century.
        Health Policy. 2007; 82: 133-141
        View in Article
        • Beckers R.
        • Strotbaum V.
        Vom Projekt zur Regelversorgung.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2015; 58: 1062-1067
        View in Article
        • Brauns H.-J.
        • Loos W.
        Telemedizin in Deutschland. Stand – Hemmnisse – Perspektiven.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2015; 58: 1068-1073
        View in Article
        • Bohm S.
        • Knieps F.
        • Wehmeier A.
        Telemedizin als Bestandteil der GKV-Regelversorgung: Bestandsaufnahme und Regelungsvorschläge für eine arztzentrierte Versorgung.
        Gesundheits- und Sozialpolitik. 2014; 68: 41-49
        View in Article

      6. Bundesärztekammer (BÄK), Ärztliche Priorisierung von Einsatzgebieten telemedizinischer Patientenversorgung, URL: http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Telemedizin_Telematik/Telemedizin/Einsatzgebiete_telemedizinischer_Patientenversorgung.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Dittmar R.
        • Wohlgemuth W.A.
        • Nagel E.
        Potenziale und Barrieren der Telemedizin in der Regelversorgung.
        GGW. 2009; 9: 16-26
        View in Article
        • Schultz C.
        • Salomo S.
        Relevanz der Telemedizin - Ergebnisse ausgewählter Meta-Analysen.
        Akzeptanz der Telemedizin. Minerva, Berlin2005: 43-60
        View in Article
        • Bashshur R.
        • Shannon G.
        • Sapci H.
        Telemedicine evaluation.
        Telemed. J. E. Health. 2005; 11: 296-316
        View in Article
        • Ohinmaa A.
        • Hailey D.
        • Roine R.
        Elements for assessment of telemedicine applications.
        Int. J. Technol. Assess. Health Care. 2001; 17: 190-202
        View in Article
        • Whetton S.
        Successes and failures: what are we measuring?.
        J. Telemed. Telecare. 2005; 11: S98-S100
        View in Article
        • Field M.J.
        Telemedicine: a guide to assessing telecommunications in healthcare.
        National Academies Press (US), Washington (DC)1996
        View in Article
        • Jakobsen N.K.
        • Jensen L.S.
        • Kayser L.
        Collaborative efforts are needed to ensure proper knowledge dissemination of telemedicine projects.
        Dan. Med. J. 2014; 61: A4896
        View in Article
        • Grigsby J.
        • Schlenker R.E.
        • Kaehny M.M.
        • Shaughnessy P.W.
        • Sandberg E.J.
        Analytic framework for evaluation of telemedicine.
        Telemed. J. 1995; 1: 31-39
        View in Article
        • Scott R.E.
        • McCarthy F.G.
        • Jennett P.A.
        • Perverseff T.
        • Lorenzetti D.
        • Saeed A.
        • Rush B.
        • Yeo M.
        Telehealth outcomes: a synthesis of the literature and recommendations for outcome indicators.
        J. Telemed. Telecare. 2007; 13: 1-38
        View in Article
        • Ekeland A.G.
        • Bowes A.
        • Flottorp S.
        Methodologies for assessing telemedicine: A systematic review of reviews.
        Int. J. Med. Inform. 2012; 81: 1-11
        View in Article
        • Hypponen H.
        • Ammenwerth E.
        • Nohr C.
        • Faxvaag A.
        • Walldius A.
        eHealth indicators: results of an expert workshop.
        Stud. Health Technol. Inform. 2012; 180: 328-332
        View in Article

      18. Institute for a Broadband-Enabled Society (IBES), A Unified Approach for the Evaluation of Telehealth Implementations in Australia, URL: http://networkedsociety.unimelb.edu.au/__data/assets/pdf_file/0019/1661311/Evaluation-of-Telehealth-Implementations-in-Australia.pdf [Letzter Aufruf am: 12-11-2015].

        View in Article
        • Khoja S.
        • Durrani H.
        • Scott R.E.
        • Sajwani A.
        • Piryani U.
        Conceptual framework for development of comprehensive e-health evaluation tool.
        Telemed. J. E. Health. 2013; 19: 48-53
        View in Article
        • Helou A.
        • Lorenz W.
        • Ollenschläger G.
        • Reinauer H.
        • Schwartz F.W.
        Methodische Standards der Entwicklung evidenz-basierter Leitlinien in Deutschland.
        ZaeFQ. 2000; 94: 330-339
        View in Article
        • Kopp I.B.
        Von Leitlinien zur Qualitätssicherung.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2011; 54: 160-165
        View in Article
        • Lelgemann M.
        • Thole H.
        Von der Evidenz zur Empfehlung. Einfluss von Konsensprozessen auf Empfehlungsgrade-“kontra Konsens”?. [From evidence to recommendation influence of consensus processes on grades of recommendation-‘against consensus’?.].
        Z. Arztl. Fortbild. Qualitatssich. 2007; 101: 97-101
        View in Article

      23. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V.(AWMF) e.V., Klassifikation S3-Leitlinien, URL: http://www.awmf.org/leitlinien/awmf-regelwerk/ll-entwicklung/awmf-regelwerk-01-planung-und-organisation/po-stufenklassifikation/klassifikation-s3.html [Letzter Aufruf am: 12-10-2015].

        View in Article
        • Kopp I.
        • Encke A.
        • Lorenz W.
        Leitlinien als Instrument der Qualitätssicherung in der Medizin.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2002; 45: 223-233
        View in Article
        • Tugwell P.
        • Boers M.
        • Brooks F.
        • Simon L.
        • Strand V.
        • Idzerda L.
        OMERACT: An international initiative to improve outcome measurement in rheumatology.
        Trials. 2007; 8: 38
        View in Article
        • Schmitt J.
        • Apfelbacher C.
        • Spuls P.I.
        • Thomas K.S.
        • Simpson E.L.
        • Furue M.
        • Chalmers J.
        • Williams H.C.
        The Harmonizing Outcome Measures for Eczema (HOME) Roadmap: a methodological framework to develop core sets of outcome measurements in dermatology.
        J. Invest. Dermatol. 2015; 135: 24-30
        View in Article
        • Beatty A.L.
        • Fukuoka Y.
        • Whooley M.A.
        Using mobile technology for cardiac rehabilitation: a review and framework for development and evaluation.
        J. Am. Heart. Assoc. 2013; 2: e000568
        View in Article
        • Bradford N.
        • Armfield N.R.
        • Young J.
        • Smith A.C.
        The case for home based telehealth in pediatric palliative care: A systematic review.
        BMC Palliat. Care. 2013; 12: 4
        View in Article
        • Budrionis A.
        • Augestad K.M.
        • Patel H.R.
        • Bellika J.G.
        An evaluation framework for defining the contributions of telestration in surgical telementoring.
        Interact. J. Med. Res. 2013; 2: e14
        View in Article
        • Frueh B.C.
        • Deitsch S.E.
        • Santos A.B.
        • Gold P.B.
        • Johnson M.R.
        • Meisler N.
        • Magruder K.M.
        • Ballenger J.C.
        Procedural and methodological issues in telepsychiatry research and program development.
        Psychiatr. Serv. 2000; 51: 1522-1527
        View in Article
        • Hilty D.M.
        • Marks S.L.
        • Urness D.
        • Yellowlees P.M.
        • Nesbitt T.S.
        Clinical and educational telepsychiatry applications: a review.
        Can. J. Psychiatry. 2004; 49: 12-23
        View in Article
        • Huis in ’t Veld M.H.
        • van Dijk H.
        • Hermens H.J.
        • Vollenbroek-Hutten M.M.
        A systematic review of the methodology of telemedicine evaluation in patients with postural and movement disorders.
        J. Telemed. Telecare. 2006; 12: 289-297
        View in Article
        • Johansson T.
        • Wild C.
        Telemedicine in acute stroke management: systematic review.
        Int. J. Technol. Assess. Health Care. 2010; 26: 149-155
        View in Article
        • Kidholm K.
        • Ekeland A.G.
        • Jensen L.K.
        • Rasmussen J.
        • Pedersen C.D.
        • Bowes A.
        • Flottorp S.A.
        • Bech M.
        A model for assessment of telemedicine applications: Mast.
        Int. J. Technol. Assess. Health Care. 2012; 28: 44-51
        View in Article
        • Nepal S.
        • Li J.
        • Jang-Jaccard J.
        • Alem L.
        A framework for telehealth program evaluation.
        Telemed. J. E. Health. 2014; 20: 393-404
        View in Article
        • Puskin D.S.
        • Cohen Z.
        • Ferguson A.S.
        • Krupinski E.
        • Spaulding R.
        Implementation and evaluation of telehealth tools and technologies.
        Telemed. J. E. Health. 2010; 16: 96-102
        View in Article
        • Shore J.H.
        • Mishkind M.C.
        • Bernard J.
        • Doarn C.R.
        • Bell Jr., I.
        • Bhatla R.
        • Brooks E.
        • Caudill R.
        • Cohn E.R.
        • Delphin B.J.
        • Eppolito A.
        • Fortney J.
        • Friedl K.
        • Hirsch P.
        • Jordan P.J.
        • Kim T.J.
        • Luxton D.D.
        • Lynch M.D.
        • Maheu M.M.
        • McVeigh F.L.
        • Nelson E.L.
        • Officer C.
        • O’Neil P.T.
        • Roberts L.J.
        • Rye C.
        • Turvey C.
        • Vo A.
        A lexicon of assessment and outcome measures for telemental health.
        Telemed. J. E. Health. 2014; 20: 282-292
        View in Article
        • Ho B.
        • Lee M.
        • Armstrong A.W.
        Evaluation criteria for mobile teledermatology applications and comparison of major mobile teledermatology applications.
        Telemed. J. E. Health. 2013; 19: 678-682
        View in Article
        • Armstrong A.
        • Farbstein A.
        • Sanders C.
        • Wu G.
        Evaluation of store-and-forward teledermatology applications.
        J. Am. Acad. Dermatol. 2010; 62: AB11
        View in Article
        • Kahn J.M.
        • Hill N.S.
        • Lilly C.M.
        • Angus D.C.
        • Jacobi J.
        • Rubenfeld G.D.
        • Rothschild J.M.
        • Sales A.E.
        • Scales D.C.
        • Mathers J.A.
        The research agenda in ICU telemedicine: A statement from the critical care societies collaborative.
        Chest. 2011; 140: 230-238
        View in Article
        • Burghgraeve P.
        • De M.J.
        Improved methods for assessing information technology in primary health care and an example from telemedicine.
        J. Telemed. Telecare. 1995; 1: 157-164
        View in Article
        • Kumar S.
        • Nilsen W.J.
        • Abernethy A.
        • Atienza A.
        • Patrick K.
        • Pavel M.
        • Riley W.T.
        • Shar A.
        • Spring B.
        • Spruijt-Metz D.
        • Hedeker D.
        • Honavar V.
        • Kravitz R.
        • Lefebvre R.C.
        • Mohr D.C.
        • Murphy S.A.
        • Quinn C.
        • Shusterman V.
        • Swendeman D.
        Mobile health technology evaluation: the mHealth evidence workshop.
        Am. J. Prev. Med. 2013; 45: 228-236
        View in Article
        • Baker T.B.
        • Gustafson D.H.
        • Shaw B.
        • Hawkins R.
        • Pungree S.
        • Roberts L.
        • Strecher V.
        Relevance of CONSORT reporting criteria for research on eHealth interventions.
        Patient. Educ. Couns. 2010; 81: S77-S86
        View in Article
        • Bashur R.L.
        Telemedicine effects: cost, quality and access.
        J. Med. Syst. 1995; 19: 81-91
        View in Article

      45. A. Dattakumar, A unified approach for the evaluation of telehealth implementations in Australia, URL: http://networkedsociety.unimelb.edu.au/about/ibes/publications/2013/Evaluation-of-Telehealth-Implementations-in-Australia.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • DeLone W.
        • McLean E.
        The DeLone and McLean Model of Information Success: a ten-year update.
        J. Manage. Inform. Syst. 2003; 19: 9-30
        View in Article
        • Donabedian A.
        Exploration in quality assessment and monitoring.
        Health Administration Press, Ann Arbor1980
        View in Article
        • Donabedian A.
        An introduction to quality assurance in health care.
        University Press, Oxford2003
        View in Article
        • Drummond M.F.
        • Stoddart G.L.
        • Torrance G.W.
        Methods for the economic evaluation of health care programmes.
        University Press, Oxford1988
        View in Article

      50. eHealth-Initiative, Kriterienkatalog zur Unterstützung der gezielten Planung, Durchführung und Evaluation von telemedizinschen Projekten, URL: http://www.bmg.bund.de/fileadmin/dateien/Downloads/I/It_Gipfel_Telemedizin/Kriterienkatalog_Zukunftsprojekte_Telemedizin_121121.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      51. EUnetHTA, HTA Core Model Handbook, URL: https://meka.thl.fi/htacore/HTACoreModel_Handbook_2014-04-08.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Eysenbach G.
        • CONSORT-EHEALTH Group
        CONSORT-EHEALTH: improving and standardizing evaluation reports of web-based and mobile health interventions.
        J. Med. Internet Res. 2011; 13: e126
        View in Article
        • Eysenbach G.
        CONSORT-EHEALTH: implementation of a checklist for authors and editors to improve reporting of web-based and mobile randomized controlled trials.
        Stud. Health Technol. Inform. 2013; 192: 657-661
        View in Article
        • Garg V.
        • Brewer J.
        Telemedicine security: a systematic review.
        J. Diabetes Sci. Technol. 2011; 5: 768-777
        View in Article
        • Husereau D.
        • Drummond M.
        • Petrou S.
        • Carswell C.
        • Moher D.
        • Greenberg D.
        • Augustovski F.
        • Briggs A.H.
        • Mauskopf J.
        • Loder E.
        CHEERS Task Force, Consolidated Health Economic Evaluation Reporting Standards (CHEERS) statement.
        Int. J. Technol. Assess. Health Care. 2013; 29: 117-122
        View in Article

      56. K. Kidholm, Introduction to MAST, URL: www.mast-model.info/Presentations/kidholm%20MAST%20INTRO.ppt [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Nykänen P.
        • Brender J.
        • Talmon J.
        • de Keizer N.
        • Rigby M.
        • Beuscart-Zephir M.C.
        • Ammenwerth E.
        Guideline for good evaluation practice in health informatics (GEP-HI).
        Int. J. Med. Inform. 2011; 80: 815-827
        View in Article

      58. REgioNs of Europe WorkINg toGether for HEALTH (RENEWING HeALTH), Final Report - Public. Version 1.5, URL: http://www.renewinghealth.eu/documents/28946/555381f3-9686-4955-8547-76b58be34a04 [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Schmitt J.
        • Petzold T.
        • Eberlein-Gonska M.
        • Neugebauer E.
        Anforderungsprofil an Qualitätsindikatoren. Relevanz aktueller Entwicklungen der Outcomes Forschung für das Qualitätsmanagement [Requirements for quality indicators. The relevance of current developments in outcomes research for quality management].
        Z. Evid. Fortbild. Qual. Gesundh.wes. 2013; 107: 516-522
        View in Article

      60. R. Stockmann, Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren, URL: http://www.ceval.de/modx/fileadmin/user_upload/PDFs/workpaper9.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Talmon J.
        • Ammenwerth E.
        • Brender J.
        • de Keizer N.
        • Nykänen P.
        • Rigby M.
        STARE-HI—Statement on reporting of evaluation studies in health informatics.
        Int. J. Med. Inform. 2009; 78: 1-9
        View in Article

      62. The Lancet, Research: increasing value, reducing waste. Online series., URL: http://www.thelancet.com/series/research [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Nilsen W.
        • Kumar S.
        • Shar A.
        • Varoquiers C.
        • Wiley T.
        • Riley W.T.
        • Pavel M.
        • Atienza A.A.
        Advancing the science of mHealth.
        J. Health. Commun. 2012; 17: S5-S10
        View in Article
        • Levac D.
        • Colquhoun H.
        • O’Brien K.K.
        Scoping studies: advancing the methodology.
        Implement. Sci. 2010; 5: 69
        View in Article

      65. Gemeinsamer Bundesausschuss (GBA), Extraktionsbogen für systematische Übersichten, Metaanalysen und HTA-Berichte, URL: https://www.g-ba.de/downloads/40-268-562/AMR-MP-Extraktionsbogen.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      66. Ärztliches Zentrum für Qualität in der Medizin, Konsensusverfahren, URL: http://www.leitlinien.de/leitlinienmethodik/leitlinien-glossar/glossar/konsensusverfahren [Letzter Aufruf am: 19-01-2016]

        View in Article
        • Murphy M.K.
        • Black N.A.
        • Lamping D.L.
        • McKee C.M.
        • Sanderson C.
        • Askham J.
        • Marteau T.
        Consensus development methods, and their use in clinical guideline development.
        Health. Technol. Assess. 1998; 2 (i-iv,1-88)
        View in Article

      68. Centers for Disease Control and Prevention, Gaining consensus among stakeholders through the nominal group technique, URL: http://www.cdc.gov/healthyyouth/evaluation/pdf/brief7.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      69. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., AWMF-Regelwerk Leitlinien: Strukturierte Konsensfindung, URL: http://www.awmf.org/leitlinien/awmf-regelwerk/ll-entwicklung/awmf-regelwerk-03-leitlinienentwicklung/ll-entwicklung-strukturierte-konsensfindung.html [Letzter Aufruf am: 19-01-2016].

        View in Article

      70. Bundesärztekammer (BÄK), Kassenärztliche Bundesvereinigung (KBV), Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e. V. (AWMF) e. V., Programm für Nationale VersorgungsLeitlinien: Methoden-Report, 4. Auflage, URL: http://www.leitlinien.de/mdb/downloads/nvl/methodik/mr-aufl-4-version-1.pdf/@@download/file/NVL_MethReport_Aufl 4_1.0_120815.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      71. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., Erarbeitung von Leitlinien für Diagnostik und Therapie: Methodische Empfehlungen, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/Werkzeuge/Publikationen/methoden.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      72. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., Ständige Kommission Leitlinien, AWMF-Regelwerk „Leitlinien“, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/AWMF-Regelwerk/AWMF-Regelwerk.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article

      73. Robert Koch Institut, Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit (Hrsg): Evaluation komplexer Interventionsprogramme in der Prävention: Lernende Systeme, lehrreiche Systeme? RKI, Berlin, 2012.

        View in Article

      74. Bundesärztekammer (BÄK), Arbeitskreis ”Versorgungsforschung“ beim wissenschaftlichen Beirat, Definition und Abgrenzung der Versorgungsforschung, URL: http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/Definition.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Selbmann H.K.
        • Kopp I.
        Implementierung von Leitlinien in den Versorgungsalltag.
        Die Psychatrie. 2005; 2: 33-38
        View in Article
        • Schmitt J.
        • Petzold T.
        • Nellessen-Martens G.
        • Pfaff H.
        Priorisierung und Konsentierung von Begutachtungs-, Förder- und Evaluationskriterien für Projekte aus dem Innovationsfonds: Eine multiperspektivische Delphi-Studie [Prioritization and consentation of criteria for the appraisal, funding and evaluation of projects from the German Innovationsfonds: A multi-perspective delphi study].
        Gesundheitswesen. 2015; 77: 570-579
        View in Article

      77. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V.(AWMF) e.V., Formale Konsensfindungstechniken, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/AWMF-Regelwerk/Anhaenge/Anhang_08_Formale_Konsensfindungstechniken.pdf [Letzter Aufruf am: 19-01-2016].

        View in Article
        • Mishkind M.C.
        • Doarn C.R.
        • Bernard J.
        • Shore J.H.
        The use of collaboration science to define consensus outcome measures: a telemental health case study.
        Telemed. J. E. Health. 2013; 19: 455-459
        View in Article

      Article info

      Publication history

      Accepted: April 25, 2016
      Received in revised form: April 25, 2016
      Received: February 11, 2016

      Identification

      DOI: https://doi.org/10.1016/j.zefq.2016.04.011

      Copyright

      © 2016 Published by Elsevier Inc.

      ScienceDirect

      Access this article on ScienceDirect
      We use cookies to help provide and enhance our service and tailor content. To update your cookie settings, please visit the for this site.
      Copyright © 2023 Elsevier Inc. except certain content provided by third parties. The content on this site is intended for healthcare professionals.


      RELX