Advertisement

Grundsätze für die Evaluation telemedizinischer Anwendungen – Ergebnisse eines systematischen Reviews und Konsens-Verfahrens

  • Author Footnotes
    1 geteilte Erstautorenschaft
    Katrin Arnold
    Correspondence
    Korrespondenzadresse: Dipl.-Soz. Katrin Arnold, Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Fetscherstr. 74, 01307 Dresden, Deutschland.
    Footnotes
    1 geteilte Erstautorenschaft
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland; Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Author Footnotes
    1 geteilte Erstautorenschaft
    Madlen Scheibe
    Footnotes
    1 geteilte Erstautorenschaft
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland; Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Olaf Müller
    Affiliations
    Carus Consilium Sachsen GmbH (CCS), Dresden, Deutschland
    Search for articles by this author
  • Jochen Schmitt
    Affiliations
    Zentrum für Evidenzbasierte Gesundheitsversorgung (ZEGV), Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der Technischen Universität Dresden, Dresden, Deutschland
    Search for articles by this author
  • und die CCS THOS Konsensgruppe
    Author Footnotes
    2 Beteiligte siehe Danksagung
  • Author Footnotes
    1 geteilte Erstautorenschaft
    2 Beteiligte siehe Danksagung

      Zusammenfassung

      Hintergrund

      Der in Deutschland bislang zögerliche Übergang telemedizinisch unterstützter Versorgungsansätze in die Regelversorgung kann unter anderem auf Defizite in der Evaluationspraxis dieser Anwendungen zurückgeführt werden. Ohne methodisch solide und vollständig publizierte Evaluationen können die notwendigen Wirksamkeits- bzw. Kosteneffektivitätsnachweise für Entscheidungsträger und potenzielle Anwender nicht erbracht werden. Für adäquate, vergleichbare Evaluationen telemedizinischer Anwendungen fehlen wissenschaftlich fundierte und verbindliche methodische Standards.

      Methoden

      Im Rahmen des telemedizinischen Infrastrukturprojektes CCS Telehealth Ostsachsen (CCS THOS) wurden auf der Grundlage eines systematischen Reviews zu Evaluations(rahmen)konzepten für telemedizinische Anwendungen (Suchzeitraum bis September 2014, Datenbanken Medline, Embase, HTA-Database, DARE, NHS EED) sowie einer zusätzlichen selektiven Literaturrecherche Vorschläge für Evaluationsgrundsätze abgeleitet. Diese wurden anschließend einem formalen Konsensverfahren (nominaler Gruppenprozess) unter Beteiligung relevanter Interessengruppen (Kostenträger, Leistungserbringer, Vertreter der Gesundheitspolitik, Wissenschaftler) unterzogen.

      Ergebnisse

      19 Arbeiten wurden in den systematischen Review eingeschlossen. Diese präsentierten entsprechend der vorab definierten Einschlusskriterien jeweils ein auf der Grundlage eines systematischen Reviews und/oder eines Konsensverfahrens erstelltes Evaluations(rahmen)konzept für telemedizinische Anwendungen. Die hieraus sowie aus der selektiven Literaturrecherche (23 Arbeiten) abgeleiteten Vorschläge für Evaluationsgrundsätze mündeten durch das formale Konsensverfahren in zehn konsentierten Grundsätzen, wovon acht einstimmig und zwei mit jeweils einer Enthaltung beschlossen wurden. Die Grundsätze beinhalten Kriterien für die Planung, Durchführung und das Berichten von Telemedizin-Evaluationen. Ihre Einhaltung ist für alle Nutzer der telemedizinischen Infrastruktur von CCS THOS verpflichtend. Darüber hinaus war deren Aufgreifen durch andere Projekte und Initiativen von Beginn an ausdrücklich beabsichtigt.

      Schlussfolgerungen

      Die verabschiedeten Grundsätze für die Evaluation telemedizinischer Anwendungen sind in Deutschland die ersten, die auf evidenz- und konsensbasierter Grundlage entwickelt worden sind. Aufgrund der Erstellungsmethodik besitzen sie eine starke wissenschaftliche und gesundheitspolitische Legitimation. Hierdurch, sowie aufgrund ihrer allgemeinen Anwendbarkeit, wird eine über die im Projekt CCS THOS erstellte Telemedizin-Plattform hinausgehende, breite Berücksichtigung dieser Standards in der deutschen Telemedizin-Landschaft empfohlen.

      Abstract

      Background

      The limited number of telemedicine applications being transferred to standard medical care in Germany may to some extent be explained by deficits in the current evaluation practice. Effectiveness and cost effectiveness can only be demonstrated to decision makers and potential users with methodologically sound and fully published evaluations. There is a lack of well-founded and mandatory standards for adequate, comparable evaluations of telemedicine applications.

      Methods

      As part of the project CCS Telehealth Eastern Saxony (CCS THOS), a systematic review on evaluation concepts for telemedicine applications (search period until September 2014, databases Medline, Embase, HTA-Database, DARE, NHS EED) as well as an additional selective literature search were conducted. Suggestions for evaluation fundamentals were derived from the results. These suggestions were subjected to a formal consensus process (nominal group process) with relevant stakeholder groups (healthcare payers, healthcare providers, health policy representatives, researchers).

      Results

      19 papers were included in the systematic review. In accordance with the predefined inclusion criteria, each presented an evaluation concept for telemedicine applications that was based upon a systematic review and/or a consensus process. Via a formal consensus process, the suggestions for evaluation principles derived from the review and the selective literature search (23 papers) resulted in ten agreed evaluation principles. Eight of them were unanimously agreed upon, two were arrived at with one abstention each. The principles enclose criteria for the planning, conduct and reporting of telemedicine evaluations. Adherence to them is obligatory for users of the telemedical infrastructure provided by CCS THOS. Furthermore, right from the beginning the intention was very much for these principles to be seized upon by other projects and initiatives.

      Conclusions

      The agreed evaluation principles for telemedicine applications are the first in Germany to be based both upon evidence and consensus. Due to the methodology of development, they have a strong scientific and health policy legitimation. Therefore, and because of their general applicability, adherence to these principles beyond the context of the telemedicine platform developed within CCS THOS is recommended, namely throughout the German telemedicine scene.

      Schlüsselwörter

      Keywords

      To read this article in full you will need to make a payment

      Purchase one-time access:

      Academic & Personal: 24 hour online accessCorporate R&D Professionals: 24 hour online access
      One-time access price info
      • For academic or personal research use, select 'Academic and Personal'
      • For corporate R&D use, select 'Corporate R&D Professionals'

      Literatur

        • Dansky K.H.
        • Thompson D.
        • Sanner T.
        A framework for evaluating eHealth research.
        Eval. Program. Plann. 2006; 29: 397-404
        • Miller E.A.
        Solving the disjuncture between research and practice: telehealth trends in the 21st century.
        Health Policy. 2007; 82: 133-141
        • Beckers R.
        • Strotbaum V.
        Vom Projekt zur Regelversorgung.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2015; 58: 1062-1067
        • Brauns H.-J.
        • Loos W.
        Telemedizin in Deutschland. Stand – Hemmnisse – Perspektiven.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2015; 58: 1068-1073
        • Bohm S.
        • Knieps F.
        • Wehmeier A.
        Telemedizin als Bestandteil der GKV-Regelversorgung: Bestandsaufnahme und Regelungsvorschläge für eine arztzentrierte Versorgung.
        Gesundheits- und Sozialpolitik. 2014; 68: 41-49
      1. Bundesärztekammer (BÄK), Ärztliche Priorisierung von Einsatzgebieten telemedizinischer Patientenversorgung, URL: http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Telemedizin_Telematik/Telemedizin/Einsatzgebiete_telemedizinischer_Patientenversorgung.pdf [Letzter Aufruf am: 19-01-2016].

        • Dittmar R.
        • Wohlgemuth W.A.
        • Nagel E.
        Potenziale und Barrieren der Telemedizin in der Regelversorgung.
        GGW. 2009; 9: 16-26
        • Schultz C.
        • Salomo S.
        Relevanz der Telemedizin - Ergebnisse ausgewählter Meta-Analysen.
        Akzeptanz der Telemedizin. Minerva, Berlin2005: 43-60
        • Bashshur R.
        • Shannon G.
        • Sapci H.
        Telemedicine evaluation.
        Telemed. J. E. Health. 2005; 11: 296-316
        • Ohinmaa A.
        • Hailey D.
        • Roine R.
        Elements for assessment of telemedicine applications.
        Int. J. Technol. Assess. Health Care. 2001; 17: 190-202
        • Whetton S.
        Successes and failures: what are we measuring?.
        J. Telemed. Telecare. 2005; 11: S98-S100
        • Field M.J.
        Telemedicine: a guide to assessing telecommunications in healthcare.
        National Academies Press (US), Washington (DC)1996
        • Jakobsen N.K.
        • Jensen L.S.
        • Kayser L.
        Collaborative efforts are needed to ensure proper knowledge dissemination of telemedicine projects.
        Dan. Med. J. 2014; 61: A4896
        • Grigsby J.
        • Schlenker R.E.
        • Kaehny M.M.
        • Shaughnessy P.W.
        • Sandberg E.J.
        Analytic framework for evaluation of telemedicine.
        Telemed. J. 1995; 1: 31-39
        • Scott R.E.
        • McCarthy F.G.
        • Jennett P.A.
        • Perverseff T.
        • Lorenzetti D.
        • Saeed A.
        • Rush B.
        • Yeo M.
        Telehealth outcomes: a synthesis of the literature and recommendations for outcome indicators.
        J. Telemed. Telecare. 2007; 13: 1-38
        • Ekeland A.G.
        • Bowes A.
        • Flottorp S.
        Methodologies for assessing telemedicine: A systematic review of reviews.
        Int. J. Med. Inform. 2012; 81: 1-11
        • Hypponen H.
        • Ammenwerth E.
        • Nohr C.
        • Faxvaag A.
        • Walldius A.
        eHealth indicators: results of an expert workshop.
        Stud. Health Technol. Inform. 2012; 180: 328-332
      2. Institute for a Broadband-Enabled Society (IBES), A Unified Approach for the Evaluation of Telehealth Implementations in Australia, URL: http://networkedsociety.unimelb.edu.au/__data/assets/pdf_file/0019/1661311/Evaluation-of-Telehealth-Implementations-in-Australia.pdf [Letzter Aufruf am: 12-11-2015].

        • Khoja S.
        • Durrani H.
        • Scott R.E.
        • Sajwani A.
        • Piryani U.
        Conceptual framework for development of comprehensive e-health evaluation tool.
        Telemed. J. E. Health. 2013; 19: 48-53
        • Helou A.
        • Lorenz W.
        • Ollenschläger G.
        • Reinauer H.
        • Schwartz F.W.
        Methodische Standards der Entwicklung evidenz-basierter Leitlinien in Deutschland.
        ZaeFQ. 2000; 94: 330-339
        • Kopp I.B.
        Von Leitlinien zur Qualitätssicherung.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2011; 54: 160-165
        • Lelgemann M.
        • Thole H.
        Von der Evidenz zur Empfehlung. Einfluss von Konsensprozessen auf Empfehlungsgrade-“kontra Konsens”?. [From evidence to recommendation influence of consensus processes on grades of recommendation-‘against consensus’?.].
        Z. Arztl. Fortbild. Qualitatssich. 2007; 101: 97-101
      3. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V.(AWMF) e.V., Klassifikation S3-Leitlinien, URL: http://www.awmf.org/leitlinien/awmf-regelwerk/ll-entwicklung/awmf-regelwerk-01-planung-und-organisation/po-stufenklassifikation/klassifikation-s3.html [Letzter Aufruf am: 12-10-2015].

        • Kopp I.
        • Encke A.
        • Lorenz W.
        Leitlinien als Instrument der Qualitätssicherung in der Medizin.
        Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2002; 45: 223-233
        • Tugwell P.
        • Boers M.
        • Brooks F.
        • Simon L.
        • Strand V.
        • Idzerda L.
        OMERACT: An international initiative to improve outcome measurement in rheumatology.
        Trials. 2007; 8: 38
        • Schmitt J.
        • Apfelbacher C.
        • Spuls P.I.
        • Thomas K.S.
        • Simpson E.L.
        • Furue M.
        • Chalmers J.
        • Williams H.C.
        The Harmonizing Outcome Measures for Eczema (HOME) Roadmap: a methodological framework to develop core sets of outcome measurements in dermatology.
        J. Invest. Dermatol. 2015; 135: 24-30
        • Beatty A.L.
        • Fukuoka Y.
        • Whooley M.A.
        Using mobile technology for cardiac rehabilitation: a review and framework for development and evaluation.
        J. Am. Heart. Assoc. 2013; 2: e000568
        • Bradford N.
        • Armfield N.R.
        • Young J.
        • Smith A.C.
        The case for home based telehealth in pediatric palliative care: A systematic review.
        BMC Palliat. Care. 2013; 12: 4
        • Budrionis A.
        • Augestad K.M.
        • Patel H.R.
        • Bellika J.G.
        An evaluation framework for defining the contributions of telestration in surgical telementoring.
        Interact. J. Med. Res. 2013; 2: e14
        • Frueh B.C.
        • Deitsch S.E.
        • Santos A.B.
        • Gold P.B.
        • Johnson M.R.
        • Meisler N.
        • Magruder K.M.
        • Ballenger J.C.
        Procedural and methodological issues in telepsychiatry research and program development.
        Psychiatr. Serv. 2000; 51: 1522-1527
        • Hilty D.M.
        • Marks S.L.
        • Urness D.
        • Yellowlees P.M.
        • Nesbitt T.S.
        Clinical and educational telepsychiatry applications: a review.
        Can. J. Psychiatry. 2004; 49: 12-23
        • Huis in ’t Veld M.H.
        • van Dijk H.
        • Hermens H.J.
        • Vollenbroek-Hutten M.M.
        A systematic review of the methodology of telemedicine evaluation in patients with postural and movement disorders.
        J. Telemed. Telecare. 2006; 12: 289-297
        • Johansson T.
        • Wild C.
        Telemedicine in acute stroke management: systematic review.
        Int. J. Technol. Assess. Health Care. 2010; 26: 149-155
        • Kidholm K.
        • Ekeland A.G.
        • Jensen L.K.
        • Rasmussen J.
        • Pedersen C.D.
        • Bowes A.
        • Flottorp S.A.
        • Bech M.
        A model for assessment of telemedicine applications: Mast.
        Int. J. Technol. Assess. Health Care. 2012; 28: 44-51
        • Nepal S.
        • Li J.
        • Jang-Jaccard J.
        • Alem L.
        A framework for telehealth program evaluation.
        Telemed. J. E. Health. 2014; 20: 393-404
        • Puskin D.S.
        • Cohen Z.
        • Ferguson A.S.
        • Krupinski E.
        • Spaulding R.
        Implementation and evaluation of telehealth tools and technologies.
        Telemed. J. E. Health. 2010; 16: 96-102
        • Shore J.H.
        • Mishkind M.C.
        • Bernard J.
        • Doarn C.R.
        • Bell Jr., I.
        • Bhatla R.
        • Brooks E.
        • Caudill R.
        • Cohn E.R.
        • Delphin B.J.
        • Eppolito A.
        • Fortney J.
        • Friedl K.
        • Hirsch P.
        • Jordan P.J.
        • Kim T.J.
        • Luxton D.D.
        • Lynch M.D.
        • Maheu M.M.
        • McVeigh F.L.
        • Nelson E.L.
        • Officer C.
        • O’Neil P.T.
        • Roberts L.J.
        • Rye C.
        • Turvey C.
        • Vo A.
        A lexicon of assessment and outcome measures for telemental health.
        Telemed. J. E. Health. 2014; 20: 282-292
        • Ho B.
        • Lee M.
        • Armstrong A.W.
        Evaluation criteria for mobile teledermatology applications and comparison of major mobile teledermatology applications.
        Telemed. J. E. Health. 2013; 19: 678-682
        • Armstrong A.
        • Farbstein A.
        • Sanders C.
        • Wu G.
        Evaluation of store-and-forward teledermatology applications.
        J. Am. Acad. Dermatol. 2010; 62: AB11
        • Kahn J.M.
        • Hill N.S.
        • Lilly C.M.
        • Angus D.C.
        • Jacobi J.
        • Rubenfeld G.D.
        • Rothschild J.M.
        • Sales A.E.
        • Scales D.C.
        • Mathers J.A.
        The research agenda in ICU telemedicine: A statement from the critical care societies collaborative.
        Chest. 2011; 140: 230-238
        • Burghgraeve P.
        • De M.J.
        Improved methods for assessing information technology in primary health care and an example from telemedicine.
        J. Telemed. Telecare. 1995; 1: 157-164
        • Kumar S.
        • Nilsen W.J.
        • Abernethy A.
        • Atienza A.
        • Patrick K.
        • Pavel M.
        • Riley W.T.
        • Shar A.
        • Spring B.
        • Spruijt-Metz D.
        • Hedeker D.
        • Honavar V.
        • Kravitz R.
        • Lefebvre R.C.
        • Mohr D.C.
        • Murphy S.A.
        • Quinn C.
        • Shusterman V.
        • Swendeman D.
        Mobile health technology evaluation: the mHealth evidence workshop.
        Am. J. Prev. Med. 2013; 45: 228-236
        • Baker T.B.
        • Gustafson D.H.
        • Shaw B.
        • Hawkins R.
        • Pungree S.
        • Roberts L.
        • Strecher V.
        Relevance of CONSORT reporting criteria for research on eHealth interventions.
        Patient. Educ. Couns. 2010; 81: S77-S86
        • Bashur R.L.
        Telemedicine effects: cost, quality and access.
        J. Med. Syst. 1995; 19: 81-91
      4. A. Dattakumar, A unified approach for the evaluation of telehealth implementations in Australia, URL: http://networkedsociety.unimelb.edu.au/about/ibes/publications/2013/Evaluation-of-Telehealth-Implementations-in-Australia.pdf [Letzter Aufruf am: 19-01-2016].

        • DeLone W.
        • McLean E.
        The DeLone and McLean Model of Information Success: a ten-year update.
        J. Manage. Inform. Syst. 2003; 19: 9-30
        • Donabedian A.
        Exploration in quality assessment and monitoring.
        Health Administration Press, Ann Arbor1980
        • Donabedian A.
        An introduction to quality assurance in health care.
        University Press, Oxford2003
        • Drummond M.F.
        • Stoddart G.L.
        • Torrance G.W.
        Methods for the economic evaluation of health care programmes.
        University Press, Oxford1988
      5. eHealth-Initiative, Kriterienkatalog zur Unterstützung der gezielten Planung, Durchführung und Evaluation von telemedizinschen Projekten, URL: http://www.bmg.bund.de/fileadmin/dateien/Downloads/I/It_Gipfel_Telemedizin/Kriterienkatalog_Zukunftsprojekte_Telemedizin_121121.pdf [Letzter Aufruf am: 19-01-2016].

      6. EUnetHTA, HTA Core Model Handbook, URL: https://meka.thl.fi/htacore/HTACoreModel_Handbook_2014-04-08.pdf [Letzter Aufruf am: 19-01-2016].

        • Eysenbach G.
        • CONSORT-EHEALTH Group
        CONSORT-EHEALTH: improving and standardizing evaluation reports of web-based and mobile health interventions.
        J. Med. Internet Res. 2011; 13: e126
        • Eysenbach G.
        CONSORT-EHEALTH: implementation of a checklist for authors and editors to improve reporting of web-based and mobile randomized controlled trials.
        Stud. Health Technol. Inform. 2013; 192: 657-661
        • Garg V.
        • Brewer J.
        Telemedicine security: a systematic review.
        J. Diabetes Sci. Technol. 2011; 5: 768-777
        • Husereau D.
        • Drummond M.
        • Petrou S.
        • Carswell C.
        • Moher D.
        • Greenberg D.
        • Augustovski F.
        • Briggs A.H.
        • Mauskopf J.
        • Loder E.
        CHEERS Task Force, Consolidated Health Economic Evaluation Reporting Standards (CHEERS) statement.
        Int. J. Technol. Assess. Health Care. 2013; 29: 117-122
      7. K. Kidholm, Introduction to MAST, URL: www.mast-model.info/Presentations/kidholm%20MAST%20INTRO.ppt [Letzter Aufruf am: 19-01-2016].

        • Nykänen P.
        • Brender J.
        • Talmon J.
        • de Keizer N.
        • Rigby M.
        • Beuscart-Zephir M.C.
        • Ammenwerth E.
        Guideline for good evaluation practice in health informatics (GEP-HI).
        Int. J. Med. Inform. 2011; 80: 815-827
      8. REgioNs of Europe WorkINg toGether for HEALTH (RENEWING HeALTH), Final Report - Public. Version 1.5, URL: http://www.renewinghealth.eu/documents/28946/555381f3-9686-4955-8547-76b58be34a04 [Letzter Aufruf am: 19-01-2016].

        • Schmitt J.
        • Petzold T.
        • Eberlein-Gonska M.
        • Neugebauer E.
        Anforderungsprofil an Qualitätsindikatoren. Relevanz aktueller Entwicklungen der Outcomes Forschung für das Qualitätsmanagement [Requirements for quality indicators. The relevance of current developments in outcomes research for quality management].
        Z. Evid. Fortbild. Qual. Gesundh.wes. 2013; 107: 516-522
      9. R. Stockmann, Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren, URL: http://www.ceval.de/modx/fileadmin/user_upload/PDFs/workpaper9.pdf [Letzter Aufruf am: 19-01-2016].

        • Talmon J.
        • Ammenwerth E.
        • Brender J.
        • de Keizer N.
        • Nykänen P.
        • Rigby M.
        STARE-HI—Statement on reporting of evaluation studies in health informatics.
        Int. J. Med. Inform. 2009; 78: 1-9
      10. The Lancet, Research: increasing value, reducing waste. Online series., URL: http://www.thelancet.com/series/research [Letzter Aufruf am: 19-01-2016].

        • Nilsen W.
        • Kumar S.
        • Shar A.
        • Varoquiers C.
        • Wiley T.
        • Riley W.T.
        • Pavel M.
        • Atienza A.A.
        Advancing the science of mHealth.
        J. Health. Commun. 2012; 17: S5-S10
        • Levac D.
        • Colquhoun H.
        • O’Brien K.K.
        Scoping studies: advancing the methodology.
        Implement. Sci. 2010; 5: 69
      11. Gemeinsamer Bundesausschuss (GBA), Extraktionsbogen für systematische Übersichten, Metaanalysen und HTA-Berichte, URL: https://www.g-ba.de/downloads/40-268-562/AMR-MP-Extraktionsbogen.pdf [Letzter Aufruf am: 19-01-2016].

      12. Ärztliches Zentrum für Qualität in der Medizin, Konsensusverfahren, URL: http://www.leitlinien.de/leitlinienmethodik/leitlinien-glossar/glossar/konsensusverfahren [Letzter Aufruf am: 19-01-2016]

        • Murphy M.K.
        • Black N.A.
        • Lamping D.L.
        • McKee C.M.
        • Sanderson C.
        • Askham J.
        • Marteau T.
        Consensus development methods, and their use in clinical guideline development.
        Health. Technol. Assess. 1998; 2 (i-iv,1-88)
      13. Centers for Disease Control and Prevention, Gaining consensus among stakeholders through the nominal group technique, URL: http://www.cdc.gov/healthyyouth/evaluation/pdf/brief7.pdf [Letzter Aufruf am: 19-01-2016].

      14. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., AWMF-Regelwerk Leitlinien: Strukturierte Konsensfindung, URL: http://www.awmf.org/leitlinien/awmf-regelwerk/ll-entwicklung/awmf-regelwerk-03-leitlinienentwicklung/ll-entwicklung-strukturierte-konsensfindung.html [Letzter Aufruf am: 19-01-2016].

      15. Bundesärztekammer (BÄK), Kassenärztliche Bundesvereinigung (KBV), Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e. V. (AWMF) e. V., Programm für Nationale VersorgungsLeitlinien: Methoden-Report, 4. Auflage, URL: http://www.leitlinien.de/mdb/downloads/nvl/methodik/mr-aufl-4-version-1.pdf/@@download/file/NVL_MethReport_Aufl 4_1.0_120815.pdf [Letzter Aufruf am: 19-01-2016].

      16. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., Erarbeitung von Leitlinien für Diagnostik und Therapie: Methodische Empfehlungen, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/Werkzeuge/Publikationen/methoden.pdf [Letzter Aufruf am: 19-01-2016].

      17. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) e.V., Ständige Kommission Leitlinien, AWMF-Regelwerk „Leitlinien“, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/AWMF-Regelwerk/AWMF-Regelwerk.pdf [Letzter Aufruf am: 19-01-2016].

      18. Robert Koch Institut, Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit (Hrsg): Evaluation komplexer Interventionsprogramme in der Prävention: Lernende Systeme, lehrreiche Systeme? RKI, Berlin, 2012.

      19. Bundesärztekammer (BÄK), Arbeitskreis ”Versorgungsforschung“ beim wissenschaftlichen Beirat, Definition und Abgrenzung der Versorgungsforschung, URL: http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/Definition.pdf [Letzter Aufruf am: 19-01-2016].

        • Selbmann H.K.
        • Kopp I.
        Implementierung von Leitlinien in den Versorgungsalltag.
        Die Psychatrie. 2005; 2: 33-38
        • Schmitt J.
        • Petzold T.
        • Nellessen-Martens G.
        • Pfaff H.
        Priorisierung und Konsentierung von Begutachtungs-, Förder- und Evaluationskriterien für Projekte aus dem Innovationsfonds: Eine multiperspektivische Delphi-Studie [Prioritization and consentation of criteria for the appraisal, funding and evaluation of projects from the German Innovationsfonds: A multi-perspective delphi study].
        Gesundheitswesen. 2015; 77: 570-579
      20. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V.(AWMF) e.V., Formale Konsensfindungstechniken, URL: http://www.awmf.org/fileadmin/user_upload/Leitlinien/AWMF-Regelwerk/Anhaenge/Anhang_08_Formale_Konsensfindungstechniken.pdf [Letzter Aufruf am: 19-01-2016].

        • Mishkind M.C.
        • Doarn C.R.
        • Bernard J.
        • Shore J.H.
        The use of collaboration science to define consensus outcome measures: a telemental health case study.
        Telemed. J. E. Health. 2013; 19: 455-459