If you don't remember your password, you can reset it by entering your email address and clicking the Reset Password button. You will then receive an email that contains a secure link for resetting your password
If the address matches a valid account an email will be sent to __email__ with instructions for resetting your password
Korrespondenzadresse. Dr. Saskia Veronika Pante. Kompetenzzentrum für Prüfungen in der Medizin, Medizinische Fakultät Heidelberg, Im Neuenheimer Feld 346, 69120 Heidelberg, Deutschland.
Prüfungen bilden ein zentrales Element des medizinischen Curriculums: Sie tragen maßgeblich zur Qualitätssicherung der ärztlichen Ausbildung und der späteren medizinischen Versorgung bei. Um den an Prüfungen gestellten hohen inhaltlichen, rechtlichen und organisatorischen Erwartungen gerecht zu werden, sind kontinuierliche Qualitätssicherungsmaßnahmen erforderlich. Ziel dieser Arbeit sind eine entsprechende Erfassung und Analyse der Qualitätssicherungsmaßnahmen an der Medizinischen Fakultät Heidelberg.
Methode
Untersucht wurden die für die Prüfungsqualität maßgeblichen Indikatoren – Adäquate Wahl der Prüfungsformate, Blueprint/Validität, Reliabilität und Notenverteilung, Feedback an Studierende, Konsequenzen aus Prüfungen – der fakultätsinternen Leistungsnachweise im dezentral organisierten Heidelberger Curriculum Medicinale (HeiCuMed). Zusätzlich wurden die Organisationsstrukturen im Prüfungsmanagement betrachtet. Hierfür wurden Befragungen mit Lehrkoordinator*innen, Studierenden und der technischen Prüfungsverwaltung durchgeführt.
Ergebnisse
Die Befragungen zeigen, dass die Qualitätsindikatoren im HeiCuMed bereits in vielen Bereichen erfüllt werden. Optimierungsbedarf besteht in den Kriterien „Adäquate Wahl der Prüfungsformate“, „Feedback an Studierende“ sowie in der Dokumentation des Prüfungsablaufs und Festlegung von Vertretungsregelungen.
Diskussion
Für die Etablierung zusätzlicher innovativer, praktisch-orientierter Prüfungsformate sind Schulungsangebote, statistische Auswertung und Begleitforschung von wesentlicher Bedeutung. Um die Feedbackgabe gegenüber Studierenden zu verbessern, sollten formative Leistungsabfragen verstärkt ins Curriculum integriert werden. Als Maßnahme für ein strukturiertes, qualitätsorientiertes Prüfungsmanagement ist es darüber hinaus hilfreich, anhand von Vorlagen den Prüfungsablauf und das zugeordnete Personal zu dokumentieren.
Schlussfolgerung
Insbesondere in einem dezentralen Prüfungsmanagement ist die interne Abstimmung der einzelnen Fachbereiche von großer Bedeutung, um die Qualität von Prüfungen zu gewährleisten. Turnusmäßige Befragungen der beteiligten Akteure können dies unterstützen, indem Best-Practice-Beispiele gesammelt und in Handreichungen zum fächerübergreifenden Austausch aufbereitet werden.
Abstract
Introduction
Examinations are a central element of the medical curriculum: they contribute significantly to the quality assurance of medical training and subsequent medical care. In order to meet the high expectations placed on examinations in terms of content, legal and organizational aspects, continuous quality assurance measures are necessary. The aim of this paper was to record and analyze the quality assurance measures implemented at the medical faculty of Heidelberg.
Methods
We investigated quality indicators that are relevant to medical examinations – adequate choice of examination formats, blueprint/validity, reliability and distribution of grades, feedback to students, consequences of examinations – within the faculty examinations in the decentrally organized Heidelberg Curriculum Medicinale (HeiCuMed). In addition, the organizational structures in examination management were examined. For this purpose, interviews were conducted with teaching staff, students and the technical examination administration.
Results
The surveys show that the quality indicators in HeiCuMed have already been met in many areas. Optimization work remains to be done concerning the criteria “adequate choice of examination formats”, “feedback to students” as well as the documentation of the examination process and the definition of substitution regulations.
Discussion
Training courses, statistical analysis and accompanying research are essential for establishing additional innovative, practice-oriented examination formats. In order to improve feedback to students, formative assessments should be more intensively integrated into the curriculum. As a measure for structured quality-oriented examination management, it is also helpful to document the examination procedure and the staff assigned to it using templates.
Conclusion
Especially with decentralized examination management, the internal coordination of individual departments is of great importance in order to guarantee the quality of examinations. Regular surveys of the parties involved can be of support by collecting best-practice examples and deliver the respective information in handouts encouraging interdisciplinary exchange.
Die Durchführung von Prüfungen gehört zu den zentralen Elementen jedes medizinischen Curriculums und unterliegt hohen inhaltlichen, rechtlichen und organisatorischen Qualitätsansprüchen [
Wissenschaftsrat Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge Drs. 4017-14.
]. Zunächst benötigen Studierende eine verlässliche Rückmeldung, ob sie sich die für den aktuellen Studienabschnitt erforderlichen Kenntnisse und Fertigkeiten angeeignet und eine hinreichende Grundlage für die erfolgreiche Fortsetzung des Studiums sowie Vorbereitung auf das Staatsexamen erworben haben. Weiterhin sind Prüfungsergebnisse bedeutsam für die spätere Berufswahl und Karriere [
]. In der Medizin sind Prüfungen darüber hinaus relevant, da sich die Qualitätssicherung der ärztlichen Ausbildung maßgeblich auf die Qualität der medizinischen Versorgung und die Patientensicherheit auswirkt. Fakultätsinterne Prüfungen besitzen dabei eine zentrale Funktion, da sie im Gegensatz zum Staatsexamen kontinuierlich sowie spezifischer und umfassender die Leistungen in den einzelnen Fächern bewerten.
Entwicklung von Qualitätsindikatoren für medizinische Prüfungen
Mit der Ärztlichen Approbationsordnung 2002 (ÄApprO 2002, [
]) rückten die fakultätsinternen Prüfungen verstärkt in den Fokus der medizinischen Ausbildung. Den Fakultäten obliegt die Verantwortung zur Durchführung valider und praxisorientierter Prüfungen in Form von ursprünglich 39 benoteten Leistungsnachweisen, verbunden mit der Aufforderung ein adäquates System zur Qualitätssicherung zu etablieren [
]. So ist das ‚Kompetenzzentrum für Prüfungen in der Medizin‘ (KomPMed) an der Medizinischen Fakultät Heidelberg u. a. mit Entwicklung und Evaluation von Prüfungsformaten betraut.
Der Ausschuss Prüfungen der Gesellschaft für Medizinische Ausbildung (GMA) veröffentlichte 2008 gemeinsam mit dem KomPMed eine ‚Leitlinie‘ für fakultätsinterne Leistungsnachweise [
Gesellschaft für Medizinische Ausbildung, G-AP, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer (Korrespondenzautor) MR Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinsstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg.
Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg.
]. Diese Studien zeigten, dass durch die Anforderungen der ÄApprO deutliche Veränderungen in Richtung qualitativ hochwertiger Prüfungsdurchführungen angestoßen wurden. Unterstützt wurde dies auch durch die Einführung der Prüfungssoftware ItemManagementSystem (IMS) des Prüfungsverbunds UCAN [
Realisation of the guidelines for faculty-internal exams at the Department of General Medicine at the University of Munich: Pushing medical exams one step ahead with IMSm.
]. Demgegenüber waren strukturierte Review-Prozesse bei der Vor- und Nachbereitung von Prüfungen sowie die Qualifizierung von Prüfungsverantwortlichen noch nicht hinreichend etabliert [
Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg.
]. Seitens der GMA und des Medizinischen Fakultätentags (MFT) wurden aktualisierte Empfehlungen für fakultätsinterne Leistungsnachweise veröffentlicht [
Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human- Zahn- und Tiermedizin.
]. Vom GMA-Ausschuss für Prüfungen, dem Ausschuss Prüfungen des MFT, dem BMBF-Verbundprojekt MERLIN und den Partnern des Prüfungsverbunds UCAN wurden diese Empfehlungen zu folgenden Qualitätsindikatoren für medizinische Prüfungen zusammengefasst, welche als Kernkriterien zur objektiven und ergebnisorientierten Beurteilung von Leistungsmessungen dienen sollen:
(i) Adäquate Wahl der Prüfungsformate
So sind z. B. praktische und kommunikative Fertigkeiten durch entsprechende praktische Prüfungen (z. B. OSCEs) zu erfassen. Fähigkeiten, die das Arbeiten in einem Team oder professionelles Verhalten betreffen, bedingen die Verwendung arbeitsplatzbasierter Prüfungsformate.
(ii) Blueprint/Validität
Die Verwendung eines Blueprints sichert die Repräsentativität der Fragen einer Prüfung gegenüber den zu vermittelnden Lernzielen und damit die Validität der Prüfung.
(iii) Reliabilität und Notenverteilung
Als Maß für die Zuverlässigkeit oder „Reproduzierbarkeit“ der Prüfungsergebnisse wird die Reliabilität verwendet [
]. Weiterhin wird für den Qualitätsindikator eine differenzierende Notenverteilung herangezogen.
(iv) Feedback an Studierende
Darunter wird eine konsequente und möglichst detaillierte Rückmeldung der Prüfungsleistungen an die Studierenden verstanden. Diese sollte möglichst Informationen zu den absoluten Anforderungen in Relation zu den anderen Prüfungsteilnehmenden sowie im individuellen Längsschnitt enthalten.
(v) Konsequenzen aus Prüfungen
Überprüft wird das Vorhandensein eines strukturierten Rückmeldeprozesses der Prüfungsergebnisse an Dozierende, Fachverantwortliche und Curriculumsentwickler*innen, welcher zu einer Anpassung des Prüfungsinhalts oder verbesserten Koordination der Lehrveranstaltungen führen kann.
(vi) Zusätzliches Qualitätskriterium ‚Organisation und Ablauf‘
Wie in den Empfehlungen für fakultätsinterne Leistungsnachweise [
Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human- Zahn- und Tiermedizin.
]. Mit ihnen soll sichergestellt werden, dass der Prüfungsablauf so strukturiert und effizient wie möglich erfolgen kann. Für eine umfassende Bewertung der Qualitätsorientierung im HeiCuMed wurde daher der Aspekt „Organisation und Ablauf“ im Vorfeld als zusätzlicher Indikator generiert und in den Interviews abgefragt. Die dabei verwendeten Fragen resultieren vornehmlich aus Erfahrungen in der langjährigen Zusammenarbeit des KomPMed mit Prüfungssekretariaten und -verwaltung sowie Lehrkoordinator*innen.
Rahmenbedingungen des Heidelberger Curriculum Medicinale (HeiCuMed)
Als Reaktion auf die Anforderungen der neuen ÄApprO wurde 2002 an der Medizinischen Fakultät Heidelberg das Curriculum ‚HeiCuMed‘ etabliert [
]. HeiCuMed ist ein themenzentriertes, modulares Kursrotationsprogramm, das sich aus fünf Themenblöcken zusammensetzt, die Fächer und Querschnittsbereiche beinhalten. Die Studierenden durchlaufen in kleinen Gruppen von 25 bis 40 Personen Module, die mehrmals jährlich angeboten werden. In internen Evaluationen erhielt das neue Curriculum von den Studierenden einen hohen Zuspruch [
]. Das Prüfungssystem ist im HeiCuMed entsprechend der modularen Struktur dezentral organisiert. So werden Prüfungsformate und -formen von den Lehrkoordinator*innen selbst bestimmt. Für ca. 80 % der schriftlichen und mündlich-praktischen Prüfungen erfolgt die technische Vorbereitung und Durchführung durch die zentrale technische Prüfungsverwaltung und die Auswertung durch das KomPMed. Statistisch auffällige Aufgaben werden an die Prüfungsverantwortlichen zurückgemeldet [
Gegenwärtig fehlen Informationen über die Umsetzung und Weiterentwicklung der Qualitätsindikatoren für medizinische Prüfungen in der Praxis. Aus diesem Grund wurden in der vorliegenden Arbeit alle am Prüfungsmanagement im HeiCuMed beteiligten Akteure zur Anwendung der Qualitätsindikatoren und ihrer Umsetzung in der Prüfungsorganisation befragt. Außerdem dient die Studie dazu, die Indikatoren weiterzuentwickeln und über die Implementierungsphase hinaus mit Hilfe von Handreichungen und Vorlagen im HeiCuMed zu verstetigen. Das Vorgehen kann anderen Fakultäten als Orientierung dienen, das eigene Prüfungsmanagement zu evaluieren und zu optimieren.
Projektbeschreibung
Auf Basis der Qualitätsindikatoren für medizinische Prüfungen wurden Fragebögen für die Lehrkoordinator*innen (Lehrende und Lehrsekretariate) und für die technische Prüfungsverwaltung entwickelt (Appendix A, Anhang I und III). Die Fragebögen enthielten offene, halboffene sowie geschlossene Fragen. Durch diese Kombination konnte ein möglichst detaillierter Einblick in das Prüfungsgeschehen erhalten und Vergleichbarkeit zwischen Fächern gewährleistet werden. Mit elf Lehrkoordinator*innen aus unterschiedlichen Studienabschnitten wurde ein repräsentativer Querschnitt der Fächer im HeiCuMed abgebildet. Von diesen Personen wurden in persönlichen Interviews Informationen zu Inhalt, Ablauf und Struktur ihrer Prüfungen gesammelt. Die vier Verantwortlichen der technischen Prüfungsverwaltung wurden in einem Gruppengespräch interviewt.
Elf Heidelberger Studierende des 2. bis 8. Semesters sowie zwei Alumni wurden zum Thema Prüfungen im HeiCuMed befragt. Diese 13 Personen (fortan als „Studierende“ zusammengefasst) wurden aus dem Team des studentischen kompetenzorientierten Progresstests [
Studentischer kompetenzorientierter Progresstest [Internet]. Heidelberg: Kompetenzzentrum für Prüfungen in der Medizin, Baden-Württemberg; Available from: https://www.komp-pt.de/. Accessed: Oct 13, 2020.
] rekrutiert und beschäftigen sich schon seit mehreren Jahren intensiv mit dem Prüfungssystem in der Medizin. Die befragten Studierenden haben daher zum einen eigene praktische Erfahrungen mit den Prüfungen und deren Organisation gemacht. Zum anderen sind sie durch ihre Vorkenntnisse in der Lage, das Heidelberger Prüfungssystem auch über den reinen Prüfungsinhalt hinaus umfassend zu reflektieren. Im Unterschied zu den persönlich geführten Interviews mit den Universitätsangehörigen wurde die Befragung der Studierenden online mit dem Umfragetool LimeSurvey durchgeführt. Dadurch wurde der Neigung der Studierenden zu zeitlich flexiblen Befragungsformaten entgegengekommen. Offene Fragen und Kommentarfunktion gaben dabei ausreichend Raum für persönliche Eindrücke und Erfahrungen der Befragten (Appendix A, Anhang II).
Die Befragungen erfolgten von November 2016 bis April 2018. Die Auswertung erfolgte qualitativ auf Basis einer zusammenfassenden Inhaltsanalyse mit nachfolgender Kategorisierung [
Scribbr BV. Die qualitative Inhaltsanalyse nach Mayring für die Bachelorarbeit nutzen [Internet]; Amsterdam; Available from: https://www.scribbr.de/methodik/qualitative-inhaltsanalyse/Accessed: Oct 13, 2020.
], indem die Umsetzung jedes Qualitätsindikators anhand der Angaben der Befragten als „Erfolgt“, „Erfolgt unter Einschränkungen“ und „Erfolgt noch nicht“ eingestuft wurde. Eine Aufnahme von Einzelantworten in die detaillierte Ergebnisdarstellung erfolgte bei Mehrfachnennung oder falls Aspekte – nach Einschätzung der Autor*innen entsprechend ihrer langjährigen Erfahrung im KomPMed – als für die zukünftige Ausgestaltung der Prüfungsorganisation relevant zu beurteilen waren. Darüber hinaus wurden konkrete Hinweise und Best-Practice-Beispiele fachbezogen aggregiert gesammelt, um dies den entsprechenden Lehrkoordinator*innen rückmelden zu können. Eine quantitative Auswertung war aufgrund der geringen Stichprobengröße nicht zielführend. Auf Basis der Ergebnisse wurden Handreichungen und Vorlagen zu den Themen Prüfungsorganisation sowie Prüfungsinformationen für Studierende etc. erstellt (s. u.).
Ergebnisse
Im Folgenden sind die wichtigsten Erkenntnisse der Befragungen gegliedert nach den Qualitätsindikatoren für medizinische Prüfungen zusammengefasst.
Adäquate Auswahl der Prüfungsformate
Nach Angaben der Lehrkoordinator*innen dominieren im HeiCuMed nach wie vor MC-Fragen vom Typ A in schriftlichen Prüfungen: Alle der elf befragten Fächer nutzen Typ A-Fragen, wohingegen seltener PickN und LongMenu (5 aus 11), Key-Feature (4 aus 11) und Kprim (3 aus 11) eingesetzt werden. Zur Leistungsabfrage praktischer Fertigkeiten werden in sechs Fächern ein OSCE und in zwei Fächern ein Mini-CEX verwendet. Zwei Fächer führen strukturierte mündliche Prüfungen durch. Die Verwendung weiterer Prüfungsformate in individualisierter oder praktischer Form wird unter den Lehrkoordinator*innen diskutiert, jedoch stellen logistische Anforderungen, fehlende personelle Ressourcen und die große Studierendenanzahl limitierende Faktoren dar. Die Studierenden sprechen sich für eine Kombination möglichst verschiedener, jeweils dem Lernziel angemessener Frageformate in schriftlichen Prüfungen aus. So weisen MC-Fragen ihrer Meinung nach eine hohe Objektivität auf und ermöglichen die gezielte Abfrage theoretischen Wissens. Um Qualität und Zweckmäßigkeit zu gewährleisten, regen die Studierenden an, dass MC-Fragen ein zentrales Review-Verfahren durchlaufen und nicht mehr als 50 % des Leistungsnachweises je Fach ausmachen. Für formative Prüfungen seien außerdem Situational-Judgement-Test (SJT)-Fragen gut geeignet. Durch sie könnten soziale Kompetenzen sowie ethische und moralische Problemstellungen intensiver ins Curriculum integriert werden.
Blueprint/Validität
Die meisten Fächer des HeiCuMed verwenden Blueprints als Vorlagen für die Prüfungserstellung. Den 2015 verabschiedeten Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM, [
Finally finished! National competence based catalogues of learning objectives for undergraduate medical education (NKLM) and dental education (NKLZ) ready for trial.
]) nutzen die Lehrkoordinator*innen nach eigenen Angaben bisher eher selten. Bevorzugt basieren die Blueprints auf dem internen Lernzielkatalog der Medizinischen Fakultät Heidelberg. Eine Begutachtung der Aufgaben, der die inhaltliche Relevanz sicherstellt, ist der Regelfall.
Reliabilität und Notenverteilung
Bei dem Post-Review von Prüfungen nutzen die Lehrkoordinator*innen auf Ebene der einzelnen Fragen die vom KomPMed an sie zurückgemeldeten teststatistischen Gütemaße [
] sowie bei OSCEs zusätzlich die ‚Punkteverteilung für Prüfer*innen‘ (Vergleich der Lage- und Streuung der von unterschiedlichen Prüfer*innen bei derselben Station vergebenen Punktzahlen). Auf Ebene der gesamten Prüfung werden neben dem klassischen Gütekriterium der Reliabilität zudem Notenverteilung sowie Durchfallquote betrachtet.
Feedback an Studierende
Im HeiCuMed informieren die Lehrkoordinator*innen die Studierenden über ihre Prüfungsergebnisse in der Regel in Form einer (aggregierten) Punktzahl und Note. Punktranglisten, welche den Studierenden eine Rückmeldung zu ihrer relativen Leistung – d. h. im Vergleich zu ihren Kommiliton*innen – ermöglichen, werden für einzelne Prüfungen und Fächer erstellt. Die Studierenden befürworten eine differenziertere Rückmeldung zu ihren Ergebnissen in schriftlichen Prüfungen sowie ein Feedback zu ihrem Wissen und Handeln in OSCE-Prüfungen. Die Möglichkeit durch formative Formate den Studierenden eine Rückmeldung zu ihrer Leistung zu geben, nutzen einige Fächer. Nach Angaben der Lehrkoordinator*innen werden hierfür das Anfertigen von Protokollen, die mündliche Mitteilung einer möglichen Note während eines Praktikums oder das TED-System in der Vorlesung genutzt. Die Studierenden würden eine Zunahme von formativen Prüfungen begrüßen, um konstantes Lernen zu fördern und die individuellen Schwächen transparent zu machen. Für praktische Lehreinheiten wird dies, ihrer Einschätzung nach, u. a. durch Bedside-Teaching und Begegnungskarten bereits sehr gut umgesetzt. Die Zunahme formativer OSCE-Prüfungen würden die 13 befragten Studierenden sehr befürworten.
Konsequenzen aus Prüfungen
Die Lehrkoordinator*innen berichteten, dass die Ergebnisse der statistischen Prüfungsauswertung im Post-Review-Prozess vielfach zur Anpassung der Lehre und dementsprechend auch der Prüfungsfragen führen. Bisher existiert jedoch kein strukturiertes Vorgehen bei der Kommunikation und Dokumentation von fehlerhaften Fragen im IMS. Spezifische Prüfungsevaluationen werden in Heidelberg bisher nicht durchgeführt, stattdessen sind allgemeine Aspekte zu Prüfungen in die internen Evaluationen aufgenommen. Die befragten Studierenden würden sich diesbezüglich detailliertere Evaluationen wünschen, die idealerweise im Anschluss an die jeweilige Prüfung stattfinden. Dabei müsse jedoch sichergestellt sein, dass Konsequenzen aus den Evaluationen gezogen werden.
Organisation und Ablauf
Durch die dezentrale Struktur des HeiCuMed ist das Prüfungsmanagement in den Fächern individuell gelöst. Alle befragten Lehrkoordinator*innen konnten etablierte Organisationsstrukturen vorweisen, die einen geregelten Prüfungsablauf gewährleisten. Unterschiede lassen sich vor allem zwischen großen und kleinen Fächern, beispielsweise hinsichtlich der Regularien zur Prüfungsanmeldung oder der Kontrolle der Teilnehmenden bei schriftlichen Prüfungen, verzeichnen. Die Befragung der technischen Prüfungsverwaltung ergab, dass PC-basierte Prüfungen gegenüber papierbasierten die an der Prüfungsorganisation beteiligten Mitarbeiter*innen aufgrund des geringeren Verwaltungsaufwands deutlich entlasten und eine effiziente Ressourcennutzung ermöglichen. Einschränkende Faktoren sind räumliche Kapazitäten und zu wenig Fachpersonal. Die befragten Studierenden äußern sich ebenfalls positiv zum Einsatz PC-basierter Prüfungen; ein Mehrwert bestehe besonders dann, wenn in den Prüfungen Fragentypen wie Key-Feature, Videos oder LongMenu integriert werden.
Insgesamt ergab die Befragung zu diesem Kriterium, dass Optimierungspotenzial in der detaillierten Dokumentation der Prüfungstätigkeiten und der Festlegung von Vertretungsregelungen besteht. Außerdem erfolgt die Informationsweitergabe zu den Prüfungsmodalitäten für Studierende bisher nicht einheitlich und systematisch.
Erstellung von Handreichungen, Vorlagen, Informationsmaterialien
Zur Verbesserung des Prüfungsmanagements im HeiCuMed wurden aufbauend auf den Befragungsergebnissen und bereits bestehenden Materialien Handreichungen, Vorlagen und Informationsmaterialien entwickelt. Diese Vorlagen wurden auf Kongressen präsentiert [
Zur Etablierung von Qualitätssicherungsprozessen in dezentralen Prüfungssystemen Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Münster, 20.-23.09.2017.
German Medical Science GMS Publishing House;,
Düsseldorf2017
Qualitätsindikatoren für medizinische Prüfungen – so kommen sie zum Einsatz [Bericht über Entwicklungsprozess] Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018.
German Medical Science GMS Publishing House;,
Düsseldorf2018
] und im Rahmen eines fakultätsübergreifenden Workshops zum Thema Qualitätssicherung fakultätsinterner Prüfungen einem Review-Prozess unterzogen und anschließend überarbeitet. Die Dokumente können von den zuständigen Personen im HeiCuMed hinsichtlich Praktikabilität und Vollständigkeit individuell angepasst werden (Tabelle 1).
Tabelle 1Die im Rahmen des Projekts erstellten Handreichungen, Vorlagen und Informationsmaterialien für eine strukturierte Prüfungsdurchführung.
Dokument
Inhalt/Funktion
Zielgruppe
Zeitpunkt Nutzung
Übersichtsdiagramme zum Prüfungsablauf
Zusammenfassung der Interaktion und Kommunikationsstrukturen aller beteiligten Instanzen
Alle Beteiligten
Übergeordnet
Prüfungskalender
Kalendarische Darstellung aller von der Prüfungsverwaltung und dem Kompetenzzentrum betreuten Prüfungen zur Verdeutlichung der hoch frequentierten Zeiten
Kompetenzzentrum für Prüfungen/ techn. Prüfungsverwaltung
Übergeordnet
Technische und administrative Hinweise
Fristen und Vorgaben für die Prüfungsdurchführung in Zusammenarbeit mit der technischen Prüfungsverwaltung
Lehrkoordinator*innen
Übergeordnet
Handout mit Prüfungsinformationen für Studierende
Allgemeine Angaben zur schriftlichen Prüfung im jeweiligen Fach/Modul, Voraussetzungen für die Prüfungszulassung, Anmeldeverfahren, Prüfungsablauf, Ansprechperson
Lehrkoordinator*innen/ Studierende
Beginn der Lehreinheit
Checkliste zur Prüfungsorganisation
Checkliste zu den einzelnen Schritten der Prüfungsvorbereitung mit Zeitrahmen und Angabe der verantwortlichen Personen
Lehrkoordinator*innen
Während der Lehreinheit
Fächerspezifische Kontaktliste
Liste der Ansprechpartner*innen der jeweiligen Fächer zum Austausch technischer Vorgänge im Vorfeld der Prüfung und Mitteilung der Itemstatistik mit ggf. folgender Anpassung der Fragen nach der Prüfung
Kompetenzzentrum für Prüfungen/ techn. Prüfungsverwaltung
Vor und nach der Prüfung
Hinweisblatt Prüfungsaufsicht
Abläufe und Verhaltensvorgaben für die Aufsicht während der Prüfung
Prüfungsaufsicht
Beginn der Prüfung
Prüfungsprotokoll
Protokollvorlage mit Information über zu dokumentierende Vorfälle zur rechtlichen Absicherung
Prüfungsaufsicht
Beginn der Prüfung
Merkblatt Bestehensgrenze
Information zur Gleitklausel mit Empfehlung zum Umgang mit Einsprüchen von Studierenden bezüglich der Bestehensgrenze
Lehrkoordinator*innen
Nach der Prüfung
Anleitung zur Prüfungsauswertung mit Examinator
Dokumentation allgemeiner und fachspezifischer Vorgehensweisen
Die befragten Gruppen erhielten zusätzlich einen detaillierten Bericht zu den Ergebnissen der Befragung, in dem explizit auf die Verwendung der verschiedenen Prüfungsformate und Fragetypen in den Fächern und deren Bewertung durch die befragten Studierenden eingegangen wird. Hierfür wurden die Antworten der Studierenden zusätzlich auch graphisch aufbereitet (Abbildung 1).
Abbildung 1Auswahl der Ergebnisse der Befragung Studierender zu Prüfungsablauf und –inhalt im HeiCuMed (n = 13).
Die Einführung der ÄApprO im Jahr 2002 führte dazu, dass an vielen medizinischen Fakultäten in Deutschland das Prüfungssystem hinsichtlich qualitätsorientierter Aspekte evaluiert und weiterentwickelt wurde [
Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg.
Realisation of the guidelines for faculty-internal exams at the Department of General Medicine at the University of Munich: Pushing medical exams one step ahead with IMSm.
]. Für dieses Change Management sind Kernkriterien, nach denen die Prüfungen bewertet werden, unabdingbar. Für die vorliegende Untersuchung wurden die Kriterien (i) Adäquate Wahl der Prüfungsformate, (ii) Blueprint/Validität, (iii) Reliabilität und Notenverteilung, (iv) Feedback an Studierende, (v) Konsequenzen aus Prüfungen und (vi) Organisation und Ablauf verwendet, um die Qualität der fakultätsinternen Prüfungen im HeiCuMed zu evaluieren. Dabei zeigte sich Verbesserungspotenzial bei den Kriterien „Adäquate Wahl der Prüfungsformate“, „Feedback an Studierende“ sowie „Organisation und Ablauf“.
Kriterium Adäquate Wahl der Prüfungsformate
Um Ärztinnen und Ärzte kompetenzbasiert auszubilden, ist ein variantenreiches Prüfungscurriculum notwendig [
] sehr beliebt und dominieren auch im HeiCuMed in schriftlichen Prüfungen. Wie in der hier präsentierten Befragung sehen auch anderorts die Studierenden durchaus die Vorteile dieses Frageformats, wünschen sich aber insgesamt ausgewogene und sinnvoll eingesetzte Formate [
Praxisrelevant prüfen Qualität sichern – Key Feature-Fragen im Heidelberger Curriculum Medicinale. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL). Frankfurt am Main, 25.-28.09.2019..
German Medical Science GMS Publishing House;,
Düsseldorf2019
] werden zukünftig auch weitere Anstrengungen nötig sein, um das Spektrum an innovativen und praktisch-orientierten Prüfungs- bzw. Prüfungsfragen-Formaten auszubauen. Dabei müssen logistische Anforderungen berücksichtigt und ausreichend zeitlicher Vorlauf sichergestellt werden. So ist beispielsweise für die Etablierung von Key-Feature-Fragen in fakultären Prüfungen, ein Schulungskonzept zur Erstellung solcher Fragen und eine statistische Evaluation nach Prüfungsdurchführung zielführend [
Rückmeldungen beschränken sich bisher größtenteils auf summative Prüfungen und individuelle Kennzahlen wie Note und erreichte Punktzahl; in einzelnen Fällen werden auch relative Leistungsinformationen wie Prozentränge ausgewiesen. Selbst dieser insgesamt schlichten Form des Feedbacks stehen aktuelle Forderungen des Wissenschaftsrats zur Weiterentwicklung des Medizinstudiums und des Masterplans Medizinstudium 2020 gegenüber, die Notwendigkeit der Notenpflicht fakultätsinterner Leistungsnachweise zu prüfen [
Wissenschaftsrat Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge Drs. 4017-14.
]. Dies ist kritisch zu betrachten, da die alleinige Dokumentation des „Bestehens“ den Studierenden eher weniger Rückmeldung zu ihrer Leistung gibt. Die Ergebnisse zeigen, dass sich die Studierenden deutlich für den verstärkten Einsatz formativer Prüfungen aussprechen und sich ein differenziertes Feedback zu ihren Leistungen wünschen. Der gegenwärtige Stand der Ausbildungsforschung sieht formatives Feedback ebenfalls als einen wesentlichen Bestandteil von kompetenzorientierter Lehre und Prüfungen [
]. Daher sollte der Fokus künftig auf curriculare Maßnahmen gerichtet werden, welche die differenzierte Feedbackgabe im summativen und formativen Bereich fördern. Ein Beispiel hierfür ist in Heidelberg ein formativer OSCE in der Vorklinik mit vier Stationen zu grundlegenden klinischen Untersuchungen, bei dem die Studierenden von Tutor*innen ein Feedback zu ihrer Leistung erhalten [
]. Dies wird als besonders hilfreich eingeschätzt, insbesondere die Betreuung durch die Tutor*innen erfährt hierbei eine hohe Wertschätzung. An anderen Fakultäten wird untersucht, inwiefern eine kurze mündliche Rückmeldung zur Leistung in OSCE-Prüfungen per Audioaufnahme oder direkter Mitteilung an den Prüfling nach der Station zielführend ist. Hier zeigte sich bereits, dass die Studierenden das Feedback nachhaltig als hilfreich erachten, die Prüfer*innen jedoch entsprechend geschult werden müssen [
Feedback im summativen OSCE – Basler Erfahrungen 2017-2018 [Bericht über Entwicklungsprozess] Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018..
German Medical Science GMS Publishing House;,
Düsseldorf2018
16 Prüfungen: Wie nachhaltig ist ein direktes Feedback innerhalb der OSCE-Prüfung? Prospektive Untersuchung, ob ein direktes 1-Minuten-Feedback im unmittelbaren Anschluss an die Prüfungsleistung mittelfristig erinnert wird [Bericht über Forschungsergebnisse]. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018.
German Medical Science GMS Publishing House;,
Düsseldorf2018
Im HeiCuMed verfügen nicht alle befragten Fächer über ausformulierte Vertretungsregelungen und die Prüfungsabläufe sind nicht immer schriftlich dokumentiert. Das Vorliegen von dokumentierten Abläufen und Vertretungsregelungen ermöglicht auch in Sondersituationen außerhalb des Regelbetriebs und bei Neueinstellungen eine strukturierte Prüfungsdurchführung. Die Fachverantwortlichen wurden daher zur Nutzung der im Rahmen dieses Projekts erstellten Handreichungen und Vorlagen ermutigt.
Aufarbeitung der Ergebnisse
Bei der Datenerfassung und -bewertung der Befragungen wurde ein qualitativer Ansatz verfolgt [
Scribbr BV. Die qualitative Inhaltsanalyse nach Mayring für die Bachelorarbeit nutzen [Internet]; Amsterdam; Available from: https://www.scribbr.de/methodik/qualitative-inhaltsanalyse/Accessed: Oct 13, 2020.
]. In der Literatur wird auch diskutiert, zur Bewertung von Qualitätskriterien ein Ampelsystem anzuwenden, um die komplexen Prozesse des Prüfungsmanagements auf messbare Einheiten zu reduzieren und externe Vergleichbarkeit zu ermöglichen [
Müssen wir messen, um (noch) besser werden zu können? Die Bedeutung von Qualitätsindikatoren in strukturierten Behandlungsprogrammen und Qualitätsmanagement.
]. Allerdings ist die inhaltliche Aussagekraft solch bloß summarischen Bewertungen eingeschränkt. Die Ergebnisse der Studie zeigten, dass der persönliche Kontakt im Interview und eine qualitative Analyse der Daten hilfreich und sinnvoll sind. Fakultätsintern wurden die Resultate der qualitätsorientierten Erhebungen des Prüfungswesens durch einen detaillierten Bericht weitergegeben. Die darin enthaltenen Best-Practice-Beispiele können zum Austausch der Fächer untereinander anregen. Die Ergebnisse der Befragungen und die erstellten Dokumente werden im HeiCuMed außerdem in die Weiterentwicklung der Schulungen für Prüfer*innen einfließen, die maßgeblich zur Qualitätssicherung von Prüfungen beitragen können [
]. Die Maßnahmen für ein strukturiertes, qualitätsorientiertes Prüfungsmanagement sind insbesondere hilfreich für die anstehende Neuausrichtung der Lehr- und Prüfinhalte, welche im Masterplan Medizinstudium 2020 formuliert sind, und die auf frühe praxisorientierte und kompetenzbasierte Prüfungen abzielen [
]. Ebenso sollen valide Prüfungsformate entwickelt und implementiert werden, die kommunikative, interdisziplinäre und wissenschaftliche Aspekte standardisiert und aufeinander abgestimmt prüfen und die auf die geplante Umstrukturierung der Staatsexamina vorbereiten [
]. Ein solcher Austausch findet bereits statt im Rahmen von Projekten, Verbünden und Zusammenschlüssen wie der Medtalk Toolbox, dem IMS, dem MedizinDidaktikNetz oder dem GMA-Ausschuss für Prüfungen. Für die Zukunft gilt es, diesen Austausch fakultätsintern und fakultätsübergreifend weiter auszubauen.
Limitationen der Arbeit
Aufgrund der geringen Fallzahlen war eine repräsentative quantitative Auswertung der erhobenen Daten nicht zielführend, aber auch nicht intendiert. Vielmehr ist es das Ziel dieser Arbeit, ein repräsentatives Meinungsbild der Stakeholder im Heidelberger Prüfungsmanagement zu generieren und die Vorgehensweise anderen Fakultäten mit ähnlichen Bestrebungen zur Orientierung zu präsentieren.
Bislang wurde der Einsatz und Nutzen der erstellten Unterlagen zum Prüfungsmanagement (noch) nicht umfassend evaluiert. Dabei ist gewiss, dass das Prüfungsmanagement die Bereicherung mittels der erstellten Unterlagen nur durch deren Einsatz in der Praxis erfährt, welcher wiederum einer stetigen Evaluation und Optimierung unterliegen sollte („Plan-Do-Check-Act“-Zyklus, [
]). Dementsprechend steht das KomPMed in kontinuierlichem Austausch mit den Lehrkoordinator*innen um die Unterlagen einerseits weiter zu vervollständigen und andererseits deren Verwendung nachhaltig zu fördern.
Schlussfolgerung
Vor dem Hintergrund der anstehenden Reformprozesse kann eine derartige Studie dazu animieren, Inhalte und Ausgestaltung des fakultätsinternen Prüfungswesens auch unter Einbezug aktueller Ergebnisse der Ausbildungsforschung kritisch zu reflektieren und das Prüfungsmanagement mit Hilfe der Anregungen und Wünsche aller Beteiligten zu optimieren. Dabei ist der Austausch über Fächergrenzen hinweg und die Verbreitung von Best-Practice-Beispielen, insbesondere in dezentral angelegten Prüfungssystemen, sehr wertvoll. Entscheidend für die langfristige Qualitätssicherung fakultätsinterner Leistungsnachweise ist die Unterstützung der medizinischen Fakultäten in Form von personellen und finanziellen Ressourcen.
Förderung
Die Arbeit wurde im Rahmen eines Projekts der Medizinischen Fakultät Heidelberg aus der Sonderlinie Medizin des Ministeriums für Wissenschaft, Forschung und Kunst Baden-Württembergs (MWK) gefördert (F208873, C5).
Danksagung
Die Autoren bedanken sich bei allen Teilnehmenden der Befragungen, ohne deren Informationsbereitschaft diese Arbeit nicht hätte entstehen können.
Interessenkonflikt
Die Autor*innen erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.
Autorenschaft
Saskia V. Pante: Konzeptentwicklung, Durchführung, Verfassen des Originalentwurfs, Revision & Bearbeitung, Visualisierung. Andreas Fleig: Durchführung, Revision & Bearbeitung. Mirka Burkert: Durchführung, Revision & Bearbeitung. Roman Duelli: Revision & Bearbeitung, Projektadministration. Andreas Möltner: Konzeptentwicklung Revision & Bearbeitung, Supervision, Projektadministration, Fördermittelakquise.
Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge Drs. 4017-14.
Gesellschaft für Medizinische Ausbildung, G-AP, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer (Korrespondenzautor) MR
Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinsstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg.
Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg.
Realisation of the guidelines for faculty-internal exams at the Department of General Medicine at the University of Munich: Pushing medical exams one step ahead with IMSm.
Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human- Zahn- und Tiermedizin.
Studentischer kompetenzorientierter Progresstest [Internet]. Heidelberg: Kompetenzzentrum für Prüfungen in der Medizin, Baden-Württemberg; Available from: https://www.komp-pt.de/. Accessed: Oct 13, 2020.
Scribbr BV. Die qualitative Inhaltsanalyse nach Mayring für die Bachelorarbeit nutzen [Internet]; Amsterdam; Available from: https://www.scribbr.de/methodik/qualitative-inhaltsanalyse/Accessed: Oct 13, 2020.
Finally finished! National competence based catalogues of learning objectives for undergraduate medical education (NKLM) and dental education (NKLZ) ready for trial.
Zur Etablierung von Qualitätssicherungsprozessen in dezentralen Prüfungssystemen Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Münster, 20.-23.09.2017.
German Medical Science GMS Publishing House;,
Düsseldorf2017 (Doc098)
Qualitätsindikatoren für medizinische Prüfungen – so kommen sie zum Einsatz [Bericht über Entwicklungsprozess] Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018.
German Medical Science GMS Publishing House;,
Düsseldorf2018 (Doc42.2)
Praxisrelevant prüfen Qualität sichern – Key Feature-Fragen im Heidelberger Curriculum Medicinale. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL). Frankfurt am Main, 25.-28.09.2019..
German Medical Science GMS Publishing House;,
Düsseldorf2019 (DocV17-01. DOI: 10.3205/19gma128)
Feedback im summativen OSCE – Basler Erfahrungen 2017-2018 [Bericht über Entwicklungsprozess] Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018..
German Medical Science GMS Publishing House;,
Düsseldorf2018 (Doc15.3)
16 Prüfungen: Wie nachhaltig ist ein direktes Feedback innerhalb der OSCE-Prüfung? Prospektive Untersuchung, ob ein direktes 1-Minuten-Feedback im unmittelbaren Anschluss an die Prüfungsleistung mittelfristig erinnert wird [Bericht über Forschungsergebnisse]. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA); Wien, 19.-22.09.2018.
German Medical Science GMS Publishing House;,
Düsseldorf2018 (Doc15.4)
Müssen wir messen, um (noch) besser werden zu können? Die Bedeutung von Qualitätsindikatoren in strukturierten Behandlungsprogrammen und Qualitätsmanagement.
00037-4&id=gr1.jpg){kind=link}