close

Anmelden

Neues Passwort anfordern?

Anmeldung mit OpenID

"Was können wir aus den Prüfungsergebnissen lernen?"

EinbettenHerunterladen
"Was können wir aus den Prüfungsergebnissen lernen?"
Martin Lischka
Medizinische Universität Wien
26. April 2013
Workshop Facharztprüfungen
Basierend i.W. auf Van der Vleuten C P M:
The assessment of professional competence: developments, research and practical
implications, Advances in health sciences education 1: 471 – 67 (1996) Lessons learned in assessment, 2008
How to assess students‘ clinical performance, 2012; u.a.m.
(Zitate jeweils unter „ „ )
?
• Wie war die Leistung der KandidatInnen?
• Was können wir aus den Ergebnissen für die Lehre ableiten?
• Wie gut war die Prüfung? • Stichprobenplan
• Fragenentwürfe
• PRÄREVIEW
Ergebnis 2
?
Aufgaben
Pool
• lt. Stichprobenplan?
• Prüfungsdurchführung
• POSTREVIEW
Prüfung
• Berechtigung
• Information
• Instruktion
?
Kandidat
Innen
•standard. Bericht
•p, r
• Inhaltliches
• Diverse Kontrollen
(Vollständigkeit, Plausibilität)
• Kommentare
Datenerfassung
• Ergebnis „bestanden/nicht b.“
• Einsichtnahme bei Nichtbestehen
• (Teilergebnisse)
Ergebnis 1
Auswertung
• qualitativ (Kommentare), quantitativ:
•Key-validation
• item-Analyse (p, r)
• Gesamtprüfung (K.R.-21, α)
• bestanden / nicht bestanden
Standardbericht
Vergleich aktueller Fragenzahl, eliminierte Fragen, max, min, MW, mit letztem Termin SD, KR20, α
Technisches
Auswertung, Auffälliges
Problematische Fragen
Item‐ und Distraktorenanalyse (p, r)
Kommentare der Kandidaten
Konsequenzen
Fragenschwierigkeit Verteilung der Schwierigkeiten, Vergleich mit früheren Terminen
Fragenqualität
Anteil Anwendungsfragen, Anforderungsniveau
Teilgebiete
lt. BP
Bestehensgrenze
aktuell (und ggf. hypothetisch)
Kommentar
69 (340)
Ein Patient klagt seit einem Sturz auf die rechte Schulter vor 4 Monaten
über Schmerzen im Schultergelenk und Unmöglichkeit, den Arm über die Horizontale seitwärts zu heben, während passiv die Elevation mit
Leichtigkeit und ohne Schmerzen gelingt.
Woran leidet der Patient am wahrscheinlichsten?
A) Ruptur der langen Bizepssehne
B) Läsion des M.deltoideus
15% m=74,0 r=‐.22
12% m=79,3 r=.0
C) Ruptur der Rotatorenmanschette 69% m=80,6 r=.33
D) Läsion des Labrum glenoidale
E) Fraktur des Tuberculum minus
4% m=73,0 r=‐.11
Psychometrische Qualität
Auf item‐Ebene
•Routinemäßige Qualitätskontrollen: item –
Analyse (p, r, D; für RA und Distraktoren) und
Kommentare der KandidatInnen
„Was könnten die gedacht haben, die X geant‐
wortet haben?“
Auf Ebene des Gesamttests
•m, SD, M, Verteilung, kumulative Häufigkeiten,…
•Reliabilität (Cronbach α, Kuder‐Richardson)
Ausreißer, Bestehensgrenze, Wiederverwendung, „Verankerung“, Testteilergebnisse, Vergleiche …
Millers Pyramide (1990)
tun
zeigen wie
wissen wie
wissen
Performanz in vivo
?
Performanz in vitro
OSCE,
Simulationspatienten
Anw. im klin.Kontext
Fallbasierte Prüfungen,
Key Feature Fälle,
SMP, KAF, MC? !!
Wissen
SMP, KAF, MC
Millers Pyramide (1990)
tun
zeigen wie
wissen wie
wissen
Was haben wir auf dem Weg hinauf gelernt?
Von der Messung von „Wissen“ …
Welcher Befund der Blutgasanalyse ist bei Patienten mit kardiogenem Schock am wahrscheinlichsten?
A Hypoxaemie mit normalem pH
B Metabolische Azidose
C Metabolische Alkalose
D Respiratorische Azidose
E Respiratorische Alkalose
… zur Messung von „Know how“
Eine 74‐jährige Patientin wird mit vernichtendem Thoraxschmerz in die Notaufnahme gebracht. Sie ist unruhig, verwirrt und kaltschweissig. Temperatur 36.7 C, RR 80/40 mm Hg, Puls 90g/min. Während der nächsten Stunde wird sie zunehmend stuporös, RR 80/40 mm, Puls 120/min…………….. Im EKG Sinus‐
rhytmus und ausgeprägte ST‐Elevation durchgehend in V2 bis V6. Welcher Befund der Blutgasanalyse ist bei dieser Patienten am wahrscheinlichsten?
Assessment von Know how
•
•
tun
•
•
zeigen wie
wissen wie
wissen
•
•
„Case specificity“ – Sampling, ….
„Stimulus format more important
than response format“
einfache, auf kurzen Vignetten
basierende Formate am besten
Validität hängt ganz wesentlich von
der QS der items ab
(FA-)Kompetenz ist (gebiets)spezifisch, nicht allgemein …
„Assessment is as good as you are
prepared to put into it“
Was können wir aus den Prüfungsergebnissen lernen?
• Wie gut war die Prüfung? p, (r), Effekt des Postreview, neue Fragen, wiederverwendete Fragen, kognitives Anforderungsniveau, fachliches Anforderungsniveau, Qualität und Aktualität von Inhalten, Entwicklung von Teilgebieten, Messeigenschaft, methodische Qualität, „flaws“, …..
• Was können wir daraus für die Lehre ableiten? Problematische Themen, Hinweise auf lokale Unterschiede, Klärungsbedarf, Weiterbildungsbedarf, Entwicklungen, ….. • Wie war die Leistung der KandidatInnen?
Was sollte daraus folgen?
• Kompetenz ist spezifisch, nicht allgemein …
• „Assessment is as good as you are prepared to
put into it“
• „Sampling across content and
judges/examiners/methods is eminently
important“
• „Assessment drives learning“
• „Validity strongly depends on the implementation
of the assessment“
• „No single measure can do it all“
Das „Unmessbare“ erfassen
tun
Assessment (meist in vivo): Expertenurteil, qualitative Methoden
zeigen wie
in vitro
wissen wie
wissen
„Fachgebiets“ – spezifische
Kompetenz
„Fachgebiets“ – unabhängige
Kompetenz
Das „Unmessbare“ erfassen
•
•
•
•
•
•
Self assessment
Peer – assessment
Multisource feedback
Log book
Product evaluations
Portfolio assessment
So what?
Weiterentwicklung der Anforderungen und des Pools
Prüfungsebene Überprüfung der Bestehensgrenze
Qualitätssicherung
mehr Anlässe Systemebene
verschiedene Methoden – qualitativ UND quantitativ
longitudinal, valide implementiert Prüfungsanlässe als Lernanlässe
Feedback
Involvierung der Verantwortlichen zeitnahe, ausbildungsbegleitend
for learning
Assessment of
Document
Kategorie
Kunst und Fotos
Seitenansichten
16
Dateigröße
187 KB
Tags
1/--Seiten
melden