Onafhankelijk, multidisciplinair en betrouwbaar

Meten en verbeteren van opleiderskwaliteiten van klinisch opleiders met het SETQ-systeem

Onderzoek
M.J.M.H. (Kiki) Lombarts
Onyebuchi A. Arah
Olivier R.C. Busch
Maas Jan Heineman
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2010;154:A1222
Abstract
Abstract
Sluiten
Using the SETQ system to evaluate and improve teaching qualities of clinical teachers

Objective

To determine (a) the feasibility of implementing a system for the evaluation of teaching qualities (SETQ) of faculty in an academic medical centre, (b) the psychometric qualities of the questionnaires that are used for the generation of feedback and (c) how residents evaluate the teaching qualities of faculty members and how faculty rated themselves.

Design

Questionnaire study.

Methods

Residents evaluated the teaching qualities of faculty members and faculty also evaluated themselves. Specialty specific questionnaires were developed for both evaluations. The psychometric qualities of the questionnaires were determined by using exploratory factor analysis and by calculating the reliability coefficients of scale constructs and item-total correlation. Mean, median and range were calculated for all teaching aspects per training programme.

Results

In the course of one year, 16 residency programmes in our academic medical centre implemented the SETQ system for the evaluation of teaching faculty. 398 faculty members and 314 residents were invited to (self-) evaluate; the response rates were 80.9% and 73.6% respectively. Residents conducted 2,520 evaluations in total. Factor analysis resulted in the definition of 5 teaching domains: ‘learning climate’, ‘professional attitude towards residents’, ‘communication of learning goals’, ‘evaluation of residents’ and ‘feedback to residents’. Item-total correlation and reliability were high for both the residents’ questionnaire and the self-evaluation questionnaire (Cronbach’s α: > 0.70), except for the educational aspect ‘learning climate’ on the self-evaluation questionnaire (α: 0.67) Faculty members were rated positively, but the self-evaluation of faculty members was slightly less positive. For both groups ‘professional attitude towards residents’ was the highest scoring teaching domain and ‘communication of learning goals’ the lowest one.

Conclusion

Implementing a system for the evaluation of teaching qualities (SETQ) of faculty in an academic hospital was proven feasible. The psychometric qualities of the underlying instruments was sufficient to good. Teaching faculty were evaluated positively, although interdepartmental variations existed.

Samenvatting

Doel

Nagaan (a) of het mogelijk is om een systeem van systematische evaluatie van opleiderskwaliteiten in te voeren in een academisch ziekenhuis, (b) of de vragenlijsten die worden gebruikt voor het genereren van feedback van voldoende kwaliteit zijn en (c) hoe aiossen de opleiderskwaliteiten van stafleden en stafleden zichzelf beoordelen.

Opzet

Vragenlijstonderzoek

Methoden

Aiossen beoordeelden de opleiderskwaliteiten van stafleden en stafleden beoordeelden ook zichzelf. Voor beide beoordelingen werden vragenlijsten ontwikkeld binnen het ‘Systematic evaluation of teaching qualities’(SETQ)-systeem. De psychometrische kwaliteiten van de vragenlijsten werden onderzocht met behulp van explorerende factoranalyse en het berekenen van betrouwbaarheidscoëfficiënten van de schaalconstructen en de itemcorrelaties met de totale schaal. Het afdelingsresultaat werd uitgedrukt in gemiddelde, mediane scores en uiterste scores voor de verschillende opleidingsaspecten.

Resultaten

In een jaar tijd introduceerden 16 opleidingen van het AMC het SETQ-systeem voor de evaluatie van hun stafleden. In totaal werden 398 stafleden en 314 aiossen uitgenodigd, de respons bedroeg 80,9% respectievelijk 73,6%. Aiossen voerden in totaal 2520 evaluaties uit. Factoranalyse resulteerde in 5 opleidingsaspecten: ‘opleidingsklimaat’, ‘bejegening van de aios’, ‘communicatie over leerdoelen’, ‘toetsing van de aios’ en ‘feedback aan de aios’. Voor de aios-vragenlijst en de zelfevaluatie-vragenlijst waren de item-totaalcorrelaties hoog en was de betrouwbaarheid groot (cronbach-α: > 0,70), behalve voor het opleidingsaspect ‘opleidingsklimaat’ voor de zelfevaluatievragenlijst (α: 0,67). Stafleden werden positief beoordeeld. Stafleden beoordeelden zichzelf iets minder positief. Aiossen en stafleden gaven de hoogste score aan het opleidingsaspect ‘bejegening van de aios’ en de laagste score voor ‘communicatie over leerdoelen’.

Conclusie

De SETQ was breed toepasbaar in een academisch ziekenhuis. De kwaliteit van het onderliggend instrumentarium was redelijk tot goed. Opleiders werden positief beoordeeld, maar daarin was verschil tussen de afdelingen.

Artikelinformatie

Citeer dit artikel als

Ned Tijdschr Geneeskd. 2010;154:A1222
Vakgebied
Kanker
Pathologie
Oogheelkunde
Onderwijs en Methodologie
Zenuwstelsel
Maag-darm-leverziekten
Longziekten
Kindergeneeskunde
Interne vakken
Hart en vaten
Verloskunde/gynaecologie
Genetica
Chirurgie
Anesthesiologie en pijn
Auteursinformatie

Academisch Medisch Centrum, Amsterdam.

Afd. Kwaliteit en Proces Innovatie: dr. M.J.M.H. Lombarts, senior onderzoeker

Afd. Heelkunde: dr. O.R.C. Busch, chirurg.

Afd. Verloskunde en Gynaecologie: prof. dr. M.J. Heineman, gynaecoloog.

Universiteit van Californie, Los Angeles, Verenigde Staten, afd. Epidemiologie: dr. O.A. Arah, epidemioloog.

Contact dr. M.J.M.H. Lombarts (m.j.lombarts@amc.uva.nl)

Verantwoording

De ontwikkeling en uitvoering van het SETQ-systeem was niet mogelijk geweest zonder de medewerking van de AMC-stafleden en de arts-assistenten (aiossen).
Belangenconflict: dr. Arah wordt financieel gesteund door het NWO (Veni-nummer: 916.96.059).
Aanvaard op 18 januari 2010

Heb je nog vragen na het lezen van dit artikel?
Check onze AI-tool en verbaas je over de antwoorden.
ASK NTVG

Ook interessant

Reacties