Verbeter met analysegegevens eenvoudig de kwaliteit van uw vragen en toetsen

Incompany-training: Analysegegevens gebruiken

Met een summatieve toets proberen we vast te stellen wat de ware kennis, inzichten en/of vaardigheden zijn van de kandidaten die de toets hebben gemaakt. Op basis van de geleverde prestatie wordt een resultaat aan de prestatie toegekend en wordt een beslissing genomen of de kandidaat gezakt of geslaagd is. Het gemeten resultaat is echter niet meer dan een schatting van de ware kennis, inzichten en/of vaardigheden. De schatting wordt beïnvloed door de kandidaat zelf (was hij goed voorbereid, uitgerust, …), de omstandigheden waaronder de toets wordt gemaakt én door de toets zelf; was de toets kwalitatief wel goed?

Zonder analyse geen inzicht in wat we meten met een toets

Gehoopt wordt dat de kandidaten zich serieus hebben voorbereid. Er is alles aan gedaan om de omstandigheden waaronder de toets moet worden gemaakt optimaal te maken en er is veel aandacht besteed aan de kwaliteit van de vragen of de opdrachten. Ook de cesuur is met overtuiging vastgesteld. Verwacht wordt dat de zwakkere kandidaat terecht zakt en de sterkere kandidaat terecht slaagt.

Maar waar is die verwachting op gebaseerd; de eigen inhoudelijke en toetstechnische kennis of ervaring? Zonder een analyse van de toetsresultaten, blijft het bij een verwachting.  Maar deden de vragen of opdrachten het wel zo goed als gedacht en was de toets wel zo betrouwbaar als gewenst? Deden alle afleiders wel goed mee en discrimineerden ze goed? Waren de vragen of opdrachten niet te moeilijk en maakte ze wel een goed onderscheid tussen de zwakkere en sterkere kandidaten? Als we dit echt willen weten, dan moeten we meten en de verkregen gegevens analyseren.

Statistische analyse, (niet) ieders ding

Statistiek schrikt menigeen af. In deze training laten we u ervaren dat dit niet nodig is. We nemen u stap voor stap mee. Rekenen is niet nodig. We leggen de verschillende begrippen duidelijk toe, geven normen weer, maar relativeren ze ook en we leggen verbanden. Hiermee kunt u uw eigen toetsen, vragen en opdrachten zelf op kwaliteit controleren en verbeteren.

Inhoud training

  • Inleiding toets- en itemanalyse (TIA)
  • Analyse van toetsen met gesloten vragen, open vragen én opdrachten
  • Scoreanalyse:
    • soorten scores, frequenties, percentielen, range, standaardafwijking en cesuur
  • Itemanalyse:
    • moeilijkheid vragen (p– en p’-waarde), onderscheidend vermogen vragen (Rit– en Rir-waarde), aantrekkelijkheid afleiders (a-waarde), onderscheidend vermogen afleiders (Rat– en Rar-waarde), normwaarden, onderlinge relaties tussen itemindices en gebruik van  een p/Rit-grafiek of -tabel
  • Toetsanalyse:
    • gemiddelde moeilijkheid (p-waarde), betrouwbaarheid (Cronbach’s alfa), standaard­meetfout en normwaarden
  • Leren lezen van een uitdraai van een analysesysteem
  • Gebruiken van de analysegegevens in relatie tot eigen inzichten

Opzet en duur training

De training wordt gegeven aan de hand van verschillende en direct herkenbare voorbeelden uit de praktijk en bij voorkeur uit de eigen praktijk op basis van uw eigen toetsen en gege­vens uit uw eigen analysesysteem. Dus geen theoretische training, maar een doe-training waarmee de deelnemers het geleerde direct kunnen toepassen in de eigen praktijk. Als hand-out krijgen alle deelnemers een makkelijke leesbare en eenvoudig te begrijpen uitleg over alle behandelde aspecten van de toets- en itemanalyse. De duur van de training is één dag.

Analyseschema, beoordelingskaarten en analyseprogramma

Bureau voor Toetsen & Beoordelen heeft een analyseschema en beoordelingskaarten ont­wikkeld die beginnend onderzoekers ondersteunen bij het analyseren van gegevens en doen van aanbevelingen voor verbeteringen van vragen, opdrachten of de toets. Daarnaast wordt gebruik gemaakt van een eenvoudig MS Excel-gebaseerd analyseprogramma waarmee toets- en itemindices op een inzichtelijke wijze worden toegelicht. De deelnemers ont­vangen, indien gewenst en geen eigen analyseprogramma beschikbaar is, een kopie van het programma voor eigen gebruik.

Kortom: TIA begrijpelijk en praktisch uitgelegd

Bureau voor toetsen en Beoordelen