Incompany-training: Gesloten vragen ontwikkelen
Het ontwikkelen van goede gesloten vragen is complex. Het is zowel een creatief, inhoudelijk als toetstechnisch proces. Een goede vraag ontwikkel je niet ‘zomaar even’. Een vraag moet aansluiten bij het leerdoel en het gedragsniveau dat moet worden getoetst. De gesloten vraagvorm moet passend zijn, de afleiders moeten plausibel zijn en om aan de geldende kwaliteitseisen te voldoen moeten vele constructievoorschriften in acht worden genomen. Gegevens uit een toets- en itemanalyse kunnen behulpzaam zijn om reeds afgenomen vragen te verbeteren.
Gestructureerde ontwikkelmethode
Bureau voor Toetsen & Beoordelen heeft een gestructureerde ontwikkelmethode ontwikkeld gebaseerd op een combinatie van afwisseling tussen structuur, creativiteit, ontwikkelen en controle. Structuur wordt gelegd door het gebruik van leerdoelen, een taxonomie, een toetsmatrijs en inzicht in mogelijke gesloten vraagvormen. Creativiteit betreft het vanuit de beroeps- of onderwerpcontext vrij nadenken over mogelijke (authentieke) ideeën voor vragen. Vervolgens wordt de eerste versie van de vraag ontwikkeld. Omdat een vraag aan vele constructievoorschriften moet voldoen om kwalitatief te voldoen, is een eenvoudig en snel te gebruiken controlesysteem op basis van kaarten ontwikkeld. De eerste versie van de vraag wordt op basis van controlekaarten kwalitatief beoordeeld en vervolgens gericht aangepast. De kans dat de vraag toetstechnisch voldoet is nu al redelijk groot.
Het controlesysteem is ook uitermate geschikt om bestaande vragen te beoordelen. Het systeem werkt snel en gestructureerd. Indien gewenst kan aanvullend een apart beoordelings- en aanpassingsformulier worden gebruikt. Handig als anderen aanpassingen doorvoeren.
Inbreng eigen gesloten vragen
In bijna alle gevallen heeft een organisatie al toetsen met gesloten vragen ontwikkeld. Bij voorkeur worden deze vragen in de training gebruikt. Ook worden in de training geheel nieuwe vragen ontwikkeld. Het voordeel van het gebruik van bestaande eigen vragen is dat de herkenning groot is en dat tegelijk kan worden gewerkt aan het aanpassen van de eigen vragen.
Soms zijn ook statistische analysegegevens beschikbaar. Deze gegevens kunnen worden meegenomen en bevestigen veelal waarom bijvoorbeeld alternatieven het niet goed doen of een vraag als geheel slecht scoort. Een bijkomend voordeel is dat de deelnemers aan de training (en ontwikkelaars van vragen) leren hoe ze deze analysegegevens kunnen gebruiken voor de verbetering van vragen. Zijn geen analysegegevens beschikbaar dan worden hiervoor andere voorbeelden gebruikt.
Inhoud training
- Opening met het maken van een slechte-vragen-toets
- Inleiding ontwikkelen gesloten vragen
- Overzicht van gesloten vraagvormen
- Gebruik van leerdoelen, taxonomie en een toetsmatrijs
- Wanneer is een vraag een kennis-, begrips-, of toepassingsvraag
- Kwaliteitseisen toetsen en vragen
- Creativiteit als basis voor de ontwikkeling van vragen
- Toepassen van constructievoorschriften aan de hand van eigen bestaande vragen
- Gebruiken van statistische analysegegevens
- Ontwikkelen van nieuwe vragen
Opzet en duur training
De training wordt gegeven aan de hand van verschillende en direct herkenbare voorbeelden uit de (eigen) praktijk. Het is geen theoretische training, maar een doe-training waarmee de deelnemers het geleerde direct kunnen toepassen in de eigen praktijk. Het boek ‘Toetsen volgens de toetscyclus – Deel 1’ (Molkenboer, 2015) maakt onderdeel uit van de training. Daarnaast ontvangen de deelnemers een hand-out die bij voorkeur is gebaseerd op vragen en analysegegevens uit de eigen praktijk. De duur van de training is één dag.