Serve item writers well’ (Haladyna, Downing & Rodriguez, 2002, p. 326)

TOOLKIT met richtlijnen

Een praktische TOOLKIT met richtlijnen voor het ontwikkelen, vaststellen, analyseren en borgen van toetsen.

Het ontwikkelen van kwalitatief goede toetsen is complex

Het ontwikkelen van kwalitatief goede toetsen, bestaande uit gesloten vragen, open vragen of opdrachten (zoals beroepsproducten) is complex. Daarnaast blijkt dat docenten weinig tijd hebben om de ontwikkeling  van toetsen zorgvuldig te doen. Ook al zijn trainingen gevolgd, dan nog blijkt dat docenten juist door tijdgebrek, moeite houden met het ontwikkelen van toetsen.

Ontwikkelen van vragen en opdrachten is ‘most fundamental’

Volgens Welch (2006, p. 306 ) ‘Vormen vragen en opdrachten de ruggengraat van toetsing’. Haladyna en Downing (1989, p. 37) geven aan dat ‘In the development of any achievement test, one of the most fundamental steps is writing the test items’. Draaijer (2016, p. 14) citeert Haladyna met ‘Good tests consist of good test items’. Om tot ‘good test items’ te komen is het zaak dat vragen en opdrachten aan toetstechnische kwaliteitseisen voldoen. Door vragen en opdrachten aan veelal eenvoudige, maar helaas vele ontwikkelrichtlijnen te laten voldoen, is de kans groot dat aan die kwaliteitseisen wordt voldaan.

Bestaan van richtlijnen

Richtlijnen voor het ontwikkelen van toetsen bestaan in veel varianten. Bijzonder veel nadruk ligt op richtlijnen voor het ontwikkelen van gesloten vragen, veel minder voor leerdoelen, open vragen en opdrachten (performance assessments) en nog minder op richtlijnen voor andere fasen van de toetscyclus. Richtlijnen komen verspreid voor in hoofstukken van boeken, in gepubliceerde artikelen en een enkele keer in de vorm van losse lijstjes, bijvoorbeeld gedrukt op een kaart. In de richtlijnen op zich zit structuur. Er zit echter geen structuur in richtlijnen gebaseerd op het ontwikkelproces dat bijvoorbeeld docenten in het hbo, maar ook vraagontwikkelaars binnen examenorganisaties doorlopen. Zij doorlopen in korte tijd een groot deel van de toetscyclus. Vaak betreft dit het ontwikkelen van leerdoelen en een toetsmatrijs, het ont­wikkelen van gesloten vragen, open vragen of opdrachten met beoordelingsaspecten, het bepalen van de cesuur en een waar­dering van het resultaat. Het ongestructureerd en maar beperkt voorkomen van de richtlijnen, werkt niet uitnodigend om richtlijnen te gebruiken voor het ontwikkelen en evenmin voor het vaststellen van toetsen.

Haladyna, Downing en Rodriguez (2002, p. 326) schreven het volgende: The use of a toolbox full of validated item-writing guidelines and MC item formats serve item writers well, particularly teachers who traditionally have had difficulty writing items measuring complex student learning’.

Een TOOLKIT vol richtlijnen

Bureau voor Toetsen & Beoordelen heeft dit inmiddels letterlijk opgevat en heeft een TOOLKIT ontwikkeld met richtlijnen voor leerdoelen (8), toetsmatrijzen (5), casussen (4), gesloten vragen (32), open vragen (31), opdrachten (22), cesuur- en cijferbepaling (5) en toets- en itemanalyse (8). Dus niet alleen voor vragen en opdrachten, maar voor enkele belangrijke fasen binnen de toetscyclus.

Alle richtlijnen zijn op speelkaarten afgedrukt (één richtlijn per speelkaart). De verschillende setjes richtlijnen (set van kaartjes) zijn per set in een stevig plastic doosje samengevoegd. Voor de opslag van de verschillende doosjes is een speciale opvallende doos ontwikkeld. Naast de doosjes met de speelkaarten met richtlijnen bevat de doos gekleurde bakjes. In deze bakjes kan een ontwikkelaar, maar ook een vaststeller of een borger van toetsen, de kaartjes plaatsen. Begonnen wordt met het kiezen van een set richtlijnen voor de ontwikkeling of de beoordeling van bijvoorbeeld open vragen. Deze set van richtlijnen wordt in een zwart bakje geplaatst. Uit dit bakje wordt de eerste, te onderzoeken richtlijn (kaartje) gepakt. Wordt aan een richtlijn voldaan dan wordt het kaartje in een groen bakje met het opschrift ‘Voldoet’ geplaatst. Daarnaast is er een rood bakje met ‘Voldoet niet’, een oranje bakje met ‘Twijfel’ en een blauw bakje met ‘Niet van toepassing’, want ook dat zal voorkomen.

Klik op de afbeeldingen voor een vergroting of start de video met een toelichting op de TOOLKIT.

Toolkit voor het ontwikkelen, vaststellen, analyseren en borgen van toetsen

De TOOLKIT met 115 richtlijnen verdeeld over acht doosjes, gekleurde bakjes voor beoordeling en een beoordelingsformulier.

115 kaartjes met richtlijnen

115 kaartjes met richtlijnen verdeeld over acht toetsonderwerpen handig te onderscheiden door kleuren.

Het geheel ziet er letterlijk uit als een toolbox zoals bedoeld door Haladyna, Downing en Rodriguez (2002), maar dan veel breder ingestoken. In plaats van toolbox wordt gesproken over een TOOLKIT omdat, hoewel sprake is van een doos (box), het begrip KIT meer gericht is op het uitvoeren van een actie, namelijk het toepassen van richtlijnen.

Tot de TOOLKIT behoren ook een A2-poster met alle richtlijnen en een beoordelingsformulier waarop met een code aangegeven kan worden of aan en richtlijn wordt voldaan. Op de bijgevoegde USB-stick staat een korte videotoelichting op de TOOLKIT en een MS Word-versie van het beoordelingsformulier om het formulier eventueel aan te passen aan eigen wensen. De TOOLKIT bevat verder nog acht lege kaartjes om daarop bijvoorbeeld eigen richtlijnen te schrijven.

Voordelen van de verzamelde en samengebrachte richtlijnen in een TOOLKIT

De TOOLKIT lost het nadeel van het niet of ongestructureerd voorkomen van richtlijnen op. Belangrijke richtlijnen zijn op basis van de toetscyclus geordend in aparte doosjes. Afhankelijk van wat ontwikkeld of beoordeeld wordt, kan die set van richtlijnen worden gebruikt die van toepassing is. Daarnaast heeft het gebruik van losse kaartjes als voordeel, dat voordat wordt begonnen, dié kaartjes worden geselecteerd die van toepassing zijn. Het is immers niet zo dat alle richt­lijnen per set altijd allemaal relevant zijn. De niet van toepassing zijnde kaartjes worden in het blauwe bakje ‘Niet van toepassing’ gedaan. Hiermee stelt de gebruiker als het ware zijn eigen richtlijnen efficiënt samen.

Het gebruik van de gekleurde kaartjes met de gekleurde bakjes heeft iets actiefs en fysieks in zich, dat uitnodigt voor gebruik. Door de richtlijnen met de kaartjes in de hand langs te lopen kan snel, objectief en onderbouwd worden beoordeeld of aan de richtlijnen wordt voldaan en de kans dus groot is dat toetskwaliteit wordt geleverd. Ook kan gericht op een speciaal voor de richtlijnen ontwikkeld beoordelingsformulier worden aangeven voor welke richtlijnen nog even­tueel aanpassingen gewenst zijn. Dit leidt tot gestructureerd werken.

Door het herhaald gebruik van de richtlijnen in de tijd (bij elke toets bijvoorbeeld) ontstaat een blijvend leereffect bij de gebruikers (Murre, 2010), waardoor de richtlijnen op den duur on­bewust automatisch worden toegepast.

Doelgroepen

De TOOLKIT is niet alleen bedoeld voor de ontwikkelaars van vragen en opdrachten. Juist bij vaststellingsvergaderingen kunnen de leerdoelen, toetsmatrijs, vragen en opdrachten snel aan de hand van de kaartjes met de richtlijnen worden langs gelopen. Vervolgens kan precies en onderbouwd worden aangegeven waar iets niet voldoet of twijfel over is. Door alle richtlijnen langs te lopen wordt geen richtlijn vergeten. Ook voor leden van examencommissies die verantwoordelijk zijn voor de bor­ging van de kwaliteit van toetsen, kan op deze wijze steek­proefsgewijs snel een toets op toetstechnische kwaliteit worden beoordeeld. Zeker omdat het borgen geen dagelijkse taak is, is het gebruik van de kaartjes erg handig. Ook voor het geven van feedback, doordat eenvoudig naar een richtlijn kan worden verwezen.

Kosten

De TOOLKIT kost € 148,35 inclusief verzendkosten, exclusief BTW.

Bestellen

Wilt u de TOOLKIT bestellen? Stuur een e-mail met uw adres en factuurgegevens naar: bureau@toetsen-beoordelen.nl. Binnenkort is de TOOLKIT ook te bestellen en direct te betalen via deze website.

Geraadpleegde bronnen

Draaijer, S. (2016). Supporting Teachers in Higher Education in Designing Test Items (proefschrift Vrije Universiteit). Opgevraagd van https://research.vu.nl/en/publications/supporting-teachers-in-higher-education-in-designing-test-items.
Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), pp. 37-50.
Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), pp. 309-333.
Murre, J. (2010). De psychologie van het leren. In Lazeron, N. (red) & Van Dinteren, R. (red), Brein@work. Breinkennis voor organisaties. Houten: Springer Uitgeverij B.V.
Welch, C. (2006). Item and prompt development in performance testing. In Haladyna, T. M. (red.), & Downing, S. M. (red.). Handbook of test development. pp. 303-327. New York, NY: Routledge.

© De TOOLKIT voor het ontwikkelen, vaststellen, borgen en analyseren van toetsen is geregistreerd bij het Benelux Bureau voor de Intellectuele Eigendommen onder nummer 111067.