Auteur: Annemarie de Knecht-van Eekelen en Jolanda Soeting
Hartog, Rob J.M.(red.) (2008). Design and Development of Digital Closed Questions: A Methodology for Midsized Projects in Higher Education. Active Learning, Transparent Assessment – ALTB. Utrecht: SURF-foundation, 146 pp. Te downloaden van www.surffoundation.nl/en/publications. De stichting Solberg-Verlinden reikt tweejaarlijks een prijs uit voor een bijzondere prestatie op het gebied van toetsing in het Nederlandse onderwijs. De prijs is in 2008 toegekend aan het SURFproject ‘Actief Leren, Transparant Beoordelen’ (ALTB). De opzet en uitvoering van het ALTB-project, een samenwerkingsverband van de universiteiten van Delft, Wageningen en Amsterdam (VU), Fontys Hogescholen en Cito, is volgens de jury van groot belang voor de toets- en examenontwikkeling in het hoger onderwijs. In ‘Gezien en gelezen’ een bespreking van de bekroonde eindpublicatie over het ontwikkelen van gesloten vragen voor bètavakken en vakken met een bèta-gamma-karakter in het hoger onderwijs. Deze Engelstalige publicatie, waarvoor zeker internationale belangstelling zal bestaan, levert een belangrijke bijdrage aan een brede invoering van kwalitatief hoogwaardige, innovatieve vraagvormen. Het boek beschrijft in acht hoofdstukken uiteenlopende aspecten van het ontwikkelen van verschillende typen gesloten vragen. De onderzoekers richten zich op een gevarieerde groep gebruikers: de inhoudsdeskundige of Subject Matter Expert (SME), dit zijn de hoogleraren, academici, lectoren, docenten en andere tutoren, de student-assistenten met een zekere inhoudsdeskundigheid, de Assistant Subject Matter Expert (ASME), de onderwijskundige of Educational Technologist (ET), onderzoekers, systeemontwerpers en administrateurs. Ter verduidelijking is in het boek een leeswijzer opgenomen. De hoofdstukken 2 t/m 5 beschrijven een taxonomie voor ‘innovatieve’ vraagtypen, het scoren bij multiple response vragen en ontwerpeisen. Ruime aandacht wordt in hoofdstuk 6 besteed aan het gebruik van ‘design patterns’ of ontwerppatronen voor gesloten vragen. Hiermee is vrij eenvoudig een grote variatie aan voorbeelden te maken. Het project heeft ongeveer 2000 gesloten vragen opgeleverd voor vakken met natuurwetenschappelijke-, gezondheids-en ontwerpaspecten. Het boek geeft een aantal voorbeelden. De tien scenario’s in hoofdstuk 7 voor een mogelijke taakverdeling in kleine en middelgrote ontwikkelprojecten met bijbehorende begroting geven een overzicht van de wijze waarop een project het meest efficiënt een pool van 300 vragen kan ontwikkelen. Hieruit blijkt dat het verschil in kosten (van ruim E 31.000 tot ruim E 54.000) vooral ontstaat door ‘image processing’ en ‘entering in Computer-based Assessment system’. Voor toetsontwikkelaars biedt dit hoofdstuk een verhelderend beeld van wat een opgave kost. Het laatste hoofdstuk gaat in op de bestaande mismatch tussen enerzijds de functionaliteit van de bestaande virtuele leeromgevingen en toetssystemen en anderzijds de behoefte aan ontwerp en ontwikkeling van items. Een te ontwikkelen ‘Integrated Item Design and Development Environment’ (IIDDE) zou hierin kunnen voorzien. Over hoofdstuk 3, dat het scoren van multiple response vragen in een digitale toets behandelt, is nog wel een opmerking te maken. De auteurs van het hoofdstuk bieden ontwikkelvoorschriften voor dit type vragen. Zij stellen dat in een multiple response vraag waarbij het aantal goede antwoorden in de instructie wordt genoemd, het aantal goede alternatieven niet meer dan de helft van het totaal aantal alternatieven mag uitmaken en dat het totaal aantal alternatieven minstens vier moet zijn. Een kandidaat zal anders altijd minimaal één alternatief goed gokken. Deze constatering is zonder meer juist, maar het voorschrift staat tegelijkertijd haaks op de zeventiende richtlijn voor itemontwikkeling van Haladyna et al (2002), die de auteurs in hetzelfde hoofdstuk citeren. Deze luidt namelijk: ontwikkel zoveel effectieve alternatieven als je kunt verzinnen, maar twee of drie kan voldoende zijn. Een richtlijn die elke toetsontwikkelaar zichzelf eigen zou moeten maken is: voeg geen (ongeloofwaardige) alternatieven toe om de gokkans te erkleinen, want een alternatief dat ‘gekunsteld’ overkomt, zal door niemand worden gekozen (en heeft dus geen enkele invloed op de gokkans). Literatuur Haladyna, T.M., Downing, S.M. & Rodriguez, M.C. (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measurement in Education 15, 309-334. Mw. dr. A. de Knecht-van Eekelen is hoofdredacteur van EXAMENS. Mw. drs. J. Soeting is werkzaam als opleidingskundig adviseur bij Teelen Kennismanagement.
