logo-professioneel-begeleiden logo-professioneel-begeleiden
Filters

Alle artikelen

The transition to computer-based assessment

Auteur: Karin Gerritsen-van Leeuwenkamp

Scheuermann, F., & Björnssen, J. (Eds.) (2009). The transition to computer-based assessment. New approaches to skills assessment and implications for large scale testing. Luxembourg: Office for official publications of the European Communities: European Communities. http://publications.jrc.ec.europa.eu/ repository/handle/111111111/8713. In september 2008 heeft het Joint Research Centre (JRC, IPSC) van de Europese Commissie samen met het Educational Testing Institute van IJsland, een expert workshop gehouden over ‘The Transition to Computer-Based Assessment - Lessons learned from the PISA 2006 Computer Based Assessment of Science (CBAS) and implications for large scale testing’. De bundel die hier wordt besproken, bevat de bijdragen aan de workshop aangevuld met een aantal artikelen die verschillende aspecten van CBAS behandelen. In het bijzonder wordt aandacht gegeven aan de vergelijking tussen ‘paper-pencil tests’ (PPT) en ‘computer based assessment’ (CBT). De bundel beoogt een overzicht te geven van de onderwerpen die spelen bij de overgang naar computer-based assessments zowel op nationaal als internationaal niveau. De 27 bijdragen in deze bundel zijn gerangschikt in de volgende vijf delen: I Assessment Needs and European Approaches, II General Issues of Computer-Based Testing, III Transition from Paper-and-Pencil to Computer-Based Testing, IV Methodologies of Computer-Based Testing, V The PISA 2006 Computer-Based Assessment of Science (CBAS). In de veelheid van bijdragen kan elke lezer wel iets naar zijn of haar gading vinden. Deze bespreking richt zich op een aantal bijdragen in het derde deel. Hierin wordt duidelijk hoe complex de overgang van PPT naar CBT is. Om de voor- en nadelen van de overgang van PPT naar CBT in kaart te brengen zijn een risico en een financiële analyse gewenst. In de risico analyse worden de risico’s, de frequentie en de impact van risico’s in kaart gebracht1. Een voorbeeld uit zo’n risico analyse is het aspect toegang tot toetsen. CBT heeft als voordeel dat studenten makkelijke toegang hebben tot de toets, maar de veiligheidsrisico’s zijn een nadeel. De uitdaging is om maximale voordelen met minimale risico’s te behalen. Vanuit een risico analyse moet worden besloten of en op welke wijze de geplande verandering van PPT naar CBT wordt gerealiseerd. Naast een risico analyse is een financiële analyse nodig. Gezien de diversiteit van CBT kan er geen eenduidig antwoord gegeven worden op de vraag of CBT in vergelijking met PPT goedkoper is. Dit dient per situatie geanalyseerd te worden aan de hand van het framework dat gepresenteerd wordt door de schrijvers van het artikel2. CBT kan op verschillende wijzen worden gerealiseerd. Volgens de ‘migratory approach’ wordt een PPT rechtstreeks zonder aanpassingen overgezet naar CBT. Dit is efficiënt en goedkoop, maar een nadeel is dat het geen innovatief effect heeft op leren, terwijl bovendien de validiteit van de toets vermindert. Daarom is de ‘transformational approach’ veel wenselijker. Daarbij wordt een geheel nieuw computergestuurd assessment ontworpen, met innovatieve toetsvormen die de mogelijkheden van CBT benutten. CBT beïnvloedt de validiteit van de toetsen doordat naast kennis van de leerstof ook kennis van ICT wordt gemeten. Studenten die ervaren zijn met ICT scoren beter dan studenten zonder die ervaring. 3 Meisjes scoren significant beter op een PPT dan op een CBT, bij jongens is geen significant verschil gevonden. 4 In de bundel worden verschillende onderwerpen over PPT en CBT behandeld. Daardoor is de bundel bruikbaar voor lezers van EXAMENS die zich breed willen oriënteren op de verschillende aspecten van de overgang van PPT naar CBT. Lezers die een overgang van PPT naar CBT daadwerkelijk binnen een organisatie willen realiseren kunnen met behulp van deze publicatie aanvullende literatuur zoeken. Mw. K.J. Gerritsen-van Leeuwenkamp is docent en voorzitter van de onderwijstoetscommissie bij Hogeschool Saxion. E-mail: k.j.vanleeuwenkamp@saxion.nl. 1Van Lent, G. Risks and benefits of CBT versus PBT in High-Stakes Testing: Introducing key concerns and decision making aspects for educational authorities. pp. 83-91. 2Farcot, M., & Latour, T. Transitioning to computer-based assessments: A question of costs. pp. 108-116. 3Kikis-Papadakis, K., & Kollias, A. Reflections on paper-and-pencil tests to eAssessments: narrow and broadband paths to 21st century challenges. pp. 99-103, Meijer, R. Transition to computer-based assessment motivations and considerations. pp. 104-107. 4Csapo, B., Molnar, G., & Toth, K. R. Comparing paper-and-pencil and online assessment of reasoning skills: a pilot study for introducing electronic testing in large-scale assessment in Hungary. pp. 120-125.
Gratis
lees meer

Eerlijk duurt het langst

Auteur: Joost Dijkstra

Eerlijk duurt het langst Toetsing moet primair betrouwbaar en valide zijn, maar dat is niet voldoende. Andere criteria als transparantie en eerlijkheid mogen niet genegeerd worden. Over de eerste twee hebben we wel een idee en bij transparantie kunnen we ons ook wel wat voorstellen, maar wat is eerlijkheid? Eerlijk gezegd blijkt dat wat moeilijker dan ik op het eerste gezicht dacht. Toetsing moet eerlijk zijn, maar voor wie? Voor leerlingen en studenten? Of voor docenten en staf? Of eerlijk ten opzichte van de maatschappij? Zeker, we moeten er voor zorgen dat de toets voor alle leerlingen en studenten even moeilijk is en er geen culturele of andere aspecten zijn die sommige leerlingen en studenten bevoordelen ten opzichte van anderen. Maar hoe ver moeten we daarin gaan? Moeten we te allen tijden ervoor zorgen dat verschillende groepen van studenten gelijk scoren? Mag je leerlingen en studenten wel indelen in groepen? Zodra je een indeling maakt krijg je meteen te maken met grensgevallen, want behalve een indeling in jongens en meisjes zijn er weinig (kei)harde criteria te bedenken. Moeten de resultaten van meisjes en jongens gemiddeld gelijk zijn en is dat dan het eerlijkst voor allebei? Of mag je stellen dat op sommige punten er een verschil is tussen meisjes en jongens (of tussen anders ingedeelde groepen) en dat het dus alleen maar vanzelfsprekend is dat er verschil in prestatie is? Moeten we er dan voor zorgen dat leerlingen en studenten gelijke kansen hebben op een goed resultaat op de toets? Is het eerlijk om alle leerlingen en studenten over één kam te scheren en een gelijke toets voor iedereen te maken? Of moeten we juist zorgen voor een toets op maat per groep studenten? Of betekent eerlijkheid dat we oprecht en eerlijk moeten zijn tegen studenten? Als beoordelaar of toetsmaker moet je even streng zijn voor alle leerlingen en studenten. We moeten ze niet verrassen met onverwachte inhoud. En als we het aan de leerlingen en studenten zelf vragen? “Dat stond niet in het boek.” “Mijn docent is veel strenger dan andere docenten”. Tja, als ze de toets gehaald hebben zal het wel een eerlijke toets zijn, maar als niet… Wat is eerlijk ten opzichte van de leraren en docenten? Is het eerlijk als hun jarenlange toetsing (assessment) van een leerling of student teniet wordt gedaan met een centrale allesbepalende eindtoets? Met als gevolg dat het oordeel van de individuele docent er niet meer toe doet? Het is ook niet erg eerlijk als je steeds meer werk krijgt (of de stapel met na te kijken werken niet kleiner wordt) door het laten zakken van een student. Als ik goudeerlijk ben dan denk ik dat de eerlijkheid van de toets (net als betrouwbaarheid, validiteit en de meeste andere kwaliteitscriteria) nooit voor 100% gehaald kan worden. Hoeveel werk we er ook in steken er zal altijd wel iemand zijn die zich benadeeld voelt. Dus moeten we verschillen maar accepteren. Het zal allemaal wel weer in het midden liggen en de context en het doel zullen wel weer moeten bepalen of het eerlijk is of niet. Maar toch, wat is nou eerlijk toetsen? Okay, eerlijk is eerlijk, niemand kan er tegen zijn, want zeg nou zelf: eerlijkheid duurt het langst . De heer J. Dijkstra is werkzaam aan de universiteit van Maastricht. E-mail: joost.dijkstra@educ.unimaas.nl.
Gratis
lees meer

EXAMENS 2010-02 Volledige uitgave

INHOUD EXAMENS 2010-02 mei 2010 De Cito Eindtoets Basisonderwijs, Beoordelen in het basisonderwijs Gerrit Staphorsius Terecht of niet? Twee maten toegestaan Henk van Berkel Column: Olijfolie: geur, smaak en zuurgraad Joost Dijkstra Kun je corruptie met toetsen bestrijden? Een cultuuromslag in de voormalige Sovjet-Unie. Steven Bakker Over onregelmatigeheden bij de afname van centrale eindexamens,  Pat van Lingen Voorwaardelijjk toetsen in het MBO, Borging van het niveau en besparing op de kosten. Jan Adema Wim van der Linden - itembank centraal, Kopstukken uit de examenwereld Harry Molkenboer en Desirée Joosten-ten Brinke Gezien en gelezen Wie zijn wij Literatuur/ Agenda Verenigingsnieuws Evalueren in de basisschool. We vergeten het misschien wel eens, maar de plaats waar veruit de meeste toetsen op één moment wordt afgenomen, is de basisschool. Ruim 150.000 kinderen zwoegen dan enkele dagen op allerlei opgaven die het eind van hun eerste schooltraject afsluiten. Op het moment dat u dit leest, zijn de uitslagen van de Eindtoets Basisonderwijs al enkele maanden bekend. De eerste blik van de ouders zal rechtstreeks zijn gegaan naar de eindscore, die, om duistere redenen, ligt tussen 501 en 550. En de vraag waar het om gaat is of de score boven of onder de range van 530-535 ligt. Die range wordt gezien als iets magisch. Is de score onder de 530, dan is de kans groot dat er een vmbo-advies uitrolt, is de score hoger dan 535, dan wordt het een havo/vwo-advies terwijl een score er tussenin ‘bediscussieerbaar’ is. Niet dat die grenzen door iets of iemand dwingend zijn voorgeschreven, maar in praktijk kijken VO-scholen als eerste naar de eindscore. Dat doen ook de docenten van groep 8 en de directeuren van basisscholen. Die laatsten moeten immers een advies geven. Maar een range is een range, er is ruimte. Dat is ook de reden voor veel VO-scholen om iets verder te kijken dan die getalletjes. Schooldirecteuren maken, na overleg met het onderwijzend personeel, voor ieder kind een onderwijskundig rapport op. Het rapport bevat gegevens over de sociaal-emotionele toestand van het kind en de mate van verzuim. Voor de (mogelijke) toelating tot het schooltype havo/vwo geldt als aanvullende eis dat het rapport tevens de score bevat van een onafhankelijk aanvullend onderzoek. De wet schrijft niet voor welke test hiervoor moet worden gebruikt. In veruit de meeste gevallen, een schatting is ruim 80%, betreft dit de Citotoets. Maar er zijn ook andere testen in omloop: de Bèta’s Overgangstest naar de brugklas (BOB-test) of de Basis Niveau Test (BNT). Ook intelligentietesten komen in aanmerking, bijvoorbeeld de Groninger intelligentietest voor het Voortgezet Onderwijs (GIVO). Nogmaals, de school is vrij om een test te kiezen. Dus in de meeste gevallen komen de ouders van een kind met een Cito-score en een advies van de directeur van de basisschool in de hand naar een VO-school. Die besluit over de toelating. Uit onderzoek blijkt dat het advies van de basisschool de beste voorspellende waarde geeft voor het schooltype waar het kind terecht komt. Maar er is veel meer te vertellen over deze problematiek. Het bovenstaande is voor de redactie van EXAMENS de reden geweest in de toekomst meer aandacht te geven aan de toetspraktijk op basisscholen. Met ingang van dit nummer kunt u, als lezer, hierover regelmatig bijdragen verwachten. Dat is terecht. De basisschool is de eerste kennismaking van iedere Nederlander met toetsen. Het onderwerp is daarom van belang voor een tijdschrift als EXAMENS. De heer dr. H.J.M. van Berkel is hoofdredacteur van EXAMENS en werkzaam aan de Universiteit van Maastricht. E-mail. H.vanBerkel@EDUC.unimaas.nl.

€ 6,95

Olijfolie: geur, smaak en zuurgraad

Auteur: Joost Dijkstra

Olijfolie: geur, smaak en zuurgraad. Over smaak valt niet te twisten: olijfolie moet extra vergine zijn. In Italië zijn ze zo trots op hun olijfolie dat er zelfs een politie-eenheid is opgericht om de olijfoliecharlatans te weren. Ergens in een klein dorpje in Italië wordt in een heel klein kantoortje de olijfolie beoordeeld die pretendeert aan deze superieure kwaliteit te voldoen. Dag in dag uit, want er zijn veel olijfolieboeren, zit een stuk of acht olijfolie-experts aan acht piepkleine bureautjes gescheiden door schotjes om de olijfolie te toetsen. Al lijken deze keurmeesters niet gehinderd te worden door enige onderwijskundige kennis, de beoordeling van de olijfolie is een prachtige praktisch toepasbare toets geworden. Het enige doel is om de prima kwaliteit te onderscheiden van de rest, oftewel de extra vergine. Deze hoogste kwaliteit (en eigenlijk de enige die telt) betekent letterlijk ‘extra maagdelijk’. Maar hoe je extra maagdelijk moet definiëren? Geen idee. Deze kwaliteit is niet met een checklist gedefinieerd, want dan heb je geen experts meer nodig, maar administrateurs die vinkjes kunnen zetten. Nee, het is meer een holistische benadering. Het gaat om de geur en de smaak, in die volgorde. Als de geur goed is, is het al bijna in kannen en kruiken. Ruikt het niet helemaal fris dan wordt het niet eens geproefd, alleen als de experts hun nieuwsgierigheid niet kunnen bedwingen. Over smaak valt wel te twisten: slechts enkele olies komen door de strenge toetsing. De experts zijn erg streng, of de olijfpersers zijn niet zo goed en rommelen maar wat aan, want de consument wil er niet te veel voor betalen. Misschien toch liever een objectieve meting van de kwaliteit? Helaas … het blijft onmeetbaar, slechts de zuurgraad (hoe lager hoe beter) hangt enigszins samen met de kwaliteit, maar is chemisch te manipuleren en zegt dus niets over de smaak. Dus toch maar terug naar de Italiaanse experts… Het lijkt misschien subjectief, maar de toetsing van olijfolie is uitermate degelijk opgezet. De acht experts zijn niet zomaar van de straat geplukt. Je moet echt een neusje voor olijfolie hebben en wordt grondig geschoold tot je jezelf het predicaat extra vergine mag opspelden. De schotjes tussen de bureautjes zitten er niet voor niets. De rij van experts vormt als het ware een stationstoets waarbij (net als in de onderwijssituatie) de aparte expertbeoordelingen onafhankelijk van elkaar zijn. De olijfolie moet in elk station hopen op de goedkeuring van de expert. Ook aan het halo-effect is gedacht: kleur doet er eigenlijk niet toe, maar omdat de kleur wel van invloed kan zijn op de beleving van de experts wordt de olijfolie in blauwe glaasjes geserveerd. Je moet natuurlijk heel onbevooroordeeld blijven dus is de herkomst van de olijfolie onbekend en wordt alles dubbelblind beoordeeld. Maar dan komt er een Spaanse olie voorbij die zo kenmerkend van geur is dat de experts deze meteen herkennen. Het Italiaanse temperament komt boven en de beoordelaars vallen uit hun rol, weg met de onbevooroordeelde gescheiden, onafhankelijke, objectieve beoordelingen. Mama mia, dit is een tragedie! Discussie alom, die Spaanse olie is per definitie defect en komt nooit door deze strenge procedure. Smaak is ook emotie. De heer J. Dijkstra is werkzaam aan de universiteit van Maastricht. E-mail: joost.dijkstra@educ.unimaas.nl.
Gratis
lees meer

Schrijf je in voor de nieuwsbrief en blijf op de hoogte!

Op weg naar ruimte en vrijheid

Crisis als aanleiding om inzicht te vergroten in (je) identiteitswerk

Datum:
Locatie:

Download gratis deze white paper