logo-professioneel-begeleiden logo-professioneel-begeleiden
Filters

Alle artikelen - Abonneer je nu!

Gezien en gelezen

Auteur: Henk van Berkel

4th Annual European Association of Test Publishers (E-ATP) in Berlijn: 12-14 september 2012. http://www.eatpconference. eu.com/conference/schedule-at-a-glance.aspx en www.eatpconference. eu.com/conference/2012-presentations.aspx Dit is een impressie van de conferentie van de Europese afdeling van de Association of Publishers (ATP). In de E-ATP heeft een aantal commerciële testaanbieders belangen, zij sponsoren ook de conferenties. Deze conferentie telde 240 deelnemers uit 25 landen. Mijn interesse ging vooral uit naar elektronisch toetsen en in het bijzonder hoe je daarbij cheating, dat in deze context zowel met ‘verduisteren’ als met ‘frauderen’ moet worden vertaald, kunt opsporen wanneer de toets in een thuissituatie wordt afgenomen. Maar er waren uiteraard meer onderwerpen waarvan hier een aantal wordt genoemd. Verder kan worden verwezen naar het programma en de dia’s op de website van de E-ATP.   Cheating Een aantal presentaties ging over cheating: preventie, mate van voorkomen, opsporing, strafmogelijkheden. Cheating wordt op de eerste plaats gezien als het stelen (harvesting) van toetsvragen, bijvoorbeeld via fotograferen, inspreken in een mobieltje, onthouden en doorvertellen. Op de tweede plaats is cheating het frauderen tijdens de toets: afkijken, spiekbriefjes, het raadplegen van internet en vriendjes tijdens de toets en dergelijke. Bij preventie gaat het om voorlichting en om verschillende toetsversies. Maar ook copyright koppelen aan toetsvragen schijnt te helpen. Daarnaast zijn er trainingsprogramma’s voor de surveillanten (proctors) tijdens de toets. Cheating komt veelvuldig voor en wat erger is, de helft van de toetsdeelnemers schijnt er niet mee te zitten, zo blijkt uit een recent onderzoek van Caveon. Er zijn opsporingsprogramma’s die verdachte antwoordpatronen onderzoeken. Interessant zijn de technische ontwikkelingen om cheating op te sporen bij toetsen die online worden afgenomen: het gebruik van camera’s, de interactie tussen de surveillanten en de toetsdeelnemer, identificatietechnieken, de antwoordtijd en dergelijke. Straffen zijn niet mals. De leider van een netwerk – hij vroeg aan mensen om steeds vijf vragen te onthouden en die hem mede te delen en vervolgens verkocht hij de vragen –, moest meer dan twee jaar de cel in. Op de conferentie werd hij met naam genoemd en zijn foto werd groot geprojecteerd, zonder balkje; die Amerikanen doen niet moeilijk over privacyregels wanneer het wetsovertreders betreft. Aan verschillende testontwikkelaars heb ik gevraagd wat de waterdichte mogelijkheden zijn om fraude op te sporen wanneer er high stakes toetsen in een thuissituatie worden afgenomen, bijvoorbeeld via camera’s, iris-, stem- of handpalmcontrole. Goede vraag, maar waterdichte garanties zijn niet te geven. Cheating, of beter het voorkomen hiervan, brengt enorme kosten met zich mee. De kosten zitten in de preventie (formuleren van preventiebeleid, het communiceren hiervan), opsporing (fysiek en via statistische technieken), onderzoek (tijd en kosten voor de opsporing), rechtskosten (college van beroep, advocaten, rechtszaken), herstelkosten (nieuwe toetsvragen construeren). Er was een lezing die stelde dat ieder item in een gerenommeerde toelatingstest $ 5000 kostte. Iemand die erin slaagde een aantal items van een test naar buiten te brengen en te verkopen, en die vervolgens voor voor het gerecht werd gedaagd, kreeg een rekening van $ 650.000. Itembanking Een tweede clustering van presentaties betrof itembanken. Het is al een oud onderwerp, maar het blijft actueel omdat bij grootschalige toetsing niet aan itembanken is te ontkomen. Deelonderwerpen waren: itemgeneratie (hoe kun je makkelijk aan een groot aantal gelijkwaardige items komen – overigens werd dit ook gezien als een oplossing voor het cheating probleem: als je heel veel items hebt, is het niet erg wanneer er items bekend worden), modellen, bijvoorbeeld Rasch, itemconstructie door itemconstructeurs die ver van elkaar zijn verwijderd, etc. Het programma LOFT (Linear-on-the Fly Testing) dat werd gepresenteerd, biedt een aantrekkelijke techniek om equivalente toetsen te produceren uit een voorraad gekalibreerde items. LOFT geeft de mogelijkheid toetsen te verkorten zonder verlies aan informatie. Het wezen van een itembank en vooral het vullen ervan blijft een actueel thema. Waaraan moeten de items voldoen? Passen ze in het model? De achterliggende psychometrie hiervan is moeilijk en niet voor iedereen begrijpelijk. Itemformaten Velen zijn op zoek naar alternatieven van meerkeuzevragen met behoud van de efficiëntie en inhoudvaliditeit. Een conclusie was dat men beter kan zoeken naar verbeteringen in meerkeuzevragenconstructie zoals screening, toetssamenstelling, cesuurbepaling en feedbackmogelijkheden. Het zal geen verbazing wekken dat deze conclusie werd getrokken door een organisatie die uitsluitendmeerkeuzevragen kan verwerken. In een andere presentatie over hetzelfde onderwerp werd gepleit voor verbeteringen in de presentatie en formuleringen van meerkeuzevragen. Niet het traditionele tekstje met vier of vijf opties en af en toe een grafiekje, maar veel meer opties, meer dan één correct alternatief, vaker grafieken, animaties, geluid, video, simulaties, langere tekstfragmenten waar de deelnemer doorheen kan scrollen, of links naar het internet. Technisch geven dit soort vragen geen problemen meer. Demonstraties van producten • Questify, een geavanceerd toetsprogramma (Cito) • PjP (Predicting Job PerformanceSelectie), een selectieprogramma dat voldoet aan ISO   standaard 10667 (Assesio) • XamBox, combineert de voordelen van offline en online (Televic Education) • Transom, visualiseert data (Mountain Measurement Inc.) • Test security, de laatste ontwikkelingen op het gebied van veiligheid (Pearson) • Observatietests met behulp van mobile devices (Questionmark) • Individuele leerpaden (McCann Associates) • My item writer, het construeren van items zonder internetverbinding (Prometric) • Authorwise, een itembanksysteem (Certification Management Services) Andere onderwerpen De volgende opsomming geeft een indruk van de variatie aan onderwerpen en recente ontwikkelingen: • Er was een aardige presentatie over hoe data en resultaten te visualiseren zijn, een idee voor het presenteren van bijvoorbeeld onderzoeksresultaten. • Ontwikkelingen in de apps techniek maken het mogelijk het mobieltje te gebruiken bij het afnemen van toetsen. Over de gevolgen voor de kwaliteit van dit soort toetsen (psychometrie, inhoudsvaliditeit) hield Cito een presentatie. • CINOP verzorgde een presentatie over de integratietoets die per telefoon wordt afgenomen en die automatisch wordt gescoord. Wanneer dat laatste om wat voor reden dan ook niet lukt, gaat het gesproken antwoord automatisch naar vier beoordelaars. • Wanneer men helemaal opnieuw moet beginnen met nadenken over een toetsprogramma, levert dat specifieke problemen op. Wat zijn de opties? Wat zijn de voorwaarden voor de validatie van het programma? De methode die werd voorgesteld was die met behulp van een taakgroep: een overleg met allerlei deskundigen die vanuit hun specifieke invalshoek (inhoud, toetstechnisch) een bijdrage kunnen leveren. • Wat is eigenlijk een eerlijke test? Met behulp van het aloude onderwerp testbias werd het onderwerp via de psychometrie benaderd. Aangezien er allerlei nieuwe testvormen zijn ontstaan, is het niet uitgesloten dat die vormen onbedoelde invloeden hebben op de toetsdeelnemer. • Pisa en PIAAC werden in een presentatie gebruikt als voorbeelden van een assessment op grote internationale schaal. De problemen die overwonnen moeten worden, liggen op het gebied van vertalingen, toetsomgevingen, itemformaten en evaluaties. • ISO 10667 is een nieuwe standaard op het gebied van workplace assessment. De standaard formuleert hiervoor de eisen en criteria. • De National Board for Certification in Occupational Therapy heeft een toetssysteem ontwikkeld waarin deelnemers worden gecertificeerd op basis van hun praktijkervaringen; met selfassessments kunnen ze hun professionele ontwikkeling in kaart brengen. • Er komen hoe langer hoe meer online testen gratis beschikbaar. Dat zal de assessmentindustrie raken (net als het copieren van de CD de muziekindustrie heeft veranderd). Een presentatie gaf aan welke gevolgen dit heeft en hoe daarop kan worden ingespeeld. De heer dr. H.J.M. van Berkel is hoofdredacteur van EXAMENS en werkzaam aan de Universiteit Maastricht. E-mail. h.vanberkel@maastrichtuniversity.nl.
Gratis
lees meer

Gastcolumn; Als het leven zelf

Auteur: Silvester Draaijer

Als het leven zelf Vraag: Wat betekent confabuleren? A) onbewust liegen B) toegeven aan een lustgevoel C) vertrouwelijke informatie verspreiden D) construeren van tabelstructuren E) het doorgeven van confiture stoffen aan een liguurkolom in een vitaminemixer F) onverdiend verliezen (antwoord: 7e letter van: ACDBADABDCABDC) Nu kan ik u vertellen dat ik voor deze vraag zelf al flink bezig ben geweest met iets dat sterk aan confabuleren verwant is. Docenten in het Hoger Onderwijs die multiple-choicevragen maken doen dat ook. Toetsvragenmakers zijn bij het vragenmaken namelijk de meeste tijd kwijt met het bedenken van afleiders bij hun vragen. Het doel van een afleider is dat dit ‘incorrecte’ antwoord op de gestelde vraag voor de minder competente student toch heel aantrekkelijk moet zijn. In de literatuur wordt wel aangeraden om afleiders te baseren op misconcepties. Het vinden of bedenken daarvan is echter gemakkelijker gezegd dan gedaan. Docenten moeten zichzelf een handje helpen. Ze moeten op een bepaalde manier een ‘nieuwe werkelijkheid’ creëren. Wat ik nu zo aardig vind aan het toetsvak is dat het ontwikkelen van goede afleiders ook gezien kan worden als een bevrijdende bezigheid. Ben je als docent altijd bezig om de correcte informatie bij studenten over het voetlicht te brengen, bij toetsvragen maken kun je je vrijuit bezighouden met onnutte zaken. Een beetje met opzet confabuleren. Zeker, aan het eind van de exercitie moet er een plausibele afleider zijn gevonden, maar de route ernaar toe staat eenieder vrij. Bij het toetsvragen maken kan je je eens goed verliezen in het verzinnen van onzin. Dat kan bestaan uit het construeren van kleine veranderingen van correcte antwoorden waardoor een antwoord niet meer klopt, het bedenken van homoniemen, synoniemen of onzinnige voorbeelden. Maar ook het bedenken van uitgebreidere coherente en relatief normaal lijkende informatie - zij het dat die een absurditeit is. Of nog verdergaand: het bedenken van grove misleidingen. Neem als voorbeeld antwoorden die een toon van bijvoorbeeld ‘wetenschappelijke’ correctheid hebben, maar die nergens op slaan. Of antwoorden die door hun ogenschijnlijke simpelheid zand in de ogen van de minder competente student strooien - het simpele antwoord zal wel niet correct zijn, denken ze toch vaak? Wat heel goed helpt om de creativiteit te stimuleren is om zich te beseffen dat het bedenken van afleiders een expliciet creatieve probleemoplossingtaak is. Dat het een proces is van divergeren en convergeren. Van co-evolutie. Dat het nodig is om er tijd in te stoppen en dat meer tijd zal leiden tot betere afleiders. Dat het een kwestie is van loslaten en weer oppakken. Bedenken, verwerpen en opnieuw bedenken. Mijmeren en vastleggen. Teleurstelling en Ahaerlebnissen. Pieken en dalen. Kortom – het bedenken van toetsvragen is als het leven zelf.   De heer ir. S. Draaijer is onderwijskundig adviseur bij de afdeling hoger onderwijs van het Onderwijscentrum van de Vrije Universiteit Amsterdam. E-mail: s.draaijer@vu.nl.
Gratis
lees meer

EXAMENS 2012-03 Volledige uitgave

INHOUD EXAMENS 2012-03 augustus 2012 De formatieve functie van toetsen. Voorbeelden van effectieve en minder effectieve vormen van feedback, Caroline Timmers en Fabienne van der Kleij Zorg om rekenen in de Zorg. Adaptieve test verpleegkundig rekenen, Tecla Lampe, Gerard Straetmans en Theo Eggen Gastcolumn. Spring toch niet in de sloot! Silvester Draaijer Terecht of niet? Begeleiden en beoordelen, gaat het samen? Henk van Berkel Training van docenten in toetsconstructie. Leidt training tot betere toetsing, Bart Schoenmakers en Chris van Klaveren Uit de praktijk. Uit de praktijk van EXAMENS, Annemarie de Knecht-van Eekelen De rekentoetsen-3F zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Ben Wilbrink, Joost Hulshof en Henk Pfaltzgraff Prove2Move - Kwaliteit en samenwerking, Annemarie de Knecht-van Eekelen en Ad de Jongh Gezien en gelezen Verenigingsnieuws   Redactioneel van Annemarie de Knecht van Eekelen Het kind van de rekening. ‘Aantal gezakten op vmbo mogelijk verdubbeld dit jaar’, dat lees ik op 14 juni in de trein in de Metro. Volgens dit bericht vol rampspoed, het woord ‘bloedbad’ wordt zelfs gebruikt, zullen de strengere exameneisen hun tol gaan eisen. En toen, bijna een maand later, op 11 juli ’s ochtends in het journaal van half negen via de radio, het -verlossende bericht: het slagingspercentage was slechts met 1,8% gedaald, dat viel erg mee. Het daarop volgende journaal van 9 uur vond die tekst toch wat al te positief en bracht het nieuws als ‘bijna 2% meer gezakten’, toch niet zo best. Het is maar hoe je het bekijkt. Ik was er al enigszins op voorbereid. Van een middelbare school in mijn omgeving had ik gehoord dat 100% van de vmbo-t leerlingen was geslaagd en dat de resultaten op havo en vwo ook niet sterk afweken van voorgaande jaren. Geluiden uit Cito over de normering gaven dezelfde teneur aan. Wat doen ze op die scholen, vraag je je af. Strenger selecteren bij de overgang naar de examenklas, dat is een strategie. De school lijkt daar bij gebaat, want kan mooie slagingspercentages laten zien, maar de leerling? Over het nut van zittenblijven kan ik een apart artikel schrijven, nu dus even niet. De strengere zak/slaagregeling voor de centrale eindexamens heeft als doel de kwaliteit van het voortgezet onderwijs en de aansluiting op het vervolgonderwijs te verbeteren. Dat er problemen zijn met kwaliteit en aansluiting kan niet ontkend worden. Lees in dit nummer het artikel van Tecla Lampe et al. Over de rekenvaardigheid van verpleegkundigen. Men is ontevreden over de kwaliteit van het onderwijs. Wie is ‘men’ eigenlijk? Zijn het al die mensen die sowieso vinden dat vroeger alles beter was? Die mensen die met weemoed terugdenken aan een grijs verleden vóór de Mammoetwet, toen je nog drie vreemde talen leerde, waarin je weliswaar geen woord kon uitbrengen, maar toch … Toen een leraar nog status had, toen er een kleine elite toegang had tot hoger onderwijs, ja, zo kan ik nog wel even doorgaan. Wat is de meetlat voor kwaliteit? Toch niet het kunnen opdreunen van de tafels van 1 tot 10, al is het wel makkelijk om die te kennen. Kwaliteit wordt gemeten in internationale vergelijkende onderzoeken als TIMSS en PISA, daar komt Nederland steeds goed in naar voren. En er is sinds 1987 de Nederlandse Periodieke Peiling van het Onderwijsniveau (PPON) met onderzoek op de basisschool naar Nederlandse taal, Rekenen-Wiskunde, Wereldoriëntatie, Engels, Muziekonderwijs, Verkeerson-der wijs, Beeldende vorming en Bewegingsonderwijs. In een overzicht van 20 jaar PPON schrijft de projectleider: ‘Er is weinig of geen ontwikkeling over de laatste twintig jaar, niet in positief en niet in negatief opzicht voor het kennis- en vaardigheidniveau van de leerlingen. […] De enige systematische uitzondering op dit algemene beeld vinden we bij het domein rekenen/wiskunde1 ’.Rekenen, dat probleem is opgepakt door de politiek. Kwaliteit van onderwijs wordt gekoppeld aan rekenvaardigheid. Er komen centrale rekentoetsen die voor alle middelbare schoolleerlingen een verplicht examenonderdeel worden. Voor de details: lees het artikel van Ben Wilbrink et al. Ik vind het onbegrijpelijk dat een leerling aan het eind van zijn of haar middelbare schoolloopbaan kan worden afgerekend op het rekenonderwijs van de basisschool. Die leerling wordt het kind van de rekening. Mw. dr. A. de Knecht-van Eekelen is hoofdredacteur van EXAMENS. E-mail: a.van.eekelen@gmail.com. 1Schoot, F. van der (2008)O. nderwijs op peil? Een samenvattend overzicht van 20 jaar PP.O ANrnhem: Cito, p. 30.

€ 6,95

Uit de praktijk van EXAMENS

Auteur: Annemarie de Knecht-van Eekelen

De redactie van EXAMENS heeft interviews met vooraanstaande deskundigen op het gebied van toetsing en examinering gebundeld in het boekje Kopstukken uit de Nederlandse Examenwereld. Deze bundel is op 8 mei 2012 aangeboden aan Karl Dittrich, voorzitter van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO). Kopstukken uit de Nederlandse Examenwereld De redactie van EXAMENS vergadert een aantal maal per jaar. Zij bespreekt dan de aangeleverde artikelen die over het brede gebied van toetsing en examinering gaan. Het zijn intensieve vergaderingen waarin een beroep wordt gedaan op de deskundigheid van de redactieleden, ieder met een eigen specifieke achtergrond en inbreng. Maar de redactie bespreekt niet alleen artikelen, zij bedenkt projecten die passen binnen het beleid om kennis over het vakgebied te verspreiden en te delen met anderen. De recent uitgebrachte bundel met interviews Kopstukken uit de Nederlandse Examenwere ilsd daarvan een voorbeeld. Programma Samen met de uitgever van EXAMENS, Eric Vullers, heeft de redactie een programma samengesteld ter omlijsting van de aanbieding van Kopstukken. Op een zonnige middag zijn enkele ‘kopstukken’, leden van het NVE bestuur en (oud)redactieleden van EXAMENS in een Haags hotel samengekomen om het boek ten doop te houden. Hoofdredacteur Henk van Berkel vertelde daar hoe de serie ‘Kopstukken’ tot stand is gekomen. Hij herinnerde aan het absolute pionierswerk van A.D. de Groot met wiens in memoriam de bundel opent. Don Mellenbergh, auteur van dat in memoriam en zelf één van de kopstukken, gaf vervolgens een overzicht van de ontwikkeling van toetsen en examineren (zie kader). Door de technologische ontwikkelingen, zoals de enorme rekenkracht van nieuwe computers, is veel meer mogelijk geworden. Mellenbergh zei te verwachten dat de technologie nog wel een tijd verbeterd en uitgebreid zal worden tot er een grens wordt bereikt ...............                                                                        >>
Gratis
lees meer

Schrijf je in voor de nieuwsbrief en blijf op de hoogte!

Op weg naar ruimte en vrijheid

Crisis als aanleiding om inzicht te vergroten in (je) identiteitswerk

Datum:
Locatie:

Download gratis deze white paper