logo-professioneel-begeleiden logo-professioneel-begeleiden
Filters

Alle artikelen

Ruilen?

Auteur: Silvester Draaijer

Eén van de vervelendste klussen voor docenten in het hoger onderwijs is het nabespreken van tentamens en dan specifiek met studenten die van hun tentamencijfer 5,4 een 5,5 willen maken, de minimaalste 6-jes studenten. Dat zijn de studenten die nog één extra goed antwoord nodig hebben. Want met die ene 10e punt verschil zijn ze namelijk geslaagd in plaats van gezakt. Hoera. Hoe pakken die studenten dat aan? Welke disruptive approaches hebben zij om docenten te overtuigen van hun gelijk? Natuurlijk gaan ze op zoek naar die ene vraag die volgens hen niet duidelijk gesteld was. Die ene vraag waarop ook het andere antwoord correct was. Via de collegeresponsiegroep worden dergelijke problemen vaak al direct na afloop van het tentamen verzameld. En daarmee zullen ze de docent confronteren. We kunnen vooropstellen dat studenten in Nederland veel rechten hebben. Zo hebben ze het recht om inzage te krijgen in hun individuele toets en resultaten. Dat is ook een goed recht. Studenten moeten beschermd worden tegen willekeur en ondoorzichtige procedures. Ze moeten feedback kunnen krijgen op hun prestaties zodat ze daarna beter kunnen presteren. Maar ook docenten moeten feedback krijgen om beter onderwijs te verzorgen of betere toetsen te maken. De vraag is echter of de inzet van de minimaalste 6-jes studenten daarop gericht is en of het recht op inzage het doel voor deze groep niet voorbijschiet. Om te beginnen is het een resultante van dit recht dat docenten hun toets moeten vrijgeven en publiceren. Tenminste, als een tentamen voor één student vrijgegeven moet worden, zijn docenten wel zo slim om te bedenken dat de vragen met de snelheid van het licht via internet worden gedeeld met de hele wereld. Ze besluiten dan over het algemeen om zelf de toets maar te verspreiden. De zorgvuldig geconstrueerde vragen komen zo op straat te liggen. Alle inspanning om een mooie set vragen te bedenken wordt in één keer bij een tentamen verbruikt. Dit betekent dat deze toetsvragen niet hergebruikt kunnen worden. Dat is werkelijk doodzonde. Ten eerste omdat het bedenken van goede toetsvragen veel tijd kost en derhalve duur is, ten tweede omdat daarmee de psychometrische kwaliteit van toetsen veel minder onder controle gehouden kan worden. Toetsvragen met een acceptabele moeilijkheidsgraad of goed discriminerend vermogen kunnen immers niet opnieuw worden ingezet. Elke nieuwe toets is zo eigenlijk een sprong in het duister ten aanzien van de moeilijkheidsgraad en de betrouwbaarheid. Alleen docenten die zeer ervaren zijn in toetsvraagontwikkeling en die het niveau van hun studenten goed kunnen inschatten, kunnen deze parameters nog enigszins in de hand houden. In feite worden studenten daarmee benadeeld. Immers, studenten zijn niet gebaat bij toetsen waarvan de moeilijkheidsgraad per tentamen varieert of waarbij de betrouwbaarheid fluctueert. Het onderwijs en de studenten zijn juist gebaat bij meetinstrumenten die consistent meten. Het inzagerecht leidt in individuele gevallen mogelijk wel tot genoegdoening, maar voor de studenten en het onderwijs in het algemeen waarschijnlijk niet. Hoe zou dit probleem opgelost kunnen worden? Ik dacht dat het goed zou zijn om een ruil voor te stellen: het onderwijs geeft meer openheid van zaken omtrent de kwaliteit van hun toetsen, maar studenten mogen dan niet meer over individuele vragen bij de docent aankloppen. In concreto: docenten publiceren naast ‘het cijfer op de toets’ ook integraal de gegevens over de validiteit, de betrouwbaarheid en de onderbouwing van de cesuur. Dit met vermelding van het aantal onterecht gezakten en geslaagden. Dat zijn gegevens die simpelweg bekend zijn uit een psychometrische analyse. Daarbij moeten dan wat bottom lines worden gesteld omtrent minimale betrouwbaarheid en maximaal percentage toegestane misclassificaties. Bij te lage betrouwbaarheid of te veel misclassificaties zal de cesuur relatief wat lager worden gesteld (denk aan de Methode Wijnen voor het stellen van een relatieve cesuur) zodat studenten niet benadeeld worden door onbetrouwbare toetsen. Het voordeel van deze aanpak is dat op deze basis aangetoond wordt wat de kwaliteit van de toets is (wat een aansporing zal zijn voor docenten om betere toetsen te ontwikkelen), dat docenten hun toetsvragen vaker kunnen gebruiken (wat goedkoper is) en – last but not least – dat het nabespreken van de toets weer gaat over de inhoud van het vak en niet gekaapt wordt door discussies over vraagconstructiefouten en de minimaalste 6-jes studenten. Een goede ruil lijkt me. De heer ir. S. Draaijer is onderwijskundig adviseur bij de afdeling hoger onderwijs van het Onderwijscentrum van de Vrije Universiteit Amsterdam. E-mail: s.draaijer@vu.nl.
Gratis
lees meer

Hoe selecteer ik een digitaal toetssysteem

Auteur: Jackelien ter Burg

Seminar op 13 september 2011 georganiseerd door de SURFacademy. Presentaties, weblectures en achtergrondinformatie: http://www.surf-academy.nl/ archief/event/?id=400. Dinsdag 13 september 2011 organiseerde SURFacademy het seminar ‘Hoe selecteer ik een digitaal toetssysteem?’ Op de website van SURFacademy is een brochure vinden waarin elf leveranciers de functionaliteit, gebruiksvriendelijkheid, infrastructuur en architectuur, financiële aspecten en toekomstvastheid van hun digitale toetssystemen beschrijven. Een toetssysteem of itembanksysteem is een applicatie waarmee men een grote set toetsvragen kan onderhouden, toetsen samenstellen en afnemen. In EXAMENS 3-2011 heeft Van der Wijk de praktijkervaringen met een itembanksysteem bij Hogeschool Windesheim beschreven. In dit seminar zijn negen toetssystemen gedemonstreerd: • Egel door Toko BV • Compass (voorheen TeleToets) door Atos • Leerstation Zorg door Stichting Leerstation Zorg • LPLUS door LPLUS gmbh • Maple TA door MapleSoft, distributeur CANdiensten • Quayn (WinToets) door De Rode Planeet • Questionmark Perception door Questionmark • Surpass door BTL Learning & assessment • TestVision door Teelen Kennismanagement Uitgaande van het motto ‘U bent niet alleen, we kunnen elkaar helpen’ kwamen ervaringen met het selecteren en instituutbreed implementeren van een digitaal toetssysteem in het hoger onderwijs aan de orde. In het proces van Beleid > Besluit > Selectie > Implementatie > Exploitatie staat de Rijksuniversiteit Groningen (RUG) nog aan het begin. Sake Jager, Andre Rosendaal en Floor Mulder van de RUG vertelden over het project Idem dito, waarbij ‘dito’ staat voor Digitaal toetsen. Dit project heeft tot doel om voor de RUG één digitaal toetssysteem te selecteren. Aan de hand van een uitgebreide criterialijst zijn vier toetspakketten gekozen die gepilot gaan worden (zie http://www.rug.nl/let/voorzieningen/ictol/ projecten/idemdito). Frank Benneker van de Universiteit van Amsterdam (UvA) sprak over het project Proeven aan Proeve, de ontwikkeling van een campusbreed digitaal toetslandschap. In tegenstelling tot de RUG kiest de UvA voor meer dan één systeem voor digitaal toetsen, namelijk het systeem dat het best bij een bepaalde toetscyclus past. Een belangrijke succesfactor is de docentparticipatie. ‘Early adopters’ kunnen andere docenten enthousiasmeren. Ook Heino Logtenberg van Saxion Hogescholen noemde de betrokkenheid van de gebruikers de belangrijkste reden waarom de implementatie kan slagen. Er zijn vier partners: technisch beheer, technisch applicatiebeheer, functioneel beheer en de toepassers in het onderwijs. Als één van deze partners ‘nee’ zegt, lukt het niet, ongeacht of het geselecteerde toetssysteem uitstekend is. Tussen de presentaties door kregen klanten van de negen aanwezige toetssystemen precies vijf minuten om de zaal te vertellen waarom het door hun gekozen toetssysteem het beste was. Ook was er ruimte voor discussie met de leveranciers over de toekomst van digitaal toetsen en de manier waarop hun producten daarop inspelen. Alle systemen zijn inmiddels ‘web based’ en bij de meeste kan ook gewerkt worden met een i-pad. Ontwikkelingen worden verwacht op het gebied van individualisatie (iedereen zijn eigen toets), samenwerken tussen item- en toetsontwikkelaars en scholen (kwaliteitsverbetering) en op het gebied van persoonsherkenning voor de controle dat de juiste persoon de toets maakt. Slechts één van de aanwezige systemen kan adaptief toetsen. Mw. drs. J. ter Burg, JTB Toetsrealisatie en Advies, is onderwijskundige en redacteur van EXAMENS. E-mail: info@toetsrealisatie.nl.
Gratis
lees meer

Schrijf je in voor de nieuwsbrief en blijf op de hoogte!

Op weg naar ruimte en vrijheid

Crisis als aanleiding om inzicht te vergroten in (je) identiteitswerk

Datum:
Locatie:

Download gratis deze white paper