logo-professioneel-begeleiden logo-professioneel-begeleiden
Filters

Alle artikelen - Abonneer je nu!

Hoe selecteer ik een digitaal toetssysteem

Auteur: Jackelien ter Burg

Seminar op 13 september 2011 georganiseerd door de SURFacademy. Presentaties, weblectures en achtergrondinformatie: http://www.surf-academy.nl/ archief/event/?id=400. Dinsdag 13 september 2011 organiseerde SURFacademy het seminar ‘Hoe selecteer ik een digitaal toetssysteem?’ Op de website van SURFacademy is een brochure vinden waarin elf leveranciers de functionaliteit, gebruiksvriendelijkheid, infrastructuur en architectuur, financiële aspecten en toekomstvastheid van hun digitale toetssystemen beschrijven. Een toetssysteem of itembanksysteem is een applicatie waarmee men een grote set toetsvragen kan onderhouden, toetsen samenstellen en afnemen. In EXAMENS 3-2011 heeft Van der Wijk de praktijkervaringen met een itembanksysteem bij Hogeschool Windesheim beschreven. In dit seminar zijn negen toetssystemen gedemonstreerd: • Egel door Toko BV • Compass (voorheen TeleToets) door Atos • Leerstation Zorg door Stichting Leerstation Zorg • LPLUS door LPLUS gmbh • Maple TA door MapleSoft, distributeur CANdiensten • Quayn (WinToets) door De Rode Planeet • Questionmark Perception door Questionmark • Surpass door BTL Learning & assessment • TestVision door Teelen Kennismanagement Uitgaande van het motto ‘U bent niet alleen, we kunnen elkaar helpen’ kwamen ervaringen met het selecteren en instituutbreed implementeren van een digitaal toetssysteem in het hoger onderwijs aan de orde. In het proces van Beleid > Besluit > Selectie > Implementatie > Exploitatie staat de Rijksuniversiteit Groningen (RUG) nog aan het begin. Sake Jager, Andre Rosendaal en Floor Mulder van de RUG vertelden over het project Idem dito, waarbij ‘dito’ staat voor Digitaal toetsen. Dit project heeft tot doel om voor de RUG één digitaal toetssysteem te selecteren. Aan de hand van een uitgebreide criterialijst zijn vier toetspakketten gekozen die gepilot gaan worden (zie http://www.rug.nl/let/voorzieningen/ictol/ projecten/idemdito). Frank Benneker van de Universiteit van Amsterdam (UvA) sprak over het project Proeven aan Proeve, de ontwikkeling van een campusbreed digitaal toetslandschap. In tegenstelling tot de RUG kiest de UvA voor meer dan één systeem voor digitaal toetsen, namelijk het systeem dat het best bij een bepaalde toetscyclus past. Een belangrijke succesfactor is de docentparticipatie. ‘Early adopters’ kunnen andere docenten enthousiasmeren. Ook Heino Logtenberg van Saxion Hogescholen noemde de betrokkenheid van de gebruikers de belangrijkste reden waarom de implementatie kan slagen. Er zijn vier partners: technisch beheer, technisch applicatiebeheer, functioneel beheer en de toepassers in het onderwijs. Als één van deze partners ‘nee’ zegt, lukt het niet, ongeacht of het geselecteerde toetssysteem uitstekend is. Tussen de presentaties door kregen klanten van de negen aanwezige toetssystemen precies vijf minuten om de zaal te vertellen waarom het door hun gekozen toetssysteem het beste was. Ook was er ruimte voor discussie met de leveranciers over de toekomst van digitaal toetsen en de manier waarop hun producten daarop inspelen. Alle systemen zijn inmiddels ‘web based’ en bij de meeste kan ook gewerkt worden met een i-pad. Ontwikkelingen worden verwacht op het gebied van individualisatie (iedereen zijn eigen toets), samenwerken tussen item- en toetsontwikkelaars en scholen (kwaliteitsverbetering) en op het gebied van persoonsherkenning voor de controle dat de juiste persoon de toets maakt. Slechts één van de aanwezige systemen kan adaptief toetsen. Mw. drs. J. ter Burg, JTB Toetsrealisatie en Advies, is onderwijskundige en redacteur van EXAMENS. E-mail: info@toetsrealisatie.nl.
Gratis
lees meer

Politieman veroordeeld voor diefstal

Auteur: Silvester Draaijer

Niets doet het zo goed in de media als berichten in de trant van: ‘politieman blijkt dief’ of ‘rechter wordt beboet voor overtreding’. Of meer naar het onderwijs gekeken: ‘leerkrachten kunnen niet spellen’. Het gaat erom dat beoefenaren van een specifiek metier zondigen tegen hun eigen beginselen of in ieder geval de basisvaardigheden van het beroep niet blijken te beheersen. Een basisbeginsel voor goede toetsing is het uitgaan van het begrip betrouwbaarheid. De betrouwbaarheid van een toets moet zo hoog mogelijk zijn om het aantal studenten dat onterecht zakt of slaagt zo klein mogelijk te maken. Onbetrouwbare toetsen zijn volgens mij volop in omloop. Het opvallende is dat over het algemeen in de media nooit zaken verschijnen die gaan over de vermeende slechte psychometrische betrouwbaarheid van toetsen. Het is waarschijnlijk te ingewikkeld om aan het grote publiek een concept als Cronbach alpha uit te leggen en vervolgens aan te geven dat daar wat mis mee is. Als het toetsen en beoordelen betreft, gaat het in de media veel vaker over de situaties waarvan ook leken kunnen zien dat er problemen waren. Vooral de situatie dat de antwoorden op het tentamen al gepubliceerd waren op internet voordat de toets zou plaatsvinden. Valkuilen waarin iedereen kan vallen. Meestal is er overmacht in het spel. Ongelukkige samenlopen van omstandigheden. Het zal in de toekomst waarschijnlijk nog wel eens voorkomen. De media kunnen ook scoren met het naar buiten brengen van de veelvoorkomende ergernisvragen van studenten. Leg studenten een vraag voor waarin twee stellingen worden gepresenteerd met de alternatieven: A) stelling I onjuist, stelling II onjuist, B) stelling I juist, stelling II onjuist etc. Het gezucht en gekreun van de studenten is niet van de lucht. Of geef vragen waarin geen probleem wordt geformuleerd, maar waar studenten lange antwoordalternatieven met veel mitsen, maren en verbijzonderingen moeten interpreteren. Dit zijn typische vragen waarvoor elk handboek toetsontwikkeling waarschuwt. Ontwikkel dergelijke vragen niet! Voor het schrijven van deze column ben ik eens gaan rondstruinen op de sites van de verschillende leden van de NVE om hun demonstratietoetsen te bekijken. Zouden onze leden dergelijke toetsvragen presenteren als exemplars of best practices voor hun toetsen? Ik zou toch mogen hopen van niet. Helaas, op in ieder geval drie sites vond ik voorbeeldvragen met deze ‘beginnersfouten’. Nee, ik zal niet vertellen welke leden of toetsen dit betreft. Maar een kwalificatie in de trant van ‘toetsontwikkelaar zakt voor examen toetsvraagontwikkeling’ zou daar het best bij passen. Wat zou dit betekenen ten aanzien van de betrouwbaarheid van de door hen ontwikkelde toetsen vraag ik mij vervolgens af… De heer ir. S. Draaijer is onderwijskundig adviseur bij de afdeling hoger onderwijs van het Onderwijscentrum van de Vrije Universiteit Amsterdam. E-mail: s.draaijer@vu.nl. De redactie verwelkomt in 2012 een nieuwe columnist. Silvester Draaijer zal dit jaar zijn persoonlijke visie geven op toetsen en examineren. Hier treft u zijn eerste bijdrage die de lezers uitdaagt om te reageren.
Gratis
lees meer

EXAMENS 2011-04 Volledige uitgave

INHOUD EXAMENS 2011-04 november 2011 Studietoetsen: zinvolle inhoud of betrouwbare score? De standaardmeetfout is belangrijker dan de betrouwbaarheid, Klaas Sijtsma Digitaal toetsen met de landelijke kennistoetsbank voor de zorg Bruggen Bouwen tussen zorg en onderwijs, Wil de Groot-Bolluijt, Janske Rohof en Sigrid Vermin Een handreiking is niet genoeg Een reactie op ‘Geslaagd! - Handreiking examencommissies’ Jan Adema Terecht of niet? Facebook-informatie: privé? Henk van Berkel Gastcolumn De traditie van het rode potlood, Wynand Wijnen Uit de praktijk Van papieren naar digitale boekhoudexamens, Manon Bonefaas en Piet Philipsen Examens contactlensonderwijs Comakership tussen de branche Optiek en de Optiekopleidingen, Ad de Jongh, met medewerking van Ruud van ’t Pad Bosch, Mariëlle van Goor, Bernice Meester, Henk Eimers en William van der Zalm Gaat meetfout bij de rekentoets slachtoffers maken? Het effect van de rekentoets op het percentage misclassificaties, Robert Zwitser en Anton Béguin Kopstukken uit de examenwereld: Pieter Drenth - De man van wetenschap en bestuur, Henk van Berkel en Desirée Joosten-ten Brinke Gezien en gelezen Literatuur/ Agenda Verenigingsnieuws Onthul je kwaliteit Op vrijdag 23 september 2011 organiseerde QANU (Quality Assurance Netherlands Universities) een symposium met als titel Onthul je kwaliteit . QANU biedt hoger onderwijsinstellingen externe beoordelingen van hun onderwijs en onderzoek en geeft adviezen voor het verbeteren van hun interne kwaliteitszorg. Veel universiteiten vragen aan QANU begeleiding bij het accreditatieproces. Opleidingen in het hoger onderwijs moeten eenmaal per zes jaar hun kwaliteit kunnen aantonen om te worden geaccrediteerd. Een van de onderwerpen waarop opleidingen hun kwaliteit moeten aantonen is ‘Toetsen en Beoordelen’. Het symposium was bedoeld voor medewerkers die in het hoger onderwijs verantwoordelijk zijn voor het schrijven van de zogenaamde zelfstudies. Dit zijn documenten waarin opleidingen laten zien dat ze kwalitatief aan de maat zijn. Vandaar de titel Onthul je kwaliteit, met dus als invalshoek ‘Toetsen en Beoordelen’. Hoe kun je laten zien dat je op dat gebied de zaakjes goed op orde hebt? Zoals dat gaat op dergelijke symposia, er worden sprekers uitgenodigd die verstand van zaken hebben. In dit geval twee: Jaap Milius en Olle ten Cate, beiden verbonden aan de Universiteit Utrecht. Milius, docentenopleider en onderwijskundig adviseur met als expertise toetsen en beoordelen, beet het spits af. Hij koos de invalshoek van schriftelijke toetsen. Hij constateerde veel gemor bij docenten die door de sterkere nadruk op toetsen de bureaucratie zien toenemen, hun eigen autonomie zien afnemen en de onderwijskwaliteit teloor zien gaan omdat die ten koste gaat van de verhoging van de toetskwaliteit. Dat laatste is natuurlijk onzin omdat toetsen en onderwijs geen tegengestelde begrippen zijn. Integendeel, onderwijs en toetsen vormen samen een geheel (zie het artikel van Van der Vleuten in het vorige nummer van EXAMENS). Maar enfin, het zijn opvattingen van docenten. Hoe toon je kwaliteit van schriftelijke toetsen aan? In samenspraak met de aanwezigen ontstond het volgende lijstje: de aanwezigheid van een toetsplan met informatie over de toetsvorm, met een indicatie van het aantal toetsvragen, de compensatiemogelijkheden, de normering, de toegestane hulpmiddelen tijdens de toets, de specificatietabel en informatie over de herkansing, en na afloop van de toets dienen er psychometrische gegevens - betrouwbaarheid, percentage geslaagden, p-waarden en Rit´s - beschikbaar te zijn. Na Milius was het de beurt aan Ten Cate, directeur van het Expertisecentrum voor Onderwijs & Opleidingen van het UMCU, die als lid van visitatiecommissies zijn zienswijze vertelde over de kwaliteit van ‘Toetsen en Beoordelen’. Zijn motto was ‘Gerechtvaardigd Vertrouwen’. Visitatiecommissies beoordelen het verleden van opleidingen maar geven een accreditatie voor de toekomst. Dus, betoogde hij, moet je op zoek gaan naar aanwijzingen dat opleidingen ook in de toekomst kwalitatief goed zullen toetsen. Hij gaf het volgende rijtje: de juiste eindtermen moeten aanwezig zijn die op een goede manier zijn vertaald in studietoetsen, er moeten hoge slaagpercentages zijn in combinatie met een hoge studie-inzet van studenten (en geen hoge slaagpercentages met een lage studieinzet) en de toetsen moeten een goede psychometrische kwaliteit hebben. Laat zien dat je kwaliteit hebt. Dat lijkt me een mooie opdracht aan exameninstellingen Dat geeft gerechtvaardigd vertrouwen voor de toekomst.   De heer dr. H.J.M. van Berkel is hoofdredacteur van EXAMENS en werkzaam aan de Universiteit Maastricht. E-mail: h.vanberkel@maastrichtuniversity.nl.

€ 6,95

Schrijf je in voor de nieuwsbrief en blijf op de hoogte!

Op weg naar ruimte en vrijheid

Crisis als aanleiding om inzicht te vergroten in (je) identiteitswerk

Datum:
Locatie:

Download gratis deze white paper