logo-professioneel-begeleiden logo-professioneel-begeleiden
Filters

Alle artikelen - Abonneer je nu!

Gezien en gelezen

Auteur: Desirée Joosten-ten Brinke

Eggen, T.J.H.M. & Veldkamp, B.P. (2012). Psychometrics in practice at RCEC. Enschede: RCEC, Cito/University of Twente, 180 pp. Te downloaden als pdf: http://dx.doi.org/10.3990/3.9789036533744 Ter gelegenheid van het afscheid van Piet Sanders bij Cito heeft het Research Center voor Examinering en Certificering (RCEC), een samenwerkingsverband van de Universiteit Twente en Cito, het boek Psychometrics in Practice at RCEC uitgebracht. Het boek bestaat uit dertien hoofdstukken met een variatie aan onderwerpen. In het eerste hoofdstuk begint Cees Glas zijn inleiding met een anekdote waarmee een link gelegd wordt tussen de inhoud van het hoofdstuk en Piet Sanders. Gezien de context waarin dit boek is uitgegeven erg leuk en het is dan ook jammer dat daar in de rest van het boek niets meer van terug te zien is. Zo’n inleiding maakt het hoofdstuk persoonlijker en was voor mij al een reden om het in zijn geheel te lezen. De samenstelling van het boek is zodanig dat het absoluut niet van voor tot achter gelezen hoeft te worden. Elk hoofdstuk is zelfstandig te lezen en daardoor is selectie op basis van onderwerpen goed mogelijk. Het is een goede keuze geweest van de samenstellers om de (cito-)horizon te verbreden door naast de strikt psychometrische onderwerpen ook hoofdstukken op te nemen die betrekking hebben op toetskwaliteit in het algemeen. Hiermee is het boek voor een bredere doelgroep interessant. Kortom, een goed boek dat de laatste stand van zaken weergeeft van het onderzoek dat uitgevoerd wordt bij het RCEC.Het eerste hoofdstuk (‘Generalizability Theory and Item Response Theory’, Cees Glas) geeft aan hoe de generaliseerbaarheidstheorie en de itemresponstheorie geïntegreerd kunnen worden, terwijl dat jaren geleden nog onmogelijk leek. In het tweede hoofdstuk (‘Computer Adaptive Testing Item Selection in Computerized Adaptive Learning Systems’, Theo Eggen) wordt de methode van itemselectie bij adaptief toetsen gebruikt in de context van formatief beoordelen waarbij ondersteuning van het leerproces belangrijk is.Anton Béguin beschrijft in zijn hoofdstuk (‘Use of Different Sources of Information in Maintaining Standards: Examples from the Netherlands’) drie manieren voor het bepalen van normen en standaarden bij toetsen. De methodes worden beschreven aan de hand van drie praktijksituaties: de entreetoets voor de pabo’s voor rekenen en taal, het Centraal Schriftelijk Eindexamen van het voortgezet onderwijs en de Cito eindtoets voor het basisonderwijs. Hoofdstuk 4 (‘Ensuring the Future of Computerized Adaptive Testing’, Bernard Veldkamp) gaat in op de risico’s bij ‘computer adaptive testing’ en geeft een methode om die risico’s in te perken, zodanig dat de voordelen van een adaptieve toets - een beperkte toetslengte – bewaard worden. In hoofdstuk 5 gaan Qiwei He en Bernard Veldkamp (‘Classifying Unstructured Textual Data Using the Product Score Model: An Alternative Text Mining Algorithm’) in op het beoordelen van geschreven teksten. Psychometrisch leveren deze assessmentvormen problemen op voor analyse, maar door middel van ‘text mining’ is het, op termijn, mogelijk om ook deze assessmentvormen goed te analyseren. Hoofdstuk 6 (‘Minimizing the Testlet Effect: Identifying Critical Testlet Features by Means of Tree-Based Regression’, Muirne Paap en Bernard Veldkamp) beschrijft hoe je om kan gaan met toetsen waarbij er tussen sommige items een afhankelijkheid zit. In dat geval is de standaard IRT-methode niet toereikend. Hoofdstuk 7 (‘Mixed Methods: Using A Combination Of Techniques To Assess Writing Ability’, Hiske Feenstra) laat zien dat een combinatie van (indirecte) beoordelingen een bijdrage kan leveren aan het verhogen van de validiteit, betrouwbaarheid en objectiviteit van het beoordelen van de schrijfvaardigheid. Hierbij wordt ervan uitgegaan dat verschillende aspecten van de schrijfvaardigheid verschillende beoordelingsmethoden vereisen. Maarten Marsman, Gunter Maris en Timo Bechger schrijven in hoofdstuk 8 (‘Don’t tie yourself to an onion: Don’t tie yourself to assumptions of normality’) hoe je om kan gaan met gegevens waarbij de vaardigheidsverdeling niet voldoet aan de eisen van een normale verdeling. Hoofdstuk 9 is geschreven door Saskia Wools (‘Towards a comprehensive evaluation system for the quality of tests and assessments’). Uitgangspunt van het hoofdstuk is dat toetskwaliteit afhankelijk is van het doel van de toets. In dit hoofdstuk worden verschillende beoordelingssystemen, zoals het COTAN beoordelingssysteem en de ETS ‘standards’, met elkaar vergeleken en worden ontwerprichtlijnen gegeven. Hoofdstuk 10 (‘Influences on classification accuracy of exam sets: an example from vocational education and training’, Marianne Hubregtse en Theo Eggen) beschrijft een studie in het mbo waarbij gekeken is hoe nauwkeurig beoordelingen zijn bij het gebruik van een combinatie van examens. Daarbij is tevens gekeken wat het effect is van compensatieregels. In hoofdstuk 11 geeft Maaike van Groen verschillende mogelijkheden voor het gebruik van ‘computerized classification testing’ bij verschillende toetsdoelen: selectie, classificatie, plaatsing of certificering. Hoofdstuk 12 beschrijft hoe computer gebaseerde toetsen bijdragen aan vernieuwingen ten aanzien van itemvormen, antwoordmogelijkheden, gebruik van multimedia, mate van interactie en scoringsmethoden (‘An overview of innovative computerbased testing’, Sebastiaan de Klerk). Tot slot beschrijven Jorine Vermeulen en Fabienne van der Kleij in hoofdstuk 13 (‘Towards an integrative formative approach of data-driven decision making, assessment for learning, and diagnostic testing’) drie methoden van beoordelen die bijdragen aan de kwaliteit van leren. Hierbij bespreken zij hoe deze methoden gezamenlijk bijdragen aan de formatieve benadering van toetsing. Mw. dr. Desirée Joosten-ten Brinke is redacteur van EXAMENS, lector Eigentijds toetsen en beoordelen bij Fontys lerarenopleiding Tilburg en universitair docent bij de Open Universiteit. E-mail: desiree. joosten-tenbrinke@ou.nl, d.tenbrinke@fontys.nl.
Gratis
lees meer

Spring toch niet in de sloot!

Auteur: Silvester Draaijer

Spring toch niet in de sloot! Dat is een uitdrukking die ik wel eens gebruik als ik vind dat een van mijn kinderen zijn oren te veel laat hangen naar een ander kind. Als je een nogal beïnvloedbaar kind hebt, wordt het bijvoorbeeld meegezogen in brutaal gedrag van een ander kind. Zo’n onopgevoed kind brengt je eigen kind op het verkeerde pad. En dat terwijl je zo je best hebt gedaan om van je eigen kind een weerbaar jong mens te maken, niet één of andere meeloper! Op dat moment komt die uitdrukking goed van pas. Je spreekt je eigen kind toe met de woorden: “Als jouw vriendje je vraagt om in de sloot te springen, spring jij er dan in ….?” Als het goed is begint je kind dan met “hrmmm … hrrmmmmm, nee natuurlijk niet pap, het is toch stom om dan in de sloot te springen.” Zo worden je kinderen ontvankelijk voor een gesprek en hoop je dat ze gaan inzien wat ze doen en dat ze zullen proberen hun gedrag te veranderen. Het punt van deze column: Is er een brutaal kind in de toetswereld dat aan andere kinderen opdraagt om zich slecht te gedragen? Ja, in de toetswereld zijn zulke kinderen. Natuurlijk niet letterlijk kinderen, maar wel invloeden van experts en professionals in het veld die iets uitlokken waar je eigenlijk niet op zit te wachten. Waar praat ik over? Ik praat over de welbekende taxonomie van Bloom, jawel, die uit de jaren ‘50 van de vorige eeuw. Deze taxonomie wordt door onderwijskundigen en toetsontwikkelaars op grote schaal gebruikt om toetsvragen volgens een bepaalde cognitieve indeling te construeren. De taxonomie van Bloom is een prescriptieve cognitieve gedragstaxonomie. Uit onderzoek blijkt echter dat de validiteit van het model eigenlijk noch bevestigd noch verworpen kan worden. Toetsvragen die gebaseerd zijn op een dergelijke taxonomie, worden niet eenduidig geïnterpreteerd. Al in 1976(!) stelden Semb & Spencer vast dat docenten en getrainde beoordelaars items zeer verschillend categoriseerden. In hun onderzoek ging het om de categorieën ‘recall questions’ en ‘higher level thinking’. Docenten plaatsten een item vaker in de categorie ‘higher level thinking’. Ook is het zo dat de moeilijkheidsgraad van gesloten vragen verhoogd kan worden door bijvoorbeeld de afleiders van de vraag conceptueel heel dicht in de buurt van het correcte antwoord te leggen. Verder is bekend dat gevorderden minder denkwerk verrichten om een probleem op te lossen dan beginners. Volgens sommige onderzoekers bestaat er eigenlijk alleen zoiets als ‘fluid’ en ‘crystallized’ intelligentie. Kortom, het gebruik van Bloom’s taxonomie als basis voor toetsvraagconstructie is op zijn minst twijfelachtig. Dat geldt vooral voor de hogere orde vaardigheden. We weten simpelweg niet welk denkproces een student uitvoert als deze een vraag beantwoordt. Sommige auteurs op het terrein van toetsvraagontwikkeling stellen dat elk domein en elke toets in feite een eigen taxonomie moet ontwikkelen, geschikt voor dat specifieke doel. Er zijn pogingen ondernomen om alternatieve taxonomieën te ontwikkelen. Op basis daarvan zouden toetsvragen beter te ontwikkelen en te classificeren zijn. Het gaat dan met name om welk type taak iemand moet kunnen uitvoeren. Door Anderson en Krathwohl is de taxonomie van Bloom aangepast, maar ik vind dat deze zijn waarde in de toetspraktijk nog moet bewijzen. Hetzelfde geldt voor de SOLO taxonomie van Gibbs. Mijn advies: gebruik de LOGIQ taxonomie van Williams en Haladyna. Deze taxonomie heeft nooit een brede bekendheid verworven en hoegenaamd geen navolging. Dat is jammer. Ik kan u er meer over vertellen, stuur me een e-mail. Doordat we met ons allen denken dat Bloom ‘de enige juiste taxonomie’ heeft bedacht en wij er stug aan vasthouden, pretenderen we iets dat we eigenlijk niet kunnen rechtvaardigen. Er is nauwelijks een goede reden om toetsvragen te construeren op basis van Bloom. Dat lijkt me niet goed. We doen iets wat we niet zouden moeten willen. En eigenlijk, eigenlijk springen we met ons allen voortdurend in de sloot omdat Bloom dat zei.   De heer ir. S. Draaijer is onderwijskundig adviseur bij de afdeling hoger onderwijs van het Onderwijscentrum van de Vrije Universiteit Amsterdam. E-mail: s.draaijer@vu.nl.
Gratis
lees meer

PROVE2MOVE – Kwaliteit en samenwerking

Auteur: Ad de Jongh en Annemarie de Knecht-van Eekelen

Aanleiding voor dit gesprek was het symposium dat PROVE2MOVE organiseerde ter gelegenheid van het 12½-jarig bestaan in 2011. Op die feestelijke bijeenkomst werd de naam van Examenbank RBA4 gewijzigd in PROVE2MOVE. Onder deze naam is de organisatie nu ruim een jaar werkzaam. Wij spreken met Cor Dijks, voorzitter van het bestuur en Jane Groenendijk, manager Achtergrond In 1997 ontstond Examenbank RBA4 als antwoord op de herstructurering van het gezondheidszorgonderwijsin dat jaar. Het toenmalige in-service onderwijsen het dagonderwijs in de verpleging en verzorgingwerden samengevoegd. In die periode was een aantalscholen betrokken bij het opleiden van verzorgendenen verpleegkundigen in Oost-Nederland, te wetenvier roc’s (Twente-plus, Oost-Nederland, Deltion enLandstede) en vier scholen voor in-service onderwijs(’t Venderink, de Hocht, de Schans en School voorGezondheidszorg in Zwolle). Deze scholen wilden dedoor het ministerie van OCW gewenste nieuwe vormvan verpleegkundig onderwijs voor de regio realiseren.Daartoe moesten zij een licentie van de overheidkrijgen. Na het nodige overleg, inclusief nachtelijkeonderhandelingen, slaagden de genoemde scholenerin om tot een samenwerkingsverband te komenmet de benodigde licentie. Vanaf dat moment konworden gewerkt aan de inhoud van het onderwijsen de examinering. Gezamenlijke examinering waseen van de speerpunten van het nieuwe beleid. Zoontstond de samenwerking in RBA4 (Regionale BesturenArbeidsvoorziening 4) met als doel examens voorde opleidingen verplegenden en verzorgenden teontwikkelen.Er is toen gekozen voor de vorm van een coöperatie.De directeuren van de roc’s vormen nu het bestuur.Cor Dijks, directeur Gezondheidszorg, Welzijn &Sport van Deltion College in Zwolle, is voorzittervan het bestuur van PROVE2MOVE. Het bestuur vande coöperatie wordt gevormd door de directeurenvan de roc’s. De Colleges van Bestuur van DeltionCollege, Landstede en ROC van Twente zijn de leden.De coöperatie kent geen groeidoelstelling; wel eenkwaliteitsdoelstelling: het leveren van kwalitatiefhoogstaande examens..........        >>
Gratis
lees meer

EXAMENS 2012-2 Volledige uitgave

INHOUD EXAMENS 2012-02 mei 2012 Werken met datateams op scholen, Geen onderbuikgevoelens, maar data Kim Schildkamp Naar een centrale itembank. Voorbeelden uit opleidingen in de financiële sector, Olaf McDaniel Gastcolumn. Ruilen? Silvester Draaijer Terecht of niet? Eens coulant, altijd coulant, Henk van Berkel Een psychometrische analyse van een itembank geschikt voor een computergestuurde adaptieve toets? Jorien Doets Uit de praktijk Nulmetingen Taal en Rekenen in het mbo, Nes van Hulzen Slecht gelezen of slecht geleerd? - 2. Situatieschetsen en informatieopbouw in vmbo-examens, Jacqueline Evers-Vermeul & Jentine Land Het College voor Examens - Examineren is oogsten,  Alex van de Kerkhof en Annie Kempers-Warmerdam Informatie: De inspectie en examenleveranciers voor het mbo Gezien en gelezen: Het platform digitaal toetsen, Desirée Joosten-ten Brinke Literatuur/Agenda Wie zijn wij Verenigingsnieuws   Selecteren aan de poort. We ontkomen er niet aan dat iedere nieuwe bewindvoerder op het onderwijsministerie beleidswijzigingen gaat voorstellen. Daar is op zichzelf niets op tegen. Wanneer de politieke kleur van de regering verandert, volgen er beleidwijzigingen. Zo ook door de huidige bewindsman, staatssecretaris Zijlstra. Hij komt met plannen voor een meer decentrale selectie voor die universitaire opleidingen waar het aantal studieplaatsen kleiner is dan het aantal gegadigden. Tot op heden was het beleid: centrale gewogen loting. Dat beleid is tot stand gekomen na een lange discussie in de jaren zeventig van de vorige eeuw. Het was een typisch Nederlands compromis tussen enerzijds gelijke kansen voor iedereen en anderzijds een beloning voor leerlingen die op het vwo hoge cijfers haalden. Het systeem heeft een kleine veertig jaar standgehouden. Niet dat iedereen er gelukkig mee was, maar er was niets beters te bedenken, zoals een commissie onder voorzitterschap van professor Drenth rond de eeuwwisseling concludeerde. Een nieuw argument voor een sterker accent op selecteren is van recente datum. Dit is het argument ‘studierendement’. De rendementen in het hoger onderwijs worden te laag geacht en met behulp van een zorgvuldig selectiemechanisme zou het mogelijk moeten zijn die rendementen te verbeteren. Hoe graag we het ook zouden willen, een hoger rendement met behulp van beter selecteren is niet te realiseren. Studieresultaten in het verleden behaald, zijn geen garantie voor toekomstig succes. Daar heb ik in 2004 in dit tijdschrift ook al eens op gewezen. De Leidse universiteit heeft de effecten van selectie aan de poort in praktijk laten onderzoeken, met als resultaat dat het experiment is stopgezet. De kosten zijn hoog en de opbrengsten gering. Natuurlijk moeten studenten gemotiveerd zijn om een universitaire studie met succes te kunnen volgen. Men wil motivatie gaan meten via toelatingsgesprekken die opleidingen met de aanmelders gaan houden. Daar zitten wel wat addertjes onder het gras. Niet alleen is motivatie te ‘faken’, maar aanmelders zullen zich ook terdege voorbereiden op een dergelijk gesprek. Naast uiteraard de inhoud van het gesprek, blijkt uit onderzoek dat beoordelaars zich laten (ver)leiden door doorgaans irrelevante zaken als kleding, kapsel, gebit, wellevendheid, en dergelijke. Toelatingsgesprekken worden op die manier toneelstukjes waarin de spelers hun rollen spelen. Het Nederlandse voortgezet onderwijs is een van de meest selectieve in de westerse wereld. De groep vwo-gediplomeerden is daarvan de top. Verdere selectie in die groep leidt tot buitensporig veel selectiefouten. Dat wil zeggen, veel verkeerde studenten worden binnengelaten en veel geschikten blijven buiten de poort staan. Dat kan toch niet de bedoeling zijn. De rendementen kunnen inderdaad omhoog, maar de energie die selectie aan de poort kost, kan beter worden gestoken in vernieuwingen van onderwijsprogramma’s en examenmethodieken. Daar is grote winst te behalen.   De heer dr. H.J.M. van Berkel is hoofdredacteur van EXAMENS en werkzaam aan de Universiteit Maastricht. E-mail. h.vanberkel@maastrichtuniversity.nl.

€ 6,95

Schrijf je in voor de nieuwsbrief en blijf op de hoogte!

Op weg naar ruimte en vrijheid

Crisis als aanleiding om inzicht te vergroten in (je) identiteitswerk

Datum:
Locatie:

Download gratis deze white paper