Binnen de HAN worden steeds meer activiteiten op het gebied van digitale toetsing ontplooid. Digitale toetsing kan namelijk meerwaarde bieden bij alle fases uit de toetscyclus. Mede daarom is er eind 2015 door toetscollega’s uit het onderwijs en het Digitaal Toets team van SU OO & SZ een onderzoek gedaan, binnen het onderwijs, naar waar in de toetscyclus vooral behoefte is aan een digitale component. Op basis van dit onderzoek zijn er een viertal digitale toetspilots gedraaid. Op 7 december j.l. is in een etalagebijeenkomst gepraat over de opzet, opbrengst en vervolg op deze pilots.

De etalagebijeenkomst begon met een plenair deel, dat geopend werd door Michel Kao. Michel neemt ons eerst mee in de totstandkoming van de pilots. Hij vertelt dat er uit het behoefteonderzoek, dat onder 500 OWE-eigenaren werd uitgezet, in eerste instantie 7 toets-thema’s kwamen. Deze zijn voorgelegd aan meerdere leveranciers van digitale producten, die op een leveranciersdag de mogelijke inzet van deze producten aan het onderwijs hebben gepresenteerd. Hieruit zijn uiteindelijk vier verschillende digitale toets pilots gekozen, met als doel om met collega’s uit het onderwijs, de leverancier, adviseurs en functioneel beheer ervaring op te doen met het digitaal middel binnen een thema. De vier pilots waren:

• Digitaal Inleveren en beoordelen met Gradework
• Beoordelen van open vragen met Codas
• Toetsend leren van taalvaardigheid met Cirrus en QMP
• Ontwikkelingsgericht toetsen met video en peerfeedback met Kaltura

De pilots hebben gedraaid van zomer 2016 tot in 2017 en er was €5000 per pilot beschikbaar.

Vier pilots uiteengezet

Van alle pilots waren er collega’s aanwezig die iets konden vertellen over hun ervaringen met het digitale component. De eerste collega’s die hier iets over kwamen vertellen waren Jelte v/d Velde en Erik Dortmans van  Pedagogiek. Zij hebben Gradework uitgeprobeerd in het kader van de pilot digitaal inleveren en beoordelen. De aanleiding voor hen om mee te doen met de pilot was dat er bij Pedagogiek nog veel op papier ingeleverd werd. Daar waar al wel gebruik werd gemaakt van een digitaal inleverpunt ontbrak nog een ingebouwde plagiaatcheck en bovendien was het niet mogelijk om videobestanden in te leveren. De pilot hebben ze gedraaid met twee groepen, waarbij de studenten het werk zowel in het bestaande systeem als in Gradework hebben ingeleverd. De reacties van studenten en docenten op het systeem waren erg positief. Met name de snelheid, overzichtelijkheid en gebruiksgemak werden genoemd als pluspunten. Daarbij ondersteunt Gradework beoordelen in het systeem, waardoor het ingeleverde werk en het beoordelingsformulier op één scherm kan worden getoond. Het studentmateriaal kan daardoor sneller worden nagekeken. Pedagogiek was graag verder gegaan met Gradework, maar o.a. vanwege het budget was dit helaas niet mogelijk.

Irene Geurts, van HBO-rechten, vertelde over de pilot die zij hebben gedraaid met het programma Codas; een systeem dat het beoordelen van open vragen moet vergemakkelijken. De aanleiding om mee te doen was de grote stapel essays die elke week nagekeken moeten worden, met telkens een doorlooptijd van slechts 1 week. Irene vertelt dat Codas niet voor je nakijkt, maar je hier op basis van een wiskundig model wel in ondersteunt. Het werkt als volgt: je voert in het systeem in wat hele goede en hele slechte antwoorden zijn. Van beide uitersten moet je er drie invullen. Vervolgens maakt Codas een overzicht voor je met alle antwoorden gesorteerd van goed naar slecht. Irene vertelt dat ze dan nog steekproefsgewijs door de antwoorden heen gaat, waarbij je de beoordeling kan aanpassen. Op basis van die aanpassingen berekent Codas alles opnieuw en is op die manier een lerend systeem. Hoe groter de database is, hoe nauwkeuriger Codas wordt. Ondanks de positieve ervaringen met Codas heeft HBO-rechten besloten om niet verder te gaan met het programma, omdat de integratie tussen het digitale inleverpunt en Codas niet optimaal was waardoor het geheel niet gebruiksvriendelijk genoeg is.

De derde pilot werd toegelicht door Remko Bosch van het instituut Toegepaste Biowetenschappen en Chemie. Zij hebben een combinatie van de applicaties Cirrus en QMP uitgeprobeerd om het leren van Engels te ondersteunen. QMP werd hierbij gebruikt voor formatief toetsen van de lees- en luistervaardigheid en Cirrus voor het afnemen van formatieve schrijfvaardigheidstoetsen. Remko geeft aan dat het instituut een positief gevoel heeft overgehouden aan de pilot. Met name het inzicht in de statistiek, o.a. welke vragen goed zijn gemaakt, dat het digitaal afnemen met zich meebrengt noemt hij als een pluspunt. Ze blijven daarom in ieder geval QMP gebruiken na de pilot. Voor Cirrus is dat nog onbekend.

Voor uitleg over de vierde en laatste pilot komt Marjo Maas van fysiotherapie aan het woord. Bij haar vak wordt er veel gewerkt met performance assessments en dit is volgens Marjo ook echt een doe-vak. Toetsing gebeurt vaak door mensen uit het werkveld en blijft daardoor buiten het gezichtsveld van de docent. Dit kan problematisch zijn, omdat wat goed en niet goed is binnen dit vak niet altijd wordt ondersteund door onderzoek en dus deels een mening is. Het is dus van belang om te toetsen vanuit verschillende perspectieven, waarbij het werkveld kan afwijken van de opleiding. Daarbij komt dat de opleiding fysiotherapie de student als partner ziet en daarom peerfeedback wil toepassen. Dit alles komt samen in de pilot die zij hebben gedraaid met Kaltura. In dit systeem kunnen video’s van de performance assessment worden ingeleverd. Vervolgens reflecteert de student op zijn eigen handelingen. Daarna geven medestudenten aanvullende feedback; ze mogen dus niet herhalen wat in de zelfreflectie is gezegd. Als laatste geeft de werkveldbegeleider nog een terugkoppeling, zodat alle feedback uiteindelijk is gegeven. Bij fysiotherapie wordt deze werkwijze formatief ingezet, maar in Kaltura kan desgewenst ook een beoordeling worden gegeven.

Interesse om aan te sluiten bij een vervolg van een van de pilots? Meld je dan bij het digitaal toetsteam via digitaletoetsing@han.nl.