Vorige week heb ik bij SURF in Utrecht de presentaties bezocht van de uitkomsten van een zevental pilots binnen het hoger onderwijs met learning analytics (LA). Hoewel LA nog in de kinderschoenen staat, zijn de verwachtingen over de mogelijkheden en waarde voor het onderwijs hoog gespannen. De pilots zijn geïnitieerd met steun van Surf vanuit een verkennend oogpunt.

Learning Analytics?
Als docenten en studenten gebruik maken van onderwijsapplicaties laten ze daar hun sporen achter. Applicaties gaan steeds verder in het vastleggen van docent- en studentgedrag in de vorm van data. LA gaat over het verzamelen, relateren, analyseren en presenteren van die data, bijvoorbeeld in gevisualiseerde overzichten. Op basis van de  inzichten die dat oplevert, kunnen docenten en studenten bepaalde interventies doen binnen het onderwijs die het leren zelf of de leeromgeving verbeteren. Voor meer informatie, lees ook mijn verslag van het seminar learning analytics uit 2011. Lees ook mijn impressies van de pilots verder in dit bericht. Of bekijk onderstaand filmpje waarin Erik Duval uitlegt wat Learning Analytics is.

 [youtube]http://www.youtube.com/watch?v=OI5FhTcrIsE[/youtube]

Professor Erik Duval (KU Leuven) over learning analytics (20 minuten)

Wat viel me op bij de pilots?

• Alle pilots zijn uitgevoerd door of hebben plaatsgevonden binnen het universitaire onderwijs. Het HBO was niet vertegenwoordigd.
• Learning analytics is zo makkelijk nog niet. De dataset moet goed op orde zijn en dat was in de pilots niet altijd het geval. Je hebt dan wel mooie visualisaties, maar wat zeggen die eigenlijk? Overigens kan men zich die vraag ook stellen als de data wel op orde is. Enige voorzichtigheid met het trekken van conclusies moet in acht worden genomen.
• Het genereren van betekenisvolle visualisaties is niet eenvoudig. Hoe biedt je de informatie zo aan dat die betekenisvol is voor de gebruiker (docent of student) en dat de gebruiker daar actie op kan baseren?
• De meeste pilots waren met name gericht op het genereren van informatie uit datasets en het gebruik van allerlei tools en technieken daarbij. Het aspect wat een docent of student er daarna mee doet en welk resultaat dat oplevert, werd minder expliciet belicht.
• Er is nog veel onduidelijkheid wat betreft privacy issues en learning analytics.

Uit de pilots viel me op dat Learning analytics vooral nog het domein lijkt te zijn van wetenschappers en beheerders. Er is nog een slag te slaan wil het echt laagdrempelig toepasbaar zijn voor de doelgroep waarvoor het is bedoeld: docenten en studenten. In moderne educatieve ICT middelen worden steeds vaker analytics toepassingen geïntegreerd. De mogelijkheden voor gebruik ervan gaan zeker toenemen. De pilots van SURF laten heel duidelijk zien waar de uitdagingen voor de toekomst liggen!

Lees hieronder meer over de uitgevoerde pilots. Pilots
Hieronder volgt een korte impressie van de uitgevoerde pilots met links naar meer informatie. Ik heb de presentaties van 6 pilots bijgewoond.

Profanalytics (Universiteit Maastricht)
De UM heeft LA ingezet mbt digitale voortgangstoetsing voor studenten Geneeskunde. Er wordt gebruik gemaakt van een voortgangstoets over de gehele stof met zo’n 200 vragen die door zo’n 8000 studenten (ook van andere universiteiten) wordt gemaakt. De UM heeft analytics gebruikt om het gebruik van de voortgangstoets door studenten te relateren aan de scoreresultaten van studenten. Kortom: leidt een bepaalde wijze van gebruik van de voortgangstoets tot betere of slechtere score resultaten? Men heeft gebruikt gemaakt van de analytics tool Piwik Voor meer informatie en de resultaten, zie http://profanalytics.blogspot.nl/

Gebruik van Blackboard Early Warning System (TU Delft)
De pilot van de TU Delft focuste zich op het gebruik van het Early Warning System (EWS) van Blackboard. Het EWS heeft als doel om op een eenvoudige manier de voortgang van studenten in een Blackboard Course te monitoren en feedback te geven. Docenten kunnen vooraf regels opstellen waarop zij de voortgang willen controleren. Er zijn 3 mogelijke regels: laatste bezoek aan de Blackboard Course, uiterste inleverdata en behaalde cijfers. Men wilde onderzoeken of de inzichten die het GWS genereert studenten behoeden voor uitstelgedrag en daarmee studievertraging.

Uiteindelijk heeft men niet kunnen achterhalen of het gebruik van het EWS effect heeft op het uitstelgedrag van studenten. Daarvoor was de pilot te klein. Wel werd het gebruik van EWS door docenten en studenten goed gewaardeerd. Studenten waardeerden bijvoorbeeld de mogelijkheid om een “to do” list uit te draaien. Voor meer informatie, zie deze blog van Ellen Zillig.

User needs van docenten en studenten bij learning analytics (VU en UVA)
Bij de VU en UVA heeft men geïnventariseerd waar de behoeften liggen van docenten en studenten wat betreft learning analytics. Vervolgens heeft men met speciale analytics tools een aantal van die behoeften (met name van docenten) vertaalt in learning analtytics. Docenten wilden vooral weten hoe studenten de digitale leeromgeving gebruiken en dan met name hoe ze door de inhoud navigeren. Welke documenten (bronnen, opdrachten, etc) worden wanneer bekeken, hoe vaak, in welke volgorde, etc. Zijn daar patronen in te herkennen? Kunnen studenten worden ingedeeld in categorieën en hoe relateren die aan de studentscores? Learning analytics is gebruikt bij het vak Wiskunde. Uit de analyses bleek dat studenten met een hoger cijfer meer leermiddelen hadden bekeken.  Docenten gaven aan dat de informatie ze heeft geholpen bij het bepalen van de inhoud van colleges en dat ze bewuster omgaan met wanneer ze welke informatie op de digitale leeromgeving plaatsen.

Ook interessant vond ik de resultaten van de  inventarisatie die de VU/UVA had gedaan onder studenten. Een ruime meerderheid van de studenten gaf aan dat:

• zij wil zien hoe ze presteren tov de groep
• zij zelf wil bepalen met wie zij gegevens voortkomend uit de analytics delen
• zij feedback die LA op hun presentaties kan geven NIET confronterend vindt
• zij vindt dat er regel- en wetgeving moet komen over misbruik van data (57%)

Pinpoint (UT Twente)
Uitgever Thieme Meulenhof biedt digitale educatieve content aan, oa voor tablets, waarin de mogelijkheid zit voor leerlingen om die content te annoteren. Dat doen ze door een zogenaamde “pinpoint” aan de tekst toe te voegen. Dat is een marker met daarbij een stukje informatie (tekst). Die informatie kunnen gedachtenkronkels zijn, verbeteringen of aanvullingen, etc. Veel van die digitale lesboeken zijn gebundeld in het pakket Schooltas.

De UT Twente heeft al deze pinpoints ingeladen in een database en men is die gaan analyseren. Lees de analyse en conlusies in deze blogpost van Anjo Anjewierden en Hannie Gijlers.

Learning analytics voor managers (Universiteit Leiden)
In Leiden heeft men een learning analytics dashboard ontwikkelt dat inzicht geeft in de key performance indicatoren van de vakken behorende bij de bachelor Computer Science. Deze indicatoren zijn: studentscore, evaluatiescore van het materiaal en evaluatiescore voor de docent. De data die hierachter zit gaat tot 7 jaar terug. Met behulp van het dashboard kan men vakken met elkaar vergelijken binnen een bepaald studiejaar, maar ook de ontwikkeling van een vak over de jaren heen weergeven. Voor meer informatie, zie deze blog van Arno Knobbe.  Uit de presentatie van Arno bleek overigens dat de data niet altijd zuiver was. Niet alle docenten vullen de informatie over hun vak op dezelfde manier in, bijvoorbeeld sommige docenten registreerden onvoldoendes niet en sommige wel. De gevisualiseerde overzichten zijn heel mooi, maar moesten soms met een korreltje zout worden genomen.

UVA sociale wetenschappen
Sijo Dijkstra van de UVA ging in zijn presentatie niet zozeer in op wat hij precies heeft gedaan, maar meer op waar hij is tegenaangelopen bij de toepassing van learning analtyics. De proef richtte zich op de inzet van learning analytics om inzicht te krijgen in het moment waarop studenten content downloaden uit Blackboard. Ze hebben daarvoor de analytics tool Piwik gebruikt.  De proef is gedaan bij sociale wetenschappen.

Sijo wees vooral op de complexiteit van learning analytics: de validiteit van de gegenereerde overzichten, wat zegt de data eigenlijk? Ook wees hij op de tekortkomingen van de tool Piwik. De tool kan makkelijk worden gemanipuleerd door studenten en registreert geen “non-activity”. In de praktijk stuitte hij bij sociale wetenschappen op veel terughoudendheid ivm privacy (big brother). Hij pleit er dan voor om vooraf goed na te denken over de didactische waarde ervan en beleid/richtlijnen te ontwikkelen over het gebruik van de informatie (juridisch). Er moet draagvlak voor learning analytics worden gecreëerd is één van zijn belangrijkste lessons learned.