Slimme inzet van Tech en Data in Onderwijs – Deel 1: Learning Analytics

Naar mijn idee zijn Technologie en Data de enablers van #onderwijs, nu en in de toekomst. In de komende tijd zal ik in verschillende blogs schetsen wat de meerwaarde zou kunnen zijn. In dit deel besteed ik aandacht aan Learning Analytics (LA), wat is het en wat kun je ermee?

Learning Analytics wordt vaak uitgelegd als het meten, verzamelen, analyseren en rapporteren van en over data van leerlingen/studenten en hun context. Het heeft daarbij als doel het begrijpen en optimaliseren van het leren en de omgeving waarin dit plaatsvindt. De laatste tijd staat het steeds meer in de belangstelling, zeker in het hoger onderwijs. Dit heeft deels te maken met de technologische ontwikkelingen en met name doordat we als gevolg van digitalisering steeds meer data opslaan vragen we ons steeds vaker af of we daar ook iets zinvols mee kunnen. De verwachting is dat we door het slimmer gebruik van data studenten beter kunnen begeleiden en ruimte bieden voor zelfregie.

Als je net komt kijken in de wereld van digitalisering en leren, denk je misschien dat Learning Analytics een nieuw fenomeen is. Dat is niet helemaal waar. In 2011 (!) schreef mijn collega Niels Maes al een interessante blog over LA. Mijn ervaring met LA gaat nog verder terug in de tijd. Begin 2000 werkte ik met het concept Virtual Action Learning (VAL), een blended leren concept waarvoor tegelijkertijd een digitale leeromgeving was ontwikkeld: de Virtual Learning Community (VLC). In de VLC worden de online-activiteiten van studenten verzameld en dan niet alleen het aantal minuten online of gebruik van een bepaalde functionaliteit maar de kwalitatieve bijdragen van studenten aan bv. online discussies en de feedback die ze hebben gegeven aan mede studenten. Via een aparte pagina (de leerprocesanalyse) kan een student zijn eigen bijdragen zien, maar ook die van medestudenten. En deze zijn ook toegankelijk voor docenten.

Het verzamelen en op een toegankelijke manier presenteren van deze data maakte dat studenten meer zicht hadden op hun eigen voortgang tijdens een onderwijsmodule, waardoor ze hun eigen leerproces konden bijsturen, maar ook de docent kreeg hiermee direct informatie om zijn lessen en begeleiden meer passend te maken.

Een vergelijkbare toepassing heb ik een paar jaar geleden gezien bij een docent van de HAN, Witek ten Hove, die data inzet door gebruik te maken van motivatie-aspecten uit de Self Determination Theory, Growth Mindset en Gamification: Purpose, Autonomy, Mastery en Relatedness. “Relatedness gaat over de behoefte van de mens om connectie te voelen met anderen. Het gaat niet om een geïsoleerde persoonlijke prestatie, maar juist om de individuele toevoeging aan een groepsresultaat. Autonomy gaat over de vrijheid die deelnemers hebben wat betreft de paden die ze kunnen kiezen om een bepaald resultaat te behalen. Ze kunnen en willen zelf de leerroute bepalen. Mastery gaat over de groei die deelnemers bewust ervaren als ze het studietraject met alle activiteiten succesvol doorlopen en herhaling van successen, dat geeft zelfvertrouwen. Purpose gaat over de relatie met het onderwerp. De studenten moeten het onderwerp en het einddoel als iets wezenlijks beschouwen.”

De inzet van deze aspecten bleek niet zonder succes. Op zijn vakgebied bedrijfseconomie ging het slagingspercentage omhoog van twintig naar zo’n tachtig procent, terwijl de tentamens exact hetzelfde bleven.

Beide cases zijn voorbeelden van een slim gebruik van data ten behoeve van het leerproces van de student. Niet achteraf maar tijdens de onderwijsmodule krijgen studenten informatie waarmee ze direct hun eigen leerproces kunnen bijsturen. Naast alle andere toepassingen van learning analytics is dit naar mijn idee een manier waarmee je direct je onderwijs verbetert, op een manier dat de student waar je de data van verzameld hebt er ook zelf beter van wordt.

Naar mijn idee is de eerste vraag die je als instelling moet stellen: waarom willen we Learning Analytics inzetten?

Het antwoord op de waarom-vraag bepaalt welke data je op welke manier wilt gaan verzamelen en ook hoe complex het wordt. Als je het dicht bij het onderwijsproces houdt, dan stelt dat andere eisen aan de technologie die je inzet, dan als je data achteraf wilt verzamelen, analyseren en rapporteren en mogelijk zelfs extrapoleren naar het niveau van een opleiding, academie of instelling. Het stelt ook andere eisen aan je organisatie en je processen. Justian Knobbout heeft onderzoek gedaan naar de randvoorwaarden waar je als organisatie aan moet voldoen wil je LA in kunnen zetten. Hij noemt dit het Learning Analytics Capability Model en onderscheidt vijf categorieën: data, management, technologie, mensen en privacy & ethiek met daaronder 30 capabilities. Naarmate je LA verder van het nu en het onderwijsproces en de student inricht, wordt het lastiger om aan deze capabilities invulling te geven.

Als je kiest voor LA dichtbij de student en de docent, betekent dat wel iets voor je onderwijsontwerp en de ondersteunende technologie. Marcel Schmitz heeft onderzoek gedaan naar de uitdagingen van het meenemen van learning analytics in onderwijsontwerp. Daar blijkt wat mij betreft wel uit, dat elk niveau zijn eigen uitdagingen kent. Als je het dichtbij het onderwijs houdt heb je waarschijnlijk minder privacy-issues, maar het vraagt wel een doordachte manier van onderwijsontwerp en kennis van technologie en de manieren waarop je leeractiviteiten meetbaar kan maken om het succesvol in te zetten. Maar als je hiermee meer studierendement realiseert, door bv. struikelvakken op deze manier te ondersteunen, denk dat dat de investering wel waard is.

In een recente blog van Wilfred Rubens wordt de vraag gesteld in hoeverre learning analytics ingezet kunnen worden voor het ondersteunen van zelfgereguleerd leren. Bij de Universiteit van Michigan wordt gewerkt met de tool My Learning Analytics (open source), waarmee “data over leren aan lerenden visueel gepresenteerd wordt. Deze visualisaties ondersteunen lerenden volgens de auteurs bij het leren”. Het dashboard dat ze hebben ontwikkeld geeft studenten informatie over waar de student staat in de cursus oa. over het gebruik van bronnen (welke bronnen gebruiken mijn medestudenten), voortgang en plannen van opdrachten en hoe ze presteren ten opzichte van de rest van de klas. Ze hebben de werking van het dashboard onderzocht en de studenten gaven aan dat het heeft bijgedragen aan de manier waarop ze studeren, hun vertrouwen in het begrip van de lesstof en hun manier van plannen. Een relativering is hier op zijn plaats, zoals Wilfred ook aangeeft. Het zou nog mooier zijn als learning analytics daadwerkelijk bijdraagt aan reflectie van studenten en ook kwalitatieve informatie over het leren geeft (zoals hierboven in de VLC het geval is), waarna je ook het gesprek kunt voeren tussen studenten onderling en met de docent. De vraag is in hoeverre een verzameling statische informatie, weliswaar in mooie plaatjes gevisualiseerd echt bijdraagt tot ander gedrag.

Als we kiezen voor Learning Analytics dicht bij het onderwijsproces, dan doen we er verstandig aan om de komende tijd veel ervaring op te bouwen door docenten te faciliteren om te experimenteren met de Learning Analytics in hun eigen onderwijs en dan liefst in teamverband. Dit zou bijvoorbeeld een interessant onderwerp kunnen zijn voor een design team als onderdeel van de professionalisering in leren en lesgeven van ICT in het kader van het project Open Digital Horizons. Om vervolgens de ervaringen met elkaar te delen en weer van elkaar te leren.

Reacties

  1. 22 oktober 2021 door Erik

    Mis ik het betrekken van de studenten bij de experimenten. Onder andere dáár doe je het voor.

    1. 23 oktober 2021 door Esther van Popta

      Hallo Erik, alle genoemde experimenten zijn uitgevoerd met studenten. Als je Data wilt inzetten om onderwijs te verbeteren, zou het onzinnig zijn om dit zonder studenten te doen 😉 Alle voorbeelden (VAL/VLC, Witek ten Hove) die ik in mijn blog noem zijn toepassingen van LA tijdens het onderwijs en met studenten. Ook in het project DLWO2021 hebben we experimenten met LA gedaan met docenten en studenten. Mijn betoog is dat je als instelling keuzes moet maken waarom je LA in wilt zetten. Wil je het onderwijs voor studenten direct verbeteren door de data in te zetten die je van de actuele groep verzameld hebt, of verzamel je pas na afloop en gebruik je deze data om je onderwijs voor een volgende groep studenten te verbeteren. Bij deze tweede vorm heb je naar mijn idee lastigere privacy-vraagstukken. Als je bovendien data uit verschillende systemen achteraf wilt gaan combineren, komt er een extra uitdaging bij. Dit zijn overwegingen die je mee moet nemen als je dit soort keuzes maakt. Zolang we echter geen keuze maken, komt er weinig van de grond. Groet, Esther

    2. 23 oktober 2021 door Erik van den Beld

      Klopt helemaal.
      Én vanuit en/of op basis van een visie op LA kun je betrokkenen (studenten en docenten) ook beter (tevoren) informeren (transparantie).

  2. 25 november 2021 door René Tönissen

    Heel interessant, dit onderwerp. Dank aan Esther voor haar bijdrage!

    Ik haak even aan bij Esther’s claim dat dit eigenlijk helemaal niet zo’n nieuw onderwerp is. In mijn eerste jaren als hoofd van de Informatica-opleiding van de HvA (2000 of zo :-)) heb ik eens onderzoek gedaan naar het verband tussen de hoogte van de eindexamencijfers HAVO-wiskunde B (informatie die in de HvA-systemen was opgeslagen), en de succeskans om de propedeuse te halen. Daaruit bleek (even globaal uit mijn herinnering) dat slechts 10% van de populatie met een 4 of 5 voor wis-B de P overleefde; lineair stijgend naar 90% succeskans bij de instromers met een 9 of 10 op de eindlijst. Dat soort gegevens gebruikten wij in de voorlichting, altijd met de zin: het is maar statistiek, je bent welkom, maar je weet dat je met een 6-je extra hard zult moeten werken. We identificeerden hiermee de risico-groepen die we bv. sneller voor het eerste studiecoach gesprek uitnodigden. Achteraf gesproken Learning Analytics, avant la lettre. Overigens een soort die nu juist niet zo dicht op het onderwijs(leerproces) zit, maar juist een rol zou kunnen spelen in de organisatie en kwaliteit van de begeleiding. Of je je hiermee – tegenwoordig – enige privacy-issues op je hals haalt weet ik zo niet….

    1. 25 november 2021 door Esther van Popta

      Dank voor je uitgebreide reactie René. Het klopt dat jouw voorbeeld iets verder van het directe leerproces af ligt, maar het draagt wel bij aan de onderwijs- en begeleidingskwaliteit. Het zou heel jammer zijn dat we als gevolg van AVG dit soort toepassingen van Learning Analytics niet meer zouden kunnen doen. Ik denk dat je het met elkaar moet hebben over eigenaarschap van data en hoe je deze data toch kunt gebruiken om het onderwijs te verbeteren. Het lijkt een beetje op de cookies van een website, je kunt hier natuurlijk principieel tegen zijn maar als daarmee gewerkt kan worden aan het maken van betere website, kun je toch niet tegen zijn 😉 Wordt vervolgd!

    2. 25 november 2021 door Erik van den Beld

      De AVG hoeft helemaal niet belemmerd te zijn, maar vraagt wel zorgvuldig handelen en transparantie. En goede beveiliging.
      Privacy by Design toepassen nadat je als organisatie een gedegen visie hebt op het vlak van Learning Analytics hebt geformuleerd is dan goed mogelijk.

      N.b.: in de casus die Rene aanhaalt gaat het om statistiek/getallen en niet om personen (mits niet herleidbaar) en ‘blijf je weg’ van de AVG.

  3. 26 november 2021 door Esther van Popta

    Dank voor je reactie en nuancering Erik. Dit is wat we nodig hebben om het goede gesprek te voeren. Ben benieuwd of het formuleren van een visie onderdeel wordt van de roadmap van de dataarchitectuur.