Het genereren van ‘internal feedback’ bij studenten

Dit weekend las ik via tweets van David Carless een interessant artikel van David Nicol: reconceptualising feedback as a internal not an external process. In mijn onderzoek (van Popta et al. 2017), heb ik gebruik gemaakt van de artikelen van Nicol en ook dit artikel raakt op heel veel vlakken mijn ideeën. De interessantste inzichten vat ik samen in deze blog.

Internal feedback en Peer review

Kern van het artikel van Nicol is dat:

Students are producing internal feedback all the time as they monitor, evaluate and regulate their own learning.

Als studenten feedback krijgen van een docent (of mede-student) zetten ze dit om in ‘internal feedback’, om er daadwerkelijk iets van te leren. Wat nu interessant is dat ze dit ook doen als ze geen feedback van een docent ontvangen, maar als ze:

produce written feedback on the work of peers, they simultaneously reflect on and generate internal feedback on their own work

En dat is precies het betoog in mijn onderzoek, al heb ik het tot nu toe geen ‘internal feedback’ genoemd. Nicol gaat zelfs nog verder in zijn betoog en beweert dat feedback van docenten mogelijk geeneens feedback genoemd zou mogen worden:

the provision of information by the teacher only initiates feedback processes in the student’s mind – it is not feedback in and of itself. As Andrade (2010) notes, students are the definitive source of all feedback, as it is they who ultimately generate it and it is this that generates learning

Deze ideeën zijn niet nieuw, maar omdat het lastig is om het proces van ‘internal feedback’ zichtbaar te maken, heeft het nog geen grote plek in onderzoek naar feedback gekregen. Nicol probeert in zijn onderzoek om dit wel zichtbaar te maken, waarbij de focus ligt op peer review.

Peer review, as discussed in this article, refers to scenarios where students evaluate and make judgements about the work of their peers and construct a written feedback commentary.

Het gaat hier dus niet over het beoordelen van elkaars werk, dan is namelijk sprake van peer assessment. In peer review wordt studenten gevraagd om comments te schrijven op het werk van hun mede-studenten. Dat kan op basis van vooraf vastgestelde criteria, maar je kunt dit ook minder strak regisseren. Bij voorkeur krijgen studenten vervolgens de ruimte om hun eigen werk nog te verbeteren op basis van de ontvangen (en gegeven) feedback. Ik ben zelf van mening dat deze stap cruciaal is voor leren en ook helpt bij het zichtbaar maken van het leer effect. Nicol is daar minder expliciet over.

Nicol betoogt dat studenten leren van het reviewen van hun medestudenten. Er is al uit eerder onderzoek gebleken dat studenten meer leren van het reviewen dan van het ontvangen van feedback van peers (bv. Cho, K. & MacAurthur, 2011; Cho, Y. H. & Cho, K., 2011). Dit is ook het betoog in mijn onderzoek. Nicol geeft aan dat hij geïnteresseerd is in het waarom van het leren van reviewen. En dat antwoord blijkt niet zo eenvoudig te geven.

Wat peer review derhalve uniek maakt is dat:

before reviewing the work of peers, students will have invested considerable time and effort in producing work themselves in the same topic domain as their peers. Hence, reviewing activates an “unavoidable” reflective process whereby students compare their own work (or a mental representation of that work) with the work they are reviewing and transfer ideas generated from that comparison process (e.g. about content, approach, about weaknesses and strengths) to inform and improve their understanding of their own work

 

Het gaat hier volgens Nicol niet om ‘diep leren’, maar peer review triggert ‘echte’ reflectie omdat het werk van de peer fungeert als een spiegel waarmee een student kritisch naar zijn eigen werk kijkt (vergelijkt, evalueert). Ook fungeert het eigen werk als spiegel voor het werk dat ze reviewen. Eerder noemde Nicol dit ‘backward reflection’. Wat ik hier mooi aan vind is dat terwijl je als student probeert je medestudent te helpen, je eigenlijk jezelf helpt. En dat is wat je noemt echt ‘samen leren’.

Onderzoeksaanpak en resultaten

Nicol heeft in zijn onderzoek geprobeerd om studenten dit interne feedback proces te laten expliciteren, door hen meteen na het lezen van het werk van een peer op te laten schrijven wat ze denken. Om het proces van ‘self-generated feedback’ zichtbaar te maken heeft hij een groep studenten gevraagd om een essay te schrijven en drie essays van peers te reviewen (1 van de essays was een kwalitatief hoogstaand essay van een student van vorig jaar). Meteen na de review van het werk van de peers moesten de studenten drie vragen beantwoorden:

  1. vergelijk je werk en formuleer de grootste verschillen tussen jouw werk en het werk van je peer
  2. formuleer wat je hebt geleerd van deze verschillen
  3. schrijf een oordeel over welk werk het beste is en waarom

De resultaten van het onderzoek zijn nog niet volledig geanalyseerd, maar tot nu toe steunen ze de ideeën van de kracht van ‘internal feedback’, die Nicol in eerdere onderzoeken heeft laten zien. Wat Nicol in ieder geval al wel gezien heeft is dat studenten:

write copious amounts of self-feedback, well beyond what I would have expected. Moreover, this self-feedback looks remarkably similar to what a teacher might provide

Ondanks het feit dat de data nog verder geanalyseerd moeten worden, ziet Nicol al dat studenten heel serieus aan de slag gaan met het evalueren van hun eigen werk, wat ze leren en hoe hun eigen werk verbeterd kan worden, zonder dat een docent hier (externe) feedback op heeft gegeven.

Voorwaarden voor ontwerp

Dit zijn mooie resultaten, maar er zijn wel voorwaarden aan je onderwijsontwerp om dit te kunnen realiseren. Deze voorwaarden komen overeen met de punten die ik in mijn eigen onderzoek en procesmodel hanteer. Om te beginnen start het proces met studenten die over eenzelfde onderwijs een leerproduct hebben gemaakt. Daarnaast geeft Nicol aan dat het genereren van ‘internal feedback’ niet gebeurt als studenten alleen maar het werk van hun peers lezen:

deeper level of cognitive engagement is required

Het ‘deeper engagement’ wordt gerealiseerd door het schrijven van comments op het werk van peers. Nicol heeft dit in zijn onderzoek proberen te intensiveren, door studenten expliciet te vragen om het eigen werk te vergelijken met dat van peers. En de derde voorwaarde is dat studenten werk van verschillende kwaliteiten reviewen:

it is differences from their own works that trigger the rich inner dialectic required to generate new ideas that promote learning

Dit lijkt me een waardevolle voorwaarde, maar vraagt wel wat van de docent om dit te organiseren. In mijn eigen onderzoek heb ik meestal onderwijsontwerpen onderzocht waarbij de studenten vrij waren in hun keuze hoeveel peers en welke peers ze reviewen.

De vierde voorwaarde, die ook terugkomt in mijn eigen onderzoek, is dat het schrijven van verklaringen voor de feedback naar verwachting ‘internal feedback’ genereert, omdat een student hiervoor het onderwerp zelf moet begrijpen, maar dit begrip ook evalueert en mogelijk tot nieuwe inzichten leidt. Tot slot (de vijfde voorwaarde): het genereren van ‘internal feedback’ is niet erg effectief als studenten alleen hun eigen werk reviewen. Uit onderzoek blijkt dat studenten het lastig vinden om hun eigen werk te beoordelen.

in peer review, it is the sequence of producing external then internal feedback that enables students to see their work from many different perspectives and hence to generate new insights about it

 

Rol van de docent

Nicol sluit het artikel af met een aantal interessante opmerkingen over de rol van de docent in het proces van peer review. Hij geeft onder andere aan dat het belangrijk is dat de feedback van de docent volgt op het proces van zelf-gegenereerde feedback. Het voordeel hiervan is dat de verantwoordelijkheid voor het leren bij de student blijft. Ook krijgt deze feedback een andere rol:

it would not just be about commenting on the students’ work itself but on the students’ ability to generate valid feedback about that work, which would, in turn help students’ learn how to calibrate their judgements about their work

En dat is precies het advies dat ik geef aan docenten: blijf weg uit het proces van peer review, ga niet ook feedback geven op de producten, maar neem je rol als ontwerper van deze processen en als help studenten in het kalibreren van hun eigen oordelen.

Referenties

Andrade H. I. (2010). Students as the Definitive Source of Formative Assessment: Academic Self-Assessment and the Self-Regulation of Learning. Paper presented at Northeastern Educational Research Association (NERA)
Conference, Connecticut.
Cho K., & MacArthur C. (2011). Learning by reviewing. Journal of Educational Psychology, 103(1), pp. 73-84.
Cho Y. H., & Cho K. (2011). Peer reviewers learn from giving comments. Instructional Science, 39(5), pp. 629-643.
Van Popta, E., Kral, M., Camp, G., Martens, R. L., & Simons, P. R. J. (2017). Exploring the value of peer feedback in online learning for the provider. Educational Research Review, 20, 24-34.

Reacties

  1. 29 augustus 2020 om 19:48 door Anne-Mieke Zaat

    Mooi die nieuwe inzichten.
    Als enthousiaste peer feedback aanhanger, ga ik er komend schooljaar ook weer gebruik van maken bij eerste jaars international social work, bij het programma visual storytelling.

    Zelf werd ik enthousiast over peerfeedback door de vele moocs die ik gevolgd heb, waar vaak peer feedback in zit, en inderdaad, je leest en becommentarieert 3 medestudenten volgens bepaalde richtlijnen en je kijkt terug naar je eigen stuk en je ziet gelijk je sterke en zwakke kanten van je eigen product.

    Ik zie terug bij studenten, wie peer feedback serieus neemt, scoort goed op zijn/ haar eindproduct.

    1. 31 augustus 2020 om 09:23 door Esther Van Popta

      Ha Anne-Mieke, Wat leuk dat je reageert op mijn blog en zo mooi om te lezen dat je nog steeds zo enthousiast bent en peer feedback nog steeds gebruikt! Dat laatste (dat als je peer feedback serieus neemt je beter scoort) zou ik graag nog een keer in onderzoek aantonen. Groet, Esther

  2. 19 oktober 2020 om 16:48 door Anne-Mieke Zaat

    Ha Esther,
    Het heeft zich weer bewezen bij de internationale groep 1e jaars social work, ze begrepen heel goed wat peer feedback bij henzelf deed.
    Wat ook terug kwam, is dat studenten aangaven dat ze vooral eerst gingen nadenken , hoe ze hun feedback gingen formuleren, ze werden wat kritischer op zichzelf en waren blij dat ze dit nu al in het eerste jaar gelijk aan het leren waren.
    Ik heb geleerd om nog meer af te bakenen waarop studenten feedback geven. Het gaat niet om een oordeel, het gaat om een andere kijk op een product en dat zie je beter als je dezelfde opdracht doet. Dit kwam terug in veel presentaties van studenten.

    1. 20 oktober 2020 om 19:33 door Esther van Popta

      Hallo Anne-Mieke, wat een mooie ervaringen weer. Dank voor het delen. Ben benieuwd wat je bedoelt met de ‘internationale groep’. Zijn dit ook studenten uit het buitenland? Ik ga je nog even mailen hierover. Groet, Esther r