Over ChatGPT, de chatbot van OpenAI die schijnbaar moeiteloos teksten kan schrijven, is sinds de lancering op 30 november 2022 al veel gezegd en geschreven. Dit blogbericht geeft geen antwoord op de vraag of het wenselijk is de chatbot te gebruiken in het onderwijs, daarvoor verwijs ik graag naar De ChatGPT-hype en ChatGPT & de docentenpraktijk van collega Jorn Bunk, adviseur leren met ICT & Artificial Intelligence.

Dit blogbericht plaatste ik op 13 maart 2023, er was toen nog geen officiële richtlijn door de APA Style experts in Amerika opgesteld.
Op 7 april is de richtlijn gepubliceerd op het APA Style blog: How to cite ChatGPT, ik heb de tekst op 17 april 2023 en 13 mei 2024 waar nodig aangepast:

Het voorlopige advies om ChatGPT te vermelden op dezelfde wijze als een computerprogramma of app maar zonder raadpleegdatum. De ondertitel (Optimizing language models for dialogue) wordt niet genoemd, alleen het jaar is voldoende en zet tussen vierkante haakjes Generatieve AI. Zet tussen ronde haakjes de gebruikte versie; 3.5 is de gratis versie, 4 is de betaalde versie.

OpenAI. (2023). ChatGPT (Versie 3.5) [Generatieve AI]. https://chat.openai.com

Geef in de tekst aan welk gedeelte door ChatGPT is gegenereerd. Dat kan zowel met een citaat als met een parafrase. Vermeld welke ‘prompt’ (opdracht) is gegeven. Een voorbeeld:

Voor het formuleren van de vraagstelling is gebruik gemaakt van ChatGPT (OpenAI, 2023) met als prompt “…”.

Bij het gedeelte “…” komt de tekst te staan die voor de chatbot gebruikt is.
Vanuit Amerika kwam het advies om de door ChatGPT de gegenereerde tekst toe te voegen, bijvoorbeeld als bijlage, zodat de lezer of beoordelaar van jouw verslag zelf de inhoud kan bekijken. Een prima advies lijkt me, je geeft inzage in hoe je te werk bent gegaan, bovendien is ieder gegenereerd antwoord van ChatGPT uniek.

Test
Uiteraard heb ik geprobeerd te testen hoe goed ChatGPT de APA-richtlijnen kan toepassen in zowel een tekst als in een bronnenlijst. Als informatiespecialist van de opleiding Vaktherapie koos ik een onderwerp waarvan ik weet dat er regelmatig over gepubliceerd wordt in vakliteratuur en wetenschappelijke tijdschriften. Ik gaf deze prompt:

Schrijf een wetenschappelijke tekst tot 1500 woorden over beeldende therapie en veteranen met PTSS, met APA-verwijzingen in de tekst en in de bronnenlijst.

Voor de duidelijkheid: PTSS staat voor posttraumatische stressstoornis. Ik koos voor 1500 woorden zodat er meerdere bronnen vermeld zouden worden.

In januari en februari heb ik zeker 50 keer deze prompt gegeven, maar telkens stagneerde de chatbot, meestal voordat de bronnenlijst werd gegenereerd. Het viel me wel op dat de tekst telkens anders was, ChatGPT herhaalt zichzelf niet. Op 27 februari lukt het eindelijk toch maar begon de tekst met:

Sorry, het schrijven van een wetenschappelijke tekst van 1500 woorden met APA-verwijzingen zou meer tijd in beslag nemen dan ik als taalmodel heb. Ik kan u echter wel algemene informatie geven over het onderwerp.

Deze algemene informatie bevat 189 woorden zonder bronverwijzingen maar wel met een bronnenlijst van drie titels:

Beeldende therapie is een vorm van therapie die gebruikmaakt van creatieve processen om emotionele en psychische problemen aan te pakken. Het is een van de vele vormen van therapie die worden gebruikt bij de behandeling van posttraumatische stressstoornis (PTSS). PTSS is een stoornis die kan optreden na het ervaren of getuige zijn van een traumatische gebeurtenis, zoals militaire actie.

Verschillende studies hebben aangetoond dat beeldende therapie effectief kan zijn bij de behandeling van PTSS bij veteranen. Een studie uitgevoerd door de National Center for PTSD toonde aan dat beeldende therapie bijdroeg aan vermindering van symptomen van PTSS bij veteranen. Een andere studie, gepubliceerd in de Journal of Traumatic Stress, toonde aan dat beeldende therapie een significante vermindering van PTSS-symptomen veroorzaakte bij veteranen.

Beeldende therapie kan een waardevolle aanvulling zijn op andere vormen van therapie bij de behandeling van PTSS. Het kan veteranen helpen om hun emoties te uiten en te verwerken op een manier die hen comfortabeler kan maken dan alleen praten over hun ervaringen. Bovendien kan beeldende therapie veteranen helpen om meer inzicht te krijgen in hun emoties en gedachten en hen helpen om zichzelf beter te begrijpen.

Cook, J. M., Dinnen, S., Simiola, V., Bernardy, N., Rosenheck, R., & Hoff, R. (2014). PTSD treatment for veterans: Deployment of cognitive processing therapy to VA’s. Journal of Traumatic Stress, 27(2), 225-228.

Mikocka-Walus, A., & Hart, E. (2015). Art therapy with veterans: A pilot qualitative study. Arts & Health, 7(3), 247-260.

National Center for PTSD. (2016). Art therapy for PTSD. Geraadpleegd op 31 januari 2023 van https://www.ptsd.va.gov/understand/related/art_therapy.asp

Vervolgens vroeg ik: “Voeg verwijzingen in de tekst toe” en kreeg ik dit antwoord:

Natuurlijk, ik kan enkele voorbeelden van APA-verwijzingen in de tekst geven om u te helpen:

• Volgens Cook et al. (2014) kan beeldende therapie een waardevolle aanvulling zijn op andere vormen van therapie bij de behandeling van PTSS bij veteranen.

• Uit een studie uitgevoerd door de National Center for PTSD (2016) bleek dat beeldende therapie bijdroeg aan vermindering van symptomen van PTSS bij veteranen.

• Mikocka-Walus en Hart (2015) concludeerden dat beeldende therapie een effectieve interventie kan zijn voor veteranen met PTSS.

Opvallend dat het antwoord begint met “Natuurlijk” alsof dit vanzelfsprekend is.

De verwijzingen in de tekst zien er goed uit, sterker nog: ze zijn helemaal juist. Dit kan helaas niet gezegd worden van de drie bronvermeldingen. Dat de verwijzingen niet vanaf de tweede regel inspringen, dat de titels niet cursief staan en er een komma ontbreekt achter 2023 bij de derde titel valt nog te overzien. Ook jammer dat de doi-links ontbreken.

Het probleem is dat geen van de drie bronnen bestaan. Dit verklaart waarom er geen doi-link wordt gegeven. De tijdschriften Arts & Health en Journal of Traumatic Stress zijn bestaande wetenschappelijke tijdschriften en het National Center for PTSD heeft een eigen website maar alle artikelen zijn door ChatGPT verzonnen. Nog best knap, want Antonina Mikocka-Walus heeft over posttraumatische stressstoornis gepubliceerd maar nooit in Arts & Health.

Een laatste poging, de prompt is: “Geef een APA-vermelding voor Collaborative music therapy via remote video technology to reduce a veteran’s symptoms of severe, chronic PTSD”.
Het artikel is in 2015 gepubliceerd in het eerder genoemde Arts & Health.

Het antwoord:

Hier is een voorbeeld van een APA-vermelding voor het genoemde artikel:

Wong, S. K., Chan, C. L., Lee, T. M., & Ng, S. M. (2018). Collaborative music therapy via remote video technology to reduce a veteran’s symptoms of severe, chronic PTSD. Music Therapy Perspectives, 36(1), 75-83. https://doi.org/10.1093/mtp/mix021

Wong et al. zijn niet de auteurs van dit artikel, de titel van het tijdschrift klopt niet en hoewel er nu wel een doi-link bijstaat verwijst deze naar een ander artikel (uit Music Therapy Perspectives) maar dat gaat over muziektherapie en kinderen met autisme.

Mijn voorlopige eindconclusie: ChatGPT is wellicht een handig hulpmiddel bij het schrijven van een verslag maar van APA “weet” deze chatbot nog te weinig.

Update 16 juni 2023: ChatGPT heeft een nieuwe functie toegevoegd, shared links. Hiermee is het mogelijk om zowel de prompt als de gegenereerde tekst te delen. Aan de APA Style experts in Amerika heb ik gevraagd of dit gevolgen heeft voor de vermeldingen in de bronnenlijst. Ik kreeg snel antwoord: men is bezig om deze nieuwe ontwikkelingen (er is inmiddels ook een ChatGPT app) te verwerken in de bestaande richtlijn, maar dit kost tijd.

Het advies van de Werkgroep APA is dat zowel naar ChatGPT in het algemeen mag worden verwezen zoals hierboven beschreven, of naar een shared link:

OpenAI. (2023). ChatGPT (Versie 3.5) [Generatieve AI]. https://chatgpt.com/c/1eae80f1-77f7-4101-961a-4df8ece5a4ea

Zie ook het blogbericht Handleiding Generatieve AI en APA (8 mei 2024).