Experiment: Is commerciële economie een eitje voor Chatgpt?

Studenten maken massaal gebruik van kunstmatige intelligentie voor hun studie. Bijna vier op de tien studenten gebruikt AI voor hun studie blijkt uit universiteitsbreed onderzoek van Karin van Es en Dennis Nguyen in het kader van een Utrecht Stimuleringsfonds Onderwijs (USO)-project. Wat betekent dit voor het onderwijs en is het mogelijk om belangrijke verslagen te voltooien met Chatgpt, zonder enig verstand te hebben van de materie? Op deze vraag proberen Honours-studenten Willlem Poppes en Joost Poppema antwoord te geven.

Om antwoord te krijgen op deze vraag nemen we de proef op de som. Op Yammer, het sociale-media platform van Windesheim, doen we een oproep om docenten te vinden die wilden meewerken aan ons journalistieke onderzoek.

Onze oproep luidt:“Is het mogelijk om een voldoende te scoren voor een eindejaarsopdracht van economiestudenten door gebruik te maken van kunstmatige intelligentie?”

We proberen reacties uit te lokken door de volgende vraag toe te voegen: “Want is kunstmatige intelligentie eigenlijk wel zo slim als wij tegenwoordig allemaal denken?”  Dat veel docenten hier niet op twee betweterige jongens – die net AI hebben ontdekt – zitten we wachten, wordt al snel duidelijk nadat we scherpe kritiek ontvingen op onze oproep.

“Wellicht denken ‘wij’ wel helemaal niet dat kunstmatige intelligentie slim is”, wordt er vurig afgereageerd door een docent.

Ook Sander Janssens, docent marketingcommunicatie aan Hogeschool Windesheim, reageert op onze oproep. Hij legt uit dat het oplossen van een opdracht die het eindniveau aantoont van een opleiding als commerciële economie niet gaat lukken vanwege praktijkopdrachten. We maken afspraken met docent Janssens om een opdracht uit te voeren van het vak ‘brand management’. Deze opdracht zullen we dan proberen op te lossen door gebruik te maken van Chatgpt. Om ons project meer kans op slagen te bieden, schakelen we de hulp in van twee masterstudenten kunstmatige intelligentie aan de Radboud Universiteit.

               

AI het populairste onder studenten

Onder studenten is het gebruik van kunstmatige intelligentie al mega populair. Dit blijkt uit de cijfers van een universiteitsbrede enquête van Karin van Es en Dennis Nguyen in het kader van een Utrecht Stimuleringsfonds Onderwijs (USO)-project. 31 procent van de studenten gebruikt het zelfs meerdere keren per week. Uit het onderzoek blijkt overigens dat niet alleen studenten massaal AI gebruiken, maar ook docenten. 27 procent van de docenten uit de enquête maakt zelfs meerdere keren per week gebruik van kunstmatige intelligentie. Kortom, de meeste studenten en docenten (ruim 80%!) hebben weleens gebruik gemaakt van AI.

Zorgwekkende ontwikkeling

Onderwijsexperts zien het gebruik van AI voor verslagen als een zorgwekkende ontwikkeling waarbij studenten niet meer zelf hoeven na te denken maar al het werk wordt gedaan door kunstmatige intelligentie. Volgens hen in het grootste probleem het herkennen van AI-gebruik in de uitwerking van een opdracht. Volgens masterstudent kunstmatige intelligentie, Hannah Venhuizen, blijft het lastig om te achterhalen of iets is gemaakt met AI ondanks verschillende AI-plagiaat checks. Dit komt mede doordat de plagiaat checks worden gebouwd door de makers van verschillende AI-systemen. “We zien een ontwikkeling waarbij deze plagiaat checks een soort wapenwedloop zijn geworden waarin AI-bedrijven het voor het zeggen hebben. Dat lijkt mij een zorgelijke ontwikkeling”, aldus Venhuizen. Ook is er volgens haar te allen tijde een wederkerend probleem wanneer je wilt controleren of iets door AI is gemaakt. “Chatgpt ontvangt steeds weer nieuwe informatie waarvan die leert. Het systeem wordt dus steeds slimmer”, legt ze uit. “Dit betekent overigens wel dat de plagiaat checks steeds weer moeten worden geüpdatet om te controleren of iets met kunstmatige intelligentie is gemaakt. Ook is er een risico dat bepaalde creatieve woorden door de plagiaat check worden gekenmerkt als AI, terwijl dit niet het geval is. Helemaal waterdicht is dit systeem dus nog niet.”

Terug naar ons onderzoek waarin we proberen een voldoende te scoren op een vak waar we niks van weten, in dit geval brand management. In een Zoom-gesprek bespreken we onze opdracht met AI-masterstudent, Tim Wiesner. Als schrijfcoach bij de Radboud Universiteit geeft hij tips aan studenten hoe Chatgpt handig en ethisch kan worden ingezet voor hun studie. We nemen eerst de opdracht scannend door. De opdracht luidt als volgt. We moeten een manifest schrijven voor brandmanagement waarin we twee merken aan bod moeten laten komen. Dit manifest mag max. 2500 woorden zijn en C1-niveau Nederlands. “Nou C1-niveau Nederlands moet in ieder geval wel lukken’, grapt Wiesner. Ook moet er een video bij gemaakt worden. Hij beaamt: “Dat kan nog wel wel een flinke uitdaging worden.”

Aan de slag!

Stap 1.

We beginnen met zoveel mogelijk input geven in Chatgpt. Concreet houdt dit in; alle informatie uit het document kopiëren en plakken in de prompt; de zoekbalk. Ons verslag is in het Nederlands. Daarom geven we alle informatie in het Nederlands door aan Chatgpt. Volgens Wiesner is het belangrijk om dan ook onze informatie in het Nederlands in te vullen. “Door dezelfde taal te gebruiken krijg je het beste resultaat”, legt hij uit

Stap 2. Binnen luttele seconden genereert Chatgpt een uitgebreid antwoord waarin het systeem ingaat op de verschillende aspecten die in ons manifest aan bod moeten komen. We moeten twee merken doorgeven aan de Chatbot die ons verhaal kunnen ondersteunen. “Daily Paper en die tweede…Tja wat zullen we doen?” Inspiratieloos besluiten we raad te plegen bij Chatgpt; dat vervolgens het duurzame merk ‘Patagonia’ aanraadt. Nadat we de twee merken hebben doorgegeven antwoordt Chatgpt opnieuw met een opgesomd antwoord.

Stap 3.

Allemaal leuk en aardig, maar ons verhaal moet een geschreven manifest worden in verhaalvorm in plaats van opgesomd zoals bovenstaand. De informatie is in ieder geval nu compleet. We geven Chatgpt de opdracht om het manifest te schrijven, al doen we dit wel per aspect. AI-expert Wiesner legt uit: “Wanneer je teveel informatie in één keer doorgeeft aan de chatbot, dan krijg je een warrig verhaal.” Volgens hem heeft dit te maken met de hoeveelheid woorden die de chatbot kan onthouden. Dit zit als volgt. “Chatgpt kan een bepaald aantal tokens onthouden. Elk woord is een aantal tokens waard, afhankelijk van de hoeveelheid informatie die over het woord is te vinden. Vul je meer tokens in, dan vergeet de chatbot wat je eerder zei. Zo kan het systeem bijvoorbeeld de informatie van de opdracht vergeten die we aan het begin hebben doorgegeven. Dit leidt tot een warrig verhaal.” Nadat de Chatbot elke alinea heeft uitgetypt geven we het systeem een pluim. “Top, bedankt!” Schrijft Wiesner. Een beetje lief zijn tegen AI zorgt ook vaak voor een betere samenwerking. Het zijn net mensen die chatbots.

Stap 4.

“Dit manifest brand management is een weerspiegeling van onze opgedane kennis, principes en overtuigingen. Het dient een openbare verklaring van onze toewijding aan het creëren van merken die niet alleen succesvol zijn, maar ook betekenisvol en ethisch verantwoord”, genereert de robot. Op deze manier gelooft natuurlijk geen enkele docent dat we dit zelf hebben gemaakt. Daarom kiezen we ervoor de opdracht te geven: “Schrijf als een Hbo-student commerciële economie.” Waarna de chatbot het taalgebruik zichtbaar versimpelt.

Stap 5.

Het laatste onderdeel van onze opdracht bestaat uit het maken van een pakkende video van 1 minuut waarin we onze visie op brand management toelichten. Er bestaan enkele video AI’s maar we kunnen hier geen gebruik van maken aangezien de kosten van abonnementen hiervoor al snel in de tientallen euro’s per maand oplopen. Deze middelen heeft de gemiddelde student ook niet tot beschikking en daarom gebruiken we ‘slechts’ Chatgpt 3.5 in plaats van de nieuwere Chatgpt 4.0 die een betaald abonnement vergt. We besluiten de chatbot wel te vragen een script te genereren voor onze pakkende 1 minuut durende video. Dit is een makkie. De chatbot vertelt ook welke beelden we erbij moeten gebruiken. Ook laten we de voice-over teksten inspreken door internet AI voicebooking.com. We plakken de voice-overs/ beelden achter elkaar in Première Pro en voilà, onze video is zo gepiept in 15 minuutjes.

Bekijk hieronder de video:

Flipped Classroom

Het maken van de opdracht heeft ons nu in totaal ongeveer drie uur geduurd. Dit klinkt misschien vrij lang, maar vergeleken met de 112 uur die gereserveerd staat voor het vak, stelt het niets voor.  Verschillende experts pleiten daarom voor een nieuwe manier van lesgeven, ook wel de ‘flipped classroom’ genoemd. AI-expert, Hannah Venhuizen, legt uit: “Vroeger moesten we rekenen uit ons hoofd leren op school. Na de komst van de rekenmachine was dit niet meer nodig. Inmiddels gebruiken we de rekenmachine voor moeilijke sommen maar we laten wel de stappen zien hoe we aan het antwoord zijn gekomen. Op deze manier kunnen we ook verantwoord AI gaan toepassen in de lessen. “Bij zogeheten ‘flipped learning’ moeten studenten voordat de les begint verschillende concepten, theorieën en andere informatie leren, bijvoorbeeld door de informatie te verzamelen met Chatgpt. Vervolgens kan tijdens de les gecontroleerd en gediscussieerd worden over de inhoud die de chatbot heeft gegenereerd.

Voldoende of onvoldoende?

Terug naar de opdracht. We hebben inmiddels feedback ontvangen op onze opdracht over brandmanagement. Sander Janssens, docent marketingcommunicatie vertelt: “Ik vind het ontzettend waardevol dat jullie bijdragen aan het testen of onze opdrachten robuust zijn tegen het gebruik van AI.”  Daarna lopen we onze opdracht stap voor stap door. “Kijk, op het eerste gezicht zag het er goed uit. Ik zag de aspecten terugkomen die in de opdracht stonden”, begint hij enthousiast. Toch is die positieve feedback van korte duur. “Wanneer ik verder lees, zie ik een heleboel luchtige termen en het blijft heel oppervlakkig. Daarnaast herken ik na ruim twintig jaar onderwijs echt wel hoe mijn studenten commerciële economie schrijven. De spel- en grammaticafoutjes zijn nergens terug te lezen en sommige woorden zullen ze nooit gebruiken zoals in de uitwerking.” Ook valt Janssens op dat er weinig terug te vinden is over de merken Daily Paper en Patagonia. “Ik had nog nooit van Daily Paper gehoord maar als ik lees op hun website, zie ik binnen enkele ogenblikken een totaal ander bedrijf qua brand management, dan ik in het manifest lees.” Vervolgens de beoordeling van de video. “Ik had er hoge verwachtingen van”, erkent Janssens. “Maar nadat ik de stockvideo’s bekeek gecombineerd met een warrig, inhoudsloos script…tja, dat zijn niet de pakkende, persoonlijkere video’s die ik van mijn studenten graag ontvang.”

Misschien voelde je het als lezer al aankomen maar deze opdracht is beoordeeld als “een leuke poging”, desondanks een dikke onvoldoende.  In de mail slaat docent Janssens dan ook de spijker op de kop: “Je hoort de klokken luiden maar nog niet duidelijk is waar de klepel hangt.”

Toch hoopt Janssens dat AI daadwerkelijk ingezet kan worden voor doeleinden in de klas. “AI kan in de lessen ontzettend interessant zijn als tool voor nieuwe inzichten en als school kunnen we hier zeker mee aan de slag”, sluit hij af.