Beoordelen en kwaliteit in toenemende dynamiek

Door mijn rollen binnen iFontys en O&O kom ik op verschillende plekken in de organisatie, waarin instituten bezig zijn met onderwijsvernieuwing. Een onderwerp wat (logischerwijs) altijd aan bod komt is de wijze van toetsing en de borging van de kwaliteit daarvan. Ik merk dat de omgevingen die worden gevormd steeds meer dynamiek met zich meebrengen.  

Een aantal voorbeelden die ik in onze organisatie zie zijn bijvoorbeeld Social Engaged Action Learning (SEAL), Challenge Based Learning (CBL), High Impact Learning (HIL) omgevingen of Open Leer (OL) omgevingen. Om te generaliseren zijn dit vaak hybride leeromgevingen, waarin een case of opdracht uit de beroepspraktijk de leidraad vormt voor het onderwijs. Dat wordt vaak geflankeerd met inhoud, lessen of workshops, die aansluiten bij de opgeworpen, vaak complexe, vraagstukken.  

Waarom noem ik dit dynamischer? Dat is met name in de momenten en de wijze waarop er “iets op het spel staat” voor studenten, de toets momenten. In traditionele zin is er vaak een scheiding tussen het onderwijs en het toets moment, er is eerst een lessen-serie of andere vooraf geplande onderwijsactiviteiten, waarna er een toets plaat vindt. De hoofd-actor in het geheel is de docent. In een dynamische omgeving kan ieder moment in worden gezet als een potentieel toets moment, sommige theorieën noemen het data-punten. Het aantal momenten waarop beoordeling, voortgangsstatus en inzicht kan worden verworven, welke bijdragen aan de waardering, ligt hoger en bij meer actoren, zoals medestudenten, externe organisatie en docenten.  

Even terug naar de basis, de toets cyclus, want eigenlijk is ons vak zo makkelijk. Er zijn zes momenten die overal terugkomen, ongeacht didactiek, methodiek, inhoud of instituut. Een zevende moment is pure administratieve afhandeling, namelijk het toekennen van de studiepunten. Het maakt geen deel uit van de toets cyclus, maar eist wel veel aandacht in kwaliteitscontrole of accreditatie met de vraag: “Zijn de studiepunten wel rechtmatig toegekend?”. Dat is misschien wel de kwaliteits-ham-vraag van dit stuk. 

Dit principe wil ik toelichten aan de hand drie voorbeelden, waarvan de onderliggende toetsingsmethodiek steeds iets dynamischer wordt. Ik ben me bewust dat er een rijkheid aan mogelijkheden en vormen bestaat, dus vergeef me dat ik er een aantal in de wind sla. Ik wil daarna iedere keer kort stil staan bij de wijze waarop de kwaliteit zichtbaar gemaakt kan worden voor een controle achteraf. 

Als springplank: het reguliere tentamen

In dit model, veelal een kennisgerichte beoordeling, gaan we uit van een vastgestelde periode waarin studenten lesstof krijgen aangereikt, welke wordt afgesloten met een toets of tentamen. We gaan ervan uit dat de vastgestelde periode voor studenten voldoende is om de stof te assimileren. Ik laat even alle didactische mogelijkheden waarop je dit in die tijdsspanne kunt bereiken buiten beschouwing. Het gaat mij om het werkend principe: het meten van de kennis of vaardigheden, op een enkel vastgezet moment. 

De aandacht verschuift in dit principe snel naar zaken die minder te maken hebben met leren. Er komen statistieken die de effectiviteit van een toets gaan meten. Met mooie verdelingen, waarin per vraag duidelijk wordt hoe goed dat die is. Tot hele vakgebieden over normeringen en cesuren. De aandacht verschuift naar de toets en het behalen van die toets, gaat het dan nog om authentiek leren? Of leren we de student hoe de opleiding (of erger nog die specifieke docent) wil dat jij de stof, nee, die specifieke vraag begrijpt en hoe je dat dan weer op papier moet zetten zodat alle gevraagde elementen duidelijk overeenkomen met de beleveniswereld van die docent?  

Over de effectiviteit van dit principe zijn over jaren heen vele discussies geweest. Ik hoor nu al een aantal collega’s “ja, maar…”. Gevolgd door een betoog waarom de toets misschien niet goed zou zijn: er wordt te weinig herhaalt, het wordt niet cyclisch toegepast (dezelfde stof steeds ingewikkelder), de toetsen zijn te weinig in de belevingswereld van de student.  

Het is een zeer lineair proces, en het gaat uiteindelijk om het behalen van de toets, niet zozeer het groei- of leerproces. Er zijn al jaren voortgangstoetsen in gebruik. Die toetsen wel de groei in parate kennis, maar vaak niet diepgaander dan reproductie en inzicht en heel soms een toepassingsvraag. Deze vorm van toetsing maakt op een relatief simpele manier duidelijk wanneer een student wel of geen studiepunten krijgt waardoor de borging van de toetskwaliteit vrij overzichtelijk is? 

De verschuiving naar het portfolio

We bewegen langzaam naar een meer dynamische en integrale aanpak, het portfolio. Deze dynamiek is nodig, omdat we (gelukkig) steeds bewuster worden van de complexiteit van het leerproces en de werkelijkheid waarin de student later terecht komt. Helemaal als het een levendige casus of opdracht uit het werkveld betreft, waarin opgedane kennis direct kan worden toegepast cq. theorie kan worden getoetst aan de praktijk.  

Het is geen exacte route (lessen set) meer geworden van A naar B, maar een organische set handelingen die samen moeten leiden tot het afronden van een opdracht. Waarbinnen de student de bewijzen produceert en verzamelt ten opzichte van de vastgestelde einddoelen. Toch zie je in deze vorm vaak nog de traditionele lessen terug. Deze lessen hebben dan geen toets meer op het einde maar leveren een beroepsproduct op. Bij de criteria voor het portfolio moet ieder beroepsproduct vaak met een voldoende moet worden afgerond, waarin je eigenlijk weer terug bent bij de reguliere toets. Een soort van oude wijn in nieuwe zakken. 

Soms wordt het geheel extra verwarrend gemaakt door een groei-portfolio, of presentatie-portfolio, naast het beoordelingsportfolio te hebben. Waardoor er weer een scheiding ontstaat tussen het leermoment en het beoordelingsmoment. Veelal wordt het portfolio wordt met name op de (beroeps)producten beoordeeld.  De assimilatie van kennis is voorwaardelijk geworden voor het vormen van de producten.  

Hierin komt het gevoel van “vinkjes halen” naar boven, of het behalen van verplichte onderdelen die verzameld worden en achteraf nogmaals te worden beoordeeld. Dat komt omdat gedurende het proces de les vaak maar één keer wordt aangeboden, niet specifiek op het moment dat de student het meest nodig heeft voor een opdracht. Vaak hoe een docent dacht dat logisch past binnen het curriculum of wanneer de docent rooster-technisch beschikbaar is. 

Het proces is hier meestal lineair, al wordt het portfolio tussentijd een aantal keer gecontroleerd en leerdoelen kunnen tussentijds misschien wel al zijn afgerond, er is echter maar één moment waarin dit vastgesteld wordt, namelijk op het einde van de periode.  

Aan het einde zijn docenten per portfolio (minimaal twee per portfolio) heel druk om het eindproduct te beoordelen van al die studenten en al dat werk op dat ene moment inleveren. Het beoordelen wordt moeilijker, omdat ieder document toch weer anders is van opbouw, inhoud en kwaliteit. Daarmee leidt de vorm dus af van het leerproces, omdat de vulling leidend wordt en niet altijd het werkelijk geleverd werk.  

Daarmee gaat het portfolio soms lijken op een sociaal wenselijk document. De student gaat dus handelen naar de uitgangspunten en het liefst werken in template vorm, om de zekerheid te winnen in de vorm en grip te krijgen om de punten te pakken.  

Voor de kwaliteit wordt het vier-ogen principe gehanteerd. De boordeling wordt het liefst gedaan door zoveel mogelijk “onpartijdige” mensen (net als bij een scriptie). Op deze wijze kan een betrouwbaarder oordeel worden geveld over de volledigheid, juistheid en match ten aanzien van de leeruitkomsten. Iedere onafhankelijke docent heeft een eigen stijl en heeft vooroordelen over vorm en wens qua inhoud, dus een eigen kleur. Voor de borging van het kwaliteitsproces zijn de oplevering van het portfolio en de totstandkoming van de beoordeling door twee docenten voldoende.  

Assessment as Learning

Het portfolio is al een flinke stap die gemaakt kan worden ten aanzien va beoordeling in een meer dynamische omgeving, ik denk dat het nog rijker wordt als een veelheid van beoordelingen het leerproces worden. Dat klinkt misschien een beetje vaag, maar is het absoluut niet. Iedere stap die een student neemt kan namelijk door een bepaalde partij, op initiatief van de student, worden ‘beoordeeld’ en waar wenselijk worden gevalideerd. De verantwoordelijkheid voor het juist beoordelen verschuift hiervan direct van de docent naar de student. 

 

Beoordelen kan door medestudenten die in een project zitten, docenten die inhoud aanbieden, tutoren en coaches die het leerproces begeleiden of een externe partner waarvoor het project wordt uitgevoerd. Het is proces wordt misschien wat complexer, maar daarmee niet persé moeilijker!  

De verandering naar kort-cyclisch werken is wel essentieel, daarmee wordt de toets cyclus veel en vaak doorlopen. Ieder moment van feedback wordt een belangrijk moment, het portfolio bouwt zich op, op basis van gevalideerd werk. Let op dat het woord portfolio nu een andere betekenis krijg, niet langer het sociaal wenselijk vooraf gestructureerd document, maar het geheel van ondernomen acties die geleid hebben tot feedback.  

Coaching (zowel op proces als op inhoud) wordt vaak integraal, of wekelijks aangeboden. Er worden momenten bepaald waarop het product in samenspraak met de externe partner (met expertise) wordt doorgelicht. Op alle gewenste moment en manieren kunnen studenten peilstokken hun voortgang prikken en vragen om feedback, feed-up en feed-forward.  

Deze aanpassingen vergroten de betrokkenheid van docenten (experts en coaches). Het zorgt de meest “betrouwbare beoordeling” doordat er vele verschillende inzichten worden gebruikt, welke wel geborgd moet worden in het proces. Het mooie is dat door de continue beoordeling, de werkdruk die normaliter achteraf zou komen nu plaats vindt in het gehele traject, de betrouwbaarheid wordt verhoogd door de betrokkenheid van de verschillende partijen. Het proces heeft geen vier, maar een honderd ogen principe. In de literatuur ook wel bestempeld als interbeoordelaars betrouwbaarheid.

De eindresultaten worden hierdoor rijker en meer divers, net zoals in het echte leven. Vraag 10 gekwalificeerde mensen om computer in elkaar te zetten, een marktonderzoek te doen voor een bepaald product of een ontwerp te maken voor een cover van een boek. Wat gebeurt er dan? Er komen 10 uitstekende, goed onderzochte en onderbouwde oplossingen tot stand komen en ze zijn allemaal anders. Waarom? Omdat iedereen vanuit het eigen referentiekader werkt, maar wel dezelfde goede eigenschappen heeft ontwikkeld om het product tot stand te laten komen, met behulp van dezelfde (of grotendeels overlappende) bronnen.   

Het is situationeel geworden, afhankelijk van de studenten die het uitvoeren, afhankelijk van de coaching en afhankelijk van de begeleiding van de externe partij… Hierin kun je nooit meer alleen het eindproduct leidend maken, omdat we onszelf anders zouden tegenspreken, we leren namelijk van fouten maken. Een eindproduct mag dus zelfs helemaal floppen!  

Daarnaast is er op de leerreis (in het proces) veel gebeurd wat de eindbeoordeling beïnvloed, namelijk alle persoonlijk ontvangen feedback, en dat wil je met elkaar vast leggen. Er is dus sprake van het generen van “eigen” kennis binnen het bestaande kennisframe (body of knowledge). De successen van samen dingen ontdekken wil je samen waarderen en vieren!  

Het summatieve moment is verdwenen, het is opgegaan in het proces van allemaal kleinere formatieve handelingen. Samen komen alle actoren tot een oordeel, op basis van vooraf opgestelde criteria en professioneel oordeel, of het geleverde werk voldoet. Dit laat ook ruimte om soms buiten de lijntjes te kleuren, zijstapjes te doen in de opdrachten, soms dieper dan verwacht of breder dan verwacht te leren. 

Ondanks alle genoemde werkende principes blijkt het minder makkelijk om dit proces “te overhandigen” voor een kwaliteitscontrole of accreditatie. Het portfolio is in vorm en inhoud namelijk niet meer leidend, daarvoor zijn er te veel data-punten in het proces. Het bevat wel alle belangrijke leermomenten (hoogtepunten, samenvatting, successen) en de validatie van de aangetoonde doelen. Het gekke is dat bij een regulier portfolio “vier ogen” voldoende zijn voor de kwaliteitscriteria, maar dit honderd-ogen principe wordt vaak nog gezien als zwakkere bewijslast – vreemd! 

Laten we langzaam weggaan van de drang om alles te willen beheren en controleren. De veelheid datapunten zijn namelijk leermomenten geworden. Beoordeling hoeft dus niet meer benaderd te worden vanuit het beheers-perspectief maar vanuit leer–opbrengst-perspectief. Dat is Assessment as Learning, ieder moment zien als moment om feedback te vragen en daarvan te leren. 

Literatuur 

Andriesen et.al. (2014) – Beoordelen is mensenwerk – https://hbo-kennisbank.nl/details/sharekit_hu:oai:surfsharekit.nl:f2b49a29-7f70-4bba-8e17-8bbca490e645 

Baartman, L., & van Schilt-Mol, T. (2020, 15 oktober). Programmatisch toetsen. Platform Leren van Toetsen. https://lerenvantoetsen.nl/programmatisch-toetsen/ 

Loonen, P., & Venrooij, F. (2020, 3 maart). Toetsen leidt tot werkdruk en niet tot leren. https://oabdekkers.nl/. https://oabdekkers.nl/2020/03/03/toetsing-leidt-tot-werkdruk/ 

Molkenboer, H. (2020) Toetsen volgens de toetscylcus deel 1 

Portfolio en beoordeling. (z.d.). https://talentstimuleren.nl/. Geraadpleegd op 22 december 2020, van https://talentstimuleren.nl/?file=6091&m=1464202914&action=file.download  – onderscheid tussen verschillende portolfio’s (voortgangs-, beoordelings-, en presentatiepotfolio). 

Sluismans, D. (2013). Verankerd in leren. Vijf bouwstenen voor professioneel beoordelen in het hoger beroepsonderwijs. https://docplayer.nl/4231405-Verankerd-in-leren-vijf-bouwstenen-voor-professioneel-beoordelen-in-het-hoger-beroepsonderwijs.html 

Sluijsmans, D., Peeters, A., Jakobs, L., Weijzen, S., & van de Hogeschool, C. O. (2012). De kwaliteit van toetsing onder de loep. Tijdschrift OnderwijsInnovatie, 4, 17-25.  

Sluijsmans, D. Segers, M.  (2018). Toetsrevolutie, naar een feedbackcultuur in het hoger onderwijs; 

Vermunt, E., & Sluijsmans, D. (2015). Toetsen doe je samen met studenten. OnderwijsInnovatie, 17(2), 17-25. 

Vleuten, van der, C., Schut, S., & Heeneman, S. (2018). Programmatisch toetsen als motor voor professioneel leren in het hoger onderwijs. In: D. Sluijsmans & M. Segers (red.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs (pp. 124-136). Phronese 

Wit-Rademakers, G. (2018). OI_oktober 18 – Formatief toetsen. https://onderwijsinnovatie.ou.nl/. https://onderwijsinnovatie.ou.nl/oi-oktober-18/formatief-toetsen/

Vind ik leuk