HET GEWICHT VAN HET METEN

Prof. Fr. Jan Masschelein doceert fundamentele pedagogiek aan de KU Leuven en is daar als onderzoeker verbonden aan het Centrum voor fundamentele pedagogiek.


Zoals ieder van ons heeft Jan Masschelein in zijn werk zeer vaak te maken met de problematiek van beoordelen en meten. Wat hem aanzet om daarover na te denken. Zijn uitgangspunt: wanneer ik iets wil meten en/of 'objectief' beoordelen, dan is dat niet (op de eerste plaats) omdat ik wil weten. Wat ik vooral wil, is goed - of beter - handelen en beslissen. De wil om te meten is verbonden met de ambitie menselijk oordelen en handelen te verbeteren, te verantwoorden, te controleren. Ik verwacht dat wat ik doe en beslis, daardoor minder kwetsbaar zal worden, minder afhankelijk van toeval, geluk en passie. De kunst van het tellen, meten en wegen zou zo uiteindelijk leiden tot grotere kwaliteit, grotere transparantie en vooral tot betere beslissingen en oordelen. Maar is dat zo?


In de Eutyphro vraagt Socrates :
"Maar waarover moet een meningsverschil wel lopen, mijn beste, om haat en toorn te verwekken? Laten we het eens zo beschouwen: veronderstel dat gij en ik het niet eens zijn over een kwestie van aantal, nl. welke van twee groepen van dingen het talrijkst is. Zal meningsverschil in zulke kwestie ons tot vijanden maken, ons tegen elkaar toornig doen worden? Zouden we, in zulke gevallen althans, niet veeleer aan het tellen gaan en het gauw eens worden?
Euthyphro: Beslist!
Socr En als we niet akkoord gingen over de vraag of iets groter of kleiner is, zouden we het geschil dan niet spoedig oplossen door de maat te nemen?
Euth Inderdaad
Socr En door over te gaan tot wegen zouden we, denk ik, wel tot een vergelijk komen in kwesties van zwaarte en lichtheid?
Euth Natuurlijk
Socr Waarover moet dan een meningsverschil lopen en welk vergelijk moet onbereikbaar zijn om ons onderling tot vijanden te maken en ons toornig te doen worden op elkaar? Misschien ligt het antwoord zomaar niet onmiddellijk in uw bereik. Ik zal u op de weg zetten. Denk eens na: zou het niet zijn wanneer het gaat om recht of onrecht, mooi of lelijk, goed of kwaad? Als gij en ik en alle andere mensen eventueel vijanden worden, is het dan niet omdat het geschil over die punten loopt, en omdat we daarover tot geen afdoend vergelijk kunnen komen?"


Gemeten en gewogen. Geweten en gemogen?

Wat ik doe, onderwijzen bijv., wordt op een welbepaalde wijze beoordeeld, getoetst, gescoord. Zou die activiteit daardoor veranderen, vraag ik mij af. En hoe? Het is natuurlijk wel de bedoeling dat ik beter ga onderwijzen, en dat als gevolg van die evaluatie. Maar het gaat mij over een andere vraag nl. de vraag of het niet zou kunnen zijn, dat de activiteit zelf in haar aard wijzigt doordat ze aan een welbepaalde vorm van evaluatie onderworpen wordt. Achter elke beoordeling, in iedere evaluatie zitten immers bepaalde opvattingen en theorieën, in dit geval over onderwijzen, waar ik ongewild mee geconfronteerd word.


Permanente evaluatie

In de onderwijssector is het meer en meer de gewoonte om alle activiteiten voortdurend te evalueren. Die permanente evaluatie zou moeten leiden tot continue verbetering en bijscholing. En dat is dan weer nodig voor wat men een 'noodzakelijke flexibiliteit' noemt. Het lijkt erop dat 'verandering' een sleutelbegrip is geworden. Alleen wie in beweging blijft, kan overleven.
Die voortdurende beoordeling zou het mogelijk maken om het 'proces' beter te sturen. Proces? Al ons handelen, onze activiteiten zijn blijkbaar terug te brengen tot een onderliggend proces. Wat we doen, hetgeen we leren, zou daarvan dan de uitdrukking zijn. Niet de gebeurtenis (het handelen) op zich of het 'wat' is van belang; dat zijn nog slechts symptomen van een onderliggend proces.

Wanneer we permanente evaluatie zien als voedsel geven ('feed' back) aan een continu, onderliggend proces, dan zegt dat iets over de manier waarop we nadenken over ons werk. Als continue verandering de norm wordt, wat doen we dan met zoiets als 'duurzaamheid'? Met ervaringen van duurzaamheid? Iets wat duurt, is precies iets wat weerstand biedt tegen verandering. En dat wordt nu in feite negatief gewaardeerd. Stilstaan-bij kan eigenlijk niet meer. Het stilstaan-bij-iets betekent immers het proces onderbreken, niet om het daarna nog optimaler of doelgerichter te laten verlopen, maar om te vragen naar de zin ervan. 'Vasthouden aan' (waarden bijv.) kan ook niet meer, want het roept een beeld op van verstarring, dus stilstand in een negatieve zin. Ons motto is immers: flexibiliteit, tijdelijkheid, voortdurende verandering en aanpassing, wat we ook terugvinden in ideeën als levenslang leren, de afbouw van de traditionele loopbaan enz.
Wie lesgeeft en permanent beoordeeld wordt, krijgt dus tegelijk de boodschap: 'volg de evolutie, blijf in beweging, ga geen vaste verbindingen aan'. Wel, het zou wel eens kunnen dat die boodschap ook andere, minder voor de hand liggende, gevolgen heeft. Onbedoelde gevolgen, waarschijnlijk. In het onderwijs hebben we toch ook te maken met kwaliteiten als loyauteit, vertrouwen, diepe verbondenheid met waarden, een gevoel van verplichting tegenover een zaak, een persoon, een gevoel van identiteit. Dat zijn kwaliteiten die van onderwijzen een ethische activiteit maken en het zijn allemaal elementen die met duurzaamheid te maken hebben. Hoe kunnen die nog ontwikkeld worden in een kringloop van voortdurende verandering en permanente evaluatie?


Eindtermen en kwaliteitsnormen

Ook het invoeren van de minimumdoelstellingen, de eindtermen of kwaliteitsnormen, roept vragen op.
De bedoeling ervan is ongetwijfeld om meer controle uit te oefenen, om de onderwijspraktijk te verbeteren en om beslissingen mogelijk te maken voor het beleid, voor directies, voor leerkrachten, ouders en leerlingen. Men wil eigenlijk nagaan in welke mate onderwijsinstellingen erin slagen noodzakelijk geachte inhouden en vooral vaardigheden en attitudes bij te brengen. De gemeenschap draagt de kosten van het onderwijs; het lijkt dan ook normaal dat die gemeenschap bepaalde minimumeisen oplegt en controleert. De staat vraagt in elk geval feitelijk aan het onderwijs om de leerlingen, studenten, leerkrachten, professoren, onderzoekers te beoordelen. Ze staat erop dat het onderwijs bij de leerlingen kennis en vaardigheden ontwikkelt die nodig zijn om mee te kunnen doen in de samenleving. Logisch lijkt ook, dat het onderwijs het bestede geld kan verantwoorden. Dat moet blijkbaar gebeuren door een bepaalde 'output' voort te brengen, en deze output moet via een publieke procedure beoordeeld kunnen worden. Ook logisch? Op die manier formuleert men de gegronde verwachtingen t.a.v. het onderwijs ineens op een erg specifieke wijze. Opnieuw volledig in de geest van de tijd, nl. in termen van output en van output die op de een of andere wijze registreerbaar moet zijn. (Cf. het CIPO-model van de inspectie: context - input - proces - output). Dat kan door een taxatie in termen van toetsresultaten.

Men redeneert daarbij als volgt: wat leerlingen verworven hebben, kan getoetst worden. Door het meten en toetsen kan men ontdekken wat de studenten begrijpen, weten en kunnen. We geloven dat die verworvenheden het resultaat zijn van het onderwijs, dus kunnen we oordelen of men waar krijgt voor zijn geld, en kan men zoals de Europese Whitepaper over het onderwijs (1995) aangeeft, de productiviteit van de uitgaven beoordelen. De school is dus op de eerste plaats verantwoordelijk voor resultaten. En hoe zit het dan met de principes van waaruit men zich engageert in zijn werk? 'Sorry, die zijn niet meetbaar'.


Scholen vergelijken

In de Europese gemeenschap bestaat in toenemende mate een tendens om rangordeningen van scholen (universiteiten) op te stellen, waarbij men steunt op de prestaties op nationale examens, en om die rangorde ook te publiceren. Daar worden allerlei bedenkingen bij gemaakt. De belangrijkste voor mij is, dat het gaat om een beperkte kijk op de realiteit, in dit geval de onderwijskwaliteit. Dat geven de controlerende instanties onmiddellijk grif toe. Er zijn immers zovele andere elementen die de kwaliteit van goed onderwijs bepalen. Ze zijn echter veel moeilijker of helemaal niet uit te drukken via kwantitatieve metingen. Daardoor is vergelijken ook veel moeilijker, want hier is een inhoudelijke discussie nodig. Ook heeft men zeer weinig vat op die elementen. Wat maakt juist die docent zo boeiend voor mij? Wat zorgt ervoor dat ik hem en wat hij zegt of doet niet alleen meedraag voor de rest van mijn leven, maar dat het mijn leven ook mee vorm geeft?

Zo dreigt wat gemeten kan worden - een noodzakelijke versmalling van de realiteit - het oordeel over de kwaliteit van het onderwijs en het onderwijsaanbod te bepalen. Het gaat niet om de vraag of een bepaald meetinstrument al dan niet goed is. Het gaat erom dat de controlerende, betalende instantie op een welbepaalde manier rekenschap vraagt, nl. in de vorm van resultaten die kwantitatief uitdrukbaar zijn. Op die manier ontstaat het gevaar dat men de scholen dwingt tot een zeer dunne en arme invulling van het onderwijs. We zijn er ons allang niet meer van bewust dat het input-outputmodel een zeer beperkt model is. Beseffen we wel dat onderwijsinstellingen moeten zeggen wat en wie ze zijn via de resultaten op toetsen en tests en bevragingen op een manier die door controle-instanties wordt bepaald en door reclamebureaus wordt gebruikt?


Wiens brood men eet…

Heeft de staat het recht om, in ruil voor het geld dat hij uitgeeft, resultaten te vragen? Op het eerste gezicht lijkt dat vanzelfsprekend. Het onderwijs krijgt geld van de staat en moet daarvoor iets teruggeven. (Hoewel… wie het geld krijgt, is ten dele ook degene die het geeft….) Maar op welke manier?
Het zou kunnen zijn dat het onderwijs goed geplaatst is om bepaalde maatschappelijke taken op zich te nemen. Ik denk aan het stimuleren van kritische reflectie. Het helpen ontwikkelen van morele kwaliteiten en waarden of het bevorderen van de identiteitsvorming zijn andere mogelijke voorbeelden. Het onderwijs zou hier goed kunnen in zijn, juist omdat er daar tijd voorhanden is die geen arbeidstijd is en dus niet zonder meer onderworpen aan de eis van flexibiliteit en voortdurende verandering, en omdat er in het onderwijs activiteiten en gebeurtenissen mogelijk zijn die niet in (economische) input-outputmodellen te begrijpen zijn. Maar indien men het onderwijs bepaalde vormen van aansprakelijkheid gaat opleggen (zoals resultaatsverbintenissen, studentcharters, publicaties van rangordeningen, ook van leerkrachten), bestaat het gevaar dat het onderwijs aan die maatschappelijke taken een zeer lage prioriteit gaat geven. Terwijl er misschien dwingende morele en maatschappelijke redenen zijn om te zeggen dat het onderwijs andere doelen moet hebben dan alleen de feitelijkheid van de arbeidsmarkt te ondersteunen.


De beoordeling als leerervaring

Sinds enige tijd koestert het onderwijs een ideaal van controleerbare doelstellingen en van een beoordeling die zelf deel uitmaakt van een leerproces. De beoordeling wil zelf een leerervaring zijn om het leerproces te motiveren en te sturen. Om dat mogelijk te maken moeten de problemen en de taken die opgelegd worden, voor de studenten betekenis hebben. Studenten moeten niet alleen weten wat beoordeeld wordt; ook de criteria en de standaarden van wat een goede prestatie is, moeten duidelijk zijn. Dat geldt zowel voor de manier waarop de prestatie geëvalueerd wordt, als voor de stappen die de student moet doen om zijn prestatie te verbeteren. De vaardigheden en kenmerken die de beoordeling wil meten, zullen zich gemakkelijker ontwikkelen wanneer leerlingen een duidelijk zicht hebben op de criteria voor een goede prestatie, en wanneer dezelfde criteria toegepast werden in het onderwijs dat aan de beoordeling voorafging. We kunnen dus spreken van een zelfvervullende validiteit. Ontwerp een test, maak de studenten duidelijk wat de criteria zijn bij het quoteren van de test, gebruik die criteria in het onderwijs en dan zal de test meten wat hij verondersteld wordt te meten.

Alleen vraag ik mij daarbij af, of de zo gewenste duidelijke criteria en de betekenisvolle problemen nog wel een rijke vorm van kennis en leren, vorming zeg maar, mogelijk maken. Transparantie en betekenisvolheid suggereren bijv. dat leerlingen en leerkrachten een bepaalde opvatting delen over de kennis en de vaardigheden die ze moeten verwerven. Dat zou men bijv. kunnen uitdrukken in contracten, zoals de 'studentcharters' of leerovereenkomsten. Zullen leerkrachten en studenten onder druk van de feitelijke beoordelingseisen er niet op gericht zijn om een zeer beperkte reikwijdte aan prestaties en weinig abstracte kennis tot stand te brengen (wat zelfs voor de economie niet wenselijk is)?


Zinvol oordelen: meten en zich beraden

Het is zeker niet de bedoeling om elke beoordeling uit het onderwijs te bannen. Men zou kunnen zeggen dat die metingen en bevragingen toch iets opleveren en iets is beter dan niets. Maar, zoals ik trachtte aan te tonen, kan veel beoordelen het onderwijs schade berokkenen. Waar het om gaat: moet men in het onderwijs noodzakelijk evalueren vanuit het input-outputmodel en het cliëntmodel? Past wat in het onderwijs gebeurt, werkelijk in zulke modellen, die trouwens in grote mate voorbijgaan aan de concrete context? Waarom niet werken met bijv. een gespreksmodel? Dan gaan we uit van het gegeven dat menselijk handelen interpersoonlijk handelen is. Menselijke activiteiten zijn m.i. altijd interacties ingeschreven in bepaalde tradities. Die tradities kennen eigen principes en leveren een grote veelheid aan manieren waarmee we de werkelijkheid begrijpen. Interacties gebeuren in een concrete context, met zijn eigenheid en veelzijdigheid. Goed onderwijs houdt daarom ook telkens een gevoel in van verplichting tegenover concrete mensen in hun context en tegenover de zaak zelf waarin men onderwijst. Men voelt zich verbonden met tradities en instellingen; tegelijk spelen conflicterende waarden en eigen interesses een rol, evenals bindingen aan plaats en tijd. Goed onderwijs houdt ruimte en tijd in voor 'gebeurtenissen die ons leven vorm geven' en voor het stilstaan daarbij en nadenken daarover. Men zou zich zelfs kunnen afvragen of erzonder nog wel sprake is van menselijk onderwijs.

Nu is de vraag: kan dat beoordeeld worden? Ik denk dat we moeten zoeken naar vormen van publiek gesprek en beraad die aansluiten bij die eigenheid van het onderwijs. Dat gesprek kan dan niet alleen gaan over de toepassing van criteria, maar moet ook gaan ook over de criteria zelf en over de principes en overtuigingen van waaruit men oordeelt (en handelt). (Bij de externe onderwijsevaluaties van de universiteiten vinden we dat enigszins terug). We toetsen dus niet aan externe criteria die vooraf worden vastgelegd, eventueel op basis van een overeenkomst of contract. Het gaat werkelijk om een 'zich beraden'.


Op maat

Dat beraad gaat enerzijds uit van omschreven, bekende principes. Daarnaast gaat het op zoek naar een - eventueel nieuw - principe dat recht doet aan de eigenheid van de concrete situatie. Om dat mogelijk te maken moeten we ons niet alleen bezighouden met het uitwerken van tests en toetsen; onze aandacht moet ook gaan naar het ontwikkelen van wat men vroeger 'oordeelsvermogen' noemde. Dat veronderstelt kwaliteiten als gevoeligheid, engagement, onderscheidings- en nuanceringsvermogen, aandacht voor de andere en voor het mogelijk nieuwe. Het houdt ook aandacht in voor de kwetsbaarheid van het menselijk handelen en het vermogen zich in het standpunt van anderen te verplaatsen. Deze kwaliteiten worden zelf maar gevormd in een traditie en context. Dat alles betekent uiteraard niet dat meten en tellen geen betekenis meer hebben in een beraad. Maar we erkennen uitdrukkelijk dat we eigenheid, verscheidenheid, meerduidigheid en conflict willen recht doen, en zeker niet opheffen. De vraag is immers of het willen uitsluiten daarvan niet zou leiden tot letterlijk onmenselijke praktijken.


Alsof het meetbaar was…

Uit de boodschap van Socrates zouden we kunnen afleiden dat we ons niet moeten bezighouden met kwesties van goed en kwaad, recht en onrecht, mooi en lelijk. Dat creëert alleen maar onenigheid en twist. Zullen we dan maar proberen om de dingen zo te (her)formuleren dat ze meetbaar zijn? Of negeren we ze als onbelangrijk en niet terzake? Stel, een leerkracht vindt dat wat hij nastreeft te etherisch is om door tests, toetsen of metingen vast te stellen. Dan kan ik hem, zoals Flew zou doen, vriendelijk maar zeer duidelijk zeggen dat het tijd wordt om iets anders te zoeken om zich mee bezig te houden. Maar kunnen we dan nog spreken van zinvolle menselijke activiteiten? Of hebben we menselijke praktijken dan zo sterk verarmd, dat ze niet meer als dusdanig te herkennen zijn?

Deze tekst is een herwerkte versie van een korte beschouwing, uitgesproken op de jaarlijkse studiedag van de Leuvense Afgestudeerden Psychologie en Pedagogiek met als thema: 'Assessement gewikt en gewogen. Meten en weten in balans?' (Leuven, 20.11.98).
Voor deze tekst heb ik mij o.m. laten inspireren door enkele bemerkingen van M.Nussbaum in The fragility of goodness. Cambridge: University Press, 1986 (vooral 89-121) en door de studie van A. Davis: The limits of educational assessment. Journal of Philosophy of Education (Special issue), 1998, 32.


©opyright Caleidoscoop, 12/2000

__________________
"Never argue with an idiot, they'll just bring you
down to their level and beat you with experience." (c)TB