maandag 20 april 2009

CRWO conferentie

Zoals Hanneke hieronder al aangeeft, heb ik de CRWO conferentie 2009 met als thema "Nut of noodzaak van Evidence Based Onderwijsadvisering" ook bezocht. Hieronder volgt mijn (persoonlijke) verslag van deze conferentie.

De conferentie werd geopend door dagvoorzitter Paul Deneer en keynotespreker Cor Vink (Schouten & Nelissen). Schouten en Nelissen streeft naar kwalitatief goede adviezen en maatwerk. Dat blijkt bijvoorbeeld uit het feit dat 10% van de deelnemers uiteindelijk een andere training volgt dan waar hij of zij in eerste instantie voor aangemeld is.
Wanneer is een advies kwalitatief goed? Moet het advies daarvoor een wetenschappelijke basis hebben of gaat het om de waardering (achteraf) van de klant (in euro’s)? Onlangs heeft een klant nog benoemd dat het advies of de dienstverlening echt niet altijd wetenschappelijk gefundeerd hoeft te zijn en dat creativiteit en het zoeken naar nieuwe vormen juist belangrijk zijn. Volgens Cor Vink is de klant één van de aspecten die invloed hebben op het advies. Daarnaast spelen de wetenschap en de concurrentie ook een rol in de advisering. Hij vraagt zich af of een kwalitatief goed advies een combinatie is van wetenschappelijke borging en waardering van de klant. Tenslotte moet hij toch concluderen dat de klant met zijn waardering of tevredenheid uiteindelijk altijd centraal staat.

Persoonlijke conclusie: Weinig nieuws en weinig inspirerend. Helaas ging het meer over Schouten en Nelissen dan over Evidence Based Onderwijsadvisering.


Workshop 2.Peer review en peer evaluatie: de balans tussen goede peer feedback en aanvaardbare begeleidingstijd docent.
VU / Janneke van der Hulst en Patris van Boxel, UU / Ineke van den Berg, TU Delft/ Erik de Graaff, M van de Boogaard en G. Saunders-Smits.

De workshop bestond uit twee onderdelen. Er werd begonnen met een algemene inleiding waarin het wat, waarom, hoe e.d. van peer beoordeling uiteengezet werden. Er wordt onderscheid gemaakt tussen peer review (waarbij studenten elkaars (schrijf)producten of presentaties beoordelen) en peer evaluatie (waarbij studenten de samenwerking / elkaars bijdrage aan teamwerk beoordelen). Daarnaast werden enkele geëvalueerde praktijkvoorbeelden besproken, die in het kader van een SURF project zijn bekeken. Zo werken de Universiteit van Utrecht (UU) en de Vrije Universiteit (VU) met twee computersystemen (het Annotatiesysteem en Turnitin), die de peer review ondersteunen. Bij de TU Delft is gekeken naar de invoering van PeEv, een systeem voor peer evaluatie.

Het tweede onderdeel bestond uit twee parallelsessies, één over peer review bij schrijfproducten en één over peer evaluatie bij teamwerk. Ik heb gekozen voor het laatste onderwerp. In deze sessie stond het opdoen van ervaring met peer evaluatie centraal. Naar aanleiding van een korte samenwerkingsopdracht met Domino-steentjes diende het PeEv Instument ingevuld te worden. Het bleek voor alle deelnemers een lastige opgave op basis van zo’n korte opdracht de samenwerkingspartners te beoordelen op “Job performance, Attitude, Leadership / Initiative, Management of Resources, en Communication”. De opdracht en het instrument riepen veel vragen en reacties op.

Persoonlijke conclusie: Over het onderwerp peer beoordeling heb ik weinig nieuws gehoord. Het was wel leuk om te horen hoe drie universiteiten de peer beoordeling hebben uitgewerkt, maar het was duidelijk dat de drie systemen nog in de kinderschoenen staan. Dit bleek ook uit de vele vragen, reacties en discussies die de systemen opriepen.


Workshop 4.Ontwikkelen van een onderbouwde en generaliseerbare co-design methodiek in een serie adviestrajecten.
Interstudie NDO / Jos van der Woude

In het eerste deel van deze workshop licht Jos van der Woude zijn promotieonderzoek over co-design toe. Er wordt van co-design gesproken wanneer de lerenden zeggenschap hebben over de vorm en/of inhoud van hun eigen onderwijs. Het belang van een actieve en producerende rol van de lerende wordt dus benadrukt wordt.
Jos wil met zijn onderzoek de volgende (onderzoeks)vragen beantwoorden: In hoeverre draagt deze co-design aanpak bij aan het verkleinen van de kloof tussen onderwijs en de maatschappij? Een hiervan afgeleide vraag is: Wat zijn de effecten van het inzetten van reeds eerder verworven competenties van studenten/deelnemers bij het ontwikkelen van eigen onderwijs op eigenaarschap, self-efficacy, motivatie en leerresultaten?
Om deze vragen te kunnen beantwoorden, zal een interventie (model co-design) plaatsvinden met als doel alle relevante stakeholders van de opleiding of instelling (docenten, studenten/leerlingen, eventuele praktijkopleiders, eventuele opleidingsadviseurs, onderwijskundigen en managers) te betrekken in het proces om een concept voor competentiegericht onderwijs te ontwikkelen. In de eerste fase van de interventie doorlopen alle stakeholders de vier fasen van de “appreciative inquiry” 4-D (Discovery, Dream, Design, Destiny) ontwikkelmethode van Cooperrider. Het gezamenlijke concept (het resultaat van de eerste fase) geeft vervolgens richting aan de tweede fase.
In het tweede deel van de workshop werd ervaring opgedaan met de eerste “D” (Discovery) van de “appreciative inquiry” 4-D ontwikkelmethode van Cooperrider. Om tot een gezamenlijk concept voor onderwijsadvisering te komen, werden acht deelnemers gevraagd om een voor hen bijzondere onderwijservaring te delen. De overige deelnemers werden gevraagd om te observeren en overeenkomsten en opvallendheden na afloop te melden. Aangezien de verhalen van de acht deelnemers veel tijd in beslag namen (de workshop liep een half uur uit!), was er nauwelijks tijd om tot een gezamenlijk concept te komen en al helemaal niet om de vertaalslag naar het onderzoek te maken.

Persoonlijke conclusie: Het onderzoek is vanwege het onderwerp interessant om te volgen. Helaas is er nu nog weinig over te zeggen of te concluderen, omdat het onderzoek pas een paar maanden geleden gestart is. Dat was ook te merken in de workshop, waarin wat mij betreft teveel tijd besteed werd aan de onderzoeksopzet en verhalen van anderen in plaats van aan het onderwerp of het centrale thema.


Paneldiscussie.
Discussieleider: Paul Rullman. Panelleden: Joke Snippe, Albert Pilot en Cor Vink.
Onderwerpen die tijdens de discussie aan bod kwamen, waren met name het bindend studieadvies en de BaMa-structuur. Bij het laatste onderwerp ging veel aandacht uit naar “de harde knip” tussen de bachelor- en masteropleiding. Opvallend was dat de discussie vooral op het academisch onderwijs was gericht en nauwelijks op het hoger beroepsonderwijs.


Persoonlijke slotconclusie.
Helaas voldeed de conferentie niet aan mijn verwachtingen. De vraag “Evidenced Based Onderwijsadvisering, nut of noodzaak?” is niet beantwoord. Verder heb ik nauwelijks nieuwe dingen gehoord en het thema “Evidence Based Onderwijsadvisering” kwam ook niet echt uit de verf. Het onderzoek over co-design (workshop 4) lijkt me een interessant onderzoek om te volgen, maar verder levert deze conferentie wat mij betreft geen aanwijzingen of ideeën op voor innovaties of koerswijzigingen binnen Avans.

vrijdag 10 april 2009

CRWO conferentie d.d. 9 april 2009 te Eindhoven

Op 9 april heb ik samen met Marjon de Koning de jaarlijkse adviseursconferentie van de CRWO (Contactgroep Research Wetenschappelijk Onderwijs) bijgewoond in het Sofitel Cocagne in Eindhoven. Hierbij een kort (persoonlijk gekleurd!) verslagje van deze conferentie en de workshops die ik zelf heb gevolgd. (zie ook het programma op http://www.crwo.nl/)

Keynote speech door Cor Vink (Algemeen Directeur van Schouten & Nelissen en lid van de Raad van Bestuur van de Schouten & Nelissen GroepSchouten & Nelissen)
Wat doet Schouten & Nelissen? Proberen de kracht die in mensen zit naar buiten te halen (zie ook logo met de schaduw). Geen grootschalige traningen timemanagement / wél 25.000 mensen trainen per jaar op allerlei terreinen van persoonlijke ontwikkeling.
Klant is zowel
- degene die betaalt (meestal de werkgever) als
- degene die de training volgt (de deelnemer).
Bij de vraag ‘Wie is de klant (deelnemer) van de toekomst?’ laat ook deze spreker maar weer eens een filmpje op Youtube van Michael Wesch zien, ‘A vision of K-12 students today’ (
http://www.youtube.com/watch?v=_A-ZVCjfWf8&feature=PlayList&p=7466B039BF84821C&playnext=1&playnext_from=PL&index=2 )
Wat heeft eigenlijk effect/invloed op het advies?
- De klant
- De concurrentie
- De wetenschap.
Gaat het om het aanbieden van training/advies op wetenschappelijke basis of ……… de waardering achteraf van de klant in €, c.q. het rendement?
Conclusie van Vink: Uiteindelijk gaat het altijd om het laatste!

Mijn conclusie: ik weet niet waarom deze spreker is uitgenodigd om dit congres te openen. Verhaaltje was erg kort en erg dun.

Workshop 1.
Evience en practice based advies over studiesucces.
ICLON / Jan Nedermeijer en Eline Noorbergen
Ook de wiki rond onderwijsrendement, 'Een wiki van en voor onderzoekers en adviseurs uit het Hoger Onderwijs’ is in dit kader van belang:
http://kiezenvoortalent.iclon.nl
Evidence based benadering van onderwijs is gewenst; de Onderwijsraad maakt in het advies “Naar meer evidence based onderwijs’ uit 2006 (http://onderwijsraad.nl/upload/publicaties/335/documenten/naar_meer_evidence_based_onderwijs.pdf) onderscheid tussen harder en zachter bewijs:
- gecontroleerde experimenten
- pilots, gevalsstudies
- ervaringskennis collega’s.
ICLON probeert waar mogelijk adviezen te baseren op wetenschappelijk onderzoek.
Resultaten van allerlei onderzoek in relatie tot studierendement die gebruikt worden door onderwijskundigen bij hun advisering werden op een wiki gezet, om achtergrondinformatie te ordenen en naar te kunnen verwijzen.
En verder:
- Vertaling (in A4-tjes) naar de eigen situatie
- Good practices
- …….
Opvallende uitspraak van Jan Nedermeijer tijdens de workshop: “Het niveau van de onderwijskundig adviseur moet omhoog want de docenten weten en kunnen zelf steeds meer (zeker als de BKO echt gaat lopen)”.
Na een korte inleiding wordt in 4 groepen gewerkt aan een casus rond te hoge uitval propedeuse (40%) bij de studie rechten in Leiden.
Er komen veel identieke adviezen uit de bespreking: meer (sociale) contacten/werken in kleine groepen, betere studiekeuzebegeleiding door bijv. gesprekken vooraf, mentoren inzetten in VO, maar ook kijken naar de oorzaken van de hoge uitval.
En hoe vertrouwd /zeker voel je je nu als adviseur met dergelijke adviezen? Waar is het bewijs? De wiki kan hierbij behulpzaam zijn!

Mijn conclusie: de inzet van een wiki voor dit doel lijkt aardig (waar heb ik dit meer gezien?), in de workshop zelf ging het jammer genoeg meer over de situatie zelf dan over de evidence based aanpak!

Workshop 3.
Evidence-based: het haalt de vaart eruit.
Drs. Berry Nijveld en Drs. Alice van de Vooren, Risbo
Wat zou er tegen evidence-based adviseren zijn? In andere vakgebieden is het niet meer dan normaal een ontwerp te baseren op bestaand bewijs. Maar: bewijs in de onderwijskunde is boterzacht! Er spelen nl. (bijna) altijd erg veel (te veel) verschillende factoren een rol. Daarom gebruiken we vaak allerlei containerbegrippen als ‘motivatie’ of ‘studiesucces’, die je vervolgens bij de concrete advisering weer uit elkaar trekt en probeert te onderbouwen met bewijsmateriaal. Dat bewijsmateriaal kan vervolgens alle kanten op gaan, zowel voor als tegen.
Stelling van de workshopleiders: zoeken naar bewijs voor een bepaalde aanpak haalt juist de vaart er uit doordat er net zo veel bewijs tegen diezelfde aanpak te vinden is! Daarom liever kiezen voor flankerend onderzoek met gebruikmaking van de PDCA-cyclus. Meer concreet: onderzoek op kleine schaal doen in de vorm van pilots of experimenten (D), maar: hoe kun je dan op een goede manier de effecten meten (C)? (Effecten in de zin van: is er iets veranderd in het gedrag? - als een hoger niveau na ‘was het leuk’ en ‘heb je iets geleerd?’)
Na een inventarisatie van succesfactoren voor enerzijds goed onderzoek en anderzijds goede advisering zijn we zelf aan de slag gegaan met het toepassen van de PDCA-cyclus op een concrete situatie (in mijn geval de gewenste verhoging van het studierendement bij rechten in Utrecht met 10%). Leverde noch als oefening noch als totaal in de nabespreking erg veel anders op dan wat de inleider aan het begin al vertelde: bewijs is niet altijd te vinden of niet eenduidig, en goed flankerend onderzoek is moeilijk maar belangrijk. Met de eerder genoemde succesfactoren is eigenlijk niets meer gedaan.

Mijn conclusie: de Avans benadering vanuit organisch ontwikkelen is precies wat door deze mensen wordt voorgesteld!

Na de twee workshoprondes vond nog een paneldiscussie plaats rond de kernvraag van de conferentie met Joke Snippe, Cor Vink en Albert Pilot. Het was wel erg jammer dat de hele discussie eigenlijk continu ging over heel inhoudelijke aspecten (invoering bindend studieadvies, de harde knip tussen bachelor en masteropleiding), die voor ons uit het HBO ook nog eens weinig relevant zijn.

Mijn algemene conclusie: qua inhoud viel de hele conferentie mij tegen, het centrale thema kwam niet echt uit de verf. Wat wel duidelijk werd: wij zijn in het HBO in het algemeen nog steeds veel meer met onderwijs bezig dan de universiteiten en we zijn op sommige aspecten ook verder, en ook binnen de universiteiten wordt het geven van evidence based onderwijsadvies als een noodzakelijke maar ingewikkelde opgave gezien!