Wat drijft Nederlandse schoolleiders?

In Nederland worden schoolleiders zelden direct betrokken bij de ontwikkeling en evaluatie van onderwijsbeleid. Dit geldt ook voor de wijze waarop (overheids)beleid met betrekking tot schoolautonomie in de praktijk vorm en inhoud krijgt. Uit mijn proefschrift blijkt dat Nederlandse schoolleiders in het voortgezet onderwijs (vo) deze autonome ruimte voornamelijk gebruiken voor interventies op het vlak van onderwijs en professionalisering. Hun interventiekeuzes zijn veelal gebaseerd op tacit knowledge: intuïtie en persoonlijke drijfveren. Deze persoonlijke drijfveren zijn sterk verbonden met schoolmissies en -visies en getuigen van een waardegedreven, holistische en mensgerichte oriëntatie. Interventiekeuzes worden hoofdzakelijk gemotiveerd door pedagogische ambities – zoals talentontwikkeling of het activeren van leerlingen – of overwegingen die samenhangen met de gevolgen van vrije schoolkeuze.

Cognitieve leeropbrengsten
De verhoging van cognitieve leeropbrengsten blijkt geen primaire en expliciete doelstelling in de interventiekeuzes van Nederlandse vo-schoolleiders. Van veel toegepaste onderwijsinterventies kan conform internationaal onderzoek niet verwacht worden dat ze tot een substantiële verhoging van leeropbrengsten leiden. Ook motieven die samenhangen met gestandaardiseerde verantwoordingsnormen worden zelden genoemd als reden voor specifieke interventiekeuzes. Zolang tenminste aan dergelijke normen van overheids- of inspectiewege voldaan wordt, vertonen schoolleiders geen opvallende ambitie om deze leeropbrengsten als zodanig te verhogen.

Alternatieve interpretatie
Het is echter goed mogelijk dat schoolleiders het begrip leeropbrengsten anders interpreteren dan gangbaar is onder beleidsmakers en onderzoekers. Een interpretatie die niet uitsluitend gericht is op cognitieve prestaties, maar ook aandacht schenkt aan talentontwikkeling en non-cognitieve vaardigheden zoals motivatie en eigenaarschap. Wanneer je de voorbereiding van kinderen op hun toekomstige rol in de samenleving als de voornaamste taak van onderwijs beschouwt, dan is te begrijpen dat een holistisch opvoedingsbegrip en het welbevinden van leerlingen de interventiekeuzes van schoolleiders bepalen. In mijn onderzoek tonen schoolleiders heldere en overeenkomstige opvattingen over de doelstellingen van (voortgezet) onderwijs. Mede hierom is het zowel opmerkelijk als betreurenswaardig dat er relatief weinig wetenschappelijk onderzoek beschikbaar is dat onderwijsinterventies vanuit dit perspectief benadert.

Verantwoording
Uit het oogpunt van verantwoording kun je echter ook een kritische noot plaatsen bij het gegeven dat het voornamelijk pedagogische ambities zijn die vo-schoolleiders drijven. Uit onderzoek blijkt dat verantwoording afleggen voorwaardelijk is voor het welslagen van schoolautonomie en concrete en meetbare doelen vereist. Verantwoording met betrekking tot cognitieve leeropbrengsten is schoolextern gereguleerd via gestandaardiseerde kaders en instrumenten, bij voorbeeld die van de Inspectie van het Onderwijs. Verantwoording met betrekking tot pedagogische, non-cognitieve doelstellingen is een stuk uitdagender om vorm te geven. Dergelijke doelen zijn vaak lastiger concreet te formuleren, laat staan te meten en te waarderen. We ontkomen echter niet aan een discussie over de wijze waarop die pedagogische verantwoording kan plaatsvinden, inclusief het formuleren van doelstellingen en opbrengsten.

Onderzoeksgebruik
In deze discussie moeten we ook het gebruik van onderzoek betrekken. In een professionele context wordt van schoolleiders in toenemende mate verwacht dat zij gebruikmaken van de groeiende hoeveelheid onderzoeksgegevens. Het is essentieel om te weten of schoolleiders in wezen terughoudend zijn in het gebruik van onderzoek dan wel of het voorhanden zijnde onderzoek onvoldoende toepasbaar is in hun dagelijkse praktijk. Als zij daadwerkelijk weinig interesse blijken te hebben in het toepassen van onderzoek, dan zouden beleidsmakers, opleidingsinstituten en besturen hun verantwoordelijkheid moeten nemen wat betreft de professionaliteitseisen aan en de professionele ontwikkeling van schoolleiders. Gezien de bestaande beroepsstandaard en het beroepsregister zouden deze actoren zowel moeten eisen dat schoolleiders voldoen aan de overeengekomen normen met betrekking tot onderzoeksgebruik en -vaardigheden als deze ontwikkeling effectief faciliteren. Laten we niet vergeten dat schoolleiders betrokken zijn bij de totstandkoming van standaard en register. Dit impliceert dat zij onderzoeksgebruik en -vaardigheden zelf ook als een inherent onderdeel van hun schoolleiderschap beschouwen. Als uit nader onderzoek zou blijken dat schoolleiders het beschikbare onderzoek onvoldoende toepasbaar vinden in hun dagelijkse praktijk, dan biedt mijn proefschrift aanknopingspunten voor toekomstig effectiviteitsonderzoek.. Hiermee kan de bruikbaarheid van wetenschappelijk onderzoek voor onderwijsprofessionals verhoogd worden, met een grotere impact op leeropbrengsten als mogelijk gevolg.

Deze column is gepubliceerd in CVO Nieuws.

The scope of school autonomy in practice: An empirically based classification of school interventions

In many countries, education systems are moving towards a combination of increased school autonomy and intensified accountability. In the wake of that shift, decision-making at the school level has become paramount, and the role of the school leader has gained in importance. Despite these trends, surprisingly little is known about how schools and school leaders use school autonomy in practice. To study the use of school autonomy in practice internationally, and, subsequently, its impact on outcomes, a classification is needed to capture the full range of school interventions. An extensive literature review revealed that existing classifications are inadequate for these purposes. This article presents the mixed-methods construction and validation of an empirically based classification of school interventions that allows for the identification, analysis, and comparison of the actual use of school autonomy. To capture the range of school autonomy in practice, a school intervention was broadly defined as a planned action intended to cause change in the school. That definition was not confined to innovative interventions and did not rule out any school decision-making areas. An open-response questionnaire was employed for the same purpose. Because of the high level of school autonomy in the Dutch education system, the study was carried out among secondary-education school leaders in the Netherlands. School leaders with the ultimate process responsibility for their school were regarded as decision-making executives at the school level. To ensure the face and content validation of the classification, school-level decision-making representatives were actively involved at all stages of the process.

Het volledige artikel vindt u hier.

Nationale Schoolleiders Top VO 2017

Een verslag van Annemarie’s workshop op de Nationale Schoolleiders Top VO 2017 vindt u hier.

Outcome Based Leadership – Visions & Goals

15 October 2013

Looking at the recently published monitor regarding the main objectives of Dutch education (Trends in Beeld 2013. Zicht op Onderwijs, Cultuur en Wetenschap.), we see rather poor results on the realization of outcome based education in schools for both primary and secondary education. In 2011, less than 40% of the schools in primary education and an even poorer 25% of schools in secondary education worked according to the principles of outcome based education (as regarded by the Ministry of Education). The goal, however, is that in both sectors 90% of the schools work outcome based in 2018. Unfortunately, following last year’s monitor (Trends in Beeld 2012. Zicht op Onderwijs, Cultuur en Wetenschap.), we do not see a spectacular increase from, let’s say,  0% to 25%-40% between 2010 and 2011. This would, at least, have given us some hope for the near future. What holds schools back from implementing outcome based education?

The last few years outcome based education has been a ‘trending topic’ in education: it is a main focus – as we have seen above – of the Ministry of Education and, hence, of school boards and schools (in the sense that they know there is no escape from this ‘new’ approach). Many conferences, courses, and lectures are held on the topic; tools and procedures have been drawn up. Though there is a positive relation between outcome based education and student outcomes (in primary education), there seems to be a kind of reticence amongst teachers, team leaders, and often also school leaders to really adapt school and classroom procedures to outcome based principles. If schools do work accordingly, most stick to measuring and analyzing student results, the first phase of outcome based education. The next two steps – following the Dutch Inspectorate’s definition of outcome based education – towards setting goals and the carrying out of measures towards the improvement of student results often stay untouched.

So… school leaders, get out of your caves and set some goals! It is you that has to accommodate for an outcome based culture throughout the entire school. It is you that has to comfort teachers by showing that they are already working outcome based to some extent, that it is no ‘new monster’. It is you that has to show that outcome based education leads to a better wellbeing of both students and teachers. And that it is not only teachers that have to work outcome based, but school leaders and school board leaders as well. If you do not start living the principles of outcome based education yourself, do not expect your teachers to do so in your place. High(er) expectations lead to high(er) results. This does not only count for your students.

Added Value – the Power of Effective Schools & Teachers

2 October 2013

In his article on value-added indicators of school performance, Robert H. Meyer (1996) argues that “for several reasons the average test score is potentially a highly misleading indicator of how productive a school is at a given point in time”. He states that:

1. The average test score is, in general, contaminated by factors other than school performance, primarily the average level of student achievement prior to entering first grade and the average effects of student, family, and community characteristics on student achievement growth from first grade through the grade in which students are tested;
2. The average test score reflects information about school performance that tends to be grossly out of date (the average test scores for a group of tenth-grade students reflect learning that occurred from kindergarten, roughly ten and a half years earlier, through the tenth grade);
3. Average test scores at school, district or state level tend to be highly contaminated by student mobility in and out of different schools;
4. Unlike the grade-specific value-added indicator, average test scores fail to localize school performance to the natural unit of accountability in schools: a specific classroom or grade level.

It is this fourth argument that I would like to look a bit deeper into, hereby broadening the definition of “classroom or grade level” to teacher, since the teacher is the real “natural unit of accountability” when it comes to classroom performance. Of course only after correcting for all of the ‘external’ factors for which a teacher cannot be held directly responsible like school, family and community characteristics. From Robert Marzano’s meta-analysis on 35 years of educational research (2003), we know that schools are responsible for 20% of the variance in student performance. Of this 20%, 67% is due to the effect of individual teachers. This means that about 13% of the variance in individual student performance is caused by teacher performance and, hence, 7% by school performance. Marzano has also calculated the effects of various combinations of school and teacher effectiveness on student performance (he calls it “school performance”) after a two year time span, calculated from a basic level (starting point) of 50 percentile points per student. His findings are the following:

As we can see from the difference in performance after two years, effective teachers have quite a large influence on student performance, whereas ineffective teachers have not. The latter might even form an obstacle in student performance. These numbers also show that even when average teachers work at a school that does it utmost to be effective, student performance increases quite remarkably. Since teachers are most likely spread along the line of effectiveness according to a normal distribution, this feels as a positive result: even when a school cannot appoint only the best teachers available, they can still make a big positive difference in student outcome.

Knowing the different effects of (in)effective schools and teachers from the above study, it seems even more important to be able to disentangle school effects from teacher effects. S.W. Raudenbush’ (2004) starts his paper on what value-added models are estimating with a discussion from which it appears impossible to separate teacher and school effects using currently available accountability data. “At one extreme, one might attribute all variation between classrooms to teachers. In that view, mean differences between schools are just differences in aggregate teacher effects. At the other extreme, all variation between schools is attributable to variation in the skill of school management and other school organizational features, including instructional coordination across grades, teacher collaboration, teacher control, and school-level resources. In this view, teachers can be held accountable only for the classroom variation within schools.” Subsequently, he refers to a previous study of McCaffrey et al. that improves the estimation of teacher effects on any specific subject. However, the presented and studied models “should not be taken as direct evidence of the effects of instructional practice.” It might be interesting, in the light of the discussion of disentangling the singular and cumulative effects of schools and teachers, to study Marzano’s regression analysis alongside Raudenbush’ and McCaffrey’s models.

Kracht der zwakken – zwakke scholen als voorbeeld voor de middenmoot

7 mei 2013

Het onlangs gepubliceerde jaarverslag van de Inspectie van het Onderwijs bevestigt ons vermoeden dat (zeer) zwakke scholen, na de nodige interventies, vaak beter presteren dan scholen van basiskwaliteit. Hoewel gestart vanuit een achterstandspositie, slagen deze scholen er over het algemeen beter en sneller in zowel het onderwijsleerproces als de onderwijsresultaten (leerprestaties) sterk te verbeteren. De Inspectie merkt hierbij op dat deze verbeteringen vaak ook nog een duurzaam karakter lijken te hebben: “voormalig (zeer) zwakke scholen hebben vaker dan andere scholen het onderwijsleerproces op orde en blijvend een beter zicht op de eigen kwaliteit”.

Zeer goed nieuws natuurlijk. Behalve voor de legio scholen met een basisarrangement. En dit betreft gemiddeld 85-95% van de scholen in het PO en VO. Doordat er voor deze scholen geen acute aanleiding is om processen en opbrengsten aan een grondige analyse te onderwerpen, borduren deze scholen vaak voort op ingesleten werkvormen en -structuren. “Niets mis mee, zolang de kwaliteit op orde is”, hoor ik u denken. Dit is als primaire reactie inderdaad een hele logische. Ware het niet dat het inspectieoordeel voor veel scholen ‘een dubbeltje op z’n kant’ is; een basisarrangement of een waarschuwing, attendering of oordeel zwak liggen vaak dicht bij elkaar. Met in deze als grootste bedreiging en punt van aandacht de reactieve houding van veel besturen, schoolleiders en docenten.

Daarnaast constateert de Inspectie, en niet voor het eerst, dat het Nederlandse onderwijs onvoldoende uit zijn excellente leerlingen haalt. Het aandeel goed presterende leerlingen lijkt de laatste jaren zelfs af te nemen. Internationaal gezien presteren ‘we’ goed met onze zwakkere leerlingen, doen we het gemiddeld met onze gemiddelde leerlingen en slecht met onze betere leerlingen. Je zou bijna denken dat we hierbij handelen vanuit een nobel gelijkheidsperspectief. Maar in hoeverre is er sprake van gelijkheid als niet elke leerling dezelfde kans op toegevoegde waarde, op optimale ontplooiingskansen door/in het onderwijs heeft? En dan laten we in deze gemakshalve de Nederlandse ambitie om op korte termijn tot de top vijf van kenniseconomieën te willen behoren nog maar even buiten beschouwing.

Voormalig (zeer) zwakke scholen tonen echter aan dat de weg omhoog toch echt goed begaanbaar is. Door een versterking van het pedagogisch-didactisch handelen zijn docenten beter in staat leerlingen actief bij de lessen te betrekken, te differentiëren in hun groepen en leerlingen waardevolle feedback te geven. Automatisch worden excellente leerlingen hierdoor meer uitgedaagd. Maar dit geldt evengoed voor gemiddelde en zwakkere leerlingen. Een opbrengstgerichte organisatie is hierbij een randvoorwaarde. Het is nu aan bestuur en schoolleiding om van hun scholen ook daadwerkelijk lerende scholen te maken, met voldoende ruimte en stimuli voor scholing van professionals, collegiale feedback en schoolontwikkeling. Laat niet alleen de laatsten de eersten zijn.

Noorwegen: het nieuwe Finland – doorpakken of doorpolderen?

14 november 2012

Dat wat het Nederlandse onderwijs de afgelopen jaren maar niet wil lukken, heeft Noorwegen in een paar jaar tijd voor elkaar gekregen: absolute en relatieve stijging op de vermaarde internationale PISA-ranglijst. Hoewel we als weldenkende mensen al lang bedacht hebben dat deze ranglijst niet heilig is – onderwijs gaat per slot van rekening om kansen voor kinderen – doet het toch een beetje pijn nu ‘we’ aan het afglijden zijn. Niet eens zozeer qua absolute scores, maar wel in vergelijking met onze conculanden. We worden links en rechts ingehaald.

Noorwegen is het land bij uitstek waaraan Nederland zich op onderwijsgebied mag spiegelen: een vergelijkbare onderwijsbeleidsagenda (opbrengstgericht werken, versterking lerarenopleidingen en meer aandacht voor kernvakken), een vergelijkbare sociaal-culturele achtergrond (een verlicht christelijke traditie, een door immigratie heterogene bevolking en weinig tiger moms). Alleen is Noorwegen een paar jaar eerder begonnen met hervormen, gealarmeerd daar zijn positie op internationale ranglijsten. Laten we hier als zuiderbuur ons voordeel mee doen!

Uiteraard is er ook sprake van een aantal significante verschillen. Zo heeft de kleine Noor weinig keuzevrijheid: de gang wordt automatisch gemaakt naar de meest dichtbij zijnde school, de iets grotere Noor hoeft pas op zijn vijftiende te kiezen welk type vervolgonderwijs het beste bij hem past en zijn vriendjes ‘met een vlekje’ zitten gewoon bij hem in de klas. Dat kan allemaal in Noorwegen.  Scholen zijn daarbij beperkt autonoom. Het onderwijs is van de gemeente of de regio of het land, al naar gelang de sector.

Wat kunnen wij hier van leren? Dat het best mogelijk is om in beperkte tijd tot hogere onderwijsopbrengsten te komen. Ook zonder Aziatische driltechnieken. En dat we hierbij niet de rugzakjes op voorhand buiten hoeven te sluiten. Zo bouwen we ook nog eens mee aan de door onze rood-blauwe coalitie zo geliefde bruggen. Het primaat hiertoe ligt bij onze docenten en schoolleiders: een beetje meer differentiëren, een beetje meer opbrengstgericht werken en een beetje meer visie op onze maatschappelijke opdracht doen wonderen!