BLOG

The scope of school autonomy in practice: An empirically based classification of school interventions

In many countries, education systems are moving towards a combination of increased school autonomy and intensified accountability. In the wake of that shift, decision-making at the school level has become paramount, and the role of the school leader has gained in importance. Despite these trends, surprisingly little is known about how schools and school leaders use school autonomy in practice. To study the use of school autonomy in practice internationally, and, subsequently, its impact on outcomes, a classification is needed to capture the full range of school interventions. An extensive literature review revealed that existing classifications are inadequate for these purposes. This article presents the mixed-methods construction and validation of an empirically based classification of school interventions that allows for the identification, analysis, and comparison of the actual use of school autonomy. To capture the range of school autonomy in practice, a school intervention was broadly defined as a planned action intended to cause change in the school. That definition was not confined to innovative interventions and did not rule out any school decision-making areas. An open-response questionnaire was employed for the same purpose. Because of the high level of school autonomy in the Dutch education system, the study was carried out among secondary-education school leaders in the Netherlands. School leaders with the ultimate process responsibility for their school were regarded as decision-making executives at the school level. To ensure the face and content validation of the classification, school-level decision-making representatives were actively involved at all stages of the process.

Het volledige artikel vindt u hier.

 

Nationale Schoolleiders Top VO 2017

Een verslag van Annemarie’s workshop op de Nationale Schoolleiders Top VO 2017 vindt u hier.

 

Outcome Based Leadership – Visions & Goals

15 October 2013

Looking at the recently published monitor regarding the main objectives of Dutch education (Trends in Beeld 2013. Zicht op Onderwijs, Cultuur en Wetenschap.), we see rather poor results on the realization of outcome based education in schools for both primary and secondary education. In 2011, less than 40% of the schools in primary education and an even poorer 25% of schools in secondary education worked according to the principles of outcome based education (as regarded by the Ministry of Education). The goal, however, is that in both sectors 90% of the schools work outcome based in 2018. Unfortunately, following last year’s monitor (Trends in Beeld 2012. Zicht op Onderwijs, Cultuur en Wetenschap.), we do not see a spectacular increase from, let’s say,  0% to 25%-40% between 2010 and 2011. This would, at least, have given us some hope for the near future. What holds schools back from implementing outcome based education?

The last few years outcome based education has been a ‘trending topic’ in education: it is a main focus – as we have seen above – of the Ministry of Education and, hence, of school boards and schools (in the sense that they know there is no escape from this ‘new’ approach). Many conferences, courses, and lectures are held on the topic; tools and procedures have been drawn up. Though there is a positive relation between outcome based education and student outcomes (in primary education), there seems to be a kind of reticence amongst teachers, team leaders, and often also school leaders to really adapt school and classroom procedures to outcome based principles. If schools do work accordingly, most stick to measuring and analyzing student results, the first phase of outcome based education. The next two steps – following the Dutch Inspectorate’s definition of outcome based education – towards setting goals and the carrying out of measures towards the improvement of student results often stay untouched.

So… school leaders, get out of your caves and set some goals! It is you that has to accommodate for an outcome based culture throughout the entire school. It is you that has to comfort teachers by showing that they are already working outcome based to some extent, that it is no ‘new monster’. It is you that has to show that outcome based education leads to a better wellbeing of both students and teachers. And that it is not only teachers that have to work outcome based, but school leaders and school board leaders as well. If you do not start living the principles of outcome based education yourself, do not expect your teachers to do so in your place. High(er) expectations lead to high(er) results. This does not only count for your students.

 

Added Value – the Power of Effective Schools & Teachers

2 October 2013

In his article on value-added indicators of school performance, Robert H. Meyer (1996) argues that “for several reasons the average test score is potentially a highly misleading indicator of how productive a school is at a given point in time”. He states that:

  1. The average test score is, in general, contaminated by factors other than school performance, primarily the average level of student achievement prior to entering first grade and the average effects of student, family, and community characteristics on student achievement growth from first grade through the grade in which students are tested;
  2. The average test score reflects information about school performance that tends to be grossly out of date (the average test scores for a group of tenth-grade students reflect learning that occurred from kindergarten, roughly ten and a half years earlier, through the tenth grade);
  3. Average test scores at school, district or state level tend to be highly contaminated by student mobility in and out of different schools;
  4. Unlike the grade-specific value-added indicator, average test scores fail to localize school performance to the natural unit of accountability in schools: a specific classroom or grade level.

It is this fourth argument that I would like to look a bit deeper into, hereby broadening the definition of “classroom or grade level” to teacher, since the teacher is the real “natural unit of accountability” when it comes to classroom performance. Of course only after correcting for all of the ‘external’ factors for which a teacher cannot be held directly responsible like school, family and community characteristics. From Robert Marzano’s meta-analysis on 35 years of educational research (2003), we know that schools are responsible for 20% of the variance in student performance. Of this 20%, 67% is due to the effect of individual teachers. This means that about 13% of the variance in individual student performance is caused by teacher performance and, hence, 7% by school performance. Marzano has also calculated the effects of various combinations of school and teacher effectiveness on student performance (he calls it “school performance”) after a two year time span, calculated from a basic level (starting point) of 50 percentile points per student. His findings are the following:

School-Teacher Scenario
Student Performance in percentile points after two years
average school + average teacher

50

least effective school + least effective teacher

3

most effective school + least effective teacher

37

least effective school + most effective teacher

63

most effective school + most effective teacher

96

most effective school + average teacher

78

As we can see from the difference in performance after two years, effective teachers have quite a large influence on student performance, whereas ineffective teachers have not. The latter might even form an obstacle in student performance. These numbers also show that even when average teachers work at a school that does it utmost to be effective, student performance increases quite remarkably. Since teachers are most likely spread along the line of effectiveness according to a normal distribution, this feels as a positive result: even when a school cannot appoint only the best teachers available, they can still make a big positive difference in student outcome.

Knowing the different effects of (in)effective schools and teachers from the above study, it seems even more important to be able to disentangle school effects from teacher effects. S.W. Raudenbush’ (2004) starts his paper on what value-added models are estimating with a discussion from which it appears impossible to separate teacher and school effects using currently available accountability data. “At one extreme, one might attribute all variation between classrooms to teachers. In that view, mean differences between schools are just differences in aggregate teacher effects. At the other extreme, all variation between schools is attributable to variation in the skill of school management and other school organizational features, including instructional coordination across grades, teacher collaboration, teacher control, and school-level resources. In this view, teachers can be held accountable only for the classroom variation within schools.” Subsequently, he refers to a previous study of McCaffrey et al. that improves the estimation of teacher effects on any specific subject. However, the presented and studied models “should not be taken as direct evidence of the effects of instructional practice.” It might be interesting, in the light of the discussion of disentangling the singular and cumulative effects of schools and teachers, to study Marzano’s regression analysis alongside Raudenbush’ and McCaffrey’s models.

 

Kracht der zwakken – zwakke scholen als voorbeeld voor de middenmoot

7 mei 2013

Het onlangs gepubliceerde jaarverslag van de Inspectie van het Onderwijs bevestigt ons vermoeden dat (zeer) zwakke scholen, na de nodige interventies, vaak beter presteren dan scholen van basiskwaliteit. Hoewel gestart vanuit een achterstandspositie, slagen deze scholen er over het algemeen beter en sneller in zowel het onderwijsleerproces als de onderwijsresultaten (leerprestaties) sterk te verbeteren. De Inspectie merkt hierbij op dat deze verbeteringen vaak ook nog een duurzaam karakter lijken te hebben: “voormalig (zeer) zwakke scholen hebben vaker dan andere scholen het onderwijsleerproces op orde en blijvend een beter zicht op de eigen kwaliteit”.

Zeer goed nieuws natuurlijk. Behalve voor de legio scholen met een basisarrangement. En dit betreft gemiddeld 85-95% van de scholen in het PO en VO. Doordat er voor deze scholen geen acute aanleiding is om processen en opbrengsten aan een grondige analyse te onderwerpen, borduren deze scholen vaak voort op ingesleten werkvormen en -structuren. “Niets mis mee, zolang de kwaliteit op orde is”, hoor ik u denken. Dit is als primaire reactie inderdaad een hele logische. Ware het niet dat het inspectieoordeel voor veel scholen ‘een dubbeltje op z’n kant’ is; een basisarrangement of een waarschuwing, attendering of oordeel zwak liggen vaak dicht bij elkaar. Met in deze als grootste bedreiging en punt van aandacht de reactieve houding van veel besturen, schoolleiders en docenten.

Daarnaast constateert de Inspectie, en niet voor het eerst, dat het Nederlandse onderwijs onvoldoende uit zijn excellente leerlingen haalt. Het aandeel goed presterende leerlingen lijkt de laatste jaren zelfs af te nemen. Internationaal gezien presteren ‘we’ goed met onze zwakkere leerlingen, doen we het gemiddeld met onze gemiddelde leerlingen en slecht met onze betere leerlingen. Je zou bijna denken dat we hierbij handelen vanuit een nobel gelijkheidsperspectief. Maar in hoeverre is er sprake van gelijkheid als niet elke leerling dezelfde kans op toegevoegde waarde, op optimale ontplooiingskansen door/in het onderwijs heeft? En dan laten we in deze gemakshalve de Nederlandse ambitie om op korte termijn tot de top vijf van kenniseconomieën te willen behoren nog maar even buiten beschouwing.

Voormalig (zeer) zwakke scholen tonen echter aan dat de weg omhoog toch echt goed begaanbaar is. Door een versterking van het pedagogisch-didactisch handelen zijn docenten beter in staat leerlingen actief bij de lessen te betrekken, te differentiëren in hun groepen en leerlingen waardevolle feedback te geven. Automatisch worden excellente leerlingen hierdoor meer uitgedaagd. Maar dit geldt evengoed voor gemiddelde en zwakkere leerlingen. Een opbrengstgerichte organisatie is hierbij een randvoorwaarde. Het is nu aan bestuur en schoolleiding om van hun scholen ook daadwerkelijk lerende scholen te maken, met voldoende ruimte en stimuli voor scholing van professionals, collegiale feedback en schoolontwikkeling. Laat niet alleen de laatsten de eersten zijn.

 

Noorwegen: het nieuwe Finland – doorpakken of doorpolderen?

14 november 2012

Dat wat het Nederlandse onderwijs de afgelopen jaren maar niet wil lukken, heeft Noorwegen in een paar jaar tijd voor elkaar gekregen: absolute en relatieve stijging op de vermaarde internationale PISA-ranglijst. Hoewel we als weldenkende mensen al lang bedacht hebben dat deze ranglijst niet heilig is – onderwijs gaat per slot van rekening om kansen voor kinderen – doet het toch een beetje pijn nu ‘we’ aan het afglijden zijn. Niet eens zozeer qua absolute scores, maar wel in vergelijking met onze conculanden. We worden links en rechts ingehaald.

Noorwegen is het land bij uitstek waaraan Nederland zich op onderwijsgebied mag spiegelen: een vergelijkbare onderwijsbeleidsagenda (opbrengstgericht werken, versterking lerarenopleidingen en meer aandacht voor kernvakken), een vergelijkbare sociaal-culturele achtergrond (een verlicht christelijke traditie, een door immigratie heterogene bevolking en weinig tiger moms). Alleen is Noorwegen een paar jaar eerder begonnen met hervormen, gealarmeerd daar zijn positie op internationale ranglijsten. Laten we hier als zuiderbuur ons voordeel mee doen!

Uiteraard is er ook sprake van een aantal significante verschillen. Zo heeft de kleine Noor weinig keuzevrijheid: de gang wordt automatisch gemaakt naar de meest dichtbij zijnde school, de iets grotere Noor hoeft pas op zijn vijftiende te kiezen welk type vervolgonderwijs het beste bij hem past en zijn vriendjes ‘met een vlekje’ zitten gewoon bij hem in de klas. Dat kan allemaal in Noorwegen.  Scholen zijn daarbij beperkt autonoom. Het onderwijs is van de gemeente of de regio of het land, al naar gelang de sector.

Wat kunnen wij hier van leren? Dat het best mogelijk is om in beperkte tijd tot hogere onderwijsopbrengsten te komen. Ook zonder Aziatische driltechnieken. En dat we hierbij niet de rugzakjes op voorhand buiten hoeven te sluiten. Zo bouwen we ook nog eens mee aan de door onze rood-blauwe coalitie zo geliefde bruggen. Het primaat hiertoe ligt bij onze docenten en schoolleiders: een beetje meer differentiëren, een beetje meer opbrengstgericht werken en een beetje meer visie op onze maatschappelijke opdracht doen wonderen!

Leave a Reply