La lunga marcia dell’istruzione

Il messaggio di base è che uno dei parametri-chiave che distingue l’uno dall’altro i paesi membri della Unione Europea è l’efficienza dei loro governi. Questo significa che non si possono semplicemente riprodurre i piani educativi di un paese in un altro. Perché un programma che funziona in un paese molto efficiente (per esempio, un paese nordico), può dare risultati assai diversi in un altro Stato, che abbia un più basso grado di efficienza della sua pubblica amministrazione.
I risultati riportati in questo articolo sono molto preliminari, ma anche molto interessanti. La futura ricerca dirà se sono risultati spuri o se invece rappresentano un meccanismo importante, finora non esplorato a sufficienza.

Ci sono molti modi per misurare le performance delle strategie educative. Un modo semplice, e che permette confronti internazionali, è utilizzare i risultati dell’ultima edizione dell’ indagine Pisa, condotta dall’Ocse, e che include quasi tutti i paesi dell’Europa a 15 oltre ad alcuni nuovi membri. I risultati di Pisa danno la media dei punteggi ottenuti dagli studenti delle scuole superiori in matematica, scienze e comprensione di un testo. Utilizziamo qui i punteggi medi in matematica, che sono i meno “condizionati culturalmente”, per illustrare un importante risultato.
La domanda chiave è la seguente: quali fattori portano a risultati scolastici migliori (così come misurati dai punteggi di Pisa)? Il primo fattore che viene alla mente è quanto un paese spende in istruzione. Tuttavia, questo non sembra essere un fattore decisivo, come si può vedere dai dati sulla spesa in istruzione (in percentuale del Pil) e i risultati scolastici raggiunti, riportati nella figura 2. La correlazione tra le due variabili (misurata da R2) è solo 0,3: ciò significa che l’ammontare di risorse (pubbliche e private) che un paese spende per l’istruzione non è un fattore chiave nel determinare i risultati scolastici.

Figura 1

Fonte: Oecd per entrambe le variabili.

Se la quantità di spesa non è decisiva, si potrebbe allora guardare alla qualità. In questo contesto, qualità dovrebbe significare l’efficienza di una data spesa in termini di risultati educativi. L’efficienza del settore pubblico è naturalmente molto difficile da misurare obiettivamente. Esistono però alcuni indicatori, frutto di ampie indagini condotte a livello internazionale. Quello che qui utilizziamo è ripreso dalla Banca mondiale ed è chiamato “efficacia del governo”. (1)
Utilizzando questo indicatore si ottiene subito un risultato importante: esiste una forte correlazione tra l’efficienza del governo e i risultati in istruzione. La figura 2 lo illustra visivamente. L’alto valore di R2 suggerisce che all’interno dell’Unione Europea l’indicatore spiega da solo il 90 per cento delle variazioni nei risultati degli studenti. Le ricerche su come le strategie educative possano condurre a una maggiore coesione non dovrebbero perciò concentrarsi solo sulla quantità di risorse disponibili per l’istruzione o sul disegno generale delle strategie educative, ma anche sul grado di efficienza con cui queste strategie sono, o possono essere, realizzate.

Figura 2

Fonte: Oecd per i dati Pisa e Banca mondiale per l’efficacia di governo.

Il principale messaggio suggerito da questo risultato è allo stesso tempo semplice e scoraggiante.
Se il livello generale di efficienza del settore pubblico è il principale determinante dei risultati scolastici, ciò significa che riforme parziali del sistema educativo difficilmente potranno migliorare in modo significativo la situazione.
Molti aspetti della pubblica amministrazione dovrebbero essere ripensati e migliorati se si vogliono migliorare i risultati scolastici così come misurati dai punteggi di Pisa. Ciò richiede tempo e un consenso generale sugli obiettivi. Riforme parziali volte a migliorare, per esempio, la distribuzione delle risorse introducendo maggiore concorrenza o maggiore trasparenza possono essere delineate e realizzate in breve tempo e potrebbero avere effetti positivi. Ma devono essere messe in pratica dalla attuale pubblica amministrazione, la cui qualità non può essere migliorata nel giro di una notte.
Perciò è probabile che anche le migliori riforme abbiano solo un impatto limitato se non cresce la qualità generale della pubblica amministrazione. Questo dovrebbe essere l’obiettivo ultimo di tutte le riforme, ma è il più difficile da raggiungere perché richiede una “lunga marcia” all’interno delle istituzioni.

(1) Ecco come Kaufmann et alt. 2005 definisce l’indicatore: “Nel concetto di “efficacia di governo” si combinano risposte sulla offerta di servizi pubblici, la qualità della burocrazia, la competenza dei dipendenti statali, l’indipendenza dell’apparato statale dalle pressioni politiche e la credibilità degli impegni assunti dal governo. Il principale obiettivo dell’indice è sugli input necessari perché il governo sia capace di produrre e attuare buone politiche ed erogare beni pubblici”.

There seems to be wide agreement about the importance of education. Many studies have focused on micro aspects, i.e. how to motivate students and teachers and how to overcome educational and social barriers, like socio-economic status, family educational level, ethnic background, disability and gender, etc.. However, important insights can also be gained by looking at macro data, i.e. by comparing the performance of different countries in terms of educational achievements. This note will point to an interesting pattern that suggests a new line of research.
The basic message from the data is that one key parameter that distinguished member countries is the efficiency of their governments. This implies that one cannot just copy educational programs from one country to another. A program that might work in a highly efficient country (e.g. one of the Nordics), might in reality work quite differently in another country with a lower degree of efficiency in its public administration and the same program might thus not give the same results.
The remainder of this note provides some basic data and some very first preliminary results. These results are highly tentative, but also highly suggestive. Much more research is needed to determine whether the results reported below are spurious or represent an important mechanism that has so far not been sufficiently explored.

There are many ways to measure the performance of educational strategies. One simple way, which allows for international comparisons is to use the results of the PISA exercise recently run by the OECD, which includes almost all of the EU-15 (and some of the new member countries). The PISA results give the average of test scores of high school students in mathematics, science and reading. This note uses average scores in mathematics, which are the least ‘culturally loaded’ to illustrate an important result.
The key question often asked is: what factors lead to stronger education achievements (as measured by the PISA scores)? The first factor that comes to mind is the amount a country spends on education. However, this factor does not seem to be decisive as can be seen by looking at the data for educational expenditure (as % of GDP) and educational achievements reported in chart 2 below. The correlation between these two variables (as measured by the R2) is only 0.3, implying that the amount of resources (public plus private) a country spends on education is not a key factor in determining the educational achievements of it high school students.

Chart 1

Source: OECD for both variables.

If the quantity of spending on education is not decisive in determining educational achievements one should perhaps look at the quality. Quality in this context should mean the efficiency of the given spending on education. The efficiency of a government is or course difficult to measure objectively. However, there exist numerical indicators resulting from extensive survey work done by international institutions. The indicator used here comes from the World Bank and is called ‘government effectiveness’, see Kaufmann et al. (2005) for more details. (1)
Using this indicator one finds immediately a rather strong result: there is a very strong correlation between government efficiency and education achievement. Chart 2 shows this visually. The high value for the R2 suggests that intra EU variations in government efficiency explain alone 90 % of the variations in student achievements. Research on how educational strategies can foster cohesion should thus not focus only on the amount of the resources available for education and the design of educational strategies in general, but also on the efficiency with which they are, or can be, implemented.

Chart 2

Source: OECD (for PISA) and World Bank (for government effectiveness).

The basic message suggested by this simple result is at the same time simple, and somewhat discouraging. If general government efficiency is the main determinant of education achievement it implies that partial reforms within the education sector are unlikely to improve student achievements fundamentally. Many aspects of public administration need to be overhauled and improved if one wants to improve educational outcomes as measured by the PISA results. This is likely to require time and a general consensus. Partial reforms that improve, for example, the distribution of resources by introducing more competition and greater transparency can be designed and implemented in a rather short time and should have a positive impact. But they have to be implemented by the existing public administration, whose quality cannot be improved overnight. Hence even the best designed reforms are likely to have only a limited impact as long as the overall quality of public administration does not improve. This should be the ultimate aim of all reforms, but it is more difficult to achieve as it requires a ‘long march’ through the institutions.

1) This is how Kaufmann et al. (2005) define government effectiveness: “In “Government Effectiveness” we combine responses on the quality of public service provision, the quality of the bureaucracy, the competence of civil servants, the independence of the civil service from political pressures, and the credibility of the government’s commitment to policies. The main focus of this index is on “inputs” required for the government to be able to produce and implement good policies and deliver public goods. “