Il Prof. Carlo Drago, docente di probabilità statistiche nella facoltà di Ingegneria dell’Università N. Cusano, ha parlato con Tag24 di Ranking universitari, classifiche stilate su parametri ed indicatori spesso controversi che danno vita a graduatorie non sempre attendibili. Si parla spesso di rankings dell’università, di cosa si tratta professore?

I rankings dell’università sono delle classifiche (in inglese appunto la parola ranking significa classifica) che in qualche modo ordina le università su base sia internazionale che su base nazionale facendo uso di criteri quantitativi collegati alla ricerca ed alla didattica. In particolare vengono utilizzati tra gli altri indicatori, indicatori appunto bibliometrici come il numero di citazioni. I rankings o classifiche dell’università negli anni hanno acquisito a livello di media sempre un maggiore interesse, il che fa dire che tali indicatori, come si dice in gergo, “siano qui per rimanere” malgrado appunto siano molto criticati nella letteratura e nella pubblicistica internazionale. Questo appunto per la loro indiscutibile importanza.

Perché sono così importanti nella vita quotidiana nazionale?

Sono importanti laddove teoricamente rappresentano o dovrebbero rappresentare una rilevante risorsa informativa sulle capacità delle singole università di svolgere ricerca e didattica a livello di eccellenza. Questa loro “capacità” sarebbe sintetizzata da un singolo numero (come un singolo numero nelle pagelle rappresenta il lavoro svolto dal singolo studente). L’esistenza poi in qualche modo di classifiche rende il tutto maggiormente “d’impatto” a livello mediatico. Del resto è certamente di più facile comprensione una classifica. Nello stesso modo messaggi come “nessuna università italiana tra le prime 100 del mondo” risultano essere messaggi facilmente comprensibili dal maggior numero di persone aldilà di quello che ci sia effettivamente dietro a livello metodologico. Proprio per queste ragioni nel tempo è risultata crescente la loro influenza a livello nazionale ed internazionale. Come è stato detto questi ranking tendono oggi a porsi come “gli arbitri” dell’eccellenza accademica.

A cosa ha portato l’impatto mediatico relativo a questi indicatori?

L’impatto mediatico ha contribuito nella decisione di scegliere un determinato ateneo o un altro. Le università tendono a pubblicizzare eventuali ottimi risultati in tali classifiche, laddove gli studenti tendono a scegliere le stesse università a seconda delle performances ottenute.

In qualche modo però i rankings da strumento conoscitivo sono divenuti “altro”. In quanto il rischio come al solito fosse di prendere delle decisioni semplicemente sulla base del rankings e magari non interrogandosi su una serie di aspetti importanti. Del resto un indicatore composito per sua natura non può prendere in considerazione tutta una serie di aspetti rilevanti. …anche perché molto spesso non era neppure così chiaro come fossero esplicitamente costruiti tali indicatori ingenerando spesso incomprensioni. L’equivoco generale è poi che spesso si considerino valutazione e “classifiche” come due sinonimi laddove non è così. Insomma, un conto è la valutazione, un conto è un ranking. Ancora una volta quindi il messaggio ha rischiato di arrivare distorto.

Come mai i rankings sono così efficaci a livello di comunicazione?

Perché tipicamente è un metodo estremamente semplice di valutazione seppure in qualche modo troppo riduttivo. Si riducono grandi quantità di indicatori con un singolo indicatore composito e su questo si comparano varie istituzioni internazionali. Il che inevitabilmente ha avuto un impatto anche nella vita interna delle università. Di fatto la pubblicazione di tali classifiche è un momento importante per le medesime università…. Esatto. La pubblicazione dei rankings ha in qualche modo in tutti gli aspetti della vita accademica ha condizionato la stessa… Su tali classifiche vengono infatti prese decisioni accademiche interne (in alcune università ad esempio esistono figure proprio addette a tali ranking ed al miglioramento del posizionamento in classifica) al fine appunto di migliorare i risultati dei singoli rankings. Nello stesso modo, vengono adeguatamente pubblicizzati risultati particolarmente positivi a mezzo stampa, infine, vengono valutati anche a livello nazionale portando addirittura a progettare politiche pubbliche universitarie al fine di migliorare il posizionamento degli atenei nazionali. Questo per dire alcuni degli utilizzi di tali rankings, ancora di più bisogna dire che sono stati fatti utilizzi di tali rankings ancora più rilevanti nella vita delle persone:

Quali ad esempio?

Ad esempio politiche dell’immigrazione in alcune nazioni sono state decise sulla base di rankings. Addirittura, quindi, le politiche relative all’immigrazione sono state in qualche modo vincolate al possedere un titolo di studio di una università classificatasi in una certa posizione in tali rankings. In questo senso lavoratori ad “alta specializzazione” si poteva essere solo se esplicitamente avendo ottenuto un determinato titolo in una istituzione di questo tipo. ..nello stesso modo anche l’assegnazione di borse di studio o l’accesso a corsi di laurea avanzata in altre università possono essere decisi sulla base appunto di tali rankings. …Altri utilizzi rilevanti dei rankings possono essere quelli di finanziare determinati atenei che si trovino in determinati posizioni. Anche questo caso è risultato assai discusso in quanto è in discussione se sia effettivamente utile a livello di politiche nazionali quello di finanziare determinati atenei “d’elite” (i quali sarebbero appunto i primi in ordine di posizionamento). Ovviamente in questi casi la valutazione del singolo ateneo viene ad essere basata su criteri non sempre ragionevolmente valutabili. Esistono infine diversi rankings ognuno dei quali presenta caratteristiche diverse con inevitabilmente risultati diversi.

Quanti rankings esistono?

Esistono varie classifiche internazionali replicate anno per anno. A questi rankings se ne possono aggiungere molti altri. Ciascuna di queste classifiche presenta ovviamente caratteristiche diverse, dunque non è detto che una determinata università che si classifichi prima in una sia prima in un’altra classifica. Questo significa chiaramente che esiste anzitutto un certo livello di soggettività nella scelta dei criteri che si utilizzano. Tale livello di soggettività dovrebbe essere sempre preso in considerazione laddove si considerino questi indicatori. Addirittura laddove questi indicatori si affidino a determinati criteri spesso distorti questo può rapidamente portare a risultati viziati. Tali risultati sono spesso citati sulla stampa e dalla Politica come evidenze empiriche di un “qualcosa” che però va attentamente compreso (De Nicolao 2014). Senza comprensione di cosa siano si rischia di sbagliare. La regola aurea è che sia necessario comprendere bene cosa ci sia dietro un determinato ranking (come questo sia stato costruito) prima di fare affermazioni sullo stesso ranking. Come sono costruiti a livello metodologico? I metodi di costruzione di tali indicatori sono spesso molto diversi. In generale si tratta di indicatori compositi che ovviamente vengono basati su indicatori di base spesso anche molto diversi. Ovviamente questa è una delle ragioni per cui i rankings tendono a differire gli uni dagli altri. Non è quindi possibile definire un’unica versione di indicatore “autorevolmente” superiore alle altre. Recentemente proprio per trovare un numero di università “ottime” in Italia, e’ stata fatta proprio una comparazione tra un numero molto elevato di rankings identificando appunto un novero di università “eccellenti” (nell’ordine della trentina di università). In questo modo si è cercato di ovviare alle limitazioni del singolo indice (ROARS 2014). Malgrado questo sono stati comunque segnalati vari problemi metodologici nella costruzione di tali indicatori. Ovviamente di tali distorsioni bisognerebbe sempre tenerne conto. La regola aurea è: mai dare i “dati” per dati.

Che cos’è un indicatore composito?

Tipicamente ciascuno di questi rankings vengono costruiti aggregando misure di tipo spesso assai diverso. Si effettuano una serie di normalizzazioni ed infine si aggregano i risultati ottenendo un punteggio finale. Un tale punteggio viene comparato per ciascuna istituzione al fine di ottenere appunto un determinato ranking. Tali metodologie però sono state recentemente criticate in quanto molto facilmente permetterebbero un utilizzo non corretto (e dunque una interpretazione distorta) e forti incentivi a pratiche appunto migliorative del ranking ma non certo della situazione generale.

Ad esempio…

Un primo problema è quello che spesso gli indicatori bibliometrici in sé possono essere distorti. Esistono molti casi documentati in cui l’utilizzo delle citazioni, ad esempio, viene utilizzato in maniera non corretta. Ovviamente non è facile discriminare queste situazioni all’interno della costruzione di tali indicatori. Dunque è possibile riscontrare dei casi in cui ci si trovi di fronte a posizionamenti “sospetti” che in realtà non rappresentino una vera situazione reale. In altri casi proprio per l’impatto mediatico è possibile ipotizzare una serie di misure (adottabili anche dalle singole istituzioni) per artificialmente migliorare i punteggi e quindi i rankings. In questi casi ancora una volta è necessario prestare molta attenzione agli aspetti metodologici.

Quali sono per esempio dei limiti metodologici?

In letteratura ne sono stati indicati diversi: dal fatto che tali metodologie in qualche modo favoriscano le istituzioni anglo-sassoni, o le pubblicazioni in lingua inglese, oppure nei criteri di calcolo e di normalizzazione dei singoli indicatori. Molto importante sarebbe permette la replicabilità dei singoli indicatori di calcolo ma non sempre questo è possibile anche perché sarebbe necessario rendere pubblici i dati sottostanti e questo non è facile per tutta una serie di problemi. C’è poi un problema di robustezza di tali indicatori o meglio un problema che spesso non è discusso che è quello della sensitività di tali indicatori. Modificando le ipotesi di costruzione degli indicatori stessi come cambiano i risultati? L’aspettativa sarebbe di avere dei rankings robusti e cioè scarsamente sensibili a tali variazioni. Tipicamente infatti modificando le ipotesi alla base di tali indicatori (sia solo per modificare la struttura del medesimo indicatore composito) è possibile riscontrare delle rilevanti differenze nelle classifiche (o nei rankings).

E’ possibile la formula dell’università perfetta?

Una delle novità a livello di ricerca è rappresentata proprio dal tentativo di costruire un archetipo di università di eccellenza semplicemente andando a calcolare le medie per ciascun indicatore tra le prime 200 università di riferimento (indice THE). Ovviamente tale procedura è stata criticata in quanto: 1. Alcuni indicatori sarebbero rigidi 2. Non sono chiari i meccanismi che legherebbe tali indicatori all’efficienza 3. Un tale esercizio si presterebbe troppo facilmente a valutazioni di politica che troppo facilmente potrebbero risultare distorti da valutazioni scorrette degli indicatori medesimi. Insomma in finale, prima di qualunque esercizio sui dati dovrebbe essere necessario comprendere adeguatamente “cosa”ci sia dietro tali rankings e da lì partire per una discussione. Insomma i rankings sono strumenti utili che non vanno però utilizzati in maniera non adeguata.