a. Descrizione e commento critico della metodologia di selezione dei prodotti, adottata dalla Struttura
Il processo di selezione dei 243 prodotti previsti per l’Università di Siena – corrispondenti al 25 % del N. medio di docenti in servizio presso l’Università nel triennio 2001/03 – è arrivato a compimento attraverso una serie di tappe che hanno visto il coinvolgimento di vari soggetti. La prima preoccupazione dell’Ateneo è stata quella di rendere tale processo il più possibile noto e condiviso, illustrando in vari momenti (e rivolgendosi a consessi più o meno ampi) le finalità dell’esercizio proposto dal CIVR e le modalità di svolgimento.
A questo scopo, si è operato principalmente nella direzione della sensibilizzazione dei Direttori di Dipartimento, attraverso incontri e distribuzione di materiale illustrativo; non sono però mancati momenti di incontro con l’intera comunità scientifica, culminati con quello del 18 giugno, nel corso del quale il Presidente del CIVR, Prof. Cuccurullo, ha avuto modo di presentare personalmente l’iniziativa e di confrontarsi con il corpo docente dell’Università di Siena.
Anche alla luce delle indicazioni emerse da questi incontri, il Comitato Coordinatore (composto dal Rettore, dal Delegato alla Ricerca e dal Presidente del Nucleo di Valutazione) ha delineato il percorso che ha consentito di selezionare i 243 prodotti previsti in modo assolutamente lineare e condiviso, senza alcuna tensione o conflitto.
Il processo ha coinvolto inizialmente i Dipartimenti, che sono stati chiamati a selezionare i propri migliori prodotti di ricerca realizzati nel triennio 2001/03 in quantità corrispondente al 45 % dei docenti afferenti: tali prodotti sono stati direttamente inseriti nel sistema predisposto dal Cineca per conto del CIVR.
Nel frattempo sono stati costituiti dei Comitati di Area CUN per ciascuna delle aree presenti nell’Università di Siena; la composizione di ciascun Comitato è stata la seguente:
- Un rappresentante dell’area CUN eletto da tutti i docenti afferenti, con funzioni di coordinatore;
- i Direttori dei Dipartimenti riconducibili ad una stessa area CUN;
- un rappresentante (eletto) per ciascun SSD dell’area.
I Comitati di Area hanno effettuato una prima scrematura dei prodotti presentati dai Dipartimenti, riducendone il numero a 335 (30-35 % dei docenti afferenti a ciascuna Area).
La selezione finale per arrivare ai 243 prodotti previsti è stata successivamente compiuta da un organismo composto: dal Comitato Coordinatore, dal Panel scientifico del Progetto VAI Ricerca (la cui realizzazione nel triennio 2002-04 ha consentito all’Università di Siena di valutare tutti i propri Dipartimenti, attraverso una metodologia che prevedeva, per ciascuno di essi, la stesura di un rapporto di autovalutazione e, successivamente, la visita di 1-2 giorni da parte di un Audit Team composto da esperti – italiani e stranieri – esterni all’Ateneo a cui era affidato il compito di redigere un Rapporto sul Dipartimento formulando un giudizio qualitativo di confronto con strutture similari nei paesi dell'Unione Europea e degli altri paesi di paragonabile sviluppo accademico; la composizione del Panel è indicata in seguito) dai Rappresentanti di Area in Senato Accademico e dal Presidente del Collegio dei Direttori di Dipartimento.
La decisione è stata assunta tenendo conto, quando possibile, dell'impact factor e considerando in maniera adeguata il grado di proprietà medio, la presenza di un numero di prodotti sufficientemente ampio da testimoniare la qualità della ricerca condotta nell'area ed il livello di competizione rilevabile, per ciascuna area CUN, fra i diversi atenei italiani. Questo è stato fatto dopo aver preliminarmente distinto tra aree CUN in cui è possibile far riferimento all'impact factor ed aree in cui tale indicatore non è presente, stabilendo che ciascuno dei due gruppi doveva presentare nel suo complesso un numero di pubblicazioni pari al 25% dei docenti del gruppo. Ne è derivato che alle aree CUN con impact factor (1, 2, 3, 4, 5, 6, 7, 8 e 9) competono, in complesso, 181 prodotti, a quelle senza impact factor (10, 11, 12, 13 e 14) 147 prodotti.
Dati i criteri in precedenza ricordati, è stato deciso di non presentare prodotti nelle aree speciali e nelle aree 7 e 8.
Per quanto concerne le aree senza impact factor, per operare la selezione dei prodotti si è fatto riferimento sia alle proposte più selettive presentate dalle stesse aree sia all'analisi diretta dei prodotti presentati.
Per quanto concerne le aree con impact factor, per operare la selezione dei prodotti è stato deciso di ponderare l'impact factor con il grado di proprietà e di analizzare i brevetti avendo particolare riguardo alla rilevanza di essi ed all'adozione od adottabilità da parte di imprese. Per ciascuna area si è inoltre tenuto conto del livello dell'impact factor dei prodotti presentati rispetto al valore medio delle riviste dell'area di riferimento.
Il Nucleo di valutazione sottolinea come l’organismo che ha proceduto alla selezione finale dei prodotti sia stato composto in larga misura da personalità di chiara fama, esterne all’Università di Siena. Il Panel scientifico del Progetto VAI Ricerca ha potuto infatti contare sull’apporto dei seguenti studiosi provenienti da prestigiose istituzioni italiane e straniere:
per le SCIENZE SPERIMENTALI i Prof.ri: Umberto Bertazzoni (Università degli Studi di Verona), Angelo Peccerillo (Università degli Studi di Perugia), Paolo Costantino (Università di Roma "La Sapienza" – Roma), Emilio Picasso (Scuola Normale Superiore – Pisa), Piergiorgio Uslenghi (University of Illinois – Chicago);
per le SCIENZE BIOMEDICHE E MEDICHE i Prof.ri: Massimo Colombo (Università degli Studi di Milano), Silvio Garattini (Istituto di Ricerche Farmacologiche "Mario Negri" – Milano), Marco Baggiolini (Rettore dell'Università della Svizzera Italiana - Lugano);
per LETTERE, STORIA, FILOSOFIA E ARTI i Prof.ri: Louise George Clubb (University of California, Berkeley), Romano Lazzeroni (Università degli Studi di Pisa), Mary Gibson (University of New York), Sebastiano Bagnara (Politecnico di Milano), Carlo Severi (Laboratoire d'Anthropologie Sociale – Paris);
per ECONOMIA, GIURISPRUDENZA E SCIENZE POLITICHE i Prof.ri: Claudio Cesa (Scuola Normale Superiore di Pisa), Luigi Labruna (Presidente CUN), Vittorio Coda (Università Commerciale “Luigi Bocconi” – Milano), Yves Mény (Istituto Universitario Europeo – Firenze), Marcello De Cecco (Scuola Normale Superiore – Pisa).
Il Nucleo di Valutazione ritiene inoltre importante sottolineare come i 243 prodotti selezionati rappresentino solo una piccolissima frazione dell’intera produzione scientifica dell’Ateneo: tali prodotti rappresentano infatti solo l’1,7 % dei prodotti realizzati nel triennio 2001-03. E’ possibile calcolare questo dato con estrema precisione, poiché la produzione scientifica è tenuta costantemente sotto controllo nell’Università di Siena attraverso i dati raccolti nell’Anagrafe delle ricerche, attivata fin dal 1999.
b. Ragioni dell'eventuale assenza o carenza di prodotti selezionati in specifiche aree
Una ulteriore prova della rigorosità del processo di selezione adottato è data dalla distribuzione percentuale finale dei prodotti di ricerca per singola area CUN: infatti essa non sempre corrisponde alla distribuzione percentuale dei ricercatori ETP nelle stesse aree.
L’Università di Siena ha infatti ritenuto che la presentazione di prodotti afferenti ad una certa area potesse avvenire solo a condizione che in essa si registrasse la presenza di un numero di prodotti sufficientemente ampio da testimoniare la qualità della ricerca condotta nell'area ed il livello di competizione rilevabile fra i diversi atenei italiani. Dati questi criteri, come già osservato in precedenza, è stato deciso di non presentare alcun prodotto nelle aree speciali e nelle aree 7 e 8.
Nelle restanti 12 aree CUN, l’unico limite imposto all’organismo che ha proceduto alla selezione definitiva dei prodotti (v. Sez. precedente) è stato quello di scegliere un numero di prodotti proporzionale al N. di docenti solo con riferimento a due aggregati molto ampi: quello costituito dalle aree “scientifiche” (1, 2, 3, 4, 5, 6 e 9), nelle quali l’impact factor assume un ruolo di rilievo, e quello costituito da quelle “umanistiche” (10, 11, 12, 13 e 14) in cui esso ha invece un ruolo marginale (o è del tutto assente). Nel primo caso il N. di prodotti è stato calcolato in 136, nel secondo in 107. Dato questo vincolo, l’organismo che ha proceduto alla selezione ha operato in piena libertà, redistribuendo i prodotti in maniera differenziata rispetto ad una meccanica trasposizione della percentuale di afferenza dei docenti alle aree: il rapporto tra gli scostamenti (in valore assoluto) da quest’ultima ed il numero di prodotti da selezionare evidenzia un valore prossimo al 10 %.
Con riferimento alle tipologie di prodotti di ricerca proposti e alle aree, la selezione è risultata alla fine la seguente:
Aree CUN
01-Sc. Matematiche A (7) – TOT (7)
02-Sc. Fisiche A (4) – TOT (4)
03-Sc. Chimiche A (11), B (3), D (1) – TOT (15)
04-Sc. della Terra A (9) – TOT (9)
05-Sc. Biologiche A (31), B (3) – TOT (34)
06-Sc. Mediche A (47), B (13) – TOT (60)
09-Ing. Ind. e Inf. A (7) – TOT (7)
Totale Aree SCI A (116), B (19), D (1) – TOT (136)
10-Sc. Art-Let A (1), C (5), D (22), E (2), F(2) – TOT (32)
11-Sc. Stor-Fil C (2), D (22), G (1) – TOT (25)
12-Sc. Giur. A (4), C (1), D (11) – TOT (16)
13-Sc. Econ-Stat A (23), C (2), D(3) – TOT (28)
14-Sc. Pol-Soc A (2), C (2), D (2) – TOT (6)
Totale Aree UMAN A (30), C (12), D (60), E (2), F(2), G (1) – TOT (107)
TOTALE A (146), B (19), C (12), D (61), E (2), F(2), G(1) – TOT (243)
Legenda
A (Articolo su rivista)
B (Brevetto)
C (Capitolo di libro)
D (Libro)
E (Performance, mostra ed esposizione)
F (Progetto, composizione, disegno e design)
G (Risultato di valorizzazione applicativa)
La coincidenza piena tra docenti afferenti ad un’area CUN e prodotti selezionati ascritti a quell’area si è verificata in tre sole circostanze, tutte riferite all’aggregato umanistico. Le redistribuzioni sono dovute in buona parte alla volontà di trovare comunque spazio ai brevetti e, in misura minore, a quella di escludere i prodotti di rango inferiore all’interno di una scala comparativa inter-area.
Su quest’ultimo punto, in particolare, deve sottolinearsi come, in realtà, specie nelle due fasi precedenti, si è presentato il problema contrario, ossia l’imbarazzo della scelta tra vari prodotti di notevole livello qualitativo.
L’analisi dei dati dell’Anagrafe delle ricerche dell’Università di Siena evidenzia infatti come, nel triennio 2001-2003, la comunità scientifica dell’ateneo abbia realizzato 14.008 prodotti delle varie tipologie; ragguagliando questi valori al N. di docenti medi del triennio possiamo vedere come ogni docente dell’Ateneo – con riferimento alle tipologie prevalenti di prodotto - abbia prodotto, in questi tre anni 6,6 articoli su riviste, 2,1 contributi ad opere collettanee, 4,5 pubblicazioni collegate a convegni e 0,6 libri interi; con riferimento ai due macro-aggregati precedentemente proposti ed alle tipologie di prodotto ritenute di maggior pregio al loro interno, osserviamo come nelle aree umanistiche ogni docente abbia prodotto, in media, più di un libro intero (1,1) in tre anni, mentre nell’aree scientifiche nel triennio considerato si è registrato un impact factor medio per docente corrispondente a 15,694 (quindi 5,231 su base annua). Nelle aree scientifiche, gli articoli su riviste “impattate” del triennio rappresentano circa il 60 % del totale di quella tipologia di prodotto (dei 5330 articoli su rivista registrati nell’Anagrafe delle ricerche, 3161 sono su riviste “impattate”).
Questo senza trascurare i brevetti depositati, di cui si parla nella prossima sezione del Rapporto. In questa sede è sufficiente sottolineare che i brevetti rappresentano il 7,8 % dei prodotti presentati dall’Università di Siena. Con riferimento alle sole aree scientifiche la percentuale sale al 13,9 %. |
