Qualità della ricerca - La valutazione della Andrea Solieri - Ricerca Unimore
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
La valutazione della qualità della ricerca tra bibliometria e peer review Andrea Solieri
SOMMARIO
1. Performance e competizione
2. Sistemi di finanziamento pubblico della ricerca
3. EU28*: finanziamento a livello di organizzazione/di progetto
4. Criteri di assegnazione dei fondi a livello di organizzazione
5. Performance-based research funding. Finalità e caratteristiche
6. EU28*: approcci di assegnazione fondi a livello di organizzazione
7. PBRF. Pro e Contro
8. PBRF. Metodi utilizzati
9. PBRF. Indicatori bibliometrici: pro e contro
10. PBRF. Peer review: pro e contro
11. PBRF. Indicatori bibliometrici: chi li sua
12. PBRF. (Informed) peer review: chi la usa
13. Il caso italiano. MIUR e ANVUR
14. Il caso italiano. FFO e PRIN
15. Il caso italiano. Quota base e quota premiale
16. Il caso italiano. Quota premiale e VQR
17. Il caso italiano. VTR 2001-2003 e VQR 2004-2010
18. Il caso italiano. VQR 2011-2014
19. Il caso italiano. VQR 2011-2014. Giudizio di qualità dei prodotti
20. Il caso italiano. VQR 2011-2014. Livelli di qualità dei prodotti
21. Il caso italiano. VQR 2011-2014. Analisi bibliometrica
22. Il caso italiano. VQR 2011-2014. Analisi bibliometrica e peer review
23. Il caso italiano. VQR 2011-2014. VQR 15-19 (coming soon?)
24. San Francisco Declaration on Research Assessment (DORA)
25. Leiden Manifesto
26. Indicatori bibliometrici e peer review. Analisi di correlazione REF 2014
27. Indicatori bibliometrici e peer review. Analisi di correlazione vqr 2011-2014
28. Valutazione della ricerca. Conseguenze sui ricercatori
Andrea Solieri
Performance e competizione.
Comunicazioni Commissione Europea
La Commissione incoraggia La Commissione invita gli
gli Stati Membri a «un’attenta Stati Membri a «introdurre o
assegnazione delle risorse, migliorare i sistemi di
anche attraverso meccanismi finanziamento su base
di finanziamento connessi competitiva, attraverso ‘calls
alla performance che for proposals’ e ‘institutional
introducono un elemento di assessments’ quali sistemi
competizione». principali di allocazione dei
fondi pubblici per la ricerca e
l’innovazione».
[Supporting growth and jobs - An agenda for [A Reinforced European Research Area
the modernisation of Europe’s higher Partnership for Excellence and Growth
education systems COM(2011) 567] COM(2012) 392]
Andrea Solieri
Sistemi di finanziamento pubblico
della ricerca
ORGANISATIONAL FUNDING ▪ Stabilità e pianificazione a
Fondi assegnati all’organizzazione lungo termine
come block funding e/o (in parte) ▪ Capacity building
performance-based funding, che ▪ Autonomia e flessibilità
l’organizzazione può spendere
liberamente in attività di ricerca.
PROJECT FUNDING ▪ Finanziamento mirato e
Fondi assegnati a un gruppo/singolo strategico
per un progetto di ricerca con finalità, ▪ Iniziative guidate dal PI
budget e durata limitati, presentato (e ▪ Eccellenza ed efficienza
valutato ex ante) nell’ambito di un grazie alla competizione nel
bando competitivo. breve termine
Andrea Solieri
EU28*: finanziamento a livello di
organizzazione/di progetto
*più Norvegia
ITALIA
[Zacharewicz, T., Lepori, B., Reale, E., & Jonkers, K. (2018). Performance-based research funding in EU Member
States - a comparative assessment. Science and Public Policy, 46(1), 105-115. https://doi.org/10.1093/scipol/scy041]
Andrea SolieriCriteri di assegnazione dei fondi a
livello di organizzazione
▪ RESEARCH ASSESSMENT ▪ HISTORICAL
i.e. lo stanziamento è fatto
▪ EX ANTE sulla base di quello degli anni
precedenti.
PERFORMANCE
▪ EX POST
BASED
▪ EDUCATION METRICS In (quasi) ogni caso, la percentuale
e.g. n. studenti, n. laureati di fondi istituzionali assegnati sulla
base delle performance della
ricerca è molto limitata (Performance-based research funding
Finalità e caratteristiche
PBRF systems are «national ▪ La ricerca deve essere
systems of research output valutata.
evaluation used to distribute ▪ La valutazione deve essere
ex post.
research funding to ▪ Devono essere valutati
universities» output e/o impatto della
ricerca.
Due componenti: ▪ Una parte dei fondi deve
1. Processo di valutazione essere assegnata sulla base
della ricerca dei risultati della valutazione.
2. Formula che converte la ▪ Il sistema di finanziamento
deve essere nazionale o
valutazione in finanziamento regionale.
[Hicks, D. (2012). Performance-based university research funding systems. Research policy, 41(2), 251-261.
https://doi.org/10.1016/j.respol.2011.09.007]
Andrea SolieriEU28*: approcci di assegnazione fondi
a livello di organizzazione
*+ Svizzera e Norvegia
ITALIA
Metà dei Paesi EU28 ha una qualche forma di assegnazione dei fondi a livello di
organizzazione sulla base della performance della ricerca (dati relativi al 2014).
NB: la valutazione della ricerca non è necessariamente collegata alla distribuzione delle risorse,
e.g. nei Paesi bassi.
[Zacharewicz, T., Lepori, B., Reale, E., & Jonkers, K. (2018). Performance-based research funding in EU Member
States - a comparative assessment. Science and Public Policy, 46(1), 105-115. https://doi.org/10.1093/scipol/scy041]
Andrea SolieriPBRF
Pro e contro
PRO CONTRO
▪ Migliora la performance della ▪ Stimola comportamenti
ricerca, facilitando un uso adattivi (e.g. strategie di
più efficiente delle risorse e pubblicazione “salami style”,
selezionando i gruppi “citation clubs”, frodi,
migliori, promuovendone la autocitazioni).
cooperazione e la ▪ Produce visione a breve
competizione. termine, riducendo la
▪ Migliora l’efficienza e la certezza sul futuro
performance del sistema nel (finanziamento).
suo complesso, ▪ Penalizza le ricerche non
consentendo l’assegnazione ortodosse e multidisciplinari.
delle risorse ai soggetti che ▪ Ha costi elevati.
meglio le potranno utilizzare.
Andrea SolieriPBRF
Metodi utilizzati
INDICATORI BIBLIOMETRICI PEER REVIEW
1. N. pubblicazioni I sistemi che si basano sulla
2. Impatto della rivista peer review riuniscono comitati
3. N. citazioni di esperti dei diversi settori
Le formule che utilizzano scientifici che definiscono gli
indicatori bibliometrici standard per la valutazione nel
prevedono di norma anche proprio settore di competenza
l’uso di altri indicatori (e.g. (e.g. come valutare diverse
finanziamenti esterni, tesi di tipologie di pubblicazione, che
dottorato, collaborazione con le uso fare degli indicatori
imprese, etc.) bibliometrici, etc.).
INFORMED PEER REVIEW
I revisori utilizzano più fonti di
informazione per pervenire alla
valutazione finale, e.g. gli
indicatori bibliometrici.
Andrea SolieriPBRF
Indicatori bibliometrici: pro e contro
PRO CONTRO
▪ Sono ritenuti oggettivi. ▪ Sono poco applicabili a livello
▪ Hanno costi relativamente di singoli e gruppi (salvo
bassi in termini di risorse e grande sforzo in data
tempo. collection e data cleaning).
▪ Non è necessario (o ▪ Sono scarsamente riconoscuti
comunque basso) il e accettati da (alcune)
coinvolgimento dei singoli comunità scientifiche.
ricercatori. ▪ Non coprono adeguatamente
tutte le discipline (e.g.
Scienze Umane e Sociali).
▪ Sono oggetto di forti critiche
(vedi DORA https://sfdora.org/read/).
Andrea SolieriPBRF
Peer review: pro e contro
PRO CONTRO
▪ Si basa sulla conoscenza ▪ È soggettiva per natura.
specifica del settore ▪ È lenta, inefficiente e costosa.
scientifico, dei relativi ▪ È incoerente (i.e. basso grado di
metodi e della sua correlazione fra i giudizi dei peers).
letteratura. ▪ È conservativa, favorisce ricerche
▪ Può aiutare a valutare mainstream.
elementi difficili da ▪ È soggetta a pregiudizi (e.g. di
quantificare (e.g. novità). genere, contro le pubblicazioni che
▪ Può fornire una espongono risultati negativi, in
comprensione più favore di istituti prestigiosi)
dettagliata e articolata della ▪ È difficile da implementare in Paesi
ricerca nel suo contesto con un numero limitato di esperti
▪ È generalmente accettata della materia.
dalla comunità accademica. ▪ Può essere influenzata da conflitti
tra scuole di pensiero concorrenti.
▪ Non è trasparente.
Andrea SolieriPBRF
Indicatori bibliometrici: chi li usa
PAESI CASE STUDY: NORVEGIA
Belgio, Croatia, Danimarca, Utilizza il “Norwegian model”*, che prevede:
Estonia, Finlandia, Norvegia, 1. l’uso di un sistema informativo della ricerca
Polonia, Repubblica Ceca, nazionale di tutte le pubblicazioni scientifiche
degli autori norvegesi (CRIStin);
Svezia, Slovacchia. 2. l’uso di un indicatore (Norvegian Scientific
Index) che pesa ogni pubblicazione in base alla
tipologia e al livello (1/2) della rivista/editore,
definito annualmente da un board scientifico
nazionale;
3. la distribuzione di una piccolo parte dei
finanziamenti a livello istituzionale (il 2% ca) in
base al punteggio ottenuto dall’organizzazione.
*è utilizzato (adattato ai rispettivi NB: la Norvegia ha un parallelo sistema di
contesti) anche dale Fiandre valutazione della ricerca basato sulla peer
(Belgio), Danimarca, Finlandia, review che non è utilizzato a fini di
Svezia (da singole università) distribuzione delle risorse.
Andrea SolieriPBRF
(Informed) peer review: chi la usa
PAESI CASE STUDY: REGNO UNITO
Francia, Italia, Lituania, UK REF 2021 (starting soon): «The REF is a
Portogallo, Regno Unito. process of expert review. Expert sub-panels for
each of 34 units of assessment (UOA) will carry
out the assessment, working under the leadership
and guidance of four main panel.» La valutazione
riguarda: la qualità dei prodotti presentati in termini
di originalità, rilevanza e rigore (60%), la portata e
The metric tide: Report of the Independent la rilevanza dell’impatto sociale conseguito dalla
Review of the Role of Metrics in Research ricerca eccellente dei gruppi valutati (25%), la
Assessment and Management vitalità e la sostenibilità dell’ambiente di ricerca
(Wilsdon et al., 2015).
(15%). «No sub-panel will use journal impact
Building on Success and Learning from
Experience: An Independent Review of the factors or any hierarchy of journals in their
Research Excellence Framework assessment of outputs. Where available and
(Stern et al., 2016) appropriate, citation data will be considered as a
Review of the Research Excellence positive indicator of the academic significance of
Framework: Evidence Report the research output.»
(Arnold et al., 2018)
REF 2021. Panel criteria and working methods
Andrea SolieriIL CASO ITALIANO
MIUR e ANVUR
Il MIUR indica obiettivi e
indirizzi strategici e tramite
l’ANVUR ne verifica e valuta i
risultati.
L’ANVUR sovraintende al
sistema pubblico nazionale di
valutazione della qualità delle
Università e degli Enti di
ricerca.
I risultati delle attività di valutazione dell'Agenzia costituiscono criterio di
riferimento per l'allocazione dei finanziamenti statali alle università e agli
enti di ricerca.
[L. 286/2006, art. 2 comma 139]
Andrea SolieriIL CASO ITALIANO
FFO e PRIN
Organisational
FFO (ANNO 2018) Project
FIRST (ANNO 2018)
funding
7.327.189.147 funding
45.082.585
Il Fondo per il finanziamento ordinario Il Fondo per gli Investimenti nella
delle università copre le spese per il Ricerca Scientifica e Tecnologica
funzionamento e le attività istituzionali gestito dal MIUR finanzia interventi di
delle università, comprese le spese per ricerca fondamentale e industriale,
il personale docente, ricercatore e non ricerca e sviluppo sperimentale,
docente, per l'ordinaria manutenzione infrastrutturazione, formazione di
delle strutture universitarie e per la capitale umano, trasferimento
ricerca scientifica, ad eccezione della tecnologico e spin off; appalti pre-
quota destinata ai progetti di ricerca di commerciali di ricerca e sviluppo
interesse nazionale e della spesa per le sperimentale; interventi di innovazione
attività sportive universitarie. sociale; interventi nazionali di ricerca
fondamentale o industriale inseriti in
accordi e programmi comunitari e
internazionali.
[Criteri di ripartizione del Fondo di Finanziamento Ordinario (FFO)
delle Università Statali e dei Consorzi interuniversitari per l’anno [Decreto di Riparto del Fondo per gli Investimenti nella Ricerca
2018 (DM 587/2018)] Scientifica e Tecnologica (FIRST) (DM 48/2019)]
Andrea SolieriIL CASO ITALIANO
Quota base e quota premiale
FFO
7.327.189.147*
Block
funding
Quota base (60%) 4.427.752.286*
▪ Peso università (i.e. storico) 2.949.114.072 (66%)
▪ Costo standard di formazione per 1.380.000.000 (31%)
studente
▪ Altro
PBRF Quota premiale (23%)
▪ 60% in base ai risultati VQR 2011-2014
1.693.485.395*
1.016.091.237
▪ 20% in base alla valutazione delle 338.697.069 18,5%
politiche di reclutamento 2015-2017,
(dati VQR 2011-2014)
▪ 20% in base ai risultati relativi alla
valorizzazione dell'autonomia
responsabile degli atenei
[Criteri di ripartizione del Fondo di Finanziamento
Ordinario (FFO) delle Università Statali e dei
Altro (17%) Consorzi interuniversitari per l’anno 2018
(DM 587/2018)]
Andrea SolieriIL CASO ITALIANO
Quota premiale e VQR
rapporto tra la somma delle
valutazioni ottenute dai prodotti
dell’Istituzione nell’Area e la
valutazione complessiva di Area
% della somma dei finanziamenti
ottenuti dall’Istituzione da bandi
competitivi per progetti di ricerca
nazionali/internazionali rispetto al
totale dell’Area.
Andrea SolieriIL CASO ITALIANO
VTR 2001-2003 e VQR 2004-2010
VTR 2001-2003 VQR 2004-2010
102 STRUTTURE, 64.000 RICERCATORI, 133 STRUTTURE, 65.500 RICERCATORI,
17.300 PRODOTTI, 6.600 VALUTATORI ESTERNI 185.000 PRODOTTI, 15.000 VALUTATORI ESTERNI
Gestore: CIVR Gestore: ANVUR
Valutatori: Panel di Area + revisori esterni Valutatori: GEV + revisori esterni
Oggetti: prodotti della ricerca e progetti PRN Oggetti: prodotti della ricerca e terza missione
Modalità: Peer review Modalità: Informed Peer review
Criteri: qualità, rilevanza, originalità/innovazione, Criteri: rilevanza, originalità/innovazione,
internazionalizzazione e/o potenziale competitivo internazionalizzazione e/o potenziale competitivo
internazionale internazionale
Livelli di qualità: eccellente, buono, accettabile, Livelli di qualità: eccellente, buono, accettabile, limitato, non
limitato valutabile (peso: -1), plagio/frode (peso: -2)
Output GEV: valutazione prodotti, ranking list strutture, Output GEV: valutazione prodotti, graduatoria strutture
relazione finale di Area nell’area, relazione finale di Area
Finalità: fornire alle Autorità decisionali uno strumento Finalità: presentare al Paese una valutazione imparziale e
utile per la programmazione e l’attribuzione delle rigorosa della ricerca, determinare una graduatoria nazionale
risorse; sviluppare nei partecipanti la capacità di per area scientifica e per struttura, offrire una valutazione dei
autovalutare la qualità della propria ricerca, nel dipartimenti, consentire un confronto della qualità della ricerca
confronto nazionale e internazionale. nazionale con quella dei principali paesi industrializzati.
Bando: 16/03/2004 Bando: 07/11/2011
Pubblicazione relazione finale: 02/08/2007 Pubblicazione relazione finale: 16/07/2013
[DM 2206/2003 [DM ?/2011
Bando VTR 2001-2003] Bando VQR 2004-2010]
Andrea SolieriIL CASO ITALIANO
VQR 2011-2014
132 STRUTTURE, 65.000 RICERCATORI, 118.000 PRODOTTI, 13.000 VALUTATORI ESTERNI
La Valutazione della Qualità I risultati sono articolati in 3 profili più
della Ricerca valuta i risultati uno complessivo:
della ricerca scientifica
effettuata nel periodo 2011- 1. Qualità dei prodotti della ricerca
2014 da Università statali e peso: 75% del profilo complessivo
non, Enti pubblici di ricerca 2. Qualità dei prodotti della ricerca dei
vigilati dal MIUR, altri Enti (su nuovi assunti/saliti di fascia
richiesta e a pagamento). Per peso: 20% del profilo complessivo
la valutazione ANVUR si
avvale di un Gruppo di 3. Competitività dell'ambiente di
Esperti Valutatori (GEV) che ricerca, i.e. capacità di attrazione di finanziamenti
definisce i criteri per Area. competitivi internazionali e statali, caratteristiche
dell'offerta formativa a livello dottorale
peso: 5% del profilo complessivo
Ogni ricercatore presenta,
tramite la propria istituzione, 4. Competitività delle Istituzioni per le
2 prodotti. attività di «terza missione», i.e. proventi
dall'attività conto terzi, attività brevettuale, imprese
spin-off
[Linee guida valutazione qualità della ricerca (VQR)
2011-2014 (DM 458/2015)] (a fini conoscitivi)
Andrea SolieriIL CASO ITALIANO. VQR 2011-2014
Giudizio di qualità dei prodotti
METODI DI VALUTAZIONE* CRITERI DI VALUTAZIONE PEER
1. peer-review affidata a revisori 1. originalità
esterni fra loro indipendenti 2. rigore metodologico
INFORMED PEER REVIEW
(di norma due per prodotto) 3. impatto attestato o potenziale
2. valutazione diretta da parte del
GEV, secondo le stesse In caso di valutazioni discordanti, il GEV
modalità valide per i revisori crea un Gruppo di Consenso*.
esterni (13,6% del totale delle
revisioni effettuate) La responsabilità finale della
3. analisi bibliometrica**, basata valutazione dei prodotti con
su un algoritmo calibrato che l’attribuzione delle classi di merito
considera citazioni del prodotto è sempre in capo ai GEV.
e impatto della rivista.
*I GEV decidono quali tipologie di prodotti valutare *La percentuale di revisioni discordanti per almeno
tramite analisi bibliometrica e quali tramite peer due classi è stata in media pari al 19,7%.
review. I GEV 8a, 10, 12 e 14 hanno valutato la
totalità dei prodotti tramite peer review.
**L’attribuzione del livello di qualità dei prodotti così
valutati non è comunque automatica, ma si basa
sempre sul giudizio esperto dei GEV.
Andrea SolieriIL CASO ITALIANO. VQR 2011-2014
Livelli di qualità dei prodotti
Eccellente: la pubblicazione raggiunge i massimi livelli in termini di originalità e
rigore metodologico, e ha conseguito o è presumibile che consegua un forte
impatto nella comunità scientifica di riferimento a livello internazionale e/o
nazionale. Idealmente, essa si colloca nel primo 10% della distribuzione della
produzione scientifica internazionale dell’area cui appartiene.
a) Eccellente Elevato: la pubblicazione raggiunge buoni livelli in termini di originalità e rigore
metodologico, e ha conseguito o è presumibile che consegua un impatto
peso 1 significativo nella comunità scientifica di riferimento a livello internazionale e/o
nazionale. Idealmente, essa si colloca nel segmento 10-30% della distribuzione
b) Elevato della produzione scientifica internazionale dell’area cui appartiene.
peso 0,7 Discreto: la pubblicazione raggiunge discreti livelli in termini di originalità e rigore
metodologico, e ha conseguito o è presumibile che consegua un apprezzabile
c) Discreto impatto nella comunità scientifica di riferimento a livello internazionale e/o
nazionale. Idealmente, essa si colloca nel segmento 30-50% della distribuzione
peso 0,4 della produzione scientifica internazionale dell’area cui appartiene.
Accettabile: la pubblicazione raggiunge livelli sufficienti in termini di originalità e
d) Accettabile rigore metodologico e ha conseguito o è presumibile che consegua un impatto
peso 0,1 circoscritto nella comunità scientifica di riferimento a livello internazionale e/o
nazionale. Idealmente, essa si colloca nel segmento 50-80% della distribuzione
e) Limitato della produzione scientifica internazionale dell’area cui appartiene.
Limitato: la pubblicazione raggiunge un livello scarso di originalità e rigore
peso 0 metodologico e ha conseguito o è presumibile che consegua un impatto molto
limitato nella comunità scientifica di riferimento a livello internazionale e/o
f) Non valutabile nazionale. Idealmente, essa si colloca nel segmento 80%-100% della
distribuzione della produzione scientifica internazionale dell’area cui appartiene.
peso 0 Non valutabile: la pubblicazione appartiene a tipologie escluse dal presente
esercizio, o presenta allegati e/o documentazione inadeguati per la valutazione o
è stata pubblicata in anni precedenti o successivi al quadriennio di riferimento.
Sono incluse in questa categoria anche le pubblicazioni mancanti rispetto al
numero atteso.
[Bando VQR 2011-2014]
Andrea SolieriIL CASO ITALIANO. VQR 2011-2014
Analisi bibliometrica
La calibrazione degli algoritmi di valutazione
bibliometrica è basata sul rispetto delle
percentuali indicate nelle definizioni dei livelli di
qualità, identificando “la produzione scientifica
dell’area” con il contenuto dei data base Esistono casi limite in cui gli articoli sono
bibliometrici utilizzati a livello di subject category pubblicati su riviste di alto prestigio ma ricevono
(ISI WoS) e ASJC (Scopus). Gli indicatori poche citazioni o pubblicati su riviste con basso
bibliometrici usati sono “normalizzati”: si impatto ma con un elevato impatto citazionale.
confronta il simile con il simile (i.e. si considera: In tali casi di incertezza la valutazione è stata
tipo, anno, categoria del prodotto). fatta tramite informed peer review.
[Criteri di valutazione GEV 7]
Andrea SolieriIL CASO ITALIANO. VQR 2011-2014
VQR 2015-2019 (coming soon?)
«To avoid the vicious circle of «It will be important to build
arbitrary grouping/ weighting/ strong adherence to the
ranking by the evaluators and declarations of San Francisco
gaming by the evaluated, and Leiden in the process of
clear criteria and purposes evaluation.»
are necessary.»
[Report of the Group of Experts charged by
ANVUR to advice on the process ‘Valutazione
della Qualità della Ricerca (VQR)’. An
independent assessment on the past VQRs
carried out by ANVUR (Galderisi et a., 2019)]
Andrea SolieriSan Francisco Declaration on
Research Assessment (DORA)
GENERAL RECOMMENDATION PER RICERCATORI:
«When involved in committees making
decisions about funding, hiring, tenure, or
«Do not use journal-based metrics, promotion, make assessments based on
as a surrogate measure of the scientific content rather than publication
metrics. […] Challenge research assessment
quality of individual research practices that rely inappropriately on Journal
articles, to assess an individual Impact Factors and promote and teach best
scientist’s contributions, or in hiring, practice that focuses on the value and
influence of specific research outputs»
promotion, or funding decisions»*
PER ISTITUZIONI E ENTI FINANZIATORI:
«In evaluating the scientific productivity of
*raccomandazioni di un gruppo di editors e grant applicants/to reach hiring, tenure, and
publishers incontratisi all’Annual Meeting of The promotion decisions […] clearly highlight that
American Society for Cell Biology (ASCB), rivolte a the scientific content of a paper is much more
ricercatori, istituzioni accademiche, enti finanziatori, important than publication metrics or the
nonché a riviste e organizzazioni che producono identity of the journal in which it was
metriche. Firmata da 1564 organizzazioni (al published. For the purposes of research
19/11/19) assessment, consider the value and impact of
[San Francisco Declaration on Research all research outputs (including datasets and
Assessment, 16/12/2012] software) in addition to research publications».
Andrea SolieriLeiden Manifesto
10 PRINCIPI PER LA VALUTAZIONE BASATA SULLA BIBLIOMETRIA
1. La valutazione quantitativa 6. Tenete conto delle differenze
dovrebbe aiutare la valutazione tra i settori nelle pratiche di
qualitativa degli esperti. pubblicazione e di citazione
2. Misurate la performance in 7. Basate la valutazione dei
relazione agli obiettivi di ricerca singoli ricercatori su un giudizio
dell’istituzione, del gruppo o del qualitativo del loro portfolio.
ricercatore. 8. Evitate la concretezza mal
3. Proteggete l'eccellenza nella riposta e la falsa precisione.
ricerca che ha rilevanza locale. 9. Riconoscete gli effetti di
4. Mantenete la raccolta dati e il sistema prodotti dalla
processo analitico aperto, valutazione e dagli indicatori.
trasparente e semplice. 10. Revisionate regolarmente gli
5. Permettete ai soggetti valutati di indicatori e aggiornateli.
verificare i dati e l'analisi.
[Hicks et al. (2015), Bibliometrics: The Leiden
Manifesto for Research Metrics. Nature
520:7548 DOI 10.1038/520429a]
Andrea SolieriIndicatori bibliometrici e peer review
Analisi di correlazione REF 2014
«Evidence from the «Metrics should support, not supplant,
scholarly literature expert judgement. Peer review is not
suggests that peer perfect, but it is the least worst form of
academic governance we have. […]
review judgements Our correlation analysis of the
and quantitative REF2014 results at output-by-author
indicators level has shown that individual metrics
correlate but give significantly different outcomes
from the REF peer review process,
only weakly.» and therefore cannot provide a like-
for-like replacement for REF peer
review.»
[The Metric Tide report (Wilsdon et al., 2015)]
Andrea SolieriIndicatori bibliometrici e peer review
Analisi di correlazione VQR 2011-2014
«L’analisi effettuata* «La tendenza della valutazione bibliometrica
suggerisce la presenza di una a essere più favorevole rispetto a quella
peer è comune a tutti i GEV. Non deve
correlazione non nulla stupire. La peer review è infatti una
tra la valutazione peer e la metodologia di valutazione soggettiva, ed è
valutazione bibliometrica.** prassi comune che i revisori attribuiscano in
prevalenza valutazioni intermedie piuttosto
È di particolare importanza il che estreme.»
risultato che il grado di *Il 9,3% degli articoli sottoposti a valutazione
bibliometrica è stato selezionato in modo casuale e
concordanza tra la sottoposto ad hoc a peer review.
valutazione bibliometrica e **Analisi bibliometrica e peer review coincidono nel
quella peer sia sempre 37% e differiscono di una sola classe nel 50,4% dei
casi.
superiore a quello esistente ***Le valutazioni dei due revisori coincidono nel
tra le due valutazioni peer 37,6% e differiscono di una sola classe nel 46,6%
individuali.»*** dei casi.
[VQR 2011-2014. Rapporto finale ANVUR
Appendice B (21/02/2017)]
Andrea SolieriValutazione della ricerca
Conseguenze sui ricercatori
No research assessment 1. The first is goal displacement:
regime is completely benign; high scores in the measures
there will always be the become the goal rather than
potential for strategic a means of measuring
behaviours and gaming. whether an objective (or
performance level) has been
Researchers are not passive attained.
recipients of research
evaluation but play an active 2. The second is a change in
role in assessment contexts. the research process itself in
response to assessment
Therefore any system used criteria, which may be more
to assess research, whether difficult to recognise, for
peer review or indicator- instance through a shift
based, that affects money or towards more mainstream,
reputation will tend to less risky research topics.
influence researchers’
behaviour in two ways. [The Metric Tide report (Wilsdon et al., 2015)]
Andrea SolieriGRAZIE CONTATTI Andrea Solieri asolieri@unimore.it
Puoi anche leggere
