Cultura della valutazione - Iuav
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Università Iuav di Venezia DIPARTIMENTO DI CORSO DI LAUREA CULTURE DEL PROGETTO IN URBANISTICA Department of Architecture and Arts E PIANIFICAZIONE DEL TERRITORIO cultura della valutazione 2015-2019 prof. Domenico Patassini rassegna di approcci, metodi e tecniche (versione 7.4.2019) 1
indice ranking (ordinamento) benchmarking valutazione estimativa valutazione di riferimento (dei titoli) validazione valutazioni esplorative stima/identificazione dei fabbisogni (need assessment) valutazione orientata agli obiettivi (objective-based) valutazione indipendente dagli obiettivi (goal-free) valutazione di risultato in termini di valore aggiunto valutazione degli impatti valutazione sperimentale o quasi-sperimentale (esempio: come guardare a sperimentazioni locali sul reddito di base da una prospettiva PV o EV) valutazione orientata ai costi analisi costi-benefici aggregata o disaggregata valutazione algoritmica (di borsa) valutazione strategica valutazione avversariale scenario writing riconoscimento del caso di successo valutazione artistica valutazione indiziaria valutazione guidata dalla teoria (theory-based) CIPP (context, input, process, product) valutazione realista (configurazione C-M-R) valutazione a grappolo (cluster evaluation) analisi orientata alla responsabilità/trasparenza decisionale (decision accountability) valutazione orientata al consumatore (consumer oriented) peer review auditing accreditamento, certificazione, iscrizione valutazione interna auto-valutazione istituzionale (institutional self-evaluation) valutazione di qualità (quality control and assurance – QCA) simulazione valutativa ricerca valutativa responsive evaluation (valutazione ‘reattiva’) valutazione costruttivista o di quarta generazione valutazione naturalistica valutazione democratica deliberativa valutazione trasformativa (transformative evaluation) valutazione ‘personalizzata’ (personalizing evaluation) valutazione inclusiva valutazione basata sulla teoria critica (critical theory evaluation) valutazione orientata all’utente (user/utilization focused) modello di rappresentazione della influenza valutativa (influence pathway) developmental evaluation (valutazione ‘progettuale’) valutazione partecipativa 2
imparare a valutare: valutazione orientata alla responsabilizzazione, allo sviluppo di capacità e alla autodeterminazione (empowerment evaluation) valutazione illuminativa/illuminante (illuminative evaluation) valutare per immagini o figure valutazione come pratica ermeneutica 3
Premessa Senza alcuna pretesa tassonomica questa rassegna evidenzia la straordinaria varietà di ‘figure’ presenti nel paesaggio della valutazione. Per contributi sistematici si rinvia a testi dove teorie, approcci, metodi e tecniche vengono classificati sulla base di criteri ad hoc (usi, valori, modalità di ricerca, pratiche di interazione sociale e così via). Sono ridotti all’essenziale anche i riferimenti agli approcci EV e PV, trattati nelle prime lezioni. In questa sede, basti ricordare che EV opera secondo logiche causa-effetto, si configura come test epistemologico sull’applicazione della conoscenza (validazione/confutazione) e informa l’azione comunicativa fra stakeholder riconosciuti o riconoscibili per interesse e influenza. Al contrario, PV è consapevole della difficoltà di distinguere cause da effetti e per questo cerca di tenere insieme esplorazione e validazione. Ricorre all’ascolto ‘attivo’ e al dialogo (meglio, alla conversazione) orientati alla spiegazione di fenomeni sociali con riferimento a mutevoli e locali ‘frame’ di conoscenza. Critica (in quanto selettive e disorientanti) le finzioni dialogiche e l’azione comunicativa dello stakeholder rilevante, mentre riconosce nell’interazione sociale opportunità per scoprire valori, costruire significati e agende, avviare (se necessario) processi di advocacy. In sintesi, è un atteggiamento che favorisce la scoperta e l’espansione della conoscenza. Inoltre, PV va oltre l’approccio ‘naturalistico’, superando l’ambiguità nell’uso del termine. Gli approcci responsive, democratici, illuminativi sono anche detti transattivi. L’approccio ermeneutico, forse il più contiguo alla valutazione come pratica di interazione sociale e come ‘evento’, non opera con modelli pre-definiti e non aspira ad una sua ‘metafisica’: riconosce, infatti, possibilità di miglioramento (improve) e di giudizio (prove) in ogni tipo di azione. Se l’ermeneutica non può essere intesa solo come ‘metodo per decifrare un testo’, in quanto ‘appartiene al processo stesso che cerca di comprendere’ 1, PV si delinea come una specie di filosofia della prassi. In questa sede ci si limita a ricordare che, pur nella loro varietà, le diverse ‘figure’ rinviano ad una definizione comune di valutazione sintetizzabile come riconoscimento dei significati presenti in azioni, eventi, oggetti o persone e come attribuzione di valori (merit e worth) ai significati riconosciuti e alle loro ‘intensità’. Riconoscimento e attribuzione configurano e vivono domini conflittuali. Come evidenziato in precedenti lezioni, si tratta di due spunti che maturano nell’interazione sociale e che si presentano secondo ragioni manageriali, democratiche, del ‘pluralismo morale’ o del ‘liberalismo politico’. Queste ragioni rendono più o meno pertinente e plausibile il ricorso a metodi e tecniche. Si ricorda che per il riconoscimento di significati e l’attribuzione di valori occorre formulare proposizioni valutative come base esplorativa e/o di giudizio. Se l’azione è la tutela di un’area verde in ambito urbano, il significato eco-sistemico può essere rilevante e i valori (worth) riconoscibili sulla base dei servizi eco-sistemici erogabili. Il valore intrinseco (merit) può essere attribuito al suolo in quanto risorsa non rinnovabile o rinnovabile in tempi lunghissimi. Allentando i vincoli della logica proposizionale (ripresi comunque in molte analisi multi-criteriali), una proposizione valutativa si configura come ipotesi/giudizio che conferma in modo comparativo (contro ipotesi/giudizi concorrenti) la plausibilità della coppia significati-valori. In questa accezione la valutazione può essere intesa come pratica sociale di riconoscimento di significati e attribuzione di valori in una strategia utile a risolvere una incompletezza2. Ciò può 1 G Vattimo, 2018, Essere e dintorni, La nave di Teseo, Milano, p. 111. 2 L’esito del processo può essere negativo in assenza di significati e valori o in presenza di disvalori. 4
avvenire sulla base di giudizi di tipo EV o PV, i primi basati su evidenze costruite con proposizioni razionali, i secondi su pratiche e per questo detti giudizi pratici o di pratica. Intesa come prassi, riconoscibile per inizio ed evoluzione, la valutazione può influire anche in modo determinante sulla interazione sociale. Infatti, lo sforzo di descrizione e giudizio contribuisce in diversa misura allo sviluppo di una conversazione o, in modo più prosaico, di un ‘dialogo pertinente’ (e continuo) ‘deformando’ l’interazione e le sue possibilità. La ‘deformazione’ può essere assimilata, ignorata o respinta in modo più o meno intenzionale. Se viene assimilata l’interazione prosegue con nuova consapevolezza; se viene ignorata può proseguire con indifferenza; se respinta, l’interazione (e l’eventuale dialogo/conversazione) possono essere interrotti e riproporsi altrimenti. L’approccio PV propone una narrativa consapevole delle opportunità e dei rischi della deformazione, connettendo generazione a validazione/confutazione, mentre EV, preoccupato della validazione/confutazione, li sottovaluta o li ritiene ‘fattori di disturbo’. Se con EV si guarda all’interazione (ai suoi ‘documenti’), con PV si è nell’interazione e si osserva l’oggetto da prospettive diverse. Con EV (sperimentale, meta-analisi, ecc.) l’attenzione è al cambiamento che un programma può generare e alle decisioni che lo motivano. Come precisa J March3, questa attenzione considera razionale ogni procedura che persegue la logica della conseguenza, che pone cioè una scelta in relazione alla risposta a quattro questioni fondamentali. Il problema delle alternative possibili; il problema delle aspettative circa le conseguenze probabili e derivabili; il problema delle preferenze circa i valori attribuiti ad ogni alternativa e il problema della regola decisionale sul set di alternative tenuto conto del valore delle conseguenze. L’evidenza di questa procedura è la sua presunta logica. In PV l’interesse è al vissuto della interazione, alla sua possibilità e contingenza e a quella intelligenza pratica che si forma nell’ attenzione al livello personale e interpersonale4. Approcci, metodi e tecniche Ranking (ordinamento) Il ranking è una operazione che consente di ordinare ‘oggetti’ o ‘soggetti’ (detti anche evaluandi) sulla base di performance relative, utilizzando indicatori di sintesi, indici o descrittori ricavati da fonti di rilevazione analogica o digitale. L’indicatore (e a maggior ragione l’indice) è una combinazione di descrittori standardizzati e ponderati, la cui ‘forza’ comparativa deriva dalla scala, specifica combinazione di metrica e semantica. La combinazione può essere costruita con operazioni aritmetiche, algebriche o con algoritmi ad hoc, come nel caso dei big data. L’indicatore non dice nulla circa la performance assoluta dell’oggetto (o del soggetto), solitamente misurata su scala intervallare o rapporto. Ad esempio, la performance può collocarsi al di sotto di una soglia minima di accettazione, e gli oggetti (soggetti) essere comunque classificati primi, secondi o terzi. La performance assoluta non può essere ricavata da un ordinamento, mentre l’ordinamento può essere costruito partendo da una 3 J March, 1998, Prendere decisioni, Il Mulino, Bologna, p.12. 4 Su questo tema vedi il nervoso dibattito ospitato da American Journal of Evaluation, n. 21, 2000 fra M W Lipsey e T Schwandt, in particolare M W Lipsey, ‘Meta-analysis and the learning curve in evaluation practice’, pp. 207-12; M W Lipsey, ‘Method and rationality are not social diseases ’, pp. 221-223; T A Schwandt, ‘Further diagnostic thoughts on what ails evaluation practice’, pp. 225-229; T A Schwandt, ‘Meta-analysis and every-day life: the good, the bad, and the ugly’, pp. 213-219. 5
misura assoluta, su scala intervallare o rapporto. Diversamente dall’ordinamento ‘parziale’, l’ordinamento ‘vero’ non consente ex-aequo. L’operazione di ranking viene effettuata per diversi scopi. Vi si ricorre per ordinare nazioni (o regioni) sulla base di indici di sviluppo e/o di eguaglianza5; città o sistemi insediativi sulla base della qualità o del costo della vita, delle performance dei mercati immobiliari e della sostenibilità6; regioni e nazioni sulla base di indici di consumo tecnologico7; ma anche per misurare le performance dei sistemi 5 Vedi, ad esempio l’Indice di Povertà, l’Indice dello Sviluppo Umano ISU (o HDI), l’Indice di Liberta Umana ILU (o HFI), l’Indice di Libertà Politica ILP (o PFI), ma anche il BES (indice di benessere equo e sostenibile), il Genuine Progress Index di Clifford Cobb che contabilizza le perdite per inquinamento. Sul versante delle ineguaglianze e degli impatti il riferimento può essere all’Indice di Gini a all’Impronta Ecologica. L’indice è una combinazione di indicatori, a loro volta combinazioni di variabili (o descrittori), e la costitutiva multidimensionalità pone rilevanti problemi di aggregazione. L’uso combinato di questi indici può consentire la rappresentazione di complessi trade-off. 6 L’utilizzo degli indicatori urbani risale alla Scuola di Chicago, ai primordi della sociologia urbana, delle teorie localizzative e delle scienze regionali. In molte città Usa ha avuto un certo successo, a partire dagli anni ’60 fino agli anni ’90, l’urban indicator movement finalizzato alla allocazione di risorse pubbliche, al monitoraggio delle politiche urbane locali e al sostegno dei negoziati fra stati e governo federale in materia di welfare. L’attenzione all’ambiente e ai cambiamenti climatici ha orientato Usa, Ue e numerosi altri stati progressivamente verso indicatori di sostenibilità, vedi a titolo esemplificativo: Sustainable Urban Development Indicators in Usa promossi dal Penn Institute for Urban Research nel 2011; Indicators for Sustainable Cities della European Commission DG Environment by the Science Communication Unit, UWE, Bristol (http://ec.europa.eu/science-environment-policy, consultato il 15/8/2018); Urban Indicators for Managing Cities (P Newton, Asian Development Bank); il Data Catalog della World Bank in continuo aggiornamento. Il City Prosperity Index, utilizzato da Un-City Prosperity Initiative (Cpi), sintetizza performance riferite a governance, generazione e distribuzione urbana di benefici socio-economici. Per la valutazione della sostenibilità negli spazi costruiti con approccio dal basso vedi Common European Sustainable Built Environment Assessment (Cesba https://www.cesba.eu/). Alla fine degli anni ’90 è stata avviata una ricerca sui cambiamenti climatici nei capoluoghi di provincia italiani da parte dell’Istituto di scienze dell’atmosfera e del clima (Isac) del Cnr in collaborazione con l’Università di Milano (UniMi). Il Sole24Ore estrae dal database 3BMeteo della società del gruppo Meteosolutions l’indice del clima. L’indice viene costruito come media ddei punteggi ottenuti dalle 107 città (capoluoghi di provincia) nei dieci indicatori (parametri) climatici presi in considerazione: soleggiamento, indice di calore, ondate di calore, eventi estremi, brezza estiva, umidità relativa, raffiche di vento, piogge, nebbia e giorni freddi. Per ogni ‘parametro’ è calcolato il valore medio giornaliero o annuale per fascia esaoraria sull’arco del periodo decennale 2008-2018. Per ciascuna graduatoria parametrica sono attribuiti 1000 punti alla città con la migliore performance. Il punteggio scende in funzione della distanza rispetto alla prima classificata, vedi ‘Qualità della vita. Progetto 2019’, Il Sole24Ore. 7 European Samsung Lifestyle Research Lab ha messo a punto il “Samsung Techonomic Index” sui consumi di tecnologia. L’indice potrebbe perfezionare la configurazione e calibrazione di funzioni di produzione. In Italia si dispone dell’Indice della qualità della vita urbana (dati su base provinciale) de Il Sole24ore costruito su sei classi di descrittori: ricchezza e consumi (depositi pro-capite, pil pro-capite, canoni medi di locazione, consumi-spesa media in beni durevoli per famiglia, protesti pro-capite in euro, prezzi medi di vendita delle case al mq, spesa pro-capite in viaggi e turismo); affari e lavoro (imprese registrate ogni 100 abitanti, tasso di occupazione 15-64, tasso di disoccupazione giovanile 15-29, impieghi su depositi, quota di export sul pil in % di esportazioni su VA, start up innovative ogni 1000 società di capitale, gap retributivo di genere in % tra retribuzioni medie nette di uomini e donne); ambiente e servizi (ecosistema urbano-LegaAmbiente, home banking ogni 100.000 abitanti, rischio idrogeologico in % di superficie a pericolosità di frana P3/P4 e idraulica P2, spesa sociale destinata a minori, disabili e anziani degli enti locali per abitante, smart city rate riferito ai capoluoghi, speranza di vita alla nascita, indice climatico di escursione termina fra Tmin e Tmax); demografia e società (laureati ogni mille residenti giovani 25-30 anni, tasso di natalità/1000 ab, indice di vecchiaia over 65/0-14, saldo migratorio interno, tasso di mortalità/1000 ab, acquisizione di cittadinanza italiana/1000 resid, tasso di fecondità-numero figli/donna); giustizia e sicurezza (durata media dei processi per contenzioso civile in giorni, scippi e borseggi ogni 100.000 ab, indice di litigiosità- cause di contenzioso civile iscritte ogni 100.000 ab, cause pendenti ultra-triennali sul totale, rapine ogni 100.000 ab, delitti di stupefacenti ogni 100.000 ab, furti di autovetture ogni 100.000 ab); cultura e tempo libero (librerie ogni 100.000 ab, indice di sportività, posti a sedere in sale cinematografiche ogni 100.000 ab, offerta culturale –spettacoli ogni 1000 ab, turisti – permanenza media in notti nelle strutture ricettive, spesa pro-capite al botteghino per spettacoli, numero Onlus/100.000 ab). 6
previdenziali8, per valutare offerte in bandi di gara o di concorso, per formare graduatorie delle migliori università (vedi University Ranking Watch). Tecnicamente, gli ordinamenti sono molto sensibili alla semantica, alla metrica e alle modalità di aggregazione (algoritmi) dei descrittori che compongono l’indicatore o l’indice. Anche per queste ragioni, consentono di riflettere sul concetto che rappresentano: innovazione, sviluppo, crescita, decrescita, felicità, giustizia, democrazia, sostenibilità, resilienza, anti-fragilità e così via. L’ordinamento è una delle problematiche della valutazione in ambito mono o multicriteriale. Ad esempio, il criterio unico di sintesi ‘rapporto benefici/costi’ nell’analisi costi-benefici consente di ordinare i progetti dal più al meno preferibile in prospettiva economica. Nell’analisi/valutazione multicriteri l’obiettivo può essere l’ordinamento di opzioni (e non la scelta di una opzione rispetto alle altre o l’attribuzione delle opzioni a classi predefinite). Nella famiglia di tecniche Electre l’ordinamento corrisponde ad un algoritmo di analisi di concordanza/discordanza9. Il ranking si accompagna (differenziandosene) alle nozioni di appraising, assessing, auditing, rating10 e grading. Dall’inizio del secolo, molte ricerche si sono soffermate sul significato politico del ranking e degli indicatori di città, regioni, stati o istituzioni pubbliche, riconoscendone, forse impropriamente, un ruolo valutativo. In quest’ambito, il ranking (da intendersi come classificazione o ordinamento sulla base di indicatori, indici o descrittori) tende a diventare uno strumento di governance locale e globale in grado di favorire processi di neo-liberalizzazione sulla base del suo potere normativo, disciplinare e pragmatico11. Vengono così riconosciute performance individuali o sistemiche soprattutto in funzione dei principi neoliberisti di proprietà privata, liberalizzazione, competizione, crescita ed efficienza e il loro frequente impiego tende a legittimare tecniche e principi classificatori orientati al mercato. I 8 Il Mercer Global Pension Index (indice globale delle pensioni) consente di ordinare i paesi per i quali si dispone di sufficienti dati statistici sulla base di tre dimensioni semantiche ‘pesate’ (detti ‘sotto-indici’): adeguatezza (40%), sostenibilità (35%) e integrità (25%). Ogni sotto-indice è alimentato da indicatori: l’adeguatezza da benefits, system design, savings, tax support, home ownership, growth assets; la sostenibilità da pension coverage, total assets, contributions, demography, governmente debt, economic growth; l’integrità da regulation, governance, protection, communication, costs. I paesi con punteggio maggiore presentano una maggior tenuta del sistema previdenziale, in particolare rispetto alle dinamiche demografiche, alle condizioni di vita e ai costi sistemici. 9 L Y Maystre, J Pictet, J Simos, 1994, Méthodes multicritères ELECTRE. Description, conseils pratiques et cas d’application à la gestion environnementale, Presses Polytechniques et Universitaires Romandes, Lausanne. 10 Molto diffusi sono i modelli di rating. Considerando la sostenibilità come driver di crescita, le aziende possono essere valutate per appartenenza ad una filiera produttiva, dotazione di certificazioni ambientali e di qualità, possesso di marchi e brevetti, investimenti in ricerca e innovazione, cura del capitale umano, presenza di coperture assicurative, piani di sviluppo aziendali, struttura manageriale, attenzione al passaggio generazionale, legalità. Maggiori investimenti in sostenibilità sono associati a migliori performance. Rating migliore vuol dire anche più credito, tassi di interesse più bassi, maggiori potenzialità di sviluppo. Cercando di tenere assieme etica ed economia, con questi modelli si può valutare anche il raggiungimento di ‘scopi sociali’ di aziende pubbliche, private, miste o del terzo settore. Oltre alle performance finanziarie, l’azienda evidenzia se riesce a fornire un positivo contributo alla società a beneficio di tutti i portatori di interesse (stakeholder) dell’ecosistema in cui opera: azionisti, dipendenti, clienti, comunità e istituzioni di riferimento. Il contributo viene ‘misurato’ con i fattori di sostenibilità Esg (environment, social, governance) ritenuti decisivi per gli investitori in quanto tutelano nel tempo la capacità dell’azienda di creare valore. McKinsey stima che nel 2018 circa un quarto degli asset gestiti nel mondo sono Esg nonostante la difficoltà ad accertare il profilo di rischio/rendimento del sustainable investing. Come rileva Morningstar i riscontri sono mediamente positivi: dei 20 indici di sostenibilità, 16 hanno superato gli equivalenti tradizionali dal 2009 a settembre 2017. Elementi strategici per le decisioni di investimento restano comunque la correlazione fra fattori sostenibilità Esg e effettivi risultati aziendali, le strategie dei diversi fondi e il rischio di un ‘effetto bolla’. In questo caso le quotazioni delle aziende sostenibili possono salire per effetto della elevata domanda, comprimendo i rendimenti futuri di chi investe. 11 A Cooley, J. Snyder (eds), 2015, Ranking the World. Grading States as a Tool of Global Governance, Cambridge University Press. Vedi anche http://www.mcc.gov/pages/selection/indicators. 7
processi di liberalizzazione dei mercati e di ridimensionamento del welfare state sono spesso stimolati da domande di rendicontazione, trasparenza e responsabilità provenienti dalla società civile, e richiedono l’utilizzo di strumenti in grado di misurare (e se possibile valutare) la conformità dei processi alla razionalità strumentale di mercato. Alcuni indici di governance globale come lo Economic Freedom of the World proposto dal Canadian Fraser Institute, l’Index of Economic Freedom dell’Heritage Foundation e il Global Competitiveness Index del World Economic Forum sono stati proposti per misurare performance a livello statale. Essi vengono utilizzati da governi (come gli Usa) o da istituzioni internazionali (come la Banca Mondiale) per ragioni diplomatiche, commerciali, di sicurezza o di cooperazione12. Il ranking, a volte abbinato all’auditing e al monitoraggio, può assumere un connotato valutativo ‘esterno’, rafforzando il carattere politico della selezione e del giudizio 13. Indicatori e indici definiscono un ‘dominio politico’ che tende ad auto-legittimarsi nella pratica14, a sostituire il controllo centralizzato e burocratico del welfare state con una varietà di agenzie di valutazione nazionali e internazionali, pubbliche, private o del terzo settore (‘stato valutativo’). La frammentazione settoriale e spaziale se da un lato tende a costruire ‘presunta oggettività’ su valori egemonici e a diffondere pratiche di naming and shaming, dall’altro fa emergere istanze valutative autonome, negoziali, critiche e oppositive ad emergenti impianti utilitaristici e a discutibili ‘filosofie della valutazione’15. Il movimento degli indicatori urbani degli anni ’80 in Usa presentava connotati negoziali favoriti dalla forma federale dello Stato. Queste filosofie ‘posizionano’ pratiche di auditing, monitoraggio, ispezione e di vera e propria valutazione nei dispositivi di controllo della amministrazione pubblica, imponendone l’accettazione ‘istituzionale’ e l’accettazione acritica degli standard16. Ciò rischia di modificare le prospettive da cui si guarda al fenomeno da valutare e i suoi stessi contenuti. Tornando alla problematica dimensione ‘urbana’, classifiche, tabelle di competitività e punteggi comparati danno la misura del ruolo del neoliberismo nelle città. Ad esempio, ‘le classifiche di indebitamento delle città compilate da agenzie di credito come Moody’s o Standard & Poor’s sono alla radice di questa tendenza, la quale porta i centri urbani a competere per ottenere un punteggio favorevole che andrà poi a determinare le condizioni dei prestiti’17. Le classifiche sulle città ‘si ripercuotono (anche) sul modo in cui gli investitori ne percepiscono la competitività’18, contribuendo a modificare l’interpretazione del ranking. 12 Vedi Global Benchmarking Database, Centre for the Study of Globalisation and Regionalisation, University of Warwick, www.warwick.ac.uk/globalbenchmarking/database. 13 K A Davis et al. (eds), 2012, Governance by Indicators: Global Power through Classification and Rankings, Oxford: Oxford University Press; D Giannone, 2015, “Measuring and Monitoring Social Rights in a Neoliberal age: be-tween the United Nations’ Rhetoric and States’ Practice”, Global Change, Peace & Security, 27(2), pp. 173-189; S E Merry et al. (eds), 2015, The Quiet Power of Indica-tors: Measuring Governance, Corruption, and Rule of Law, Cambridge, UK: Cam- bridge University Press. 14 A Desrosières,2011, “Buono o cattivo? Il ruolo del numero nel governo della città neoliberale”, Rassegna Italiana di Sociologia, LII(3), pp. 373-397. Sulle performance urbane vedi anche F J Green et al., ‘Recasting the City into City Regions: Place Promotion, Competitiveness Benchmarking and the Quest for Urban Supremacy’, in Growth and Change, vol. 38, n. 1, 2007; J Hachworth, 2007, The Neoliberal City: Governance, Ideology, and Development in American Urbanism, Cornell University Press, Ithaca-London. 15 D Martuccelli, 2010, “Critique de la Philosophie de l’évaluation”, Cahiers Internationaux de Sociologie, Vol. CXXVIII- CXXIX , pp. 27-52. 16 Vedi M Power, 1997, The Audit Society: Ritual of Verification, Oxford University Press, Oxford (ed. it. 2002, Edizioni Comunità) e A Roberts, 2011, The Logic of Discipline: Global Capitalism and the Architecture of Government, Oxford University Press, Oxford. 17 F Bria e E Morozov, 2018, Ripensare la smart city, Codice edizioni, Torino, p. 30. 18 Ibidem. 8
Procedure di ranking più complesse sono le rubriche valutative (evaluative rubric), strumenti di attribuzione metrica a significati e valori (semantiche) sulla base di ordinamenti più o meno pluralisti. Ad esempio: una performance (l’accesso all’acqua potabile) potrebbe essere soddisfatta sulla base di un set di criteri ognuno dei quali è declinato in modalità attribuibili a crescenti livelli di qualità. I criteri possono essere la distanza (livello di qualità 1) e il reddito (livello di qualità 2). Lo score 2 indica la performance migliore in quanto potrebbe compensare una maggiore distanza. Benchmarking E’ una procedura utilizzata da individui, organizzazioni pubbliche, private o del terzo settore per comparare performance, processi e pratiche rispetto a valori o profili di riferimento. Valori e profili possono essere forniti da organizzazioni di successo o da situazioni ideali. Nel primo caso il confronto avviene fra organizzazioni simili, attive negli stessi contesti e/o settori, o in contesti e/o settori diversi. Valori e profili sono immanenti, relazionali. Nel secondo caso ci si limita ad evidenziare il gap o la distanza dai valori/profili di riferimento. Qui, valori e profili tendono ad assumere una configurazione normativa, a volte criticabile per la sua generalità o trascendenza. In campo organizzativo, il benchmarking viene utilizzato per identificare le leve competitive o collaborative di una pratica commerciale, industriale o di servizio, sia in comparto pubblico che privato. I domini comparativi possono riguardare la leadership, le strategie, l’utenza, l’informazione, le risorse umane, il management e gli esiti19. Il benchmarking di secondo tipo evidenzia il gap fra progetto-idea e progetto ideale, mentre quello di primo tipo lo ancora a sovrapposizioni e differenze fra evaluative framework. Valutazione estimativa La valutazione estimativa presta attenzione alle basi di valore economico-finanziario di diverse categorie di beni, in particolare di quelli immobiliari ad uso residenziale e non, come indicato dai Codici di riferimento20. Per questo viene anche denominata valutazione immobiliare. In Italia vige il Codice delle valutazioni immobiliari che riguarda fabbricati e aree fabbricabili, terreni e fabbricati rurali, scorte, miglioramenti fondiari, boschi, legname, aziende commerciali, artigianali, industriali e di servizio. Le basi di valore vengono riconosciute a partire da principi (prezzo, previsione, scopo, ordinarietà e comparazione) e utilizzando procedure di stima (confronto di mercato, finanziario o del costo). Le basi di valore variano a seconda della posizione del bene immobiliare nei processi di valorizzazione. Il più semplice, anche se non sempre affidabile, è il valore di mercato (o valore di scambio), a cui si possono accompagnare il valore di costo, di trasformazione e di realizzo. Questi valori costituiscono, di frequente, la base per perizie (amministrative o giudiziarie), per verificare la stabilità dei mutui e le loro performance, per tutelare investitori21, ma anche per la stima di indennizzi 19 M J Spendolini, 2003, The benchmarking book (2d edition), Amacon, New York. 20 Codici e norme definiscono tecniche da utilizzare e requisiti. Con riferimento al contesto nazionale e sul versante della garanzia dei crediti, vale la pena ricordare la circolare 285/2013 della Banca d’Italia alla direttiva mutui (recepita con il d.lgs 72/2016), le Linee-guida per la valutazione degli immobili a garanzia dei crediti inesigibili redatte dall’Abi. 21 Vedi, in particolare, l’attività dell’Istituto italiano di valutazione immobiliare, E-Valuations Istituto di Estimo e Valutazioni e le riviste The Appraisal Journal e The European Valuer Journal. A livello internazionale ha una certa diffusione il Journal of Property Evaluation and Investment. Sul versante della certificazione professionale (vedi norma Uni 11558:2014) operano Rev-Tegova (recognized european valuer), Rics-Registered valuer, Tecnoborsa, la rete Vic (valutatori indipendenti certificati), eStimo, Crif-real estate service, e altri. 9
di esproprio, di oneri di urbanizzazione, di valori perequativi o compensativi e di stime fornite in gare d’appalto. Per ragioni assicurative e/o fiscali può essere utile il ricorso al valore assicurabile o di credito ipotecario (spesso alterato dal creditore per ragioni di bilancio), mentre in caso di fallimenti e dismissioni si ricorre ai valori di liquidazione o di vendita forzata. L’estimo catastale è orientato alla stima dei valori catastali di un bene sulla base di criteri fisico-funzionali. I valori catastali possono essere molto diversi da quelli di mercato. Poiché questi ultimi non restituiscono quasi mai il reale valore del bene22, soprattutto se ha caratteristiche ambientali, storico-culturali e paesaggistiche di unicità, può essere utile il ricorso a valori d’uso, di esistenza e di eredità. L’assenza di stime dirette consiglia in alcuni casi il ricorso a valori complementari, mentre in presenza di trade-off può essere utile il valore di sostituzione. In determinate strategie di investimento si utilizza l’omonimo valore, mentre in casi di esproprio, successione, servitù o valutazione del danno si utilizzano stime di valore equo. E’ evidente che l’uso dei valori dipende dai principi di riferimento dell’esercizio estimativo. Tre sono le principali procedure di stima. Con la procedura analitica si stima il reddito che il bene immobiliare è in grado di produrre (fitto, locazione, reddito agrario, ecc.) lungo tutto l’arco di vita e, al netto di spese, oneri fiscali, quote di reintegrazione e costi di manutenzione, può essere attualizzato con opportuno saggio di capitalizzazione. Nei casi in cui la procedura analitica non fornisca risultati ritenuti affidabili si ricorre al metodo comparativo sulla base di transazioni recenti. In altri casi si ricorre alla stima del costo di costruzione. Se si tratta di un fabbricato si calcola l’area edificabile e il costo per costruire l’immobile al netto del deprezzamento. Nel caso di un terreno coltivato si calcola il costo del terreno nudo, il costo degli alberi, dell’impianto, del capitale fisso rurale e la coltivazione fino alla data della stima, sottraendo la vendita del prodotto annuo (vedi, ad esempio, i valori parametrici per zone agrarie). Le versioni più avanzate dell’estimo23 introducono più complesse stime econometriche e statistiche che consentono di arrivare alla stima di un bene sulla base dei valori (utilità) attribuite alle sue componenti costitutive da parte di consumatori e investitori per contesti di riferimento. Uno di questi approcci comprende i modelli edonici di tipo misto. Le stime possono essere effettuate anche sulla base di modelli urbani24. Valutazione di riferimento (dei titoli) Nei mercati finanziari si cerca di trasformare le scommesse individuali su dividendi futuri in ricchezza immediata. A questo scopo si traducono le valutazioni individuali e soggettive in un prezzo generalmente accettato. ‘La liquidità impone che sia prodotta una valutazione di riferimento che dica a tutti i finanzieri il prezzo al quale il titolo può essere scambiato. La struttura sociale che permette l’ottenimento di un tale risultato è il mercato: il mercato finanziario organizza il confronto tra le opinioni personali degli investitori in modo da produrre un giudizio collettivo che abbia lo statuto di una valutazione di riferimento (…). Il mercato finanziario, per il fatto di istituire l’opinione collettiva 22 Per questa ragione, in ACB si introducono i fattori di correzione. 23 In periodi recenti le valutazioni immobiliari hanno cercato una correttezza che va al di là della vigilanza prudenziale per diventare un elemento costitutivo della disciplina civilista. 24 La modellistica al riguardo è considerevole e rinvia, in termini molto generali, a due paradigmi delle scienze urbane e regionali: il primo considera le relazioni dipendenti dalle localizzazioni, il secondo le localizzazioni dipendenti dalle relazioni. Sugli effetti modellistici del secondo paradigma si sofferma M Batty, 2013, The new science of cities, The MIT Press, Cambridge, Ma. Sul ruolo dell’informazione nei modelli estimativi vedi K I McDonald, 2000, ‘Use and valuation: information in the city’, Urban Studies 37(10), pp. 1881–1892. 10
come norma di riferimento, produce una valutazione del titolo riconosciuta unanimemente dalla comunità finanziaria’25. Validazione La validazione è una verifica/prova con cui si dimostra l’accettabilità o la congruità di una operazione rispetto ad un set di criteri o vincoli. L’esito negativo della verifica o della prova comporta la confutazione dell’operazione in oggetto. L’analisi economico-finanziaria di una legge (di un suo disegno o progetto) a livello centrale o regionale si presenta come procedura di validazione condizionale. L’analisi si articola in tre parti26. La prima colloca l’iniziativa legislativa nello specifico contesto economico di riferimento con l’obiettivo di evidenziare la possibile incidenza (non si tratta di impatto) su natura e caratteri del fenomeno trattato: potrebbe trattarsi di interventi di rigenerazione urbana, di miglioramento del welfare, di riforma fiscale o altro. L’incidenza viene specificata sulla base degli obiettivi della legge (per articolo), degli interventi strumentali e attuativi per il loro raggiungimento. Sono quindi identificati i soggetti interessati dal provvedimento, con particolare riferimento ai fruitori effettivi e potenziali, specificando se si tratta di soggetti pubblici o privati, la loro numerosità, appartenenza e localizzazione oltre ai criteri di determinazione utilizzati. La seconda parte è eminentemente finanziaria e consiste nella identificazione, classificazione e analisi delle spese annuali (autorizzazione straordinaria una tantum per un solo anno), continuative, ricorrenti o pluriennali necessarie per l’attuazione del provvedimento, se oneroso. Ad esclusione di quella annuale, per le altre va specificato se si tratta di spesa obbligatoria o rimodulabile, in conformità con vincoli di bilancio ed espresse autorizzazioni legislative. La natura economica della spesa indica se si tratta di spesa corrente (retribuzioni, imposte e tasse, acquisto di beni e servizi, trasferimenti, ecc.), di spesa in conto capitale (investimenti fissi lordi, contributi agli investimenti o altro), di spese per incremento di attività finanziarie (fondi di rotazione, acquisizioni, ecc.) o di rimborso di titoli o prestiti. Delle spese va specificata l’incidenza sugli esercizi finanziari e può essere richiesta la specifica di eventuali minori entrate, specificandone la natura tributaria, contributiva o perequativa. Le minori entrate possono essere imputabili a trasferimenti, possono essere extra-tributarie (vendita di beni e servizi, proventi da gestione di beni, interessi, ecc.), in conto capitale (contributi agli investimenti, alienazione di beni materiali e immateriali), per riduzione di attività finanziarie (alienazione o riscossione crediti), accensione prestiti. In tutti i casi vanno specificati i criteri di quantificazione della spesa (utili per verifiche tecniche) e le modalità di copertura finanziaria: stanziamento della Missione/Programma di imputazione della spesa già approvato e previsto in bilancio annuale e pluriennale; riduzione di stanziamenti di altre Missioni/Programmi; prelievo da Fondi Speciali; nuovi maggiori entrate specificando Titolo/Categoria di allocazione. Per le spese di carattere pluriennale la copertura deve essere individuata per ognuno degli esercizi del bilancio pluriennale. In assenza di oneri vanno allegate la clausola di neutralità finanziaria e la relativa declaratoria con le necessarie informazioni in merito alla invarianza degli effetti sui saldi di bilancio, anche mediante indicazione della entità delle risorse disponibili e/o già stanziate in bilancio utilizzabili per le finalità di legge. 25 A Orléan, 1999, Le pouvoir de la finance, Odile Jacob, Paris, pp. 31-32, cit. da C Marazzi, 2016, Che cos’è il plusvalore, Edizioni Casagrande, Bellinzona, pp. 78-79. 26 A titolo esemplificativo, si rinvia agli adempimenti di cui all’art. 6 della Legge Regionale n. 39, 29/11/2001 della Regione del Veneto (scheda di analisi economico-finanziaria). 11
Nella pianificazione regolativa la validazione può riguardare le banche dati richieste a supporto di quadri conoscitivi, strategie e norme. Nel campo delle opere pubbliche verifica e validazione assumono carattere di certificazione che attesta la conformità e la appaltabilità di un progetto. In Italia, la validazione è rilasciata dalla stazione appaltante nella persona del responsabile unico del procedimento (Rup), previa verifica tecnica effettuata da apposito ente di ispezione in possesso delle necessarie qualificazioni. La validazione si riferisce generalmente al progetto inteso come processo progettuale nelle componenti di qualità, conformità, soddisfacimento di requisiti. La verifica dei progetti di opere pubbliche è prevista dalla disciplina dei lavori pubblici, in particolare dalla Legge 109/94 (legge ‘Merloni’) integrata dal D.L. 163/2006 e modificata dal D.L. 18 aprile 2016, n. 50 (nuovo codice degli appalti). Sulle regole per le gare di progettazione in Italia l’Autorità anticorruzione (Anac) è intervenuta in merito ai criteri per la composizione delle offerte27. Il prezzo potrà avere un peso massimo del 30%, mentre ‘professionalità e adeguatezza dell’offerta’ un peso variabile fra 25% e 50%. Sulla stessa forbice si collocano le ‘caratteristiche metodologiche dell’offerta’, mentre non potrà superare il 10% la ‘riduzione percentuale indicata nell’offerta economica con riferimento al tempo’. Le ‘prestazioni superiori ad alcuni o a tutti i criteri ambientali minimi’ non supereranno il 5%. In generale, gli elementi collegati alla qualità tendono ad assumere un peso preponderante. Non solo: i servizi indicati per la valutazione del merito tecnico e del fatturato (comprendenti anche la ‘direzione lavori’) dovranno riferirsi agli ultimi dieci anni. L’Ufficio Parlamentare di Bilancio (Upb), authority che vigila sui conti pubblici, ha il compito di valutare la correttezza delle stime economiche del Governo (Def, Note di aggiornamento e così via), confrontandole con un panel di previsioni indipendenti. Nel caso di manovre di politica economica la procedura di validazione assume un range previsionale di crescita (ad esempio fra lo 0.8 e l’1.1%) verificando il ‘rischio di revisione’ di punti salienti della manovra. Ad esempio, la manovra potrebbe assumere che un aumento del deficit di 0.4 punti percentuali possa spingere la crescita di 0.5 punti, affidandosi ad un robusto moltiplicatore degli investimenti pubblici. Il moltiplicatore potrebbe essere considerato da Upb troppo ottimistico in condizione deflattiva e, quindi, una incongruenza, fornendo elementi utili alla sua comprensione. Il ruolo di Upb (che interviene ex-ante) si distingue da quelli della Ragioneria Generale dello Stato (Rgs) e della Corte dei Conti (Cc). Rgs è un organo di supporto tecnico del Governo (lo aiuta a trasformare obiettivi in previsioni plausibili), mentre Cc interviene ex-post con approccio giuridico-contabile. In campo urbanistico la validazione avviene a livello di adozione (da parte della amministrazione locale o dell’ente competente) e di approvazione da parte della Regione, della Provincia o della Città metropolitana. Si tratta di un doppio processo istruttorio, generalmente sostantivo a livello di adozione e procedurale a livello di approvazione. La validazione di una azione valutativa è di ordine superiore e rinvia al dinamico rapporto fra validità interna ed esterna. Valutazioni esplorative Insistendo sull’utilizzo della valutazione per migliorare le performance e i risultati di un programma, J S Wholey consiglia due operazioni esplorative e a basso costo, molto utili alla costruzione del disegno valutativo: evaluability assessment (EA) e rapid-feedback evaluation (RFE). Si tratta di operazioni preliminari, utili alla conoscenza di ciò che si intende valutare, delle ragioni per cui si valuta e del loro contesto sociale, della disponibilità dei soggetti interagenti a valutare e dell’utilità attesa dell’esercizio valutativo. Queste operazioni sono tanto più efficaci quanto più si svolgono nella interazione sociale 27 Vedi versione aggiornata a marzo 2018 della Linea-guida n.1 in materia di servizi di ingegneria e architettura. La nuova linea-guida Anac è allineata alle indicazioni del decreto correttivo del Codice degli appalti (Dlgs 56/2017). 12
prima della formulazione di possibili ‘proposizioni valutative’. Esse possono orientare il mandato e influire in modo decisivo sul disegno valutativo. EA (detta anche exploratory evaluation) consiste in studi esplorativi finalizzati a due obiettivi principali: a) verificare se un programma è pronto per una valutazione utile; b) giungere ad un accordo fra valutatore e stakeholder circa la configurazione della funzione valutativa, in particolare il riconoscimento di obiettivi realistici, dei criteri valutativi, del fabbisogno informativo e degli usi che si intende fare dell’informazione generata dalla pratica valutativa. EA è un processo a sei fasi che comprende il coinvolgimento degli intended user e di altri stakeholder (1), l’abbozzo del disegno del programma (2), l’esplorazione della ‘realtà’ del programma (3), la plausibilità del programma, ovvero la probabilità che le attività previste dal programma generino gli effetti previsti (4), l’accordo su eventuali variazioni nel design e nella attuazione del programma (5) e, infine, l’accordo con gli intended user su oggetto e utilizzo di ogni altra azione valutativa. RFE (detta anche short-term evaluation) consiste in studi-pilota finalizzati a riconoscere e stimare gli effetti del programma, indicare eventuali errori di stima, incertezze e rischi, testare disegni per sforzi valutativi ulteriori. RFE si articola in cinque fasi. Nella prima si organizzano i dati esistenti sulle performance del programma in termini di obiettivi programmatici condivisi; nella seconda si integrano i dati sulle performance del programma in termini di obiettivi condivisi (possono essere diversi dai precedenti); nella terza si stima l’efficacia del programma evidenziando l’incertezza delle stime per evidenze contraddittorie o per ridotta dimensione campionaria; nella quarta fase si precisano le opzioni da sottoporre ad una valutazione definitiva in termini di fattibilità, costi, utilità probabile e così via; nell’ultima fase si conclude un accordo con gli intended user sul design e l’uso di ogni altra valutazione. Soprattutto EA è utile in programmi consistenti, distribuiti nello spazio e nel tempo, in cui le responsabilità manageriali sono disperse, i criteri poco chiari soprattutto sul piano semantico e i risultati attesi non del tutto evidenti. RFE contribuisce a riconoscere il valore probabile di uno sforzo valutativo programmato28. Possono essere ricondotti a RFE anche gli approcci di tipo euristico cosiddetti quick and dirty29. 28 Vedi J S Wholey, ‘Using evaluation to improve program performance and results’, in Alkin M (ed.) 2013 Evaluation Roots: A Wider Perspective of Theorists’ Views and Influences, Sage, Thousand Oaks, CA, p.262. 29 Gli approcci euristici di tipo quick and dirty vengono seguiti a fini esplorativi o in contesti di difficile accesso ad informazioni sistematiche per ragioni logistiche, politico-culturali, di sicurezza e così via. In alcuni casi sono affiancati a valutazioni di tipo etnografico che tendono ad escludere ogni possibilità di interpretazione plausibile senza partecipazione, condivisione e interazione linguistica. Un esempio datato (ma interessante perché riferito agli inizi della Rete), riguarda il design di ‘interfacce utente’ nei siti web, vedi J Nielsen, R Molich, 1990, ‘Heuristic evaluation of user interfaces’, Proceedings ACM CHI'90 Conference (Seattle, WA, 1-5 April), pp. 249-256. L’euristica riguarda i seguenti temi: visibilità dello stato del sito (gli utenti devono essere informati su quanto sta accadendo con feed-back in tempi ragionevoli); relazione fra architettura, funzionamento del sito e mondo reale (il sito deve parlare il linguaggio dell’utente, in modo familiare, generando informazioni in modo naturale e secondo un ordine logico); controllo e libertà dell’utente (in caso di uso errato di una funzione, l’utente dovrebbe essere in grado di uscire e rientrare con operazioni undo e redo); consistenza e standard nell’utilizzo di parole, frasi, ecc.; prevenzione degli errori con procedure precedenti l’azione; minimizzare l’archiviazione di informazioni e renderle disponibili su semplice richiamo; flessibilità ed efficienza per utenti esperti ed inesperti; facilità dialogica in ambiente esteticamente valido e minimalista (non ridondante); help per diagnosi e recovery. 13
Secondo Wholey, completano il quadro della valutazione esplorativa e di breve periodo i sistemi di misurazione di performance (di gestione, di budget, ecc.), di processi e impatti (in ottica trans-scalare o gerarchica) e i monitoraggi sugli usi dei risultati della valutazione. Insieme, questi strumenti possono arricchire l’apprendimento organizzativo. Stima/identificazione dei fabbisogni (need assessment) In un contesto statico o dinamico la stima/identificazione dei fabbisogni è una pratica analitica spesso richiesta dalla valutazione per cogliere i significati di priorità e, a partire da queste, proporre l’allocazione di risorse disponibili. I fabbisogni possono emergere come istanze dalle interazioni sociali. Identificazione e stima consentono di costruire eventuali ‘funzioni valutative’ Fv (f, v, o, c, a)s con f frame, v valori, o obiettivi, c criteri, a opzioni/alternative, s soggetti. Il fabbisogno può essere definito come differenza (gap) fra uno stato attuale e uno stato atteso relativamente a descrittori o criteri rilevanti. Del o dei gap viene riconosciuta l’importanza, ricorrendo ad eventuali ordinamenti (ranking); vengono identificate specifiche cause e proposte soluzioni in un piano d’azione. Il fabbisogno diventa priorità se riconosciuto problematico in un contesto sociale. Lo stesso need assessment potrebbe essere valutato da diversi punti di vista. Nel dimensionamento dei piani urbanistici, in programmi di rigenerazione o in politiche settoriali viene stimato il ‘fabbisogno abitativo’ come somma di fabbisogno pregresso, adeguamento delle condizioni abitative esistenti a standard accettabili, risposta a quantità e profili di domanda abitativa futura. Valutazione orientata agli obiettivi (objective-based) Questo tipo di valutazione si concentra sulla specificazione e selezione di obiettivi singoli, multipli, o raggruppati per classi o temi. Agli obiettivi sono correlabili azioni per il superamento di eventuali ostacoli. I risultati rilevati sono così riferiti ad obiettivi espliciti e, oltre a contribuire alla valutazione di efficacia, generano informazioni utili sul progetto/programma, sulla sua replicabilità e, più in dettaglio, su questioni decisionali e di rendicontazione30. Non mette in discussione gli obiettivi definiti (o dichiarati), considerandoli uniche fonti di significato e valore. Discrimina ciò che si ritiene appartenga ad altri domini, come gli imprevisti o gli effetti collaterali. Si può dire che questa ‘discriminazione’, isolando l’imprevisto, in qualche modo lo legittima. Una versione semplificata (generalmente ex-post) è la valutazione di differenza, divario o discrepanza (discrepancy evaluation) che, esplicitando obiettivi e risultati attesi, ne misura la distanza specifica e/o rispetto a standard, benchmark o con il confronto a profili ideali. La distanza può essere interpretata con suggerimenti per una sua eliminazione o riduzione. Le distanze possono essere misurate e interpretate anche rispetto agli input e al processo. Può essere uno strumento prossimo al CIPP o utile in prospettiva costruttiva o formative. Questo tipo di valutazione viene criticato per varie ragioni: ad esempio, per la difficoltà di definire con precisione obiettivi e misure o perché il loro raggiungimento può essere apprezzato solo a conclusione del programma, ma anche perché di questo non si considera il merit o perché non ci si interessa dei risultati inattesi. 30 Vedi il seminale R Tyler, General Statement on Evaluation del 1942, importante contributo alla valutazione del sistema educativo Usa. 14
Valutazione indipendente dagli obiettivi (goal-free) Questo approccio è motivato dalla cosiddetta ‘critica agli obiettivi’ (goal critique). Non è, infatti, scontato che gli obiettivi di un progetto rappresentino un uso accettabile, se non ottimale, delle risorse disponibili per rispondere a determinati bisogni o domande. La relazione fra obiettivi e risorse è biunivoca: la disponibilità di risorse può motivare alcuni obiettivi, ma possono essere anche gli obiettivi a ‘creare’ risorse, aiutare a scoprirle e utilizzarle. Una risposta può essere fornita da indagini di supporto di tipo need assessment, attente a questa relazione biunivoca. Non è neppure scontato che gli obiettivi abbiano un fondamento culturalmente valido, che rispondano a principi etico-morali o che intendano volutamente limitarne la portata. Inoltre, è noto che ogni azione genera effetti collaterali o esternalità di vario genere attribuibili a soggetti diversi dai beneficiari (o dalle vittime) dichiarati/e. Non è sempre chiaro il modo in cui effetti attesi e inattesi rispondano a bisogni, vincoli o frame etico- culturali dei soggetti interessabili. Ma un quesito più generale riguarda il processo di generazione degli obiettivi stessi: dati in EV, incognite in PV. Questo processo (inclusa la sua valutazione) è consistente con bisogni, culture e principi etico-morali?31 E’ efficace in termini di costo (in senso lato e non soltanto monetario), può fornire un utile riferimento per esperienze analoghe senza rinviare agli scomodi concetti di esportabilità, replicabilità e sostenibilità. La valutazione goal-free può essere considerata complemento della valutazione orientata agli obiettivi. Viene incaricato un analista/valutatore (goal-free investigator – Gfi) per riconoscere che tipo di effetti può generare o aver generato un progetto indipendentemente dagli obiettivi. Gfi viene informato sui beneficiari del progetto e in merito al contesto in cui opera, ma ignora gli obiettivi. Analizza che cosa il progetto ha prodotto o sta generando, verifica le istanze dei beneficiari (bisogni, domande, ecc.) ed evidenzia come il progetto si relaziona al contesto, con quali meccanismi interagisce e così via. Riconoscendo ciò che il progetto genera, Gfi non formula giudizi di valore su ‘verità’ o ‘falsità’ degli effetti, sulla loro pertinenza o rilevanza, né distingue gli obiettivi dichiarati da quelli ‘praticati’. La conoscenza di queste cose è ‘irrilevante’ rispetto a ciò che accade realmente. Si concentra su processi ed effetti (realizzazioni, risultati e impatti) rispetto a domande e bisogni sociali cui il progetto intende rispondere. In certe circostanze è l’unico modo per evidenziare ‘deviazioni’, effetti collaterali, esternalità e riconoscere i valori di un’azione progettuale indipendentemente dagli obiettivi. Il risultato viene confrontato con la valutazione orientata agli obiettivi. I due tipi di valutazioni possono essere condotte in simultanea per consentire una plausibile comparazione dei risultati. La valutazione goal-free può essere effettuata in modo manageriale, democratico o pluralista, o con impianto pragmatista sensibile al pluralismo dei valori. Valutazione di risultato in termini di valore aggiunto (outcome evaluation as value added assessment) Questo tipo di valutazione evidenzia miglioramenti lungo trend di risultato riconoscendo diverse connotazioni di valore aggiunto. Esempio di trend di risultato può essere una configurazione di rete, il cui valore aggiunto può essere determinato da ‘sinergie in pratica’. Le performance della rete possono essere formali o informali, verticali o orizzontali, generalizzate o ripartite, a contenuto politico- 31 M Scriven, ‘Conceptual revolution in evaluation. Past, present and future’, in Alkin M (ed.) 2013 Evaluation Roots: A Wider Perspective of Theorists’ Views and Influences. Sage, Thousand Oaks, CA, p. 177. 15
Puoi anche leggere