La valutazione. Alcuni esempi: La Fondazione Venezia

La valutazione. Alcuni esempi:
    La Fondazione Venezia

L’avvio della valutazione

                            2

Giovani a teatro

Giovani a teatro
Definizione del progetto
  –   Finanziatore: Fondazione Venezia.
  –   Obiettivo: favorire la fruizione degli spettacoli teatrali;
  –   Target: studenti di età inferiore a 26 anni;
  –    Localizzazione: teatri della provincia di Venezia;
  –   Organizzazione:
       •   selezione del programma culturale da inserire nell’offerta;
       •    tesseramento dei candidati;
       •   prenotazione spettacolo tramite call-center;
       •    ritiro dei biglietti presso i teatri;
       •   prezzo simbolico 2,5 €;

                                                                         4

Giovani a teatro
• Obiettivi cognitivi
• Collocazione dello studio nella gerarchia di
  valutazione
• Domande di valutazione
• Piano delle attività
• Metodi di valutazione
• Commento dei risultati

                                                 5

Giovani a teatro
• Obiettivi cognitivi
1. definire il livello di coinvolgimento della popolazione
obiettivo, non solo per l’edizione attuale, ma anche in
termini relativi rispetto all’edizione precedente;
2. quantificare il livello di frequentazione dell’iniziativa da
parte dei tesserati;
3. individuare i punti di forza e le eventuali criticità
dell’iniziativa;
4. stimare la probabilità della frequentazione degli
spettacoli in funzione sia di aspetti che caratterizzano gli
spettatori, sia di caratteristiche direttamente attinenti
all’offerta culturale e al progetto complessivo.

                                                              6

Giovani a teatro
• Collocazione nella gerarchia di valutazione:
– Effettiva esistenza di un problema sociale a cui porre
  rimedio (Analisi dei bisogni)
– Solida strategia alla base dell’intervento
  (Teoria dell’intervento)
– Corretta realizzazione dell’intervento rispetto al disegno
  pianificato
  (Controllo del processo)
– Reale capacità di produrre benefici.
  (Valutazione d’impatto)
– Confronto dei benefici con i costi per ottenerli.
  (Valutazione dell’efficienza)

                                                               7

Giovani a teatro
• Collocazione nella gerarchia di valutazione:
   – Controllo di processo.
• Domande di valutazione:
   – Dimensione del progetto in termini di offerta e domanda
     culturale;
   – Differenze rispetto alla precedente edizione;
   – Uso card;
   – Uso della card con alta frequenza;
   – Cosa attira i giovani a teatro;
   – Livello di soddisfazione per i singoli aspetti;
   – Aspetti organizzativi da modificare per la messa a punto.

                                                                 8

Giovani a teatro
Piano delle attività
• Obiettivo 1:Coinvolgimento
  – Analisi statistica del database del tesseramento
    relativo all’edizione in corso e confronto con
    quello dell’edizione precedente
• Obiettivo 2: Frequentazione
  – Analisi statistica del database delle prenotazioni
    relativo all’edizione in corso e confronto con
    quello dell’edizione precedente
                                                         9

Giovani a teatro
• Obiettivo 3: Servizi
   – Somministrare un questionario ad un campione casuale di
     tesserati per rilevare la qualità attribuita all’iniziativa. Le
     aree di indagine sono:
      •   Call Center;
      •   Servizi offerti dai teatri;
      •   Sito internet e canali di informazione;
      •   Programmazione teatrale.
• Obiettivo 4: Successo
   – Stima di un modello Logit per evidenziare la probabilità di
     frequentazione dell’iniziativa in funzione delle
     caratteristiche soggettive e di percezione della qualità dei
     servizi offerti.

                                                                    10

Giovani a teatro
• Metodi di valutazione.
  – Statistiche descrittive
     • Sulla popolazione
     • Sul campione
  – Analisi fattoriale (stabilire per ogni tipologia di
    servizio, la priorità di intervento).
  – Stima di modelli logit (stabilire quali sono i fattori
    determinati nell’affluenza dei giovani a teatro).

                                                             11

Giovani a teatro
Risultati
• Si sono riscontrati problemi nella rilevazione delle
  informazioni dovute ad un sistema informatico
  poco integrato.
• Offerta culturale molto vasta:
   – 26 teatri in 15 città con 229 rappresentazioni.
• Tasso di attivazione delle tessere basso:
   – Solo il 40% degli studenti la usa almeno una volta.
• Bassa adesione fra i maschi:
   – I partecipanti di sesso femminile rappresentano i 2/3.

                                                              12

Giovani a teatro
• Basso tasso di partecipazione degli adolescenti
  (2%) e dei giovani (25%).
• Problemi di accesso al servizio per i fuorisede:
  – Il 15% di tutti gli studenti non ha accesso ai
    programmi serali.
  – Fra i fattori che più attirano i giovani a teatro ci sono
    innanzitutto l’interesse per i temi.
  – Influisce il basso costo del biglietto
  – Ha un valore non irrilevante la posizione e
    l’accessibilità dello stesso del teatro.

                                                                13

Giovani a teatro
Indicazioni
•   Ridimensionare l’offerta culturale in funzione dei generi teatrali.
•   Aumentare il tasso di attivazione delle tessere.
•   Aumentare il tasso di partecipazioni maschile.
•   Aumentare il tasso di partecipazione degli adolescenti (2%) e dei
    giovani (25%).
•   Studiare una migliore distribuzione territoriale dell’offerta culturale,
    eventualmente associata ad un diverso orario di programmazione.
•   Proseguire con il processo di specializzazione tematica dell’offerta
    culturale.
•   Sviluppare alcune sinergie con altri enti o circoli culturali.
•   Rivedere sotto il profilo informatico il flusso delle informazioni per
    rispondere alle diverse esigenze di teatri e spettatori.

                                                                          14

Go Stage
Definizione del progetto
• La Fondazione di Venezia ha finanziato, a partire del 1997,
  stage estivi in azienda, destinati agli studenti del terzo e
  quarto anno delle scuole superiori.
• Nel corso del tempo il progetto ha registrato un interesse
  crescente da parte della popolazione di riferimento a cui è
  seguita una revisione dell’offerta da parte della Fondazione.
• Dimensione del progetto (anno 2006):
   –   58 su 60 istituti coinvolti nella provincia di Venezia;
   –   1.300 aziende coinvolte;
   –   2.219 borse erogate;
   –   379 mila ore di stage.

                                                                 15

Go stage

Go Stage
La Fondazione di Venezia finanzia stage estivi a
studenti delle scuole superiori con l’obiettivo di:
• Favorire, tra gli studenti, la conoscenza
  dell’ambiente lavorativo già durante il corso di
  studi.
• Sostenere gli studenti nelle future scelte
  lavorative.
• Accrescere le loro opportunità occupazionali.
• Favorire fra la aziende il contatto e le conoscenza
  dei giovani, agevolare il processo di selezione.

                                                    17

Go Stage
• Obiettivi cognitivi
• Collocazione dello studio nella gerarchia di
  valutazione
• Domande di valutazione
• Piano delle attività
• Metodi di valutazione
• Risultati

                                                 18

Go Stage
• Obiettivi cognitivi:
   – Capire se la frequenza dello stage ha ricadute
     apprezzabili sul percorso post-diploma dello studente;
   – Rilevare l’opinione che gli stagisti stessi hanno
     dell’utilità dello stage;
   – Verificare se lo stage assolve ancora la funzione di
     “prima finestra” sul mondo del lavoro, o se sono
     entrate in gioco delle alternative;
   – Decidere se il ruolo svolto dalla Fondazione debba
     restare lo stesso o possa invece essere rivisto.

                                                          19

Go Stage
• Collocazione nella gerarchia di valutazione:
– Effettiva esistenza di un problema sociale a cui porre
  rimedio (Analisi dei bisogni)
– Solida strategia alla base dell’intervento
  (Teoria dell’intervento)
– Corretta realizzazione dell’intervento rispetto al disegno
  pianificato
  (Controllo del processo)
– Reale capacità di produrre benefici.
  (Valutazione d’impatto)
– Confronto dei benefici con i costi per ottenerli.
  (Valutazione dell’efficienza)

                                                               20

Go Stage
• Collocazione dello studio nella gerarchia di valutazione:
   – Valutazione d’impatto.
• Domande di valutazione:
   –   Occupazione ad un anno dal diploma.
   –   Occupazione stabile (tempo ind.) ad un anno dal diploma.
   –   Strategia di ricerca occupazionale degli stagisti.
   –   Apprezzamento del lavoro in azienda.
   –   Conoscenza dei meccanismi di funzionamento di un’azienda.
   –   Acquisizione di competenze professionali.

                                                              21

Go Stage
• Piano attività:
  – Acquisizione dati socio-demo sulla popolazione.
  – Disegno di un questionario appropriato.
  – Estrazione del campione.
  – Validazione del questionario mediante pre-test.
  – Realizzazione delle interviste telefoniche.
  – Analisi statistica dei dati.

                                                      22

Go Stage
Metodi di valutazione:
• Analisi controfattuale.
   – Confronto tra stagisti e non-stagisti con caratteristiche
     simili (abbinamento statistico) per eliminare le differenze
     di partenza, ossia per non scambiare “per effetto dello
     stage” ciò che differenzia chi decide di fare lo stage da chi
     decide di non farlo. Ciò richiede un ampio campione di
     non-stagisti tra cui selezionare quelli che più
     “assomigliano” agli stagisti;
• Analisi della percezioni degli effetti.
   – La stima degli effetti viene desunta dalla rilevazione sui
     beneficiari della loro percezione dell’utilità dell’esperienza.

                                                                     23

Go Stage
Risultati:
• Influenza positiva sulle probabilità di
  inserimento lavorativo a tempo indeterminato
  (11%, di cui l’8% presso l’azienda ospitante).
• Apprezzamento dello stage come strumento di
  conoscenza aziendale (62%).

                                               24

Go Stage
• Buona fonte di acquisizione di competenze (78%).
• Nessun influenza sulla probabilità di occupazione: la
  proporzione dei soggetti occupati è la stessa fra stagisti
  e non stagisti.
• Nessuna influenza sulle modalità di ricerca del lavoro.
• Servizio omogeneo per realtà molto disomogenea:
  disparità significativa nel tasso di partecipazione degli
  studenti per tipologia di istituto.
  (I licei necessitano di modalità di intervento differenti
  rispetto agli istituti tecnici).

                                                           25

Venezia e l’Islam
Definizione del progetto
• La Fondazione di Venezia ha sostenuto la
  mostra intitolata «Venezia e l’Islam 828-1797»,
  Palazzo ducale Venezia.
• L’attività comporta l’intervento della fondazione
  nell’organizzazione e gestione dell’evento.

                                                 26

Venezia e l’Islam
Obiettivi del progetto
• Gli obiettivi del progetto rientrano nel
  programma, statutario, di sensibilizzazione
  all’arte e alla fruizione di beni artistici attraverso
  al promozione di eventi espositivi.
• L’obiettivo specifico della mostra è quello di
  diffondere la testimonianza relativa al reciproco
  influsso della civiltà veneziana ed islamica nella
  definizione dell’evoluzione di linguaggi artistici e
  delle tecniche.
                                                           27

Go Stage
• Obiettivi cognitivi
• Collocazione dello studio nella gerarchia di
  valutazione
• Domande di valutazione
• Piano delle attività
• Metodi di valutazione
• Commento dei risultati

                                                 28

Venezia e l’Islam
Obiettivi cognitivi.
• In un’ottica di replicabilità dell’evento è
  necessario individuare, piuttosto che il solo
  raggiungimento degli obiettivi prefissati, i
  fattori determinanti del successo e le possibili
  cause di insoddisfazione al fine di
  massimizzare il gradimento complessivo
  dell’evento.

                                                     29

Venezia e l’Islam
• Collocazione nella gerarchia di valutazione:
– Effettiva esistenza di un problema sociale a cui porre
  rimedio (Analisi dei bisogni)
– Solida strategia alla base dell’intervento
  (Teoria dell’intervento)
– Corretta realizzazione dell’intervento rispetto al disegno
  pianificato
  (Controllo del processo)
– Reale capacità di produrre benefici.
  (Valutazione d’impatto)
– Confronto dei benefici con i costi per ottenerli.
  (Valutazione dell’efficienza)

                                                               30

Venezia e l’Islam
Collocazione dello studio nella gerarchia di valutazione:
   – Controllo di processo.
Domande di valutazione:
   – Caratteristiche socio-demo dei visitatori.
   – Da cosa dipende il livello di soddisfazione.
   – Aspetti influenti per un maggior consenso dei visitatori.
   – Variazione degli introiti in seguito a modifiche strutturali.
   – Aspetti organizzativi di maggior rilievo per l’agevolazione
     della fruizione della mostra.
   – Azioni influenti per l’allestimento ottimale di eventi futuri.

                                                                      31

Venezia e l’Islam
Piano delle attività:
• Definizione di una indagine demoscopica;
• Redazione della base dati informativa;
• Analisi statistiche multivariate (logit, conjoint);
• Redazione della relazione conclusiva.

                                                    32

Venezia e l’Islam
Aree tematiche oggetto dell’indagine
1. I motivi della visita;
2. Il livello di soddisfazione (caratteristiche e contenuti);
3. Le fonti di informazione;
4. Suggerimenti e aspetti migliorativi
5. Il prezzo del biglietto
6. Le componenti della mostra
7. Caratteristiche socio-demografiche dei visitatori

                                                            33

Venezia e l’Islam
• L’indagine
1. Questionario CAPI redatto in lingue diverse;
2. Campione casuale di 500 visitatori;
3. Rilevazioni effettuate in 9 giornate;
3. Durata media dell’intervista: 12 minuti;
4. Orario delle interviste 12.00 – 18.00;
5. Ubicazione delle interviste: presso l’uscita
della mostra.

                                                  34

Venezia e l’Islam
Metodi di valutazione
• Descrittive;
  – Soggetto: gli Aderenti all’iniziativa.
    N.B. resta esclusa la popolazione dei possibili
    fruitori.
• Regressioni logistiche per stabilire la
  probabilità di soddisfazione dei visitatori;
  – Fattori determinanti nella soddisfazione per
    l’iniziativa.

                                                      35

Venezia e l’Islam
• Applicazione di tecniche di determinazione del
  prezzo ottimale del prodotto;
  – Tecniche di supporto per l’implementazione di
    politiche ottimali di prezzo.
• Conjoint analysis per definire il valore
  economico dell’iniziativa.
  – Determinare la migliore combinazione di servizi
    offerti / prezzo richiesto, allo scopo di determinare
    l’importanza dei diversi attributi.
                                                       36

Venezia e l’Islam
Risultati
  – Mostra di successo.
     • Il 67% dei fruitori dichiara di aver apprezzato l’evento.
  – Mostra di nicchia.
     • Profilo culturale alto (2/3 sono laureati, di cui molti in
       ambito artistico) e soggetti molto motivati che hanno
       reperito informazioni in proprio.

                                                                    37

Venezia e l’Islam
– Criticità sul materiale informativo.
   Per una mostra altamente specializzata è necessario
   fornire materiale più completo.
– Criticità sul prezzo del biglietto.
   Tutto le analisi hanno evidenziato l’estrema importanza di
   tale aspetto, per il pubblico giovane in particolare, ma
   non solo.
– Criticità sulla pubblicità dell’evento.
   I canali di informazione hanno completamente escluso la
   popolazione più giovane, e anche gli esperti, hanno
   trovato in autonomia le informazioni rilevanti.

                                                           38

Venezia e l’Islam
Indicazioni
• I risultati delle analisi permettono di evidenziare
  che la mostra in oggetto si presenta come un
  prodotto di “nicchia”; frequentata da visitatori
  fortemente motivati, competenti ed esigenti.
• Il livello complessivo di gradimento e di
  soddisfazione manifestato dai visitatori è elevato.
  Tuttavia, la combinazione di due fattori - quali la
  tipologia di visitatori e la specificità della mostra -
  permette di evidenziare alcune indicazioni:
                                                        39

Venezia e l’Islam
1. Sarà necessario porre attenzione al livello
   qualitativo di tutte le sezioni che compongono
   l’esposizione. In caso di mostre specialistiche,
   con presenza di pubblico molto competente, il
   livello qualitativo è un fattore preponderaante;
2. Si devono selezionare accuratamente i canali di
   comunicazione e promozione dell’evento. La
   comunicazione di massa in questi casi può
   risultare superflua;

                                                      40

Venezia e l’Islam
3. Per rispondere alle esigenze dei visitatori la mostra
   deve essere corredata da idonea documentazione
   (almeno bi-lingue) relativa sia alla logica
   dell’esposizione nel suo complesso, sia alla
   descrizione dei singoli oggetti;
4. La presenza di strumentazioni multimediali avanzate,
   anche se a pagamento, favoriscono in maniera
   significativa il grado di fruizione della mostra;
5. Il prezzo del biglietto deve essere congruo rispetto ai
   contenuti e ai servizi offerti; si dovrebbe inoltre
   definire una politica di pricing per le diverse fasce
   d’età.

                                                             41

Bibliografia
• A. Rigon, F. Santello (2010): La valutazione:
  teoria, metodi e pratica, Marsilio Editori

                                                  42