L'Assicurazione della Qualità e le visite CEV - Massimo Castagnaro e Maja Feldt 2017, Esperti di sistema ANVUR Università degli Studi di Padova ...
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
L’Assicurazione della Qualità
e le visite CEV
Massimo Castagnaro e Maja Feldt 2017, Esperti di sistema ANVUR
Università degli Studi di Padova, 15-16 gennaio 2018
1
Obiettivi del corso di formazione
• Conoscere gli elementi cardine del sistema AVA e l’AQ
• Conoscere le modalità con cui viene effettuata la verifica dei
Requisiti di Qualità nel sistema di Accreditamento Periodico
• Comprendere il ruolo e la funzione del personale TA nella
prospettiva di una gestione di Assicurazione della Qualità
(AQ) di Ateneo / Scuola/ Dipartimento / CdS
2
Indice presentazione
Assicurazione interna della Qualità (mattina)
o Le linee guida ESG -ENQA
o Definizioni Qualità, Assicurazione della Qualità,
Accreditamento
o La valutazione periodica secondo il modello AVA e i principali
Requisiti di Qualità
o I principali strumenti di AQ del CdS (SUA-CdS, Scheda di
monitoraggio annuale, Rapporto di Riesame ciclico, Relazione
CPDS)
Assicurazione esterna della Qualità (pomeriggio)
o Le prime esperienze di visite in loco con particolare riguardo
al ruolo del personale TA
3
Premessa
• La presentazione predisposta per il corso verrà messa a
disposizione dell’Ateneo
• Le informazioni riportate nella presentazione prive di fonte di
riferimento si basano sull’esperienza personale maturata in visite
effettuate in qualità di Esperto disciplinare ed Esperti di sistema e
Coordinatrice delle CEV
• Il documento «Accreditamento periodico delle Sedi e dei Corsi di
Studio universitari – Linee Guida», pubblicato sul sito ANVUR,
viene citato nelle presentazioni come «Linee Guida AP»
4Assicurazione interna della Qualità
5Assicurazione esterna della Qualità / 1 I 10 principi AQ di ENQA: ESG 2015 (Standards and Guidelines for Quality Assurance in the European Higher Education Area) 1.10 Assicurazione esterna della qualità Standard: Le Istituzioni sono ciclicamente sottoposte all’assicurazione esterna della qualità in linea con gli ESG Linee guida: L'assicurazione esterna della qualità nelle sue varie forme può verificare l'efficacia dell'assicurazione interna della qualità di una Istituzione, fungere da catalizzatore del miglioramento ed offrire nuove prospettive all'Istituzione stessa. Inoltre, fornisce informazioni atte a garantire all'Istituzione ed al pubblico la qualità delle attività svolte. Segue… Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG) 6
Assicurazione esterna della Qualità / 2 Le Istituzioni partecipano ciclicamente all'assicurazione esterna della qualità, che tiene conto, laddove rilevante, dei requisiti del quadro legislativo di riferimento. Di conseguenza, l'assicurazione esterna della qualità può assumere forme diverse secondo il quadro di riferimento generale e concentrarsi su livelli organizzativi diversi (quali il corso di studio, il Dipartimento o l'Istituzione). L'assicurazione della qualità è un processo continuo che non si conclude con il feedback o rapporto esterno, o con il processo di follow-up all'interno dell'Istituzione. Pertanto, le Istituzioni garantiscono che i progressi compiuti dopo l'ultima attività di assicurazione esterna della qualità saranno presi in considerazione al momento di preparare l’attività successiva. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG) 7
ESG 2015: gli altri principi AQ / 1 1.1 Politiche per l’assicurazione della qualità Standard: Le Istituzioni hanno una politica per l’assicurazione della qualità che sia pubblica e faccia parte della loro strategia di gestione. I portatori di interesse interni sviluppano ed attuano tale politica per mezzo di strutture e processi appropriati, anche coinvolgendo i portatori di interesse esterni. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG) 8
ESG 2015: gli altri principi AQ / 2 1.2 Progettazione ed approvazione dei corsi di studio Standard: Le Istituzioni hanno dei processi di progettazione ed approvazione dei propri corsi di studio. Tali corsi sono progettati in modo tale da raggiungere gli obiettivi stabiliti, ivi inclusi i risultati di apprendimento previsti. Il titolo conferito al termine del corso deve essere specificato e comunicato chiaramente, facendo riferimento al corrispondente livello del quadro nazionale dei titoli di istruzione superiore e, conseguentemente, al Quadro dei Titoli dello Spazio Europeo dell’Istruzione Superiore. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG) 9
ESG 2015: gli altri principi AQ / 3 1.3 Apprendimento, insegnamento e verifica del profitto incentrati sullo studente Standard: Le Istituzioni garantiscono che i corsi di studio siano erogati in modo da incoraggiare gli studenti ad assumere un ruolo attivo nello sviluppo del processo di apprendimento e che la verifica del profitto degli studenti rifletta tale approccio. 1.4 Ammissione degli studenti, progressione, riconoscimento e certificazione Standard: Le Istituzioni applicano in modo uniforme regolamenti predefiniti e resi pubblici per tutte le fasi del “ciclo di vita” dello studente, ovvero ammissione, progressione della carriera, riconoscimento e certificazione. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG)10
ESG 2015: gli altri principi AQ / 4 1.5 Corpo docente Standard: Le Istituzioni accertano la competenza dei propri docenti. Adottano processi equi e trasparenti per il reclutamento e l’aggiornamento del corpo docente. 1.6 Risorse didattiche e sostegno agli studenti Standard: Le Istituzioni finanziano opportunamente le attività di apprendimento e di insegnamento, nonché garantire un’adeguata disponibilità di risorse didattiche e di supporto agli studenti. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG)11
ESG 2015: gli altri principi AQ / 5 1.7 Gestione delle informazioni Standard: Le Istituzioni garantiscono la raccolta, l'analisi e l'uso delle informazioni rilevanti ai fini di una gestione efficace dei loro corsi di studio e delle altre attività formative. 1.8 Pubblicità delle informazioni Standard: Le Istituzioni pubblicano informazioni chiare, accurate, obiettive, aggiornate e facilmente accessibili sulle proprie attività, compresi i corsi di studio. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG)12
ESG 2015: gli altri principi AQ / 6 1.9 Monitoraggio continuo e revisione periodica dei corsi di studio Standard: Le Istituzioni tengono monitorati e rivedono periodicamente i propri corsi di studio per garantire che conseguano gli obiettivi stabiliti e rispondano alle esigenze degli studenti e della società. Tali revisioni conducono ad un continuo miglioramento dei corsi. Qualsiasi azione pianificata o intrapresa a seguito della revisione è comunicata a tutti gli interessati. Fonte: Standard e Linee Guida per l'Assicurazione della Qualità nello Spazio Europeo dell’Istruzione Superiore (ESG)13
ESG versione 2015
La versione 2015 degli ESG aggiorna le indicazioni precedenti in base
agli sviluppi dell’istruzione superiore nello spazio europeo dell’ultimo
decennio, mettendo in maggior evidenza elementi già in nuce nella
versione 2005, la cui concretizzazione presso le Università non è ancora
apparsa soddisfacente:
1. La centralità dello studente
viene considerata in più
punti: learning vs
teaching, partecipazione
attiva ai processi qualità, la
qualità dei processi di
apprendimento, flessibilità
dei percorsi educativi, etc. 2. il riesame è diventato un
requisito separato nella
versione aggiornata
14Definizioni / 1 Qualità Il grado in cui le caratteristiche del sistema di formazione e ricerca soddisfano ai requisiti ovvero anche il grado di vicinanza tra obiettivi prestabiliti e risultati ottenuti (AVA «2.0») «Indica il grado con cui gli Atenei realizzano i propri obiettivi didattici, scientifici e di terza missione; creare, quindi, una vasta base di conoscenze avanzate, partecipare ed essere di stimolo alla ricerca e all’innovazione, preparare gli studenti a una cittadinanza attiva e al loro futuro ruolo nella società, accompagnare il loro percorso culturale in armonia con le loro motivazioni, aspettative e prospettive personali» Fonti: Documento AVA, p. 4; Linee Guida AP, p. 11 15
Definizioni / 2 Assicurazione della Qualità (AQ) «L’Assicurazione della Qualità è, in una accezione nettamente preventiva, l’insieme delle attività messe in atto per produrre adeguata fiducia che gli obiettivi della Qualità saranno soddisfatti. Componente essenziale è la produzione di evidenze idonee a dimostrare il grado di corrispondenza tra i risultati previsti e quelli ottenuti» (AVA «2.0») «Insieme di procedure interne relative alla progettazione, gestione e autovalutazione delle attività formative e scientifiche, comprensive di forme di verifica interna ed esterna, che mirano al miglioramento della qualità dell’istruzione superiore nel rispetto della responsabilità degli Atenei verso la società» Fonti: Documento AVA, p. 4 e Linee Guida AP, p. 11 16
Definizioni / 3 Accreditamento «Il procedimento con cui una parte «terza» riconosce formalmente che un’organizzazione possiede la competenza e i mezzi per svolgere i suoi compiti. Attraverso l’accreditamento si dà innanzitutto garanzia agli utenti che le loro esigenze sono soddisfatte e che i loro diritti fondamentali sono tutelati da un’autorità competente» (AVA «2.0») «Riconoscimento attribuito a un’Istituzione accademica (e ai suoi CdS) del possesso e della permanenza dei requisiti che la rendono adatta all’erogazione dei CdS e la autorizzano al rilascio dei relativi titoli di studio. L’Accreditamento è concesso dal MIUR su proposta dell’ANVUR […]. L’Accreditamento è regolato dal D.Lgs. 19/2012, in attuazione della L. 240/2010» Fonti: Documento AVA, p. 5 e Linee Guida AP, p. 11 17
Definizioni / 4 Politica per la Qualità «Politica relativa alla qualità che si esprime in orientamenti ed indirizzi dell’Ateneo utili ad individuare gli obiettivi per la Qualità.» 1.1 Politiche per l’Assicurazione della Qualità Standard: «Le Istituzioni hanno una politica per l’assicurazione della qualità che sia pubblica e faccia parte della loro strategia di gestione. I portatori di interesse interni sviluppano ed attuano tale politica per mezzo di strutture e processi appropriati, anche coinvolgendo i portatori di interesse esterni.» Fonti: ISO 9000, terminologia SGQ 2015; ESG - ENQA 18
In sintesi….
La Qualità richiede:
1. la definizione e la dichiarazione degli obiettivi
2. la messa in opera di azioni adeguate a raggiungere gli obiettivi
3. modalità credibili (pertinenti, adeguate, sistematiche e
documentate) di verifica del loro effettivo raggiungimento
19Attori del sistema di AQ Per la realizzazione di politiche coerenti con i propri obiettivi, l’Ateneo definisce i ruoli, le responsabilità e i compiti degli Organi di Governo e delle strutture responsabili della AQ e predispone una struttura organizzativa che lo ponga in condizione di esercitare le proprie funzioni in modo efficace. Fonte: Linee Guida AP, p. 17 20
Italia: il sistema AVA (2012) / 1 L’obiettivo del sistema Autovalutazione, Valutazione e Accreditamento del Sistema Universitario Italiano è: «fornire alle Università un modello documentale per l’Assicurazione della Qualità e indirizzi al personale docente e tecnico - amministrativo per un suo adeguato sviluppo» AVA è conforme agli ESG - ENQA (2005-2009-2015) Fonte: documento AVA, p. 4 21
Italia: il sistema AVA (2012) / 2 AVA fornisce: 1. un modello per l’Assicurazione della Qualità alle Università attraverso regole volte a darle una forma adeguata alle strategie relative alla formazione, ricerca e terza missione 2. gli elementi chiave per migliorare la qualità delle loro attività 3. al MIUR l’informazione necessaria per la pianificazione nazionale delle risorse e la loro distribuzione 4. agli studenti informazioni utili per la scelta del CdS 5. al mondo del lavoro informazioni sulla qualità dei CdS e dei titoli da essi rilasciati 6. alla società un’informazione affidabile e trasparente sulle attività del sistema universitario italiano Fonte: documento AVA, p. 4 22
Alcune scelte “politiche” di AVA /1
L’ approccio ”selfie”
Sviluppo di strumenti di AQ comuni:
Accoppiare ed integrare le procedure di iAQ con l’attività
istituzionale operativa (progettazione- realizzazione-
monitoraggio-miglioramento)
Possibilità del monitoraggio centrale (“on desk”)
Aiuto alla disseminazione delle “buone pratiche”
23Alcune scelte “politiche” di AVA /2
L’ approccio ”selfie”
• SUA-CdS
Sezione A (Obiettivi della formazione - Sezione D (Organization and
Progettazione) management of iQA)
Sezione B (Esperienza dello studente - Sezione C (Risultati della
Realizzazione) formazione – dati base per
monitoraggio)
24Alcune scelte “politiche” di AVA /3
L’ approccio ”selfie”
SUA-CdS 2013 RaR
SUA-CdS 2014 RaR
SUA-CdS 2015 RaR
SUA-CdS 2016 RaR
SUA-CdS 2017
Nessun Rapporto di Autovalutazione per le visite in loco 25Il modello AQ degli Atenei
Organi di governo dell’Ateneo
Presidio della qualità
NdV
CPDS Struttura didattica Dipartimento
26Requisiti di Qualità (AVA 2.0) / 1
R1 - Requisiti di Qualità della Sede
o l‘Ateneo possiede, dichiara e realizza una visione della
qualità della didattica e della ricerca, adottando strategie,
politiche e procedure opportune per realizzarla e
distribuendo responsabilità e compiti fra le strutture (R1.A)
o adotta politiche adeguate per la progettazione,
l’aggiornamento e la revisione dei CdS (R1.B)
o elabora criteri atti a garantire la qualificazione del corpo
docente, la sostenibilità del carico didattico e le risorse
umane e strutturali per il supporto alle attività istituzionali
(R1.C)
Fonte: Linee Guida AP, pp. 43 27Requisiti di Qualità (AVA 2.0) / 2
R2 - Requisiti di Qualità della Sede
o l’Ateneo dispone di un sistema efficace di AQ, in grado di
monitorare il funzionamento dei CdS (R2.A) e di accertare che
processi e risultati siano periodicamente autovalutati e valutati
(R2.B)
Fonte: Linee Guida AP, p. 49 28Requisiti di Qualità (AVA 2.0) / 3 R3 - Assicurazione della Qualità nei Corsi di Studio o il CdS definisce i profili culturali e professionali della figura che intende formare e propone attività formative con essi coerenti (R3.A) o promuove una didattica centrata sullo studente, incoraggia l'utilizzo di metodologie aggiornate e flessibili di insegnamento e accertamento delle competenze acquisite (R3.B) o dispone di un’adeguata dotazione di personale docente e tecnico-amministrativo, offre servizi accessibili agli studenti e usufruisce di strutture adatte alle esigenze didattiche (R3.C) o è in grado di riconoscere gli aspetti critici e i margini di miglioramento della propria organizzazione didattica e di definire e attuare interventi conseguenti (R3.D) Fonte: Linee Guida AP, p. 51 29
Requisiti di Qualità (AVA 2.0) / 4
R4 - Requisiti di Qualità della ricerca e terza missione
o l‘Ateneo ha messo a punto e persegue, tramite l’adozione di
politiche adeguate, una propria strategia complessiva -
pubblica e trasparente - per lo sviluppo, l’incentivazione e il
monitoraggio periodico delle attività di ricerca e di terza
missione (R4.A)
o La visione dell’Ateneo trova riscontro nelle strategie e nelle
politiche elaborate dai dipartimenti per il miglioramento della
qualità della ricerca e della terza missione (R4.B)
Fonte: Linee Guida AP, p. 57 30Requisito, Indicatore, Punti di attenzione, Aspetti da considerare
I Requisiti di
Qualità sono
organizzati
per
indicatore,
punto di
attenzione e
aspetti da
considerare
e si basano
sulle Linee
guida
indicate per i
principi AQ
di ESG -
ENQA
31Attenzione per il personale TA
Nel modello AVA 2.0 sono stati introdotti alcuni punti di attenzione e
aspetti da considerare che coinvolgono il personale TA in modo
esplicito:
1. Docenti, personale tecnico-amministrativo e studenti possono
facilmente comunicare agli Organi di Governo e alle strutture
responsabili della AQ le proprie osservazioni critiche e proposte di
miglioramento? (R1.A.3)
2. L'Ateneo verifica periodicamente l'adeguatezza numerica e
organizzativa del proprio personale tecnico-amministrativo in
funzione delle esigenze di gestione della didattica e della ricerca e
della terza missione? (R1.C.2)
32Un confronto tra AVA e AVA 2.0
Requisiti, punti di attenzione e aspetti da considerare
MODELLO AVA MODELLO AVA «2.0»
Sistema: Sistema:
6 Requisiti AQ, 41 punti di attenzione, 3 Requisiti di Qualità, 17 punti di
50 aspetti da considerare attenzione, 56 aspetti da considerare
Dipartimento:
1 Requisito di Qualità, 4 punti di
attenzione, 15 aspetti da considerare
Corso di Studio: Corso di Studio:
1 requisito AQ, 16 punti di attenzione, 1 requisito Qualità, 14 punti di
20 aspetti da considerare attenzione, 44 aspetti da considerare
L’esempio riportato sopra si riferisce a un Ateneo statale e convenzionale.
33In sintesi….
• con i Requisiti di Qualità la CEV verifica la visione, le strategie e le
politiche di Ateneo per la didattica, la ricerca e la terza missione e
il sistema di AQ messo in atto per realizzarle
• a livello periferico verifica le modalità con cui l’AQ è realizzata dal
CdS per quanto concerne la didattica e dai Dipartimenti per la
ricerca a la terza missione
Non ha alcun senso ipotizzare una qualsiasi forma di valutazione o di
accreditamento esterno prima di applicare, all’interno dell’Ateneo
stesso, l’Assicurazione della Qualità
Le Istituzioni sono ciclicamente sottoposte all’assicurazione esterna
della qualità in linea con gli ESG (ESG, 1.10 - Assicurazione esterna
della Qualità)
34AVA: le indicazioni operative
• Linee guida per
l’accreditamento periodico
delle Sedi e dei Corsi di Studio
universitari (nuove Linee
Guida per l’Accreditamento
Periodico in vigore dalle visite
2017) e relativi allegati
• Documento ANVUR –
Autovalutazione, Valutazione
e Accreditamento del Sistema
Universitario Italiano e relativi
allegati
• Riferimenti normativi (L.
240/2010; D.lgs 19/2012, DM
987/2016, …)
35Documentazione del sistema di AQ/1
• Per dimostrare che l’Ateneo ha organizzato e gestisce un sistema
di AQ occorre predisporre una serie di documenti per
formalizzare le attività che forse già svolgiamo ma che non sono
state ancora descritte e comunicate
Cosa facciamo e non documentiamo, cosa documentiamo e non
comunichiamo, cosa documentiamo e non facciamo, cosa comunichiamo ma
non in modo abbastanza efficace?
• La CEV valuta la situazione esistente e tutte le attività che hanno
contribuito a costruire il sistema AQ in atto: grande attenzione ai
passaggi documentati ai fini della AQ (di norma gli ultimi tre anni)
• I documenti saranno resi disponibili ad ANVUR e oggetto di
esame a distanza da parte della CEV almeno 8 settimane prima
della visita in loco
36Documenti chiave per la valutazione dei Requisiti di Qualità/1
L’ANVUR, tramite la CEV, verifica i Requisiti di Qualità relativi alla
Sede e ai Dipartimenti sulla base dell’analisi e della valutazione dei
seguenti «documenti chiave»:
Requisito 1 (Sede)
• Documenti di pianificazione di Ateneo
• Piano triennale di Ateneo
• Statuto e Regolamenti di Ateneo
• Linee di indirizzo di Ateneo sulla progettazione dei CdS e
dell’offerta formativa
• Documenti di gestione della performance del personale TA
• Altri documenti di Ateneo che regolano l’architettura e le
modalità di interazione degli attori del sistema AQ (se presenti)
Fonte: Linee Guida AP, p. 35 37Documenti chiave per la valutazione dei Requisiti di Qualità/2 Requisito 2 (Sede) • Relazioni delle CPDS • Relazioni annuali del NdV Requisito 3 (CdS) • Schede Uniche Annuali del CdS • Rapporti di Riesame ciclico • Schede di monitoraggio annuale • Relazioni della CPDS Requisito 4 (Ricerca e terza missione) • Linee strategiche • Regolamenti e documenti programmatici attenenti alla terza missione (se presenti) • Documenti programmatici dei Dipartimenti oggetto di visita • SUA-RD dei Dipartimenti oggetto di visita Fonte: Linee Guida AP, p. 36 38
I principali strumenti di AQ del CdS / 1 Scheda di monitoraggio annuale e Rapporto di Riesame ciclico Il monitoraggio annuale e il riesame, parte integrante dell’AQ delle attività di formazione, sono parte di un processo periodico e programmato che ha lo scopo di verificare: o l’adeguatezza degli obiettivi di apprendimento che il CdS si è proposto o la corrispondenza tra gli obiettivi e i risultati o l’efficacia del modo con cui il CdS è gestito. Include la ricerca delle cause di eventuali risultati insoddisfacenti, al fine di adottare tutti gli opportuni interventi di correzione e miglioramento. Fonte: ALL6 - Istruzioni Compilazione Schede CdS_10-8-17, p. 1 39
Ciclo di AQ dei CdS
Considera la scheda di Acquisisce le opinioni
monitoraggio annuale Acquisisce la Relazione degli studenti Acquisisce i dati Alma
(commento agli CPDS (questionari ed altro) e Laurea
indicatori ANVUR) dei docenti
Approfondisce:
Potenzialità di crescita
Aree di miglioramento
Punti di criticità
Adotta azioni di miglioramento Per criticità importanti diventa
immediato per piccole criticità necessario il RRC per
progettare azioni e obiettivi di
miglioramento pluriennali
Di queste resta traccia nei
verbali del CCdS e ne viene
ripresa la narrazione nel
successivo RRC
Fonte: presentazione SMA ANVURI principali strumenti di AQ del CdS / 2 SUA-CdS Raccoglie in sé, in modo estremamente innovativo, più funzioni: o strumento che pone le domande giuste a cui rispondere nella fase di progettazione e sviluppo di un Corso di Studio o lista di controllo per la valutazione interna ed esterna o linea guida per la messa in atto della AQ o raccolta dei dati di monitoraggio di ingresso, avanzamento e uscita degli studenti e della successiva carriera dei laureati Fonte: : La qualità dei corsi di laurea triennali e magistrali e il loro accreditamento, Muzio M. Gola 41
I principali strumenti di AQ del CdS / 3 Risponde a due Requisiti di Qualità nell’ambito europeo 1.7 Gestione delle informazioni Standard: Le Istituzioni garantiscono la raccolta, l'analisi e l'uso delle informazioni rilevanti ai fini di una gestione efficace dei loro corsi di studio e delle altre attività formative 1.8 Pubblicità delle informazioni Standard: Le Istituzioni pubblicano informazioni chiare, accurate, obiettive, aggiornate e facilmente accessibili sulle proprie attività, compresi i corsi di studio Fonte: principi AQ di ENQA: ESG 2015 42
I principali strumenti di AQ del CdS / 4
Le CPDS si attivano per:
o ricevere, sui punti previsti dallo schema ANVUR segnalazioni
provenienti dalla periferia (dai CdS del Dipartimento di
riferimento e dagli studenti)
o approfondire gli aspetti critici legati al percorso di
formazione (esperienza dello studente) offrendo un
ulteriore canale/voce oltre ai tradizionali questionari
estendendo la propria capacità di analisi di sistema
o proporre sinergicamente informazioni che il CdS e suo
Gruppo di Riesame potrebbero non ricevere tramite altri
canali
La CPDS volge attività di monitoraggio, a livello di singole strutture, del grado di
raggiungimento degli obiettivi nella didattica, anche sulla base di questionari o
interviste agli studenti, preceduti da un'ampia attività divulgativa delle politiche
qualitative dell'ateneo, in modo da rendere gli studenti informati e consapevoli del
sistema di qualità adottato dall'Ateneo» (D.Lgs 19/2012)
43Approfondimento: documenti chiave e attori
In base ai «documenti chiave» previsti per il sistema di AQ, quali
sono i flussi informativi tra gli attori coinvolti?
«Per la realizzazione di politiche coerenti con i propri obiettivi,
l’Ateneo definisce i ruoli, le responsabilità e i compiti degli Organi
di Governo e delle strutture responsabili della AQ e predispone
una struttura organizzativa che lo ponga in condizione di
esercitare le proprie funzioni in modo efficace.» (Fonte: Linee
Guida AP, p. 17)
44Assicurazione esterna della Qualità
45Accreditamento periodico: regole e procedure Le regole e le procedure relative all’accreditamento periodico di Sede e dei CdS sono riportate nel documento: «Accreditamento periodico delle sedi e dei corsi di studio universitari linee guida» Fonte: Linee Guida AP, p.2 46
Accreditamento periodico: premessa
• per l’accreditamento dei Corsi di Studio di un Ateneo in cui sono
attivi oltre 149 CdS vengono esaminati 15 CdS
• per la ricerca veongono valutati 3 Dipartimenti
• i CdS e i Dipartimenti vengono scelti da ANVUR
Fonte: Linee guida AP, p. 31
47Criteri di valutazione / 1 I giudizi complessivi, sui CdS esaminati e sulla Sede, riflettono il punteggio (da 1 a 10) ottenuto dai singoli punti di attenzione rilevanti: 9 o 10: le attività poste in essere riguardo agli aspetti considerati dal PA sono associate o garantiscono ottimi risultati e possono essere oggetto di segnalazione agli altri atenei 7 o 8: le attività poste in essere riguardo agli aspetti considerati dal PA sono associate o garantiscono buoni risultati 6: le attività poste in essere riguardo agli aspetti considerati dal PA garantiscono l’assenza di criticità rilevanti, o il loro superamento in tempi adeguati.Tale punteggio può essere associato alla presenza di criticità, purché queste siano state rilevate dal sistema di AQ e per le quali siano state poste in essere attività volte al loro superamento 4 o 5: le attività poste in essere riguardo agli aspetti considerati dal PA non garantiscono dal verificarsi di criticità. Il punto di attenzione viene approvato con riserve. La CEV esprime una “Raccomandazione”; < 4: le attività poste in essere riguardo agli aspetti considerati dal PA si associano a, o rendono probabile, il verificarsi di criticità importanti. La CEV esprime una “Condizione” Fonte: Linee guida AP, pp. 38-40 48
Criteri di valutazione / 2 La valutazione di ciascun indicatore (PI) è data dalla media aritmetica dei punteggi PA dei punti di attenzione che lo compongono. Il giudizio relativo a ciascun indicatore è modulato come segue: PI≥7,5: MOLTO POSITIVO 6,5≤PI
Criteri di valutazione / 3 Ciascun CdS valutato nel corso della visita riceve una proposta di accreditamento o non accreditamento, a seconda della media aritmetica di tutti punteggi attribuiti al CdS in ciascuno dei punti di attenzione del Requisito 3 (PC), secondo la scala seguente: PC≥4 – il corso di studi risulta ACCREDITATO PC
Criteri di valutazione / 4
La composizione del giudizio di Sede avviene attraverso due fasi:
1. viene calcolata la media aritmetica complessiva dei punteggi
attribuiti ai singoli punti di attenzione (PA) di tutti i requisiti di
Sede (R1, R2 e R4.A) (PS)
2. viene calcolato inoltre il punteggio medio dei singoli punti di
attenzione di tutti i Corsi di Studio (denotato con PCtot) valutati
nel corso della visita e dai Dipartimenti (PDtot) i valutati.
Ai fini della formazione del giudizio finale (Pfin) concorrono i
seguenti punteggi:
PS: punteggio medio ottenuto da tutti i punti di attenzione relativi ai
singoli Requisiti di Sede (R1, R2 e R4.A), con peso pari a 14/20
Pctot: punteggio medio ottenuto da tutti i punti di attenzione di tutti
i Corsi di Studio valutati (R3), considerato con peso pari a 3/20;
Pdtot: punteggio medio ottenuto da tutti i punti di attenzione dei
Dipartimenti valutati (R4.B), considerato con peso pari a 3/20.
Fonte: Linee guida AP, pp. 38-40 51Criteri di valutazione / 5 L’ANVUR propone il giudizio finale circa l’Accreditamento periodico della Sede sulla base dei seguenti criteri distintamente per Atenei a prevalenza di corsi convenzionali: Fonte: Linee guida AP, pp. 38-40 52
Valutazione da parte di ANVUR / 1
1. L'accreditamento periodico delle sedi ha durata massima
quinquennale e viene conseguito dalle sedi che soddisfano i
requisiti per l’accreditamento iniziale […] e quelli previsti come
risultato dei processi di Assicurazione della Qualità […] a seguito
della verifica da parte dell’ANVUR sulla base dell’esito delle visite in
loco delle CEV tenuto altresì conto di quanto di seguito indicato:
a. Analisi dei dati della relazione annuale dei Nuclei di Valutazione interna (di
seguito NUV) e delle risultanze dell’attività di monitoraggio e di controllo
della qualità dell’attività didattica e di ricerca svolta da tutti i soggetti
coinvolti nel sistema di qualità di ateneo
b. Valutazione delle informazioni contenute nelle Schede Uniche Annuali
relative ai Corsi di Studio (di seguito SUA-CdS), anche in relazione ai
rispettivi Rapporti di Riesame, e della valutazione delle informazioni
contenute nelle Schede Uniche Annuali della Ricerca dei Dipartimenti (di
seguito SUA-RD)
c. Indicatori previsti per la valutazione periodica di cui all’art. 6 del presente
Decreto
Fonte: DM 987/2016 53Valutazione da parte di ANVUR / 2 2. La durata dell’accreditamento periodico della sede di cui al comma 1 può essere ridotta in relazione alle criticità emerse nell’esame periodico dei corsi di studio di cui all’art. 5 Fonte: DM 987/2016 54
Valutazione da parte di ANVUR / 3
3. L’accreditamento periodico proposto dall’ANVUR è così graduato:
Livello Giudizio Esito
A Molto positivo Accreditamento periodico di
validità quinquennale
B Pienamente soddisfacente Accreditamento periodico di
validità quinquennale
C Soddisfacente Accreditamento periodico di
validità quinquennale
D Condizionato Accreditamento temporalmente
vincolato che, in caso di mancato
superamento delle riserve
segnalate entro il termine
stabilito al momento della
valutazione, comporta lo stesso
esito del giudizio
«insoddisfacente»
E Insoddisfacente Soppressione della sede
Fonte: DM 987/2016 55Composizione della CEV
La CEV si compone di:
o Esperti di sistema, di cui uno con funzione di Presidente e uno
con funzione di Coordinatore (se il coordinamento non è in
capo all’ANVUR)
o Esperti disciplinari ed Esperti telematici nel caso di visite ad
Atenei telematici
o Studenti valutatori
o Un rappresentante ANVUR
• Tutti gli esperti sono iscritti agli albi ANVUR; c’è un albo per ogni
categoria di Esperti
• La CEV è articolata in sottoCEV che raggruppano i CdS e i
Dipartimenti da valutare. Il Responsabile della sottoCEV è sempre
un Esperto di sistema
• Nel caso di un Ateneo che ha attivato più di 149 CdS la
composizione della CEV sarà simile a questa che segue…
Fonte: albi Esperti ANVUR 56Composizione CEV e sottoCEV
COORDINATORE DELLA CEV
PRESIDENTE DELLA CEV
(Esperto di sistema) (Esperto di sistema oppure
funzionario ANVUR)
STUDENTI
VALUTATORI
Esperto di Esperto di Esperto di Esperto di Esperto di
sistema 1 sistema 2 sistema 3 sistema 4 sistema 5
SOTTOCEV A SOTTOCEV B SOTTOCEV C
SOTTOCEV D SOTTOCEV E
3 Corsi di studio 3 Corsi di studio 3 Corsi di studio
3 Corsi di studio 3 Corsi di studio
1 Dipartimento 1 Dipartimento 1 Dipartimento
3 Esperti disciplinari 3 Esperti disciplinari
3 Esperti disciplinari 3 Esperti disciplinari 3 Esperti disciplinari
1 Studente valutatore 1 Studente valutatore
1 Studente valutatore 1 Studente valutatore 1 Studente valutatore
Il Presidente, il Coordinatore e il Referente ANVUR, oltre a partecipare alla visita all’Ateneo,
partecipano alle visite ai CdS e ai Dipartimenti a rotazione.
57Ruoli degli Esperti nella CEV / 1 • Il Presidente è responsabile del buon andamento di tutto il processo valutativo, dell’allineamento delle valutazioni all’interno della CEV (nell’interpretazione dei requisiti e nella assegnazione dei giudizi), e della redazione della Relazione finale della CEV, che sottoscrive insieme al Coordinatore. Viene individuato all’interno dell’Albo degli Esperti di Sistema • Il Coordinatore coadiuva il Presidente durante tutte le fasi della procedura di accreditamento, assicurando, in particolare, una comunicazione chiara ed efficace all’interno della CEV e il rispetto dei tempi di lavoro prestabiliti. Verifica inoltre che l’intero processo di accreditamento sia condotto secondo le Linee guida e secondo quanto stabilito dalla CEV stessa nel programma di visita. Si accerta che le valutazioni finali espresse dalla CEV siano coerenti, omogenee e supportate da elementi di prova chiaramente identificati Fonte: Linee Guida AP, p. 32 58
Ruoli degli Esperti nella CEV / 2 • Gli Esperti di Sistema sono responsabili delle valutazioni degli aspetti di Sede e verificano quindi il rispetto dei Requisiti R1, R2, R4.A. Di norma, coordinano contestualmente i lavori della sottoCEV a cui ognuno di essi è assegnato; sono quindi generalmente in numero pari a quello delle sottoCEV • Gli Esperti Disciplinari sono scelti in numero variabile a seconda del numero e della varietà disciplinare dei CdS da visitare. A ciascun esperto vengono assegnati uno o più CdS per la verifica del requisito R3, nonché alcuni Dipartimenti di cui valuteranno la rispondenza al Requisito R4.B. In ogni caso gli Esperti sono chiamati a collaborare complessivamente alle attività di valutazione della CEV Fonte: Linee Guida AP, p. 33 59
Ruoli degli Esperti nella CEV / 3 • Gli Esperti Telematici sono scelti in numero corrispondente alle sottoCEV e hanno il compito di valutare, a livello di Sede, di CdS e di Dipartimenti, gli aspetti che riguardano sia le caratteristiche peculiari dell’insegnamento a distanza che gli aspetti tecnici delle piattaforme tecnologiche utilizzate • Gli Esperti Studenti sono usualmente scelti in numero corrispondente alle sottoCEV e hanno il compito di valutare, a livello di Sede, di CdS e di Dipartimenti, gli aspetti che riguardano direttamente gli studenti Fonte: Linee Guida AP, p. 33 60
Ruoli degli Esperti nella CEV / 4 • Referente ANVUR per la visita: ha il compito di seguire i lavori della CEV e di assicurare il buon andamento della visita dal punto di vista logistico e formale, di riportare anomalie o problematiche relative alle procedure valutative eventualmente evidenziate dalla CEV e/o dal personale di Ateneo, e infine di mediare tutte le comunicazioni tra la CEV e l’Ateneo che precedono e seguono la visita istituzionale Fonte: Linee Guida AP, p. 33 61
Referente di Ateneo
Poiché:
in nessun modo e per nessuna ragione sono permesse
comunicazioni dirette tra i componenti dell’Ateneo e i componenti
della CEV, oltre a quelle previste nel programma di visita, per
tutto il periodo della visita, fino alla trasmissione del Rapporto di
valutazione dell’Agenzia
viene chiesto all’Ateneo di individuare un Referente di Ateneo
responsabile operativo di tutte le comunicazioni con l’Agenzia
Tutti i contatti dovranno essere tenuti esclusivamente con il
Referente ANVUR che, a sua volta, fa riferimento al Referente di
Ateneo per l’organizzazione della visita
Fonte: Comunicazioni inviate a un Ateneo dall’ANVUR 62Accreditamento periodico: fasi e documenti di lavoro
Le principali fasi dell’accreditamento periodico sono tre:
1. Esame a distanza
2. Visita in loco
3. Chiusura della visita
Ad ogni fase corrisponde la predisposizione di un documento di
lavoro da parte della CEV:
1. Esame a distanza: Quaderno di pre-visita
2. Visita in loco: Diario di visita
3. Chiusura della visita: Scheda di valutazione (Relazione CEV)
63Fasi e documenti di lavoro: sintesi
1. Esame a distanza
Prospetto di sintesi e Indicazioni fonti documentali-> Quaderni di pre-visita
Fonti documentali indicate dall’’Ateneo + Fonti documentali individuate dalla CEV
Predisposizione Quaderno di pre-visita
2. Visita in loco Diario di visita
Le domande da porre durante la visita in loco vengono formulate in base all’esito
dell’esame documentale e sono finalizzate a chiarire elementi in mancanza dei
quali la CEV non potrà emettere un giudizio sicuro; le risposte vengono riportate
nel Diario di visita
3. Chiusura della visita
Schede di valutazione -> Relazione preliminare -> Relazione finale
Ciascuna Scheda di valutazione è l’evoluzione definitiva del corrispondente
Quaderno di pre-visita in base alle risposte alle domande della CEV riportate nel
Diario di visita. La Relazione preliminare della CEV viene inviata all’Ateneo entro 60
giorni dalla visita. L’Ateneo ha 30 giorni di tempo per presentare le eventuali
controdeduzioni. Entro 30 giorni la CEV invia la Relazione finale che comprende le
risposte alle controdeduzioni
64Documentazione del sistema di AQ/2
• Tutti i documenti di Ateneo necessari alle operazioni di valutazione
condotte da ANVUR e dalla CEV devono essere già disponibili e
utilizzati all'interno dell'Istituzione nell’ambito del sistema di AQ
Non si dovrà fare quindi ricorso a documenti
preparati appositamente per l’accreditamento
• Prima dell’esame a distanza della CEV l’Ateneo riceve dall’ANVUR:
o «Prospetto di sintesi» sui Requisiti R1-2-4.A (obbligatorio)
o «Indicazioni fonti documentali» per ogni CdS e per ogni
Dipartimento (facoltativo)
I modelli vengono trasmessi all’Ateneo indicativamente 13 settimane
prima della visita
65Prospetto di sintesi: redazione obbligatoria Prospetto di sintesi (Sede) R1, R2 e R4.A: • è una raccolta delle fonti che l’Ateneo condivide con la CEV, e una guida alla loro lettura e interpretazione • a tal scopo si richiede all’Ateneo, per ogni “punto di attenzione” di Sede, di riportare un breve giudizio di autovalutazione e di specificare le relative fonti documentali • per la CEV è un documento di lavoro che costituisce la base della Relazione preliminare e della Relazione finale, che l’Ateneo riceverà dopo la visita in loco, in cui saranno riportate tutte le fonti indicate dall’Ateneo per ciascun “punto di attenzione”, le fonti documentali individuate dalla CEV per l’esame a distanza e i contenuti delle interviste effettuate durante la visita in loco Fonte: Quadro complessivo AP 66
Prospetto di sintesi: struttura / 1 Fonte: Prospetto di sintesi 67
Prospetto di sintesi: struttura / 2 Fonte: Prospetto di sintesi 68
Prospetto di sintesi: struttura / 3 Fonte: Prospetto di sintesi 69
Prospetto di sintesi: struttura / 4 Fonte: Prospetto di sintesi 70
Prospetto di sintesi: struttura / 5 Fonte: Prospetto di sintesi 71
Indicazioni fonti documentali CdS e Dipartimento • La redazione dei due modelli è facoltativa • Se l’Ateneo decide di non redigere questi modelli la CEV prende in considerazione esclusivamente i “documenti chiave” riportati nelle Linee Guida sia per l’esame a distanza sia per la predisposizione della Relazione finale, ovvero per il CdS: “SUA-CdS; “Rapporti di Riesame ciclico”; “Schede di Monitoraggio annuale”; “Relazioni delle Commissioni Paritetiche docenti - studenti” e per il Dipartimento: «Documenti programmatici dei Dipartimenti oggetto di visita» e «SUA-RD dei Dipartimenti oggetto di visita» • Se l’Ateneo decide di indicare le fonti documentali che completino e illustrino i “documenti chiave” deve redigere questo modello nel quale vanno indicate ulteriori fonti documentali rispetto ai “documenti chiave” Durante la visita in loco è a discrezione della CEV richiedere o suggerire eccezionalmente, caso per caso, l’aggiunta di un documento addizionale non già comunicato prima dell’esame a distanza tramite i detti modelli Fonte: Quadro complessivo AP 72
In sintesi…
• Il «Prospetto di sintesi» e i modelli «Indicazioni fonti documentali
CdS e Dipartimento» diventano Quaderni di pre-visita nel
momento in cui vengono redatti i campi addizionali a cura della
CEV
• Il Quaderno di pre-visita origina la Scheda di Valutazione nel
momento in cui i campi a cura della CEV vengono revisionati a
seguito della visita, e viene redatto il campo «Fonti raccolte
durante la visita»
73Relazione CEV: indice
• Breve descrizione dell’Ateneo
• Breve descrizione del processo di Accreditamento Periodico
o Periodo di visita ed elenco dei Dipartimenti e dei CdS oggetto di valutazione
o Composizione della Commissione di Esperti della Valutazione
o Documentazione
o Modalità di svolgimento della visita
• Tabelle di riepilogo dei punteggi attribuiti a ciascun punto di attenzione relativo ai
requisiti Qualità della Sede, dei Dipartimenti e dei Corsi di Studio
• Tabelle riassuntive dei punti di forza e delle aree di miglioramento della Sede, dei
Dipartimenti e dei Corsi di Studio
Allegati
• Presentazione della CEV
• Resoconto schematico di attività e tempi
• Schede di valutazione dei Requisiti di Qualità per le Istituzioni (R1, R2, R4.A)
• Schede di valutazione dei Requisiti di Qualità per i CdS (R3)
• Schede di valutazione dei Requisiti di Qualità per i Dipartimenti (R4.B)
• Fonti documentali tratte dal “Prospetto di sintesi”
• Programma effettivo di visita
Fonte: Linee Guida AP, p. 36 74Rapporto di Accreditamento ANVUR • i Rapporti di Accreditamento ANVUR, pubblicati sul sito dell’ANVUR* si basano sulle Relazioni delle CEV • ANVUR decide se e quali contenuti mantenere della Relazione presentata dalla CEV Fonte: Rapporti ANVUR - accreditamento periodico 75
Visita in loco / 1
• La visita in loco viene solitamente organizzata nel seguente modo:
o Giorno 1 (lunedì): incontri sistema
o Giorni 2, 3, 4 (martedì, mercoledì e giovedì): incontri Corsi di
Studio e Dipartimenti: le sottoCEV lavorano in parallelo,
ciascuna incontra un CdS al giorno
o Giorno 5 (venerdì): restituzione in forma di riassunto dei
principali elementi emersi durante la visita in loco
• I colloqui si svolgono nell’intera giornata, indicativamente dalle
ore 9.00 alle ore 17.00. Solitamente la CEV chiede di prevedere la
partecipazione di massimo otto persone per incontro
76Esempio di programma di visita Ateneo/1
77Esempio di programma di visita Ateneo/2
78Esempio di programma di visita Ateneo/3
79Esempio di programma di visita Ateneo/4
80Visita in loco: esempio di programma di visita CdS/1
81Visita in loco: esempio di programma di visita CdS/2
82Visita in loco: esempio di programma di visita CdS/3
83Visita in loco: esempio di programma di visita CdS/4
84Accreditamento Sede e CdS: interconnessione
• Nella valutazione esterna / accreditamento Sede e CdS i requisiti di
Qualità sono interconnessi
• Nel modello AVA la valutazione per l’accreditamento dei CdS ha
una duplice funzione: oltre a riguardare la verifica
dell’organizzazione, degli obiettivi, dei contenuti e dei risultati del
CdS stesso, concorre a comprovare che il sistema di AQ dell’Ateneo
sia efficace ed effettivo, e quindi recepito in modo adeguato a
realizzare risultati di valore. In altre parole, la valutazione dei CdS
corrisponde alla valutazione dei risultati del sistema di AQ
dell’Ateneo
• Questo si riflette nel lavoro delle CEV, ad esempio, per quanto
riguarda l’analisi documentale e i contenuti delle visite in loco
85Esempio di interconnessione
R.1.B.3 Progettazione e aggiornamento dei CdS
L'Ateneo si accerta che la progettazione dei CdS tenga conto delle necessità di sviluppo espresse dalla società e dal contesto di
riferimento (scientifico, tecnologico e socio-economico), individuate attraverso consultazioni con una gamma di parti interessate e/o
facendo ricorso a studi di settore?
L'Ateneo si accerta che, in fase di progettazione dei CdS, venga valorizzato il legame fra le competenze scientifiche disponibili e gli
obiettivi formativi?
L’Ateneo si accerta che i CdS siano progettati ed erogati in modo da incentivare gli studenti ad assumere un ruolo attivo nei processi di
apprendimento, contribuendo a stimolarne la motivazione, lo spirito critico, l’autonomia critica e organizzativa?
L'Ateneo si accerta che l'offerta formativa sia costantemente monitorata e aggiornata dai CdS e Dipartimenti e rifletta le conoscenze
disciplinari più avanzate, anche in relazione alla concatenazione dei cicli, fino ai corsi di Dottorato di Ricerca ove attivati?
L’Ateneo si accerta che nel monitoraggio e nell’aggiornamento dell’offerta formativa i CdS e i Dipartimenti interagiscano con
interlocutori esterni e/o facciano ricorso a studi di settore, e tengano conto delle valutazioni ricevute da MIUR, ANVUR, NdV e CPDS?
R.3.A.1 Progettazione del CdS e consultazione iniziale delle parti interessate
In fase di progettazione, sono state approfondite le esigenze e le potenzialità di sviluppo (umanistico, scientifico, tecnologico, sanitario o
economico-sociale) dei settori di riferimento, anche in relazione con i cicli di studio successivi, se presenti?
Sono state identificate e consultate le principali parti interessate ai profili culturali/professionali in uscita (studenti, docenti, organizzazioni
scientifiche e professionali, esponenti del mondo della cultura, della produzione, anche a livello internazionale in particolare nel caso delle
Università per Stranieri), sia direttamente sia attraverso l'utilizzo di studi di settore?
Le riflessioni emerse dalle consultazioni sono state prese in considerazione nella progettazione del CdS, con particolare riguardo alle effettive
potenzialità occupazionali dei laureati, e all'eventuale proseguimento degli studi in cicli successivi ?
R.3.A.2 Definizione dei profili in uscita
Viene dichiarato con chiarezza il carattere del CdS, nei suoi aspetti culturali, scientifici e professionalizzanti?
Le conoscenze, le abilità e le competenze e gli altri elementi che caratterizzano ciascun profilo culturale e professionale, sono descritte in modo
chiaro e completo?
R.3.A.3 Coerenza tra profili e obiettivi formativi
Gli obiettivi formativi specifici e i risultati di apprendimento attesi (disciplinari e trasversali) sono chiaramente declinati per aree di
apprendimento e sono coerenti con i profili culturali, scientifici e professionali individuati dal CdS?
86CEV: riflessioni
• Le visite si svolgono secondo una logica di peer review come
prevedono le indicazioni europee (ESG 2015). Infatti la CEV è
composta da nostri colleghi (docenti, personale tecnico
amministrativo e studenti) che sono stati formati dall’ANVUR
• Le stesse persone che applicano l’AQ all’interno delle loro
università e l'accreditamento nelle altre in qualità di esperti di
valutazione (operatori della AQ in Ateneo componente CEV) è
un grande punto di forza del sistema AVA
87Compilare o redigere i documenti connessi all’AQ?
88Grazie per l’attenzione!
A Q
89Puoi anche leggere
