Osservatorio Abbandoni: il Machine Learning al servizio delle Università - Antonio Macaluso - UniSTUD
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Antonio Macaluso Osservatorio Abbandoni: il Machine Learning al servizio delle Università
Contesto
• Negli ultimi anni il mondo universitario è stato soggetto a
fortissimi cambiamenti dal punto di vista normativo
• Definiti 23 indicatori e parametri per la Valutazione
Periodica delle attività formative che caratterizzano i
corsi di studio e le carriere degli studenti
• Tasso di laurea, Tasso di abbandono dei corsi di laurea, %
iscritti al II anno con X CFU, etc.
UniSTUD 2018
« il metodo più corretto e affidabile
per analizzare i fenomeni legati al
percorso e all’esito delle carriere
accademiche degli studenti
universitari è quello che utilizza dati
individuali sugli studenti e segue in
modo longitudinale gli eventi della
carriera »
Situazione nazionale
• Tasso di successo degli studenti che sfiora il 60%
UniSTUD 2018
UniSTUD 2018 Il Proge5o
Cos’è?
• Attinge dai dati del Datawarehouse della
Segreteria Studenti.
• La previsione è basata su un algoritmo di
machine learning.
• Vengono osservate 28 diverse variabili
UniSTUD 2018
relative a dati (a) socio-demografici, (b) di
carriera, (c) di performance.
• Vengono previsti gli abbandoni che si
verificheranno nell’AA.
• È possibile conoscere esattamente gli
studenti a rischio abbandono e con quale
probabilità.
• I risultati sono presentati in forma di
dashboard sul Portale Abbandoni.
Obie;vi ed applicazioni
• Fornire gli strumenti che consentano all’Ateneo di monitorare il
fenomeno degli abbandoni nell’Ateneo.
• Fornire i dati di previsione che consentano di attuare opportune
azioni correttive e di contrasto.
• Creare una community per stimolare la discussione sui fattori che
determinano il drop out studentesco.
Possibili applicazioni:
UniSTUD 2018
• Azioni di contrasto: contatto diretto, corsi di
recupero, tutoraggio, questionari,..;
• Identificazione delle principali cause;
• Feedback verso lo studente;
• Programmazione della didattica;
• Analisi di fenomeni legati a particolari corsi,
regolamenti o condizioni al contorno;
• Previsioni sulla contribuzione studentesca;
Come funziona?
Dati di
carriera
Dati Dati di
anagrafici performance
Database di Procedura Database Portale Osservatorio
UniSTUD 2018
Datamart
studenti appoggio machine learning abbandoni Abbandoni
Addestramento
Modello Predittivo
Cosa offre il servizio
Il Servizio “Osservatorio Abbandoni” prevede:
• Cruscotti di analisi storica dei dati di abbandono degli
studenti dell’Ateneo.
• Cruscotti di analisi predittiva sul rischio di abbandono per
gli studenti iscritti ai corsi di Laurea Triennale dell’Ateneo.
• La possibilità di scaricare i dati delle previsioni di
UniSTUD 2018
abbandono (nominativi e probabilità).
• La possibilità di effettuare un confronto (benchmark) con i
dati storici e di previsione degli altri Atenei partecipanti
all’Osservatorio.
• La possibilità di partecipare agli eventi organizzati
nell’ambito della community sugli abbandoni per fare
rete con gli altri Atenei sul tema della student retention.
Un approccio diverso
Modello “Osservatorio”
Il modello pensato per l’osservatorio presenta alcune caratteristiche
che lo differenziano rispetto ai servizi tradizionalmente offerti da
Cineca:
• Nessun lungo progetto di avvio:
l’adesione all’osservatorio richiede, oltre
al caricamento, solo una verifica iniziale
dei dati a garanzia dell'accuratezza
delle previsioni.
UniSTUD 2018
• Nessuna applicazione complessa: i dati
sono immediatamente consultabili
attraverso il portale senza necessità di
particolare formazione.
• Servizio “leggero”: la modalità “self-
service” tramite portale e la
standardizzazione del sevizio offerto
permette di avere un canone di utilizzo
particolarmente contenuto.
Condivisione e Benchmark
L’Osservatorio vuole promuovere un confronto tra gli
Atenei basato su un mutuo scambio di informazioni tra i
partecipanti.
Quali dati sono condivisi?
All’interno dell’OA sono condivisi solo dati aggregati
UniSTUD 2018
relativi a storico e previsione degli abbandoni. Non
verranno mai diffusi dati o informazioni su singoli
studenti.
Chi può vedere questi dati?
I dati condivisi sono visibili esclusivamente agli altri
Atenei partecipanti all’Osservatorio.Cosa non è l’Osservatorio
• Non è un sistema datawarehouse o di
reporting.
• Non acquisisce dati da fonti esterne.
• Tutti i dati provengono dal datamart
studenti.
• Non fornisce indicatori ufficiali.
UniSTUD 2018
• I dati eventualmente certificati provengono
dal datamart.
• Non permette la creazione di report di
analisi custom o personalizzati.Il Portale
dell’Osservatorio
UniSTUD 2018
AbbandoniIl Portale dell’Osservatorio
Tutti i dati sono accessibili attraverso il Portale dell’Osservatorio
Abbandoni. Una serie di cruscotti rappresentano graficamente i dati con
la possibilità di creare velocemente dei filtri.
STUDENTI
Dati degli studenti iscritti
all’Ateneo.
ABBANDONI
UniSTUD 2018
Dati storici sugli studenti che
hanno abbandonato.
RISCHIO ABBANDONO
Dati di previsione sul rischio di
abbandono.Il Portale dell’Osservatorio (2)
• Il menù permette di selezione l’insieme studenti analizzato, l’Anno
Accademico e l’ateneo
• L’interattività del portale consente di studiare anche piccoli sottoinsiemi
di studenti
UniSTUD 2018Sezione «Demografia»
• Descrivere il collettivo di riferimento
• Individuare «fattori di rischio» legati agli aspetti
socio-demografici degli studenti
UniSTUD 2018Sezione «Carriera»
• Indagare gli insiemi più a rischio studiando il percorso
accademico e pre-accademico
• Esistono aree didattiche che sfavoriscono alcuni studenti
sulla base dello «storico»?
UniSTUD 2018Sezione «Performance»
• Riguardano la «partecipazione» dello studente alla vita
universitaria
• Quanti esami/CFU lo studente sostiene in media ad ogni sessione?
• Da quanto tempo lo studente non sostiene un esame?
UniSTUD 2018Area «Rischio Abbandono»
• Per ogni studente l’algoritmo di Machine Learning
fornisce una «probabilità di abbandono» nell’AA
corrente
• Dato di previsione è disponibile anche (e soprattutto)
per l’anno accademico corrente
• Quali sono le
UniSTUD 2018
caratteristiche degli
studenti che hanno
un’alta probabilità di
abbandonare gli studi?
• E’ possibile accedere sia all’informazione puntuale che
a quella aggregataPrevisione e Benchmarking
• Confronto diretto tra l’ateneo e gli altri atenei in forma
aggregata
• Studio delle caratteristiche degli studenti attualmente a
rischio
UniSTUD 2018Metodologia
UniSTUD 2018
L’utilizzo del Machine Learning per
la previsione degli abbandoniMachine Learning
• Scienza che permette ai computer di agire
senza essere esplicitamente programmati
attraverso algoritmi che «apprendono» dai dati
sotto forma di «esempi»
• Definizione di un insieme di
variabili
UniSTUD 2018
• Predittori (input)
• Variabile target (output)
• Gioca un ruolo chiave in molte aree: Scienza,
Finanza, Industria
• Previsione in ambito bio-medico
• Previsione in ambito economico (e.g. prezzo)
• Previsione in ambito industrialeAnalisi predi;va:
gli abbandoni universitari
• Dati di addestramento:
• Storia delle carriere universitarie presenti nel DataMart
Segreteria Studenti
• Algoritmi:
ü Decision Tree,
UniSTUD 2018
ü Random Forest
ü Gradient Boosting Machine
• Obiettivo: date le caratteristiche di uno studente,
qual è la probabilità che tale studente
abbandonerà nell’anno corrente?Codifica daP
• Per ogni studente vengono considerate tre tipi di
informazione
Ø Caratteristiche socio-demografiche: Cittadinanza,
Genere, Residenza, Scuola diploma (tipo + voto), Età,
etc.
Ø Caratteristiche della carriera: Tipo di corso, Test di
ingresso, Trasferimento in ingresso, Immatricolazione,
Dipartimento, etc.
UniSTUD 2018
Ø Performance dello studente: Esami sostenuti, CFU
acquisiti, Media voti, n° anni fuoricorso
• La variabile obiettivo è rappresentata dalla
codifica dello status dello studente al termine
dell’anno accademico:
• Y = 1 se lo studente abbandona nell’AA corrente
• Y = 0 se lo studente non abbandona nell’AA correnteSimulazione per anni precedenP
• Analisi dello storico del collettivo degli
abbandoni
• Simulazione di previsione negli anni precedenti
• Il metodo risulta essere «robusto»
Analisi degli abbandoni per Anno Accademico
78% 12000
UniSTUD 2018
76%
10000
74%
8000
72%
70% 6000
68%
4000
66%
2000
64%
62% 0
Non abbandoni Abbandoni SensiPvitySimulazione per AA precedenP
StudenP del primo anno
• Circa la metà degli abbandoni ogni anno si
verifica nel passaggio tra il primo e il secondo
anno
• Analisi specifica sugli studenti del primo anno
Analisi degli abbandoni al I anno
2500 82%
80%
UniSTUD 2018
2000 78%
76%
1500
74%
72%
1000
70%
500 68%
66%
0 64%
Non Abbandoni Abbandoni SensiPvityVariabili più «influenP»
• Circa la metà degli abbandoni ogni anno si
verifica nel passaggio tra il primo e il secondo
anno
IMPORTANZA DELLE VARIABILI
18%
16%
UniSTUD 2018
14%
12%
10%
8%
6%
4%
2%
0%Relazione sulla Metodologia
• Ogni ateneo avrà a disposizione una relazione
tecnica contenente la spiegazione della
metodologia alla base della previsione:
• Terminologia: definizioni di dominio
• Definizione delle variabili
• Definizioni delle metriche di performance dei modelli
• Modelli di Machine Learning a confronto: Decision Tree, Random Forest,
Gradien Boosting Machine
UniSTUD 2018
• Metriche di performance di ogni modello
• Variable importance
• Risultati in media dei modelli
• La Metodologia è comune, i dati e le specifiche
analisi sono relative al singolo ateneoAltre informazioni
• Il servizio richiede solo pochi giorni per l’attivazione. È
richiesta come precondizione il DW Segreteria Studenti.
• Verrà chiesta l’autorizzazione alla pubblicazione di dati
aggregati che saranno consultabili esclusivamente dai
partecipanti all’OA.
• L’accesso a tutti i report ed i cruscotti avviene attraverso
il Portale dell’osservatorio.
• Il POA è disponibile durante tutto il periodo dell’anno
UniSTUD 2018
mentre i dati di previsione sono pubblicati a Settembre
ed a Marzo.
• In caso di interruzione del servizio, tutti i dati storici
rimangono a disposizione dell’Ateneo. Non verranno
aggiornati i dati di previsione.
• Verrà reso disponibile un ambiente demo contenente
dati «fittizi» attraverso il quale sarà possibile simulare
l’utilizzo del PortaleConta;
Per qualunque informazione sull’ Osservatorio
Abbandoni rivolgersi a
UniSTUD 2018
a.macaluso@cineca.it
f.gallerani@cineca.it
l.avaldi@cineca.itPuoi anche leggere
