LE INDAGINI INTERNAZIONALI COME STANDARDIZZAZIONE DELLE COMPETENZE - Il caso di OECD PISA e OECD PIAAC Orazio Giancola, Domenico Lovecchio
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
LE INDAGINI INTERNAZIONALI COME
STANDARDIZZAZIONE DELLE
COMPETENZE
Il caso di OECD PISA e OECD PIAAC
Orazio Giancola, Domenico Lovecchio
La standardizzazione delle
competenze nel LSA
(Large Scale Assessment)
Obiettivo è illustrare come nelle grandi indagini, al fine
di operare comparazioni e confronti (interindividuali,
tra territori, tra istituzioni etc.), l’idea di competenza è
definita, operativizzata, “misurata”.
A tal fine, useremo dei cartogrammi non per mappare
le possibili definizioni di “competenza/e” (e numerose
sfumature), ma per procedere per differenza nella
definizione di competenza nelle indagini LSA.
2
3
Giancola & Viteritti, 2019
4
5
“Cartogrammi” interpretativi.1
Dimensione collettiva
Competenza come
fenomeno Nostro campo di
situato/contestuale, interesse
osservabile “in situ”,
non trasferibile (o
difficilmente trasferibile) Approccio
“standard”
Approccio
“non
standard” Competenza come
“oggetto” standardizzato,
misurabile (o ordinabile)
Dimensione individuale 6“Cartogrammi” interpretativi.2
Dimensione diacronica
La competenza come un
“farsi” e un “disfarsi” nel
tempo, e “osservabile” sono
nel suo divenire
Approccio
“standard”
Approccio
“non
standard” Competenze misurate in un
momento dato e la cui
diacronia può essere colta
solo attraverso variabili
“proxy” (es. storia
lavorativa in PIAAC)
Dimensione sincronica 7“Cartogrammi” interpretativi.3
Dimensione diacronica
Etnografie
Workplace studies
Narrazioni individuali
Etc.
Approccio
“standard”
Approccio
“non
standard” Large Scale Assessmment
(per es. OECD-PISA, PIAAC)
Strumenti standardizzati
(strumenti di screening
automatizzati)
Dimensione sincronica 8E il voto scolastico?
Dimensione collettiva Dimensione diacronica
Approccio
“standard”
Approccio
“non
standard”
Dimensione individuale Dimensione sincronica 9LSA e la materializzazione della
performance e dei risultati.1
La pratica della valutazione standardizzata è in qualche
modo la materializzazione codificata di un risultato (una
certa performance) in relazione ad un certo tipo di stimolo
cognitivo* (items del test).
Questi approcci nell’atto di ‘misurare’ le
competenze/abilità, le definiscono e in una qualche misura
le ‘creano’ in quanto oggetti osservabili.
* Per sua “natura” il testing mantiene un rapporto indissolubile con il
comportamentismo. Negli sviluppi più recenti tale approccio di base si è
andato progressivamente ibridando con la psicometria e la psicologia dei
processi cognitivi (per es. nel PISA)
10LSA e la materializzazione della
performance e dei risultati.2
Resta da sottolineare che i network di produzione di dati
LSA sono infrastrutture che richiedono l’uso e
l’assemblaggio di conoscenze che necessitano dell’alleanza
di molteplici discipline e esperti professionali (informatici,
economisti, ingegneri, sociologi, pedagogisti, ecc.).
Siamo quindi di fronte a network complessi e in continua
costruzione, e a “oggetti” (questionari, test, protocolli,
database, ma anche – di rilevante importanza nel nostro
caso – framework teorici e apparati definitori) in costante
aggiornamento e sviluppo.
11LSA e la materializzazione della
performance e dei risultati.3
È da sottolineare quindi il carattere incrementale della
strumentazione empirica (questionari individuali e
contestuali, test ‘paper & pencil’ o ‘computer based
test’) che ha progressivamente prodotto una
diversificazione dei campi di performance misurate
(per es. nel PISA al trio ‘reading-math-science’ si sono
aggiunti nuovi campi quali il ‘problem solving’ oppure
la ‘financial literacy’ oppure nel PIAAC la c.d. ‘digital
literacy’ e metodi indiretti quali il JRA-Job Requirement
Approach).
1213
OECD-PISA (2000-2018)
• Competenza come sapere pratico, al di fuori dei
curricoli scolastici (a differenza delle storiche indagini
IEA);
• Generazione di campi di “competenza” (per es.
“reading”) e performatività;
• Competenza come elemento individuale ma anche
come “effetto” dei contesti (famiglia, scuola, territorio
– quindi estendendo il campo alla dimensione
“collettiva”, così come prima definita nelle mappe)
* A differenza delle indagini IEA (es. TIMMS, PIRLS, ecc.) manca il
14
gruppo classeGli elementi essenziali del PISA: la macro
operazionalizzazione
L’ambito oggetto di rilevazione in PISA è definito attraverso tre diversi punti di vista:
• Per Contenuti s'intende la porzione di conoscenze e cognizioni indispensabili
nell’ambito della literacy che s'intende rilevare.
• I Processi descrivono le strategie cognitive o gli approcci richiesti per affrontare i
materiali proposti.
• I Contesti indicano le situazioni nelle quali le conoscenze, le abilità e le cognizioni
relative all’ambito considerato sono applicate, in una sfera che va dal personale al
globale.
Fonte: OECD Pisa 2012, Quadro di Riferimento analitico per la Matematica, la Lettura, le Scienze, il Problem Solving e la
Financial Literacy, p.147. http://www.invalsi.it/invalsi/ri/pisa2012.php?page=pisa2012_it_06
15L’espansione dei campi di competenza delle principali indagine OECD
Tipologia 2000 2003 2006 2009 2011 2012 2015 2018
Cognitive - Lettura - Matematica - Scienze - Lettura - Matematica - Scienze - Scienze
-Matematica - Lettura - Lettura - Matematica - Lettura - Lettura - Lettura
- Scienze - Scienze - Matematica -Scienze - Scienze - Matematica - Matematica
- Problem - Problem - Financial literacy - Financial - Financial literacy
solving solving literacy - Collaborative
- Collaborative problem solving
problem solving
PISA
Non cognitive - atteggiamenti - atteggiamenti - atteggiamenti - atteggiamenti - meta-cognitive - meta-cognitive - meta-cognitive
, percezione di , percezione di , percezione di , percezione di strategies strategies strategies
sé sé sé sé - atteggiamenti , - atteggiamenti , - atteggiamenti ,
percezione di sé percezione di sé percezione di sé
- competenze - competenze socio-
socio-affettive affettive
- environmental - “global
awareness competence”
Cognitive - Literacy
- Matematica
- Problem
solving
PIAAC
Non cognitive - Abilità non Sperimentazione
cognitive PIAAC-IT
- Tratti di
personalità
Dal 2009, prima in via sperimentale per poi arrivare all’intera rilevazione, il PISA è svolto tramite prove
informatizzate. Anche il PIAAC è svolto tramite prove informatizzate (tranne che per i soggetti senza le
competenze minime per svolgere le prove al computer).L’Indagine PISA 2012: definizione dei campi di
competenze
Literacy matematica: la capacità di un individuo di utilizzare e interpretare la
matematica, di darne rappresentazione mediante formule, in una varietà di contesti.
Tale competenza comprende la capacità di ragionare in modo matematico e di
utilizzare concetti, procedure, dati e strumenti di carattere matematico per descrivere,
spiegare e prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo che la
matematica gioca nel mondo, a operare valutazioni e a prendere decisioni fondate che
consentano loro di essere cittadini impegnati, riflessivi e con un ruolo costruttivo.
Fonte: OECD Pisa 2012, Quadro di Riferimento analitico per la Matematica, la Lettura, le Scienze, il Problem Solving e la Financial Literacy, p.26.
http://www.invalsi.it/invalsi/ri/pisa2012.php?page=pisa2012_it_06 17L’Indagine PISA: definizione dei campi di competenze
(continua)
Literacy in lettura: comprendere e utilizzare testi scritti, riflettere
su di essi e impegnarsi nella loro lettura (engaging with) al fine di
raggiungere i propri obiettivi, di sviluppare le proprie conoscenze
e le proprie potenzialità e di essere parte attiva nella società.
Fonte: OECD Pisa 2012, Quadro di Riferimento analitico per la Matematica, la Lettura, le Scienze, il Problem Solving e la Financial Literacy,
p.67. http://www.invalsi.it/invalsi/ri/pisa2012.php?page=pisa2012_it_06
18L’Indagine PISA: definizione dei campi di competenze (continua) Literacy scientifica di un individuo: l’insieme delle sue conoscenze scientifiche e l’uso di tali conoscenze per identificare domande scientifiche, per acquisire nuove conoscenze, per spiegare fenomeni scientifici e per trarre conclusioni basate sui fatti riguardo a questioni di carattere scientifico; • la sua comprensione dei tratti distintivi della scienza intesa come forma di sapere e d’indagine propria degli esseri umani; • la sua consapevolezza di come scienza e tecnologia plasmino il nostro ambiente materia- le, intellettuale e culturale; • la sua volontà di confrontarsi con temi e problemi legati alle scienze, nonché con le idee della scienza, da cittadino che riflette. Fonte: OECD Pisa 2012, Quadro di Riferimento analitico per la Matematica, la Lettura, le Scienze, il Problem Solving e la Financial Literacy, p.102. http://www.invalsi.it/invalsi/ri/pisa2012.php?page=pisa2012_it_06 19
L’Indagine PISA: definizione dei campi di competenze
(continua)
La competenza in problem solving: è la capacità di un individuo di mettere in
atto processi cognitivi per comprendere e risolvere situazioni problematiche per
le quali il metodo di soluzione non è immediatamente evidente. Questa
competenza comprende la volontà di confrontarsi con tali situazioni al fine di
realizzare le proprie potenzialità in quanto cittadini riflessivi e con un ruolo
costruttivo.
Gli elementi chiave dell'ambito per la rilevazione della competenza in
problem solving sono:
• il contesto del problema: che può (o meno) comportare
un’applicazione tecnologica e che può essere di carattere personale o
sociale.
• la natura della situazione problematica: che può essere interattiva o
statica;
• i processi di problem solving: i processi cognitivi che intervengono
nella risoluzione del problema.
Fonte: OECD Pisa 2012, Quadro di Riferimento analitico per la Matematica, la Lettura, le Scienze, il Problem Solving e la Financial Literacy,
p.125. http://www.invalsi.it/invalsi/ri/pisa2012.php?page=pisa2012_it_06
20L’Indagine PISA: definizione dei campi di competenze
(continua)
Literacy finanziaria: un insieme di conoscenze e
cognizioni di concetti e rischi di carattere finanziario,
unito alle abilità, alla motivazione e alla fiducia nei
propri mezzi che consentono di utilizzare quelle stesse
conoscenze e cognizioni per prendere decisioni efficaci
in molteplici e diversi contesti di carattere finanziario,
per migliorare il benessere degli individui e della società
e per consentire una partecipazione consapevole alla
vita economica.
21Gli elementi essenziali del PIAAC • Una concezione orientata all’uso delle competenze • Livelli di Proficiency come un continuum • Il ruolo della pratica nella literacy e numeracy e l’uso del computer per il mantenimento e lo sviluppo di competenze (approccio “diacronico” proxy) • Le abilità per l’era dell’informazione • L’impegno e le propensioni come componenti fondamentali della competenza (componenti “non cognitive”) • L’importanza delle informazioni contestuali e/o del contesto di lavoro (estendendo il campo alla dimensione “collettiva”, prima richiamata nelle mappe) 22
Le competenze misurate in PIAAC
• La literacy è definita come: l’interesse, l’attitudine e l’abilità degli
individui ad utilizzare in modo appropriato gli strumenti socio-culturali,
tra cui la tecnologia digitale e gli strumenti di comunicazione per
accedere a, gestire, integrare e valutare informazioni, costruire nuove
conoscenze e comunicare con gli altri, al fine di partecipare più
efficacemente alla vita sociale.
• La numeracy è definita come: l’abilità di accedere a, utilizzare,
interpretare e comunicare informazioni e idee matematiche, per
affrontare e gestire problemi di natura matematica nelle diverse
situazioni della vita adulta.
• Le competenze relative al problem solving in ambienti
tecnologicamente avanzati: l’utilizzo della tecnologia digitale, di tool e
di reti di comunicazione per acquisire e valutare le informazioni,
comunicare con gli altri e svolgere compiti pratici.
23Le competenze “al lavoro” tramite
l’analisi del contesto: il JRA
Oltre alle competenze valutate grazie a test (literacy e numeracy),
l’indagine PIAAC raccoglie un ampio numero di altri indicatori di
competenze utilizzate nelle attività lavorative, mediante
procedure self-report.
La metodologia utilizzata è quella del Job Requirement Approach
(JRA), già utilizzata in indagini simili in passato, per stimare
competenze cognitive di base, sociali, di apprendimento
necessarie per svolgere in modo adeguato il compito lavorativo
(grado di discrezionalità, apprendimento al lavoro, capacità di
influenzare gli altri, cooperazione, organizzazione del proprio
tempo, resistenza fisica e destrezza manuale, ecc.).
2425
Per andare oltre … (1)
Resta molto da fare nel lavoro di “decodifica” delle surveys
(metodologie, approcci teorici), di “disassemblaggio degli
strumenti, decodifica teorica, e sui loro effetti (implicazioni di
policy, evidence based policy).
Ciò che non bisogna perdere di vista è che i dati prodotti in queste
ricerche sono sempre guidati da teorie (e visioni del mondo) che
nella presentazione dei risultati ‘scompaiono’, lasciando spazio a
una ‘naturalizzazione’ del dato che non viene più trattato come un
artefatto socialmente costruito, bensì come un’entità con un
proprio significato a prescindere dal contesto, come se la presenza
di numeri e calcoli statistici bastasse di per sé a dare prova della
trasparenza, affidabilità e totale oggettività dei risultati (Giancola,
2016).
26Per andare oltre … (2)
Certo i Big Data prodotti dal LSA da soli non possono migliorare i
processi educativi, questi hanno piuttosto bisogno di iniziative
culturali e di pratiche di lavoro locali (a livello didattico,
amministrativo, tecnologico, ecc.) efficaci, inclusive e durature nel
tempo.
I risultati prodotti dalle indagini come LSA, potranno acquisire
nuovo valore se si attiverà un processo di appropriazione e
riflessione sui dati da parte degli attori prossimali alle pratiche
educative: dirigenti, insegnanti ma anche – ad un livello meso –
policy makers locali e/o nazionali. Affinché questi dati non siano
quindi solo un esercizio di misurazione e uno strumento di
razionalizzazione competitiva tra i sistemi, dovranno essere sempre
più fruibili, utilizzabili e problematizzabili ai diversi livelli dei sistemi
educativi (cfr. Giancola, Viteritti, 2015; Giancola, Viteritti, 2019).
27Puoi anche leggere
