Tecniche Fuzzy Problemi e soluzioni per la verifica di modelli ad alta risoluzione - Arpa Piemonte
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Tecniche Fuzzy Problemi e soluzioni per la verifica di modelli ad alta risoluzione Naima Vela Webinar “La verifica dei modelli meteorologici” - 26/04/2021 “La verifica dei modelli meteorologici” – 26.04.2021
• Modelli numerici: verso una risoluzione sempre più alta • Dati osservati: quali utilizzare? Struttura • Cosa rende «buona» una previsione? presentazione • Verificare modelli ad alta risoluzione: il problema del «double penalty» • Il principio della verifica fuzzy e verifica fuzzy 3D • Metodi di ricampionamento • Fractions Skill Score • Esempio DJF2021
Modelli numerici: verso una risoluzione sempre più alta
Modelli numerici: verso una risoluzione sempre più alta L’aumento della risoluzione spaziale dei modelli numerici permette di produrre mappe di precipitazione prevista sempre più dettagliate 1
Modelli numerici: verso una risoluzione sempre più alta L’aumento della risoluzione spaziale dei modelli numerici permette di produrre mappe di precipitazione prevista sempre più dettagliate PRO: è possibile CONTRO: è possibile produrre previsioni di produrre previsioni di fenomeni precipitativi fenomeni precipitativi molto intensi e molto intensi e localizzati localizzati 1
Modelli numerici: verso una risoluzione sempre più alta L’aumento della risoluzione spaziale dei modelli numerici permette di produrre mappe di precipitazione prevista sempre più dettagliate PRO: è possibile CONTRO: è possibile produrre previsioni di produrre previsioni di fenomeni precipitativi fenomeni precipitativi molto intensi e molto intensi e localizzati localizzati 1
Modelli numerici: verso una risoluzione sempre più alta L’aumento della risoluzione spaziale dei modelli numerici permette di produrre mappe di precipitazione prevista sempre più dettagliate PRO: è possibile CONTRO: è possibile produrre previsioni di produrre previsioni di fenomeni precipitativi fenomeni precipitativi molto intensi e molto intensi e localizzati localizzati 1
Modelli numerici: verso una risoluzione sempre più alta 20200704 h00 – precipitazione cumulata sulle 12 ore precedenti ECMWF 0.250° 2 PRO COSMO 5M 0.045° COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta 20200704 h00 – precipitazione cumulata sulle 12 ore precedenti ECMWF 0.250° 2 PRO COSMO 5M 0.045° COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta 20200704 h00 – precipitazione cumulata sulle 12 ore precedenti ECMWF 0.250° 2 PRO COSMO 5M 0.045° RADAR COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta ECMWF 0.250° 2 PRO COSMO 5M 0.045° RADAR COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta ECMWF 0.250° 2 PRO? COSMO 5M 0.045° RADAR COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta 20200817 h18 – precipitazione cumulata sulle 12 ore precedenti ECMWF 0.250° CONTRO 3 COSMO 5M 0.045° COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta 20200817 h18 – precipitazione cumulata sulle 12 ore precedenti ECMWF 0.250° CONTRO 3 COSMO 5M 0.045° RADAR COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta ECMWF 0.250° CONTRO 3 COSMO 5M 0.045° RADAR COSMO 2I 0.020°
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta 4
Modelli numerici: verso una risoluzione sempre più alta Modelli ad alta e altissima risoluzione creano enormi aspettative nei meteorologi che li utilizzano e sono potenzialmente in grado di prevedere fenomeni precipitativi molto intensi e localizzati 5
Modelli numerici: verso una risoluzione sempre più alta Modelli ad alta e altissima risoluzione creano enormi aspettative nei meteorologi che li utilizzano e sono potenzialmente in grado di prevedere fenomeni precipitativi molto intensi e localizzati 5
Modelli numerici: verso una risoluzione sempre più alta Modelli ad alta e altissima risoluzione creano enormi aspettative nei meteorologi che li utilizzano e sono potenzialmente in grado di prevedere fenomeni precipitativi molto intensi e localizzati MA Non sono perfetti 5
Modelli numerici: verso una risoluzione sempre più alta Modelli ad alta e altissima risoluzione creano enormi aspettative nei meteorologi che li utilizzano e sono potenzialmente in grado di prevedere fenomeni precipitativi molto intensi e localizzati MA Non sono perfetti QUINDI Come capire quanto ci si può fidare? 5
Modelli numerici: verso una risoluzione sempre più alta Modelli ad alta e altissima risoluzione creano enormi aspettative nei meteorologi che li utilizzano e sono potenzialmente in grado di prevedere fenomeni precipitativi molto intensi e localizzati MA Non sono perfetti QUINDI Come capire quanto ci si può fidare? VERIFICA FUZZY 5
Dati osservati: quali utilizzare?
Per verificare modelli con risoluzione orizzontale elevata abbiamo bisogno di osservazioni con risoluzione altrettanto elevata. Dati osservati: quali Per avere una verifica il più possibile omogenea abbiamo bisogno di dati osservati utilizzare? equamente distribuiti sul territorio. Abbiamo bisogno di poter fare affidamento sull’accuratezza dei dati osservati 6
Dati osservati: quali utilizzare? PLUVIOMETRI: • Non hanno una risoluzione spaziale sufficientemente fitta • Non sono distribuiti uniformemente sul territorio • Hanno una accuratezza del dato puntuale molto elevata 7
Dati osservati: quali utilizzare? RADAR: • Ha una risoluzione spaziale sufficientemente fitta • I dati sono distribuiti uniformemente sul territorio • Il dato finale può essere affetto da errori e interferenze anche rilevanti 8
Dati osservati: quali utilizzare? RADAR-ADJ: • Ha una risoluzione spaziale sufficientemente fitta • I dati sono distribuiti uniformemente sul territorio • L’utilizzo di un modello permette di modulare il dato radar e aumentare l’accuratezza del campo risultante: SRT_adj = SRT * ADJ dove la matrice ADJ contiene un coefficiente moltiplicativo dinamico aggiornato ogni ora sulla base del rapporto tra la precipitazione cumulata Radar e la precipitazione cumulata pluviometrica 9
Cosa rende «buona» una previsione?
È simile alle osservazioni a grande scala Predice un evento nelle vicinanze del punto in cui Cosa rende è effettivamente osservato «buona» una Gli eventi previsti hanno caratteristiche simili a previsione? quelli osservati (i.e. la stessa frequenza) Ha una distribuzione di intensità simile all’osservazione È simile a quello che il previsore avrebbe previsto se avesse avuto a disposizione le osservazioni 10
Verificare modelli ad alta risoluzione: il problema del «double penalty»
Verificare modelli ad alta risoluzione: il problema del «double penalty» • Il campo di precipitazione prodotto da un modello con risoluzione minore • Il campo di precipitazione previsto da un risulterà generalmente di intensità modello più risoluto generalmente ha inferiore e ampiezza maggiore rispetto intensità e ampiezza simili all’osservato all’osservato • Capita spesso che i due campi siano • Generalmente il campo osservato è vicini ma non sovrapposti almeno parzialmente sovrapponibile a quello previsto 11
Verificare modelli ad alta risoluzione: il problema del «double penalty» Con una verifica di tipo tradizionale Con una verifica di tipo tradizionale otteniamo per il modello meno risoluto otteniamo per il modello più risoluto valori simili a questi: valori simili a questi: RMSE ~ 2.7 RMSE ~ 4.7 POD~1, FAR~0.7 POD=0, FAR=1 TS~0.3 TS=0 12 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Verificare modelli ad alta risoluzione: il problema del «double penalty» riducendo così il non richiedono problema del «double un’esatta penalty» corrispondenza tra previsione e osservazione premiando previsioni «vicine» alle osservazioni Le tecniche di verifica «Fuzzy» A quali scale spaziali il modello fornisce risultati attendibili? si pongono il problema dell’incertezza Anche le osservazioni possono contenere al loro interno un certo grado di incertezza 13
Il principio della verifica fuzzy e verifica fuzzy 3D
Il principio della verifica fuzzy La precipitazione viene ricampionata utilizzando finestre mobili Il nuovo campionamento tiene conto di quello che succede «attorno» al punto centrale delle finestre mobili Esistono molti criteri per effettuare il ricampionamento Il nuovo campo ricampionato viene utilizzato per calcolare tutti gli indici e gli score necessari 14 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Verifica fuzzy 3D Il principio dell’osservazione dell’intorno del punto di estende anche alla dimensione temporale 15 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Metodi di campionamento
Metodi di campionamento: come trattare le osservazioni La verifica fuzzy può utilizzare una delle seguenti due tecniche: single observation neighborhood forecast neighborhood observation neighborhood forecast 16
Metodi di campionamento: come trattare le osservazioni La verifica fuzzy può utilizzare una delle seguenti due tecniche: single observation neighborhood forecast neighborhood observation neighborhood forecast 16
I metodi di verifica di tipo Fuzzy: non richiedono un'esatta richiedono che la previsione aiutano a comprendere a misurano l'entità corrispondenza tra si trovi vicino quali scale spazio-temporali dell'accordo al variare delle osservazione e previsione all'osservazione in termini di l'utilizzo di un determinato richieste di vicinanza alle scale più minute spazio, tempo ed intensità modello risulta efficace Le tipologie di verifica Fuzzy sono tecniche multiscala, tali da stabilire la qualità della previsione come funzione della vicinanza spaziale, misurata cercando un accordo in un intorno del punto di interesse. 17
Tabella di contingenza: ripasso Osservati yes no Previsti yes hits false alarms correct no misses negatives hits false alarms POD = FAR = hits + misses hits + false alarms hits TS = hits + misses+ false alarms hits − hitsrandom ETS = hits + misses+ false alarms − hitsrandom 18 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Tecniche di campionamento: Effettuo la media dei valori di precipitazione presenti nella finestra UPSCALING e confronto il risultato della previsione con quello dell’osservato. 19
Tecniche di campionamento: Imposto una porzione di copertura MINIMUM della finestra (tra 0 e 1) e se una parte di area uguale o superiore a COVERAGE tale valore è occupata da precipitazione ho un superamento. 20
Tecniche di campionamento: Ho un superamento di soglia ANYWHERE IN dell’intera finestra se anche un solo pixel la supera. WINDOW (Caso estremo di Minimum Coverage) 21
Tecniche di campionamento: I valori di hit, miss, ecc… sulla singola JOINT finestra non sono più 1 o 0 ma un valore intermedio dato dalle proporzini tra le porzioni di previsione e osservazione PROBABILITY occupate da precipitazione 22
Tecniche di campionamento: Po =1 Pf=0.5 Hit= 1*0.5=0.5 Miss=1*(1-0.5)=0.5 False Alarm=(1-1)*0.5=0 Cor Neg=(1-1)*(1-0.5)=0 I valori di hit, miss, ecc… sulla singola JOINT finestra non sono più 1 o 0 ma un valore intermedio dato dalle proporzini tra le porzioni di previsione e osservazione PROBABILITY occupate da precipitazione 22
Tecniche di campionamento: Le porzioni di finestra (prevista o FUZZY osservata) si sostituiscono ai valori di hit, miss, ecc… in base alle LOGIC formule mostrate. 23
Tecniche di campionamento: Po =0.45 Pf=0.75 Hit=min(0.45,0.75)=0.45 Miss=min(0.45,0.25)=0.25 F A=min(0.65,0.75)=0.65 C N=min(0.65,0.25)=0.25 Le porzioni di finestra (prevista o FUZZY osservata) si sostituiscono ai valori di hit, miss, ecc… in base alle LOGIC formule mostrate. 23
Tecniche di campionamento: Ho un superamento di soglia ANYWHERE IN dell’intera finestra se anche un solo pixel la supera. WINDOW (Caso estremo di Minimum Coverage) 24
Fractions Skill Score
Fractions Skill score Il principale indice che riassume le potenzialità di una verifica di tipo Fuzzy è il Fraction Skill Score (FSS) A quali scale spaziali Il FSS risponde alla la previsione è più domanda: somigliante alle osservazioni? Confronta direttamente la previsione e le osservazioni su di una porzione di territorio coperta da un evento (ie: precipitazione superante una determinata soglia) incrementando man mano la dimensione spaziale su cui è effettuata la verifica. 25 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Il FSS spazia da 0 (completo disaccordo) a 1 (accordo perfetto). Il FSS è pari a 0 se non ci sono eventi previsti ma se ne verificano o viceversa se non si verificano eventi che erano stati previsti. Fraction Il valore di FSS sopra al quale la previsione è considerata utile (migliore del dato random) Skill è data da FSSuseful = 0.5 + fo/2, dove fo è la media della porzione di dominio coperta dall’evento osservato. La più piccola finestra spaziale per cui FSS ≥ FSSuseful è considerata la “scala utile”. Score Con l’aumentare delle dimensioni delle finestre spaziali, l’indice tenderà asintoticamente ad un valore compreso tra 0 ed 1. Più tale valore è vicino ad 1, meno la previsione risulterà affetta da bias. Il FSS è sensibile ad eventi rari (ie: picchi di precipitazione intensa su aree limitate). 26
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini (a sinistra) di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Quali solo le scale spaziali e le intensità di pioggia alle quali la previsione trova maggiore corrispondenza con le osservazioni? observed forecast 1 2 σ =1 − = 1 − 1 1 σ =1 2 + σ 2 =1 27 Immagini (a sinistra) di Elisabeth Ebert: «Fuzzy Forecast Verification. Giving credit to close forecasts», NCEPS, 2008
Esempio DJF2021
DJF 2021 - Fractions Skill score – COSMO 2I 28
DJF 2021 - FAR– COSMO 5M – COSMO 2I 28
DJF 2021 - POD– COSMO 5M – COSMO 2I 28
DOMANDE?
Puoi anche leggere
