La piattaforma Mistral - Arpa Piemonte
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
MISTRAL, la piattaforma italiana degli open data meteorologici e le sue funzionalità Evento Online - 23 Novembre 2020 La piattaforma Mistral Gabriella Scipione (CINECA) High Performance Computing Department Responsabile gruppo HPC Data Management and Analytics Martina Forconi (Dedagroup) Information Systems Project Manager Dedagroup Public Services
2
Il progetto Mistral: finalità e challenge
Finalità
facilitare e promuovere il riuso
dei dati meteorologici nazionali
per acquisire, armonizzare, dati generati con l’utilizzo
Creazione di un Portale
aggregare, trasformare, di risorse e competenze di
Italiano dei dati
processare e distribuire dati supercalcolo messe a
Metereologici (open)
meteo disposizione da Cineca.
Piattaforma Mistral: dati attualmente disponibili 3
4
MISTRAL: 11 regioni
che hanno autorizzato
l'integrazione dei dati
osservativi da stazioni
terrestri con licenza
CC by 4.0
Co-financed by the
Connecting Europe facility
of the European Union
5 Dati disponibili: Osservati NON validati
Real
Dati Freq Variabili Regioni Formato
time
Dati della rete Varia: Quasi - Temperatura 10 regioni: Calabria, Input: CSV
regionale di 10’, 15’, real time - umidità relativa Campania, Lazio, Output: BUFR,
stazioni meteo 20’, 30’, - direzione/ Liguria, Marche, JSON
forniti dal DPCN … velocità vento Piemonte, Sardegna,
- precipitazione Sicilia, Umbria,
totale Veneto
+ prov. Bolzano
Dati della rete Varia Sì Idem + 1 regione: Emilia- Input: BUFR
meteo dell’Emilia- - pressione, Romagna Output: BUFR,
Romagna forniti - profondità della JSON
da Arpae neve
- livello e scarico
del fiume
- flusso di
radiazione, …
Dati di
In progress
MeteoNetwork
6 Dati attualmente disponibili: Forecast
Corse
Modello Risoluzione Area Previsioni a Formato
giornaliere
2 corse Input - output:
COSMO-5M 5 Km Mediterraneo 18 e 72 ore
00 e 12 UTC GRIB
2 corse Input - output:
COSMO-2I 2.2 Km Italia 48 ore
00 e 12 UTC GRIB
Italy Flash Flood
ecPoint rainfall blended 1 corsa Input - output:
with COSMO 2.2 2.2 Km Italia 48 ore
00 UTC GRIB
ensemble post-
processed
punti delle
Multimodel stazioni 1 corsa Input: JSONLINE
Italia 72 ore
Ensemble della rete 8:00 UTC Output: BUFR
regionale
7 Dati attualmente disponibili: Radar
Dati Prodotto Freq. Formato
Dati della rete radar • Surface Rainfall Intensity 5’ Input: GeoTIFF
del DPCN • Altri in progress Output: GRIB
Cineca Cloud-HPC infrastructure
9
Piattaforma Mistral : Architettura
Open Data Portal
the main access point for citizens,
public administrations and private
organizations to meteorological data
Open Data Catalogue
the interoperability of the datasets
and metadata of the Italian weather
sector
Meteo Hub
interface to the ingested data: allows
users to create and download
personal weather data collections
and provides interactive maps to
graphically browse the datasets
Ingestor
feed the dataset repository by
preserving the integrity of the data
10 Piattaforma Mistral: Servizi
Catalogo
Sito di progetto
Open Data
https://www.mistralportal.it/
https://www.mistralportal.it/catalog/
Meteo-Hub
Funzionalità & Servizi
https://meteohub.hpc.cineca.it/11
Piattaforma Mistral : Ingestor12
Mistral Challenge: Flussi per acquisire dati
Production flows
1. Radar-derived products SRI (Surface Rainfall Intensity) from DPC
2. Ground station BUFR data transmitted by Regions via AMQP channel
3. Ground station BUFR data transmitted by Meteonetwork (non-profit
Weather Associations) via AMQP channel
4. Ground station CSV data exposed by DPC on FTP server
5. Multimodel Forecast JSONLINE transmitted by Arpa Piemonte via AMQP
channel
Experimental flows
1. Ground station data exposed by Open data API (Trentino)
2. Ground station CSV data exposed by DPC on FTP server to FROST13
Mistral challenge: Armonizzazione
Dati osservati e previsionali
▪ The logical data model is the one adopted by Arpae that has been
formalized in UML based on standard
▪ ISO 19156:2011 Geographic information Observations and measurements
▪ OGC SensorThings
▪ Guidelines On Data Modelling For WMO Codes.
▪ Protocol used to send data to Mistral:
▪ publish and subscribe protocols – AMQP (RabbitMQ queues)
▪ FTP
▪ Formats in Mistral Platform:
▪ BUFR, JSON, CSV for observations (JSON,CSV only as exchange formats)
▪ GRIB for forecast14 Mistral Meteo-Hub: Catalogo
ll catalogo Open Data di Mistral:
▪ è un utile meccanismo per la scoperta dei dati
disponibili nella piattaforma e anche dei dataset
meteorologici disponibili in Italia.
▪ è compatibile con DCAT-AP_IT, l'estensione italiana del
DCAT-AP (Data Catalog Vocabulary application profile)
per la descrizione dei cataloghi del settore pubblico,
finalizzata a garantire l'interoperabilità semantica tra
portali di dati aperti europei.
▪ è una versione personalizzata di CKAN
▪ Il Catalogo espone i metadati ad altri cataloghi
utilizzando documenti RDF serializzati secondo il DCAT
Application Profile Italiano, al fine di consentire la
raccolta da dati.gov.it e inoltre al Portale Europeo dei
Dati.15 Mistral Meteo-Hub: Servizi
16 Mistral Meteo-Hub: Servizi di Visualizzazione dei dati
Temporal
Metodologia Dati Tipologia Tool Interactivity
dimension
Forecast
Static Italy Flash Mappe Magics ✅ ⛔
Floods
Dinamiche Forecast
/Multilayer Italy Flash Mappe Magics ✅ ✅
(Tiles) Floods
Mappa + Leaflet/Javas
Puntuale Observed Meteogram cript (ngx- ⛔ ✅
ma charts)
Multi Model
Puntuale Mappe Leaflet ✅ ✅
ensemble17 Mistral challenge: Data POLICY (Licenses)
FORECAST Italy flash flood CC BY 4.0
Multimodel SuperEnsamble CC BY 4.0
Cosmo 5M Copyright License
Cosmo 2I Copyright License
OSSERVATI Dati delle stazioni a terra CC by 4.0
regionali - flusso DPC
Dati delle stazioni a terra CC by 4.0
Emilia Romagna
Dati delle stazioni CC by 4.0
Meteonetwork
RADAR Surface Rainfall Intensity CC by-SA 4.0
from Radar-DPC
DATI VISUALIZZATI Forecast CC by-ND 4.0
SU MAPPA Italy Flash Flood CC by 4.0
Observation CC by 4.0
Multi-Layer Map CC by-ND 4.018 XXXX
Co-financied by the Connecting
European Facility of the Europen Union
Grazie
▪ Gabriella Scipione
▪ Responsabile Data Management e Analytics
▪ CINECA, Dipartimento HPC
▪ Martina Forconi
▪ Information Systems Project Manager
▪ Dedagroup Public ServicesPuoi anche leggere
