Internet of Things per la statistica ufficiale: un mondo di dati - IOTHINGS Rome
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
DIGITAL TRANSFORMATION IN THE ENTERPRISE
Soluzioni disponibili oggi e in prospettiva
21 novembre – 14:30 – 17:00
Sala Q
Internet of Things per la statistica ufficiale:
un mondo di dati
Stefano De Francisci
Direzione centrale per le tecnologie dell’informazione e della comunicazione, Istat
Stefano De Francisci - Istat
“Taking all aspects of life
and turning them into data“
The Rise of Big Data
Cukier & Mayer-Schoenberger, 2013
Stefano De Francisci - Istat
Di cosa parleremo
Scenari di utilizzo
Contestualizzazione nel processo
nella statistica statistico Statistiche
ufficiale sperimentali
Contestualizzazione
storica Big Data e IoT PROGETTI
E USI
VISIONE NEL Smart
CONTESTO Statistics
NAZIONALE E
Aspetti innovativi
INTERNAZIONALE
Discussione sulle
implicazioni nella
ricerca sociale
Come si sta PROBLEMATICHE
E IMPLICAZIONI
muovendo la
statistica ufficiale
Aspetti critici
Datafication Connotati IoT
Stefano De Francisci - Istat
Incipit
Nascita dei Big
Volume Varietà Velocità Scoperta
Data moderni
delle 3v (Laney)
Densità dei dati (M. Cox, D.
Sumeri → Gutenberg → 2000 Hellsworth)
(Data
Communications) 1 simbolo3 1998 2001
per inch 1997
1994 (J.R. Mashey)
1990 (J.R. Mashey)
(Science)
“Tracking the Flow of Information”
1986
1983 Quale macchina possiamo costruire per
“Volume of Information”1981 monitorare il flusso dei dati di uno strumento?”
(NSI Ungheria) (American Scientist)
1980“Data expands to fill the space available” (4° IEEE Symposium )
1975“La produzione di informazione cresce più rapidamente del suo consumo”
(Ministero Poste giapponese)
1971
“Un uomo si misura da quanti bytes occupano il suo dossier”
(A. Miller)
1967 Information explosion (B.A. Marron, P. A. D. de Maine)
1961 Crescita conoscenza scientifica attraverso aumento esponenziale di giornali e riviste (D. Price)
1944 2040: 200 Milioni volumi… 6000 miglia di scaffali…. 6000 catalogatori (F. Rider)
Fonte: Gil Press https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/#533cdbfc65a1
Stefano De Francisci - Istat
Cosa c’è oggi di «veramente nuovo»?
Scienza
Business
Statistica ufficiale
NUOVE FONTI che affiancano, arricchiscono e
sostituiscono le fonti tradizionali
NUOVI METODI E TECNOLOGIE per Sono resi possibili, suggeriti,
adattare ed evolvere metodi e sostenuti e favoriti NUOVI USI
tecniche tradizionali dell’informazione
Stefano De Francisci - Istat
Big Data nel contesto della statistica ufficiale
Visione strategica proposta nel giugno 2011
dall’High Level Group for Modernization of (HLG-MOS)
Statistical Production and Services Indagini
Popolazione dirette
«WE ARE IN A CHANGEOVER FROM A SOCIETY target
WITH LITTLE OR NO DATA AVAILABLE TO ONE THAT Registri Statistica
amministrativi ufficiale
HAS AN ABUNDANCE OF DATA…
…BIG DATA IS ALSO POTENTIALLY VERY INTERESTING AS BIG
AN INPUT FOR OFFICIAL STATISTICS; EITHER FOR USE ON DATA
ITS OWN, OR IN COMBINATION WITH MORE
TRADITIONAL DATA SOURCES»
imparzialità
affidabilità
obiettività
indipendenza scientifica
efficienza economica
riservatezza statistica Produce stable output
non comporta oneri eccessivi
per gli operatori economici with unstable ever changing inputs
Stefano De Francisci - Istat
Big Data: le mosse della statistica ufficiale
BIG
DATA
Stefano De Francisci - Istat
Big Data: possibili scenari di utilizzo nel processo statistico
Scenario Caratteristiche fonti Metodi trattamento
Vengono raccolte le stesse
Non previsti interventi
Uso delle fonti Big informazioni utilizzate nel
significativi su approcci/
limitato alla raccolta processo statistico
tecniche di analisi
dati tradizionale, ma accedendo
direttamente alla fonte Big
Uso delle fonti Big in
Necessario opportuno e
combinazione o Per le stime si utilizzano sia i
specifico passo di
integrato con le altre dati da fonte tradizionale sia
integrazione (RL) e/o
fonti di dati (da Big Data
trattamento (NLP, Text
indagine e
Mining, ML, ecc.)
amministrativi)
Uso delle fonti Big in Individuazione di
sostituzione delle (o Per le stime si usano solo specifiche tecniche e
alternativo rispetto Big Data e non dati di nuovi metodi di
alle) fonti indagine analisi/trattamento lungo
tradizionali tutto il processo statistico
Stefano De Francisci - Istat
Big Data: possibili scenari di utilizzo nel processo statistico
Scenario 1: Uso delle fonti Big limitato alla raccolta dati
Scenario 2: Uso delle fonti Big in combinazione o Scenario 3: Uso delle fonti Big in sostituzione delle
integrato con le altre fonti di dati (da indagine e (o alternativo rispetto alle) fonti tradizionali
amministrativi)
Stefano De Francisci - Istat
I connotati dell’IoT
Dalla definizione ufficiale dello IoT European Research Cluster
http://www.internet-of-things-research.eu/about_iot.htm
Internet of Things come integrazione della conoscenza
con:
• Dinamica • Identità
• Globale • Attributi fisici
• Capacità di auto-configurazione • “Personalità” virtuali
• Interfacce intelligenti
• Protocolli di comunicazione • Integrate senza soluzione di
standard e interoperabili continuità nella infrastruttura di rete
Stefano De Francisci - IstatUn passo indietro: Ecosistema dell’IoT per la società digitale
Definition of a Research and Innovation Policy
Leveraging Cloud Computing and IoT Combination Gartner (Settembre 2014)
Studio preparato per la EC da IDC e TXT (2014)
Architettura dell’IoT
“A key feature of the ecosystem is the dynamic interaction
between the providers of horizontal IoT platforms and of “GUI, application logic, data and
vertical solutions/industry specific environments” analytics can be placed anywhere”
Stefano De Francisci - IstatInternet of Things: possibili aree di applicazione e integrazione
(https://opentechdiary.wordpress.com/tag/internet-of-things/)
• Home security – Access control • Environment • Domotic & Home
• Lighting control • Cities Automation
• Home health care • Metering • Smart Animal Farming
• Fire detection – Leak detection • Agriculture • Industrial Control
• Energy efficiency • Water • Logistics
• Solar panel monitoring and control • Security & • Retail
• Temperature monitoring and HVAC control Emergencies • eHealth
• Automated meter reading
Stefano De Francisci - IstatEvoluzione dell’IoT verso un uso statistico: non solo reti di oggetti
Reti di oggetti Reti di individui
Stefano De Francisci - IstatUso dell’IoT nella statistica ufficiale. Scenari
In corso iniziative
(anche a livello • Statistiche in fase di test e non ancora
internazionale) per pienamente sviluppate
• Attività che richiedono il
rendere possibile consolidamento della loro operatività o
l’utilizzo di dispositivi PRODUZIONE DI STATISTICHE delle metodologie o una fase di
IoT in fase di SPERIMENTALI monitoraggio
produzione delle
STATISTICHE • Sono definite nel Code of Practice per
UFFICIALI le Statistiche Ufficiali come: «nuove
statistiche correnti statistiche ufficiali in fase di
•Smart meters valutazione, pubblicate per coinvolgere
•Immagini per la stima gli utenti e le parti interessate nel loro
dei flussi di traffico sviluppo come mezzo per costruire la
qualità nelle fasi iniziali della ricerca»
SMART
STATISTICS
• Sviluppo di statistiche “cognitive” attraverso l’uso di algoritmi intelligenti, automazione avanzata,
nuovi standard e metodi, per andare incontro alle esigenze di policy-making (data4policy) secondo
approcci data-driven e evidence-based
• Mirano ad esplorare le opportunità offerte dalla tecnologie per il trattamento di grandi moli di dati
• Uso crescente di Paradati (dati di processo sulle azioni dei rispondenti, spesso in real-time)
Stefano De Francisci - IstatInnovazione nelle fasi del processo statistico
• Adozione di modelli standard per la gestione
dei processi di produzione (GSBPM)
• Possibile inversione di alcune fasi (Design e
Collect)
Generate • La fase di collezione dati può a volte essere
sostituita da quella di generazione dati
• Possibile collassamento delle fasi di Process e
Analyse (possono avvalersi degli stessi metodi)
• Generazione, processo e analisi dei dati possono
procedere simultaneamente
• L’attenzione si muove sempre più verso
Generate meccanismi automatici di analisi
• Si assiste non solo alla trasformazione delle
infrastrutture ma anche al ripensamento di
processi e architetture di business, leggi e
regolamentazioni, aspetti etici, metodologie, ecc.
Stefano De Francisci - IstatSmart Statistics. La vision di Eurostat
Task Force Big Data di Eurostat Smart devices
Networks digitali
“The impact of […] innovative technological Produzione costante di dati
developments on societies and economies su vita e ambiente
will be by far more fundamental.”
Analizzare i fondamenti tecnologici di un «futuro»
( ) del sistema delle statistiche ufficiali
europee Persone Sistemi Cose
• Digitalizzazione della società
• Sempre maggiore interazione attraverso il Web
• Web dei dati
• IoT e sue applicazioni verso Smart Cities e
Industria 4.0
Stefano De Francisci - IstatSmart Statistics. La vision di Eurostat
“Intelligent production of relevant data for European Statistics”
Oltre i Big Data Società digitale
“a tutti gli effetti”
• Approccio centrico • Approccio a Network
• Dati presi dove • Dati presi istanteneamente
sono generati e in modo automatico
Smart energy Gestione dei
Raggiungimento grids cambiamenti verso
RISORSE energie “amichevoli” ed
Monitoraggio ENERGETICHE ecocompatibili
MERCATO
E CLIMA
DIGITALE
UNICO Smart meters
Produzione integrata
di dati sui domini:
FAMIGLIE E
Energia
MERCATO INDIVIDUI
Datafication di processi e Industria
INTERNO Smart
relazioni aziendali Statistiche sociali
appliances Ambiente
Stefano De Francisci - IstatSmart Statistics . La vision di Eurostat
APPROCCIO
OTTICA PER USE CASE
GESTIONE DEL METTERE
DATA4POLICY
MODELLO D→I →K “INTELLIGENZA” IN
NELLA STATISTICA TUTTO IL CDV DEI DATI
FUTURO DELLA
STATISTICA UFFICIALE SFRUTTAMENTO
NUOVE FONTI
UFFICIALE
Rinforzo
NATURA
ruolo ESS
INTERSEZIONE
REALIZZAZIONE “ESPLORATORIA”
TRA MONDO
TRAMITE “UN DELLA RICERCA
FISICO E
Aumento
LUNGO CAMMINO”
QUESTIONI
VISTE COME DIGITALE “CRITICHE”
efficienza ESS
SISTEMA
Trasparenza
Privacy degli
Raccolta elaborazione e analisi dei dati, algoritmi
Qualità
incorporate nel “sistema” stesso, partendo
dalle tracce digitali dell’attività umana Etica
Stefano De Francisci - IstatSmart Statistics . La vision di Eurostat
SMART
HOMES
SMART
MANUFACTURING
SMART CITIES
COMPONENTI
INFRASTRUTTURALI
SMART ENERGY
WEARABLES Cloud
Controlling
device
Gateway
Telefonia intelligenti
mobile
Stefano De Francisci - IstatLoop cognitivo delle smart statistics
Vedere le Smart statistics nel contesto dell’IoT implica la necessità di capire come
tali statistiche vengono create a partire dalle nuove fonti dell’Internet delle cose
Perseguimento Lettura e interpretazione
degli obiettivi end- delle condizioni del mondo
• “DIMENSIONE” PROPRIA
to-end (policy) di interesse
• INTERCONNESSIONE
Apprendimento
delle conseguenze Pianificazione delle
dell’azione azioni in base all'input
• UNICA RETE
• UBIQUITÀ
di sensori e policy
Il sistema
Azione sullo
impara dal Utilizzo della scenario Scelta dello scenario
passato conoscenza per scelto ottimale (motore di
migliorare le ragionamento)
decisioni future
Stefano De Francisci - IstatI progetti Big Data in Istat
Domini di interesse Tipi di fonte Uso
Scanner data
Indice prezzi al consumo
Internet data (web scraping)
ICT nelle Imprese
Internet data (web scraping)
Agriturismo
Mercato del lavoro Online Search data (Google queries)
Grado di fiducia dei consumatori Social Media
Copertura del suolo Statistiche
Immagini satellitari
sull’agricoltura
Mobilità e popolazione Telefonia mobile
Turismo Telefonia mobile
Traffico Immagini e sensori di traffico stradale
Spese e consumi energetici
Smart meters
Censimenti della popolazione
Stefano De Francisci - IstatUso dell’IoT nella statistica ufficiale. Smart meters
• Studio pilota sui dati dei «contatori intelligenti» di In prospettiva:
elettricità. Utilizzo SM come sperimentazione a
• Obiettivo: dimostrare l'uso per le statistiche ufficiali supporto del CENSIMENTO DELLA
di contatori elettrici con nuove modalità: POPOLAZIONE per:
• Lettura a distanza • Capire la differenza tra una persona
• Misurazione ad alta frequenza dei consumi di residente e abitualmente dimorante in
elettricità. ESSNET un’ottica di conteggio della
• Allo studio utilizzo anche per statistiche su: alloggi, BIG DATA popolazione
spesa delle famiglie, impatto ambientale e • Valutare la qualità del Registro Base
produzione di energia. degli Individui (RBI)
• Paesi coinvolti nella fase 1: EE, AT, SE, DK ISTAT
EE AT Convenzione con Acquirente unico:
SE utilizzo dei dati su consumi di energia
ALTRE elettrica e gas per la misurazione della
• Italia partecipa alla fase 2 SPERIMENTAZIONI qualità delle liste anagrafiche tramite
INTERNAZIONALI l'accoppiamento tra nominativo e
indirizzo
• Inghilterra: sperimentazione dal 2015 dell’uso SM per
misurare i tassi di occupazione delle abitazioni in una zona
residenziale attraverso un piccolo set di dati sui consumi
• Irlanda: sperimentazione (con risultati incoraggianti)
dell’uso di SM per identificare la composizione della
famiglia
Stefano De Francisci - IstatUso dell’IoT nella statistica ufficiale. Flussi di traffico
Ampliare l’informazione sui flussi di traffico per produrre migliori
Progetto Istat per la realizzazione di un sistema di statistiche sugli incidenti stradali:
monitoraggio della rete stradale italiana, con la 1) Statistiche sulla frequenza degli eventi di incidentalità
finalità di stimare i flussi di traffico veicolare 2) Interpretazione in valore assoluto e come probabilità di essere
coinvolti in sinistri, tenendo conto della diversa esposizione al rischio
IL PROGETTO
• Accordi con gestori delle reti
FINALITÀ
stradali (ora ANAS)
• Acquisizione di filmati da Traffic Reader Experimental tool
webcam posizionate in punti SCENARIO (TREx)
strategici delle tratte stradali
BASE • Software sperimentale sviluppato
IMMAGINI PER LA STIMA
• Analisi dei flussi di traffico DEI FLUSSI DI TRAFFICO SOLUZIONI in Istat per la gestione delle
• Stima su archi più ampi TECNICHE misurazioni da sensori di traffico
di fonti video e fotogrammi.
• versione corrente: 7 funzioni:
SPERIMENTAZIONE
• Utilizzo di snapshot da tratti stradali e ALTERNATIVA
Ispezione del video, estrazione di
autostradali catturati su web. fotogrammi, analisi del video,
• Uso statistico di filmati e immagini acquisite conteggio per corsia, conteggio
• Utilizzo di un Kernel sviluppato per la per carreggiata, conteggio per
realizzazione di un sistema di monitoraggio della area e creazione video da
rete stradale italiana fotogrammi.
Stefano De Francisci - IstatUso dell’IoT nella statistica ufficiale. Impatti e implicazioni
Incorporare la protezione della privacy nella
fase di progettazione del software delle
piattaforme, dei dispositivi e delle applicazioni
di raccolta dati.
PRIVACY BY Sette principi fondamentali
Da Data Science a Citizen Science: DESIGN (Cavoukian, Taylor e Abrams):
“(…) una scienza che assiste le
esigenze e le preoccupazioni dei
cittadini 1. Proattiva e preventiva (non reattiva)
(...) una forma di scienza sviluppata e 2. Privacy come default
attuata dai cittadini stessi” 3. Privacy integrata nel design
CITIZEN
…fino a “Citizen Data” 4. Privacy senza compromessi (win-win),
SCIENCE
evitando dicotomie privacy vs. sicurezza
Trasformazione dei cittadini da 5. Protezione dal ciclo di vita end-to-end
semplici osservatori a portatori di 6. Visibilità e trasparenza
interesse nella produzione di dati
7. Rispetto della privacy dell'utente
Stefano De Francisci - IstatUso dell’IoT nella statistica ufficiale. Impatti e implicazioni
Le Monde Diplomatique,
2017
• «Potere dei grandi numeri»
DILUVIO
• Algoritmi come principi ordinatori dei
INFORMATIVO (E DI GOVERNANCE
Economist, più diversi ambiti della vita sociale
DATI E NUMERI) BY NUMBERS
2011 • I dati come scatola nera da aprire
• Disintermediazione
Pierre Lévy,
1995
MEDIOEVO TECNOLOGIE
• Anticipazione computazionale e
PROSSIMO DEL DOMINIO
automatizzazione delle attese
FUTURO
• Ideologia della «trasparenza
radicale»
• Razionalità vs. rivelazione
• «Quantified self»
• Gabbia digitale
Stefano De Francisci - IstatFine stefano.defrancisci@istat.it
Puoi anche leggere
