FOSS4G 2019 Un'esperienza di Alternanza Scuola lavoro. Creazione della Mappa degli interventi del Sermig con Utilizzo di OpenRefine e umap
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
IIS A.Avogadro, Torino FOSS4G Padova, 20/2/2019
Classe 5C INFORMATICA A.Carlone
FOSS4G 2019
Un’esperienza di Alternanza Scuola lavoro.
Creazione della Mappa degli interventi del Sermig con
Utilizzo di OpenRefine e umap
CC BY-SA 4.0
Programma del Workshop
• Introduzione
– Chi siamo
– Il progetto Map-Sermig
– Analisi, pulizia, normalizzazione ed estensione dati
con OpenRefine
– Creazione di mappe OSM con umap
• Esercitazione pratica: Mappare gli interventi di
del Sermig in Africa
• Conclusioni
IIS Avogadro
20/02/2019 2
FOSS4G
Chi siamo: la scuola
IIS A.Avogadro di Torino
IIS Avogadro
20/02/2019 3
FOSS4G
Chi siamo: la classe - 5C-INFO
specializzazione Informatica
(quando eravamo in 4C)
IIS Avogadro
20/02/2019 4
FOSS4G
Il Sermig di Torino - Arsenale della Pace
IIS Avogadro
20/02/2019 5
FOSS4G
Il percorso a.s. 2017/18
gli allievi della classe 4C-INFO
Iniziano un percorso di Alternanza Scuola Lavoro in
collaborazione con OpenStreetMap Italia
IIS Avogadro
20/02/2019 6
FOSS4G
Obiettivi del percorso
• Acquisire i concetti base della cartografia
• Imparare ad usare il database di OpenStreetMap:
inserire/elaborare dati
• Entrare a far parte di una comunità virtuale
“tecnica” ed imparare ad interagire con essa
• Comprendere la forza del lavoro collettivo e delle
comunità su internet
Progettazione: ottobre 2017
Inizio: gennaio 2018, Fine: maggio 2018
Tutor esterno: Marco Brancolini
Tutor interno: Alfonso Carlone
IIS Avogadro
20/02/2019 7
FOSS4G
Il percorso
TOTALE 70 Ore circa
Strumenti di collaborazione/condivisione:
Trello https://trello.com
Google Classroom https://classroom.google.com
Google Drive https://www.google.com/drive/
Video conference https://meet.jit.si/
Il nostro wiki:
https://wiki.openstreetmap.org/wiki/WikiProject_Italy/2018Avogadro
Parlano di noi:
http://www.damasio.it/eporediese/i-ragazzi-dellavogadro-mappano-vialfre/42652
https://www.wikimedia.it/scuola-mappatura-libera-un-corso-alliis-avogadro-torino/
8
Il percorso nell’a.s. 2017/18
- Formazione
- Attività in classe
- HOT Cristiano Giovando
- Merge.it
- Uscita a Vialfrè
(circa 60 ore di
Alternanza Scuola lavoro)
IIS Avogadro
20/02/2019 9
FOSS4G
Altri percorsi di alternanza 2017/18
-Droidcon
-View conference
-ARPA Piemonte
-RANSTAD
-STAGING….
IIS Avogadro
20/02/2019 10
FOSS4Ga.s. 2017/18
Giornata conclusiva nel Canavese
IIS Avogadro
20/02/2019 11
FOSS4Ga.s. 2017/18
Giornata conclusiva nel Canavese
IIS Avogadro
20/02/2019 12
FOSS4GNello stesso anno scolastico, la classe è stata coinvolta
in una giornata di conoscenza del Sermig nella quale è
nata l’idea di mappare gli interventi umanitari
realizzati nel mondo, e intraprendere un percorso volto
alla conoscenza delle sue iniziative (Università del
dialogo)
IIS Avogadro
20/02/2019 13
FOSS4GIIS Avogadro
20/02/2019 14
FOSS4Ga.s. 2018/19 -Attività con il Sermig
- visita al Sermig
- incontro con Nello Scavo
- incontro con Sergio Mattarella
- Incontro sul guerre nel mondo
(università del dialogo)
Obiettivo:Maggio 2019: Bergamo
Incontro mondiale dei giovani IIS Avogadro
20/02/2019 15
FOSS4GAttività con il Sermig
IIS Avogadro
20/02/2019 16
FOSS4GAttività con il Sermig
.
IIS Avogadro
20/02/2019 17
FOSS4GIl progetto Map-Sermig
A.S: 2018/19
gli allievi, ora in classe QUINTA, in conclusione del progetto di
alternanza e al fine di mettere in pratica le nozioni apprese, si
sono cimentati nella progettazione e realizzazione della
mappatura degli interventi relativi ad invio di materiali del
SERMIG. Nasce così il progetto Map-Sermig
da così a così
vedi mappa (cluster/raggruppamento)
vedi mappa (per punti)
vedi mappa (a dispersione)
IIS Avogadro
20/02/2019 18
FOSS4GIl progetto Map-Sermig
IIS Avogadro
20/02/2019 19
FOSS4GObiettivi del progetto
• Completare il percorso di alternanza con una
esperienza pratica
• Utilizzare ed arricchire le competenze apprese lo
scorso anno.
• Approfondire le conoscenze sul trattamento dati
• Lavorare in gruppo, dividendosi nei vari ruoli operativi
• Cimentarsi nella gestione di un progetto in tutte le sue
fasi
• Analisi dei requisiti, contatti con il cliente
• Progettazione
• Realizzazione
• Test/rilascio/manutenzione
Riferimento in Sermig: Mattia Cignolo
Consulenza: Marco Brancolini
Tutor di progetto: Alfonso Carlone
IIS Avogadro
20/02/2019 20
FOSS4GStrumenti utilizzati
OpenStreetMap: www.openstreetmap.org mappa di riferimento
OpenRefine www.openrefine.org analisi , pulizia dati
trasformazione
geolocazizzazione
- linguaggio GREL
- formato JSON
-utilizzo API
-geolocalizzazione
UMAP: https://umap.openstreetmap.fr/it creazione mappa e
personalizzazione
LEAFLET: https://leafletjs.com in sperimentazione
Collaborazione/Condivisione/Documentazione:
Trello https://trello.com/b/d72DO0QM/open-street-map-project
Google Classroom https://classroom.google.com/c/MjI0MTgxNzE2NTRa
Meet.jit https://meet.jit.si/
IIS Avogadro
20/02/2019 21
FOSS4GIl progetto Map-Sermig
M
IIS Avogadro
20/02/2019 22
FOSS4GOpenStreetMap (OSM)
• E’ un progetto collaborativo finalizzato a
memorizzare informazioni geolocalizzate ed a
creare mappe a contenuto libero dell’intero
pianeta
https://www.openstreetmap.org
23Map-Sermig:Fasi operative
– Incontri con il Sermig, analisi del problema, studio della principali
problematiche, possibili soluzioni e tecnologie
• Dove far risiedere i dati? su file csv o su Database?
• Come ripulire/normalizzare i dati?
• Come mappare? Utilizzo di UMAP o LEAFLET?
• Come Geolocalizzare?
• Quanto automatizzare il processo?
• Gestione delle modifiche o aggiornamenti?
• …..
– Sperimentazione su un primo caso d’uso
(Mappa degli interventi dell’Africa)
– Completamento mappa delle restanti aree
IIS Avogadro
20/02/2019 24
FOSS4GMap-Sermig:architettura hw/sw
IIS Avogadro
20/02/2019 25
FOSS4GI dati forniti dal Sermig (raw data)
AR1F180903GM-REPORT-MATERIALI-1.xlsx
Il file excel contenente i dati degli interventi del SERMIG
Contiene i dati non normalizzati degli interventi relativi ad invio di materiali
suddivisi per area geografica (una per ogni foglio di lavoro)
I dati sono suddivisi in base alle seguenti aree geografiche:
Africa 550 interventi - Africa.xls
Romania 500 interventi - Romania.xls
Medio Oriente 73 interventi - MO.xls
Asia 200 interventi - Asia.xls
Balcani 130 interventi - Balcani.xls
Est Europa e vari 20 interventi - EstEuropaVari.xls
America+ Brasile 210 interventi - America+Brasile.xls
Italia 1450 interventi - Italia.xls
Per un totale di circa 3100 interventi
Gli interventi dovranno essere suddivisi in base a tre diverse tipologie:
- Prima necessità, Realizzazioni e Tecnologie
IIS Avogadro
20/02/2019 26
FOSS4G- File origine: AR1F180903GM-REPORT-MATERIALI-1.xlsx
IIS Avogadro
20/02/2019 27
FOSS4GOpen Refine
-Freebase Gridworks (Metaweb) (2008)
-Google Refine (fine 2010)
-Open Refine (2017)
-release di riferimento iniziale: 3.0
-last release: 3.1 Novembre 2018
è un potente strumento per lavorare con dati disordinati (messy data) per:
• Pulire i dati (data cleaning)
• Trasformare i dati da un formato in un altro (data transformation)
• Estendere i dati con servizi web e/o dati esterni
(data augmentation/reconciliation)
David Huynh (original creator of OpenRefine)
Data-driven economy
IIS Avogadro
20/02/2019 28
FOSS4GOpen Refine
è un'applicazione desktop Open Source
È simile alle applicazioni per fogli di calcolo (e può funzionare
con i formati di file del foglio di calcolo)
tuttavia, si comporta più come un database.
• Sviluppato da Freebase, poi Google, ora è una comunità
Open (openrefine.org)
github.com/OpenRefine/OpenRefine
Scritto in java
• Funziona su Piattaforme: Windows, Linux, MAC OS
IIS Avogadro
20/02/2019 29
FOSS4GOpen Refine
Funziona sul concetto di celle (righe e colonne di
dati)
Simile alle tabelle del database relazionale.
Un progetto OpenRefine consiste in una tabella.
IIS Avogadro
20/02/2019 30
FOSS4GOpen Refine
A cosa può servire:
• Pulizia di dati: ad esempio se si lavora con un file di testo con alcuni dati semi-
strutturati, può essere modificato utilizzando trasformazioni, facet e clustering per
rendere i dati strutturati.
• Trasformazione dei dati : conversione dei valori in altri formati e/o altri valori,
normalizzazione.
• Analisi dei dati da siti Web : OpenRefine ha una funzione di recupero URL e parser
HTML jsoup e motore DOM.
• Aggiunta di informazioni al set di dati recuperando dati da servizi Web
Può ad es: essere utilizzato per geolocalizzare luoghi
(usando formato di interscambio dati tipo json)
• Allineamento a Wikidata (precedentemente Freebase ): ciò implica
la riconciliazione : il mapping dei valori stringa nelle celle alle entità in Wikidata.
IIS Avogadro
20/02/2019 31
FOSS4GOpen Refine
L'utente può filtrare le righe da visualizzare utilizzando i
facet (sfaccettature) che definiscono i criteri di filtro
(ad esempio, mostrando le righe in cui una determinata
colonna non è vuota o classificando e raggruppando i
valori presenti).
IIS Avogadro
20/02/2019 32
FOSS4GOpen Refine
A differenza dei fogli di calcolo, non vengono
memorizzate formule nelle celle, ma le formule vengono
utilizzate per trasformare i dati
Le espressioni di trasformazione possono essere scritte:
con un linguaggio specifico:
GREL (Refine Expression Language)
oppure
con le Regular Expression
(pattern to match/replace text)
IIS Avogadro
20/02/2019 33
FOSS4GOpen Refine
Il programma ha un’interfaccia utente
web. Tuttavia, non è ospitato sul Web, ma è
disponibile per il download e l'utilizzo sul computer
locale.
All'avvio di OpenRefine, si avvia un server Web e si
avvia un browser per aprire l'interfaccia utente Web
fornita da questo server web.
IIS Avogadro
20/02/2019 34
FOSS4GOpen Refine
Architettura:
• La componente server side di OpenRefine è implementata in Java come una singola
servlet che viene eseguita dal web-server jetty + servlet container.
L’utilizzo di java permette un bilanciamento tra performance e portabilità tra diversi sistemi
operativi ( praticamente l’unica differenza tra i vari sistemi operativi è legata all’avvio
dell’applicazione)
• OpenRefine non ha un database vero e proprio ma utilizza la propria memoria interna
per ottimizzare le verie operazioni disponibili, come ad es: i facet e gli undo/redo.
• La componente client-side di OpenRefine è implementata in HTML,CSS e Javascript e
utilizza le seguenti librerie:
– jQuery
– jQueryUI
– Recurser jquery-i18n
• Le estensioni funzionali di OpenRefine sono rese possibili grazie all’utilizao del
framework Web SIMILE Butterfly .
IIS Avogadro
20/02/2019 35
FOSS4GOpen Refine
Import
IIS Avogadro
20/02/2019 36
FOSS4GOpen Refine
Export
IIS Avogadro
20/02/2019 37
FOSS4GOpen Refine:installazione
Disponibile su:
-WINDOWS
-LINUX
-MAC OS
IIS Avogadro
20/02/2019 38
FOSS4GCosa è stato fatto:
1) Attività preliminari sui dati originari
2) Utilizzo di OpenRefine:
2.1. Avvio
2.2. Importare i dati da file csv/excel/…
2.3. Creare il progetto
2.4. Attività sui dati
2.4.1 analisi, pulizia e normalizzazione
2.4.2 trasformazione
2.4.3 estensione (augmentation)
2.5.Export su file csv
3) Utilizzo di UMAP:
3.1. Creazione mappa OpenStreetMap
3.2. Import file csv
3.3. Personalizzazione mappa
IIS Avogadro
20/02/2019 39
FOSS4G1.Attività preliminari sui dati originari
1.1 Dal file originario, estrarre un file excel per ogni area geografica
AR1F180903GM-REPORT-MATERIALI-1.xlsx
Africa - Africa.xlsx
Romania - Romania.xlsx
Medio Oriente - MO.xlsx
Asia - Asia.xlsx
Balcani - Balcani.xlsx
Est Europa e vari - EstEuropaVari.xlsx
America+ Brasile - America+Brasile.xlsx
Italia - Italia.xlsx
IIS Avogadro
20/02/2019 40
FOSS4G1.Attività preliminari sui dati originari
1.2 Analisi dati, eliminazione intestazioni, eliminazione
eventuali colonne inutili e dati sensibili
Africa.xlsx Africa_v01.xlsx
Romania.xlsx Romania_v01.xlsx
MO.xlsx MO_v01.xlsx
Asia.xlsx Asia_v01.xlsx
Balcani.xlsx Balcani_v01.xlsx
EstEuropaVari.xlsx EstEuropaVari_v01.xlsx
America+Brasile.xlsx America+Brasile_v01.xlsx
Italia.xlsx Italia_v01.xlsx
IIS Avogadro
20/02/2019 41
FOSS4G2. Utilizzo di OpenRefine
2.1. Avvio
2.2. Importare i dati da file csv/excel/…
2.3. Creare il progetto
2.4. Attività sui dati
2.4.1 analisi, pulizia e normalizzazione
2.4.2 trasformazione
2.4.3 estensione (augmentation)
2.5.Export su file csv
IIS Avogadro
20/02/2019 42
FOSS4GChe cos’è uMap? • uMap è un'applicazione che permette di creare mappe sfruttando i layers di OpenStreetMap e dà la possibilità di implementarle nel proprio sito. Il tutto in pochi minuti.
Come si crea una mappa? • Personalizzare la mappa: successivamente vedremo come modificare la mappa a seconda delle nostre esigenze
Come si crea una mappa? • Salvare la mappa: come ultimo passaggio non resta che salvare il proprio lavoro
Come si utilizza una mappa? • Includere la mappa su una pagina Web: come la mappa creata può servire per arricchire il proprio sito
Esercitazione: Cosa faremo:
Installazione di OpenRefine http://openrefine.org/download.html
1) attività preliminari sui dati originari (Africa.xls—> Africa_v01.xls)
2) utilizzo di OpenRefine:
2.1. Avvio
2.2. Importare i dati da file csv/excel/…
2.3. Creare il progetto
2.4. Attività sui dati
2.4.1 analisi, pulizia e normalizzazione
2.4.2 trasformazione
2.4.3 estensione (augmentation)
2.5.Export su file Africa_v02.xls / Africa_v02.csv
3) utilizzo di umap:
3.1. Creazione mappa OpenStreetMap
3.2. Import dei file csv
3.3. Personalizzazione mappa
IIS Avogadro
20/02/2019 48
FOSS4GAfrica.xls
(1.attività preliminari)
Africa_v01.xls
(2.utilizzo di OpenRefine) (3.utilizzo di umap)
Africa_pn_v02.csv (prima necessità)
Africa_te_v02.csv (tecnologie)
Africa_re_v02.csv (realizzazioni)Appendice: Proprietà dei dati
-I dati sugli interventi del Sermig relativi all’invio di materiali sono di dominio
pubblico
-Importante nella fase di analisi e pulizia, eliminare eventuali dati sensibili (es:
numeri di telefono privati)
I dati verranno visualizzati su OpenStreetMap e saranno quindi aperti e disponibili
alla consultazione.
Il Sermig ne è consapevole e ci ha dato il permesso di pubblicarli
CC BY-SA 4.0
Licenza CC BY
Nota: altre tipologie di intervento (es: aiuti economici) a disposizione del Sermig e
non ancora mappati, saranno oggetto di ulteriore approfondimento.
IIS Avogadro
20/02/2019 50
FOSS4GAppendice: Rilascio e Manutenzione
• Rilascio
• Creazione pagina Web con le varie mappe inserite all’interno
(mappa a dispersone, mappa a punti, mappa a cluster)
• Link dal Sito Web del Sermig
• Manutenzione correttiva
• Correzione eventuali errori (formato dati), migliorare la
geolocalizzazione, migliorare la mappa UMAP, undo/redo
• Manutenzione evolutiva
• Gestione future versioni/aggiornamenti dei dati del Sermig
• Utilizzo di LEAFLET
• Utilizzo della riconciliazione con Wikidata
IIS Avogadro
20/02/2019 51
FOSS4GManutenzione evolutiva
Problema: Come gestire future versioni/aggiornamenti dei dati del Sermig?
Soluzione 2:
Una volta svolto il lavoro nella prima versione dei dati, si tratta di aggiungere ad
ogni nuovo aggiornamento del file excel i dati degli interventi dell’ultimo anno di
riferimento (frequenza di aggiornamento = 1 anno).
In questo caso si può ripetere il processo di analisi, pulizia con OpenRefine e
inserimento su UMAP.
IIS Avogadro
20/02/2019 52
FOSS4GAppendice:OpenRefine: GREL
General Refine Expression Language
https://github.com/OpenRefine/OpenRefine/wiki/GREL-Functions
Linguaggio per manipolare i dati
- Variabili
- Funzioni
Column->Edit cells->Transform oppure
Column->Edit column->add column based on this column
Esempi di comandi GREL :
value il valore della cella
value.replace(‘stone’,’stones’) da stone a stones
value(1,5) prende i primi 5 char
value.substring(6) sottostringa (primi 6 char)
cell.recon.match.id riconciliazione
IIS Avogadro
20/02/2019 53
FOSS4GOpenRefine
Regular Expression
https://github.com/OpenRefine/OpenRefine/wiki/Understan
ding-Regular-Expressions
Altro metodo per ricercare e trasformare dati
Si basa sul concetto di PATTERN
Es:
Aar: cerca tutti i testi che contengono la ‘A’ seguita da
‘a’ ed ‘r’
123: cerca tutti i testi che contengono il numero 123
(es: 4512332 verrà trovato)
[0123456789] cerca tutti i testi che contengono un numero
[0-9] uguale a sopra
[a-z] cerca tutti i testi contenenti lettere
[a-zA-Z]
IIS Avogadro
20/02/2019 54
FOSS4GOpenRefine
Regular Expression
Quantificatori:
Es:
bre+d trova bred, breed, breeeed…
N\d{5,8}, trova testi che iniziano per ‘N’ seguiti da
5, 6, 7 oppure 8 numeri ed una virgola
Ancore (anchors)
Es:
~\d trova tutti i testi che iniziano con un numero
\d$ trova tutti i testi che terminano con un numero
Scelte (choices)
Es:
glass|wood|steel cerca testi che contengo uno dei tre
IIS Avogadro
20/02/2019 55
FOSS4GAppendice: Formato json
acronimo di JavaScript Object Notation,
è un formato adatto all'interscambio di dati fra
applicazioni client/server.
È basato sul linguaggio JavaScript Standard
IIS Avogadro
20/02/2019 56
FOSS4GFormato json
I tipi di dati supportati da questo formato sono:
• Booleani (true / false);
• interi, numeri in virgola mobile;
• stringhe racchiuse da doppi apici (");
• array (sequenze ordinate di valori, separati da
virgole e racchiusi in parentesi quadre []);
• array associativi (sequenze coppie chiave-valore
separate da virgole racchiuse in parentesi graffe);
• null.
IIS Avogadro
20/02/2019 57
FOSS4GFormato json
Esempio: rappresentazione di una persona
{ "nome": "Mario",
"cognome": "Rossi",
"vivente": true,
"numeroPreferito": 42,
"dataNascita": { "giorno": 1,
"mese": 1,
"anno": 2000 },
"lingue": [ "it", "en" ]
}
https://jsoneditoronline.org/
IIS Avogadro
20/02/2019 58
FOSS4GAppendice: Wikidata
• L'archivio di Wikidata è costituito principalmente
da elementi, ciascuno caratterizzato da una etichetta
una descrizione e diversi alias.
• Gli elementi sono identificati in modo univoco da
un Q seguito da un numero, come ad es: Douglas
Adams (Q42).
• Gli Item descrivono caratteristiche dettagliate di un
elemento e sono formate da una property e da un value. Il
value può essere a sua volta un altro item o un valore finale
• Le proprietà in Wikidata hanno come identificativo un P
seguito da un numero, come con educated at (P69).
IIS Avogadro
20/02/2019 59
FOSS4GWikidata
Es:
Item Property Value
Q17714 P69 Q34433
University of
Stephen Hawking educated at
Oxford
Q3624 P36 Q115
Addis Ababa Capital Etiopia
Q115 P31 Q6256
Ethiopia Instance of Country
IIS Avogadro
20/02/2019 60
FOSS4GWikidata
Item Property Value
Q115 P31 Q6256
Ethiopia Instance of Country
IIS Avogadro
20/02/2019 61
FOSS4GAppendice: Open Refine
Estensioni
Estensioni possibili
• RDF
• GEORefine
• DBPedia reconciliation
• ……..tanti altri
https://github.com/OpenRefine/OpenRefine/wiki/Extensions
http://openrefine.org/download.html
IIS Avogadro
20/02/2019 62
FOSS4GOpen Refine:estensioni
PER AGGIUNGERE UNA ESTENSIONE: ES: RDF
This project adds a graphical user interface(GUI) for exporting data of OpenRefine projects in RDF format.
The export is based on mapping the data to a template graph using the GUI. It also provides a service for
reconciling data against SPARQL endpoints (e.g., DBpedia).
1) Aprile la cartella relativa all’applicazione OpenRefine
2) creare nuova cartella extensions
es: C:\Users\Windows7\AppData\Local\OpenRefine\extensions
2) Cercare il pacchetto di download
https://github.com/OpenRefine/OpenRefine/wiki/Extensions
http://openrefine.org/download.html
https://github.com/stkenny/grefine-rdf-extension/releases
4) Scaricare lo zip file in modo da avere
extensions
rdf-extension
mages,MOD-INF,scripts, stype
5) Riavviare OpenRefine (anche il server)
IIS Avogadro
20/02/2019 63
FOSS4GRiconciliazione
DBpedia è un progetto in corso, nato nel 2007, per l'estrazione di informazioni
strutturate da Wikipedia e per la pubblicazione di queste informazioni sul Web
come Linked Open Datain formato RDF (Resource Description Framework).
Wikidata è una base di conoscenza online collaborativa, sostenuta
e ospitata dalla Wikimedia Foundation, con lo scopo di fornire un database comune
di supporto agli altri progetti di Wikimedia, consultabile e modificabile sia da utenti
umani che da bot.
È affine a Wikimedia Commons nel modello di fruizione, poiché fornisce dati a tutti i
progetti e consente loro un accesso centralizzato, esattamente come fa Commons
con i file multimediali.
L'iniziativa è stata avviata da un gruppo di ricercatori di Wikimedia Deutschland ed è
stata resa ufficialmente disponibile il 30 ottobre 2012.[1]
A differenza degli altri progetti della Wikimedia Foundation come Wikipedia, fruibili
attraverso licenza copyleft, Wikidata è fruibile attraverso licenza di pubblico
dominio Creative Commons CC0.
- Linked Open Data /RDF/ Altro
IIS Avogadro
20/02/2019 64
FOSS4GPossibili sviluppi futuri
Riconciliazione
web semantico, termine coniato dal suo ideatore, Tim Berners-Lee
si intende la trasformazione del World Wide Web in un ambiente dove i documenti
pubblicati (pagine HTML, file, immagini, e così via) sono associati ad informazioni e
dati (metadati) che ne specificano il contesto semantico in un formato adatto
all'interrogazione e l'interpretazione (es. tramite motori di ricerca) e, più in generale,
all'elaborazione automatica.
Con l'interpretazione del contenuto dei documenti che il Web semantico impone,
saranno possibili ricerche molto più evolute delle attuali, basate sulla presenza nel
documento di parole chiave, e altre operazioni specialistiche come la costruzione di
reti di relazioni e connessioni tra documenti secondo logiche più elaborate del
semplice collegamento ipertestuale.
IIS Avogadro
20/02/2019 65
FOSS4GRiconciliazione
linked data sono una modalità di pubblicazione di dati strutturati atti ad essere
collegati fra loro e quindi utilizzabili attraverso interrogazioni semantiche.
Si basa su tecnologie e standard web aperti come HTTP e URI e ne estende
l'applicazione per fornire informazioni che possano essere lette e comprese
da computer. Questo rende possibile collegare e utilizzare dati provenienti da diverse
sorgenti
L'obiettivo del progetto Linking Open Data[4] del W3C è di estendere il Web
pubblicando diversi open datasetcome RDF sul Web e impostando link RDF tra i dati
da differenti risorse. Nell'ottobre del 2007, i dataset contenevano più di due miliardi
di triple RDF, collegate da più di due milioni di link RDF. Da maggio 2009 sono
cresciuti a 4,2 miliardi di triple RDF, collegate da circa 142 milioni di link RDF.
IIS Avogadro
20/02/2019 66
FOSS4GRiconciliazione con RDF
RDF - Resource Description Framework
RDF Modello dei dati interpretabile dalle macchine
gli umani interpretano HTML, le macchine hanno bisogno di dati meno ambigui
Disambiguazione: es: Washington
1) una città?
2) una persona? Quale persona?
URI ( Unified Resource Identifier)
URL (Unified Resource Locator)
SPARQL ( SPARQL Protocol and RDF Query Language)
Linguaggio per interrogare sorgenti dati RDF
Nota: è necessario aver installato l’estensione RDF
IIS Avogadro
20/02/2019 67
FOSS4GRiconciliazione con RDF
RDF - Resource Description Framework
SPARQL permette delle interrogazioni semantiche a databases.
Es: Wikidata permette un SPARQL endpoint con una Web-GUI dal September 2015.
Elenco SPARQL end points
SPARQL query service GUI : https://query.wikidata.org
SPARQL Endpoint:
https://query.wikidata.org/bigdata/namespace/wdq/sparql?query={SPARQL}
https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service
https://www.wikidata.org/wiki/Wikidata:SPARQL_query_service
IIS Avogadro
20/02/2019 68
FOSS4GAppendice: Riconciliazione con RDF
RDF - Resource Description Framework
RDF->Add reconciliation service->Based on SPARQL endpoint
https://www.w3.org/wiki/SparqlEndpoints
IIS Avogadro
20/02/2019 69
FOSS4GAppendice:Riconciliazione con RDF
RDF - Resource Description Framework
RDF->Add reconciliation service->Based on SPARQL endpoint
https://www.w3.org/wiki/SparqlEndpoints
IIS Avogadro
20/02/2019 70
FOSS4GSitografia
https://www.openstreetmap.org OpenStreetMap
www.openrefine.org OpenRefine
https://github.com/OpenRefine/OpenRefine/wiki/GREL-Functions
GREL
https://github.com/OpenRefine/OpenRefine/wiki/Understanding-Regular-
Expressions Regular expression
https://umap.openstreetmap.fr/it UMAP
www.datasciencetoolkit.org geolocation service
https://leafletjs.com/ Leaflet
https://trello.com/ Trello
www.sermig.org Sermig
www.wikimedia.org Wikimedia
www.wikidata.org Wikidata
www.itisavogadro.it Istituto A. Avogadro di Torino
IIS Avogadro
20/02/2019 71
FOSS4GBibliografia
-Using OpenRefine Ruben Verborgh, Max De Wilde
Packt Publishing, 2013
-Semantic Web E.Della Valle,I.Celino, D.Cerizza
Pearson , 2009
IIS Avogadro
20/02/2019 72
FOSS4GGlossario dei termini
• Json
• Geojson
• Cc by
• Leaflet
• UMAP
• OSM OpenStreetMap
• Nominatim
• Geolocalizzazione
• Facet
• Reconciliation
• Wikidata
• OpenRefine
• GREL
• Java
IIS Avogadro
20/02/2019 73
FOSS4GGrazie a tutti
IIS Avogadro
20/02/2019 74
FOSS4GPuoi anche leggere
