OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
OSSERVAPPALTI PIEMONTE
Servizio sperimentale per la divulgazione dei dati
sugli appalti pubblici
Approccio a linked data e tecnologie semantiche
Francesca Ansaldi, 02/03/2019
AGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONI
AGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONI
PARTECIPANTI AL PROGETTO
CSI PIEMONTE: Consorzio per il Sistema Informativo al
quale la PA piemontese affida la gestione e la
realizzazione dei propri servizi ICT
SYNAPTA S.R.L.: Start up innovativa, offre una nuova
generazione di servizi per l’integrazione ed analisi dei
dati sfruttando la tecnologia Linked Data
REGIONE PIEMONTE: Osservatorio Regionale sui
Contratti pubblici di lavori, servizi e forniture (Sezione
Regionale di Osservatorio Nazionale presso ANAC).
PARTECIPANTI AL PROGETTO – CSI PIEMONTE Promotore e realizzatore del progetto di ricerca e sviluppo Implementiamo servizi verticali per la PA: abbiamo realizzato e gestiamo il sistema informativo dell’Osservatorio Regionale sui contratti pubblici del Piemonte Forniamo servizi per open data, big data, internet of things, analytics, business intelligence Integriamo dati pubblici e privati da fonti differenti per creare servizi attraverso una smart data platform, che unisce innovazione tecnologica, nuovi modelli di business per l’imprenditorialità del territorio e il raggiungimento di nuove frontiere amministrative
PARTECIPANTI AL PROGETTO – SYNAPTA SRL
Partner e realizzatore del progetto in collaborazione con CSI‐Piemonte
• Ha implementato e gestisce, estende, integra il servizio
contrattipubblici.org che, nell’ambito dei contratti pubblici: fornisce uno
strumento di analisi, monitoraggio, risposta alla richiesta di accesso alla
trasparenza amministrativa della PA
• Porta al progetto la competenza metodologica, analitica e tecnica, nonché
l’entusiasmo sul mondo del web semantico e dei linked data
PARTECIPANTI AL PROGETTO – OSSERVATORIO REGIONALE CONTRATTI Sostenitore del progetto in collaborazione con CSI‐Piemonte e Synapta Tra le sue competenze, svolge attività di monitoraggio sui contratti pubblici, anche al fine di rilevare e diffondere i principali fenomeni legati agli acquisti della P.A. Gestisce, attraverso il suo sistema informativo, i dati relativi alle fasi di programmazione di opere e acquisti, di pubblicità ai fini dell’affidamento degli stessi (bandi e gli avvisi di gara, post‐ informazione), di realizzazione Collaborazione con ANAC, controlli degli interventi mirati, solleciti, aumento spettro (dall’aggiudicazione dei contratti informativo raccolta dati e alla loro conclusione) conoscenza
PRESENTAZIONE E OBIETTIVI DEL PROGETTO Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici di lavori, servizi e forniture, attraverso l’utilizzo dei linked data e tecnologie semantiche.
OBIETTIVI DEL PROGETTO
Rappresentazione efficace ed intuitiva della
conoscenza del contesto dei contratti pubblici
Arricchimento dei dati raccolti dall'Osservatorio
Regionale sui contratti pubblici con dati «esterni»,
attraverso l’approccio dei linked data e di tecnologie
semantiche
Osservazione di fenomeni correlati ai temi di
trasparenza ed anticorruzione, nonché al
monitoraggio della spesa pubblica piemontese;
utilizzo di nuove modalità di ricerca
SITUAZIONE DELLA PA – IN QUALE CONTESTO CI MUOVIAMO
C’è una molteplicità di BD
La qualità delle
informazioni è qualità dati e BD diverse che sovrarichiedono
dati corrispondenti
migliorabile
I processi sono
ancora complicati processi
Le entità trattate nei
Ci si riferisce domini della PA sono
ancora poco a standard entità difficilmente univoche
standard (anche solo a livello
percettivo)SITUAZIONE DELLA PA
In questo contesto la PA investe in una trasparenza, MA:
spesso percepita internamente
all’ente come un obbligo e una
formalità
esternamente potrebbe dare
evidenza di fenomeni poco
comprensibili e non sempre
realisticiAGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONIAPPROCCIO AL MONDO LINKED
Prime definizioni, intuizione e comprensione dell’approccio
Linked data nascono per:
facilitare l’interoperabilità dei dati sul web
collegare fonti dati eterogenee rese disponibili da
soggetti indipendenti tra loro (che possono avere
obiettivi diversi nell’utilizzo dei dati)
migliorare l’efficacia nell’accesso e nell’esplorazione di
banche dati specialistiche
rendere la ricerca di dati più adeguata alle esigenze degli
utenti nel contesto specificoAPPROCCIO AL MONDO LINKED Primi passi nel mondo linked
APPROCCIO AL MONDO LINKED
Analogia dei linked data ad una rete di metropolitane (Tim Berners‐
Lee):
• le ontologie sono le linee che connettono tra loro le applicazioni
(le stazioni)
• I metadati sono i convogli che trasportano l’informazione (i
passeggeri) tra una stazione e l’altraAPPROCCIO AL MONDO LINKED – SI COMINCIA A CAPIRE
Motori semantici
Open e linked data
OPEN: si rimuovono le
barriere concettuali
all’apertura e utilizzo dei dati
LINKED: si rimuovono gli
ostacoli tecnologici alla
libera condivisione dei dati
Dalle tabelle al grafo URL e IRIAPPROCCIO AL MONDO LINKED – SI COMINCIA A CAPIRE
RELAZIONALE DATA BASE A GRAFO
Domande e risposte a Domande e risposte a
RICERCA
motori di ricerca motori di ricerca SEMANTICI
Link e query federate; utilizzo
Copia/incolla; export/import;
DATI ESTERNI end‐point, possibilità di
ETL, trattamenti vari….
scarico locale
I dati sono sempre copie, devono I dati sono presenti alla fonte e
essere tenuti allineati, la fonte semplicemente utilizzati,
non sempre si recupera, sono a contengono intrinsecamente le
sé stanti relazioni con altri datiAPPROCCIO AL MONDO LINKED – DATI ESTERNI
AGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONIAPPROCCIO AL MONDO LINKED ‐ ONTOLOGIA Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA Atterriamo quindi al concetto di ontologia e lod‐cloud
AGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONIATTIVITA’ DI PROGETTO – METODO DI LAVORO
Per gli obiettivi prima riportati, in base a quanto già realizzato nell’ambito
contratti pubblici ed alla disponibilità di utilizzare i dati del territorio:
Come procediamo?
• Definizione ONTOLOGIA (fa ordine, standardizza, consolida)
• TRIPLIFICAZIONE dati (per renderli LINKED e valutarne le potenzialità)
• LINK a dati esterni (Indice PA, ISTAT, …: accedere a mondo esterno senza
inglobarlo)
Cosa realizziamo?
• PORTALE per la DIVULGAZIONE e valorizzazione, CONSULTAZIONE e
RICERCA mirata, esposizione di FENOMENI e che possa portare, in
prospettiva, servizi per cittadini ed «addetti ai lavori»:
• Motore di ricerca tematico
• Statistiche e rapporti informativi
• InfograficheATTIVITA’ DI PROGETTO – ONTOLOGIA
Adesso la situazione si ribalta…:
contesto complessoATTIVITA’ DI PROGETTO – ONTOLOGIA Occorre fare una serie di passi: • Definire le entità del contesto (utilizzo glossari, Codice Appalti, definizioni varie) difficoltà elevata, in particolare su alcuni concetti molto dibattuti (es. opera, intervento, lotto) che hanno un significato «applicativo», un significato «di uso comune», un significato «normativo», etc. • Analizzarne e configurarne le relazioni • Aggiungere gli attributi • Comprenderne il processo
ATTIVITA’ DI PROGETTO – ONTOLOGIA
Esito
Procedura
di gara
€ Lotto
Contratto
CIG
Avviso
Bando
SA
pdf
Programmazione
Imprese
Progetti
Opere
CUPATTIVITA’ DI PROGETTO – ONTOLOGIA
Esito
OSS. REGP ‐ ANAC Procedura
di gara
€ OSS. REGP
Lotto
Contratto
OPEN BILANCI CIG
Avviso
Bando
OSS. REGP – INDICE PA
SA
pdf
Programmazione
Imprese
INFOCAMERE ‐ CERVED
Progetti
Opere
CUP
OSS. REGP – OPEN CUPATTIVITA’ DI PROGETTO – ONTOLOGIA
ATTIVITA’ DI PROGETTO – ONTOLOGIA
Entità/classi
Sottoclassi
Relazioni
Attributi e vincoli
+ livelli ulteriori con nodi
di relazione virtuali
+ vocabolari controllati
(es. CPV, procedure di
realizzazione, etc.)ATTIVITA’ DI PROGETTO – ONTOLOGIA Adeguamento a standard di AGID, mediazione tra esercizio teorico ed utilizzo:
ATTIVITA’ DI PROGETTO – ONTOLOGIA
ATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»
Banca dati OsservAppalti
Osservatorio contratti pubblici del Piemonte
BD arricchita con i linked data ContrattiPubblici.org
Smart
Cig
Gare
Lotti
Anagrafiche
LOD cloud
Prog.
Bandi
Triennale
ContrattiATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»
Banca dati OsservAppalti
Osservatorio contratti pubblici del Piemonte ‐ Banca dati normalizzata
BD arricchita con i linked data ‐ Applicazione di correttivi
sui dati importati
‐ I dati alla fonte rimangono
inalterati
Gare ‐ Contiene il sottoinsieme
Lotti dei dati del sistema
Anagrafiche Osservatorio che risulta
necessario e sufficiente per
descrivere i fenomeni e
rappresentare il contesto
Prog. di interesse
Bandi
Triennale ‐ Può contenere in forma
strutturata dati che alla
Contratti fonte (SI Oss.) sono
contenuti all’interno di
altri (es. nell’oggetto)ATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»
Correttivi sulla banca dati «terza»: la fonte rimane inalterata, mentre la
BD terza, sulla quale si basano statistiche, elaborazioni e ragionamenti
applica i correttivi.
Esempi:
• CIG nel campo oggetto, estratto e utilizzato come dato
• Incoerenze tra CPV e oggetto: si agisce sulla tipizzazione a partire da
oggetto i cpv in forma intelligente e si applica il correttivo alla BD terza
SISTEMA SOAP OSSERVAPPALTI PIEMONTE
Il cittadino, attraverso le funzionalità si potranno osservare i fenomeni
dell’attuale sistema SOAP visualizza i rilevati con l’applicazione dei correttivi
dati reali, così come conferiti dai («magie») e tutte le spiegazioni a
soggetti titolati corredo.ATTIVITA’ DI PROGETTO – SPERIMENTAZIONI DI MACHINE LEARNING
Sviluppare un prototipo di sistema di categorizzazione automatica dei contratti,
basato su machine learning e Natural Language Processing
Casi d’uso
suggerimenti: all’utente che inserisce l’oggetto del contratto vengono
consigliati dei codici CPV
classificazione a posteriori per arricchimento di database e applicazione
correttivi
migliori condizioni di filtro per evidenziare fenomeni legati al corretto ambito
DATI DI INPUT
Classificazione tramite modelli statistici
ALGORITMI
Dati testuali
Il risultato è un modello che stima la (da oggetto bando, lotto)
probabilità di appartenenza di un lotto ad
una certa classe Variabili di categoria
Eliminazione di termini non significativiATTIVITA’ DI PROGETTO – ARCHITETTURA
ATTIVITA’ DI PROGETTO – ARCHITETTURA
AGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONIPORTALE SPERIMENTALE – HOME PAGE
Il portale è esposto in un ambiente accessibile da Regione
Piemonte, in uno stato di pre‐produzionePORTALE SPERIMENTALE – RAPPORTO INFORMATIVO ON LINE
PORTALE SPERIMENTALE – CONTINUITA’ CON RAPPORTO INFORMATIVO
PORTALE SPERIMENTALE – LEGGIBILITA’ DELLE INFORMAZIONI
Strumento informativo per la rappresentazione
dei fenomeni con un buon ausilio alla lettura
Finalità dell’indagine
Glossario delle voci di
analisi e fonti normative
Ermeneutica dei
fenomeni, significato
Fonti dati
Descrizione correttivi
applicati
Perimetro di osservazione
(ambito, periodo…)PORTALE SPERIMENTALE ‐ INFOGRAFICHE
PORTALE SPERIMENTALE ‐ INFOGRAFICHE
• Fenomeno della rotazione
• Continuità temporale
• Utilizzo di dati di tipologia
diversa «uniti» per la
rappresentazione (dati da SI
Osservatorio, dati open,
dati linked)PORTALE SPERIMENTALE ‐ INFOGRAFICHE Finalità Quadro della distribuzione e dell’articolazione dei subappalti in relazione ai contratti di appalto della stazione appaltante con l’indicazione delle principali informazioni (denominazione operatore economico, importo, categoria delle lavorazioni) che pone in evidenza la maggior concentrazione del fenomeno. Fonte dati Banca dati Osservatorio contratti pubblici del Piemonte alimentata dal SOAP (Sistema Osservatorio Appalti Pubblici). Note di lettura Nel “pallogramma” sono rappresentati solo i contratti con presenza di subappalti. La dimensione delle bolle relative agli appalti e subappalti varia in proporzione all’ammontare dell’importo. Perimetro di Osservazione Ambito stazione appaltante: regionale. Tipologia contratto: lavori. Importo: base d’asta >= di 40.000 €. Periodo: appalti aggiudicati a partire dal 1/1/2008. Metodologia di elaborazione dati I dati oggetto di rappresentazione vengono estrapolati e riversati in una banca dati dedicata in cui i valori anomali vengono scartati. Glossario Ambito stazione appaltante : stazione appaltante con obbligo di comunicazione delle informazioni alla Sezione regionale Osservatorio contratti pubblici
PORTALE SPERIMENTALE ‐ INFOGRAFICHE
PORTALE SPERIMENTALE – MOTORE DI RICERCA
PORTALE SPERIMENTALE – MOTORE DI RICERCA
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE Ontologia dei contratti pubblici – Ontologia opere di difesa del suolo
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE E DATI
Query federata SPARQL
Rendis/linked data ISPRA Osservatorio contratti Piemonte
Opere totali estratte: 2459 144 opere coincidenti
di cui
Potenziale arricchimento informativo:
• Informazioni tecniche intervento • Informazioni amministrative
e lotti associati intervento e lotti associati
• Georeferenziazione interventi • Localizzazione interventi
• Quadri economici progetto • Quadri economici progetto e lotti
• Tipologie di dissesto, litologie e • Informazioni finanziarie
opere realizzate • Soggetti interessati e
• Classificazione dei dissesti e riferimenti
delle opere di difesa del suolo • Imprese aggiudicatarie
• … • …..ULTERIORI POSSIBILITA’ – ESTENSIONE ONTOLOGIA
Pagamento
Certificato di
pagamento
ONTOLOGIA
CONTRATTI
PUBBLICI
Fattura
Opera/ProgettoAGENDA
• PRESENTAZIONE E OBIETTIVI DEL PROGETTO
• APPROCCIO AL MONDO LINKED
• ONTOLOGIA
• ATTIVITA’ DI PROGETTO
• PORTALE SPERIMENTALE
• CONCLUSIONICONCLUSIONI
Ci sono diversi strumenti e servizi che si comincia a comprendere possano
valorizzare questa mole di dati che vengono richiesti agli enti, sia
internamente alla PA, sia per i cittadini.
Prospettive, opportunità
• Esplorazione «patologie» dei sistemi informativi (che emergono vedendo i
dati sotto un altro punto di vista e con aggregazioni, disaggregazioni ad
hoc)
• Sanatorie
• Suggestion
• Visioni di insieme e viste diverse delle entità di ambito, strutturate e unite
Sfide e nuovi fenomeni da elaborare
• «Politica» che influenza i contratti ‐ «dalla programmazione alla
realizzazione»
• Dati amministrazioni locali – dati Osservatorio
• Impatto della normativa sugli appalti
• Indicatori di legalitàCONCLUSIONI
La sperimentazione è stata più che positiva
L’approccio inizialmente «oscuro» si è rivelato
«comprensibile», interessante e molto stimolante
(più facilmente affrontabile con casi reali, applicati
alle proprie realtà)
Si intuiscono le potenzialità degli strumenti,
tecnologie, approcci specifici (linked) e misti
Si prevede di portare a regime quanto realizzato nel
2019‐2020 e di proseguire le attività di
valorizzazione dei datiGrazie!
Puoi anche leggere
