OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta

Pagina creata da Riccardo Basso
 
CONTINUA A LEGGERE
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
OSSERVAPPALTI PIEMONTE
 Servizio sperimentale per la divulgazione dei dati
                sugli appalti pubblici
     Approccio a linked data e tecnologie semantiche

Francesca Ansaldi, 02/03/2019
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
PARTECIPANTI AL PROGETTO

                 CSI PIEMONTE: Consorzio per il Sistema Informativo al
                 quale la PA piemontese affida la gestione e la
                 realizzazione dei propri servizi ICT

                 SYNAPTA S.R.L.: Start up innovativa, offre una nuova
                 generazione di servizi per l’integrazione ed analisi dei
                 dati sfruttando la tecnologia Linked Data

                 REGIONE PIEMONTE: Osservatorio Regionale sui
                 Contratti pubblici di lavori, servizi e forniture (Sezione
                 Regionale di Osservatorio Nazionale presso ANAC).
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
PARTECIPANTI AL PROGETTO – CSI PIEMONTE

Promotore e realizzatore del progetto di ricerca e sviluppo

Implementiamo servizi verticali per la
PA: abbiamo realizzato e gestiamo il
sistema informativo dell’Osservatorio
Regionale sui contratti pubblici del
Piemonte

Forniamo servizi per open data, big
data, internet of things, analytics,
business intelligence

Integriamo dati pubblici e privati da fonti
differenti per creare servizi attraverso
una smart data platform, che unisce
innovazione tecnologica, nuovi modelli
di business per l’imprenditorialità del
territorio e il raggiungimento di nuove
frontiere amministrative
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
PARTECIPANTI AL PROGETTO – SYNAPTA SRL

Partner e realizzatore del progetto in collaborazione con CSI‐Piemonte

   • Ha implementato e gestisce, estende, integra il servizio
     contrattipubblici.org che, nell’ambito dei contratti pubblici: fornisce uno
     strumento di analisi, monitoraggio, risposta alla richiesta di accesso alla
     trasparenza amministrativa della PA

   • Porta al progetto la competenza metodologica, analitica e tecnica, nonché
     l’entusiasmo sul mondo del web semantico e dei linked data
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
PARTECIPANTI AL PROGETTO – OSSERVATORIO REGIONALE CONTRATTI

Sostenitore del progetto in collaborazione con CSI‐Piemonte e Synapta

  Tra le sue competenze, svolge attività di monitoraggio sui contratti
  pubblici, anche al fine di rilevare e diffondere i principali fenomeni legati
  agli acquisti della P.A.

  Gestisce, attraverso il suo
  sistema informativo, i dati
  relativi alle fasi di
  programmazione di opere e
  acquisti, di pubblicità ai fini
  dell’affidamento degli stessi
  (bandi e gli avvisi di gara, post‐
  informazione), di realizzazione       Collaborazione con ANAC, controlli
  degli interventi                      mirati, solleciti, aumento spettro
  (dall’aggiudicazione dei contratti    informativo raccolta dati e
  alla loro conclusione)                conoscenza
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
PRESENTAZIONE E OBIETTIVI DEL PROGETTO

Servizio sperimentale per la divulgazione dei dati sugli appalti
pubblici di lavori, servizi e forniture, attraverso l’utilizzo dei
linked data e tecnologie semantiche.
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
OBIETTIVI DEL PROGETTO

           Rappresentazione efficace ed intuitiva           della
           conoscenza del contesto dei contratti pubblici

           Arricchimento dei dati raccolti dall'Osservatorio
           Regionale sui contratti pubblici con dati «esterni»,
           attraverso l’approccio dei linked data e di tecnologie
           semantiche

           Osservazione di fenomeni correlati ai temi di
           trasparenza ed anticorruzione, nonché al
           monitoraggio della spesa pubblica piemontese;
           utilizzo di nuove modalità di ricerca
OSSERVAPPALTI PIEMONTE - Servizio sperimentale per la divulgazione dei dati sugli appalti pubblici - Synapta
SITUAZIONE DELLA PA – IN QUALE CONTESTO CI MUOVIAMO

                                                  C’è una molteplicità di BD
La qualità delle
 informazioni è       qualità         dati e BD   diverse che sovrarichiedono
                                                  dati corrispondenti
    migliorabile

                           I processi sono
                         ancora complicati   processi

                                                              Le entità trattate nei
                    Ci si riferisce                           domini della PA sono
                   ancora poco a      standard     entità     difficilmente univoche
                         standard                             (anche solo a livello
                                                              percettivo)
SITUAZIONE DELLA PA

In questo contesto la PA investe in una trasparenza, MA:

                  spesso percepita internamente
                  all’ente come un obbligo e una
                             formalità

                      esternamente potrebbe dare
                       evidenza di fenomeni poco
                      comprensibili e non sempre
                                realistici
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
APPROCCIO AL MONDO LINKED

Prime definizioni, intuizione e comprensione dell’approccio

Linked data nascono per:

          facilitare l’interoperabilità dei dati sul web

          collegare fonti dati eterogenee rese disponibili da
          soggetti indipendenti tra loro (che possono avere
          obiettivi diversi nell’utilizzo dei dati)

          migliorare l’efficacia nell’accesso e nell’esplorazione di
          banche dati specialistiche

          rendere la ricerca di dati più adeguata alle esigenze degli
          utenti nel contesto specifico
APPROCCIO AL MONDO LINKED

Primi passi nel mondo linked 
APPROCCIO AL MONDO LINKED

Analogia dei linked data ad una rete di metropolitane (Tim Berners‐
Lee):
   • le ontologie sono le linee che connettono tra loro le applicazioni
     (le stazioni)
   • I metadati sono i convogli che trasportano l’informazione (i
     passeggeri) tra una stazione e l’altra
APPROCCIO AL MONDO LINKED – SI COMINCIA A CAPIRE

         Motori semantici
                                          Open e linked data
                                      OPEN: si rimuovono le
                                      barriere concettuali
                                      all’apertura e utilizzo dei dati

                                      LINKED: si rimuovono gli
                                      ostacoli tecnologici alla
                                      libera condivisione dei dati

        Dalle tabelle al grafo                  URL e IRI
APPROCCIO AL MONDO LINKED – SI COMINCIA A CAPIRE

                RELAZIONALE             DATA BASE                  A GRAFO

            Domande e risposte a                       Domande e risposte a
                                        RICERCA
                motori di ricerca                      motori di ricerca SEMANTICI

                                                      Link e query federate; utilizzo
      Copia/incolla; export/import;
                                       DATI ESTERNI   end‐point, possibilità di
           ETL, trattamenti vari….
                                                      scarico locale

 I dati sono sempre copie, devono                        I dati sono presenti alla fonte e
   essere tenuti allineati, la fonte                         semplicemente utilizzati,
   non sempre si recupera, sono a                        contengono intrinsecamente le
              sé stanti                                        relazioni con altri dati
APPROCCIO AL MONDO LINKED – DATI ESTERNI
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA
Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA
Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA
Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA
Atterriamo quindi al concetto di ontologia e lod‐cloud
APPROCCIO AL MONDO LINKED ‐ ONTOLOGIA
Atterriamo quindi al concetto di ontologia e lod‐cloud
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
ATTIVITA’ DI PROGETTO – METODO DI LAVORO

 Per gli obiettivi prima riportati, in base a quanto già realizzato nell’ambito
 contratti pubblici ed alla disponibilità di utilizzare i dati del territorio:

 Come procediamo?
       • Definizione ONTOLOGIA (fa ordine, standardizza, consolida)
       • TRIPLIFICAZIONE dati (per renderli LINKED e valutarne le potenzialità)
       • LINK a dati esterni (Indice PA, ISTAT, …: accedere a mondo esterno senza
         inglobarlo)

 Cosa realizziamo?
 • PORTALE per la DIVULGAZIONE e valorizzazione, CONSULTAZIONE e
   RICERCA mirata, esposizione di FENOMENI e che possa portare, in
   prospettiva, servizi per cittadini ed «addetti ai lavori»:
       • Motore di ricerca tematico
       • Statistiche e rapporti informativi
       • Infografiche
ATTIVITA’ DI PROGETTO – ONTOLOGIA

  Adesso la situazione si ribalta…:
       contesto complesso
ATTIVITA’ DI PROGETTO – ONTOLOGIA

Occorre fare una serie di passi:

• Definire le entità del contesto
  (utilizzo glossari, Codice Appalti,
  definizioni varie)  difficoltà
  elevata, in particolare su alcuni
  concetti molto dibattuti (es. opera,
  intervento, lotto) che hanno un
  significato «applicativo», un
  significato «di uso comune», un
  significato «normativo», etc.

• Analizzarne e configurarne le
  relazioni

• Aggiungere gli attributi

• Comprenderne il processo
ATTIVITA’ DI PROGETTO – ONTOLOGIA

                                                                  Esito
                                                   Procedura
                                                     di gara
          €           Lotto
                    Contratto
                       CIG

                                          Avviso
                                          Bando

                          SA
                                    pdf
                                                               Programmazione
                       Imprese
                                          Progetti
                                           Opere
                                            CUP
ATTIVITA’ DI PROGETTO – ONTOLOGIA

                                                                                           Esito
                                            OSS. REGP ‐ ANAC            Procedura
                                                                          di gara
            €                                                                             OSS. REGP
                                 Lotto
                               Contratto
       OPEN BILANCI               CIG

                                                               Avviso
                                                               Bando
       OSS. REGP – INDICE PA
                                     SA
                                                   pdf
                                                                                      Programmazione
                                  Imprese
       INFOCAMERE ‐ CERVED
                                                               Progetti
                                                                Opere
                                                                 CUP
                                                                             OSS. REGP – OPEN CUP
ATTIVITA’ DI PROGETTO – ONTOLOGIA
ATTIVITA’ DI PROGETTO – ONTOLOGIA

                                               Entità/classi

                                                Sottoclassi

                                                 Relazioni

                                             Attributi e vincoli

                                    + livelli ulteriori con nodi
                                    di relazione virtuali

                                    + vocabolari controllati
                                    (es. CPV, procedure di
                                    realizzazione, etc.)
ATTIVITA’ DI PROGETTO – ONTOLOGIA

Adeguamento a standard di AGID, mediazione tra esercizio teorico ed utilizzo:
ATTIVITA’ DI PROGETTO – ONTOLOGIA
ATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»

         Banca dati OsservAppalti

     Osservatorio contratti pubblici del Piemonte
           BD arricchita con i linked data             ContrattiPubblici.org
                                               Smart
                                                Cig
     Gare
     Lotti
                    Anagrafiche

                                                           LOD cloud
                             Prog.
               Bandi
                           Triennale
                   Contratti
ATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»

         Banca dati OsservAppalti

     Osservatorio contratti pubblici del Piemonte   ‐ Banca dati normalizzata
           BD arricchita con i linked data          ‐ Applicazione di correttivi
                                                      sui dati importati
                                                    ‐ I dati alla fonte rimangono
                                                      inalterati
     Gare                                           ‐ Contiene il sottoinsieme
     Lotti                                            dei dati del sistema
                    Anagrafiche                       Osservatorio che risulta
                                                      necessario e sufficiente per
                                                      descrivere i fenomeni e
                                                      rappresentare il contesto
                             Prog.                    di interesse
               Bandi
                           Triennale                ‐ Può contenere in forma
                                                      strutturata dati che alla
                   Contratti                          fonte (SI Oss.) sono
                                                      contenuti all’interno di
                                                      altri (es. nell’oggetto)
ATTIVITA’ DI PROGETTO – «BANCA DATI ARRICCHITA»

  Correttivi sulla banca dati «terza»: la fonte rimane inalterata, mentre la
  BD terza, sulla quale si basano statistiche, elaborazioni e ragionamenti
  applica i correttivi.

  Esempi:
  • CIG nel campo oggetto, estratto e utilizzato come dato
  • Incoerenze tra CPV e oggetto: si agisce sulla tipizzazione a partire da
     oggetto i cpv in forma intelligente e si applica il correttivo alla BD terza

            SISTEMA SOAP                   OSSERVAPPALTI PIEMONTE

Il cittadino, attraverso le funzionalità   si potranno osservare i fenomeni
dell’attuale sistema SOAP visualizza i     rilevati con l’applicazione dei correttivi
dati reali, così come conferiti dai        («magie») e tutte le spiegazioni a
soggetti titolati                          corredo.
ATTIVITA’ DI PROGETTO – SPERIMENTAZIONI DI MACHINE LEARNING

   Sviluppare un prototipo di sistema di categorizzazione automatica dei contratti,
   basato su machine learning e Natural Language Processing

   Casi d’uso
         suggerimenti: all’utente che inserisce l’oggetto del contratto vengono
         consigliati dei codici CPV
         classificazione a posteriori per arricchimento di database e applicazione
         correttivi
         migliori condizioni di filtro per evidenziare fenomeni legati al corretto ambito

                                                                                        DATI DI INPUT
            Classificazione tramite modelli statistici
ALGORITMI

                                                               Dati testuali
            Il risultato è un modello che stima la       (da oggetto bando, lotto)
            probabilità di appartenenza di un lotto ad
            una certa classe                               Variabili di categoria

            Eliminazione di termini non significativi
ATTIVITA’ DI PROGETTO – ARCHITETTURA
ATTIVITA’ DI PROGETTO – ARCHITETTURA
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
PORTALE SPERIMENTALE – HOME PAGE

         Il portale è esposto in un ambiente accessibile da Regione
                  Piemonte, in uno stato di pre‐produzione
PORTALE SPERIMENTALE – RAPPORTO INFORMATIVO ON LINE
PORTALE SPERIMENTALE – CONTINUITA’ CON RAPPORTO INFORMATIVO
PORTALE SPERIMENTALE – LEGGIBILITA’ DELLE INFORMAZIONI

                         Strumento informativo per la rappresentazione
                         dei fenomeni con un buon ausilio alla lettura

                                           Finalità dell’indagine
                                           Glossario delle voci di
                                            analisi e fonti normative
                                           Ermeneutica dei
                                            fenomeni, significato
                                           Fonti dati
                                           Descrizione correttivi
                                            applicati
                                           Perimetro di osservazione
                                            (ambito, periodo…)
PORTALE SPERIMENTALE ‐ INFOGRAFICHE
PORTALE SPERIMENTALE ‐ INFOGRAFICHE

                                      • Fenomeno della rotazione
                                      • Continuità temporale
                                      • Utilizzo di dati di tipologia
                                        diversa «uniti» per la
                                        rappresentazione (dati da SI
                                        Osservatorio, dati open,
                                        dati linked)
PORTALE SPERIMENTALE ‐ INFOGRAFICHE

Finalità
Quadro della distribuzione e dell’articolazione dei
subappalti in relazione ai contratti di appalto della
stazione appaltante con l’indicazione delle principali
informazioni (denominazione operatore economico,
importo, categoria delle lavorazioni) che pone in
evidenza la maggior concentrazione del fenomeno.
Fonte dati
Banca dati Osservatorio contratti pubblici del Piemonte
alimentata dal SOAP (Sistema Osservatorio Appalti
Pubblici).
Note di lettura
Nel “pallogramma” sono rappresentati solo i contratti
con presenza di subappalti. La dimensione delle bolle
relative agli appalti e subappalti varia in proporzione
all’ammontare dell’importo.
Perimetro di Osservazione
Ambito stazione appaltante: regionale.
Tipologia contratto: lavori.
Importo: base d’asta >= di 40.000 €.
Periodo: appalti aggiudicati a partire dal 1/1/2008.
Metodologia di elaborazione dati
I dati oggetto di rappresentazione vengono estrapolati
e riversati in una banca dati dedicata in cui i valori
anomali vengono scartati.
Glossario
Ambito stazione appaltante : stazione appaltante con
obbligo di comunicazione delle informazioni alla
Sezione regionale Osservatorio contratti pubblici
PORTALE SPERIMENTALE ‐ INFOGRAFICHE
PORTALE SPERIMENTALE – MOTORE DI RICERCA
PORTALE SPERIMENTALE – MOTORE DI RICERCA
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE

   Ontologia dei contratti pubblici – Ontologia opere di difesa del suolo
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE
ULTERIORI POSSIBILITA’ – COLLEGAMENTO DI ONTOLOGIE E DATI

                               Query federata SPARQL

    Rendis/linked data ISPRA                        Osservatorio contratti Piemonte
     Opere totali estratte: 2459                          144 opere coincidenti
                                       di cui
                       Potenziale arricchimento informativo:

• Informazioni tecniche intervento              •   Informazioni amministrative
  e lotti associati                                 intervento e lotti associati
• Georeferenziazione interventi                 •   Localizzazione interventi
• Quadri economici progetto                     •   Quadri economici progetto e lotti
• Tipologie di dissesto, litologie e            •   Informazioni finanziarie
  opere realizzate                              • Soggetti interessati e
• Classificazione dei dissesti e                  riferimenti
  delle opere di difesa del suolo               • Imprese aggiudicatarie
• …                                             •   …..
ULTERIORI POSSIBILITA’ – ESTENSIONE ONTOLOGIA

                                                 Pagamento

                                                 Certificato di
                                                  pagamento

                                                 ONTOLOGIA
                                                 CONTRATTI
                                                  PUBBLICI

                                                    Fattura

                                                Opera/Progetto
AGENDA

    • PRESENTAZIONE E OBIETTIVI DEL PROGETTO

    • APPROCCIO AL MONDO LINKED

    • ONTOLOGIA

    • ATTIVITA’ DI PROGETTO

    • PORTALE SPERIMENTALE

    • CONCLUSIONI
CONCLUSIONI

Ci sono diversi strumenti e servizi che si comincia a comprendere possano
valorizzare questa mole di dati che vengono richiesti agli enti, sia
internamente alla PA, sia per i cittadini.

Prospettive, opportunità
• Esplorazione «patologie» dei sistemi informativi (che emergono vedendo i
  dati sotto un altro punto di vista e con aggregazioni, disaggregazioni ad
  hoc)
          • Sanatorie
          • Suggestion
• Visioni di insieme e viste diverse delle entità di ambito, strutturate e unite

Sfide e nuovi fenomeni da elaborare
       • «Politica» che influenza i contratti ‐ «dalla programmazione alla
         realizzazione»
          • Dati amministrazioni locali – dati Osservatorio
       • Impatto della normativa sugli appalti
       • Indicatori di legalità
CONCLUSIONI

              La sperimentazione è stata più che positiva

              L’approccio inizialmente «oscuro» si è rivelato
              «comprensibile», interessante e molto stimolante
              (più facilmente affrontabile con casi reali, applicati
              alle proprie realtà)

              Si intuiscono le potenzialità degli strumenti,
              tecnologie, approcci specifici (linked) e misti

              Si prevede di portare a regime quanto realizzato nel
              2019‐2020 e di proseguire le attività di
              valorizzazione dei dati
Grazie!
Puoi anche leggere