IBM INFOSPHERE INFORMATION SERVER - LA PIATTAFORMA ABILITANTE PER LA DATA GOVERNANCE - UNIMIB
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
IBM INFOSPHERE INFORMATION SERVER
LA PIATTAFORMA ABILITANTE PER LA DATA GOVERNANCE
Cinzia Fasce
SWG Client Technical Professional - InfoSphere
Gennaio 2018Viviamo in un mondo interconnesso
Viviamo in un mondo interconnesso
Developer Data Data Owner Data Business
Engineers CDO Scientists Analyst
Self-Service
Data & Analytics
Public Cloud On-Premises
Private Cloud
Systems of Insights
Systems of
Engagement
APIs/Services APIs/Services
Systems of
Automation Advanced
Analytics Systems of Record
Real-Time
Analytics
Metadata
Catalog
Social & Internet
Communities Digital Statistical
Big Data Transformation Modeling
Information Governance & SecurityI dati crescono, questo si sa, ma sapere che a oggi il 90% di
tsunami dei dati essi, come hanno riscontrato alcune ricerche, è stato creato nei
soli ultimi due anni probabilmente è meno noto.
D a g l i a n n i ’ 9 0 i n po i
sensori che acquisiscono dati metereologici, l’esplosione dei contenuti
che condividiamo sui social media, enorme quantità di registrazioni di molte delle informazioni, per
dati relativi agli acquisti o dati bancari che ogni giorno si accumulano, esempio riguardanti la relazione
archivi di immagini e video, dati telefonici, i segnali Gps che ci col cliente, sono nativamente
scambiamo, questi sono solo pochissimi esempi, ma danno disponibili in formati digitali.
certamente l’idea della dimensione del fenomeno.
La Computer Science, molto più vicina al reale
svolgimento dei fatti, ha pragmaticamente cercato
statistica saper analizzare ed interpretare dati è un vecchio mestiere.
di reagire, proponendo metodi e algoritmi adatti a
primi anni ‘90, gli analisti di dati indagare dati in quantità assolutamente inusuale
quali dati raccogliere e quindi registrare; quali interviste precedentemente, da qui la nascita di nuove
commissionare, come codificarle e renderle disponibili per un
software che le analizzasse. Ognuna di queste operazioni aveva un
discipline come il Data Mining, Statistical
costo. Lo scopo era quello di trarre conoscenza/previsioni Machine Learning e altre.
utilizzando il minor numero di dati possibili.
Il data scientist, con le sue capacità di analizzare e interpretare dati, diviene così sempre più una
figura professionale centrale e quindi richiesta nel mondo aziendale. Su una cosa tutti gli analisti
concordano: uno dei problemi dei prossimi decenni sarà il gap tra la scarsa offerta e l’abbondante domanda
di data scientist.I dati crescono, questo si sa, ma sapere che a oggi il 90% di
tsunami dei dati essi, come hanno riscontrato alcune ricerche, è stato creato nei
soli ultimi due anni probabilmente è meno noto.
D a g l i a n n i ’ 9 0 i n po i
sensori che acquisiscono dati metereologici, l’esplosione dei contenuti
che condividiamo sui social media, enorme quantità di registrazioni di molte delle informazioni, per
dati relativi agli acquisti o dati bancari che ogni giorno si accumulano, esempio riguardanti la relazione
archivi di immagini e video, dati telefonici, i segnali Gps che ci col cliente, sono nativamente
scambiamo, questi sono solo pochissimi esempi, ma danno disponibili in formati digitali.
certamente l’idea della dimensione del fenomeno.
La Computer Science, molto più vicina al reale
svolgimento dei fatti, ha pragmaticamente cercato
statistica saper analizzare ed interpretare dati è un vecchio mestiere.
di reagire, proponendo metodi e algoritmi adatti a
primi anni ‘90, gli analisti di dati indagare dati in quantità assolutamente inusuale
quali dati raccogliere e quindi registrare; quali interviste precedentemente, da qui la nascita di nuove
commissionare, come codificarle e renderle disponibili per un
software che le analizzasse. Ognuna di queste operazioni aveva un
discipline come il Data Mining, Statistical
costo. Lo scopo era quello di trarre conoscenza/previsioni Machine Learning e altre.
utilizzando il minor numero di dati possibili.
Il data scientist, con le sue capacità di analizzare e interpretare dati, diviene così sempre più una
figura professionale centrale e quindi richiesta nel mondo aziendale. Su una cosa tutti gli analisti
concordano: uno dei problemi dei prossimi decenni sarà il gap tra la scarsa offerta e l’abbondante domanda
di data scientist.Big Data è un fenomeno il cui risultato
…………………………………….è l’incremento della complessità
Volume
Dati a riposo
Terabytes e exabytes di
dati esistenti da
processare
8Big Data è un fenomeno il cui risultato
…………………………………….è l’incremento della complessità
Volume Velocità
Dati a riposo Dati in movimento
Terabytes e exabytes di Streaming data
dati esistenti da rispondere in
processare millisecondi-secondi
9Big Data è un fenomeno il cui risultato
…………………………………….è l’incremento della complessità
Volume Velocità Varietà
Dati a riposo Dati in movimento Dati in molte
forme
Terabytes e exabytes di Streaming data Strutturati
dati esistenti da rispondere in
processare Non-strutturati
millisecondi-secondi
Testo
Multimediali
10Big Data è un fenomeno il cui risultato
…………………………………….è l’incremento della complessità
Volume Velocità Varietà Veracity*
Dati a riposo Dati in movimento Dati in molte Dati in dubbio
forme Incertezza dovuta a
inconsistenza dei dati e
Terabytes e exabytes di Streaming data Strutturati incompletezza, ambiguità,
dati esistenti da latenza, inganno,
rispondere in Non-strutturati approssimazioni del
processare millisecondi-secondi
Testo modello
Multimediali * Veridicità, accuratezza o
precisione, correttezza
11Ma attenzione al paradosso dei Big Data:
Più Dati ma Meno Affidabili
Prende decisioni basate
1 su 3 su informazioni non
attendibili
Non possiede le
1 su 2 informazioni
necessarie
Possiede più
60% 60% informazioni di quelle
che riesce ad utilizzare
Tempo speso in ogni
40% progetto big data per
comprendere le
informazioniL’anarchia nelle Informazioni causa la perdita del loro Valore
Rework – tornare alla fonte
per verificare i dati
Business Executives
?
Prendere decisioni
senza informazioni
precise!
Governance Council
?
Governance
manuale
Applicazioni
Interne Sorgenti DatiRework – tornare alla fonte
Business Executives
per verificare i dati
Chi sono i miei
clienti migliori?
Questi dati sono
corretti e precisi? Duplicati
Prendere decisioni
Qual’è il nostro senza informazioni Inconsistenti
rischio di precise!
esposizione? Esposti
Governance Council
Qual’è la corretta
immagine dei
nostri dati? Mancanti
Governance
Chi altri utilizza
manuale
questi dati? Applicazioni
Interne Sorgenti Dati…i Dati sono la nostra prossima “risorsa naturale”
Cloud Computing
Social Media
Mobile
Internet of
Things
Alimentati da fattori tecnologici dirompenti…La vera intuizione richiede una base di
sicurezza delle informazioni
Approfondimenti Identificare nuove
sulle informazioni a Scoprire nuovi
vantaggi competitivi opportunità di
supporto del mercato e di prodotto
processo decisionale
Comprendere e Fiducia/Affidabilità Proteggere
integrare • Visualizzare la completa • Monitorare l'attività inerente
• Comprensione dei dati discendenza dei dati (data i dati sensibili
• Connessione a qualsiasi lineage) • Mascherare i dati sensibili
sorgente e destinazione dati • Essere confidenti
dell’affidabilità delle fonti datiIntegrare le Informazioni Non è Facile ed i
requisiti diventano sempre più sofisticati.
sofisticati.
Approccio Tradizionale Nuovo Approccio
Strutturato, analitico, logico Creativo, olistico, intuitivo
Data Hadoop
Hadoop
Warehous
Warehouse Streams
Streams
Dati Transazionali Web Logs
e
Dati Interni alle Social Data
Applicazioni Strutturati Big Data, Non Strutturati
Informazioni
Ripetibili Integrazioni &
Esplorativi Testi & Immagini
Data Mainframe
Lineari Governance Iterativi
Dati di sistemi OLTP Dati da Sensori
(Online Transaction
Processing) RFID (Radio
Sorgenti New
Nuove Frequency
Tradizionali Sources
Sorgenti Identification)
Dati ERPInfoSphere Information Integration and Governance
...........................................per Use Case sia in ambito Analitico che Operazionale
Enhanced 360 View
Application
of the Customer
Big Data Development &
Exploration Testing
Security/Intelligence Application
Extension Efficiency
Operations Security &
Analysis Compliance
Data Warehouse Application Consolidation &
Augmentation RetirementInfoSphere Information Integration e Governance Platform
Information Integration and Governance
Information Data Master Data Data Lifecycle Privacy &
Integration Quality Management Management Security
• Estrarre • Standardizzare • Gestione Multi-dominio • Archiviazione • Monitoraggio delle
• Trasformare • Convalidare • Implementazione in stile database attività
Registry o Transaction
• Caricare • Verificare Hub
• Gestione dei dati • Mascheramento
• Replicare • Arricchire • Manutenzione del dato in di test • Crittografia
• Federare • Riscontrare/Match modalità collaborativa • Redaction
• Governo dei Master Data
Metadata, Business Glossary e Policy Management, Entity Analytics
• Data Discovery automatico - Rilevamento automatico dei dati
• Repository di metadati aziendali
• Terminologia aziendale definita nel Business Glossary
• Definire, condividere ed attuare politiche di governance delle informazioni
• Blueprint di progetto sulla governance delle informazioni
• Contesto di acquisizione delle informazioni incrementaleIntegrazione e governance delle informazioni .......
..................nell’ambito dei Big Data
InfoSphere Information Server
Comprendere, integrare e governare i dati tramite
BIG DATA PLATFORM una piattaforma MPP (Multi Parallel Processor)
che supporta Hadoop / noSQL
Systems
Management
Application
Development
Discovery
InfoSphere Data Replication e
InfoSphere Federation Server
Accesso ai dati in real-time e near-real time
Accelerators senza impatti sui sistemi operazionali
Hadoop System Stream Computing Data Warehouse
InfoSphere Optim
Gestire il ciclo di vita delle informazioni
migliorando le prestazioni/performance nel
Information Integration & Governance rispetto delle regole di conservazione/retention
InfoSphere Guardium
Monitorare, proteggere e controllare i dati
sensibili
Data Media Content Machine Social
InfoSphere Master Data Management
Agire su «visualizzazioni» attendibili dei dati
anagrafici per migliorare i processi aziendali
critici
21Un nuovo modo di mettere i dati al lavoro
Semplificare Arricchire Accelerare
Accesso
Dati Affidabili
Approccio Decisioni
Ovunque
Collaborativo Veloci
Risiedano
Facile Reperebilita’
Analitica
Approviggionamento
Omnipresente
Dati Affidabili
Ottenere un maggior valore dai
propri datiInfoSphere Data Architect
Modellazione
Analisi e
Descrivere
profilazione
l’architettura
dei dati Valutare la
qualità e
Information Analyzer
Glossario di scoprire i
contenuti
business
Regole della
Policy Definire e
condividere gli Qualità
obiettivi Convalidare
Information Governance Catalog
Data Lineage
Tracciare Monitoraggio della
Monitoraggio /
origine e qualità
tracking
destinazione
Information Governance Dashboard
DataStage & QualityStage Data Quality Exception Console
Intregrazione e Bonificare ed
Standardizzazione arricchireMetadati condivisi nel Processo di Data Governance
Metadati di Business
B
Business rules, Stewardship, Business Definitions, Glossaries, Algorithms che usino il
linguaggio di business. Audience: Utenti di Business.
Metadati Tecnici
T
Definiscono i sistemi Source and Target, la struttura delle tabelle e gli attributi delle
colonne. Audience: Utenti di specifici tool Users – BI, ETL, Profiling, Modeling.
Metadati Operazionali
O
Informazioni relative all’esecuzione di applicazioni: record count, indicatori di errore
e altre statistiche Audience: Utenti di Operations, Management e di Business.
Letteralmente, “data about data” che descrivono le informazioni dell’azienda
sia dal punto di vista del business che da quello tecnicoInfoSphere Data Architect
Modellazione
Analisi e
Descrivere
profilazione
l’architettura
dei dati Valutare la
qualità e
Information Analyzer
Glossario di scoprire i
contenuti
business
Regole della
Policy Definire e
condividere gli Qualità
obiettivi Convalidare
Information Governance Catalog
Data Lineage
Tracciare Monitoraggio della
Monitoraggio /
origine e qualità
tracking
destinazione
Information Governance Dashboard
DataStage & QualityStage Data Quality Exception Console
Intregrazione e Bonificare ed
Standardizzazione arricchireInfoSphere Information Analyzer: Investigazione e
Le due funzioni chiave
Analisi dei database Monitoraggio della conformità
basata sui contenuti alle regole di business
• Data profiling • Sviluppo guidato delle regole di controllo
• Analisi di dominio, frequenza e formato • Definizione soglie di controllo
• Classificazione • Gestione dei trend
• Identificazione delle chiavi • Controllo output da riga di comando
• Identificazione delle relazioni • Documentazione automatica
• Generazione metadati condivisi
• Documentazione automatica
26 Controllo completo della qualitàInfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
Column Analysis
Analisi delle frequenze di distribuzione
Analisi di Classe, Proprietà, Formato,
Dominio e Completezza
Table Analysis
Analisi delle “Primary Key”
Cross-Domain Analysis
Analisi delle “Foreign Key”
e delle analogie tra colonne
Valutare la qualità e scoprire i contenutiInfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
28InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
29InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
30InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
31InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
32InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
33InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
34InfoSphere Information Analyzer: Investigazione
Data Profiling - Data Classification - Data Quality
35Data Profiling - Data Classification - Data Quality - Publish
Data Profiling - Data Classification - Data Quality - Publish
Data Profiling - Data Classification - Data Quality - Publish
Data Profiling - Data Classification - Data Quality – Publish - Query
Lavorare insieme con lo stesso Metadata Repository
Information Governace Catalog Information Analyzer
Vocabolario Profilazione e Classificazione
Common Enterprise dei Source Data
Share Share
Metadata RepositoryInfoSphere Information Analyzer:
Data Rule Definition Data Rule
Logica della regola Binding Logica e Dati Output
attributo esiste e non è uguale a ‘ ’ attributo = EPDSP_COD_FSC esiste e Record conformi
EPDSP_COD_FSC non è uguale a ‘ ’
Record non conformi
Definizione Concettuale
Concetto: Convalidare il codice fiscale
Definizione Logica
Rule Definition: verifica esistenza Rule Definition: controllo di formato
attributo AAAAAA99A99A999A
Definizione Fisica
Rule: Oracle.COD_FSC exists Rule: DB2.COD_FISCALE exists
Data Rule Definition: descrive la logica del controllo
Data Rule: istanza eseguibile della rule definition associata a specifici datiInfoSphere Information Analyzer:
Viste per Rule e per distribuzione delle EccezioniInfoSphere Information Analyzer:
Viste per Rule e per distribuzione delle EccezioniInfoSphere Information Analyzer:
Viste per Rule e per distribuzione delle EccezioniEsempiopowered by Cognos
InfoSphere Data Architect
Modellazione
Analisi e
Descrivere
profilazione
l’architettura
dei dati Valutare la
qualità e
Information Analyzer
Glossario di scoprire i
contenuti
business
Regole della
Policy Definire e
condividere gli Qualità
obiettivi Convalidare
Information Governance Catalog
Data Lineage
Tracciare Monitoraggio della
Monitoraggio /
origine e qualità
tracking
destinazione
Information Governance Dashboard
DataStage & QualityStage Data Quality Exception Console
Intregrazione e Bonificare ed
Standardizzazione arricchireCategory
• Vocabolario comune tra business ed IT
• Creazione di un Vocabolario con Term
descrizioni e regole di business
• Stabilisce responsabilità e competenze
sul dato tramite le funzioni di “data
stewardship”
• Fornisce informazioni sul contesto di Policy
business agli asset informativi
Rule
Database = DB2
Codice Fiscale Italiano
Schema = CRMAAC
Table = DLYTRANS Il codice fiscale, istituito dal Ministero delle Finanze del Governo italiano serve per
Column = CODFIS
Technical Business identificare le persone fisiche e giuridiche a fini fiscali. Questo valore è nella forma
data type = char(16) AAAAAA99A99A999ACategorie
Descrizioni in linguaggio Business organizzate in gerarchie. Categorie possono contenere altre categorie e termini
Termini
Le proprieta’ dei termini ne danno significato e li differenziano dagli altri
Category
Term
TermCategory Term
Term
Term
Term
Politiche
Descrizioni in linguaggio Business organizzate in gerarchie
Documentano gli obiettivi di information governance dell’azienda
Stabiliscono le linee guida relative ad esempio a
• Uso dei dati all’interno dell’intera azienda
• Ottenimento e mantenimento della data quality
• Politiche di storicizzazione dei dati
Regole
Descrizioni in linguaggio Business di concetti
specifici come calcoli, misure di data quality, valori
di range, controlli di validità.Policy
Policy
Rule
Rule
Data Rule
Da dove proviene l’informazione
Asset Management Obiettivi
• Governance
• Visibilità e reporting
• Responsibilità
• Produttività
• Valutare l'impatto del cambiamento (Impact Analysis)
• Massimizzare il riutilizzo
• Affidabilità/Fiducia
• Comprendere le relazioni
• Fornire Tracciabilità e Data Lineage
?Data Lineage: da dove proviene un’informazione?
Permette di capire
velocemente l’origine
view end-to-end lineage delle informazioni
Aiuta l’“utente di
business” a prendere
decisioni critiche
utilizzando informazioni
affidabili e corrette
zoom in
Navigazione visuale del data lineage per stabilire la
filiera informativa di un asset (es. Report BI)
Impact Analysis: cosa accade se modifico un asset?
Mostra graficamente l’impatto della variazione di un asset
Supporto alla governance della manutenzione correttiva
ed evolutiva63
Anche dai report
di Business IntelligenceInfoSphere Data Architect
Modellazione
Analisi e
Descrivere
profilazione
l’architettura
dei dati Valutare la
qualità e
Information Analyzer
Glossario di scoprire i
contenuti
business
Regole della
Policy Definire e
condividere gli Qualità
obiettivi Convalidare
Information Governance Catalog
Data Lineage
Tracciare Monitoraggio della
Monitoraggio /
origine e qualità
tracking
destinazione
Information Governance Dashboard
DataStage & QualityStage Data Quality Exception Console
Intregrazione e Bonificare ed
Standardizzazione arricchireCreare il disegno migliore prima di implementarlo
InfoSphere Data Architect è un ambiente di modellazione dati integrato che consente di creare e
manutenere modelli logici, fisici e dimensionali, oltre che generare ed eseguire DDL. Modello logico
• Indipendente dal Target
• Modello entità-relazione
Modello fisico
• Dipendente dal
database
• Tabelle, viste, relazioni,
stored procedures,
constraints e altri
elemento specifici del
database
Modello dei Domini
• Logical data types con
definizione di vincoli
Glossario
• Definizione di una
nomenclatura standardLogical data model
• Target independent • New
• Entity-relationship model • Import
• Trasform
Physical data model
• New
• Import
• Forward engineer
• Target specific •Reverse engineer
• Database objects
(views, indexes, etc.)InfoSphere Data Architect
Modellazione
Analisi e
Descrivere
profilazione
l’architettura
dei dati Valutare la
qualità e
Information Analyzer
Glossario di scoprire i
contenuti
business
Regole della
Policy Definire e
condividere gli Qualità
obiettivi Convalidare
Information Governance Catalog
Data Lineage
Tracciare Monitoraggio della
Monitoraggio /
origine e qualità
tracking
destinazione
Information Governance Dashboard
DataStage & QualityStage Data Quality Exception Console
Intregrazione e Bonificare ed
Standardizzazione arricchireInfoSphere Information Analyzer & DataStage
Monitoraggio della qualità:
Published data rules possono essere utilizzate in Job DataStage tramite il Data Rule Stage
DataStage
integrationPuoi anche leggere
