Giacinto DONVITO INFN-Bari - CERN Indico
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Giacinto DONVITO
INFN-Bari
Giacinto DONVITO -- Tier2 Bari 1Outlook
• Stato
• hw
• sw
• Futuro
• PON Gare
• SW
• Attività di R&D
• Dubbi e punti interrogativi
Giacinto DONVITO -- Tier2 Bari 2Stato Tier2: HW
• La maggior parte delle macchine sono acquisti ReCaS
• Lo storage sta cominciando ad uscire fuori manutenzione: il prossimo anno sarà un
problema
• Per le CPU è già un problema: ReCaS sta comprando le manutenzioni HW «fuori budget»
• Lo storage Huawei finalmente in produzione
• Non ottimale… ma comunque funzionale
• Gara storage su fondi 2018: test delle gare IBISCO
• Ha vinto Lenovo
• offerta molto bassa: frutto di un «investimento» non facilmente ripetibile
• Ci sono avanzati un po’ di soldi, stiamo cercando di capire se si possano riutilizzare (per un 6/5)
• Tecnicamente sembra molto simile a DELL, vedremo quando arriverà in sede
• Il livello di sconto potrebbe rappresentare un «problema» per le gare IBISCO: dobbiamo
ottimizzare il capitolato per sfruttare al meglio i soldi.
Giacinto DONVITO -- Tier2 Bari 3Stato Tier2: HW
• Network:
• Praticamente saturato
• Anche in questo fuori manutenzione: ReCaS si sta pagando solo la manutenzione HW
• Infrastruttura di base (cooling, UPC, etc):
• Abbastanza sovradimensionata
• Anche in questo caso continuare a pagare le manutenzioni non è banale
• Attualmente tutto sotto manutenzione
Giacinto DONVITO -- Tier2 Bari 4Stato Tier2: SW
• Computing Element:
• Attualmente usiamo CREAM-CE
• Immaginiamo di passare a Condor-CE nella «prossima implementazione della farm»
• Storage:
• GPFS + SToRM+gftp
• Spesso StoRM è sovraccarico andrebbe reinstallato con la nuova versione
• Network:
• IPV6 in teoria da per tutto.
• Testato bene sullo storage
• Se/quando serve altrove si può lavorare
Giacinto DONVITO -- Tier2 Bari 5FUTURO: PON E GARE
• A Bari abbiamo 3 PON: IBISCO, CNRBiOmics, LifewatchPLUS
• Per CNRBiOmics e LifewatchPLUS il mandato è quello di
completare gli acquisti il prima possibile
• Entro un anno potremmo già avere alcune delle risorse in funzione
• IBISCO invece sta cercando di compattare nel minor numero
possibile di gare:
• Questo potrebbe comportare un po’ di risparmio/ottimizzazione del
budget, ma temiamo comporterà un notevole ritardo nell’acquisizione della
«prima CPU» utilizzabile su fondi di progetto
Giacinto DONVITO -- Tier2 Bari 6Progetto IBiSCo (dettagli)
Completo rifacimento e
Istituzione Budget potenziamento della farm ReCaS
INFN € 4,394,040.00 Item valore
UNBA € 2,170,470.00
HTC (core) 11,520
CNR-IREA € 594,300.00
Cloud/HPC (core) 4.096
Totale € 7,158,810.00
GPU 18
ALTRO Storage posix disk (TB) 11.800
Storage Cloud Ceph (TB) 1.710
2 GRUPPI FRIGO E CRACK UNIBA
Storage SSD (TB) 315
IMPIANTO DI COGENERAZIONE UNIBA
Eapansione Tape Library (TB) 15,000
12 RACK e relative PDU INFN
Espansione UPS INFN
Impianto spegn. incendi sala UPS UNIBA
Rete LAN e WAN UNIBACNR PONs
Con fondi INFN
LifewatchPLUS CNRBiOmics
CPU: ~ 640 Core
Storage: ~1PB of CEPH storageFUTURO: Software, etc
• Nei PON non è facile coprire le manutenzioni degli oggetti già in
casa,
• In un caso ci stiamo provando sperando di passarla liscia
• Non è previsto nessun acquisto di SW con licenza
• Speriamo di caricare le manutenzioni il più a lungo possibile su fondi PON
Giacinto DONVITO -- Tier2 Bari 9Attività di R&D
• DataLake:
• GR5
• XDC
• PON IBISCO
• Accesso a risorse di Cloud Compute
• DEEP-HDC
• LifewatchPLUS
• EOSC-Hub
• Storage gerarchico per supportare la Tape
Giacinto DONVITO -- Tier2 Bari 10Dubbi e punti interrogativi
• Computing Element:
• Servirà ancora?
• Passiamo tutti a CondorCE?
• GPFS:
• Possiamo continuare ad usarlo?
• Se non usiamo GPFS come usiamo la tape e come gestiamo gli utenti locali che usano
posix
• SRM:
• C’è una idea su come/quando dismetterlo, sempre che sia confermato che lo
dismettiamo…
Giacinto DONVITO -- Tier2 Bari 11Back-up slides Giacinto DONVITO -- Tier2 Bari 12
IBISCO: OR15
• Attivazione nodo distribuito IPCEI-HPC-BDA
• inizio: M8
• durata: 20 mesi
• soggetti:
• Istituto nazionale di fisica nucleare - Sezione di Bari dell'INFN
• Università degli Studi di BARI ALDO MORO - Dipartimento di Fisica Interateneo dell'Università di Bari
• Istituto nazionale di fisica nucleare - Sezione di Napoli dell'INFN
• Università degli Studi di Napoli Federico II - Centro Servizi Informativi (CSI) della Federico II
• Istituto nazionale di fisica nucleare - Sezione di Catania dell'INFN
• spesa totale: € 591.820,00
• OR15: l’implementazione di una di rete di servizi hardware e software che permetta ai
diversi data center della infrastruttura IBiSCo di operare come un tutt’uno.
• Responsabile scientifico per l'O.R.
• Giacinto Donvito
Giacinto DONVITO -- Tier2 Bari 13IBISCO: OR15
• Finanziamenti «solo» per server di «accesso»
• Sono i server di front-end per l’esportazione dei dati e i gateway per l’accesso alle risorse di
calcolo
• I siti IBISCO potranno quindi far parte di una federazione italiana/EU di Data-lake
INFN
Tier2
INFN
Tier1
IBISCO
Site-1
IBISCO
Site-2
Giacinto DONVITO -- Tier2 Bari 14IBISCO: OR15
• All’interno dei siti IBISCO: Bari ha la possibilità di fornire una soluzione di
archive storage (dimensione iniziale: almeno 15Pbyte)
• È previsto che venga usata da tutti i siti IBISCO per l’archivio di dati critici
• Può essere una soluzione aggiuntiva per altri siti INFN e per esperimenti che non hanno un
sito di archivio o per offrire ridondanza al CNAF
IBISCO
Site-1
IBISCO
Site-2
Giacinto DONVITO -- Tier2 Bari 15Sinergie in Europa
• ESCAPE
Comunità di utenti
interessate all’utilizzo • WLCG
della tecnologia • BELLE-II
• XDC
Sviluppo SW per la • WLCG-Demonstrator@NA
creazione del DataLake • SCORES@NA
• Xcache@PG
ESCAPE: Astro-particle
• WLCG-DOMA
cluster (including SKA)
Creazione • 32 partner (CNRS lead)
dell’infrastruttura HW • 16Meuro
IDDLS • 800keuro INFN
The scientific drive towards combining and aligning
data from different facilities online and offline will
open-up the way towards the implementation of a
data-lake infrastructure for astronomy and physics
and it will be offered as a pillar infrastructure to be
connected to EOSC for the next decades’ data
challenges.
Giacinto DONVITO -- Tier2 Bari 16IDDLS: The project
• INFN-GARR collaboration to realize a prototype of an
Italian DataLake exploiting:
• Last generation networking technologies provided by GARR
• DCI (Data Center Interconnection) equipment
• SDN (Software Defined Network) deployment
• Software for creating scalable storage federations provided
by INFN
• eXtreme-DataCloud project (H2020 - INFN lead)
• SCoRES project (INFN-NA)
• Real life use cases for testing
• CMS
• ATLAS
Possible topologies of the GARR Network with DCI and SDN
• BELLE-II for the DataLake
• Possibly involving LNGS experiments (XENON) and VIRGO
Giacinto DONVITO -- Tier2 Bari 17IDDLS: Timeline
• 3 years project
• First year
• Technology scouting for DCI equipment to be deployed by GARR
• Application (INFN) requirements analysis
• Network equipment acquisition (INFN and GARR) and Lab testing
• Deployment on mixed Lab+WAN environment of the networking
equipment
• Creation of the DataLake on sites connected with standard networking
and first prototype using DCI
• Second year
Lab deployment at GARR for testing
• Testing of the mixed (Lab+WAN) configuration
• Final creation of the DataLake on the 3 INFN sites with DCI systems
• Performance evaluation and comparison
• Possible acquisition of new equipment with increased performance
• Third year
• Deployment only on WAN of the networking equipment
• Optimization of the DataLake
• Performance evaluation
• Final consideration
Mixed Lab+WAN deployment
Giacinto DONVITO -- Tier2 Bari 18PON Infrastrutturali: Lifewatch
• Informazioni di base:
• Soggetto proponente: CNR LifewatchPLUS
• Soggetti co-proponenti:
• INFN Valore progetto: 18.324.862,64 euro
Quota INFN: 1.337.835,46 euro
• Unisalento (con ripartizione per Unità Operativa):
Sezione di Bari 1.337.835,46 euro
• Unibo
• [Coordinatore Scientifico di progetto: dr. Antonello.Provenzale,
CNR]
• Come nel caso di ReCaS e I.Bi.S.Co abbiamo deciso di
concentrare tutte le risorse nello stesso data center e renderle
sinergiche 19
Giacinto DONVITO -- Tier2 BariPON Infrastrutturali: LifewatchPLUS
• L'obiettivo principale della proposta è sviluppare e rafforzare
ulteriormente l’e-infrastructure di LifeWatch-ITA:
• implementandola come hub nazionale e rendendola il principale
punto di accesso ai prodotti dell'attività di ricerca nazionale sulla
biodiversità e gli ecosistemi, interconnessa con il Network Nazionale
della Biodiversità (NNB), data repository di dati sulla biodiversità;
• potenziando il suo Service Centre per renderlo il centro di ricerca
sulla biodiversità e gli ecosistemi più avanzato e inclusivo a livello
nazionale.
Giacinto DONVITO -- Tier2 Bari 20PON Infrastrutturali: LifewatchPLUS
• INFN coordina l’Obiettivo Realizzativo OR1, che ha come oggetto il potenziamento del
Data Centre distribuito di LifeWatch-ITA in collegamento con il Data Centre ReCaS,
che già ospita alcuni servizi di LifeWatch-ITA dedicando spazio di storage e di calcolo
all’Infrastruttura e che, dopo il potenziamento, ospiterà il nodo centrale della struttura
distribuita di LifeWatch-ITA.
• INFN curerà anche la predisposizione del Data Centre distribuito che contribuirà agli
sviluppi della European Open Science Cloud che viene prospettata come la piattaforma
Europea in grado di supportare con i propri servizi cloud le Infrastrutture Europee di
ricerca.
• INFN collabora inoltre all’OR 4, portando le competenze presenti nella sua Unità
Operativa di Bari, alla Realizzazione di un Hub nazionale per le risorse di dati su
biodiversità ed ecosistemi e alla definizione dei requisiti delle piattaforme collaborative
e degli ambienti virtuali di ricerca che saranno realizzati con l’azione di potenziamento
complessivo.
Giacinto DONVITO -- Tier2 Bari 21PON Infrastrutturali: LifewatchPLUS
• Tutti gli acquisti saranno avviati al mese 1 e conclusi nei
primi 12 mesi di progetto.
• Referente INFN: Dott. Giacinto Donvito
• Referenti scientifici INFN per ciascun OR
• Dott: Giacinto Donvito (OR1 e OR4)
Giacinto DONVITO -- Tier2 Bari 22How to reach the objectives
• Implement a cloud with a single administrative domain
• The management of the cloud is made centrally
• Small involvement of the local technical team
• The network has to be properly configured (together with GARR) in order to make the
different sites look as a single one
• Virtual Private Network at the physical level (L3)
• Require a coherent installation among all the sites
• Need a unified vision and planning.
• Storage: CEPH storage solution with RDB Mirror configuration + Swift based
inter-site replication
• We (INFN) has already good experience with a distributed instance of a Cloud
infrastructure across three different national sites
• Using OpenStack
Giacinto DONVITO -- Tier2 Bari 23LifewatchPLUS infrastructure: general layout
Huge
inter HPC and
activ
e tas
ks
User level service/application
deployment
HPC
Mesos
Application
Infrastructure level mirror
level mirror
L3 VPN
Giacinto DONVITO -- Tier2 BariPON Infrastrutturali: Elixir
• Informazioni di base: CNRBiOmics
• Soggetto proponente: CNR Valore progetto e quota INFN
• Soggetti co-proponenti: (con ripartizione per Unità Operativa):
CNR: € 18.000.000 90%
• INFN INFN-Bari: € 500.000 2,5%
• Uniba UNIBA: € 1.500.000 7,5%
Totale: € 20.000.000 100%
• [Coordinatore Scientifico di progetto: dr. Luciano Milanesi, CNR]
• Le risorse informatiche saranno acquisite sia da UNIBA (Dipartimento di Fisica)
che INFN-Sezione di Bari e sono state pensate per essere complementari
• Uniba ha una parte di finanziamento su macchine di sequenziamento per circa
800k€
• Come nel caso di ReCaS e I.Bi.S.Co abbiamo deciso di concentrare tutte le
risorse nello stesso data center e renderle sinergiche a quelle degli altri due PON
Giacinto DONVITO -- Tier2 Bari 25PON Infrastrutturali: CNRBiOmics
• L’inizio della procedura è al mese 1 e il pagamento al mese 12 o 20
• Referente INFN
• Dott: Giacinto Donvito
• Referenti scientifici INFN per ciascun OR
• Dott: Giacinto Donvito
• OR-3: Implementazione di una piattaforma di calcolo per la Bioinformatica
• OR-4: Implementazione di una piattaforma per il training e lo sviluppo di
corsi multimediali
• OR-5: Biorepository distribuito per la preservazione dei dati “omici” e
Bioinformatici
Giacinto DONVITO -- Tier2 Bari 26PON Infrastrutturali: CNRBiOmics
• Il potenziamento dell’infrastruttura ICT dovrà soddisfare tre necessità
prioritarie dell’infrastruttura ELIXIR, sia per la sua piena funzionalità che per la
sua integrazione in ambito internazionale:
• La creazione di un Repository nazionale per i dati biologici, con particolare riferimento ai
dati umani. Questo servizio coprirà le esigenze di conservazione a lungo termine dei dati
biologici umani prodotti dai progetti di ricerca nazionali per i prossimi anni, integrandosi
con l’archivio europeo European Genome-phenome Archive (EGA) sviluppato da ELIXIR
europa e diventando la principale istanza Local EGA italiana. Questo approccio porta con sé
un duplice vantaggio: da una parte viene assicurato il completo controllo a livello nazionale
sull’accesso ai dati genetici nel repository e quindi la completa aderenza alle normative
nazionali per il trattamento dei dati dei cittadini italiani ed europei, dall’altro assicura però
la perfetta integrazione e disponibilità dei dati locali in ambito europeo, in conformità
anche con quanto previsto dalla dichiarazione sottoscritta dall’Italia sulle connessioni
transfrontaliere delle banche dati genomiche nazionali. Infatti, con questa soluzione i
dataset presenti nel repository locale saranno consultabili da qualsiasi utente EGA, che
potrà richiederne l’accesso al titolare dei dati e, una volta ottenuta l’autorizzazione,
scaricare i dati utilizzando le procedure di sicurezza previste da EGA.
Giacinto DONVITO -- Tier2 Bari 27PON Infrastrutturali: CNRBiOmics
• L’accesso ad una infrastruttura di calcolo ad alte prestazioni per
applicazioni bioinformatiche, adeguatamente configurata con software,
workflow e banche dati allo stato dell’arte, per la gestione e l’analisi dei dati
biologici generati dalla piattaforma genomica che si intende potenziare
nell’ambito del presente progetto o da altre progettualità di rilievo in
ambito nazionale.
• La realizzazione di una infrastruttura per la fornitura dei servizi in
collaborazione con ELIXIR-IIB in ambiente Cloud. Tale infrastruttura dovrà
fornire lo storage necessario per gestire la conservazione i dati di
sequenziamento agli utenti e ai servizi di analisi in Cloud, eliminando così
diversi passaggi intermedi (e.g. download dalla piattaforma di
sequenziamento, conservazione in server locali poco sicuri, upload in
archivio) che possono portare a criticità per la sicurezza dei dati.
Giacinto DONVITO -- Tier2 Bari 28Rack
tipo attrezzatura q.tà valore unitario sconto atteso valore totale totale con IVA subtotali V-Core TByte GPU
unit
Working Node HTC standard 30 € 40,082.00 10% € 1,082,214.00 € 1,320,300.00 2 384
Macchine servizi centrali 11 € 8,000.00 10% € 79,200.00 € 96,620.00 1 40
Rack 12 € 3,000.00 20% € 28,800.00 € 35,140.00 N/A
PDU 24 € 830.00 10% € 17,928.00 € 21,870.00 N/A
UPS 1 € 191,080.00 28% € 137,577.60 € 167,840.00 N/A
Server Cloud (con 2 GPU per nodo) 6 € 72,215.00 15% € 368,296.50 € 449,320.00 2 224 2
Storage CEPH 19 € 7,420.00 10% € 126,882.00 € 154,800.00 4 90
Storage 9 € 140,000.00 12% € 1,108,800.00 € 1,352,740.00 20 1180
Upgrade rete 1 € 191,150.00 15% € 162,477.50 € 198,220.00 N/A
Fortigate evoluto 1 € 60,000.00 5% € 57,000.00 € 69,540.00 1
SSD only disk 3 € 30,740.00 10% € 82,998.00 € 101,260.00 1 45
Metadata server
Switch monitoring e management
2
30
€ 21,390.00
€ 766.66
10%
0%
€ 38,502.00
€ 22,999.80
€ 46,970.00
€ 28,060.00 INFN-BA
1
1 • CPU: 22736
apparati per rete WAN a 100 Gb 1 € 360,000.00 20% € 288,000.00 € 351,360.00 € 4,394,040.00 N/A
4%
• Disco: 19 PB
Impianto di condizionamento sala CED (2 unità) 1 € 122,530.00 € 117,628.80 € 143,510.00 N/A
Impianto di rilevazione e spegnimento incendi sala UPS 1 € 24,790.00 10% € 22,311.00 € 27,220.00 N/A
Sistema di trigenerazione 1 € 693,376.72 5% € 658,707.88 € 724,580.00 N/A
Storage per TSM
upgrade ed Espansione Tape Library
1
1
€ 38,000.00
€ 566,000.00
5%
12%
€ 36,100.00
€ 498,080.00
€ 44,040.00
€ 607,660.00
N/A
N/A 15000 • Tape: 25 PB
Server HPC con 2 GPU 3 € 72,215.00 15% € 184,148.25 € 224,660.00 2 224 2
Server HPC 5 € 45,539.13 15% € 193,541.30 € 236,120.00 2 224
Rete LAN e MAN
switch Infiniband a 36 porte, con cavi
1
1
€ 171,740.00
€ 14,580.00
30%
10%
€ 120,218.00
€ 13,122.00
€ 146,670.00
€ 16,010.00
UNIBA
€ 2,170,470.00
N/A
1
• GPU: 36
Nodi di calcolo HPC 3 € 45,539.13 10% € 122,955.65 € 150,010.00 2 224
SSD only disk 4 € 30,740.00 15% € 104,516.00 € 127,510.00 1 45
Server Multi GPU: 96 Core e 384GB di RAM e 4 GPU 3 € 47,818.00 15% € 121,935.90 € 148,760.00 2 96
switch Infiniband 1 € 14,580.00 10% € 13,122.00 € 16,010.00 CNR-IREA 1
Storage 1 € 140,000.00 11% € 124,600.00 € 152,010.00 € 594,300.00 20 1180
Macchine servizi centrali 3 € 8,000.00 15% € 20,400.00 € 24,890.00 1 40 I.Bi.S.Co.
Server HPC con 2 GPU 5 € 72,215.00 15% € 306,913.75 € 374,430.00 2 224 2
15%
Storage CEPH
Server HPC
15
6
€ 7,420.00
€ 45,539.13 15%
€ 94,605.00
€ 232,249.56
€ 115,420.00
€ 283,340.00
4
2 224
90
Lifewatch
Storage 2 € 140,000.00 15% € 238,000.00 € 290,360.00 INFN-BA 20 1180
Working Node HTC standard
Server HPC
6
4
€ 40,082.00
€ 45,539.13
15%
0%
€ 204,418.20
€ 182,156.52
€ 249,390.00
€ 222,230.00
€ 1,337,830.00 2
2
384
224
Elixir
Storage 1 € 126,000.00 0% € 126,000.00 € 153,720.00 INFN-BA 20 1180
SSD only disk 3 € 30,740.00 0% € 92,220.00 € 112,510.00 € 488,460.00 1 45
Server HPC con 2 GPU 4 € 72,215.00 0% € 288,860.00 € 352,410.00 2 224 2
Espansione Tape Library 5PB 2 € 128,800.00 0% € 257,600.00 € 314,270.00 UNIBA N/A 5000
Storage CEPH 3 € 7,420.00 0% € 22,260.00 € 27,160.00 € 693,840.00 4 90
Giacinto DONVITO -- Tier2 Bari 29
TOTALE € 9,678,940.00Considerazioni generali sui PON
• Le risorse di cui abbiamo pianificato l’acquisto non dovrebbero
essere un problema da un punto di vista dello spazio rack
• Gli upgrade previsti per UPS e Cooling sono di gran lunga superiori a
quello che servirebbe per supportare anche gli upgrade IT previsti
• Stiamo pianificando un upgrade importante della tape library (non
solo da un punto di vista della capacità 25PB) permettendo anche la
gestione gerarchica dei dati: funzionalità tipica del Tier1
• Questo renderebbe ReCaS una soluzione ottimale per il disaster recovery di
dati critici per l’INFN (esperimento INFN non LHC, per esempio)
• Visto l’incremento previsto di risorse di storage potremmo avere
problemi con le licenze del file system GPFS
Giacinto DONVITO -- Tier2 Bari 30Puoi anche leggere
