Programmazione CNAF 2019 - Gaetano Maron 20 febbraio 2019 - Infn
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Programmazione CNAF 2019
Gaetano Maron
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 1
Agenda
• lo stato del Centro in generale e le sue prospettive, eventuali punti di
debolezza;
• Per ogni Unità Fondamentale e per ogni servizio:
• stato
• personale e organizzazione interna
• punti di debolezza
• la programmazione dell'anno
• progetti esterni in cui è coinvolta l'unità
• fondi richiesti per la gestione ordinaria.
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 2
• Il 10 e 11 aprile CNAF review da parte del Comitato Tecnico Scientifico
• Dobbiamo preparare uno status report della nostra attività
• Scadenze
• Primo draft 15 marzo
• Versione finale 29 marzo
• Editor del documento i 3 responsabili di UF + Francesco Giacomini+
GM (proposta)
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 3
Agenda review 2015 20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 4
Four Pilars to define the CNAF mission
1 3
Technology Transfer towards
industry, public administration and
Scientific Computing: support
society at large.
for the 4 WLCG experiments, 30 Astro-
particle and GW experiments, Scouting for External Projects
theoretical physics, beams simulations.
CNAF 4
2
Research and Innovation:
• Distributed Systems (CLOUD and
GRID), ext projects ICT Services for INFN to
• Software Developments for develop, manage and support general
experiments and ext. projects utility services such as bookkeeping,
• Tracking on the new hardware enterprise content management, web
technology servers, etc.
16 October 2018 CVI INFN, Napoli, Gaetano Maron 5
Personnel breakdown 16 October 2018 CVI INFN, Napoli, Gaetano Maron 6
Personnel Allocation 16 October 2018 CVI INFN, Presidenza INFN, Gaetano Maron 7
Personnel distribution
Permanent Post-
Temporary Staff Total
Staff Doc
External
INFN INFN INFN
Funds
Farming 3 3
Data Management 4 2 6
Facility 4 1 5
management
Data Center
Network 2 1 3
User Support 1 4+2+1 8
Management 1 1
Total Data Center 15 1 3 7 26
Software 3 1 1 5
Development
SDDS Distributed Systems 3 3
Reclutare Management 1 1
Total SDDS 7 1 1 9
External Project 1 1 2
PETT
TTLab 1 1
Total PETT 2 1 3
Reclutare National Services
National ICT Services 3 3
Information System 6 6
On leave 2 2
Total 35 1 4 9 49
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 8
Reclutamento di giovani
• E’ il vero punto debole che abbiamo !!
• I responsabili di struttura, e in particolare i capi UF, devono dedicare
più sforzo a questa attività. Non ha senso proporre progetti se poi non
siamo in grado di attrarre giovani talenti.
• C’è un problema di comunicazione
• Incrementiamo i mezzi classici (contatti personali, seminari di attrazione, ecc.)
• Esploriamo sistemi professionali (per esempio con linkedin proponendoci come
fossimo un’azienda che cerca lavoro)
• Esploriamo la possibilità di studenti proveniente da paesi con cui abbiamo
rapporti di collaborazioni ufficiale (Cina, Russia, Brasile, ecc. )
• Chi segue queste azioni ?
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 9
Considerazioni generali sul personale
• Le stabilizzazioni sono state una buona occasione per il cnaf che si sta
avvicinando ad avere il valore ideale di 75% del personale a TI.
• Effetto negativo delle stabilizzazioni: difficile avere TD anche su progetti
esterni
• Via libera agli AR per i progetti esterni
• Dobbiamo cambiare modo di usare i progetti esterni:
• si devono fare con più personale di staff che nel passato
• Serve una disciplina più stringente prima di applicare ad un progetto
• Deve esserci una validazione a livello locale che mostri il personale di staff coinvolto e
l’accordo con le strutture
• Meno progetti esterni, ma più focalizzati
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 10Progressioni di carriera
• Primi tecnologi e dirigenti tecnologi OK
• Personale IV-VIII ancora bloccata la situazione, ma speriamo si trovi
presto una soluzione (tutti la invocano)
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 11Interazione progetti (esterni) - strutture
• Un nuovo progetto deve essere approvato dalla dirigenza del CNAF (o
dal CDC)
• Deve essere presentato il piano del personale
• Lo staff permanente coinvolto
• Le strutture coinvolte (servizi coinvolti)
• Il progetto deve dimostrare di avere un sistema di project management
(possibilmente coerente con quanto usato internamente al cnaf)
• Deve valere il principio (o almeno avvicinarci a ) che: «Il PI gestisce il
progetto, il capo UF/Reparto/Servizio gestisce il personale»
• PI e responsabili di struttura devono collaborare in modo intenso per
evitare clash di compiti affidati ad una stessa persona.
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 12Project Management
• Dobbiamo fare uno sforzo per cercare di uniformare i sistemi di project
management usati all’interno del CNAF
• La maggior parte dei progetti usano gli stessi tool o moto simili,
situazione buona. Andrebbe però fatto un lavoro sistematico per dare
una linea guida agli utilizzatori
• Sarebbe molto utile unificare il documentale (alfresco per esempio) in
modo che le informazioni dei progetti siano facilmente accessibili
all’interno del cnaf
• Chi se ne occupa ?
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 13Gestione attività all’interno delle strutture
• Su questo punto dobbiamo fare un passo avanti
• Serve un sistema di gestione delle attività che ci permetta di
monitorarne lo stato in qualsiasi momento
• Attività trasversali o richiesta di intervento da parte di altri servizi
devono essere regolate con un sistema di ticketing
• Alcuni servizi lavorano già in questo modo, dobbiamo estendere la
pratica a tutto il cnaf.
• Definiamo un set di tool minimo da cui partire, una metodologia e una
UF volontaria.
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 14Attività sperimentale 2019 • Shutdown di LHC • Meno pressione sul data taking di LHC • Mettere in opera nei prossimi due anni tutto quello che serve per RUN 3 (in particolare interagire con LHCb e Alice) 20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 15
Attività sperimentale 2019
• Ma la maggior parte degli esperimenti in stato RUNING nel 2019
• VIRGO/LIGO riparte. Dedicare grande attenzione a questo
esperimento. RUN continuo per tutto l’anno
• Da monitorare con costanza i trasferimenti da Cascina a noi durante la presa
dati
• Ancora incerta la situazione con CTA. Stiamo cercando di fare in modo
che i dati del primo telescopio in funzione siano mandati anche da noi.
• Va capito se nel medio termine siamo ancora considerati tra i Tier
dell’esperimento. In questo caso vanno ripresi i contatti, da capire come
impostare la partecipazione
• Azione intensa con l’esperimento cinese JUNO per essere un loro Tier1,
il principale in europa ? Collaborazione con Lione e Dubna
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 16Attività di sviluppo 20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 17
Research and Innovation @ CNAF
Toward an Data Management
European CLOUD Toward
Data Lake technology
Infrastructure
EOSC-Hub
IDDLS
Italian Distributed Data
Lake for Science
22 Jannuary 2019 Advanced Computing Workshop: HPC and Beyond, Gaetano Maron 18Data Lake
HPC
center
Lake CPU
Lake
Node 3 center
Node 1
CPU > 1 Tb/s
center
Lake Lake
Node 2 Node 4
CPU CPU
center HPC center
center
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 19Elastic expansions of the data center
RECA
600 km, 20 Gbps
SBari
20 kHS06
CINECA CNAF
T0 HPC 20 km
1 Tbps
T1 -DC
180 kHS06 Aruba
CPUs located remotley used by T1 in a trasparent way. Azure
HNSci
Google Cloud
• to absorb peak of requests
• to exploit the availability of CPUs or energy at low prices
• to access the resources of commercial cloud providers
16 October 2018 CVI INFN, Napoli, Gaetano Maron 20Una possibile infrastruttura: data lake Italia
1. Un grande data center (DC), 3. I DC e tutti i CC INFN dovranno
con risorse sia HTC che HPC, da essere connessi da una rete ad
esporre nel “Data Lake” di altissima velocità basata su link tipo
WLCG composto da almeno 2 DCI (Data Center Interconnect)
DC fisici (i.e. CNAF al tecnopolo
ed un altro sito principale della
infrastruttura. i.e. uno del PON- 4. I laboratori/esperimenti INFN
SUD) che producono dati (Tier0): i
dati raw dovranno essere
conservati nel DC INFN (+lab)
fornendo agli esperimenti in
2. Un insieme di centri che questione strumenti standard
abbiano la funzione di per la gestione dei dati.
computing center (CC) con CPU
e cache (i.e. Tier-2) ed
eventualmente disco in
funzione della capacità di
supporto del sito
5. CLOUD@INFN per
accesso alla infrastruttura 21CNAF-CINECA connection
Data Center Interconnect
CINECA 20 km
Dark fiber – 1 Tbps
CNAF
216 nodes (180 kHS06) Core
of the Marconi SC switch
Core
switch
CNAF Tier1
adapted for HTC jobs HTC
CNAF
Router
Data Center
Marconi HPC Cineca
Supercomputer Router
LHC
General IP dedicated
Network Network
16 October 2018 CVI INFN, Napoli, Gaetano Maron 22Primi passi verso l’utilizzo di macchine HPC
• Test preliminari sulla partizione A2 (KNL) della macchina Marconi,
risultati incoraggianti
• Proposta di grant a PRACE per XXX Mcorehour di Marconi
• Fondamentale riuscire utilizzare queste macchine
• Se l’Italia riesce ad acquisire una macchine pre-exascale (200 Pflop) di
EuroHPC possiamo utilizzarla anche noi o in parassitaggio o allocando
partizioni anche importanti dei nodi costituenti la macchina.
• Le attività che vanno in questa direzione vanno supportate
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 23CLOUD@INFN
• E’ sempre più cruciale avere una cloud nazionale INFN (anche data lake
ne avrà bisogno), le richieste vengono da più parti
• Completiamo al più presto la transizione di CLOUD@CNAF e facciamo
in modo che venga usata a livello nazionale. Potrebbe essere il primo
passo verso una CLOUD@INFN.
• CPU on demand + DoDAS + altri servizi cloud dal portfolio di INDIGO
• Accesso utenti (e autorizzazione) punto cruciale che impatta sulla nostra
organizzazione.
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 24ML@CNAF
• Gruppo di lavoro per l’analisi dei log con tecniche ML
• Nuovo hardware a disposizione
• Possibilità di lavorare anche con la macchina Davide del Cineca
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 25TTLab ICT Innovative Services
• CNAF, as Tier1 of the LHC experiments, has extensive skills in managing
large data sets (BIG DATA) and on CLOUD systems (INDIGO)
• TTLab is exploiting this experience offering platforms to store and
manage data to the private world.
• A very interesting sector is represented by the hosting of physical and
virtual systems for storage of biomedical data and management of data
analysis applications for research in the biomedical / genomic field.
• The ISO 27001:20014 certification is necessary to provide services in
this sector, CNAF has obtained such certification at the end of 2017.
16 October 2018 CVI INFN, Napoli, Gaetano Maron 26Two example of Innovative ICT services
• The HARMONY alliance is a European network of excellence for
Big Data in hematology, consisting of publi-private partners and
Associated members. The goal is to unlock valuable knowledge on
blood cancers, Hematologic Malignancies (HMs).
• INFN CNAF is hosting the ISO 27001 enabled infrastructure of the
HARMONY Data Platform. Contribution 360 k€.
• Alliance Against Cancer (Alleanza Contro il Cancro-ACC) is the
largest Italian organization for cancer research. The primary aim of
ACC is to promote the network among oncologic institutes in
order to bring state of the art diagnostics and advanced
therapeutics to patient care.
• ACC and INFN-CNAF are progressing to establish a collaboration to
implement a data platform along the same line of Harmony one.
16 October 2018 CVI INFN, Napoli, Gaetano Maron 27Verso il Tecnopolo 20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 28
Dove siamo
• Definiti i requisiti del sito per:
• Ospitare una macchina pre-exascale (200 Pflop)
• JRU EuroHPC finanzia 2 macchine di questo tipo al 50%, il rimanente lo mette lo stato che
ospita la macchina
• Aperta la call per aggiudicare le macchine, scadenza 4 aprile 2019
• Un GdL cineca+infn sta scrivendo la proposta per rispondere alla call
• Ospitare il Data Center del CNAF con l’ambizione di diventare un data lake
node
• Progetto preliminare della parte edile e dell’impiantistica pronto per il
25/2
• A seguire progetto definitivo, progetto esecutivo, gara per assegnare i
lavori
• Obiettivo: hall pronte a ricevere le macchine inizio 2021
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 29Top view of the Tecnopolo
• A INFN + CINECA working
group has defined the
power, cooling and space
6 «botti» about 3000 m2 each requirements of the site.
ECMWF phase 1 + • The same group interacts
Expansion option
with the architects and
engineers of the design
team , to check the
progress of the project.
• Preliminary project by end
2018
• Few months later launch
of tender to undertaken
the modernization works
and to install the cooling
Sites for INFN and CINECA and power plants.
• Halls ready to receive the
computers by end 2020.
16 October 2018 CVI INFN, Napoli, Gaetano Maron 3020 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 31
20 febbraio 2019 Programmazione 2019, CNAF, Gaetano Maron 32
Puoi anche leggere
