Senior Storage & Data Engineer — ETH Zürich

Descrizione completa

Senior Storage & Data Engineer 80%-100%, Lugano, a tempo determinato stampa Druppo Lo Swiss National Supercomputing Centre (CSCS) sviluppa e gestisce un'infrastruttura di calcolo e di ricerca dati ad alte prestazioni che supporta la scienza di livello mondiale in Svizzera. Il suo laboratorio di utenti è disponibile per i ricercatori nazionali e internazionali in accademia, industria e settore business. Il centro è gestito da ETH Zurich e ha sede presso il suo data center di Lugano e a Zurigo. Per questa posizione la posizione di lavoro è Lugano o Zurigo. Il contratto è per due anni. Sfondo del progetto Memorizzare i petabyte è la parte facile. La parte difficile è tutto tra il momento in cui i dati atterrano su disco e il momento in cui un ricercatore — o un lavoro di formazione — può effettivamente fidarsi, trovarlo, e usarlo. I nostri filesystem paralleli e i negozi di oggetti già spostano i dati velocemente. Ciò che non fanno da soli è dire a uno scienziato da cui proviene un dataset, da cui le trasformazioni lo hanno prodotto, se è la versione che ha supportato il risultato pubblicato dello scorso trimestre, o come alimentarlo a un DataLoader senza saturare il sottosistema I/O. Questo divario — tra byte grezze e dati utilizzabili, tracciabili, riproducibili — è dove vive questo ruolo. Potrai lavorare a entrambe le estremità: lo strato di archiviazione (throughput, integrità, tiering a scala multipetabyte) e lo strato di dati sopra di esso (linea, provenienza, scoperta, modelli di accesso). Se sei mai stato infastidito che "i dati sono sul cluster" viene trattato come la fine del lavoro piuttosto che l'inizio di esso, leggere. Descrizione del lavoro

• Ingestione del ponte e uso. Progettare le tubazioni e i metadati che trasformano i dati ingestibili in qualcosa di rintracciabile e consumabile — cataloghi, schemi e livelli di accesso che corrispondono a come i lavori di formazione e le simulazioni effettivamente leggono, non solo dove i byte siedono.
• Rendere tracciabili i dati. Costruisci lignaggio e la provenienza in modo che qualsiasi dataset, checkpoint o risultato possano essere ricondotti ai suoi input e trasformazioni. La reproducibilità è un requisito di prima classe qui, non un retrofit.
• Singolo per il carico di lavoro. Ottimizzare i filesystem paralleli (Lustre, GPFS) e lo storage degli oggetti per la convalutazione, i piccoli file e i modelli di grande controllo della formazione GPU distribuita e della simulazione HPC.
• Operare in scala, in modo sicuro. Progettare ed eseguire lo storage multi-petabyte con l'integrità e la disponibilità di lavoro scientifico dipende da — la codifica di cancellazione, ridondanza, tiering caldo-architettonico.
• Automatizzare tutto. Distribuire e scalare i servizi di archiviazione e dati come codice. L'infrastruttura dei fiocchi di neve non sopravvive a questa scala.
• Renderlo osservabile. Sanità di stoccaggio dello strumento, tendenze di capacità e prestazioni di pipeline così i problemi si estendono prima che gli utenti li sentano.
• Traduci. Trasformare modelli di accesso reale da scienziati di dominio e ingegneri ML in requisiti tecnici - e spingere indietro quando una richiesta avrebbe tranquillamente rompere qualcosa a valle. Per un progetto nel campo del clima e del clima, finalizzato alla comprensione e alla mitigazione dell'impatto del cambiamento climatico, è disponibile un'apertura per due anni. Il contratto iniziale di due anni potrebbe potenzialmente essere esteso o addirittura diventare permanente. Profilo
• Grado tecnico (CS, ingegneria) o esperienza equivalente che dimostra la stessa profondità.
• Solid storage grounding: filesystems (blocco e oggetto), tuning delle prestazioni, ridondanza (RAID, codifica di cancellazione).
• Python, e comfort automatizzare l'infrastruttura (Ansible, Terraform, o simile).
• Una comprensione di funzionamento di come ML e carichi di lavoro scientifici consumano i dati — miliardi di piccoli file, grandi checkpoint, sharding — e perché i layout ingenui cadono.
• Un punto di vista sulla linea di dati, la provenienza o la riproducibilità — e l'attrezzo ideale che hai usato per applicarlo. Cosa ti aiuta a distinguerti
• Filesystem paralleli manuali (Lustre, Spectrum Scale/GPFS) o storage distribuito (Ceph, VAST).
• Formati di dati scientifici — HDF5, Zarr, Parquet — e opinioni su quando ciascuno guadagna il suo posto.
• Deposito oggetti (S3