Apertus Engineer: Infrastructure — ETH Zürich

Descrizione completa

Apertus Engineer: Infrastrutture

100%, Zurigo, a tempo determinato

stampa Druppo

Stiamo cercando un ingegnere competente per l'infrastruttura di unirsi al team Apertus. Il candidato ideale possederà lo stack di immagini container dietro la nostra pre-formazione, post-formazione e carichi di lavoro di servizio, e collaborare con gli ingegneri CSCS per mantenere la formazione su larga scala sulle Alpi stabile e veloce. Questo ruolo richiede forti competenze Linux e container, esperienza con gli ambienti HPC, e la capacità di lavorare in collaborazione tra team di ricerca, ingegneria e operazioni.

Sfondo del progetto

Il progetto Apertus, uno sforzo congiunto tra EPFL, ETH Zürich e CSCS, sta cercando un pratico e motivato ingegnere infrastrutturale per contribuire a costruire la prossima versione di Apertus. Il candidato di successo possederà lo stack dell'immagine del contenitore e lavorerà a stretto contatto con CSCS per mantenere la formazione su larga scala stabile e veloce.

Forniamo modelli di fondazione aperti con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer AI-ready in Europa. Il team conta più di una dozzina di ingegneri a tempo pieno che lavorano insieme ai principali ricercatori di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e lavora con oltre trenta collaboratori accademici per offrire modelli AI completamente aperti (open source), formati responsibilmente, multilingue, multimodali per la ricerca e l'industria.

Apertus è addestrato e sviluppato sulle Alpi, l'infrastruttura di supercomputing del Centro Nazionale Svizzero (CSCS). Il ruolo richiede qualcuno che è comodo lavorare in un ambiente HPC e collaborare con ricercatori e ingegneri delle infrastrutture.

Descrizione del lavoro

L'ingegnere consentirà stabilità e throughput per le pipeline di pre-formazione e post-training Apertus mantenendo le immagini del sistema ML e collaborando con CSCS sull'infrastruttura sottostante.

Manutenzione immagine sistema ML

• Costruisci, mantieni e aggiorna le immagini dei container per tutte le fasi principali di sviluppo ML: pre-formazione, post-allineamento/allineamento e modello di servizio/deployment
• Obiettivo dell'architettura nodo a base di ARM (aarch64, Grace-Hopper) delle Alpi, gestione dello stack di dipendenza completo (CUDA, NCCL, PyTorch, formazione e servizi)
• Mantenere le immagini riproducibili, versionete e documentate, incluso CI per le costruzioni e gli aggiornamenti
• Convalidare le immagini contro i carichi di lavoro pre-formazione e post-formazione di riferimento insieme agli ingegneri Apertus, e mantenere esempi di lancio di lavoro

Compute partnership ed efficienza

• Servire come punto di contatto tecnico primario con gli ingegneri e i ricercatori CSCS per quanto riguarda la computazione, l'affidabilità e l'efficienza
• Lavorare in collaborazione con il personale di CSCS per identificare e implementare miglioramenti nell'efficienza e nelle prestazioni dell'infrastruttura di calcolo sottostante, sovrapposta all'ingegneria delle prestazioni dei sistemi ML
• Contribuire ai miglioramenti sistemici delle risorse basate su CSCS (rete, stoccaggio, programmazione) pertinenti alla formazione LLM su larga scala
• Documentare e diffondere le conoscenze istituzionali sull'infrastruttura CSCS e le migliori pratiche per sfruttare questi sistemi ad alte prestazioni

Test di stress infrastrutture

• Stress testa l'infrastruttura utilizzando carichi di lavoro rappresentativi pre-formazione e post-formazione, costruendo sulle ricette ed esempi esistenti del progetto, per convalidare la stabilità e il throughput dopo gli aggiornamenti delle immagini, la manutenzione del sistema e le modifiche di configurazione
• Lavorare a stretto contatto con gli ingegneri pre-formazione e post-formazione Apertus per debug problemi a livello di cluster che interessano stabilità e throughput: guasti dei nodi, networking, prestazioni di storage, checkpointing e pianificazione
• Supporta lo stack di servizio Apertus, che si basa sulle stesse immagini (l'operazione dello stack di servizio è di proprietà di un ingegnere separato)

Profilo

Essenziale

• MSc o PhD in Informatica, Scienza dei dati, intelligenza artificiale, apprendimento automatico, o un campo relativo
• Eccezionale BSc candidati con forte esperienza di ingegneria saranno anche considerati
• Esperienza pratica con HPC enviro