Post-Training Engineer - Apertus — EPFL

Descrizione completa

Introduzione

Il progetto Apertus, uno sforzo congiunto tra EPFL e ETH Zürich, sta cercando un ingegnere pratico e motivato per aiutare a costruire la prossima generazione di modelli di fondazione aperti. Il candidato di successo aiuterà a sviluppare e eseguire tubazioni di apprendimento post-formazione e rafforzamento per il progetto Apertus.

Apertus è addestrato e sviluppato sulle Alpi, l’infrastruttura di supercomputing del Centro Nazionale Svizzero. Il ruolo richiede qualcuno che è comodo lavorare in un ambiente HPC e collaborare con ricercatori e ingegneri infrastrutturali.

Principali doveri e responsabilità

L'ingegnere contribuirà allo sviluppo, all'esecuzione e alla valutazione dei flussi di lavoro post-training scalabili per Apertus.

Ingegneria delle infrastrutture e dei sistemi

• Costruire e mantenere ambienti containerizzati per carichi di lavoro post-training LLM e RL.
• Adapt contenitori e dipendenze per l'esecuzione sulle infrastrutture Alpi / CSCS.
• Eseguire e monitorare i lavori di formazione e valutazione basati su Slurm.
• Debug guasti relativi a esecuzione distribuita, checkpointing, prestazioni del filesystem, networking e utilizzo GPU.
• Aiuta a mantenere ricette di formazione riproducibili, file di configurazione, script di lancio e documentazione.
• Lavora con ricercatori e ingegneri CSCS per migliorare l'affidabilità e le prestazioni di esperimenti su larga scala.

LLM post-formazione e Reinforcement Learning

• Supporto SFT, ottimizzazione delle preferenze e flussi di lavoro di apprendimento di rinforzo.
• Costruire ed eseguire ambienti RL per le attività con risultati verificabili, come matematica, codice, strumento-uso e ragionamento.
• Sviluppare la modellazione della ricompensa, la calibrazione della ricompensa e la formazione basata sui parassiti.
• Generare e convalidare i compiti di allenamento sintetico o palestra.
• Eseguire studi di ablazione che confrontano algoritmi, funzioni di ricompensa, miscele di dati, iperparametri e impostazioni di infrastruttura.
• Valutare il comportamento del modello attraverso ragionamento, codifica, matematica, istruzione-seguente, multilingue, tool-use e benchmark di sicurezza.
• Debug comuni problemi di post-formazione, tra cui ottimizzazione instabilità, premio hacking, regressioni e guasti di valutazione.

Profilo

Essenziale

• MSc o PhD in Informatica, Scienza dei dati, intelligenza artificiale, Machine Learning, o un campo relativo. Saranno inoltre considerati candidati BSc eccezionali con una forte esperienza di ingegneria.
• Esperienza nelle architetture di rete AI e neurali
• Forte capacità di collaborazione e comunicazione e capacità di lavorare in team di ricerca e ingegneria.

Fortemente preferito

• Esperienza con Slurm o un altro gestore di carichi di lavoro HPC.
• Provate la costruzione o l'adattamento di contenitori per cluster HPC o GPU.
• Esperienza con LLM fine-tuning, post-training, ottimizzazione delle preferenze, o l'apprendimento di rinforzo.
• Familiarità con concetti di formazione distribuiti come parallelismo dati, parallelismo tensore, parallelismo conduttivo, checkpointing e comunicazione GPU.
• Esperienza con strutture come veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang, o strumenti simili.

Che bello avere

• Esperienza con RL per LLM, ottimizzazione della politica online, modellazione della ricompensa o RLVR.
• Esperienza di creazione di compiti verificabili per matematica, codice, ragionamento, o uso di strumenti.
• Familiarità con librerie GPU/distribuite di livello inferiore come NCCL, Transformer Engine, FlashAttention o backend di comunicazione.
• Esperienza con condotte di valutazione su larga scala.

Offriamo

• Un ambiente accademico stimolante in una delle principali università tecniche del mondo
• L'opportunità di lavorare con l'infrastruttura supercomputing all'avanguardia e la ricerca AI all'avanguardia
• Collaborazione con ricercatori e ingegneri di EPFL, ETH Zürich, CSCS e altre istituzioni svizzere
• Disposizioni di lavoro flessibili, comprese le opzioni per il lavoro remoto
• Opportunità di sviluppo professionali, tra cui la frequenza delle conferenze e la formazione specializzata
• La possibilità di contribuire a progetti open source con impatto globale
• Accesso al più ampio ecosistema accademico svizzero e partnership industriali
• Facendo parte dello sviluppo dell'AI sovrano della Svizzera, lavorando alla tecnologia con un significato nazionale
• Il ruolo può essere basato sia a Losanna in EPFL o a Zurigo presso ETH Zürich.

Informazioni

Data di inizio del contratto: il più presto possibile

Tasso di attività Min: 80.00

Tasso di attività Max: 100.00

Tipo di contratto: CDD

Durata: 1 anno, rinnovabile

Riferimento: 2192