Apertus Engineer: Post-training — ETH Zürich

Descrizione completa

Apertus Engineer: post-training

100%, Zurigo, a tempo determinato

stampa Druppo

Stiamo cercando un ingegnere esperto per unire lo sforzo post-formazione Apertus. Il candidato ideale svilupperà, eseguirà e valuterà le tubazioni di apprendimento SFT e di rinforzo utilizzate per trasformare i modelli di base Apertus in assistenti capaci. Questo ruolo richiede un forte background in LLM post-formazione, solide competenze di ingegneria del software, e la capacità di lavorare in collaborazione in un ambiente HPC focalizzato sulla ricerca.

Sfondo del progetto

Forniamo modelli di fondazione aperti con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer AI-ready in Europa. Il team conta più di una dozzina di ingegneri a tempo pieno che lavorano insieme ai principali ricercatori di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e lavora con oltre trenta collaboratori accademici per offrire modelli AI completamente aperti (open source), formati responsibilmente, multilingue, multimodali per la ricerca e l'industria.

Apertus è addestrato e sviluppato sulle Alpi, l'infrastruttura di supercomputing del Centro Nazionale Svizzero. Il ruolo richiede qualcuno che è comodo lavorare in un ambiente HPC e collaborare con ricercatori e ingegneri delle infrastrutture.

Descrizione del lavoro

L'ingegnere contribuirà allo sviluppo, all'esecuzione e alla valutazione dei flussi di lavoro post-training scalabili per Apertus.

Infrastrutture e sistemi di ingegneria

• Costruisci e mantieni ambienti containerizzati per carichi di lavoro post-formazione LLM e RL
• Adapt contenitori e dipendenze per l'esecuzione su Alpi / infrastrutture CSCS
• Eseguire e monitorare i lavori di formazione e valutazione basati su Slurm
• Debug guasti relativi all'esecuzione distribuita, checkpointing, prestazioni del filesystem, networking e utilizzo GPU
• Aiuta a mantenere ricette di formazione riproducibili, file di configurazione, script di lancio e documentazione
• Lavorare con ricercatori e ingegneri CSCS per migliorare l'affidabilità e le prestazioni di esperimenti su larga scala

LLM post-formazione e rafforzamento dell'apprendimento

• Supporto SFT, ottimizzazione delle preferenze e flussi di lavoro di apprendimento di rinforzo
• Costruire ed eseguire ambienti RL per le attività con risultati verificabili, come matematica, codice, uso degli strumenti e ragionamento
• Implementare e eseguire la modellazione della ricompensa, la calibrazione della ricompensa e la formazione basata sui parassiti
• Generare e convalidare i compiti di allenamento sintetico o palestra
• Eseguire studi di ablazione che confrontano algoritmi, funzioni di ricompensa, miscele di dati, iperparametri e impostazioni dell'infrastruttura
• Valutare il comportamento del modello attraverso i parametri di ragionamento, codifica, matematica, istruzione, multilingue, uso degli strumenti e sicurezza
• Debug comuni problemi di post-formazione, tra cui instabilità di ottimizzazione, hacking di ricompensa, regressioni e guasti di valutazione

Profilo

Essenziale

• MSc o PhD in Informatica, Scienza dei dati, intelligenza artificiale, apprendimento automatico, o un campo relativo
• Eccezionale BSc candidati con forte esperienza di ingegneria saranno anche considerati
• Esperienza in AI e architetture di rete neurali
• Forte capacità di collaborazione e comunicazione e capacità di lavorare in team di ricerca e ingegneria
• È richiesta un'esperienza preliminare nei domini centrali di questo ruolo
• Questo può essere un'esperienza basata su progetti o studi; l'esperienza di lavoro formale è preferita
• Un elevato grado di flessibilità: priorità, strumenti e attività quotidiane si spostano con programmi di formazione, release e un campo di fast-moving
• Esperienza pratica con post-formazione LLM, sia esso allineamento (SFT, ottimizzazione delle preferenze) o rafforzamento dell'apprendimento
• Ciò significa esperienza con strutture come veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang, o strumenti simili

Fortemente preferito

• Familiarità con concetti di formazione distribuiti come il parallelismo dei dati, il parallelismo dei tensori, il parallelismo delle tubazioni, il checkpointing e la comunicazione della GPU
• Esperienza con Slurm o un altro gestore di carichi di lavoro HPC
• Provare la costruzione o l'adattamento di contenitori per cluster HPC o GPU