Apertus Engineer: Evaluations — ETH Zürich

Descrizione completa

Apertus Engineer: Valutazioni

100%, Zurigo, a tempo determinato

stampa Druppo

Stiamo cercando un ingegnere esperto per aderire allo sforzo di valutazione Apertus. Il candidato ideale costruirà e gestirà il codebase di valutazione e le condotte che informano le nostre decisioni di formazione e rilascio, mantenendo i risultati coerenti tra formazione e servizio. Questo ruolo richiede forte ingegneria Python, esperienza di valutazione LLM hands-on e la capacità di lavorare in collaborazione in un ambiente focalizzato sulla ricerca.

Sfondo del progetto

Forniamo modelli di fondazione aperti con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer AI-ready in Europa. Il team conta più di una dozzina di ingegneri a tempo pieno che lavorano insieme ai principali ricercatori di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e lavora con oltre trenta collaboratori accademici per offrire modelli AI completamente aperti (open source), formati responsibilmente, multilingue, multimodali per la ricerca e l'industria.

Apertus è addestrato e sviluppato sulle Alpi, l'infrastruttura di supercomputing del Centro Nazionale Svizzero (CSCS). Il ruolo richiede qualcuno che è comodo lavorare in un ambiente HPC e collaborare con ricercatori e ingegneri delle infrastrutture.

Descrizione del lavoro

L'ingegnere possederà la base di codice di valutazione e le condotte che informano le decisioni di formazione e le uscite.

Infrastrutture di valutazione

• Costruire e mantenere il codebase di valutazione e le tubazioni per i modelli Apertus, dai checkpoint durante la formazione ai modelli rilasciati
• Esecuzione parallela sulle Alpi, utilizzo efficiente dei backend di inferenza, caching e monitoraggio dei risultati
• Ridurre il malessere tra le valutazioni durante la formazione e durante il servizio: tokenizzazione coerente, modelli di chat, sollecitazione e campionamento attraverso imbracature di valutazione e motori di inferenza
• Debug guasti di valutazione, regressioni e incongruenze attraverso backends

Copertura del banco

• Integrare ed eseguire le valutazioni di cui il progetto si preoccupa. La progettazione di nuove valutazioni è di proprietà della collaborazione di ricercatori e ingegneri; questo ruolo li rende gestiti in modo affidabile e su scala
• Coprire le valutazioni dell'immagine e dell'audio insieme al testo all'interno della stessa pipeline
• Integrare nuovi benchmark come il campo si evolve, lavorando con i nostri collaboratori accademici a bordo dei benchmark che creano, e convalidare che metriche e implementazioni di imbracatura sono affidabili

Valutazione comparativa e di terze parti

• Valutare i servizi di terze parti e altri modelli aperti e chiusi contro la stessa suite di riferimento, producendo risultati direttamente comparabili e riproducibili
• Fornire risultati di valutazione, report e dashboard che supportano le decisioni di formazione (composizioni di dati, ablazioni) e decisioni di rilascio
• Lavorare a stretto contatto con gli ingegneri focalizzati sulla sicurezza, la distribuzione e le esigenze della comunità, e integrare le valutazioni che creano nella pipeline condivisa

Profilo

Essenziale

• MSc o PhD in Informatica, Scienza dei dati, intelligenza artificiale, apprendimento automatico, o un campo relativo. Eccezionale
• I candidati BSc con una forte esperienza di ingegneria saranno anche considerati
• Forte Python e competenze di ingegneria del software, tra cui la costruzione di esperienze dati robusti o pipeline di valutazione
• Esperienza con la valutazione LLM: imbracature consolidate (ad esempio lm-evaluation-harness) o strumenti di benchmark personalizzati
• Forte capacità di collaborazione e comunicazione e capacità di lavorare in team di ricerca e ingegneria
• È richiesta un'esperienza preliminare nei domini centrali di questo ruolo. Questo può essere un'esperienza basata su progetti o studi; l'esperienza di lavoro formale è preferita
• Un elevato grado di flessibilità: priorità, strumenti e attività quotidiane si spostano con programmi di formazione, release e un campo di fast-moving
• Esperienza di valutazione in esecuzione su scala su cluster GPU (Slurm o simili) e con motori di inferenza come vLLM o SGLang
• Familiarità con valutazione agentica e imbracature agentiche: uso utensili, esecuzione sandbox