Apertus Engineer: Deployment — ETH Zürich

Descrizione completa

Apertus Engineer: Distribuzione

100%, Zurigo, a tempo determinato

stampa Druppo

Stiamo cercando un ingegnere esperto di possedere il percorso di rilascio tecnico dei modelli Apertus. Il candidato ideale integrerà Apertus nell'ecosistema di inferenza open source, produrrà varianti quantizzate, e assicurarsi che ogni rilascio funzioni fuori dalla scatola per la comunità. Questo ruolo richiede forti competenze di Python e software engineering, esperienza con stack di inferenza LLM, e un track record di contributi open-source.

Sfondo del progetto

Forniamo modelli di fondazione aperti con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer AI-ready in Europa. Il team conta più di una dozzina di ingegneri a tempo pieno che lavorano insieme ai principali ricercatori di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e lavora con oltre trenta collaboratori accademici per offrire modelli AI completamente aperti (open source), formati responsibilmente, multilingue, multimodali per la ricerca e l'industria.

Apertus è addestrato e sviluppato sulle Alpi, l'infrastruttura di supercomputing del Centro Nazionale Svizzero (CSCS). Questo ruolo si trova all'interfaccia tra il team di formazione e la comunità open-source: il lato sociale dell'impegno comunitario è di proprietà del nostro responsabile della comunità, mentre questo ruolo possiede il percorso di rilascio tecnico.

Descrizione del lavoro

L'ingegnere farà funzionare le versioni Apertus dalla scatola attraverso l'ecosistema LLM open source, dall'inferenza di livello server all'implementazione personale.

Integrazione a monte e ingegneria del rilascio

• Gestire il percorso di rilascio tecnico dei modelli Apertus formati: conversione del checkpoint e preparazione dei manufatti di rilascio (pesi, configurazioni, tokenisers, schede modello) insieme al team di formazione
• Implementazione e supporto a monte per le architetture di modelli Apertus in librerie di comunità come Hugging Face Transformers, vLLM, SGLang e llama.cpp, e pastore questi contributi attraverso la revisione così il supporto comunitario è un dato
• Verifica la compatibilità day-0 delle nuove versioni con i principali motori di inferenza e formati di modelli
• Coordinate tempistiche di rilascio e materiali tecnici con il responsabile della comunità

Quantificazione

• Produce varianti quantizzate di modelli rilasciati (ad esempio FP8, INT4/AWQ/GPTQ, GGUF) adatte per server e distribuzione personale
• Convalidare le varianti quantizzate contro i benchmark di valutazione per garantire la conservazione della qualità

Documentazione ed esempi

• Fornire script di esempio e configurazioni di riferimento che mostrano come servire e utilizzare modelli Apertus con vLLM, SGLang e Transformers
• Supporta ecosistemi di distribuzione personali e locali come LM Studio, Ollama e llama.cpp
• Mantenere la documentazione di distribuzione e le guide di risoluzione dei problemi per la comunità

Profilo

Essenziale

• MSc o PhD in Informatica, Scienza dei dati, intelligenza artificiale, apprendimento automatico, o un campo relativo
• Eccezionale BSc candidati con forte esperienza di ingegneria saranno anche considerati
• Forte Python e competenze di ingegneria del software, tra cui l'esperienza con i flussi di lavoro di contributo open-source (pull richieste, recensione del codice, CI)
• Esperienza con pila di inferenza LLM come Hugging Face Transformers, vLLM, o SGLang
• Forte capacità di collaborazione e comunicazione e capacità di lavorare in team di ricerca, ingegneria e di ricerca
• È richiesta un'esperienza preliminare nei domini centrali di questo ruolo
• Questo può essere un'esperienza basata su progetti o studi; l'esperienza di lavoro formale è preferita
• Un elevato grado di flessibilità: priorità, strumenti e attività quotidiane si spostano con programmi di formazione, release e un campo di fast-moving
• Un track record di contributi fusi a librerie ML o inferenza (ad esempio Transformers, vLLM, SGLang, llama.cpp)

Fortemente preferito

• Esperienza di conversione dei modelli tra formati e quadri (ad esempio Megatron-LM checkpoint, safetensors, GGUF)
• Familiarità con strumenti di distribuzione personali e locali come LM Studio, Ollama, o llama.cpp
• Esperienza di scrittura sviluppatore-f