Apertus Engineer: Post-training — ETH Zürich

Description complète

Apertus Ingénieur: Post-formation

100%, Zurich, durée déterminée

imprimer Purée

Nous cherchons un ingénieur qualifié pour rejoindre l'effort post-formation d'Apertus. Le candidat idéal développera, exécutera et évaluera les pipelines d'apprentissage SFT et de renforcement utilisés pour transformer les modèles de base d'Apertus en assistants capables. Ce rôle exige une solide expérience en matière de formation post-formation en LLM, de solides compétences en génie logiciel et la capacité de travailler en collaboration dans un environnement HPC axé sur la recherche.

Contexte du projet

Nous formons des modèles de fondations ouvertes avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands superordinateurs prêts à l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à temps plein travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et travaille avec plus de trente collaborateurs universitaires pour offrir des modèles d'IA entièrement ouverts (open source), formés de manière responsable, multilingues et multimodals pour la recherche et l'industrie.

Apertus est formé et développé sur les Alpes, l'infrastructure supercomputante du Centre National Suisse de Supercomputing. Le rôle exige une personne qui est à l'aise de travailler dans un environnement de CHP et de collaborer avec des chercheurs et des ingénieurs en infrastructure.

Description de l'emploi

L'ingénieur contribuera au développement, à l'exécution et à l'évaluation de flux de travail évolutifs post-formation pour Apertus.

Ingénierie des infrastructures et des systèmes

• Construisez et maintenez des environnements containerizzato pour la charge de travail des LLM post-formation et RL
• Adapter conteneurs et dépendances pour l'exécution sur l'infrastructure Alpes / CSCS
• Diriger et suivre des activités de formation et d'évaluation basées sur le slurm
• Défauts de débogage liés à l'exécution distribuée, au contrôle, aux performances du système de fichiers, au réseautage et à l'utilisation du GPU
• Aide à maintenir des recettes de formation reproductibles, des fichiers de configuration, des scripts de lancement et de la documentation
• Travailler avec les chercheurs et les ingénieurs du SCCS pour améliorer la fiabilité et le rendement des expériences à grande échelle

LLM post-formation et renforcement de l'apprentissage

• Soutenir le SFT, optimiser les préférences et renforcer les flux de travail d'apprentissage
• Construire et exécuter des environnements RL pour les tâches ayant des résultats vérifiables, comme les mathématiques, le code, l'utilisation d'outils et le raisonnement
• Mettre en œuvre et exécuter la modélisation de récompense, l'étalonnage de récompense et la formation basée sur les vérificateurs
• Générer et valider des tâches d'entraînement synthétique ou de gymnastique
• Exécuter des études d'ablation comparant des algorithmes, des fonctions de récompense, des mélanges de données, des hyperparamètres et des paramètres d'infrastructure
• Évaluer le comportement du modèle en fonction du raisonnement, du codage, des mathématiques, du suivi des instructions, du multilinguisme, de l'utilisation des outils et des critères de sécurité
• Déboguer les problèmes communs après la formation, y compris l'instabilité d'optimisation, le piratage de récompenses, les régressions et les échecs d'évaluation

Profil

Essentiel

• Maîtrise ou doctorat en informatique, sciences des données, intelligence artificielle, apprentissage automatique ou domaine connexe
• Des candidats BSc exceptionnels avec une solide expérience en ingénierie seront également considérés
• Expérience dans les architectures d'IA et de réseau neuronal
• Forte capacité de collaboration et de communication et capacité de travailler entre les équipes de recherche et d'ingénierie
• Une expérience pratique préalable dans les domaines essentiels de ce rôle est nécessaire
• Il peut s'agir d'une expérience de projet ou d'études; l'expérience de travail formelle est préférée
• Un haut degré de flexibilité : priorités, outils et postes de travail quotidiens avec des horaires de formation, des sorties et un champ en mouvement rapide
• Expérience pratique de la formation post-formation LLM, qu'il s'agisse de l'alignement (SFT, optimisation des préférences) ou du renforcement de l'apprentissage
• Cela signifie l'expérience avec des cadres tels que VERL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang, ou des outils similaires

Fortement préféré

• Connaissance des concepts de formation distribués comme le parallélisme des données, le parallélisme tensor, le parallélisme des pipelines, le contrôle et la communication GPU
• Expérience avec Slurm ou un autre gestionnaire de charge de travail HPC
• Expérience de construction ou d'adaptation de conteneurs pour les grappes HPC ou GPU