GenAI Algorithms Intern – Model Optimization for Inference — NVIDIA (ufficio Zurich)

Description complète

NVIDIA est à l'avant-garde de la révolution de l'IA ! L'équipe d'optimisation des modèles algorithmiques se concentre sur l'optimisation des modèles génériques d'IA tels que les grands modèles de langage (LLM), les modèles de langage de vision (VLM) et les modèles de diffusion pour l'efficacité maximale de l'inférence en utilisant des techniques allant de la quantification, du décodage spéculatif, de la sparsité, de la distillation, de la taille à la recherche d'architecture neurale et des stratégies de déploiement automatisées.

Notre travail comprend la conduite de recherches appliquées pour améliorer l'efficacité des modèles ainsi que le développement d'une plateforme innovante d'optimisation des modèles open-source (NVIDIA Model Optimizer). Notre logiciel est utilisé à la fois à l'interne dans NVIDIA et à l'externe par des équipes de recherche et d'ingénierie qui développent les meilleurs modèles d'IA de classe.

Nous sommes à la recherche d'un stagiaire d'Algorithmes GenAI pour aider à optimiser les modèles d'IA génériques de pointe comme les LLM, les VLM, les modèles multimodaux et de diffusion. Dans ce rôle, vous allez concevoir, mettre en œuvre et produire des algorithmes d'optimisation des modèles pour l'inférence et le déploiement sur les dernières plateformes matérielles de NVIDIA. L'accent est mis sur la facilité d'utilisation, le calcul et l'efficacité de la mémoire, et d'atteindre les meilleurs compromis entre la précision et la performance grâce à la co-conception de logiciels et de logiciels.

Votre travail s'étendra sur plusieurs couches de la pile logicielle d'IA – allant de la conception d'algorithmes à l'intégration – dans l'écosystème NVIDIAS (Model Optimizer, NeMo/Megatron, TensorRT-LLM) et les cadres open-source (PyTorch, Hugging Face, vLLM, SGLang). Vous pouvez également plonger plus profondément dans l'optimisation de niveau GPU, y compris le développement de noyau personnalisé avec CUDA et Triton.

Ce que vous allez faire

• Aidez à concevoir et construire des plateformes logicielles d'optimisation modulaires et évolutives qui offrent des expériences utilisateur exceptionnelles tout en soutenant divers modèles d'IA et des techniques d'optimisation.
• Explorer, développer et intégrer des algorithmes innovants d'optimisation de l'apprentissage profond (quantisation, décodage spéculatif, sparsité, distillation, taille, recherche d'architecture neuronale) dans la pile logicielle AI de NVIDIA.
• Déployer des modèles optimisés en leaders des cadres d'inférence open-source et contribuer à des API spécialisées, des optimisations de niveau de modèle et de nouvelles fonctionnalités adaptées aux dernières capacités matérielles NVIDIA.
• Collaborer avec les équipes de NVIDIA sur les solutions d'optimisation des modèles pour les cas d'utilisation des clients, en vue d'optimiser les flux de travail de bout en bout et d'équilibrer la précision et les performances.
• Effectuer un profilage au niveau du noyau GPU pour identifier et exploiter les possibilités d'optimisation matérielle et logicielle (p. ex., des noyaux d'attention efficaces, l'optimisation du cache KV, des stratégies de parallélisme).

Ce que nous devons voir

• Poursuite d'une maîtrise ou d'un doctorat en informatique, en intelligence artificielle, en mathématiques appliquées ou dans un domaine connexe.
• Forte connaissance approfondie et expérience pratique des modèles linguistiques.
• Fondement solide dans les algorithmes et la programmation.
• Compétence en Python, PyTorch et les cadres/outils ML modernes.
• Bonnes compétences en communication écrite et verbale, avec la capacité de travailler de façon indépendante et en collaboration dans un environnement à rythme rapide.

Comment se démarquer de la foule

• Expérience de l'optimisation et de l'efficacité des modèles (quantisation, distillation, taille).
• Contributions à PyTorch, JAX, vLLM, SGLang ou à d'autres cadres de formation et d'inférence en apprentissage automatique.
• Expérience pratique de formation ou de mise au point de modèles génériques d'IA sur des grappes GPU à grande échelle.
• Connaissance des architectures GPU et des piles de compilation, ainsi que la capacité d'analyser et de déboguer les performances de bout en bout.
• Familiarité avec les SDK d'apprentissage profond de NVIDIA (Model Optimizer, NeMo).

De plus en plus connue sous le nom d'entreprise de calcul AI et largement considérée comme l'un des employeurs les plus souhaitables du monde de la technologie, NVIDIA offre des salaires très compétitifs et un ensemble complet d'avantages. Êtes-vous créatif, motivé et aimez un défi? Si oui, nous voulons des nouvelles de vous ! Venez rejoindre notre groupe d'optimisation de modèles, où vous pouvez aider à construire en temps réel, des plates-formes informatiques rentables qui mènent à notre succès dans ce domaine passionnant et en croissance rapide. La NVIDIA s'est engagée à favoriser un milieu de travail diversifié et est fière d'être un employeur à chances égales. Comme nous accordons une grande importance à la diversité de nos employés actuels et futurs, nous ne faisons pas de discrimination (y compris dans nos pratiques d'embauche et de promotion) fondée sur la race, la religion, la couleur, l'origine nationale, le sexe, l'expression du sexe, l'orientation sexuelle, l'âge, l'état matrimonial, le statut d'ancien combattant, le statut d'invalidité ou toute autre caractéristique protégée par la loi.

Questions sur cette offre