Research Scientist, User Signals from Agentic Logs, DeepMind — Google Switzerland

Description complète

Titres minimums

• Doctorat en apprentissage automatique, traitement du langage naturel ou domaine connexe (ou expérience pratique équivalente).
• Expérience du développement logiciel en utilisant Python et un ou plusieurs cadres d'apprentissage approfondi (p. ex. PyTorch ou JAX).
• Expérience de recherche en post-formation, renforcement de l'apprentissage (RL), agent RL, apprentissage de préférence ou modélisation de récompense.
• Publication du premier auteur (ou du coauteur) dans une ou plusieurs conférences d'apprentissage automatique ou de traitement des langues naturelles (p. ex. NeurIPS, ICML, ICLR, ACL, EMNLP).

Titres préférés

• Publications des premiers auteurs dans les principaux sites du ML/NLP (NeurIPS, ICML, ICLR, ACL, EMNLP).
• Expérience des méthodes modernes d'alignement et de post-formation (p. ex. RLHF, DPO, PPO, échantillonnage de rejet ou auto-évaluation).
• Expérimentez la modélisation de données d'interaction multi-tours, de trajectoires/logs d'agents ou de rétroaction de l'utilisateur (signaux implicites et explicites).
• Expérience de la formation ou de l'évaluation de modèles de récompense, de modèles de critique ou d'évaluateurs automatisés (p. ex., LLM-as-a-jug).
• Expérience en post-formation.

Sur le travail Dans le cadre de l'équipe Gemini User Signals, un chercheur scientifique aidera à piloter la stratégie post-formation de nos modèles les plus avancés, dédié à l'établissement de la « roue volante » de l'alignement, la conversion d'interactions utilisateur complexes et de rétroaction en signaux de formation qui améliorent fondamentalement le comportement du modèle. Dans ce rôle, vous dirigerez la recherche sur la modélisation de récompense, l'optimisation des préférences et les stratégies centrées sur les données pour fermer la boucle entre le déploiement des utilisateurs et la formation des modèles. Vous aiderez à définir les recettes horizontales qui nous permettent d'évaluer ces idées à travers différentes modalités et familles modèles. L'intelligence artificielle sera l'une des inventions les plus transformatrices de l'humanité. Chez Google DeepMind, nous sommes un laboratoire d'IA pionnier avec des équipes interdisciplinaires exceptionnelles qui visent à faire progresser le développement de l'IA pour résoudre des défis mondiaux complexes et accélérer l'innovation de produits de haute qualité pour des milliards d'utilisateurs. Nous utilisons nos technologies à des fins d'intérêt général et de découverte scientifique, en veillant à ce que la sécurité et l'éthique soient toujours notre priorité absolue.

Nous repoussons les frontières entre plusieurs domaines. Nos équipes mondiales offrent des possibilités d'apprentissage et des parcours de carrière variés pour ceux qui sont motivés par des résultats exceptionnels grâce à des efforts collectifs. Responsabilités

• Concevoir et mettre en œuvre des mécanismes pour récolter, filtrer et utiliser des signaux d'utilisateur de haute qualité (implicits et explicites) pour améliorer les modèles Gemini.
• Élaborer et affiner des modèles de récompense et des modèles de critique qui tiennent compte avec précision de l'intention et de la satisfaction des utilisateurs, servant de fondement à l'apprentissage du renforcement par la rétroaction humaine (RLHF) et à d'autres techniques d'alignement.
• Créer et valider des recettes "horizontales" post-formation qui peuvent être appliquées avec robustesse selon les tailles et les modalités du modèle (y compris le texte et l'audio).
• Étudier de nouvelles méthodes de pondération, de synthèse et de sélection des données pour maximiser l'impact des signaux des utilisateurs sur la performance du modèle.
• Établir des cadres d'évaluation rigoureux pour mesurer la corrélation entre les mesures hors ligne (exactitude du modèle de récompense) et la satisfaction des utilisateurs en ligne.

Exigences

• PhD in Machine Learning, natural language processing, or a related field (or equivalent practical experience).

• Experience with software development using Python and one or more deep learning frameworks (e.g., PyTorch or JAX).

• Research experience in post-training, reinforcement learning (RL), agentic RL, preference learning, or reward modeling.

• First-author (or co-author) publication in one or more peer-reviewed machine learning or natural language processing (NLP) conferences (e.g., NeurIPS, ICML, ICLR, ACL, EMNLP).

Questions sur cette offre