Research Sciences INTERN — Microsoft

Description complète

Aperçu général Le Spatial AI Lab fait partie du Applied Sciences Group , une organisation de recherche et développement de Microsoft dédiée à la création de technologies d'interaction humain-ordinateur de nouvelle génération, en tirant parti des derniers développements en matière d'IA et en explorant de nouvelles capacités matérielles et de nouveaux facteurs de forme d'appareil. Nos scientifiques et ingénieurs apportent une expertise profonde dans la vision informatique et l'IA multimodale, avec un accent particulier sur l'IA spatiale et incarnée.

A propos du stage

Nous recherchons des stagiaires de recherche en vision informatique, en apprentissage automatique et en robotique, au sens large, pour notre laboratoire d'IA spatiale à Zurich. En tant que stagiaire, vous collaborerez avec un ou plusieurs mentors et utiliserez le matériel et les logiciels de pointe que nous créons. Au cours du stage de 12 semaines, vous travaillerez sur un projet de recherche stimulant et ouvert qui vise à faire progresser l'état de la technique. Un stage chez Microsoft améliorera non seulement votre carrière, mais vous permettra également de participer à des percées de recherche passionnantes. Les stagiaires travaillent, apprennent et travaillent en réseau avec certains des meilleurs chercheurs et ingénieurs du monde.

Cet appel couvre quatre directions de recherche, décrites ci-dessous. Le projet exact sera façonné conjointement par vous et vos mentors, en fonction des possibilités de recherche et de vos antécédents. La date de début du stage pourrait être le 1er de chaque mois, au plus tard le 1er avril 2027.

La mission de Microsoft est de donner à chaque personne et à chaque organisation de la planète les moyens de réaliser davantage. En tant qu'employés, nous nous associons à une mentalité de croissance, innovons pour responsabiliser les autres et collaborons à la réalisation de nos objectifs communs. Chaque jour, nous nous appuyons sur nos valeurs de respect, d'intégrité et de responsabilité pour créer une culture d'inclusion où chacun peut prospérer au travail et au-delà.

Direction A – Embeddings multimodals

Les modèles d'intégration texte-image tels que CLIP et SigLIP sont des éléments de base pour la recherche, la récupération et l'IA multimodale. Dans ce sens, vous étudierez comment ces modèles organisent l'information dans leurs espaces d'intégration et développerez de nouvelles méthodes qui rendent l'intégration plus expressive, flexible, efficace et interprétable, avec des applications telles que la recherche sémantique.

Exemples de thèmes de recherche

• Géométrie et expressivité des espaces d'intégration multimodales (effet cône, écart de modalité, par exemple)
• Mise à jour des modèles d'intégration tout en préservant la compatibilité avec les ancrages existants
• Implantations multivecteurs, hiérarchiques et Composables
• Implantations explicables et orientables
• Recherche génétique, recherche efficace et quantification pour inférence
• Analyse comparative de la recherche au-delà des données sur le Web, telles que les collections privées

Ce que nous cherchons

Expérience de recherche dans l'apprentissage de la représentation multimodale, les modèles d'intégration de la vision textuelle, l'apprentissage contrasté, la récupération de l'information neuronale ou l'intégration de l'adaptation et de la compression (p. ex. distillation des connaissances, quantification).

Direction B – Compréhension et édition des images

Les progrès de l'intelligence visuelle créent de nouvelles possibilités pour les modèles qui interprètent le riche contenu d'image et la raison de ce qui rend une image significative. Dans cette direction, vous étudierez des modèles qui construisent une compréhension contextuelle des images (composition de scène, géométrie, apparence, régions saillantes, objets, et leurs relations) et explorerez comment cette compréhension peut alimenter les applications en aval.

• Représentations visuelles plus riches et combinaison de signaux visuels complémentaires
• Context-aware scène et la compréhension de l'image, et son utilisation pour l'édition d'image
• Généralisation, robustesse et évaluation fiable de la compréhension visuelle
• Architectures efficaces, compression du modèle ou déploiement sur le périphérique (extension facultative)

Expérience de recherche dans la compréhension de l'image, l'apprentissage de la représentation visuelle, la photographie computationnelle, l'apprentissage multimodal ou l'édition d'images génératives, avec une solide expérience dans les modèles modernes de langage discriminatif, génératif ou vision. Expérience avec des réseaux neuronaux efficaces est un plus.

Direction C – L'apprentissage des robots pour la manipulation et le simple à réel

Les observations et les démonstrations du monde réel sont une riche source d'expérience pour l'apprentissage des robots. Dans cette direction, vous travaillerez sur la manipulation avec des robots bimanuels fixes et mobiles, explorant comment l'expérience physique, comme les vidéos et les démonstrations, peut éclairer la simulation, et comment l'expérience simulée peut améliorer les politiques du monde réel.

• Apprentissage réel à simple et robustesse des politiques
• Modèles d'action vidéo, modèles d'action mondiale et politiques de vision-langue-action (VLA)
• Tirer des enseignements des manifestations humaines, y compris la reconstruction 3D et le suivi des interactions main-objet
• Simulation de manipulation basée sur la physique et différenciée

Expérience de recherche dans l'apprentissage des robots (l'imitation ou le renforcement de l'apprentissage, le transfert sim-to-réel), la manipulation bimanuelle ou mobile, la reconstruction 3D et l'estimation de pose, ou la simulation basée sur la physique, la connaissance d'outils comme PyTorch, ROS et MuJoCo, et l'expérience du déploiement de politiques sur des robots réels.

Note: Les projets d'apprentissage des robots dans ce sens impliquent un travail pratique avec des robots physiques et nécessitent une présence dans notre laboratoire de Zurich pour toute la durée du stage.

Direction D – Génération d'images et modèles graphiques efficaces

Dans cette direction, vous explorerez des modèles générateurs visuels compacts et efficaces à travers la génération d'images et de vidéos, et des prévisions visuelles conditionnées par l'action. Vous choisirez un focus en fonction de vos intérêts et de vos antécédents.

• Génération vidéo: extension de la génération d'images à des séquences cohérentes conditionnées par du texte ou des images
• Modélisation mondiale : modèles légers qui prédisent les observations visuelles futures du contexte et des actions
• Distillation d'architecture: transfert des capacités des grands générateurs d'images dans différentes architectures plus petites, y compris la distillation latente à pixel-espace

Expérience de recherche en modélisation générative (p. ex., modèles de diffusion ou de flux), génération d'images ou de vidéos, distillation d'architecture de modèles, apprentissage temporel ou modèles mondiaux.

Responsabilités

• Examiner les travaux pertinents et établir des niveaux de référence solides et reproductibles dans le cadre du projet convenu.
• Prototyper, former et évaluer de nouveaux modèles et méthodes pour votre direction de recherche.
• Concevoir des expériences contrôlées couvrant la qualité, le comportement du modèle, la robustesse et l'efficacité.
• Posséder le flux de travail de la recherche de bout en bout, de la formulation et de la mise en œuvre de problèmes à l'analyse, l'itération et une documentation claire.
• Travailler en étroite collaboration avec les mentors et d'autres chercheurs, obtenir des commentaires, contribuer à une base de codes partagée, et présenter vos résultats à la fin du stage.

Compétences

Compétences requises

• Il est actuellement titulaire d'un doctorat en vision informatique, en apprentissage automatique, en robotique, en intelligence artificielle ou dans un domaine connexe.

Qualifications privilégiées (une ou plusieurs des qualités suivantes)

• Au moins un an d'expérience en recherche dans un domaine lié à l'une des orientations de recherche ci-dessus.
• Une solide expérience dans l'apprentissage profond et les architectures modernes de réseau neuronal.
• Compétences en résolution de problèmes algorithmique et développement de logiciels (p. ex. Python, C++).
• Expérience avec des outils comme PyTorch, TensorFlow et OpenCV (pour la robotique : ROS, MuJoCo ou Unity).
• Publication(s) dans des conférences ou revues de haut niveau dans des domaines connexes (p. ex. CVPR, ICCV, ECCV, NeurIPS, ICML, ICLR, IJCV, TPAMI, CORL, RSS, ICRA, IROS, IJRR, T-RO).
• Excellentes compétences en communication, collaboration et écriture.

Ce poste sera ouvert pendant au moins 5 jours, les candidatures étant acceptées de façon continue jusqu'à ce que le poste soit comblé.

Microsoft est un employeur à chances égales. Tous les candidats qualifiés seront considérés pour un emploi sans égard à l'âge, à l'ascendance, à la citoyenneté, à la couleur, à la famille ou aux soins médicaux, à l'identité ou à l'expression de genre, à l'information génétique, à l'état d'immigration, à l'état matrimonial, à l'état médical, à l'origine nationale, à un handicap physique ou mental, à l'appartenance politique, à un ancien combattant protégé ou à un statut militaire protégé, à la race, à l'ethnicité, à la religion, au sexe (y compris la grossesse), à l'orientation sexuelle ou à toute autre caractéristique protégée par les lois, règlements et ordonnances locaux applicables. Si vous avez besoin d'aide en matière d'adaptation religieuse et/ou d'accommodement raisonnable en raison d'une déficience pendant le processus de demande, en savoir plus sur la demande d'adaptation.