Research Sciences INTERN — Microsoft

Descrizione completa

Panoramica Lo Spatial AI Lab fa parte del Gruppo Scienze Applicate, un'organizzazione di ricerca e sviluppo Microsoft dedicata alla creazione di tecnologie di interazione umano-computer di nuova generazione, sfruttando gli ultimi sviluppi dell'IA e esplorando nuove funzionalità hardware e fattori di forma dei dispositivi. I nostri scienziati e ingegneri portano una profonda esperienza nella visione del computer e nell'AI multimodale, con un particolare focus sull'intelligenza spaziale e corposa.

Informazioni sullo stage

Siamo alla ricerca di Interni di Ricerca in Computer Vision, Machine Learning e Robotics, ampiamente definiti, per il nostro AI Lab Spaziale a Zurigo. Come stagista, collaborerai con uno o più mentori e userai l'hardware e il software all'avanguardia che stiamo creando. Durante lo stage di 12 settimane, lavorerai su un progetto di ricerca stimolante e aperto che mira a far progredire lo stato dell'arte. Un tirocinio a Microsoft non solo migliorerà la tua carriera, ma anche ti permetterà di partecipare a interessanti scoperte di ricerca. Gli tirocinanti lavorano, imparano e collegano alcuni dei migliori ricercatori e ingegneri del mondo.

Questa chiamata copre quattro direzioni di ricerca, descritte di seguito. L'esatto progetto sarà plasmato congiuntamente da voi e dai vostri mentori, sulla base di opportunità di ricerca e il vostro background. La data di inizio dello stage potrebbe essere la 1 m di ogni mese, non più tardi di 1 m di aprile 2027.

La missione di Microsoft è di consentire a ogni persona e ogni organizzazione del pianeta di ottenere di più. Come dipendenti ci uniamo a una mentalità di crescita, innovare per potenziare gli altri, e collaborare per realizzare i nostri obiettivi condivisi. Ogni giorno costruiamo sui nostri valori di rispetto, integrità e responsabilità per creare una cultura di inclusione dove tutti possono prosperare al lavoro e oltre.

Direzione A – Multimodal Embeddings

Modelli di embedding di immagini di testo come CLIP e SigLIP sono blocchi di costruzione fondamentali per ricerca, recupero e AI multimodale. In questa direzione, studierai come questi modelli organizzino informazioni nei loro spazi embedding e sviluppino nuovi metodi che rendono le incorporazioni più espressive, flessibili, efficienti e interpretabili, con applicazioni come la ricerca semantica.

Esempio di argomenti di ricerca

• Geometria ed espressività degli spazi di incorporazione multimodale (ad esempio, effetto cono, gap di modalità)
• Aggiornare i modelli di incorporazione mantenendo la compatibilità con le incorporazioni esistenti
• Embedding multi-vettore, gerarchico e componibile
• Incorporazioni spiegabili e sterili
• Ricerca genetica, recupero efficiente e quantizzazione dell'inferenza
• Benchmarking recupero oltre i dati su scala web, come le collezioni private

Cosa cerchiamo

Esperienza di ricerca nell'apprendimento multimodale della rappresentazione, nei modelli di incorporazione del testo-visione, nell'apprendimento a contrasto, nel recupero delle informazioni neurali o nell'integrazione di adattamento e compressione (ad esempio, distillazione della conoscenza, quantizzazione).

Direzione B – Comprensione e Modifica delle immagini

I progressi nell'intelligenza visiva stanno creando nuove opportunità per i modelli che interpretano il contenuto ricco di immagini e la ragione su ciò che rende un'immagine significativa. In questa direzione, studierai modelli che costruiranno una comprensione consapevole del contesto delle immagini (composizione delle scene, geometria, aspetto, regioni salienti, oggetti e le loro relazioni) ed esploreranno come questa comprensione possa alimentare applicazioni a valle.

• Rappresentazioni visive più ricche e combinando segnali visivi complementari
• Context-aware scene e comprensione dell'immagine, e il suo uso per la modifica dell'immagine
• Generalizzazione, robustezza e valutazione affidabile della comprensione visiva
• Architetture efficienti, compressione dei modelli o distribuzione on-device (estensione opzionale)

Esperienza di ricerca nella comprensione dell'immagine, nell'apprendimento della rappresentazione visiva, nella fotografia computazionale, nell'apprendimento multimodale o nell'editing generativo dell'immagine, con un forte background nei moderni modelli discriminatori, generativi o vision-language. L'esperienza con efficiente reti neurali è un vantaggio.

Direzione C – Imparare robot per la manipolazione e Real-to-Sim-to-Real

Osservazioni e dimostrazioni del mondo reale sono una ricca fonte di esperienza per l'apprendimento dei robot. In questa direzione, si lavorerà sulla manipolazione con robot bimanuali stazionari e mobili, esplorando come l'esperienza fisica, come video e dimostrazioni, può informare la simulazione e come l'esperienza simulata può migliorare le politiche del mondo reale.

• Real-to-sim-to-real learning e robustezza politica
• Modelli video-azione, modelli di azione mondiale e politiche di visione-lingua-azione (VLA)
• Imparare dalle dimostrazioni umane, tra cui ricostruzione 3D e monitoraggio delle interazioni hand-object
• Simulazione fisica e differenziabile per la manipolazione

Esperienza di ricerca nell'apprendimento dei robot (identitazione o apprendimento di rinforzo, trasferimento sim-to-reale), manipolazione bimanuale o mobile, ricostruzione 3D e stima di posa, o simulazione basata sulla fisica; familiarità con strumenti come PyTorch, ROS e MuJoCo; e esperienza nell'implementazione di politiche sui veri robot.

Nota: i progetti di apprendimento robot in questa direzione comportano un lavoro pratico con robot fisici e richiedono la presenza nel nostro laboratorio di Zurigo per tutta la durata dello stage.

Direzione D – Generazione di immagini e modelli generativi visivi efficienti

In questa direzione, esplorerai modelli generativi visivi compatti ed efficienti attraverso la generazione di immagini e video e la predizione visiva climatizzata. Sceglierai un focus basato sui tuoi interessi e background.

• Generazione video: estendere la generazione di immagini a sequenze coerenti condizionate su testo o immagini
• Modelli mondiali: modelli leggeri che prevedono future osservazioni visive dal contesto e dalle azioni
• Distillazione di architettura: trasferire le capacità dei grandi generatori di immagini in architetture diverse e piccole, tra cui la distillazione latente-to-pixel-spaziale

Esperienza di ricerca nella modellazione generativa (ad esempio, modelli di diffusione o basati sul flusso), generazione di immagini o video, distillazione di architettura modello, apprendimento temporale o modelli mondiali.

responsabilità

• Rivedere i lavori rilevanti e stabilire basi solide e riproducibili nell'ambito del progetto concordato.
• Prototipo, treno e valutare nuovi modelli e metodi per la vostra direzione di ricerca.
• Esperimenti controllati dal design che coprono qualità, comportamento del modello, robustezza ed efficienza.
• Possiedi il flusso di lavoro di ricerca finiscono alla fine, dalla formulazione dei problemi e dall'implementazione attraverso l'analisi, l'iterazione e la documentazione chiara.
• Lavorare a stretto contatto con mentori e altri ricercatori, cercare feedback, contribuire a una base di codice condivisa, e presentare i risultati alla fine dello stage.

Qualifiche qualifiche richieste

• Attualmente perseguire un PhD in Computer Vision, Machine Learning, Robotics, AI, o un campo correlato.

Le qualifiche previste (una o più delle seguenti)

• Almeno un anno di esperienza di ricerca in un settore legato ad una delle direzioni di ricerca sopra.
• Uno sfondo forte nell'apprendimento profondo e nelle moderne architetture di rete neurali.
• Competenze in problem solving algoritmico e sviluppo software (ad esempio, Python, C++).
• Esperienza con strumenti come PyTorch, TensorFlow e OpenCV (per robotica: ROS, MuJoCo o Unity).
• Pubblicazione(i) in conferenze o riviste di alto livello in settori correlati (ad esempio, CVPR, ICCV, ECCV, NeurIPS, ICML, ICLR, IJCV, TPAMI, CoRL, RSS, ICRA, IROS, IJRR, T-RO).
• Ottima comunicazione, collaborazione e capacità di scrittura.

Questa posizione sarà aperta per un minimo di 5 giorni, con applicazioni accettate su base continua fino a quando la posizione non sarà riempita.

Microsoft è un datore di lavoro pari opportunità. Tutti i candidati qualificati riceveranno considerazione per l'occupazione senza riguardo a età, antenati, cittadinanza, colore, famiglia o congedo di assistenza medica, identità di genere o espressione, informazioni genetiche, stato di immigrazione, stato civile, stato medico, origine nazionale, disabilità fisica o mentale, affiliazione politica, stato veterano protetto o militare, razza, etnia, religione, sesso (compresa la gravidanza), orientamento sessuale, o qualsiasi altra caratteristica protetta da leggi, regolamenti e ordinanze locali applicabili. Se avete bisogno di assistenza con alloggi religiosi e/o di un alloggio ragionevole a causa di una disabilità durante il processo di applicazione, saperne di più sulla richiesta di alloggi.