Principal Engineer - Data Retrieval — NVIDIA (ufficio Zurich)

Descrizione completa

NVIDIA sta cercando un'ingegneria porta all'architetto e scala l'infrastruttura di acquisizione dati che alimenta i nostri modelli di fondazione. A partire da dati di codice e STEM per Nemotron, si costruiranno i sistemi che scoprono fonti preziose, strisciano il web aperto a scala, e fornire dati affidabili e di alta qualità per le pipeline di formazione. Si tratta di un ruolo di leadership tecnica pratico che spazia dai sistemi distribuiti, dalle infrastrutture crawl e dall'ingestione di dati di terzi. Possiederai l'architettura di una piattaforma unificata che copre la scoperta delle sorgenti, l'indicizzazione degli URL, le frontiere striscianti, la classifica predittiva, la pianificazione, il fetching distribuito e l'ingestione. Abbiamo infrastrutture esistenti da costruire, e l'obiettivo è quello di portarlo a scala pre-formazione e estenderlo a famiglie di modelli, modalità e flussi di lavoro di acquisizione nel tempo. Lungo il percorso, si porterà recensioni di architettura e lavoro di implementazione critica, ingegneri mentore, e contribuire a costruire il team.

Cosa farai

• Lavorare con i team di storage e scaling per progettare sistemi scalabili di storage e codeing di frontiera con scritture ad alto rendimento, ricerca efficiente, deduplicazione e pianificazione in base alla qualità dei dati, alla diversità e alla freschezza. Costruire un ciclo continuo di scoperta che estrae collegamenti e alimenta nuovi candidati all'interno della frontiera strisciante.
• Sviluppare uno strato di esecuzione di crawl condiviso che si fetches in modo affidabile e cortesemente su scala, la gestione di siti web dinamici mantenendo l'uso delle risorse sotto controllo.
• Costruisci estensibili condutture per contenuti open-web, licenza e partner, inclusi testi, PDF, repository di codici e attività multimodali. Definire interfacce stabili per connettori sorgente in modo che i team possano aggiungere sorgenti senza ricostruire la piattaforma.
• Collabora con i team di parsing e curation per preservare codice, matematica e contenuti strutturati e migliorare la resa dei dati accettata.
• Implementare la provenienza e l'applicazione delle policy con partner legali, privacy, sicurezza e governance dei dati. Traduci le preferenze autorizzate dell'editore, gli opt-out, i termini di licenza e le restrizioni di utilizzo nei controlli verificabili che seguono i dati a valle.
• Prontezza di produzione propria, compresa la pianificazione della capacità, l'osservanza, la tolleranza di guasto, il recupero e l'efficienza dei costi. Strumentazione della pipeline fine to end e fissa gli obiettivi di servizio per il throughput, la freschezza, l'affidabilità e i tagli di formazione meeting.
• Lavorare con i team di ricerca e di prodotto per valutare le strisce interne e i set di dati esterni attraverso piloti comparabili. Fornire comunicati di dati riproducibili che vincono la copertura della fonte e la qualità di elaborazione per esperimenti di formazione controllati.
• Coordinare le dipendenze tra i team e rendere trasparenti i tradeoff tra la consegna immediata dei dati e lo sviluppo della piattaforma a lungo termine.

Cosa dobbiamo vedere

• Un BS, MS, o PhD in Informatica, Ingegneria Informatica, o un campo tecnico correlato, o esperienza equivalente.
• 15+ anni di esperienza rilevante nell'ingegneria del software, tra cui la progettazione e il funzionamento di sistemi distribuiti su larga scala, l'impostazione della direzione tecnica e la fornitura di infrastrutture complesse in più team.
• Esperienza profonda con web crawling o strettamente correlata scoperta, indicizzazione, o infrastruttura di ingestione, tra cui programmazione distribuita, servizi di stato, archiviazione e elaborazione dati ad alto rendimento.
• Forti competenze ingegneristiche e di progettazione del sistema. Capacità di muoversi tra architettura, implementazione, analisi delle prestazioni e debug di produzione.
• Sperimenta lotti di costruzione o condotte di streaming e ragionamento su consistenza, ripetizioni, elaborazione duplicata, backpressure e recupero. Un track record di miglioramento della produttività, della latenza, dell'efficienza delle risorse o dell'affidabilità operativa.
• Esperienza nella fornitura di piattaforme di dati per la ricerca, ML, ricerca o altri utenti tecnici esigenti. Capacità di tradurre requisiti in evoluzione in interfacce chiare e risultati di ingegneria misurabili.
• Forte comunicazione tecnica e leadership attraverso l'influenza tra team di ingegneria, prodotto, ricerca e governance.

Modi per distinguersi dalla folla

• Provate a progettare una piattaforma web-wide crawl, scalare lo storage di frontiera, o consolidare più sistemi di acquisizione in infrastrutture condivise.
• Esperienza diretta che fornisce dati pre-training del modello di fondazione, tra cui scoperta mirata, qualità-consapevole crawl ranking, e l'acquisizione di codice o contenuti tecnici.
• Prova a implementare il consenso dell'editore, gli opt-out per l'utilizzo della formazione, i controlli sulle licenze del set di dati o l'infrastruttura di provenienza in scala.
• Sfondo con la raccolta di dati da parte del browser o dell'agente, l'estrazione programmabile e gli ambienti sandbox per l'utilizzo di strumenti o la valutazione post-training.
• Prova a bordo di dataset licenze o multimodali, costruendo integrazioni partner riutilizzabili, o fornendo feed di streaming con bassa latenza per il recupero e la messa a terra.

La piattaforma è una funzionalità di base per i modelli AI di NVIDIA e modella direttamente la portata e la qualità dei nostri dati di formazione. Se ti piace risolvere problemi di sistemi distribuiti difficili e piattaforme di costruzione che altre squadre dipendono, vogliamo sentire da te.

Domande frequenti su questo annuncio