Principal Engineer - Data Retrieval — NVIDIA (ufficio Zurich)

Vollständige Beschreibung

NVIDIA sucht einen Engineering-Leiter, um die Datenerfassungsinfrastruktur, die unsere Grundlagenmodelle unterstützt, zu erstellen und zu skalieren. Beginnend mit Code- und STEM-Daten für Nemotron werden Sie die Systeme erstellen, die wertvolle Quellen entdecken, das offene Web in großem Maßstab durchsuchen und zuverlässige, qualitativ hochwertige Daten an Trainingspipelines liefern. Dies ist eine praktische technische Führungsrolle, die verteilte Systeme, Crawl-Infrastruktur und Datenaufnahme von Drittanbietern umfasst. Sie besitzen die Architektur einer einheitlichen Plattform, die Source Discovery, URL-Indizierung, Crawl-Grenzen, Predictive Ranking, Scheduling, Distributed Fetching und Ingestion abdeckt. Wir haben eine bestehende Infrastruktur, auf der wir aufbauen können, und das Ziel ist es, sie auf Vorschulungsmaßstab zu bringen und sie im Laufe der Zeit auf zusätzliche Modellfamilien, Modalitäten und Akquisitionsworkflows auszuweiten. Unterwegs leiten Sie Architekturprüfungen und kritische Implementierungsarbeiten, betreuen Ingenieure und helfen beim Aufbau des Teams.

Was du tun wirst

• Arbeiten Sie mit Speicher- und Skalierungsteams zusammen, um skalierbare Border Storage- und Warteschlangensysteme mit hohem Durchsatz, effizienten Lookups, Deduplizierung und Terminplanung basierend auf Datenqualität, Diversität und Frische zu entwerfen. Erstellen Sie eine kontinuierliche Discovery-Schleife, die Links extrahiert und neue Kandidaten in die Crawl-Grenze zurückführt.
• Entwickeln Sie eine gemeinsame Crawl-Ausführungsschicht, die zuverlässig und höflich in großem Maßstab abruft, dynamische Websites behandelt und gleichzeitig die Ressourcennutzung unter Kontrolle hält.
• Erstellen Sie erweiterbare Pipelines für Open-Web-, Lizenz- und Partnerinhalte, einschließlich Text, PDFs, Code-Repositories und multimodale Assets. Definieren Sie stabile Schnittstellen für Quellverbinder, damit Teams Quellen hinzufügen können, ohne die Plattform neu zu erstellen.
• Partnerschaft mit Parsing- und Kurationsteams, um wertvolle Code-, Mathematik- und strukturierte Inhalte zu erhalten und den akzeptierten Datenertrag zu verbessern.
• Implementierung von Provenienz und Richtliniendurchsetzung mit Rechts-, Datenschutz-, Sicherheits- und Data-Governance-Partnern. Übersetzen Sie genehmigte Publisher-Präferenzen, Opt-Outs, Lizenzbedingungen und Nutzungsbeschränkungen in überprüfbare Kontrollen, die den Daten nachgeschaltet folgen.
• Eigene Produktionsbereitschaft, einschließlich Kapazitätsplanung, Beobachtbarkeit, Fehlertoleranz, Wiederherstellung und Kosteneffizienz. Instrumentieren Sie die Pipeline Ende an Ende und setzen Sie Serviceziele für Durchsatz, Frische, Zuverlässigkeit und Einhaltung von Schulungsabschaltungen.
• Arbeiten Sie mit Forschungs- und Produktteams zusammen, um interne Crawls und externe Datensätze durch vergleichbare Piloten zu bewerten. Liefern Sie reproduzierbare Datenfreigaben, die die Quellenabdeckung und Verarbeitungsqualität an kontrollierte Trainingsexperimente binden.
• Koordinieren Sie Abhängigkeiten zwischen Teams und machen Sie klare Kompromisse zwischen sofortiger Datenbereitstellung und langfristiger Plattformentwicklung.

Was wir sehen müssen

• Ein BS, MS oder PhD in Informatik, Computer Engineering oder einem verwandten technischen Bereich oder gleichwertige Erfahrung.
• 15+ Jahre einschlägige Erfahrung im Software-Engineering, einschließlich Entwurf und Betrieb großer verteilter Systeme, Festlegung der technischen Ausrichtung und Bereitstellung komplexer Infrastruktur in mehreren Teams.
• Tiefe Erfahrung mit Web-Crawling oder eng verwandten Discovery, Indexierung oder Ingestion-Infrastruktur, einschließlich verteilter Planung, Stateful Services, Speicherung und Hochdurchsatz-Datenverarbeitung.
• Starke praktische Engineering- und Systemdesign-Fähigkeiten. Fähigkeit, zwischen Architektur, Implementierung, Leistungsanalyse und Produktions-Debugging zu wechseln.
• Erfahren Sie, wie Sie Batch- oder Streaming-Pipelines erstellen und über Konsistenz, Wiederholungen, doppelte Verarbeitung, Rückdruck und Wiederherstellung nachdenken. Eine Erfolgsbilanz bei der Verbesserung von Durchsatz, Latenz, Ressourceneffizienz oder Betriebszuverlässigkeit.
• Erleben Sie die Bereitstellung von Datenplattformen für Forschung, ML, Suche oder andere anspruchsvolle technische Benutzer. Fähigkeit, sich entwickelnde Anforderungen in klare Schnittstellen und messbare technische Ergebnisse zu übersetzen.
• Starke technische Kommunikation und Führung durch Einfluss in Engineering-, Produkt-, Forschungs- und Governance-Teams.

Möglichkeiten, sich von der Masse abzuheben

• Erleben Sie die Architektur einer Web-Wide-Crawl-Plattform, die Skalierung von Crawl-Border-Speichern oder die Konsolidierung mehrerer Erfassungssysteme in gemeinsam genutzter Infrastruktur.
• Direkte Erfahrung bei der Bereitstellung von Basismodell-Vorschulungsdaten, einschließlich gezielter Erkennung, qualitätsbewusstem Crawling-Ranking und Erfassung von Code oder technischen Inhalten.
• Erfahrung in der Implementierung von Publisher-Einwilligungen, Opt-Outs zur Schulungsnutzung, Datensatz-Lizenzierungskontrollen oder Provenienzinfrastruktur in großem Maßstab.
• Hintergrund mit browserbasierter oder agentischer Datenerfassung, programmierbarer Extraktion und Sandbox-Umgebungen für Tool-Use-Daten oder Post-Training-Auswertung.
• Erleben Sie das Einbinden von lizenzierten oder multimodalen Datensätzen, das Erstellen wiederverwendbarer Partnerintegrationen oder das Bereitstellen von Streaming-Feeds mit geringer Latenz für das Abrufen und Erden.

Die Plattform ist eine Kernkompetenz für die KI-Modelle von NVIDIA und prägt direkt die Reichweite und Qualität unserer Trainingsdaten. Wenn es Ihnen Spaß macht, schwierige verteilte Systemprobleme zu lösen und Plattformen aufzubauen, auf die andere Teams angewiesen sind, möchten wir von Ihnen hören.

Fragen zu dieser Stellenanzeige