Principal Engineer - Data Retrieval — NVIDIA (ufficio Zurich)

Description complète

NVIDIA cherche une ingénierie menant à l'architecte et à l'échelle de l'infrastructure d'acquisition de données qui alimente nos modèles de fondation. En commençant par le code et les données STEM pour Nemotron, vous allez construire les systèmes qui découvrent des sources précieuses, ramper le web ouvert à l'échelle, et fournir des données fiables et de haute qualité à la formation des pipelines. Il s'agit d'un rôle de leadership technique pratique couvrant les systèmes distribués, l'infrastructure de rampage et l'ingestion de données par des tiers. Vous posséderez l'architecture d'une plate-forme unifiée couvrant la découverte de sources, l'indexation des URL, les frontières de rampe, le classement prédictif, la planification, la récupération distribuée et l'ingestion. Nous disposons d'une infrastructure existante sur laquelle nous pouvons nous appuyer, et l'objectif est de l'amener à l'échelle de la préformation et de l'étendre à d'autres familles modèles, modalités et processus d'acquisition au fil du temps. En cours de route, vous dirigerez les examens d'architecture et les travaux critiques de mise en oeuvre, mentorez les ingénieurs et aidez à bâtir l'équipe.

Ce que vous allez faire

• Travailler avec des équipes de stockage et de mise à l'échelle pour concevoir des systèmes de stockage et de file d'attente évolutives avec des écritures à haut débit, des recherches efficaces, une déduplication et une programmation basées sur la qualité des données, la diversité et la fraîcheur. Construire une boucle de découverte continue qui extrait les liens et nourrit les nouveaux candidats à la frontière.
• Développez une couche d'exécution partagée qui récupère de façon fiable et polie à l'échelle, en manipulant des sites Web dynamiques tout en gardant l'utilisation des ressources sous contrôle.
• Construire des pipelines extensibles pour le contenu open-web, sous licence et partenaire, y compris le texte, les PDF, les dépôts de codes et les actifs multimodal. Définir des interfaces stables pour les connecteurs source afin que les équipes puissent ajouter des sources sans reconstruire la plate-forme.
• S'associer à des équipes d'analyse et de curation pour préserver le code précieux, les mathématiques et le contenu structuré, et améliorer le rendement des données acceptées.
• Mettre en oeuvre la provenance et l'application des politiques avec les partenaires juridiques, de protection de la vie privée, de sécurité et de gouvernance des données. Traduire les préférences approuvées de l'éditeur, les refus, les conditions de licence et les restrictions d'utilisation en contrôles vérifiables qui suivent les données en aval.
• Préparation à la production propre, y compris la planification des capacités, l'observabilité, la tolérance aux défauts, la récupération et l'efficacité des coûts. Instrumenter le pipeline de bout en bout et fixer des objectifs de service pour le débit, la fraîcheur, la fiabilité et le respect des seuils de formation.
• Collaborer avec des équipes de recherche et de produits pour évaluer les données internes et externes grâce à des pilotes comparables. Fournir des données reproductibles qui relient la couverture des sources et la qualité de traitement aux expériences de formation contrôlées.
• Coordonner les dépendances entre les équipes et faire des compromis clairs entre la fourniture immédiate de données et le développement à long terme des plateformes.

Ce que nous devons voir

• BS, MS ou doctorat en informatique, en génie informatique ou dans un domaine technique connexe, ou expérience équivalente.
• 15 ans et plus d'expérience pertinente en ingénierie logicielle, y compris la conception et l'exploitation de systèmes distribués à grande échelle, l'établissement d'une orientation technique et la fourniture d'infrastructures complexes à plusieurs équipes.
• Expérience approfondie de la découverte, de l'indexation ou de l'infrastructure d'ingestion sur le Web, y compris la programmation distribuée, les services d'état, le stockage et le traitement des données à haut débit.
• Fortes compétences pratiques en ingénierie et en conception de systèmes. Capacité de se déplacer entre l'architecture, la mise en œuvre, l'analyse des performances et le débogage de la production.
• Expérimentez la construction de pipelines par lots ou en continu et le raisonnement sur la consistance, les récupérations, le traitement en double, la contre-pression et la récupération. Une expérience d'amélioration du débit, de la latence, de l'efficacité des ressources ou de la fiabilité opérationnelle.
• Expérience en fournissant des plateformes de données pour la recherche, le ML, la recherche ou d'autres utilisateurs techniques exigeants. Capacité de traduire l'évolution des besoins en interfaces claires et en résultats d'ingénierie mesurables.
• Une communication et un leadership techniques solides grâce à l'influence des équipes d'ingénierie, de produits, de recherche et de gouvernance.

Des façons de se démarquer de la foule

• Découvrez l'architecture d'une plate-forme de rampe à l'échelle du Web, la mise à l'échelle du stockage des frontières de rampe ou la consolidation de plusieurs systèmes d'acquisition en infrastructures partagées.
• Expérience directe fournissant des données de préformation de modèle de fondation, y compris la découverte ciblée, le classement de la qualité, et l'acquisition de code ou de contenu technique.
• Expérience de la mise en oeuvre du consentement de l'éditeur, des refus d'utilisation de la formation, des contrôles d'autorisation des ensembles de données ou de l'infrastructure de provenance à l'échelle.
• Contexte avec la collecte de données par navigateur ou par agent, l'extraction programmable et les environnements sandboxed pour les données d'utilisation d'outils ou l'évaluation post-formation.
• Expérience à bord des ensembles de données sous licence ou multimodal, construction d'intégrations de partenaires réutilisables, ou fourniture de flux de streaming avec faible latence pour la récupération et la mise à la terre.

La plate-forme est une capacité de base pour les modèles NVIDIA et façonne directement la portée et la qualité de nos données d'entraînement. Si vous aimez résoudre des problèmes de systèmes distribués difficiles et construire des plates-formes dont dépendent les autres équipes, nous voulons vous entendre.

Questions sur cette offre