Senior GPU Networking Architect — NVIDIA (ufficio Zurich)

Vollständige Beschreibung

NVIDIA verändert seit mehr als 25 Jahren Computergrafik, PC-Gaming und beschleunigtes Rechnen. Es ist ein einzigartiges Erbe der Innovation, das durch großartige Technologie angetrieben wird - und erstaunliche Menschen. Heute nutzen wir das unbegrenzte Potenzial der KI, um die nächste Ära des Computing zu definieren. Eine Ära, in der unsere GPU als Gehirn von Computern, Robotern und selbstfahrenden Autos fungiert, die die Welt verstehen können. Zu tun, was noch nie zuvor getan wurde, erfordert Vision, Innovation und die besten Talente der Welt. Als NVIDIAN werden Sie in eine vielfältige, unterstützende Umgebung eintauchen, in der jeder dazu inspiriert ist, seine beste Arbeit zu leisten. Treten Sie dem Team bei und sehen Sie, wie Sie die Welt nachhaltig beeinflussen können.

Wir suchen einen Senior GPU Networking Architect, der unserer Netzwerksoftwaregruppe beitritt und starke GPU-Architektur und Programmierkenntnisse für den Aufbau und die Verbesserung von GPU-Kommunikationskernel mitbringt. Diese Rolle verbindet GPU-Computing mit Netzwerken, indem sichergestellt wird, dass Kommunikationsprimitive neben GPU-Hardwarefunktionen sorgfältig entwickelt werden. Schließen Sie sich unserem Team von Ingenieuren an, die die Softwaregrundlage für die größten KI-Systeme weltweit entwickeln.

Was Sie tun werden

• Erstellen, implementieren und optimieren Sie GPU-Kommunikationskernel, die kollektive und Punkt-zu-Punkt-Operationen in großen KI-Systemen unterstützen.
• Nutzen Sie fundierte Kenntnisse der GPU-Architektur - Thread Scheduling, Speicherhierarchie, Ausführungspipelines -, um die Kernel-Effizienz zu verbessern, die Latenz zu minimieren und die Berechnung mit der Kommunikation zu überlappen.
• Entwicklung von GPU-residenten Kommunikationsprimitiven und geräteseitigen APIs, die eine feinkörnige, von Kernel initiierte Datenbewegung über Knoten und Beschleuniger ermöglichen.
• Profil und Tune GPU-Kernel Ende-zu-Ende, Identifizierung von Engpässen an der Schnittstelle von Compute, Speicher und Netzwerk und gezielte Optimierungen.
• Arbeiten Sie mit Netzwerk-Software-, Hardware- und KI-Framework-Teams zusammen, um Kommunikationsstrategien zu entwickeln, die mit GPU-Ausführungsmustern und neuen Modellarchitekturen übereinstimmen.
• Erstellen Sie Proofs-of-Concept, führen Sie Experimente durch und führen Sie quantitative Modellierungen durch, um neue Kommunikationsstrategien zu bewerten und zu validieren, bevor Sie sie zur Produktion verpflichten.
• Tragen Sie zur Entwicklung von Programmiermodellen bei, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler bereitstellen.

Was wir sehen müssen

• 5+ Jahre praktische CUDA-Programmierung, einschließlich Schreiben und Optimieren von nicht-trivialen GPU-Kerneln.
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computertechnik oder einem eng verwandten Bereich.
• Starkes Verständnis der GPU-Architekturgrundlagen: Warp-Planung, Shared Memory, L2-Cache, Memory Coalescing, Besetzungs-Tuning und asynchrone Ausführung.
• Erfahrung mit C/C++-Entwicklung auf Systemebene in leistungskritischen Umgebungen.
• Vertrautheit mit GPU-Datenbewegungsmechanismen wie GPUDirect RDMA und GPU-initiierter Kommunikation.
• Fähigkeit, GPU-Leistungsprofile (z. B. Nsight Compute, Nsight Systems) zu lesen und zu begründen und Beobachtungen in umsetzbare Optimierungen zu übersetzen.
• Starke Zusammenarbeit in einem multinationalen, interdisziplinären Umfeld.

Möglichkeiten, sich von der Masse abzuheben

• Erleben Sie die Entwicklung oder Optimierung von Kommunikationskernen in Bibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-fähigen Kommunikations-Frameworks.
• Verständnis von verteilten Deep-Learning-Parallelitätstechniken, einschließlich Datenparallelismus, Tensorparallelismus, Pipeline-Parallelismus, Expertenparallelismus und Mix-of-Experten-Parallelismus sowie der Kommunikationsmuster, die sie GPU-Kerneln auferlegen.
• Hintergrund in RDMA, InfiniBand, High-Speed-Networking und GPU-Systemtopologie, einschließlich NVLink, NVSwitch, PCIe und Netzwerk-Fabrics, und deren Auswirkungen auf das Kommunikationskerneldesign.
• Erfahrung mit Überlappungstechniken wie Kernelpipelining, persistenten Kerneln oder kooperativen Gruppen, um die Kommunikationslatenz hinter Compute zu verbergen.
• Bewährte Erfahrung in der Bewertung und Optimierung von groß angelegten LLM-Trainings- oder Inferenz-Workloads, einschließlich praktischer Arbeit mit Frameworks wie PyTorch, TensorRT-LLM oder vLLM, und Vertrautheit mit aufkommenden Serving-Architekturen wie disaggregiertem Serving.

Bei NVIDIA arbeiten Sie mit Kollegen zusammen, die fundiertes Fachwissen und innovatives Denken in der Branche unter Beweis stellen und die Grenzen des Möglichen in der KI und im Hochleistungsrechnen erweitern. Wenn Sie sich für GPU-Architektur, Low-Level-Kernel-Optimierung und den Aufbau des Kommunikationsgewebes für KI der nächsten Generation begeistern, möchten wir von Ihnen hören!

NVIDIA gilt als einer der begehrtesten Arbeitgeber der Welt und bietet äußerst wettbewerbsfähige Gehälter und ein umfassendes Leistungspaket. Wenn Sie Ihre Zukunft planen, sehen Sie, was wir Ihnen und Ihrer Familie anbieten können www.nvidiabenefits.com/

Fragen zu dieser Stellenanzeige