Apertus Engineer: Post-training — ETH Zürich

Vollständige Beschreibung

Apertus Ingenieur: Post-Training

100%, Zürich, befristet

Druck Druckerzeugnisse

Wir suchen einen erfahrenen Ingenieur, der sich der Apertus-Nachschulung anschließt. Der ideale Kandidat wird die SFT- und Verstärkungs-Lernpipelines entwickeln, ausführen und bewerten, mit denen Apertus-Basismodelle zu fähigen Assistenten werden. Diese Rolle erfordert einen starken Hintergrund in LLM-Post-Training, solide Software-Engineering-Fähigkeiten und die Fähigkeit, in einer forschungsorientierten HPC-Umgebung zusammenzuarbeiten.

Projekthintergrund

Wir trainieren offene Fundamentmodelle mit Hunderten von Milliarden Parametern auf Tausenden von GPUs auf einem der größten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Ingenieuren, die neben führenden Forschern der EPFL und der ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Mitarbeitern zusammen, um vollständig offene (Open Source), verantwortungsbewusst ausgebildete, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie zu liefern.

Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizer Supercomputing Centre, ausgebildet und entwickelt. Die Rolle erfordert jemanden, der sich wohl fühlt, in einer HPC-Umgebung zu arbeiten und mit Forschern und Infrastrukturingenieuren zusammenzuarbeiten.

Stellenbeschreibung

Der Ingenieur wird zur Entwicklung, Durchführung und Bewertung skalierbarer Post-Training-Workflows für Apertus beitragen.

Infrastruktur- und Systemtechnik

• Aufbau und Pflege von Containerumgebungen für LLM-Post-Training und RL-Workloads
• Container und Abhängigkeiten für die Ausführung auf Alpen / CSCS Infrastruktur anpassen
• Führen und überwachen Sie Slurm-basierte Schulungs- und Bewertungsjobs
• Debugfehler im Zusammenhang mit verteilter Ausführung, Checkpointing, Dateisystemleistung, Netzwerk und GPU-Auslastung
• Unterstützen Sie reproduzierbare Trainingsrezepte, Konfigurationsdateien, Startskripte und Dokumentation
• Zusammenarbeit mit Forschern und CSCS-Ingenieuren zur Verbesserung der Zuverlässigkeit und Leistung von Großexperimenten

LLM Post-Training und Reinforcement Learning

• Unterstützung von SFT, Präferenzoptimierung und Verstärkung von Lernworkflows
• Erstellen und Ausführen von RL-Umgebungen für Aufgaben mit überprüfbaren Ergebnissen wie Mathematik, Code, Werkzeugnutzung und Argumentation
• Implementierung und Durchführung von Belohnungsmodellierung, Belohnungskalibrierung und verifikatorbasierter Schulungen
• Generieren und validieren Sie synthetische oder Fitness-Trainingsaufgaben
• Ablationsstudien zum Vergleich von Algorithmen, Belohnungsfunktionen, Datengemischen, Hyperparametern und Infrastruktureinstellungen durchführen
• Bewerten Sie das Modellverhalten in Bezug auf Argumentation, Codierung, Mathematik, Anleitungsfolgen, Mehrsprachigkeit, Tool-Use und Sicherheitsbenchmarks
• Debug-Probleme nach dem Training, einschließlich Optimierungsinstabilität, Belohnungshacking, Regressionen und Bewertungsfehler

Profil

Wichtig

• MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Machine Learning oder einem verwandten Bereich
• Außergewöhnliche BSc-Kandidaten mit starker Ingenieurerfahrung werden ebenfalls in Betracht gezogen
• Erfahrung in KI und neuronalen Netzwerkarchitekturen
• Starke Zusammenarbeit und Kommunikationsfähigkeiten und Fähigkeit, über Forschungs- und Ingenieurteams hinweg zu arbeiten
• Vorherige praktische Erfahrung in den Kerndomänen dieser Rolle ist erforderlich
• Dies kann Projekt- oder Studienerfahrung sein; formale Arbeitserfahrung wird bevorzugt
• Hohe Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell verändernden Feld
• Hands-on Erfahrung mit LLM Post-Training, sei es Alignment (SFT, Präferenzoptimierung) oder Reinforcement Learning
• Das bedeutet Erfahrung mit Frameworks wie veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang oder ähnlichen Tools.

Stark bevorzugt

• Vertrautheit mit verteilten Trainingskonzepten wie Datenparallelität, Tensorparallelität, Pipelineparallelität, Checkpointing und GPU-Kommunikation
• Erfahrung mit Slurm oder einem anderen HPC Workload Manager
• Erleben Sie den Aufbau oder die Anpassung von Containern für HPC- oder GPU-Cluster