Post-Training Engineer - Apertus — EPFL

Vollständige Beschreibung

Einleitung

Das Apertus-Projekt, ein gemeinsames Projekt der EPFL und der ETH Zürich, sucht einen praktischen und motivierten Ingenieur, der die nächste Generation offener Fundamentmodelle mitgestaltet. Der erfolgreiche Kandidat wird dazu beitragen, Post-Trainings- und Verstärkungs-Lernpipelines für das Apertus-Projekt zu entwickeln und durchzuführen.

Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizer Supercomputing-Zentrums, ausgebildet und entwickelt. Die Rolle erfordert jemanden, der sich wohl fühlt, in einer HPC-Umgebung zu arbeiten und mit Forschern und Infrastrukturingenieuren zusammenzuarbeiten.

Hauptaufgaben und Zuständigkeiten

Der Ingenieur wird zur Entwicklung, Durchführung und Bewertung skalierbarer Post-Training-Workflows für Apertus beitragen.

Infrastruktur- und Systemtechnik

• Erstellen und pflegen Sie containerisierte Umgebungen für LLM-Post-Training und RL-Workloads.
• Container und Abhängigkeiten für die Ausführung auf Alpen / CSCS-Infrastruktur anpassen.
• Führen und überwachen Sie Slurm-basierte Schulungs- und Bewertungsjobs.
• Debug-Fehler im Zusammenhang mit verteilter Ausführung, Checkpointing, Dateisystemleistung, Netzwerk und GPU-Auslastung.
• Helfen Sie, reproduzierbare Trainingsrezepte, Konfigurationsdateien, Startskripte und Dokumentation zu verwalten.
• Arbeiten Sie mit Forschern und CSCS-Ingenieuren zusammen, um die Zuverlässigkeit und Leistung von Großexperimenten zu verbessern.

LLM Post-Training und Reinforcement Learning

• Unterstützung von SFT, Präferenzoptimierung und Verstärkung von Lernworkflows.
• Erstellen und Ausführen von RL-Umgebungen für Aufgaben mit überprüfbaren Ergebnissen wie Mathematik, Code, Tool-Nutzung und Argumentation.
• Entwicklung von Belohnungsmodellierung, Belohnungskalibrierung und verifikatorbasiertem Training.
• Generieren und validieren Sie synthetische oder Fitness-Trainingsaufgaben.
• Führen Sie Ablationsstudien durch, in denen Algorithmen, Belohnungsfunktionen, Datengemische, Hyperparameter und Infrastruktureinstellungen verglichen werden.
• Bewerten Sie das Modellverhalten in Bezug auf Argumentation, Codierung, Mathematik, Anleitungsfolgen, Mehrsprachigkeit, Tool-Use und Sicherheits-Benchmarks.
• Debug häufige Probleme nach dem Training, einschließlich Optimierungsinstabilität, Belohnungshacking, Regressionen und Bewertungsfehler.

Profil

Wesentliches

• MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Machine Learning oder einem verwandten Bereich. Außergewöhnliche BSc-Kandidaten mit starker Ingenieurerfahrung werden ebenfalls in Betracht gezogen.
• Erfahrung in KI und neuronalen Netzwerkarchitekturen
• Starke Zusammenarbeit und Kommunikationsfähigkeiten und die Fähigkeit, in Forschungs- und Ingenieurteams zu arbeiten.

Stark bevorzugt

• Erfahrung mit Slurm oder einem anderen HPC Workload Manager.
• Erleben Sie den Aufbau oder die Anpassung von Containern für HPC- oder GPU-Cluster.
• Erfahrung mit LLM-Feinabstimmung, Post-Training, Präferenzoptimierung oder Verstärkungslernen.
• Vertrautheit mit verteilten Trainingskonzepten wie Datenparallelität, Tensorparallelität, Pipelineparallelität, Checkpointing und GPU-Kommunikation.
• Erfahrung mit Frameworks wie veRL, Slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang oder ähnlichen Tools.

Nizza zu haben

• Erfahrung mit RL für LLMs, Online-Politikoptimierung, Belohnungsmodellierung oder RLVR.
• Erfahrung beim Erstellen überprüfbarer Aufgaben für Mathematik, Code, Argumentation oder Werkzeuggebrauch.
• Vertrautheit mit untergeordneten GPU/verteilten Bibliotheken wie NCCL, Transformer Engine, FlashAttention oder Kommunikations-Backends.
• Erfahrung mit groß angelegten Evaluationspipelines.

Wir bieten

• Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten
• Die Möglichkeit, mit modernster Supercomputing-Infrastruktur und modernster KI-Forschung zu arbeiten
• Zusammenarbeit mit Spitzenforschern und Ingenieuren der EPFL, der ETH Zürich, der CSCS und anderer Schweizer Institutionen
• Flexible Arbeitsvereinbarungen, einschließlich Optionen für Remote-Arbeit
• Berufliche Entwicklungsmöglichkeiten, einschließlich Konferenzteilnahme und Fachausbildung
• Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen
• Zugang zum breiteren Schweizer akademischen Ökosystem und zu Industriepartnerschaften
• Teil der souveränen KI-Entwicklung der Schweiz sein und an Technologien mit nationaler Bedeutung arbeiten
• Die Rolle kann entweder in Lausanne an der EPFL oder in Zürich an der ETH Zürich angesiedelt sein.

Informationen

Vertragsbeginndatum: so bald wie möglich

Aktivitätsrate Min: 80,00

Aktivitätsrate Max: 100,00

Vertragsart: CDD

Dauer: 1 Jahr, erneuerbar

Bezug: 2192