PhD Position “Foundation Models & Efficient LLM Training” – DS-NLP Lab @HSG (m/f/d)

Über den Job

Ihre Aufgaben

• Sie arbeiten an Ihrer Doktorarbeit im Bereich Foundation Model Training und effiziente Lernmethoden
• Sie entwerfen und führen Forschungen zu Trainingsdynamiken großer Sprachmodelle durch, einschließlich Skalierungsverhalten, Optimierung und Generalisierung
• Sie integrieren linguistische Erkenntnisse in die Entwicklung und Analyse von Sprachmodellen, mit besonderem Fokus auf Token-Gewichtungsstrategien und deren Auswirkungen auf die Trainingsdynamik
• Sie beteiligen sich an Lehrtätigkeiten (ca. 2 SWS pro Semester), einschließlich Tutorien, Übungen sowie Betreuung von Bachelor- und Masterarbeiten und Projekten
• Sie unterstützen den Lehrstuhl bei organisatorischen und forschungsbezogenen Aufgaben

Ihr Profil

• Sie verfügen über einen Masterabschluss in Informatik, Maschinellem Lernen, Computerlinguistik oder einem verwandten Fachgebiet
• Wünschenswert: vorherige Forschungserfahrung oder Publikationen im Bereich NLP, ML oder verwandten Gebieten
• Sie besitzen starke Programmierkenntnisse in Python
• Wünschenswert: Erfahrung mit PyTorch oder TensorFlow/Keras
• Sie haben Erfahrung oder starkes Interesse an:
• Training großer Sprachmodelle (Transformers)
• Effizienten Trainingstechniken (z. B. LoRA, Quantisierung, Sparsity, Distillation)
• Skalierungsgesetzen, Trainingsdynamiken oder Evaluierung generativer Modelle
• Datensatzkonstruktion und großskaliger Datenverarbeitung
• Wünschenswert:
• Hintergrund oder Interesse an Linguistik oder Computerlinguistik, insbesondere im Zusammenhang mit Tokenisierung und Token-Gewichtungsstrategien
• Sie sind in der Lage, selbstständig zu arbeiten, Ihre Forschung zu strukturieren und Ihre Zeit effektiv zu managen
• Sie sind motiviert, zu Lehre und kollaborativer Forschung beizutragen

„Ein Ort, an dem Wissen geschaffen wird“ – Als eine der führenden europäischen Universitäten für Wirtschaftswissenschaften und Betriebswirtschaft engagiert sich die Universität St. Gallen (HSG), Schweiz, für die Ausbildung von über 10.000 Studierenden. Die HSG ist einer der grössten Arbeitgeber der Region und bietet mehr als 3.500 Forschenden, Lehrenden und Fachkräften ein attraktives und innovatives Umfeld.