Avertissement Ce site n'est pas recommandé pour les navigateurs Internet Explorer. Veuillez utiliser un autre navigateur Web pour profiter d'une meilleure expérience.

Stage : Utilisation des modèles LLM sur cas d'applications aéronautiques F/H

Publié
Société : Safran Domaine d'activité : Mathématiques et Algorithmes Emplacement : Magny-les-hameaux France , Ile de France , France Type de contrat : Stage Durée du contrat : Temps complet Diplôme requis : BAC+5 Expérience requise : Jeune diplômé-e/Première expérience
Publié

Parlons de votre future mission

Safran est un groupe international de haute technologie, équipementier de premier rang dans les domaines de l'Aéronautique, de l'Espace, de la Défense et de la Sécurité. Au sein de Safran Tech (le centre de R&T du groupe), l'Unité de Recherche Maths & Algorithms for Temporal Data (MATD) développe de nouveaux outils pour répondre aux grands enjeux en aéronautique ; en particulier, des méthodes de suivi efficaces de la santé des équipements, afin d'optimiser la maintenance et garantir la sécurité.
Des avancées récentes des grands modèles de langage génératifs (en anglais, Large Language Models (LLM)) rencontrent un succès dans de nombreux domaines et applications. En particulier, au sein de Safran, il existe plusieurs besoins d'utilisation des modèles LLM pour différents cas d'applications, notamment pour faciliter l'extraction d'information à partir d'un ensemble de données de documentation métier. L'un des défis de l'utilisation de ces modèles dans cette tâche est de savoir comment ré-entraîner les modèles LLM avec des connaissances spécifiques au domaine ou des données supplémentaires, ce qui nécessite souvent des pipelines complexes et des ressources informatiques coûteuses.

Par ailleurs, la Génération Augmentée par Récupération (en anglais, Retrieval Augmented Generation (RAG)) a été introduite récemment comme une technique prometteuse pour faciliter l'incorporation de données supplémentaires aux LLM. Comparé aux modèles de génération conventionnels, RAG présente des avantages remarquables et a notamment atteint des performances de pointe dans de nombreuses tâches de traitement du langage naturel, telles que la génération de réponses de dialogue, la traduction automatique et le résumé [1]. Le pipeline RAG ne nécessite que quelques étapes de code (voire pas de code) pour permettre au modèle d'accéder et de s'améliorer à partir de données supplémentaires, grâce à l'environnement tel que Langchain [2].

Dans le cadre de ce stage et au sein de cet environnement, nous explorerons l'aspect « fine-tuning » de modèles LLM sur notre documentation interne, en utilisant des approches à l'état de l'art du type LoRa [3], QLoRA [4] etc. L'objectif est la spécialisation de grands modèles de langage à notre domaine d'application, vocabulaire, pratiques spécifiques etc. Nous analyserons si le fine-tuning apporte un gain par rapport à d'autres approches : prompt engineering, solution RAG contextuelle à une base documentaire etc. Enfin, dans un but d'évaluation de la sortie du modèle, nous chercherons à caractériser la sortie du modèle et aussi à maîtriser le fonctionnement du réseau appris.

Et en complément ?

La mission pendant le stage consiste à :
- Constituer un état de l'art sur le fine-tuning de modèles LLM,
- Proposer et mettre en œuvre un schéma de fine-tuning de modèles LLM en fonction des ressources informatiques disponibles,
- Expérimenter et analyser les résultats obtenus,
- Travailler sur la partie évaluation,
- Participer aux travaux de l'équipe comme la mise en place et l'exécution d'expériences pour réaliser des articles scientifiques.
Bibliographie :
[1] Li, H., Su, Y., Cai, D., Wang, Y., & Liu, L. (2022). A survey on retrieval-augmented text generation. arXiv preprint arXiv:2202.01110.
[2] https://python.langchain.com/docs/expression_language/cookbook/retrieval
[3] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen (2021). LoRA: Low-Rank Adaptation of Large Language Models.
[4] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer (2023). QLoRA: Efficient Finetuning of Quantized LLMs.

Parlons de vous

Programmation : Python (librairies scientifiques)
Disciplines: LLM, NLP, prompt engineering, RAG, fine-tuning.
Langues : Anglais pour lecture scientifique + communiquer

Localisez votre futur site

Rue des jeunes bois 78114

Magny-les-hameaux France

Ile de France France

92 000
collaborateurs dans le monde
27
pays dans lesquels Safran est présent
35
familles de métiers