Le Colloque > Résumés > Tlili Ameni

Comment parler à une machine ? Comment s'adresser à l'ordinateur ? Comment interagir avec des modèles de langue comme ChatGPT OU Lema2, etc. ? Quels mots choisir ? Quelles sont les tâches que l'IA peut accomplir en linguistique appliquée ?

Bien que les LLM soient capables de traiter des requêtes en langage naturel, la qualité de leurs réponses varie en fonction de plusieurs paramètres tels que la structure du prompt, l'utilisation de contextes ou d'exemples et le réglage de variables comme la température. Loin d'être une simple compétence technique, le prompting permet à celui qui le maîtrise d'accroître sa productivité.[1]

Notre travail vise à répondre aux questions suivantes : quels sont les éléments organisationnels et structurels qui composent un prompt efficace ? Quelles stratégies, tactiques, astuces et techniques peuvent être mises en œuvre pour éviter les biais, réduire les bruits et diminuer les hallucinations ? Comment exploiter ce savoir-faire en linguistique appliquée ?

Certains travaux très récents viennent d'être publiés en anglais pour étudier l'apport des LLM en linguistique appliquée: nous citerons, à titre d'illustration, ceux de Kohnke (Kohnke, Moorhouse, et Zou 2023), de Lin et Chin (Lin et Chen 2024), de Su (Su, Lin, et Lai 2023) et de Giray (Giray 2023). Aucun article n'a encore été publié en français. D'où l'urgence de se pencher sur cette question.

Notre méthodologie repose sur une analyse empirique des prompts conçus pour des tâches en linguistique appliquée. Comme l'a montré Lin (Lin 2024), dans le domaine de l'enseignement des langues, les prompts permettent de générer automatiquement le matériel d'enseignement: des exercices interactifs adaptés aux niveaux des apprenants, des tests, des quizs, des examens, des projets, des descriptifs, des rapports, etc. Dans le domaine de la recherche, les prompts peuvent évaluer des articles, proposer une première version d'un projet ou d'un article, corriger les erreurs, générer des statistiques, des graphiques ou du code informatique, automatiser le formatage des données, analyser des corpus, générer des résumés ou classer des données textuelles, etc.

L'analyse des prompts a mis en lumière l'importance d'une structuration précise de ceux-ci, incluant des éléments tels que des directives claires, des exemples explicites et l'ajout de patterns pour influencer la tonalité et le format des résultats. Les stratégies utilisées comprennent le prompting par chaîne de pensée (« chain of thought », COT), le prompting répétitif pour affiner les résultats et le « few-shot learning », qui s'appuie sur un faible nombre d'exemples pour orienter les réponses du modèle. Ces techniques se révèlent particulièrement efficaces pour résoudre des problématiques spécifiques tout en limitant les biais et les erreurs, comme l'ont également souligné White et al. (White et al. 2023) et Park et al. (Park et al. 2024).

Nos résultats montrent que le prompt engineering constitue non seulement une compétence technique mais aussi un levier pédagogique et scientifique prometteur.

Bibliographie sélective

Giray, Louie. 2023. « Prompt Engineering with ChatGPT: A Guide for Academic Writers ». Annals of Biomedical Engineering 51(12):2629‑33. doi: 10.1007/s10439-023-03272-4.

Kohnke, Lucas, Benjamin Luke Moorhouse, et Di Zou. 2023. « ChatGPT for Language Teaching and Learning ». RELC Journal 54(2):537‑50. doi: 10.1177/00336882231162868.

Lin, Zhiqing. 2024. « Prompt Engineering for Applied Linguistics: Elements, Examples, Techniques, and Strategies ». English Language Teaching 17:14. doi: 10.5539/elt.v17n9p14.

Lin, Zhiqing, et Huilin Chen. 2024. « Investigating the Capability of ChatGPT for Generating Multiple-Choice Reading Comprehension Items ». System 123:103344. doi: 10.1016/j.system.2024.103344.

Park, Daeseung, Gi-taek An, Chayapol Kamyod, et Cheong Ghil Kim. 2024. « A Study on Performance Improvement of Prompt Engineering for Generative AI with a Large Language Model ». Journal of Web Engineering 1187‑1206. doi: 10.13052/jwe1540-9589.2285.

Su, Yanfang, Yun Lin, et Chun Lai. 2023. « Collaborating with ChatGPT in Argumentative Writing Classrooms ». Assessing Writing 57:100752. doi: 10.1016/j.asw.2023.100752.

White, Jules, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse Spencer-Smith, et Douglas C. Schmidt. 2023. « A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT ».