Notre communication se propose de présenter la construction et les possibilités d'utilisation d'un corpus d'interactions humains-robots au service des méthodes informatiques (IA) pour programmer de nouveaux systèmes d'interaction incarnées.
Il s'agit d'un corpus issu d'un projet de recherche interdisciplinaire en analyse conversationnelle, robotique sociale et Natural Language Processing (NLP) qui vise à réfléchir à de nouvelles façon de programmer un robot humanoïde suite à des analyses exploratoires et systématisées d'interactions spontanées et non élicitées. Il a été créé dans le but de répondre empiriquement à un paradoxe constaté en études HRI: les développeurs et designers souhaitent copier les comportements humains, mais face à la machine, les utilisateurs s'attendent à d'autres normes d'interaction (voir par exemple Nazir et al. 2023). Les interactions ont été filmées dans l'espace public d'une bibliothèque universitaire. Les interactions revêtent un caractère proche du naturel dans la mesure où, si ce n'est pas habituel de rencontrer un robot dans une BU, le cas d'usage prévu (la machine agit en tant qu'agent accueil) est plausible dans ce type de situation (accueil dans les gares, musées, offices de tourisme etc.).

Ce corpus, voué à être partagé avec les communautés en linguistique appliquée et en informatique, est original par le terrain que représente les données primaires (données interactionnelles non élicitées), ainsi que par le travail d'analyse et d'annotations résultantes effectué sur celles-ci (pour une réflexion voir aussi Rollet & Clavel 2020). Il permet d'investiguer non pas seulement le contenu des échanges, mais également la temporalité continue de leur émergence ainsi que la multimodalité. Prendre en compte cette temporalité et multimodalité en tant que constitutives de la construction du sens en interaction est actuellement un défi majeur pour le design et la programmation d'interactions orales incarnées comme les robots qui parlent et s'orientent dans l'espace, les assistants vocaux etc. (Tisserand et al.2023,2024).
Ce corpus de plusieurs centaines de clips, centralisé au format EAF (ELAN), est constitué non seulement des transcriptions verbales alignées temporellement à la vidéo (trois vues, dont la caméra intégrée du robot) mais aussi des annotations codées de séquences d'actions incluant les procédés de répétition, de réparation et d'évaluation in situ de la machine. L'intégralité des tours adressés à la machine ont été ainsi étiquetés et distingués de l'interaction humain-humain en cas d'interactions en en groupe avec le robot. Une partie du corpus a été également annotée par rapport à certains phénomènes multimodaux identifiés comme pertinents (regards, rotations, gestes, arrivées et départs...). Ainsi, chacune des contributions de la machine ou des participants à l'interaction peut être analysée par rapport à ce contexte temporel/séquentiel et multimodal.
Dans notre communication, nous présenterons des exemples de ce corpus et discuterons des possibles applications et limites de ce type de données.

Bibliographie :
Nazir, T. A., Lebrun, B., & Li, B. (2023). Improving the acceptability of social robots: Make them look different from humans. PLOS ONE, 18(11), e0287507. https://doi.org/10.1371/journal.pone.0287507
Rollet, N., & Clavel, C. (2020). ‘Talk to you later' Doing social robotics with conversation analysis. Towards the development of an automatic system for the prediction of disengagement. Interaction Studies, 21(2).
Tisserand, L., Armetta, F., Baldauf-Quilliatre, H., Bouquin, A., Hassas, S., & Lefort, M. (2023). Sequential annotations for naturally-occurring HRI: first insights. Proceedings of Workshop on Human-Robot Conversational Interaction (HRCI Workshop '23). HRCI Workshop '23, Stockholm, SE. https://cui.acm.org/workshops/HRI2023/pdfs/HRCI23_paper_9.pdf
Tisserand, L., Stephenson, B., Baldauf-Quilliatre, H., Lefort, M., & Armetta, F. (2024). Unraveling the Thread: Understanding and Addressing Sequential Failures in Human-Robot Interaction anonymous. Frontiers in Robotics and AI, 11. https://doi.org/10.3389/frobt.2024.1359782