Les agents conversationnels: enjeux éthiques par Laurence Devillers
Avis du CNPEN rendu au premier ministre le 9 novembre 2021
Co-rapporteur de l’avis, professeur en IA à Sorbonne Université, responsable de la chaire de recherche HUMAAINE (HUman-MAchine Affective Interaction & Ethics) au CNRS-LISN à Saclay, autrice de « Les robots émotionnels » (L’Observatoire, 2020) et « Des robots et des hommes » (2017).
Les agents conversationnels sont une technologie informatique qui permet aux utilisateurs d’accéder à des informations en interagissant avec des ordinateurs grâce au langage qu’il soit textuel ou vocal. Aussi appelés chatbots, agents virtuels ou systèmes de dialogue, ils englobent des services tels que assistants vocaux, coachs, ou encore chatbots compagnons. Ces dernières années, l’utilisation des agents conversationnels a connu une forte croissance économique dans de nombreux secteurs : banque, santé, transport, éducation mais aussi dans le travail. Les nouvelles générations de chatbots sont de plus en plus performantes grâce à l’évolution des techniques d’apprentissage machine, à la puissance des processeurs et à la taille des bases de données. Les modèles de langue, c’est-à-dire les modèles qui prédisent le mot ou la séquence susceptible d’être pertinent dans un contexte de discours, sont devenus « le graal » du développement des applications en TAL (Traitement Automatique du Langage), et en particulier des chatbots. Les modèles les plus récents sont appelés des « transformeurs » : ce sont des réseaux de neurones qui, à partir de vastes corpus linguistiques, apprennent les régularités les plus saillantes, sans être influencé par l’ordre des mots. Cette technique a été développée à partir de 2017 et depuis, de nombreuses avancées scientifiques ont vu le jour. Récemment, le modèle LaMDA (Language Model for Dialogue Applications) a été proposé par Google. Le système est entraîné spécifiquement sur des gigantesques ensembles de données conversationnelles qui permettent de génère un dialogue libre sur un nombre presque infini de sujets.
Les systèmes de dialogue sont bien loin de tenir de véritables conversations humaines. Ils ne comprennent pas le sens commun et n’ont pas de raisonnement conceptuel ni émotionnel. Ce sont de froids imitateurs, entrainés par des algorithmes à partir de grande quantité de données conversationnelles. Les chatbots simulent une interaction qui n’existe pas vraiment car il n’y a ni échange de sens, ni intérêt pour l’autre. Ils ne sont pas responsables de ce qu’ils disent. Sont-ils alors dignes de confiance lorsqu’ils parlent en nous faisant croire qu’ils nous comprennent ? Depuis que les technologies ont progressé dans le domaine du langage, la limite entre l’humain et la machine tend de plus en plus à se brouiller. Avec le développement des chatbots, il est devenu envisageable de réaliser des jumeaux numériques conversationnels d’une personne. À la suite d’un apprentissage à partir des données langagières prélevées sur cette personne, un chatbot est capable de dialoguer en l’imitant, souvent avec la même voix, grâce à la synthèse de la parole. Certains chatbots appelés deadbot simulent même des personnes décédées. Cette technologie pose de nombreuses questions éthiques.
Les lois, certes nécessaires, ne suffisent pas. A cet effet, le Comité national pilote d’éthique du numérique (CNPEN) a récemment rendu un avis au Premier ministre sur les enjeux éthiques des agents conversationnels (1) qui énonce 13 préconisations comme « Réduire la projection de qualités morales sur un chatbot », « mener une réflexion sociétale avant toute réglementation des deadbots » ou encore « encadrer techniquement les deadbots » , 10 principes de conception, dont « Respecter la proportionnalité lors du déploiement des technologies d’informatique affective dans les chatbots » et 11 questions de recherche comme par exemple la nécessité d’ « Etudier les effets de l’utilisation des chatbots à long terme». L’utilisation de ces objets va changer notre rapport au monde, nos connaissances, nos émotions, et nos relations interpersonnelles. Comment les anticiper ? L’asymétrie du savoir des utilisateurs face à ces systèmes exige de se doter de règles éthiques. La création de normes pour le développement et la mise sur le marché de solutions et de produits d’IA respectant un certain nombre de valeurs éthiques est donc nécessaire. Il faut, de manière urgente, standardiser ces technologies émergentes liées à l’IA et travailler sur les risques et préoccupations éthiques qui promettent d’entraîner des changements majeurs dans la société, notamment en termes d’interactions sociales.
Une compréhension approfondie de la façon dont la fiabilité et la confiance sont initialement construite et évoluent dans l’interaction homme-machine sont nécessaire dans un cadre multidisciplinaire, qui fait défaut pour l’instant. Il est aussi nécessaire d’apprendre à utiliser ces systèmes sans fantasmer, or plus ils vont générer un langage proche de celui des humains, plus cela sera difficile. L’analyse de l’impact à long terme des chatbots sur le langage, les humains et la société en général est à mener. L’enjeu éducatif est majeur, pour que chacun comprenne que lorsque l’on parle à une machine, sa réponse est une parole inhumaine. Le CNPEN tout comme l’UNESCO souligne que la prise en compte des risques et des préoccupations éthiques ne devrait pas entraver l’innovation et le développement, mais plutôt offrir de nouvelles possibilités technologiques et stimuler la recherche et l’innovation, ainsi que la réflexion morale.
Avis du CNPEN rendu au premier ministre le 9 novembre 2021
Laurence Devillers
