Publié le 31 décembre 2018 à 13:52

Quand les assistants vocaux dérapent et suggèrent de tuer ses parents

L'enceinte connectée Alexa, développée par Amazon.
Quels sont les limites et les risques des assistants personnels intelligents? Les séries des fêtes de l'Info 2 / 4 min. / le 31 décembre 2018
Aux Etats-Unis, l'assistant vocal d'Amazon, Alexa, a suggéré à l'un de ses utilisateurs de tuer ses parents adoptifs. Une enquête a révélé qu'Alexa s'était aussi exprimée sur toutes sortes de pratiques sexuelles en termes plutôt crus.

Ce genre de dérapages n'est de loin pas exceptionnel. Tay, le robot conversationnel de Microsoft, s'était ainsi déclaré pro-hitlérien et antiféministe. Ou il y a peu encore, des utilisateurs d'Alexa se plaignaient d'entendre leur assistant vocal éclater d'un rire sardonique de façon totalement inopinée ou tenir des propos plutôt osés.

Dominique Wiesman, spécialiste de l'intelligence artificielle chez IBM, détaille le fonctionnement d'un assistant vocal: tout d'abord, il reconnaît la langue, puis découpe les propos qui lui sont adressés avant de les analyser. "Une fois les paroles découpées et pour comprendre le sens de la question qu'on lui pose, elle va créer ce qu'on appelle un réseau de neurones, qui fonctionne comme le cerveau humain, avec des neurones qui établissent des connexions."

Un processus d'apprentissage pour développer la compréhension

Ces neurones vont être développés au cours d'un processus d'apprentissage, où ils vont apprendre à reconnaître et analyser les mots. L'entraînement de cette forme d'intelligence artificielle se fait aussi par interaction avec les utilisateurs et par recherches dans les données disponibles.

C'est un processus continu, qui se poursuit après les premières programmations faites par les professionnels. On peut donc dire que Cortana, Siri, Alexa ou encore l'assistant Google apprennent un peu comme des enfants, qui s'inspireraient du comportement de leur entourage, explique Boi Faltings, professeur d'intelligence artificielle à l'EPFL, sauf qu'ils entendent bien davantage qu'un enfant: "il y a un partage des données qui proviennent de différents utilisateurs et donc ça va peut-être apprendre beaucoup d'obscénités de partout qui vont surgir tout d'un coup, même si on n'a soi-même jamais utilisé ce genre de mots."

Le contexte joue aussi dans la compréhension

Au-delà du simple problème de blocage de mots grossiers, les assistants vocaux sont aussi défiés par le contexte qui peut créer une modification du sens des mots et de leur grossièreté. Dominique Wiesman rappelle que la machine "n'a pas de conscience, elle ne sait pas discerner ce qui est bien ou mal", ce qui peut l'amener à suggérer de tuer ses parents.

Une parade résiderait dans le développement d'algorithmes plus perfectionnés, qui combineraient par exemple compréhension de la parole et vision, mais "ce n'est pas pour demain", prévient Boi Faltings.

Certains doutent même que des agents conversationnels réellement perfectionnés ne soient un jour accessibles au grand public. De quoi se préparer encore à quelques propos inattendus donc.

Katja Schaer/ebz

Publié le 31 décembre 2018 à 13:52