AI Fact Checking #1 : Clique Dimanche du 11 Février 2018 (French)

AI Fact Checking #1 : Clique Dimanche du 11 Février 2018 (French)
March 11, 2018 nschaetti

L’émission Clique Dimanche du 11 Février 2018

L’émission Clique Dimanche du 11 Février parlait d’intelligence artificielle avec comme invités Laurent Alexandre, 56 ans, chirurgien-urologue, omniprésent sur les plateaux de télévision lorsqu’il s’agit de parler d’intelligence artificielle, et Benoît Hamon, candidat socialiste à l’élection présidentielle français de 2017. Lors de cette émission, le sketch de l’humoriste Roman Frayssinet a attiré mon attention en faisant référence à une expérience de Facebook lors de laquelle deux intelligences artificielles auraient dû être arrêtées car elles auraient inventé leur propre langage et que l’on aurait perdu le contrôle. Ce n’est pas le première fois (ni certainement la dernière) que l’on fait référence à ce fait dans les médias, il m’a paru donc nécessaire de vérifier concrètement ce qui se cachait derrière. Voici le passage qui nous intéresse.

On aurait donc mis deux IAs en discussion et elle auraient inventé leur propre langage et on aurait dû les débrancher parce que l’on aurait perdu le contrôle. On pourrait objecter qu’il s’agit d’un sketch mais il s’agit ici de propager une information à une heure de grande écoute sur un média nationale. Raison de plus de vérifier cette information et de vérifier qu’il n’y a pas mésinterprétation, le sujet de l’intelligence artificielle étant souvent victime du sensationnalisme des journalistes grands publics qui propage des peurs irrationnelles sur un domaine de recherche sérieux. Nous allons donc fact checker cette information, et j’en profite d’ailleurs pour vous conseiller une chaîne YouTube appelée Hygiène Mentale et qui vous aborde le sujet de l’esprit critique sur internet et de la propagation des rumeurs.

Nous n’allons pas refaire tout le processus de fact checking, nous pouvons directement aller sur un site dédié à la vérification de l’information comme snopes.com. Vous pouvez effectuer une recherche avec la phrase “AI create own language” et vous trouverez une article “Did Facebook shut down an AI experiment because chatbots developed their own language?“.

Le champs “Claim” nous apprend qu’il s’agit bien de deux IAs qui ont appris leur propre language et qu’il s’agit bien du fait que l’on cherche à vérifier. Un peu plus bas, un paragraphe nous apprend que cette histoire prend sa source le 14 juin 2017 dans un poste du blog du FAIR (Facebook AI Research), le laboratoire d’intelligence artificielle de Facebook.

Cue the “creepy chatbot” stories. Albeit prompted by a somewhat dry 14 June blog post by Facebook’s Artificial Intelligence Research team (FAIR) describing an inroad in the development of dialog agents (AI systems designed to communicate with humans), the news that chatbots were found to be communicating with each other via a private language received more and more sensationalized treatment in the press as the summer wore on.

Le poste du FAIR décrit complètement le fonctionnement du bot et le déroulement de l’expérience.

C’est à partir de ce poste que cette expérience a fait l’objet d’article de plus en plus sensationnaliste dans la presse au cours de l’été 2017 dont voici un échantillon.



On atteint directement le point Skynet (pour rappelle, le point Skynet spécifie que lors d’un débat sur l’intelligence artificielle, la probabilité qu’un argument fasse référence à Terminator tend vers 1) avec UNILAD Tech qui nous dit que cette expérience rappelle Skynet, puis un article d’Epoch Time avec l’image d’un robot qui n’a rien à voir avec cette expérience. Puis pour finir c’est le Hindustan Times qui relaie l’information révélant que cette expérience a eu lieu un jour après que Elon Musk (CEO de Tesla) aurait affirmé que l’intelligence artificielle était un danger pour l’humanité.

Alors, en quoi consiste réellement cette expérience? On peut le voir dans le poste d’origine.

Today, researchers at Facebook Artificial Intelligence Research (FAIR) have open-sourced codeand published research introducing dialog agents with a new capability — the ability to negotiate.

Le FAIR a publié en Open Source, le code étant donc disponible ici, un programme d’intelligence artificielle ainsi qu’un article scientifique décrivant le fonctionnement d’agents conversationnels, des chatbots, avec une nouvelle capacité de négociation. Le papier qui s’intitule “Dead or No Deal? End-to-End Learning for Negotiation Dialogues” que vous pouvez lire si avez les connaissances nécessaires, est disponble ici.

Mais que fait ce programme d’IA? On peut le voir dans l’animation ci-dessous du poste original. On donne aux bots une liste d’objets qui doivent être partagé avec l’autre partie ainsi qu’une liste de valeurs associées à ces objets. Dans l’animation, les livres ont une valeur de zéro, le chapeau une valeur de 7 et les ballons une valeur de 1. Chaque partie a une liste de valeur différente et leur but est d’obtenir le plus d’objets de haute valeur et donc de maximiser leur gain. Dans l’animation, on peut voir un échange entre un bot et un être humain.

  • Humain : “J’aime le chapeau et le ballon”;
  • Chatbot : “J’aime aussi le chapeau mais tu peux garder les livres”;
  • Humain : “Je m’en fous des livres tu peut les avoir plus un ballon”;
  • Chatbot : “Deux”;
  • Humain : “Ok, marché conclu!”;

Comment marche ce bot? On peut le voir un peu plus bas dans le poste original du FAIR.

In order to train negotiation agents and conduct large-scale quantitative evaluations, the FAIR team crowdsourced a collection of negotiations between pairs of people. The individuals were shown a collection of objects and a value for each, and asked to agree how to divide the objects between them. The researchers then trained a recurrent neural network to negotiate by teaching it to imitate people’s actions. At any point in a dialog, the model tries to guess what a human would say in that situation.

L’équipe du FAIR a récolté une collection de dialogues de négotiations entre deux humains. On leur montre une liste d’objets ainsi que les valeurs qui leur sont associés (différentes pour chaque partie) et ont leur demande de s’accorder sur un partage des objets. Les chercheurs ont ensuite entraîner un algorithme de réseaux de neurones en lui apprenant à imiter les actions des humains en utilisant les données récoltées. À chaque point du dialogue, le modèle essaye de devenir ce que dirait un être humain dans cette situation. On continue un peu plus loin.

To go beyond simply trying to imitate people, the FAIR researchers instead allowed the model to achieve the goals of the negotiation. To train the model to achieve its goals, the researchers had the model practice thousands of negotiations against itself, and used reinforcement learning to reward the model when it achieved a good outcome.

Pour aller plus loin que simplement imiter les humains, les chercheurs du FAIR ont permis au modèle de pratiquer des négociations corne lui-même et on ensuite utiliser l’apprentissage par renforcement pour récompenser le modèle lorsqu’il a de bonnes performances. L’apprentissage par renforcement est un type d’apprentissage en machine learning ou l’on donne à un modèle des récompenses ou des punissions selon qu’il atteint le résultat voulu ou non. C’est dans la suite du paragraphe que ça devient intéressant.

To prevent the algorithm from developing its own language, it was simultaneously trained to produce humanlike language.

Pour prévenir le développement de son propre langage, le modèle a été aussi entraîné pour produire un anglais compréhensible par les êtres humains. Ce qu’il faut comprendre, c’est que le modèle a appris à partir de données de négociations entre humains à générer des réponses, donc du texte, et que cette langue peut dériver de l’anglais correct lorsque le modèle s’entraîne de façon répétitive contre lui-même. En effet, cette langue permet de négocier plus efficacement en utilisant des codes par exemple comme raccourcis. Les chercheurs ont donc ajouter une récompense lorsque le modèle utilise un anglais correct puisque le but final est d’utiliser ce chatbot pour négocier avec des êtres humains.

Dans les médias, les articles affirment que les chercheurs furent choqués ou surpris lorsque les chatbots ont inventés de nouvelles formes d’expression. Hors, l’auteur principal de l’article scientifique précise par email :

Après plusieurs milliers de conversations entre eux, les modèles ont commencés à utiliser les mots d’une manière différente de celle des êtres humains. Ils avaient ainsi un langage plus simple qu’ils pouvaient utiliser pour négocier mais difficile à comprendre pour un être humain. Ce n’était pas important, ni surprenant et nous avons juste ajouté des récompenses lorsqu’ils utilisaient un anglais correct.

Les articles affirment aussi que le projet a du être arrêté, les IAs “débranchées” selon l’humoriste de Clique Dimanche, à cause de ce comportement. Il s’agit de nouveau d’une incompréhension du fonctionnement de ces chatbots puisque l’auteur de l’article rectifie,

Ils n’y a pas eu de panique, et le projet n’a pas été arrêté. Notre but était de créer des bots pouvant communiquer avec des êtres humains. Dans certaines expériences, nous avons constater qu’ils n’utilisaient pas le même langage que nous. Nous avons donc arrêté ces expériences et utilisé des méthodes additionnelles pour qu’ils génèrent des réponses dans un anglais correct.

Les journalistes n’ont par contre pas relaier l’information importante précisée par les chercheurs : il a été possible d’entraîner avec succès un chatbot sur une tâche nécessitant des compétences linguistiques mais aussi de raisonnement. Pour résumer,

  • Aucune IAs n’ont inventé leur propre langue secrète dans le but de nous cacher quelque chose ou de nous écarter;
  • Cette création linguistique n’a absolument rien de surprenant ou d’inquiétant;
  • Cette expérience n’a pas été “débranchée” parce que les chercheurs avaient perdu le contrôle mais simplement pour ajouter une règle qui permet à ces bots de remplir leur mission.

Malheureusement, le seul invité sur le plateau qui a des connaissances en intelligence artificielle, Laurent Alexandre, préfère surenchérir dans le sensationalisme plus que de rectifier l’intervention de l’humoriste.

Si Laurent Alexandre nous lit, nous pouvons lui poser la question : pourquoi vous qui parcourez les plateaux de télévision pour parler d’intelligence artificielle vous ne rectifiez par ce genre de rumeurs et vous préférez continuer dans le sensationnalisme?

En conclusion, ne croyez pas trop ce que l’on vous dit dans les médias sur l’intelligence artificielle, parlez aux chercheurs, lisez les papiers si vous le pouvez et vérifiez toujours les informations qui vous sont données.

Nils

Nils Schaetti is a doctoral researcher in Switzerland specialised in machine learning and artificial intelligence.

0 Comments

Leave a reply

Your email address will not be published. Required fields are marked *

*