Permettez-moi de revenir sur l'article "Douze mythes de l’intelligence artificielle" d'Olivier Ezratty (OE).
OE impressionne par la qualité de sa veille, il est un de ceux qui fouillent le plus leur sujet, c'est un excellent "tech-screener" comme il se définit lui-même, mais son propos comporte aussi des approximations et erreurs d'appréciation que je souhaiterais ici citer et commenter.
OE entend démystifier les débats sur l'IA pour mieux les ramener autour de ses possibles applications à court-terme, dans l'entreprise notamment. C'est une démarche respectable, qui se comprend d'autant plus par son métier, c'est un consultant indépendant...qui se propose entre autres d'aider les entreprises à appréhender le virage de l'IA. S'il ne le dit pas ouvertement, il laisse à penser que se demander si l'IA pourra un jour atteindre notre niveau d'intelligence, et si oui, quand et avec quelles conséquences sur nos vies, sont des questions vaines aujourd'hui, à laisser aux singularistes illuminés. En fait, ces sujets, au fond bien plus importants et intéressants pour le grand public et l'humanité toute entière que les applications de court terme de l'IA, inquiètent et mobilisent bien au-delà des singularistes affirmés. Un grand nombre de chercheurs en IA considèrent que l'IA atteindra notre niveau d'intelligence (faire tout ce que nous pouvons faire) ce siècle. Cela doit nous interpeller.
Quelques extraits suivis de commentaires :
OE : "Les prospectivistes de l'IA, diablement efficaces dans leur communication, en sont rarement des spécialistes au sens scientifique du terme. Et quand ils le sont, les exagérations subtiles s’accumulent sur leurs fonctions. L’exemple le plus connu est celui de l’empereur des prévisions et le prince consort de la singularité Ray Kurzweil qui est présenté selon les jours comme dirigeant toute la R&D, toute la recherche ou toute l’ingénierie de Google, alors qu’il ne dispose que d’une petite équipe d’une vingtaine de personnes et ne dirige ni Google Brain ni Deep Mind qui sont les deux principales entités de recherche de Google dans l’IA. C’est totalement anecdotique mais fait partie de la manière on enjolive les choses pour faire passer ses messages ampoulés sur l’IA."
Thomas : "There being no consensus, we should avoid strong assumptions regarding upper limits on future AI capabilities.", "Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources.", " Risks posed by AI systems, especially catastrophic or existential risks, must be subject to planning and mitigation efforts commensurate with their expected impact." OE trouvera peut-être ces messages ampoulés, mais ils font partie de la déclaration d'Asilomar de 2017 signée certes par Ray Kurzweil mais aussi plus de 1000 "AI/Robotic researchers" dont, tiens, tiens : Demis Hassabis (Founder & CEO de DeepMind), Jeff Dean (Leader of Google Brain project) ansi qu'un certain Yann LeCun( Director of AI Research at Facebook, Professor at New York University) dont OE dit par ailleurs que c'est un de ceux à écouter pour "sortir des mythes de l'IA"
______
OE : "Mythe 4) L’IA se formerait instantanément. En fait: Le temps d’entrainement d’un système mono-fonction de deep learning se compte au minimum en heures ou en jours, voire en semaines, comme pour la reconnaissance d’images pour l’interprétation d’imagerie médicale. Qui plus est, l’IA ne s’entraine pas toute seule. Elle requiert beaucoup d’itérations avec de l’intervention humaine. La notion de systèmes auto-apprenants dans le machine learning est une vue de l’esprit. Les data scientists doivent faire de nombreux tests et de la supervision pour choisir les bons modèles statistiques de segmentation, classification ou prédiction ! "
T : c'est vrai, mais OE parle de la situation d'aujourd'hui, cela évolue très vite, cette année par exemple Google a pu créer une IA qui peut créer d'autres IA ("In one experiment, researchers at the Google Brain artificial intelligence research group had software design a machine-learning system to take a test used to benchmark software that processes language. What it came up with surpassed previously published results from software designed by humans. Jeff Dean, who leads the Google Brain research group, mused that some of the work of machine learning experts could be supplanted by software. He described what he termed “automated machine learning” as one of the most promising research avenues his team was exploring." Source : Technology Review). On peut raisonnablement penser qu'il sera de plus en plus "facile" de produire des algos d'IA. Attention au travers consistant à juste regarder la photo du moment alors que les progrès sont rapides dans le domaine.
OE "On oublie aussi que la majorité des solutions d’IA, comme celles de l’exploitation d’imagerie médicale, s’appuie sur des bases de connaissances qui sont le résultat de longues recherches scientifiques réalisées par des milliers de spécialistes. Quand AlphaGo gagne contre le champion du monde, il exploite aussi 150 000 parties des meilleurs joueurs du monde. Cette connaissance d’origine humaine a mis du temps à se construire. L’IA est souvent un “free rider” qui exploite cette longue accumulation."
T : Aïe, son article date du 12 novembre 2017...mais dès le 18 octobre on apprenait que Deepmind avait mis au point AlphaGo Zero, capable d'apprendre tout seul en 3 jours à jouer au jeu de Go et à battre 100 parties à 0 la précédente version AlphaGo qui avait elle-même battu les meilleurs champions, et ce en s'entraînant contre lui-même, sans accès aux "150 000 parties des meilleurs joueurs humains" ! Beaucoup des commentateurs de l'IA n'anticipent pas à quel point les IA pourront générer leurs propres données pour apprendre rapidement dans plus en plus de scénarios, s'affranchissant au passage des connaissances humaines laborieusement accumulées.
______
OE :"Mythe 5) L’IA serait quasiment gratuite et abondante. En fait : l’IA n’est pas du tout gratuite du côté du cloud et des data centers qu’elle nécessite pour son fonctionnement. Un serveur Nvidia DGX1 coute la bagatelle de $129K ! Certes, ces machines bénéficient de la dimension économique de la loi de Moore et leur prix baisse régulièrement. Mais au gré de cette baisse, les besoins matériels des solutions d’IA augmentent et l’ensemble s’équilibre."
T : Si il est vrai de dire que au gré de la baisse des prix, "les besoins matériels des solutions d’IA augmentent et l’ensemble s’équilibre", il faut bien voir que si les besoins matériels augmentent, c'est parce qu'on fait faire à l'IA toujours plus de choses, toujours mieux ! Donc pour une tâche donnée, le coût de l'IA chute bien, le rapport qualité/prix explose pour le plus grand confort et bien de tous. L'IA devient bien de plus en plus accessible et abondante !! C'est juste qu'on met au point toujours plus d'IA pour faire toujours plus et mieux.
______
OE : "Mythe 7) Les progrès de l’IA seraient plus qu’exponentiels. En fait : Si Laurent Alexandre a pu annoncer en 2017 que l’IA verrait sa productivité multipliée par 100 chaque année, en réalité les gains constatés en 2017 sont bien plus mesurés. Par exemple, entre les deux dernières générations de cartes graphiques Nvidia utilisées en deep learning, le gain de performance brut dans les calculs liés au deep learning passe d’un facteur 1,8 à 9,3. Et concernant l’entraînement d’un réseau de neurones pour la reconnaissance d’images, il est 2,4 fois plus rapide et son exécution, une fois paramétré, est 3,7 fois plus rapide entre ces deux générations de de cartes graphiques Nvidia 2016et 2017. C’est très bien mais on est loin d’un facteur 100 qui permet d’impressionner un auditoire !"
TJ : OE a raison de critiquer LA sur ses déclarations à l'emporte-pièce bien souvent sans fondement. C'est vrai qu'il est difficile de quantifier les progrès en IA. Mais à supposer qu'on puisse, une IA n'a pas besoin de voir son efficacité x100 chaque année pour connaître un développement exponentiel !! Beaucoup de gens se méprennent sur le sens d'exponentiel. OE le connaît c'est sûr, mais aurait gagné ici à être plus clair. Pour faire simple, on dit qu'un phénomène quantifiable se développe de façon exponentielle quand en valeur il double à intervalle de temps régulier ! Mais rien ne dit ce que doit être cet intervalle de temps régulier ! Ça peut être disons 2 ans comme pour la loi de Moore pour avoir un doublement du nombre d'opérations de base par seconde pour 1000$ de processeurs. Mais ça peut être n'importe quelle valeur, comme 1000 ans...
OE : "Par contre, évidemment, si vous en alignez 40 en parallèle, l’entrainement ira en effet 100 fois plus vite qu’avec un GPU d’ancienne génération dans la mesure où les frameworks de deep learning savent assez bien paralléliser l’entrainement sur plusieurs GPU."
T : "Il est donc imprécis de se limiter à comparer les performances de deux cartes graphiques, il faut analyser la performance ramenée au prix, car c'est bien ce qui compte dans notre monde. Si avec 40 processeurs version 2017 on va 100 fois plus vite qu'avec 1 processeur version 2016, et qu'un processeur 2017 coûte 40 fois moins cher que celui version 2016, alors, oui, le rapport qualité/prix est multiplié par 100 ! Je n'ai pas pu trouver rapidement les infos (seulement que NVIDIA Volta GV100 GPU manufacturing cost is close to $1,000), si qq les a, ce serait intéressant de les partager, mais je doute qu'effectivement ce soit 40 fois moins cher, ça pourrait même être un peu plus cher, donc c'est vrai qu'il faut dénoncer ici LA, mais cela ne veut pas dire que certains progrès quantifiables ds le domaine de l'IA ne sont pas exponentiels.
______
OE : "Mythe 8) L’Artificial General Intelligence (càd, l'intelligence de niveau humain) est la suite logique de l’Artificial Narrow Intelligence (càd, l'intelligence étroite, superhumaine seulement dans des niches : celle que nous connaissons aujourd'hui) "
OE "L’un des travers de ce dogme est de s’appuyer sur un prédicat erroné qui positionne l’intelligence humaine et celle des machines sur une seule dimension, celle de la puissance brute de calcul. L’AGI (Artificial General Intelligence) serait l’aboutissement mécanique de l’application bête de la loi de Moore. Tout au plus doit-on régulièrement en repousser l’échéance du fait des découvertes incessantes sur la complexité du cerveau.(..) Les prévisions oublient de mentionner ce que l’on découvre régulièrement sur la complexité du cerveau et de la mémoire. On ne sait d’ailleurs toujours pas décrire avec précision le fonctionnement de cette dernière. Le fonctionnement des neurones pourrait être bien plus complexe qu’estimé il y a 10 ou 15 ans."
T : Honnêtement, peu des acteurs et chercheurs de l'IA s'appuie sur ce postulat. Il disent que c'est la combinaison d'une puissance de calcul couplée au bons algorithmes et aussi avec assez de jeux de données qui peut conduire un jour à l'émergence d'une IA de niveau humain. Ici OE laisse à penser que si l'IA doit atteindre notre niveau, elle ne pourra le faire qu'une fois qu'on aura décrypté entièrement notre cerveau. Mais c'est faux, on n'a pas eu besoin de copier à la lettre comment les oiseaux volent pour faire voler des avions. Si certains pensent effectivement qu'on saura un jour émuler un cerveau un humain pour produire une IA de niveau humain, la plupart au contraire disent qu'on s'en inspirera, au mieux, mais sans avoir à en reproduire toute la complexité. Tout dépend ensuite de ce qu'on entend par intelligence, c'est l'éternel débat. Si on s'en tient à la définition pratique suivante "la capacité à résoudre des problèmes" et donc pour l'AGI, "faire tout ce que les humains peuvent faire pour ce qui est de comportements, actions, propos perceptibles", alors la majorité des chercheurs en IA sondés à la conférence d'Asilomar pensent que c'est pour ce siècle, et que ça fera suite aux travaux sur l'IA d'aujourd'hui.
OE : "Et c’est sans compter l’avènement de l’ASI, une intelligence ultra-supérieure, incontrôlable et unique (ASI) qui serait quasiment instantané après celui de l’AGI."
T : Peu en fait disent qu'on passera de l'AGI à la Super Intelligence instantanément. Il n'y pas d'avis majoritaire sur cette question parmi les chercheurs. Mais il faut bien voir que ce passage n'a pas besoin d'être rapide, ni même de se produire (si on considère que l'IA en reste à l'AGI, intelligence de notre niveau), pour que cela pose à nous les humains des questions majeures quant au devenir de notre espèce. Max Tegmark, qui n'est pas un chercheur en IA, sorry, mais dont l'avis est je trouve respectable dit bien lui-même qu'il s'agit de la conversation la plus importante de notre temps. À écouter OE, on se dit que ces questions méritent d'être balayées d'un revers de main.
OE : "Qui plus est, les mammifères sont plutôt efficaces côté consommation énergétique, les IA du moment sont bien plus consommatrices d’énergie, sans parler des robots."
T : c'est vrai aujourd'hui, mais encore une fois, les progrès sont rapides. Et encore une fois, si une IA dépasse notre niveau, qu'importe si elle consomme plus d'énergie ? Surtout si celle-ci voit son prix chuter du fait des progrès dans les panneaux solaires et les batteries... Le problème existentiel pour l'humanité reste quasiment le même, ce n'est très certainement pas une raison de plus de ridiculiser un débat autour de l'AGI et la super intelligence
OE "Qui plus est, les machines ont presque toujours besoin d’interventions humaines. Leur intelligence mécanique est alimentée par l’expérience et l’intelligence humaines. L’expérience montre aussi que des IA couplées à des hommes sont supérieures aux IA seules. Enfin, les Hommes et les machines n’ont pas les mêmes capacités et se complètent."
T : Oui c'est la situation d'aujourd'hui, mais on a trop souvent entendu dire que l'IA ne pourrait pas faire ceci ou cela, jusqu'au jour où elle le peut, et où on la redéfinit d'ailleurs !
____
OE : "Mythe 11) Avec OpenAI, les GAFAMI deviendraient responsables"
OE "Les dangers perceptibles de l’IA sont à l’origine de la création d’OpenAI, une initiative visant non pas à créer une IA open source – les logiciels de l’IA sont déjà presque tous open source – mais à surveiller et analyser ses évolutions. Il s’agit d’une ONG créée par Elon Musk qui veut s’assurer de manière asez manichéenne que l’IA fasse le bien et pas le mal. Elle est dotée de $1B et doit faire de la recherche."
OE "Sous des couverts de bonne gestion du principe de précaution, ces initiatives des GAFAMI sont à évaluer sous la loupe des pratiques habituelles du lobbying. Elles visent à calmer les peurs et à assurer les pouvoirs publics qu’une autorégulation de l’IA est possible par les acteurs de l’industrie. Cela vise surtout à éviter que ces derniers s’immiscent dans la stratégie de ces grands acteurs. Et dans le cas où il viendrait à l’idée des pouvoirs publics de réguler l’IA d’une manière ou d’une autre, d’être prêt avec des propositions compatibles avec leurs stratégies. C’est de bonne guerre mais il ne faut pas être dupe ! Les GAFAMI ont plus peur des Etats et de l’utilisations qu’ils pourraient faire de l’AI que de leurs propres AIs."
T : c'est son avis, mais déjà il faut noter que OpenAI n'émane pas directement des GAFAMI, mais notamment d'Elon Musk, comme OE le dit lui-même. Et quoi qu'OE en dise, OpenAI fait bien de la recherche originale, en plus de celle que font tous les autres, et la rend publique. À ce titre on peut tout de même arguer qu'avzec OpenAI l'écosystème de la Silicon Valley produit une réaction ici qui la rend un peu plus responsable. OpenAI est financé à hauteur de 1B$ contre 700M$ pour DeepMind de Google.
______
OE "Mythe 12) La connexion cerveau – IA serait pour demain"
T : tout dépend ce ce qu'on entend par demain, avant 2050, ou même 2070 ça reste "demain" à l'échelle de l'aventure humaine démarrée il y a 100 000 ans !
OE : "Facebook travaille de son côté sur un casque de télépathie de cerveau à cerveau en 2019 alors qu’au mieux, il permettra de dicter un texte, lettre par lettre."
T : C'est un poil réducteur. L'ambition affichée est bien plus grande, en avril 2017, "Regina Dugan, the head of Facebook’s R&D division Building 8, explained to conference attendees that the goal is to eventually allow people to type at 100 words per minute, 5X faster than typing on a phone, with just your mind, without invasive implants. "It sounds impossible but it’s closer than you think,” said Ms Dugan, who joined Facebook from Google last year and previously led DARPA, the US government’s advanced defence research division." Et je ne pense pas que Facebook se projette à 2100. Même si ça prend 25 ans, il s'agit bien d'une révolution !
OE : "Va-t-on mettre les microprocesseurs de la technologie d’Elon Musk dans les cerveaux des enfants ? Bien non. Neuralink ne fabrique pas des microprocesseurs à implanter dans le cerveau mais de simples électrodes ! Qui sont plutôt parties pour traiter avec précision des pathologies neurodégénératives diverses. Les entrepreneurs vendent du rêve ou du cauchemar. Dans la pratique, ils se rabattent à la fin sur des solutions technologiquement intéressantes mais pas celles des prospectus de la science fiction."
T : C'est mal connaître la stratégie d'Elon Musk, il démarre toujours avec des applications "peu" ambitieuses mais à même de trouver un marché rapidement, dont les fruits serviront à financer le développement des étapes ultérieures. Ainsi des voitures Tesla de luxe, annonçant celles grands publics et abordables, pari en passe d'être tenu. Ou des fusées moins chères afin de remporter des parts de marché dans la mise sur orbite de satellites, finançant la fusée réutilisable, qui permettra, permet déjà, de gagner toujours plus de parts de marché, afin de financer ensuite le véhicule qui emmènera l'Homme sur Mars... Musk est un passionné qui a montré qu'il savait exécuter ses plans, même si retards. Il est un peu présomptueux de balayer d'un autre revers de main la sincérité et la crédibilité de sa vision sur l'importance des interfaces cerveau-machine à laquelle il veut donner corps avec Neuralink.