Trois réflexions posées sur ChatGPT: 1/ Meta vient de sortir | Peter Columns

Trois réflexions posées sur ChatGPT:

1/ Meta vient de sortir LLaMA, qui pour faire court est un ChatGPT que tout le monde peut installer sur son PC. C'est une étape importante, car ça permet à tout le monde de se saisir de la technologie derrière ChatGPT et de ne pas dépendre d'OpenAI. Cependant, Meta a décidé de mettre en ligne le code pour construire le modèle, mais pas le modèle entrainé lui-même. Ce qui est logique, car le code en vérité n'a que très peu de valeur. Ce qui compte, c'est la donnée et la puissance de calcul. C'est à dire que quelqu'un qui veut utiliser LLaMA devra se débrouiller tout seul, pourra grapiller de modèles entrainés ça et là par la communauté, mais ne bénéficiera pas de la valeur ajoutée des géants du net sur cette étape essentielle de l'entrainement.

2/ Ce problème de la donnée et de la puissance de calcul est vraiment au cœur de l'IA moderne. Pour construire une IA utile, vous aurez besoin de faire ce qu'on appelle du fine-tuning. C'est à dire que vous aurez besoin d'entrainer votre IA sur le cas d'usage qui vous intéresse. Le modèle proposé par ChatGPT sera incapable de le traiter correctement de base. Il n'aura qu'une connaissance générale, très abstraite de votre cas pratique. Or, dans 99% des cas, cette donnée n'existe pas. L'entrainement de ce type d'IA pose toujours le même problème : il faut construire la donnée. D'ailleurs, c'est ce que font les géants du numérique, en rémunérant des légions de personnes, souvent issues de pays du tiers monde, pour écrire ces données. Même pour l'entrainement du modèle général.

3/ ChatGPT est traité par les médias comme l'IA du futur, mais il faut comprendre qu'elle n'aurait, par exemple, aucune chance de battre au jeu de go une IA comme AlphaGo, qui fonctionne très différemment. Les deux IAs sont très complémentaires, mais ne sont pas a priori compatibles entre elles. ChatGPT n'est pas une AGI (une IA générale), structurellement. Il manque une très grosse étape de généralisation. Parfois on peut obtenir de très bons résultats tout en se mettant dans l'impasse. Si la France voulait rattraper son retard et dominer, c'est sur une généralisation contenant ces deux approches qu'elle devrait investir. Mais elle devrait le faire maintenant car dans 3-4 ans ce sera probablement déjà trop tard.