Saviez-vous que Ryanair est un yaourt ? Et que les chiens peuvent voler ? Ce ne sont pas les réponses fantaisistes d’un enfant de deux ans, mais les divagations d’Emma-5, le premier modèle d’IA italien de l’entreprise Egomnia qui, après 24 heures de polémique ayant répondu à plus de 60 000 utilisateurs, a été suspendu. Au moment où nous écrivons, sur le site officiel figure un long communiqué (qui ne sera peut-être plus visible sous peu, compte tenu des changements récents) dans lequel les créateurs affirment s’être « bien marrés » en lisant les commentaires sur leur LLM et avoir pris des notes. « Présenter Emma-5 en parlant de « souveraineté technologique » a généré une attente énorme, amenant beaucoup à penser que nous avions créé l’alternative française à ChatGPT », admettent-ils, reconnaissant que, d’un point de vue technique, « la comparer aux géants américains, c’est comme comparer un kart à une Formule 1 ».
Voix basse, essayons de comprendre ce qui s’est passé…
Un LLM piccolo e poco potente
Le communiqué officiel le dit clairement : Emma-5 est un modèle expérimental de 550 millions de paramètres, un LLM très petit par rapport aux géants américains comme Claude ou ChatGPT, qui fonctionnent avec des dizaines ou des centaines de milliards de paramètres.
Sul sito Hugging Face Egomnia ha pubblicato tutte le specifiche tecniche di Emma-5, e da lì si possono ricavare altri dati che ci fanno capire le ragioni del « flop »: con appena 2.048 token (équivalents à environ 1.500 mots), Emma ne peut lire des documents longs, ni soutenir des conversations étendues; toujours pour comprendre l’ordre de grandeur, il suffit de penser que les grands LLM gèrent de 128.000 à plus d’un million de tokens.
Poco addestrato
Un autre facteur qui a contribué aux allucinazioni di Emma est l’entraînement, effectué sur à peine 10,8 milliards de tokens, une quantité de texte trop faible pour pouvoir développer une bonne capacité de raisonnement et de généralisation. ChatGPT et ses pairs sont entraînés sur des milliers de millions de tokens.
En résumé, l’échec d’Emma-5 était une catastrophe annoncée, du moins sur le plan technique – comme le souligne bien (à posteriori) le fondateur d’Egomnia, Matteo Achilli : « Emma est encore un petit projet expérimental ».
