Comparer les IA génératives et analyser leurs différences est désormais possible, car toutes les intelligences artificielles génératives ne se valent pas, nous explique Nicolas Arpagian. Et surtout, elles ne consomment pas toutes les mêmes ressources. La semaine dernière, je me suis connecté sur France info un peu par hasard et j’y ai découvert la nouvelle chronique de Nicolas intitulée « Nouveau Monde ». Dimanche dernier, Nicolas y présentait le site comparia.beta.gouv.fr que nous vous recommandons vivement.
Comparez les IA génératives et analysez leurs différences
Une start-up d’État pour comparer les IA génératives
J’ai découvert le concept de start-up d’État dans le dernier livre de Stéphane Schultz, Après la Tech. Un livre sur lequel nous analyserons bientôt dans Visionary Marketing puisque la date de l’interview avec l’auteur est déjà fixée.
Compar:IA est donc une start-up d’État. « Au sein de la direction interministérielle du numérique (DINUM), elle propose un site gratuit pour confronter les résultats fournis par différentes IA à une même question, » nous explique Nicolas Arpagian dans sa chronique. Le site disponible à l’adresse comparia.beta.gouv.fr m’a ouvert les yeux sur bien des aspects de ces outils.
Comparer et évaluer les modèles d’IA génératives
J’avais intuitivement l’impression que ces différents modèles ne se valaient pas et que certains étaient meilleurs que d’autres sur certaines requêtes. Mais j’étais loin de me douter de l’immense variation des résultats en fonction d’un même prompt. L’outil proposé par compar:IA rend visible et tangible cette impression.
Mais bien mieux encore, elle permet de comparer la consommation des différents modèles d’IA générative et là, je suis carrément tombé de ma chaise, tant les différences sont énormes.
Voici un des exemples proposés par le site : « détaille les étapes simples pour comprendre le concept de la photosynthèse comme si tu l’expliquais à un enfant de primaire ». Le site soumet ce prompt à deux modèles anonymes. Voici les réponses obtenues.
En cliquant sur « étape suivante », vous pourrez donner vos préférences je vais choisir le modèle B dont je vais indiquer que je préfère les réponses plus complètes avec une mise en forme plus claire.
Maintenant, je passe à nouveau à l’étape suivante pour découvrir la consommation derrière ces deux modèles. Ici, on verra que le LLM que j’ai préféré est celui de Meta (Llama) dont j’ai entendu dire plusieurs fois qu’il était plus frugal. Toutefois, comparé à Mistral (à gauche), il consomme cinq fois plus d’énergie.
Parmi mes essais, c’est Google Gemini qui décrochait le pompon avec une consommation équivalente à 12 h d’une ampoule LED pour une question très simple et une réponse de quelques lignes. On remarquera aussi que certains modèles, comme Llama notamment, sont plus verbeux que d’autres.
Lire et écouter la chronique de Nicolas sur France Info.
À propos de Nicolas Arpagian
Nicolas Arpagian est Vice-Président chez Headmind Partners. Auteur de plusieurs ouvrages sur la cybersécurité, il est reconnu pour son analyse des enjeux numériques actuels. Il est chroniqueur hebdomadaire « Nouveau Monde » sur France Info. Il a précédemment travaillé chez Orange Cyberdefense, Trend Micro. En tant qu’enseignant, il intervient dans des institutions comme Sciences Po Saint-Germain-en-Laye, l’ENSP et l’Université Polytechnique Mohammed VI au Maroc.
————————————————————
Yann Gourvennec a créé visionarymarketing.com en 1996. Il est conférencier et auteur de 6 livres. En 2014, il est passé d’intrapreneur à entrepreneur en créant son agence de marketing numériqueDéfinition marketing digital, un terme utilisé en permanence et pourtant bien mal compris car mal défini.