OpenAI vient de franchir une nouvelle étape dans le domaine de l’intelligence artificielle en lançant deux modèles, o3 et o4-mini, capables d’intégrer des images dans leur processus de raisonnement. Cette avancée ouvre la voie à des applications inédites, allant de l’analyse de documents visuels complexes à l’identification de lieux à partir de simples photos. De quoi susciter beaucoup d’enthousiasme… et certaines inquiétudes en matière de divulgation d’informations personnelles !
Ce qu’il faut retenir :
- Raisonnement visuel intégré : Les modèles o3 et o4-mini peuvent désormais analyser et manipuler des images (zoom, rotation, recadrage) pour en extraire des informations pertinentes.
- Applications concrètes : De la résolution de problèmes mathématiques à la localisation géographique à partir de photos, ces modèles démontrent une polyvalence impressionnante.
- Disponibilité : Ces fonctionnalités sont accessibles aux utilisateurs des offres ChatGPT Plus, Pro et Team.
- Inquiétudes : Pratique, cette nouvelle fonctionnalité ouvre la porte à de nombreux abus.
Une IA qui « voit » et qui comprend
Traditionnellement, les modèles d’IA traitaient séparément le texte et les images. Avec o3 et o4-mini, OpenAI introduit une capacité de raisonnement multimodal, où les images sont analysées en profondeur pour en extraire des informations contextuelles. Par exemple, un utilisateur peut soumettre une photo d’un problème mathématique manuscrit, même floue ou partiellement lisible, et le modèle sera capable de l’interpréter, de la corriger et de fournir une solution détaillée.
Cette capacité repose sur des techniques avancées de traitement d’image, permettant aux modèles de recadrer, zoomer ou faire pivoter les images pour en améliorer la lisibilité. Ainsi, même des documents mal scannés ou des photos prises à la volée deviennent exploitables.
Des applications variées et innovantes
L’intégration du raisonnement visuel dans les modèles d’Open AI ouvre la porte à de nombreuses applications :
- Éducation : Les étudiants peuvent soumettre des photos de leurs devoirs ou de notes manuscrites pour obtenir des explications détaillées.
- Développement logiciel : Les développeurs peuvent partager des captures d’écran d’erreurs pour recevoir une analyse et des suggestions de correction.
- Accessibilité : Les personnes malvoyantes pourraient utiliser ces modèles pour interpréter des informations visuelles complexes.
La tendance de la recherche inversée de localisation
Une utilisation émergente et virale de ces modèles est la recherche inversée de localisation à partir de photos, même de mauvaise qualité. Les utilisateurs soumettent des images de lieux, et le modèle tente d’identifier l’endroit exact en se basant sur des indices visuels tels que l’architecture, la signalisation ou le paysage.
Bien que fascinante et potentiellement très utile, cette fonctionnalité soulève des questions en lien avec la confidentialité, notamment en ce qui concerne la possibilité de localiser des individus à partir de photos partagées en ligne. On pense évidemment au phénomène du doxxing, qui consiste à divulguer des données personnelles dans un but de harcèlement ou de vengeance. Une pratique, punie par la loi, que la nouvelle fonctionnalité d’Open AI pourrait grandement faciliter. Une nouvelle source d’inquiétude pour les opposants à l’IA, en somme !
Vers une intelligence artificielle plus autonome
Les modèles o3 et o4-mini ne se contentent pas d’analyser des images. Ils peuvent également combiner cette analyse avec d’autres outils de ChatGPT, tels que la navigation web, l’exécution de code Python ou la génération d’images. Cette intégration permet une approche plus holistique et autonome de la résolution de problèmes complexes.
OpenAI prévoit de continuer à développer ces capacités, avec l’objectif de lancer GPT-5 dans les mois à venir, promettant une IA encore plus performante et accessible.