Depuis des décennies, l’évaluation de l’intelligence artificielle repose sur des comparaisons avec les performances humaines. Cette approche, séduisante mais inadaptée, doit évoluer pour mieux refléter l’utilisation réelle de l’IA dans des environnements complexes.
L’évaluation de l’intelligence artificielle (IA) se concentre traditionnellement sur la capacité des machines à surpasser les humains dans des tâches spécifiques, telles que les échecs, les mathématiques avancées ou la rédaction d’essais. Bien que cette méthode d’évaluation soit standardisée et génère des classements attractifs, elle présente des limitations notables. En effet, les méthodes de benchmark actuelles ne tiennent pas compte des environnements réels dans lesquels l’IA est déployée, souvent caractérisés par des interactions complexes avec des équipes humaines. Ces évaluations, qui se concentrent sur des problèmes isolés, ne reflètent pas la performance de l’IA lorsqu’elle est intégrée dans des flux de travail organisationnels, ce qui peut conduire à une mauvaise interprétation de ses capacités et à une sous-estimation des risques systémiques qu’elle peut engendrer.
Pour remédier à cette situation, l’auteur propose un nouveau cadre d’évaluation, baptisé HAIC benchmarks (Human–AI, Context-Specific Evaluation). Ce modèle vise à évaluer la performance des systèmes d’IA sur des périodes prolongées, en prenant en compte les interactions au sein des équipes humaines et les spécificités des workflows organisationnels. En s’appuyant sur des études de déploiement de l’IA dans divers secteurs, tels que les petites entreprises, la santé et l’éducation, l’auteur souligne l’importance de cette approche. Par exemple, des modèles d’IA approuvés par la FDA, capables de lire des examens médicaux avec une précision impressionnante, ont montré des performances médiocres dans des contextes hospitaliers, où les professionnels de santé ont dû passer un temps considérable à interpréter les résultats de l’IA en fonction des normes spécifiques des hôpitaux.
Cette inadéquation entre les scores des benchmarks et la performance réelle de l’IA peut avoir des conséquences significatives pour les entreprises qui investissent dans ces technologies. Une adoption basée uniquement sur des résultats de benchmark élevés, sans évaluation du contexte d’utilisation, peut entraîner des pertes de temps et des ressources, compromettant ainsi l’efficacité des déploiements d’IA. Il devient donc essentiel de redéfinir les méthodes d’évaluation de l’IA pour garantir qu’elles reflètent fidèlement son utilisation dans des environnements dynamiques et complexes. En intégrant ces considérations contextuelles dans les benchmarks de l’IA, nous pouvons mieux comprendre ses capacités réelles et ses impacts économiques et sociaux.