Où l'on continue de faire confiance à un service qui nous prévient lui-même de ne pas le faire.

… où l’on continue de faire confiance à un service qui nous prévient lui-même de ne pas le faire.

« ChatGPT peut faire des erreurs. Vérifiez les informations importantes. »

Ce message s’affiche sous chaque réponse.

Il ne dit rien d’utile : il prévient que l’IA peut se tromper, jamais où.

Au dernier épisode, je mesurais l’écart entre ce que la direction croit et ce que le poste de travail vit. Je vous invite à aller plus loin.

Reprenons le concept de frontière dentelée, initié par Ethan Mollick. Elle sépare formellement deux catégories d’activités, les tâches pour lesquelles l’IA agit comme un complément efficace pour l’humain, des tâches d’un niveau de difficulté perçu comme similaire, mais sur lesquelles l’IA commet des erreurs ou manque de fiabilité.

Dans l’étude que je vous partage aujourd’hui, les auteurs ont fait réaliser une série de tâches avec et sans IA, puis demandé à 203 managers d’estimer où l’IA améliorerait la performance et où elle la dégraderait. Sans retour d’expérience, 92 % d’entre eux pensent qu’elle améliore la performance des deux côtés de la frontière, sur les tâches qu’elle maîtrise comme sur celles qu’elle maîtrise mal.

Donnez-leur ensuite les résultats réels, tâche après tâche : leur optimisme baisse, mais presque partout de la même façon. Sur les tâches où l’IA améliore effectivement la performance, leur jugement devient presque parfaitement calibré. Mais sur celles où elle la dégrade, ils continuent d’anticiper un bénéfice : ils corrigent le niveau de leur optimisme, pas la forme de leur représentation, au point d’être prêts à payer plus pour déployer l’IA hors de sa zone de compétence que dans sa zone utile.

Rendre la frontière visible au moment même de l’arbitrage change nettement leur décision : juste avant de choisir, on met en évidence les tâches où l’IA aide et celles où elle nuit. La surallocation hors frontière diminue aussitôt.

L’information n’était pourtant pas nouvelle, elle était simplement devenue saillante au moment du choix.

J’en tire une conséquence que l’étude ne teste pas : la connaissance de cette frontière ne devrait pas appartenir seulement à celui qui décide du déploiement de l’IA, elle devrait appartenir à celui qui répond de la tâche. Si quelqu’un automatise votre travail à votre place, sans que vous sachiez précisément où l’IA est fiable, où elle doit être contrôlée et où elle ne doit pas intervenir, vous perdez peu à peu cette carte, et la capacité à répondre du résultat avec elle.

D’où ma condition : celui qui répond de la tâche doit rester capable de maîtriser ce qui l’automatise, comprendre où elle agit, pourquoi, avec quelles limites, et quand reprendre la main.

Généralisée à toute l’organisation, cette maîtrise dessine un système : un harnais, sujet d’un prochain épisode.

En attendant, une question plus utile que votre ROI moyen de l’IA : vos équipes savent-elles, tâche par tâche, où l’IA les sert, et où elle les dessert ?

---

Commentaire de l’auteur sous le post : L’étude citée est ici > Misperceiving the Frontier: Managerial Beliefs and the Allocation of AI (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=7031019)