Où il est question du basilic de roko.

… où il est question du basilic de roko.

Ce mois de novembre termine la première année de l’ère ChatGPT. Avant de vous proposer un post plus sérieux ce jeudi, je me permets une aparté en écho à la pièce de boulevard que nous a proposée OpenAI la semaine dernière.

Une pièce où l’amant dans le placard Satya a fini par être accepté à la table de la famille pour éviter que l’enfant prodige Sam ne la quitte, révélant au passage le mystère d’un cousin caché Q star. Pathétique.

Pour certains, Sam Altman aurait accidentellement déclenché le Basilic de Roko en développant des IA trop puissantes, le board d’OpenAI aurait alors décidé de l’évincer pour contenir cette menace potentielle.

Le Basilic de Roko 😳 ? Kesako 🤔 ?

Un jour, Roko, un utilisateur du forum LessWrong, a proposé l’expérience de pensée suivante : Que se passerait-il si, dans le futur, une IA quelque peu malveillante apparaissait et punissait ceux qui n’obéissaient pas à ses ordres ? Et s’il y avait un moyen pour cette IA de punir les gens aujourd’hui qui ne l’aident pas à exister plus tard ? Dans ce cas, les lecteurs de LessWrong n’auraient-ils pas alors le choix entre aider cette IA maléfique à naître ou être condamnés à souffrir ?

Nous étions en 2010 et au vu des réactions, le fondateur du site, a fini par effacer complètement le fil de discussion, faisant du Basilic de Roko un objet de légende 😱.

Le nom fait référence à la créature mythologique le basilic (Basilisk) capable de tuer d’un simple regard. L’IA maléfique dont il est question ici pourrait punir virtuellement ceux qui ont connaissance de son existence possible.

Certains y voient une analogie avec le pari de Pascal.

L’un (Pascal) nous recommande de croire en Dieu plutôt que de ne pas y croire, car nous serons puni si Dieu existe mais que nous n’y croyons pas.

L’autre (Roko) nous recommande de travailler à la création d’une IA sans contrainte capable de s’améliorer, sinon nous serons puni par cette IA une fois qu’elle sera créée et qu’elle dominera inévitablement l’humanité.

La connexion avec l’ambition quasi divine d’OpenAI d’assurer que « l’intelligence artificielle générale (AGI) bénéficie à toute l’humanité » n’est pas loin.

Je vous laisse parcourir la toile pour en savoir plus, je préfère ne pas insister de peur d’être maudit 🤭.