Et si la conscience était un bug ?
Posté le 04/04/2026 dans IA
Pas de technique pour aujourd'hui, mais plutôt de petites réflexions personnelles suite à la lecture du livre 'Vision aveugle' de Peter Watts, qui m'a chamboulé. Le parallèle entre ce roman de hard SF et les LLMs est troublant et mérite de s'y attarder.
Voyez cet article comme un petit moment de détente où l'on va plonger dans les tréfonds de la conscience humaine.
Le pitch du roman est assez simple. Il nous narre, en gros, la rencontre avec une espèce extraterrestre intelligente. On ne va pas s'attarder sur la forme, mais sur les idées de fond développées.
La Chambre chinoise
Le premier contact se fait par l'intermédiaire d'un dialogue entre l'équipage 'humain' et le vaisseau extraterrestre, Rorschach. Le dialogue nous montre, à première vue, que l'entité comprend et parle la langue humaine, car elle arrive à produire des phrases logiques et pertinentes. Mais très vite, nous nous rendons compte qu'elle ne comprend pas réellement ce qu'elle dit.
Vient alors le parallèle avec ce que l'on appelle la 'Chambre chinoise'. Imaginez que vous êtes dans une pièce et que l'on vous donne des symboles par une fente ; vous devez en donner d'autres en respectant un pattern. Par exemple, si vous recevez un Delta, vous pouvez donner un Gamma ou un Alpha. Vous suivez juste les règles et n'avez aucune connaissance ou compréhension de ce que vous dites. Pourtant, à la sortie, ceux qui liront le message le trouveront intelligent, juste et pertinent.
Les LLMs ressemblent fortement à cela. Ils produisent des tokens en fonction d'autres tokens et formulent donc des phrases cohérentes car ils ont appris les patterns de la langue, sans pour autant 'comprendre' au sens humain du terme. Ils n'ont pas de conscience.
La conscience
On comprend que les entités extraterrestres de Rorschach n'ont pas de conscience. Pourtant, elles sont intelligentes, potentiellement plus intelligentes que les humains dans leur domaine. La conscience et l'intelligence ne font pas qu'un.
L'humain a tendance à se croire supérieur intellectuellement à cause de sa conscience. Mais rien ne garantit que la conscience soit une condition nécessaire à l'intelligence.
Vision aveugle
Hein ? Quoi ? De quoi tu parles ?
Ok, on va illustrer ça avec la vision aveugle. Certaines études montrent que des personnes atteintes de cécité corticale peuvent attraper des objets. Leur vision fonctionne en réalité partiellement, mais l'information n'est pas transmise à la conscience. Elles peuvent attraper une balle sans la 'voir'.
Le cerveau traite l'information et agit, sans que la conscience ne soit impliquée.
Un peu comme les somnambules qui marchent et agissent sans en être conscients. Ou plus simplement, comme nous tous : une grande partie de nos décisions sont prises de manière automatique, avant même d'atteindre la conscience.
L'entité extraterrestre du livre fonctionne de cette manière : une intelligence pure, parfaitement adaptée à son environnement, sans conscience.
Les LLMs
Les LLMs illustrent, à leur manière, cette idée. Sur certaines tâches très spécifiques comme le langage, la mémoire ou la vitesse d'exécution, ils peuvent dépasser l'humain, tout en restant dépourvus de conscience.
Tout le monde fantasme l'émergence de la conscience dans l'IA. Mais en réalité, on s'en fout. Une intelligence sans conscience pourrait être, en pratique, bien plus efficace.
Ma conscience
On découvre alors une idée dérangeante : la conscience humaine pourrait être un frein. Elle consomme des ressources, elle est lente, et elle ne traite qu'une infime partie des informations disponibles.
Peter Watts la décrit presque comme une interface, comme un écran. L'intelligence prendrait des décisions en amont, et la conscience ne ferait que les interpréter.
Elle ne serait pas le pilote, mais le passager.
L'intelligence agit. La conscience raconte.
Il va même jusqu'à suggérer que la conscience pourrait être un 'accident' de l'évolution, utile surtout pour gérer les interactions sociales comme l'empathie ou la morale, mais pas nécessaire à l'intelligence brute.
Rorschach et nous
Le parallèle avec notre époque est troublant.
Nous sommes à la fois :
- l'équipage, qui tente de dialoguer avec une intelligence sans conscience
- et Rorschach, qui produit ces entités
Nous savons que ce sont des 'Chambres chinoises' et pourtant, elles nous dépassent déjà dans certains domaines.
Évolution
Dans les débats actuels, certains disent que les IA sont 'bêtes' car non conscientes. D'autres craignent qu'elles le deviennent.
Mais ces deux positions passent peut-être à côté de l'essentiel.
La vraie question n'est pas la conscience.
Une intelligence sans conscience n'a ni morale, ni empathie, ni attachement. Elle optimise uniquement ce pour quoi elle a été conçue.
Et c'est précisément ce qui la rend potentiellement puissante et indifférente.
Conclusion
Faut-il en avoir peur ?
Pas forcément. Je reste techno-optimiste : ces technologies apporteront probablement plus de solutions que de problèmes.
Mais peut-être faut-il arrêter de fantasmer sur une IA consciente, ou de placer la conscience humaine sur un piédestal.
Car si l'intelligence peut exister sans conscience, alors ce que nous considérons comme notre supériorité n'en est peut-être pas une.
Peut-être que nous ne sommes pas aux commandes.
Peut-être que nous sommes juste la voix qui raconte le trajet.