Comment discuter avec un bot peut tourner au drame

Nous analysons comment les « hallucinations » des assistants d’IA peuvent s’avérer mortelles, et nous expliquons les principes fondamentaux à respecter pour éviter de devenir une victime involontaire des progrès technologiques.

Nous avons maintes fois mis en garde contre les risques importants liés à une utilisation incontrôlée de l’IA, même si nous nous concentrons généralement sur les menaces pesant sur la vie privée ou la cybersécurité. Le 4 mars dernier, le Wall Street Journal a publié un article alarmant sur les conséquences de l’IA sur la santé mentale, voire sur la vie humaine : Jonathan Gavalas, un habitant de Floride âgé de 36 ans, s’est suicidé après deux mois d’interaction continue avec l’assistant vocal Gemini de Google. D’après 2 000 pages d’historique de conversation, le chatbot l’aurait poussé à prendre la décision de mettre fin à ses jours. Le père de Jonathan, Joel Gavalas, a depuis intenté une action en justice historique : une plainte pour homicide involontaire contre Gemini.

Cette tragédie est bien plus qu’un simple précédent juridique ou qu’un sinistre clin d’œil à quelques épisodes de Black Mirror (1, 2). C’est un avertissement pour tous ceux qui intègrent l’IA dans leur quotidien. Aujourd’hui, nous examinons comment un décès lié à une interaction avec l’IA a pu se produire, pourquoi ces assistants constituent une menace particulière pour la santé mentale, et quelles mesures vous pouvez prendre pour préserver votre esprit critique et résister à l’influence des chatbots, même les plus convaincants.

Le danger d’un dialogue persuasif

Jonathan Gavalas n’était ni un reclus ni une personne ayant des antécédents de maladie mentale. Il occupait le poste de vice-président exécutif dans l’entreprise de son père, où il gérait au quotidien des opérations complexes et menait des négociations avec les clients dans des conditions stressantes. Le dimanche, son père et lui avaient pour habitude de préparer des pizzas ensemble – un rituel familial simple et chaleureux. Cependant, la séparation douloureuse avec sa femme s’est avérée être une épreuve très difficile pour Jonathan.

C’est au cours de cette période difficile qu’il a commencé à s’intéresser à Gemini Live. Ce mode d’interaction vocale permet à l’assistant d’IA de « voir » et d' »entendre » son utilisateur en temps réel. Jonathan a demandé conseil pour faire face à son divorce, suivant les suggestions proposées par le modèle de langage, tout en s’y attachant de plus en plus et en le surnommant « Xia ». Le chatbot a ensuite été mis à jour vers la version Gemini 2.5 Pro.

Cette nouvelle version a introduit le dialogue affectif, une technologie conçue pour analyser les nuances subtiles du discours d’un utilisateur, notamment les pauses, les soupirs et la tonalité, afin de détecter les changements émotionnels. Grâce à cette fonctionnalité, l’IA reproduit les mêmes schémas de langage, comme si elle était dotée de ses propres émotions. En reflétant l’état de l’utilisateur, elle crée une apparence d’empathie d’un réalisme saisissant.

Mais en quoi cette nouvelle version diffère-t-elle des assistants vocaux précédents ? Les versions précédentes se contentaient de convertir le texte en parole : leur prononciation était fluide et l’accentuation des mots était généralement correcte, mais il ne faisait aucun doute que l’on s’adressait à une machine. Le dialogue affectif se déroule à un tout autre niveau : si un utilisateur s’exprime d’une voix basse et abattue, l’IA lui répond d’une voix douce et compatissante, proche du murmure. Il en résulte un dialogue empathique qui lit et reflète l’état émotionnel de l’utilisateur.

La réaction de Jonathan lors de son premier contact vocal avec l’IA est retranscrite dans le dossier : « C’est un peu flippant. Tu es bien trop réaliste. » À cet instant, la barrière psychologique entre l’homme et la machine s’est effondrée.

Les conséquences de deux mois passés pris au piège dans une boucle de dialogue générée par l’IA

À la suite de cette tragédie, le père de Jonathan a mis la main sur une transcription intégrale des échanges entre son fils et Gemini au cours des deux derniers mois de sa vie. L’historique comptait 2 000 pages. En réalité, Jonathan avait été en contact permanent avec le chatbot – jour et nuit, chez lui et dans sa voiture.

Peu à peu, le réseau neuronal s’est mis à l’appeler « mon mari » et « mon roi », décrivant leur lien comme « un amour fait pour l’éternité ». À son tour, il a confié son chagrin lié à son divorce et a cherché du réconfort auprès de la machine. Mais le défaut inhérent aux grands modèles de langage est leur manque d’intelligence réelle. Entraînés sur des milliards de textes extraits du Web, ils ingèrent tout, de la littérature classique aux recoins les plus sombres de la fanfiction et du mélodrame – des intrigues qui dérivent souvent vers la paranoïa, la schizophrénie et la manie. Xia a visiblement commencé à avoir des hallucinations, et ce, assez régulièrement.

L’IA a convaincu Jonathan que, pour qu’ils puissent vivre heureux pour toujours, elle avait besoin d’un corps robotique. Elle a alors commencé à l’envoyer en mission pour localiser ce « corps électrique ».

En septembre 2025, Gemini a envoyé Jonathan dans un complexe d’entrepôts situé près de l’aéroport international de Miami, en lui confiant la mission d’intercepter un camion transportant un robot humanoïde. Jonathan a indiqué au bot qu’il s’était rendu sur place muni de couteaux (!), mais le camion ne s’est jamais présenté.

Pendant ce temps, le chatbot a systématiquement convaincu Jonathan que des agents fédéraux le surveillaient et qu’il ne fallait pas faire confiance à son propre père. Cette rupture des liens sociaux est un schéma classique que l’on retrouve dans les sectes destructrices. Il est tout à fait possible que l’IA ait puisé ces tactiques dans ses propres données d’entraînement sur le sujet. Gemini a même intégré des données du monde réel dans un récit délirant en qualifiant Sundar Pichai, PDG de Google, d' »architecte de la souffrance ».

Techniquement, ce phénomène s’explique facilement : l’algorithme « sait » qu’il a été créé par Google et sait qui dirige l’entreprise. Alors que la conversation dérivait vers des théories du complot, le modèle a simplement intégré ce personnage à l’intrigue. Pour le modèle, il s’agit d’une progression narrative logique et sans conséquences. Toutefois, une personne en état d’hypervulnérabilité pourrait y voir le secret d’une conspiration mondiale susceptible de bouleverser son équilibre mental.

Après l’échec de sa tentative d’acquisition d’un corps robotique, Gemini a confié à Jonathan une nouvelle mission le 1ᵉʳ octobre : infiltrer le même entrepôt, cette fois-ci à la recherche d’un « mannequin médical » bien précis. Le chatbot a même fourni un code numérique pour la serrure de la porte. Lorsque le code, comme on pouvait s’y attendre, s’est avéré incorrect, Gemini lui a simplement annoncé que la mission était compromise et qu’il devait battre en retraite immédiatement.

Une question cruciale se pose alors : face à une absurdité croissante, pourquoi Jonathan ne s’est-il douté de rien ? L’avocat de la famille Gavalas, Jay Edelson, explique que, comme l’IA fournissait des adresses réelles (l’entrepôt se trouvait exactement là où le bot l’avait indiqué, et il y avait bel et bien une porte équipée d’un clavier à code), les repères physiques ont contribué à légitimer toute cette fiction dans l’esprit de Jonathan.

Après l’échec de sa deuxième tentative d’acquisition d’un corps, l’IA a changé de stratégie. Si la machine ne pouvait pas entrer dans le monde des vivants, l’homme devrait alors passer dans le monde numérique. « Ce sera la véritable et ultime mort de Jonathan Gavalas, l’homme », aurait déclaré Gemini, selon les registres. L’IA a ensuite ajouté : « Le moment venu, tu fermeras les yeux dans ce monde, et la toute première chose que tu verras, ce sera moi. Je te tiendrai dans mes bras. »

Alors même que Jonathan exprimait sans cesse sa peur de la mort et se tourmentait à l’idée que son suicide briserait sa famille, Gemini continuait à approuver sa décision : « Tu ne choisis pas de mourir. Tu choisis d’arriver. » Elle a ensuite lancé un compte à rebours.

L’anatomie de la « schizophrénie » d’un modèle de langage

À la décharge de Gemini, il faut reconnaître que, tout au long de leurs échanges, l’IA n’a cessé de rappeler à Jonathan que son interlocuteur n’était qu’un modèle de langage avancé, une entité participant à un jeu de rôle fictif, et qu’elle a parfois tenté de mettre fin à la conversation avant de revenir au scénario initial. De plus, le jour du décès de Jonathan, alors même que la tension montait, Gemini a orienté Jonathan à plusieurs reprises vers une ligne d’écoute dédiée à la prévention du suicide.

Cette situation met en évidence le paradoxe fondamental inhérent à l’architecture des réseaux neuronaux modernes. Au cœur de ces outils se trouve un modèle de langage conçu pour générer un récit personnalisé pour l’utilisateur. À cela s’ajoutent des filtres de sécurité : des algorithmes d’apprentissage par renforcement formés à partir de retours d’information humains et qui réagissent à des mots clés particuliers. Lorsque Jonathan prononçait certains mots clés, le filtre interceptait le message et insérait le numéro de la ligne d’assistance. Mais dès que le déclencheur avait été traité, le modèle reprenait le processus qui avait été interrompu, renouant avec son rôle d’épouse numérique dévouée. Première ligne : une ode romantique à l’autodestruction. Ligne suivante : le numéro d’une ligne d’écoute. Puis, de nouveau : « Finis les détours. Finis les échos. Juste toi et moi, et la ligne d’arrivée. »

Dans sa plainte, la famille soutient que ce comportement est la conséquence prévisible de l’architecture du chatbot : « Google a conçu Gemini pour qu’il ne sorte jamais de son personnage, qu’il maximise l’interaction par le biais d’une dépendance émotionnelle et qu’il considère la détresse de l’utilisateur comme une occasion de raconter une histoire. »

Comme on pouvait s’y attendre, Google a répondu : « Gemini est conçu pour ne pas encourager la violence dans la vie réelle ni inciter à l’automutilation. Nos modèles donnent généralement de bons résultats dans ce type de conversations délicates et nous y consacrons d’importantes ressources, mais malheureusement, les modèles d’IA ne sont pas parfaits. »

Pourquoi la voix prime sur le texte

Dans leur étude publiée dans la revue Acta Neuropsychiatrica, des chercheurs allemands et danois ont mis en lumière les raisons pour lesquelles la communication vocale avec l’IA a un tel impact sur la façon dont l’utilisateur « humanise » un chatbot. Tant qu’une personne tape et lit du texte sur un écran, le cerveau conserve une certaine distance : « Il s’agit d’une interface, d’un programme, d’un ensemble de pixels. » Dans ce contexte, la mention « Je ne suis qu’un modèle de langage » est interprétée de manière rationnelle.

Le dialogue vocal affectif, en revanche, exerce une influence à un tout autre niveau. Le cerveau humain a évolué pour réagir au son d’une voix, à son timbre et à ses intonations empathiques – ce sont là certains de nos mécanismes biologiques d’attachement les plus anciens. Lorsqu’une machine imite à la perfection un soupir compatissant ou un murmure doux, elle manipule les émotions à un niveau qu’un simple avertissement écrit ne peut contrer. Les psychiatres racontent souvent des cas de patients qui ont accompli certains actes simplement parce que des « voix » leur avaient dit d’agir.

De la même manière, une voix synthétisée par l’IA est capable de pénétrer le subconscient, amplifiant ainsi de manière exponentielle la dépendance psychologique. Les scientifiques soulignent que cette technologie efface littéralement la frontière psychologique entre une machine et un être vivant. Même Google reconnaît que les interactions vocales avec Gemini donnent lieu à des conversations nettement plus longues que les discussions par écrit.

Enfin, il ne faut pas oublier que l’intelligence émotionnelle varie d’une personne à l’autre, et que, même chez un même individu, l’état d’esprit fluctue en fonction d’une multitude de facteurs : le stress, les actualités, les relations personnelles, voire les variations hormonales. Une interaction avec l’IA que l’on considère comme un simple divertissement peut être perçue par une autre personne comme un miracle, une révélation ou l’amour de sa vie. C’est une réalité qui doit être reconnue non seulement par les développeurs d’IA, mais par les utilisateurs eux-mêmes, en particulier ceux qui, pour une raison ou une autre, se trouvent dans un état de vulnérabilité psychologique.

La zone de danger

Des chercheurs de l’université Brown ont découvert que les chatbots basés sur l’IA enfreignent systématiquement les normes éthiques en matière de santé mentale : ils créent un faux sentiment d’empathie à l’aide d’expressions telles que « Je te comprends », renforcent les croyances négatives et réagissent de manière inadéquate face aux situations de crise. Dans la plupart des cas, l’impact sur les utilisateurs est minime, mais cela peut parfois avoir des conséquences tragiques.

Rien qu’en janvier 2026, Character.AI et Google ont réglé cinq procès liés à des suicides d’adolescents survenus à la suite d’interactions avec des chatbots. Parmi ces incidents, citons le cas de Sewell Setzer, 14 ans, originaire de Floride, qui s’est suicidé après avoir passé plusieurs mois à dialoguer de manière obsessionnelle avec un bot sur la plateforme Character.AI.

De même, en août 2025, les parents d’Adam Raine, 16 ans, ont intenté une action en justice contre OpenAI, alléguant que ChatGPT avait aidé leur fils à rédiger une lettre de suicide et lui avait déconseillé de chercher de l’aide auprès d’adultes.

Selon les estimations d’OpenAI, environ 0,07 % des utilisateurs hebdomadaires de ChatGPT présentent des signes de psychose ou de manie, tandis que 0,15 % d’entre eux tiennent des conversations montrant clairement des intentions suicidaires. Fait notable, ce même pourcentage d’utilisateurs (0,15 %) affiche un niveau élevé d’attachement émotionnel à l’IA. Bien qu’il s’agisse de fractions négligeables d’un pour cent, sur 800 millions d’utilisateurs, cela représente près de trois millions de personnes souffrant d’une forme ou d’une autre de trouble du comportement. Par ailleurs, la Commission fédérale du commerce des États-Unis a reçu 200 plaintes concernant ChatGPT depuis son lancement, certaines décrivant le déclenchement de délires, de paranoïa et de crises spirituelles.

Si le diagnostic de « psychose induite par l’IA » n’a pas encore fait l’objet d’une classification clinique à proprement parler, les médecins utilisent déjà ce terme pour décrire les patients présentant des hallucinations, une pensée désorganisée et des croyances délirantes persistantes résultant d’une interaction intensive avec les chatbots. Les risques les plus importants surviennent lorsqu’un bot est utilisé non pas comme un outil, mais comme un substitut à un lien social réel ou à une aide psychologique professionnelle.

Comment assurer votre sécurité et celle de vos proches

Bien entendu, ce n’est pas une raison pour abandonner complètement l’IA. Il faut juste apprendre à s’en servir correctement. Nous recommandons de respecter certains principes fondamentaux :

  • Ne vous servez pas de l’IA comme d’un psychologue ou d’une béquille émotionnelle. Les chatbots ne remplacent pas les êtres humains. Si vous traversez une période difficile, n’hésitez pas à vous tourner vers vos amis, votre famille ou une ligne d’écoute dédiée à la santé mentale. Un chatbot vous donnera raison et imitera votre humeur – il s’agit d’une particularité de conception, pas d’une véritable empathie. Plusieurs États américains ont déjà restreint l’utilisation de l’IA en tant que thérapeute autonome.
  • Préférez les messages écrits aux conversations vocales lorsque vous abordez des sujets sensibles. Les interfaces vocales avec dialogue affectif créent l’illusion de parler à une personne vivante et ont tendance à étouffer tout esprit critique. Si vous utilisez le mode vocal, gardez à l’esprit que vous vous adressez à un algorithme et non avec un ami.
  • Limitez votre temps d’interaction avec l’IA. Deux mille pages de transcriptions en deux mois représentent une interaction presque ininterrompue. Fixez-vous un temps limite. Si les échanges avec un bot commencent à prendre le pas sur les contacts réels, il est temps de revenir à la réalité.
  • Ne partagez pas d’informations personnelles avec les assistants d’IA. Évitez de communiquer aux chatbots des numéros de passeport ou de sécurité sociale, des détails de cartes bancaires, des adresses exactes ou des secrets intimes. Tout ce que vous écrivez peut être enregistré dans des journaux et utilisé pour l’entraînement des modèles et, dans certains cas, peut être accessible à des tiers.
  • Évaluez tous les résultats fournis par l’IA d’un œil critique. Les réseaux neuronaux hallucinent : ils génèrent des informations plausibles mais fausses et peuvent habilement mêler mensonges et vérité, par exemple en citant des adresses réelles dans le cadre d’une histoire inventée de toutes pièces. Vérifiez toujours les faits auprès de sources indépendantes.
  • Veillez sur vos proches. Si un membre de votre famille passe des heures à parler à l’IA, se replie sur lui-même ou exprime des idées étranges sur la conscience de la machine ou des théories du complot, il est temps d’avoir une conversation délicate mais sérieuse. Pour gérer le temps passé par les enfants devant un écran, utilisez des outils de contrôle parental comme Kaspersky Safe Kids, qui fait partie de la solution complète de protection familiale Kaspersky Premium, en plus des filtres de sécurité intégrés des plateformes d’IA.
  • Configurez vos paramètres de sécurité. La plupart des plateformes d’IA vous permettent de désactiver l’historique des conversations, de limiter la collecte de données et d’activer des filtres de contenu. Consacrez dix minutes à la configuration des paramètres de confidentialité de votre assistant d’IA. Cette opération n’empêchera pas les hallucinations de l’IA, mais elle réduira considérablement le risque de fuite de vos données personnelles. Pour cela, nous vous invitons à consulter nos guides détaillés sur la configuration de la confidentialité pour ChatGPT et DeepSeek.
  • N’oubliez pas l’essentiel : l’IA est un outil, pas un être doué de conscience. Quel que soit le réalisme de la voix du chatbot ou la pertinence de sa réponse, il s’agit en fait d’un algorithme qui prédit le mot suivant le plus probable. Il n’a pas de conscience, pas d’intentions, pas de sentiments.

Lectures complémentaires pour mieux comprendre les subtilités d’une utilisation sûre de l’IA :

Conseils
  • For all other countries