{"id":21841,"date":"2024-05-13T09:45:57","date_gmt":"2024-05-13T07:45:57","guid":{"rendered":"https:\/\/www.kaspersky.fr\/blog\/?p=21841"},"modified":"2024-05-16T12:47:54","modified_gmt":"2024-05-16T10:47:54","slug":"ai-chatbot-side-channel-attack","status":"publish","type":"post","link":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/","title":{"rendered":"Comment les cybercriminels peuvent-ils lire vos discussions avec ChatGPT ou Microsoft Copilot ?"},"content":{"rendered":"

Des chercheurs isra\u00e9liens de l\u2019Offensive AI Lab ont publi\u00e9 un article<\/a> pr\u00e9sentant une m\u00e9thode qui permet de reconstituer le texte de messages intercept\u00e9s depuis un chatbot d\u2019IA. Aujourd\u2019hui, nous allons voir comment une telle attaque fonctionne et \u00e0 quel point elle peut s\u2019av\u00e9rer dangereuse.<\/p>\n

Quelles informations peuvent \u00eatre extraites des messages intercept\u00e9s depuis un chatbot d\u2019IA\u00a0?<\/h2>\n

Naturellement, les chatbots envoient leurs messages sous forme chiffr\u00e9e. Cependant, la mise en \u0153uvre de grands mod\u00e8les de langage<\/a> (LLM), de m\u00eame que les chatbots d\u00e9velopp\u00e9s \u00e0 partir de ces mod\u00e8les, comporte un certain nombre de fonctionnalit\u00e9s qui affaiblissent s\u00e9rieusement le chiffrement. Combin\u00e9es, ces fonctionnalit\u00e9s facilitent l\u2019ex\u00e9cution d\u2019une attaque par canal auxiliaire<\/a>, dans la mesure o\u00f9 le contenu d\u2019un message est reconstitu\u00e9 \u00e0 partir de fragments d\u2019informations ayant fait l\u2019objet d\u2019une fuite de donn\u00e9es.<\/p>\n

Pour comprendre ce qui se passe lors d\u2019une telle attaque, il convient de plonger un peu plus en d\u00e9tail dans la m\u00e9canique des LLM et des chatbots. La premi\u00e8re<\/strong> chose \u00e0 savoir est que les LLM ne fonctionnent pas \u00e0 partir de caract\u00e8res ou de mots isol\u00e9s sp\u00e9cifiques, mais \u00e0 partir de jetons qui peuvent \u00eatre consid\u00e9r\u00e9s comme des unit\u00e9s de texte s\u00e9mantiques. La page Tokenizer<\/a> du site Internet d\u2019OpenAI donne un aper\u00e7u de leur fonctionnement interne.<\/p>\n

\"Exemple<\/a>

Cet exemple montre comment fonctionne la tokenisation de messages avec les mod\u00e8les GPT-3.5 et GPT-4. Source<\/a><\/p><\/div>\n

La deuxi\u00e8me<\/strong> fonctionnalit\u00e9 qui facilite ce type d\u2019attaque est une caract\u00e9ristique que vous connaissez bien si vous avez d\u00e9j\u00e0 interagi avec des chatbots d\u2019IA\u00a0: ces derniers n\u2019envoient pas de r\u00e9ponses en un seul gros bloc, mais r\u00e9pondent petit \u00e0 petit, un peu comme si une personne \u00e9crivait. Cependant, contrairement aux personnes, les LLM \u00e9crivent sous forme de jetons, et non sous forme de caract\u00e8res isol\u00e9s. Ainsi, les chatbots envoient les jetons g\u00e9n\u00e9r\u00e9s en temps r\u00e9el, les uns apr\u00e8s les autres, \u00e0 l\u2019exception de Google Gemini qui s\u2019av\u00e8re par cons\u00e9quent invuln\u00e9rable \u00e0 une telle attaque.<\/p>\n

La troisi\u00e8me<\/strong> particularit\u00e9 est la suivante\u00a0: au moment de la publication de l\u2019article, la majeure partie des chatbots n\u2019utilisaient pas la compression, l\u2019encodage ou le remplissage<\/a> (c\u2019est-\u00e0-dire l\u2019ajout de donn\u00e9es parasites \u00e0 un texte significatif afin de r\u00e9duire la pr\u00e9visibilit\u00e9 et d\u2019augmenter la force du chiffrement) avant de chiffrer un message.<\/p>\n

Les attaques par canal auxiliaire exploitent ces trois particularit\u00e9s. M\u00eame si les messages intercept\u00e9s \u00e0 partir d\u2019un chatbot ne peuvent pas \u00eatre d\u00e9chiffr\u00e9s<\/em>, les pirates informatiques peuvent en extraire des donn\u00e9es utiles, et en particulier la longueur de chaque jeton envoy\u00e9 par le chatbot. Le r\u00e9sultat est semblable \u00e0 une \u00e9nigme de la Roue de la fortune\u00a0: vous ne pouvez pas voir ce qui est pr\u00e9cis\u00e9ment chiffr\u00e9, mais la longueur des jetons de mots<\/span> isol\u00e9s est r\u00e9v\u00e9l\u00e9e.<\/p>\n

\"Les<\/a>

S\u2019il est impossible de d\u00e9chiffrer le message, les pirates informatiques peuvent extraire la longueur des jetons envoy\u00e9s par le chatbot, et la s\u00e9quence obtenue est similaire \u00e0 une phrase cach\u00e9e du jeu t\u00e9l\u00e9vis\u00e9 la Roue de la fortune. Source<\/a><\/p><\/div>\n

Utilisation des informations extraites pour reconstituer le texte du message<\/h2>\n

Il ne reste alors plus qu\u2019\u00e0 deviner les mots qui se cachent derri\u00e8re les jetons. Et qui sont les plus grands experts en mati\u00e8re de devinettes\u00a0? Les LLM<\/a>, bien s\u00fbr\u00a0! \u00c0 vrai dire, il s\u2019agit l\u00e0 de leur objectif premier\u00a0: deviner les mots justes dans un contexte donn\u00e9. Afin de reconstituer le texte du message d\u2019origine \u00e0 partir de la s\u00e9quence de longueurs des jetons obtenue, les chercheurs se sont donc tourn\u00e9s vers un LLM\u2026<\/p>\n

Ou plut\u00f4t vers deux LLM, pour \u00eatre pr\u00e9cis, car ils ont remarqu\u00e9 que les premiers \u00e9changes dans les discussions avec des chatbots sont presque toujours des formules et que ces derniers sont donc facilement devinables par un mod\u00e8le sp\u00e9cialement d\u00e9velopp\u00e9 \u00e0 partir d\u2019un ensemble de premiers messages g\u00e9n\u00e9r\u00e9s par des mod\u00e8les de langage populaires. Ainsi, le premier mod\u00e8le reconstitue les premiers messages, avant de les transmettre au second mod\u00e8le qui prend en charge le reste de la discussion.<\/p>\n

\"Aper\u00e7u<\/a>

Sch\u00e9ma g\u00e9n\u00e9ral de l\u2019attaque. Source<\/a><\/p><\/div>\n

Il en r\u00e9sulte un texte dans lequel les longueurs des jetons correspondent \u00e0 celles du message d\u2019origine. Cependant, les mots exacts sont reconstitu\u00e9s par force brute, avec plus ou moins de succ\u00e8s. Une correspondance parfaite entre le message reconstitu\u00e9 et le message d\u2019origine est donc rare, car il arrive g\u00e9n\u00e9ralement qu\u2019une partie du texte soit mal devin\u00e9e. Parfois, le r\u00e9sultat est satisfaisant\u00a0:<\/p>\n

\"Exemple<\/a>

Dans cet exemple, le texte reconstitu\u00e9 est assez proche du texte d\u2019origine. Source<\/a><\/p><\/div>\n

N\u00e9anmoins, en cas d\u2019\u00e9chec, le texte reconstitu\u00e9 peut avoir peu d\u2019\u00e9l\u00e9ments en commun avec le texte d\u2019origine, voire aucun. Par exemple, le r\u00e9sultat peut \u00eatre le suivant\u00a0:<\/p>\n

\"Exemple<\/a>

Ici, les suppositions laissent vraiment \u00e0 d\u00e9sirer. Source<\/a><\/p><\/div>\n

Le r\u00e9sultat peut m\u00eame ressembler \u00e0 \u00e7a\u00a0:<\/p>\n

\"Exemple<\/a>

Comme Winnie l\u2019ourson l\u2019a dit un jour, \u00a0\u00bb On ne peut pas dire que tu aies rat\u00e9, mais tu as rat\u00e9 le ballon \u00ab\u00a0. Source<\/a><\/p><\/div>\n

Au total, les chercheurs ont \u00e9tudi\u00e9 plus d\u2019une douzaine de chatbots d\u2019IA et ont d\u00e9termin\u00e9 que la plupart d\u2019entre eux \u00e9taient vuln\u00e9rables \u00e0 ce type d\u2019attaque, \u00e0 l\u2019exception de Google Gemini (anciennement Bard) et de GitHub Copilot (\u00e0 ne pas confondre avec Microsoft Copilot).<\/p>\n

\"Liste<\/a>

Au moment de la publication de l\u2019article, de nombreux chatbots \u00e9taient vuln\u00e9rables \u00e0 ce type d\u2019attaque. Source<\/a><\/p><\/div>\n

Devrais-je m\u2019inqui\u00e9ter\u00a0?<\/h2>\n

Il convient de noter qu\u2019une telle attaque est r\u00e9troactive. Supposons que quelqu\u2019un se donne du mal pour intercepter et enregistrer vos discussions avec ChatGPT (ce qui n\u2019est pas si facile, mais reste possible), dans lesquelles vous r\u00e9v\u00e9lez de terribles secrets. Dans ce cas, en utilisant la m\u00e9thode d\u00e9crite ci-dessus, cette personne serait th\u00e9oriquement<\/em> capable de lire vos messages.<\/p>\n

Heureusement, ses chances d\u2019y parvenir ne sont pas tr\u00e8s \u00e9lev\u00e9es\u00a0: dans l\u2019\u00e9tude men\u00e9e par les chercheurs, le sujet g\u00e9n\u00e9ral de la conversation n\u2019a en effet pu \u00eatre d\u00e9termin\u00e9 que dans 55\u00a0% des cas. La reconstitution des messages, quant \u00e0 elle, n\u2019a \u00e9t\u00e9 concluante que dans 29\u00a0% des cas. Il convient de souligner que les crit\u00e8res des chercheurs en mati\u00e8re de reconstitution parfaitement r\u00e9ussie ont \u00e9t\u00e9 remplis, par exemple, dans les cas suivants\u00a0:<\/p>\n

\"Exemple<\/a>

Exemple de reconstitution de texte que les chercheurs ont jug\u00e9e parfaitement r\u00e9ussie. Source<\/a><\/p><\/div>\n

\u00c0 vous de juger du degr\u00e9 d\u2019importance de ces nuances s\u00e9mantiques. Notez toutefois que cette m\u00e9thode ne permet vraisemblablement pas d\u2019extraire des informations particuli\u00e8res, comme des noms, des valeurs num\u00e9riques, des dates, des adresses, des coordonn\u00e9es et d\u2019autres informations vitales<\/em>, avec un degr\u00e9 de fiabilit\u00e9 quelconque.<\/p>\n

Par ailleurs, ce type d\u2019attaque conna\u00eet une autre limite que les chercheurs ont omis de mentionner\u00a0: le succ\u00e8s de la reconstitution de texte d\u00e9pend en grande partie de la langue dans laquelle les messages intercept\u00e9s ont \u00e9t\u00e9 \u00e9crits, car le succ\u00e8s de la tokenisation peut consid\u00e9rablement varier d\u2019une langue \u00e0 l\u2019autre. Cet article s\u2019est concentr\u00e9 sur l\u2019anglais, caract\u00e9ris\u00e9 par des jetons tr\u00e8s longs qui sont g\u00e9n\u00e9ralement \u00e9quivalents \u00e0 un mot entier. Par cons\u00e9quent, le texte anglais tokenis\u00e9 pr\u00e9sente des caract\u00e9ristiques sp\u00e9cifiques qui rendent la reconstitution relativement simple.<\/p>\n

Aucune autre langue n\u2019est comparable \u00e0 l\u2019anglais. M\u00eame les langues germaniques et romanes, qui sont les plus proches de l\u2019anglais, ont une longueur de jetons moyenne 1,5\u00a0\u00e0\u00a02\u00a0fois plus courte. Le russe, quant \u00e0 lui, est 2,5\u00a0fois plus court\u00a0: un jeton russe ordinaire ne comporte en effet que quelques caract\u00e8res, ce qui r\u00e9duit vraisemblablement \u00e0 n\u00e9ant l\u2019efficacit\u00e9 d\u2019une telle attaque.<\/p>\n

\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemples\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLes textes dans diff\u00e9rentes langues ont une tokenisation diff\u00e9rente. Un exemple en anglais \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemples\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLes textes dans diff\u00e9rentes langues ont une tokenisation diff\u00e9rente. Un exemple en allemand \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemples\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLes textes dans diff\u00e9rentes langues ont une tokenisation diff\u00e9rente. Un exemple en russe \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemples\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLes textes dans diff\u00e9rentes langues ont une tokenisation diff\u00e9rente. Un exemple en h\u00e9breu \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl><\/div>\n

Au moins deux d\u00e9veloppeurs de chatbots d\u2019IA, \u00e0 savoir Cloudflare et OpenAI, ont d\u2019ores et d\u00e9j\u00e0 r\u00e9agi \u00e0 l\u2019article en int\u00e9grant la m\u00e9thode de remplissage mentionn\u00e9e ci-dessus, sp\u00e9cialement con\u00e7ue pour r\u00e9pondre \u00e0 ce type de menace. D\u2019autres d\u00e9veloppeurs de chatbots d\u2019IA devraient suivre le mouvement, de sorte que les communications futures avec les chatbots finiront par \u00eatre, esp\u00e9rons-le, prot\u00e9g\u00e9es contre ce type d\u2019attaque.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Comment les pirates informatiques exploitent-ils les fonctionnalit\u00e9s des chatbots pour reconstituer les discussions chiffr\u00e9es provenant de ChatGPT (OpenAI), de Copilot (Microsoft) et de la plupart des autres chatbots d’IA ?<\/p>\n","protected":false},"author":2726,"featured_media":21855,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[686,1869],"tags":[4355,28,1826,4350,316,4475,677,3383,4357,204,31,4474,61,527],"class_list":{"0":"post-21841","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-threats","8":"category-technology","9":"tag-ai","10":"tag-attaques","11":"tag-chatbots","12":"tag-chatgpt","13":"tag-chiffrement","14":"tag-copilot","15":"tag-cryptographie","16":"tag-ia","17":"tag-machine-learning","18":"tag-menaces","19":"tag-microsoft","20":"tag-openai","21":"tag-securite","22":"tag-technologie"},"hreflang":[{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/ai-chatbot-side-channel-attack\/27365\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/22693\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/11629\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/30042\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/ai-chatbot-side-channel-attack\/27523\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/27340\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/ai-chatbot-side-channel-attack\/37315\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/ai-chatbot-side-channel-attack\/12312\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/51064\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/ai-chatbot-side-channel-attack\/36301\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/ai-chatbot-side-channel-attack\/27666\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/ai-chatbot-side-channel-attack\/33525\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/ai-chatbot-side-channel-attack\/33188\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.fr\/blog\/tag\/ai\/","name":"AI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21841","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/users\/2726"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/comments?post=21841"}],"version-history":[{"count":6,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21841\/revisions"}],"predecessor-version":[{"id":21866,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21841\/revisions\/21866"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/media\/21855"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/media?parent=21841"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/categories?post=21841"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/tags?post=21841"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}