{"id":21543,"date":"2024-02-23T17:16:36","date_gmt":"2024-02-23T15:16:36","guid":{"rendered":"https:\/\/www.kaspersky.fr\/blog\/?p=21543"},"modified":"2024-02-23T17:16:36","modified_gmt":"2024-02-23T15:16:36","slug":"how-to-use-ai-locally-and-securely","status":"publish","type":"post","link":"https:\/\/www.kaspersky.fr\/blog\/how-to-use-ai-locally-and-securely\/21543\/","title":{"rendered":"Comment installer et utiliser un assistant d’IA sur votre ordinateur"},"content":{"rendered":"

De nombreuses personnes ont d\u00e9j\u00e0 test\u00e9 les r\u00e9seaux neuronaux g\u00e9n\u00e9ratifs et les utilisent r\u00e9guli\u00e8rement, y compris dans le cadre de leur travail. Par exemple, ChatGPT et ses \u00e9quivalents sont r\u00e9guli\u00e8rement utilis\u00e9s par pr\u00e8s de 60\u00a0% des Am\u00e9ricains<\/a>, qui ne demandent d\u2019ailleurs pas toujours l\u2019autorisation \u00e0 leur direction. Cependant, toutes les donn\u00e9es impliqu\u00e9es dans de telles op\u00e9rations (\u00e0 la fois dans les invites de l\u2019utilisateur et dans les r\u00e9ponses du mod\u00e8le) sont stock\u00e9es sur les serveurs d\u2019OpenAI, de Google et des autres fournisseurs d\u2019IA. Pour les t\u00e2ches pour lesquelles une telle fuite d\u2019informations serait inacceptable, vous n\u2019avez pas besoin d\u2019abandonner compl\u00e8tement l\u2019IA. Il suffit de d\u00e9ployer quelques efforts (et d\u2019investir \u00e9ventuellement un peu d\u2019argent) pour ex\u00e9cuter localement le r\u00e9seau neuronal sur votre propre ordinateur, y compris s\u2019il s\u2019agit d\u2019un simple ordinateur portable.<\/p>\n

Menaces li\u00e9es au cloud<\/h2>\n

Les assistants d\u2019IA les plus populaires s\u2019ex\u00e9cutent dans les infrastructures cloud des grandes entreprises. Si ce syst\u00e8me s\u2019av\u00e8re rapide et efficace, les donn\u00e9es qui vous appartiennent et qui sont trait\u00e9es par le mod\u00e8le peuvent n\u00e9anmoins devenir accessibles \u00e0 la fois au fournisseur de services d\u2019IA et \u00e0 des tiers qui n\u2019ont aucun lien avec vous, comme cela s\u2019est produit l\u2019ann\u00e9e derni\u00e8re avec ChatGPT<\/a>.<\/p>\n

De tels incidents pr\u00e9sentent des niveaux de menace variables en fonction de l\u2019utilisation qui est faite de ces assistants d\u2019IA. Si vous g\u00e9n\u00e9rez de jolies illustrations pour des contes de f\u00e9es que vous avez \u00e9crits, ou si vous demandez \u00e0 ChatGPT de cr\u00e9er un itin\u00e9raire pour votre prochain week-end en ville, il est peu probable qu\u2019une fuite entra\u00eene des dommages importants. En revanche, si votre conversation avec un chatbot contient des informations confidentielles (donn\u00e9es personnelles, mots de passe ou num\u00e9ros de carte bancaire), une \u00e9ventuelle fuite dans le cloud n\u2019est plus acceptable. Heureusement, vous pouvez \u00e9viter ce probl\u00e8me assez facilement en pr\u00e9-filtrant les donn\u00e9es. Nous avons d\u2019ailleurs \u00e9crit un article distinct<\/a> sur le sujet.<\/p>\n

Cependant, si toute votre correspondance est confidentielle (par exemple, si vous traitez des informations m\u00e9dicales ou financi\u00e8res), ou si la fiabilit\u00e9 du pr\u00e9-filtrage est incertaine (car vous devez traiter un grand nombre de donn\u00e9es que personne ne pr\u00e9visualisera et ne filtrera), il n\u2019y a plus qu\u2019une seule solution : d\u00e9placer le traitement depuis le cloud vers un ordinateur local. Bien entendu, il y a peu de chances que vous arriviez \u00e0 ex\u00e9cuter votre propre version de ChatGPT ou de Midjourney hors ligne, mais il existe d\u2019autres r\u00e9seaux neuronaux qui fonctionnent localement et qui offrent une qualit\u00e9 comparable avec une charge de calcul moins importante.<\/p>\n

De quel mat\u00e9riel avez-vous besoin pour ex\u00e9cuter un r\u00e9seau neuronal ?<\/h2>\n

Vous avez probablement d\u00e9j\u00e0 entendu dire que l\u2019utilisation de r\u00e9seaux neuronaux n\u00e9cessite des cartes graphiques surpuissantes, mais dans les faits, ce n\u2019est pas toujours le cas. En fonction de leurs sp\u00e9cificit\u00e9s, plusieurs mod\u00e8les d\u2019IA peuvent s\u2019av\u00e9rer exigeants en mati\u00e8re de composants informatiques comme la m\u00e9moire vive, la m\u00e9moire vid\u00e9o, le disque dur et le processeur. Pour ce dernier composant, ce n\u2019est pas seulement la vitesse de traitement qui est importante, mais aussi la prise en charge de certaines instructions vectorielles. La capacit\u00e9 \u00e0 charger le mod\u00e8le d\u00e9pend de la quantit\u00e9 de m\u00e9moire vive, tandis que la taille de la \u00ab\u00a0fen\u00eatre contextuelle\u00a0\u00bb (c\u2019est-\u00e0-dire la m\u00e9moire de la conversation pr\u00e9c\u00e9dente) d\u00e9pend de la quantit\u00e9 de m\u00e9moire vid\u00e9o. En r\u00e8gle g\u00e9n\u00e9rale, avec une carte graphique et un processeur faibles, la g\u00e9n\u00e9ration se fait \u00e0 la vitesse d\u2019un escargot (un \u00e0 deux mots par seconde pour les mod\u00e8les texte). Par cons\u00e9quent, un ordinateur dot\u00e9 d\u2019une configuration aussi minime ne convient que pour se familiariser avec un mod\u00e8le donn\u00e9 et \u00e9valuer ses capacit\u00e9s de base. Pour une v\u00e9ritable utilisation quotidienne, il conviendra d\u2019augmenter la m\u00e9moire vive, de mettre la carte graphique \u00e0 niveau, ou d\u2019opter pour un mod\u00e8le d\u2019IA plus rapide.<\/p>\n

Pour commencer, vous pouvez essayer d\u2019utiliser des ordinateurs qui \u00e9taient consid\u00e9r\u00e9s comme relativement puissants en 2017, c\u2019est-\u00e0-dire avec un processeur au moins \u00e9gal \u00e0 l\u2019Intel Core i7 prenant en charge les instructions AVX2, une m\u00e9moire vive de 16 Go, et une carte graphique dot\u00e9e d\u2019au moins 4 Go de m\u00e9moire. Pour les inconditionnels du Mac, les appareils fonctionnant avec une puce Apple M1 ou des composants plus r\u00e9cents feront l\u2019affaire, les exigences en mati\u00e8re de m\u00e9moire \u00e9tant les m\u00eames.<\/p>\n

Lorsque vous choisissez un mod\u00e8le d\u2019IA, vous devez d\u2019abord vous renseigner sur la configuration syst\u00e8me requise. Une recherche du type \u00ab\u00a0configuration requise pour nom_du_mod\u00e8le<\/em>\u00a0\u00bb vous aidera \u00e0 d\u00e9terminer si le t\u00e9l\u00e9chargement du mod\u00e8le en question vaut la peine, compte tenu du mat\u00e9riel dont vous disposez. Il existe des \u00e9tudes d\u00e9taill\u00e9es sur l\u2019impact de la quantit\u00e9 de m\u00e9moire, du processeur et de la carte graphique sur les performances de diff\u00e9rents mod\u00e8les, comme celle-ci<\/a>.<\/p>\n

Bonne nouvelle n\u00e9anmoins pour les personnes qui n\u2019ont pas acc\u00e8s \u00e0 du mat\u00e9riel puissant : il existe des mod\u00e8les d\u2019IA simplifi\u00e9s, capables d\u2019effectuer des t\u00e2ches pratiques m\u00eame sur du mat\u00e9riel ancien. M\u00eame si votre carte graphique est tr\u00e8s faible et basique, il est tout \u00e0 fait possible d\u2019ex\u00e9cuter des mod\u00e8les et de lancer des environnements en utilisant uniquement le processeur. En fonction de vos t\u00e2ches, ces derniers peuvent m\u00eame fonctionner relativement bien.<\/p>\n

\"Tests<\/a>

Exemples de fonctionnement de divers syst\u00e8mes informatiques avec des mod\u00e8les de langage courants<\/p><\/div>\n

Choix d\u2019un mod\u00e8le d\u2019IA et magie de la quantification<\/h2>\n

Il existe aujourd\u2019hui un large \u00e9ventail de mod\u00e8les de langage, mais bon nombre d\u2019entre eux ont des applications pratiques limit\u00e9es. N\u00e9anmoins, il existe aussi des outils d\u2019IA simples d\u2019utilisation et accessibles au grand public parfaitement adapt\u00e9s \u00e0 la r\u00e9alisation de t\u00e2ches sp\u00e9cifiques, qu\u2019il soit question de g\u00e9n\u00e9rer du texte (par exemple, avec Mistral 7B) ou de cr\u00e9er des fragments de code (par exemple, avec Code Llama 13B). Par cons\u00e9quent, lorsque vous choisissez un mod\u00e8le, r\u00e9duisez votre s\u00e9lection aux possibilit\u00e9s les plus appropri\u00e9es, et assurez-vous que votre ordinateur dispose de la configuration n\u00e9cessaire pour les ex\u00e9cuter.<\/p>\n

Dans n\u2019importe quel r\u00e9seau neuronal, la majeure partie de la charge de la m\u00e9moire est li\u00e9e aux poids, c\u2019est-\u00e0-dire \u00e0 des coefficients num\u00e9riques qui d\u00e9crivent le fonctionnement de chaque neurone du r\u00e9seau. Initialement, lors du d\u00e9veloppement du mod\u00e8le, les poids sont calcul\u00e9s et stock\u00e9s sous forme de nombres fractionnaires de haute pr\u00e9cision. Cependant, il s\u2019av\u00e8re que le fait d\u2019arrondir les poids dans le mod\u00e8le d\u00e9velopp\u00e9 permet d\u2019ex\u00e9cuter l\u2019outil d\u2019IA sur des ordinateurs ordinaires, tout en ne diminuant que l\u00e9g\u00e8rement ses performances. Ce processus d\u2019arrondissement s\u2019appelle quantification et, gr\u00e2ce \u00e0 lui, la taille du mod\u00e8le peut \u00eatre consid\u00e9rablement r\u00e9duite\u00a0: au lieu de 16 bits, chaque poids peut n\u2019utiliser que 8, 4, voire 2 bits.<\/p>\n

D\u2019apr\u00e8s les recherches en cours<\/a>, un mod\u00e8le plus grand avec plus de param\u00e8tres et de quantification peut parfois donner de meilleurs r\u00e9sultats qu\u2019un mod\u00e8le avec un stockage pr\u00e9cis des poids, mais moins de param\u00e8tres.<\/p>\n

Fort de ces connaissances, vous \u00eates maintenant pr\u00eat \u00e0 d\u00e9couvrir le tr\u00e9sor des mod\u00e8les de langage open source, c\u2019est-\u00e0-dire le classement des grands mod\u00e8les de langage (LLM) ouverts<\/a>. Dans cette liste, les outils d\u2019IA sont tri\u00e9s selon plusieurs indicateurs de qualit\u00e9 en mati\u00e8re de g\u00e9n\u00e9ration, et les filtres permettent d\u2019exclure facilement les mod\u00e8les trop grands, trop petits ou trop pr\u00e9cis.<\/p>\n

\"Liste<\/a>

Liste des mod\u00e8les de langage tri\u00e9s par ensemble de filtres<\/p><\/div>\n

Apr\u00e8s avoir lu la description du mod\u00e8le et vous \u00eatre assur\u00e9 que celui-ci est potentiellement adapt\u00e9 \u00e0 vos besoins, testez ses performances dans le cloud \u00e0 l\u2019aide des services de Hugging Face<\/a> ou de Google Colab<\/a>. De cette mani\u00e8re, vous \u00e9viterez de t\u00e9l\u00e9charger des mod\u00e8les qui ne vous donneront pas de r\u00e9sultats satisfaisants, et vous gagnerez donc du temps. Une fois que vous \u00eates satisfait de votre test initial du mod\u00e8le, il est temps de voir comment il fonctionne localement !<\/p>\n

Logiciels requis<\/h2>\n

La plupart des mod\u00e8les open source sont publi\u00e9s sur Hugging Face<\/a>, mais le fait de les t\u00e9l\u00e9charger sur votre ordinateur ne suffit pas. Pour les ex\u00e9cuter, vous devez installer un logiciel sp\u00e9cialis\u00e9, comme LLaMA.cpp<\/a>, ou son \u00a0\u00bb wrapper \u00a0\u00bb encore plus simple d\u2019utilisation, appel\u00e9 LM Studio<\/a>. Ce dernier vous permet de choisir le mod\u00e8le souhait\u00e9 directement dans l\u2019application, de le t\u00e9l\u00e9charger et de l\u2019ex\u00e9cuter dans une bo\u00eete de dialogue.<\/p>\n

GPT4All<\/a> constitue un autre moyen \u00a0\u00bb pr\u00eat \u00e0 l\u2019emploi \u00a0\u00bb d\u2019utiliser un chatbot localement. Ici, le choix est limit\u00e9 \u00e0 une douzaine de mod\u00e8les de langage, mais la plupart d\u2019entre eux s\u2019ex\u00e9cuteront m\u00eame sur un ordinateur poss\u00e9dant uniquement 8 Go de m\u00e9moire et une carte graphique basique.<\/p>\n

Si la g\u00e9n\u00e9ration est trop lente, vous aurez peut-\u00eatre besoin d\u2019un mod\u00e8le avec une quantification moins pr\u00e9cise (2 bits au lieu de 4). Si la g\u00e9n\u00e9ration s\u2019interrompt ou si une erreur d\u2019ex\u00e9cution se produit, sachez que cela est souvent d\u00fb \u00e0 un manque de m\u00e9moire. Dans ce cas, il vaut mieux chercher un mod\u00e8le avec moins de param\u00e8tres ou, encore une fois, avec une quantification moins pr\u00e9cise.<\/p>\n

Sur Hugging Face, de nombreux mod\u00e8les ont d\u00e9j\u00e0 \u00e9t\u00e9 quantifi\u00e9s avec diff\u00e9rents degr\u00e9s de pr\u00e9cision, mais si personne n\u2019a encore quantifi\u00e9 le mod\u00e8le que vous d\u00e9sirez avec la pr\u00e9cision souhait\u00e9e, vous pouvez le faire vous-m\u00eame en utilisant GPTQ<\/a>.<\/p>\n

Cette semaine, un autre outil prometteur est sorti en version b\u00eata publique : l\u2019application Chat With RTX<\/a> de NVIDIA. Le fabricant des puces d\u2019IA les plus pris\u00e9es au monde a en effet lanc\u00e9 un chatbot local capable de r\u00e9sumer le contenu de vid\u00e9os YouTube, de traiter des ensembles de documents et bien plus, \u00e0 condition que l\u2019utilisateur poss\u00e8de un PC Windows avec 16\u00a0Go de m\u00e9moire et une carte graphique NVIDIA RTX s\u00e9rie\u00a030 ou s\u00e9rie\u00a040 avec 8\u00a0Go ou plus de m\u00e9moire vid\u00e9o. \u00a0\u00bb Sous le capot \u00ab\u00a0, on retrouve les m\u00eames probl\u00e9matiques que pour Mistral et Llama 2, publi\u00e9s sur Hugging Face<\/a>. Bien s\u00fbr, des cartes graphiques puissantes peuvent am\u00e9liorer les performances de g\u00e9n\u00e9ration, mais d\u2019apr\u00e8s les retours des premiers testeurs<\/a>, la version b\u00eata existante est relativement lourde (environ 40 Go) et difficile \u00e0 installer. Cependant, l\u2019outil Chat With RTX de NVIDIA pourrait devenir un assistant local d\u2019IA tr\u00e8s utile \u00e0 l\u2019avenir.<\/p>\n

\"Code<\/a>

Code du jeu \u00a0\u00bb Snake \u00ab\u00a0, \u00e9crit selon le mod\u00e8le de langage quantifi\u00e9 TheBloke\/CodeLlama-7B-Instruct-GGUF<\/p><\/div>\n

Les applications \u00e9num\u00e9r\u00e9es ci-dessus effectuent tous les calculs localement, n\u2019envoient pas de donn\u00e9es aux serveurs, et peuvent s\u2019ex\u00e9cuter hors ligne. Vous pouvez donc partager des informations confidentielles avec elles en toute s\u00e9curit\u00e9. Cependant, pour vous prot\u00e9ger compl\u00e8tement contre les fuites, vous devez vous assurer non seulement de la s\u00e9curit\u00e9 du mod\u00e8le de langage, mais \u00e9galement de celle de votre ordinateur ; et c\u2019est l\u00e0 que notre solution de s\u00e9curit\u00e9 compl\u00e8te<\/a>\u00a0entre en jeu. Comme l\u2019ont confirm\u00e9 des tests ind\u00e9pendants<\/a>, Kaspersky Premium<\/a>\u00a0n\u2019a pratiquement aucun impact sur les performances de votre ordinateur, ce qui constitue un avantage important lorsque vous traitez localement des mod\u00e8les d\u2019IA.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

B\u00e9n\u00e9ficiez de tous les avantages de ChatGPT, Copilot et Midjourney localement, sans que vos donn\u00e9es soient divulgu\u00e9es sur Internet.<\/p>\n","protected":false},"author":2722,"featured_media":21547,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[9],"tags":[4355,1826,4350,3383,2951,4357,61],"class_list":{"0":"post-21543","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tips","8":"tag-ai","9":"tag-chatbots","10":"tag-chatgpt","11":"tag-ia","12":"tag-intelligence-artificielle","13":"tag-machine-learning","14":"tag-securite"},"hreflang":[{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/how-to-use-ai-locally-and-securely\/21543\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/how-to-use-ai-locally-and-securely\/27077\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/22387\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/11436\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/29744\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/how-to-use-ai-locally-and-securely\/27253\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/27042\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/how-to-use-ai-locally-and-securely\/29662\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/how-to-use-ai-locally-and-securely\/28540\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/how-to-use-ai-locally-and-securely\/36986\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/how-to-use-ai-locally-and-securely\/12058\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/50576\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/how-to-use-ai-locally-and-securely\/22254\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/how-to-use-ai-locally-and-securely\/30951\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/how-to-use-ai-locally-and-securely\/35896\/"},{"hreflang":"nl","url":"https:\/\/www.kaspersky.nl\/blog\/how-to-use-ai-locally-and-securely\/29029\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/how-to-use-ai-locally-and-securely\/27452\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/how-to-use-ai-locally-and-securely\/33259\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/how-to-use-ai-locally-and-securely\/32882\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.fr\/blog\/tag\/ai\/","name":"AI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21543","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/users\/2722"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/comments?post=21543"}],"version-history":[{"count":1,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21543\/revisions"}],"predecessor-version":[{"id":21548,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/posts\/21543\/revisions\/21548"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/media\/21547"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/media?parent=21543"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/categories?post=21543"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.fr\/blog\/wp-json\/wp\/v2\/tags?post=21543"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}