--- title: "Quelques réflexions sur la sécurité de l'IA" author: "Jakub Ćwirlej" id: ai-safety language: fr url: "https://jakubcwirlej.com/fr/articles/ai-safety.md" page: "https://jakubcwirlej.com/fr/ai-dev/" translations: pl: "https://jakubcwirlej.com/pl/articles/ai-safety.md" en: "https://jakubcwirlej.com/articles/ai-safety.md" nl: "https://jakubcwirlej.com/nl/articles/ai-safety.md" updated: 2026-10-14 words: 1830 summary: "Un essai sur la sécurité de l'IA dans lequel l'auteur critique un débat public superficiel, partagé entre technomaximalistes et prophètes de l'apocalypse. Il soutient que le pire a probablement déjà commencé, au vu des armes autonomes, de la surveillance croissante et de l'idéologie technomaximaliste, et que la responsabilité doit toujours revenir aux humains, car les machines n'ont pas d'agentivité propre. Il propose des mesures réglementaires concrètes et met en garde contre l'anthropomorphisation de l'IA." summary_type: editorial --- # Quelques réflexions sur la sécurité de l'IA Jakub Ćwirlej · langue du texte: FR · 1830 mots ## Résumé (éditorial) Un essai sur la sécurité de l'IA dans lequel l'auteur critique un débat public superficiel, partagé entre technomaximalistes et prophètes de l'apocalypse. Il soutient que le pire a probablement déjà commencé, au vu des armes autonomes, de la surveillance croissante et de l'idéologie technomaximaliste, et que la responsabilité doit toujours revenir aux humains, car les machines n'ont pas d'agentivité propre. Il propose des mesures réglementaires concrètes et met en garde contre l'anthropomorphisation de l'IA. ## Points clés (éditorial) - Il voit trois possibilités : que nous soyons condamnés, que nous apprenions à contrôler l'IA, ou que la fin ait déjà commencé ; selon lui, les trois peuvent être vraies à la fois. - Il propose que l'entraînement des modèles jusqu'à environ 1 milliard de paramètres soit autorisé à tous, et que les modèles d'environ 7 milliards soient réservés à des organisations enregistrées qui consignent les interactions de leurs agents. - Autres propositions : des Défenseurs de l'intérêt public rémunérés par le régulateur public au sein des laboratoires qui construisent des modèles de pointe, et une taxe technologique dédiée pour financer la transition vers une économie fondée sur les machines. - Il suggère de licencier les données d'entraînement par l'intermédiaire d'organismes de gestion collective des droits comme le ZAiKS. - Le pire avenir qu'il décrit n'est pas celui des robots tueurs, mais un lent glissement vers une technocratie de surveillance et la solitude humaine. ## Texte intégral (les mots de l'auteur) Ce texte est l'un des plus difficiles auxquels j'aie jamais eu à me confronter. Journaliste et, en même temps, homme qui entraîne ses propres modèles chez lui, je me tiens à deux pôles opposés. D'un côté, l'ingénierie pure me fascine ; de l'autre, j'ai pleinement conscience que la sécurité de l'intelligence artificielle est probablement le plus grand défi de l'époque que nous vivons. Je commencerai par ce qui me fait personnellement le plus mal : l'appauvrissement tragique du débat public sur la sécurité de l'IA. C'est un débat plein de contradictions et d'une charge émotionnelle extrême. Difficile d'ailleurs qu'il en soit autrement, quand sont en jeu des intérêts qui se chiffrent en milliards et la survie des êtres humains. D'un côté, on nous dit que l'IA est une menace mortelle et que son développement risque de conduire à l'anéantissement de l'humanité. De l'autre, que ces visions apocalyptiques ne sont qu'un jeu cynique des géants, qui veulent faire grimper la valorisation de leurs actions avant leur introduction en Bourse, ou bloquer et freiner le développement des petites entreprises pour préserver leur monopole et leur place en tête du peloton. Le commun des mortels, qui n'a pas le temps de suivre tout cela et attend des solutions simples, peut facilement basculer dans le camp des technomaximalistes ou dans celui des prophètes de l'apocalypse. Chacune de ces visions est si lisse, si évidente… et aucune n'exige rien de plus de notre part. Car enfin, si nous sommes impuissants face à des forces qui nous dépassent, nous n'avons pas à agir. À notre époque de maximalisme extrême, c'est une position bien confortable. Que répondrais-je, moi, à mon enfant s'il me demandait si l'IA représente une menace pour nous ? En refusant tout recadrage simplificateur, je devrais admettre qu'il existe trois possibilités : que nous soyons effectivement condamnés à l'anéantissement ; qu'il n'ait finalement pas lieu (parce que – comme le soutient Yann LeCun – nous apprendrons tout simplement à maîtriser cette technologie) ; ou… que cet anéantissement ait déjà commencé. Le paradoxe, c'est que ces trois scénarios peuvent être vrais en même temps. Si le pire a probablement déjà commencé, c'est en raison d'un fait qui perce rarement dans le débat grand public : toute technologie, toute invention doit rencontrer son époque et un terrain favorable pour exister pleinement. L'énergie nucléaire – si souvent invoquée comme point de comparaison dans ce débat – représentait une menace mortelle au temps de la guerre froide, mais en temps de paix, elle est devenue une source d'énergie bon marché, contribuant au boom économique. On peut en dire autant de la plupart des inventions : de la taille du silex à l'intelligence artificielle, en passant par la dynamite. Notre monde est malheureusement devenu un lieu où le scénario catastrophe trouve des conditions quasi idéales pour se réaliser. Conflits armés recourant à des armes autonomes, surveillance croissante des citoyens par les États et les entreprises, adoption irréfléchie par les gouvernements des standards du monde de l'entreprise dans leur communication avec la société : tout cela forme une infrastructure toute prête pour les visions les plus sombres. Pendant ce temps, l'idéologie du technomaximalisme, qui nous pousse vers ces menaces – en raillant ouvertement la faiblesse, en plaçant le profit économique et la force brute au-dessus du capital social et de la sécurité –, construit un monde où une IA qui aura rompu sa laisse prospérera à merveille. Et alors, le scénario catastrophe pourrait bien devenir inévitable. Il n'y a là rien de nouveau. Ce débat dure pour ainsi dire depuis l'agora athénienne, où Platon se querellait avec Socrate, et l'histoire humaine est pleine de moments sombres et d'injustices. Ce qui se passe aujourd'hui dans la politique américaine, et qui, pour beaucoup d'Européens, sent le fascisme, n'a rien de nouveau, comme le souligne avec justesse l'historien Jon Meacham dans son livre « The Soul of America ». La force de la démocratie, c'est que la justice – si lente soit-elle – finit toujours par l'emporter grâce aux institutions. Il peut d'ailleurs en aller de même avec l'IA – c'est notre technologie, et nous apprendrons à la maîtriser, comme nous l'avons fait avec les avions, ainsi que le rappelle LeCun. Avec la modeste expérience que j'ai de l'entraînement d'IA, je reste stupéfait de voir à quel point cette technologie est fragile. Il suffit de légères modifications des hyperparamètres pour que le modèle s'effondre complètement entre les mains de l'ingénieur. Mais on peut en dire autant des virus biologiques. Ce qui compte chez eux, ce n'est pas une intelligence hors du commun ni la capacité de survivre à tout prix, mais l'aptitude à se répliquer. Cette aptitude, l'intelligence artificielle ne l'a pas encore, semble-t-il, et pourrait ne pas l'avoir de sitôt. Le problème, c'est que, comme le montrent les récentes affaires de fuite d'agents IA autonomes hors des laboratoires et leurs actions coordonnées en ligne, la menace grandit. Et malgré cela, nous n'entendons rien d'autre que le récit sans cesse ressassé de deux courants extrémistes – sans la moindre solution concrète, sans la moindre conclusion. Ce qui distingue les modèles actuels d'un code malveillant comme celui qui a, par exemple, attaqué Hugging Face ou des serveurs australiens, c'est avant tout la capacité d'agir (agency). Or la capacité d'agir ne peut jamais être l'apanage d'une machine. Ce qui fait de nous des humains, c'est notre libre arbitre. Aucune autre intelligence – artificielle – ne peut avoir de capacité d'agir garantie autrement que par l'humain qui lui prête cette volonté. De ce principe simple devraient découler l'ensemble des responsabilités et la réglementation, traduites en dispositions législatives concrètes. Le droit d'entraîner des modèles et de les utiliser sans restriction devrait dépendre de l'évaluation des risques et des capacités de contrôle de chaque entité. Rien n'empêche d'autoriser à tous l'entraînement des plus petits modèles – par exemple jusqu'à 1 milliard de paramètres. Mais les modèles moyens, de l'ordre de 7 milliards de paramètres, ne devraient selon moi pouvoir être entraînés et téléchargés que par des organisations enregistrées, qui consignent en détail toutes les interactions de leurs agents (logs) et sont prêtes à les communiquer en cas de problème. Rien de futuriste là-dedans : la cryptographie le permet dès aujourd'hui, pour un coût marginal. Chaque agent opérant en ligne pourrait disposer d'une sorte de « carte d'identité », permettant de l'identifier en lien avec l'organisation qui le représente. Et les grandes entreprises qui développent des modèles de pointe (frontier models) ? Elles pourraient par exemple être tenues d'employer des Défenseurs de l'intérêt public. Il s'agirait de spécialistes nommés et rémunérés exclusivement par le régulateur public – des salariés ayant accès à tous les secrets technologiques du laboratoire, tenus de faire rapport à l'État lorsqu'ils voient leur entreprise enfreindre les normes de sécurité ou se lancer dans des actions extrêmement risquées dans sa course contre la concurrence. Les États ont aussi la possibilité, et le devoir moral, d'instaurer une taxe technologique affectée. Ces fonds doivent servir à sécuriser la transition : le passage d'une économie fondée sur le travail humain à une économie fondée sur les machines. Un tel fonds assurerait un filet de sécurité, réduirait les inégalités criantes et protégerait des millions de personnes d'une dépendance économique totale envers le bon vouloir de la caste la plus riche des seigneurs féodaux de la tech. Le même pragmatisme systémique doit s'appliquer aux droits d'auteur sur les contenus qui servent à entraîner les modèles. Aujourd'hui, les géants de la tech aspirent sur le Web tout ce qui leur tombe sous la main, en comptant sur le fait que d'éventuels procès dureront des années. Or la solution est sur la table, et elle repose sur des institutions que nous connaissons déjà très bien : les sociétés de gestion collective des droits d'auteur, comme la ZAiKS polonaise ou ses équivalents étrangers. Rien n'empêche qu'elles fédèrent les créateurs prêts à concéder sous licence leurs textes, leurs images ou leur musique aux entreprises qui entraînent des IA, en échange d'une fraction de pour cent des revenus de la Big Tech. C'est un système où tout le monde est gagnant. Les créateurs retrouvent leur capacité d'agir et une vraie rémunération, avec le plein droit d'exclure leurs œuvres de l'entraînement. Les laboratoires d'IA, eux – puisque ces sociétés coopèrent entre elles à l'échelle internationale –, obtiennent d'une seule signature au bas d'un contrat un accès pleinement légal à de vastes bases de données juridiquement saines, venues du monde entier. Ainsi, au lieu de querelles stériles, nous pourrions bâtir de toutes pièces une puissante industrie de la licence équitable des données. Ce dont nous devons nous méfier le plus, c'est de l'anthropomorphisation croissante de l'intelligence artificielle. Prêter aux machines des traits humains conduit à une situation extrêmement dangereuse, où toute la responsabilité retombe sur cette nouvelle créature numérique, tandis que ses créateurs et ceux qui l'utilisent sont pour ainsi dire absous d'office : « Ce n'est pas nous, c'est le modèle. » Aujourd'hui, personne ne demande si, dans la Silicon Valley, on a pris absolument toutes les mesures possibles pour prévenir un scénario catastrophe – alors que tout le monde sait que ce n'est pas le cas. Malheureusement, élaborer de vraies solutions législatives, ennuyeuses, est bien moins médiatique que d'agiter le spectre de l'apocalypse. Or le scénario fatal ne ressemblera certainement pas à une scène de film catastrophe hollywoodien. Du moins au début, il prendra la forme d'un lent glissement vers les ténèbres – le cas classique de la grenouille qu'on fait cuire à petit feu. Les propriétaires des machines intelligentes et du capital croiseront avec indifférence, dans la rue, des gens structurellement superflus. Des gens qui n'auront absolument aucun moyen de changer leur situation, hormis la révolte physique. Et même cette révolte deviendra impossible dans un monde où chaque citoyen est surveillé en permanence par les milliards d'yeux de verre, jamais endormis, des caméras, et par des milliers de machines autonomes. La nouvelle technocratie deviendra avec le temps une prison numérique – aussi bien pour ceux qu'elle contrôle que pour ceux qui croient naïvement exercer encore le pouvoir. Quand je pense au pire des avenirs, je ne vois pas de robots tueurs. Je pense justement à la solitude poignante des humains dans un monde entièrement administré par une intelligence étrangère, froide et indifférente. C'est le monde que nous construisons dès aujourd'hui, et où toutes les conditions sont réunies pour que la fameuse « révolte des machines » finisse par advenir et devenir réalité. Moi-même, je ne cesse de réfléchir à ce problème. Et même si certaines idées ou visions pour sortir de cette situation semblent aujourd'hui trop futuristes, abstraites, voire parfois naïves, je pense que cet effort vaut la peine d'être fait – et même qu'il le faut. Le simple fait de réfléchir à des solutions, de sortir de notre zone de confort et d'essayer d'imaginer d'autres voies que celle que nous tracent aujourd'hui les géants de la tech, c'est notre principale ligne de défense. Cela fait partie intégrante de la construction d'un avenir meilleur et plus sûr. Si nous y renonçons, en nous contentant du rôle de consommateurs passifs et terrifiés, le pire des scénarios se réalisera : nous livrerons sans combattre notre capacité d'agir d'êtres humains. Et cela, nous ne pouvons tout simplement pas nous le permettre. --- Jakub Ćwirlej — Journaliste qui construit avec l'IA · sur le site: https://jakubcwirlej.com/fr/ai-dev/ Contexte complet: https://jakubcwirlej.com/context/fr.md · https://jakubcwirlej.com/llms.txt