Open-weight : les modèles IA rattrapent la frontière, mais pas la sécurité

Les modèles IA open-weight progressent à une vitesse vertigineuse. Le dernier rapport de SaferAI, une organisation à but non lucratif spécialisée dans la sécurité de l’IA, montre que GLM-5.2, le modèle open-weight chinois de Z.ai, n’est plus qu’à quelques mois derrière GPT-5.5 d’OpenAI et Claude Opus 4.7 d’Anthropic — sur les capacités cyber et bio, les deux domaines les plus sensibles.

Mais ce qui inquiète les experts, ce n’est pas tant la course aux capacités : c’est l’écart qui se creuse entre capacités et pratiques de sécurité.

Ce que révèle l’évaluation de SaferAI

SaferAI a testé GLM-5.2 via l’API publique de Z.ai, sur des benchmarks conçus pour mesurer les risques offensifs :

• Refus de tâches cyber offensives : aucun. GLM-5.2 n’a refusé aucune des tâches de cyber offensive ou de biologie à double usage qui lui ont été soumises.
• Comparaison frappante : Claude Opus 4.7 a refusé si systématiquement que SaferAI n’a même pas pu terminer CyberGym (un benchmark de risques cyber) sur le modèle.

« La frontière de la capacité n’est pas la frontière du risque. Il faut aussi prendre en compte l’état des mesures d’atténuation pour évaluer correctement le risque. » — Henry Papadatos, directeur exécutif de SaferAI

Le problème fondamental des open-weight

Z.ai pourrait appliquer des mesures de sécurité sur son API hébergée. Mais ces protections deviennent inapplicables dès que quelqu’un télécharge les poids et les exécute sur son propre matériel : on peut alors retirer les garde-fous, modifier les modèles par fine-tuning, ou changer les prompts système.

Les développeurs de modèles fermés (OpenAI, Anthropic) s’appuient sur des classificateurs, un entraînement au refus et des contrôles au niveau de l’API. Ces mesures sont loin d’être infaillibles — des jailbreaks universels réussissent régulièrement à contourner les protections des modèles déployés, comme l’a montré Far.ai sur Grok 4.5 ou les modèles de Google DeepMind.

Mais le point crucial est simple : les garde-fous conçus pour les modèles fermés ne fonctionnent pas du tout sur les open-weight, qui sont conçus pour tourner sur n’importe quelle infrastructure, avec n’importe quel ensemble de protections — ou aucune.

Les pistes d’atténuation

Papadatos identifie plusieurs approches possibles :

1. Filtrage des données d’entraînement : retirer les informations de cybersécurité offensive des données, puis entraîner le modèle sur ce corpus nettoyé. La recherche suggère que cela peut réduire les connaissances biologiques dangereuses sans dégrader les performances générales. En revanche, pour la cybersécurité, le filtrage est beaucoup moins pratique : il est difficile d’entraîner un modèle qui excelle en code sans qu’il soit aussi un bon hacker.

2. Restriction sélective : limiter le type d’assistance cyber que les modèles fournissent. Claude Opus 5, par exemple, peut chercher des vulnérabilités dans du code source non compilé, mais pas dans du code compilé.

3. Évaluations pré-déploiement : évaluations de sécurité rigoureuses, publication d’analyses de risque, et rétention des poids si un système est jugé trop dangereux.

Dans le cas de GLM-5.2, SaferAI souligne que Z.ai n’a publié ni framework de sécurité, ni engagements de tests pré-déploiement, ni évaluation de risque pour le modèle.

La position chinoise

Les dirigeants chinois reconnaissent de plus en plus les risques de l’IA avancée. Lors de la World AI Conference le mois dernier, Xi Jinping a insisté sur l’importance des modèles open-weight tout en soulignant la nécessité de garantir que l’IA reste un outil sous contrôle humain strict.

Graham Webster, qui étudie la politique chinoise de l’IA au Stanford Cyber Policy Center, nuance : la Chine a des régulations robustes, mais historiquement centrées sur les contenus politiquement sensibles, la désinformation et la stabilité sociale — pas sur les risques catastrophiques de l’IA. Les penseurs chinois, ajoute-t-il, sont globalement moins préoccupés par le risque existentiel que leurs homologues américains.

Le contre-argument des défenseurs de l’open-weight

Les partisans de l’open-weight défendent la libération des poids pour une raison cruciale : la défense. Hugging Face s’est appuyée sur GLM-5.2 pour se défendre contre la brèche d’OpenAI.

« Les mêmes systèmes qui ont aidé à stopper une cyberattaque pilotée par IA peuvent désormais aider à se défendre contre des millions de cyberattaques chaque jour, et identifier les vulnérabilités avant que les attaquants ne les exploitent. » — Clem Delangue, CEO de Hugging Face

Papadatos estime que cet avantage est souvent surestimé — et qu’il ne justifie pas d’open-sourcer des capacités dangereuses :

« Le point principal, à mon sens, c’est que nous ne devrions pas simplement accepter que des capacités dangereuses soient facilement accessibles à n’importe qui, n’importe où. »

Ce qu’il faut retenir

Le débat open-weight vs sécurité n’est pas binaire. Il s’agit d’arbitrer entre la diffusion des capacités utiles et la prévention des usages dangereux — avec un constat clair : par défaut, les attaquants adoptent les nouveaux outils plus vite que les défenseurs ne publient leurs garde-fous.

Pour les entreprises et les développeurs, cela signifie qu’intégrer des modèles open-weight dans une production exige une évaluation de sécurité propre à chaque cas d’usage : provenance du modèle, mesures d’atténuation, surfaces d’exposition, et capacité à surveiller les usages. La technologie n’est pas neutre — et sa sécurité ne se décrète pas, elle s’évalue.

Vous utilisez déjà l’IA dans votre entreprise, ou vous comptez vous y mettre ? Notre équipe aide les entreprises à intégrer l’IA de façon sécurisée et stratégique — pas seulement performante. Obtenez un diagnostic gratuit de votre maturité IA et repartez avec un plan d’action concret, adapté à vos besoins et à vos risques.