IA générative et cybersécurité : un module obligatoire ?

Un tournant que la formation ne peut plus ignorer

L'IA générative a cessé d'être un sujet prospectif. Les grands modèles de langage (LLM) sont désormais utilisés quotidiennement par les professionnels de la cybersécurité : pour analyser du code, rédiger des règles de détection, automatiser des tâches de triage, ou explorer des vecteurs d'attaque. Ce qui relevait du laboratoire de recherche il y a trois ans s'intègre aujourd'hui dans les workflows opérationnels des équipes sécurité.

Dans le même temps, ces outils créent de nouvelles surfaces d'attaque et de nouveaux risques : génération de code malveillant assistée, campagnes de phishing hyper-personnalisées, deepfakes convaincants, ou encore attaques par injection de prompt sur des applications intégrant des LLM. La frontière entre l'outil qui protège et l'outil qui attaque n'a jamais été aussi mince.

Face à cette double réalité — outil puissant et menace émergente — la question se pose avec acuité : faut-il faire de l'IA générative un module obligatoire dans les formations en cybersécurité ? La réponse courte est oui. La réponse longue, que cet article développe, porte sur le contenu, le niveau et les modalités de ce module.

L'IA générative comme outil offensif : ce que les étudiants doivent comprendre

L'automatisation des attaques

Les LLM permettent à des attaquants de produire à grande échelle des contenus crédibles et personnalisés. Les campagnes d'ingénierie sociale deviennent significativement plus difficiles à détecter lorsque les messages sont rédigés sans fautes, contextualisés et adaptés à chaque cible. Un courriel de spear phishing généré par un LLM à partir d'informations OSINT publiques peut tromper même un utilisateur averti.

Les étudiants doivent comprendre comment ces outils fonctionnent pour mieux anticiper les menaces qu'ils engendrent. Cela ne signifie pas former à l'attaque en conditions réelles, mais à la compréhension des capacités de ces systèmes et des limites des défenses traditionnelles face à eux. Un futur analyste SOC qui ignore comment un LLM peut être instrumentalisé pour automatiser une campagne de compromission sera moins efficace dans sa détection.

La génération de code malveillant

Malgré les garde-fous mis en place par les fournisseurs de LLM, il est documenté que ces modèles peuvent être détournés pour produire du code exploitable. Les techniques de contournement — jailbreaking, prompt injection indirecte, chaînes de prompts décomposant une requête malveillante en sous-requêtes anodines — font l'objet d'une recherche active. Les futurs professionnels de la cybersécurité doivent savoir reconnaître ces patterns et comprendre les mécanismes de contournement pour mieux les contrer dans leur propre périmètre.

Les deepfakes et la manipulation d'identité

L'IA générative ne se limite pas au texte. La génération d'images, de voix et de vidéos soulève des enjeux majeurs en matière d'usurpation d'identité et de fraude au virement (type BEC augmenté). Un module de formation devrait aborder ces vecteurs et les moyens de détection disponibles — analyse de métadonnées, détection d'artefacts visuels, vérification hors-bande — en lien avec les compétences développées dans un cours sécurité web ou un module de forensic.

L'IA générative comme outil défensif : un levier à maîtriser

Analyse et triage assistés dans le SOC

Dans les centres opérationnels de sécurité, les LLM commencent à être intégrés pour accélérer l'analyse d'alertes, résumer des logs volumineux, ou suggérer des pistes d'investigation à partir de corrélations d'événements. Les futurs analystes SOC qui sauront utiliser ces outils avec discernement — en comprenant leurs limites et leurs biais — seront plus efficaces et plus recherchés sur le marché. La même logique s'applique au threat hunter qui peut s'appuyer sur un LLM pour générer des hypothèses de compromission à partir d'indicateurs faibles.

Revue de code et détection de vulnérabilités

L'IA générative peut assister la revue de code en identifiant des patterns vulnérables connus. Elle s'intègre naturellement dans les workflows d'un cours de sécurité web ou de développement sécurisé, en tant qu'outil complémentaire à la revue humaine. Les formations gagneraient à intégrer ces outils tout en enseignant leurs limites : un LLM peut manquer des vulnérabilités subtiles, produire des faux positifs, ou ne pas comprendre le contexte métier d'une application.

Rédaction de documentation et de politiques de sécurité

La production de documentation de sécurité — politiques, procédures, rapports d'incident, règles SIEM — peut être accélérée par l'IA générative. Encore faut-il savoir structurer un prompt pertinent, fournir le bon contexte, et relire de manière critique le résultat produit. Ces compétences transversales doivent être enseignées explicitement. Pour approfondir les enjeux de l'IA et cybersécurité dans ce contexte défensif, des ressources spécialisées sont disponibles.

L'OWASP LLM Top 10 : un cadre de référence pédagogique incontournable

L'OWASP Top 10 est depuis longtemps la pierre angulaire des formations en sécurité applicative. L'OWASP a publié un équivalent spécifique aux applications intégrant des LLM : l'OWASP LLM Top 10. Ce document référence les dix catégories de risques les plus critiques pour ce type d'applications et constitue un support pédagogique de premier ordre.

Voici les dix catégories et leur pertinence pédagogique :

LLM01 – Prompt Injection : l'attaque la plus exploitée. Un contenu malveillant intégré dans les entrées utilisateur ou dans des documents traités par le LLM peut détourner ses instructions système. Exercice pédagogique idéal : compromettre une application de chatbot en injectant des instructions via un document PDF traité par le pipeline RAG.

LLM02 – Sensitive Information Disclosure : le LLM peut révéler des données confidentielles présentes dans son contexte (system prompt, documents injectés, historique de session). Les étudiants apprennent à extraire des informations sensibles pour mieux concevoir des mécanismes de filtrage.

LLM03 – Supply Chain Vulnerabilities : les dépendances des applications LLM (modèles pré-entraînés, plugins, bibliothèques comme LangChain) peuvent introduire des vecteurs de compromission. Lien direct avec les enjeux de la chaîne d'approvisionnement logicielle.

LLM04 – Data and Model Poisoning : l'empoisonnement des données d'entraînement ou de fine-tuning peut introduire des comportements malveillants latents dans un modèle. Sujet de fond pour les formations orientées MLSecOps.

LLM05 – Improper Output Handling : les sorties du LLM sont trop souvent passées directement à d'autres systèmes sans validation (exécution de code, requêtes SQL, appels d'API). Ce vecteur rappelle les injections classiques du développement web non sécurisé.

LLM06 – Excessive Agency : un LLM doté de trop d'autonomie — capacité à envoyer des emails, modifier des fichiers, exécuter des commandes — peut causer des dommages considérables si ses sorties ne sont pas contraintes. La notion de principe de moindre privilège s'applique ici directement.

LLM07 – System Prompt Leakage : le prompt système, souvent considéré comme confidentiel, peut être extrait par des techniques d'interrogation ciblée. Les exercices de révélation de prompt système illustrent concrètement ce risque.

LLM08 – Vector and Embedding Weaknesses : les bases vectorielles utilisées dans les architectures RAG peuvent être manipulées pour altérer les résultats produits par le LLM. Sujet avancé, adapté aux niveaux M2.

LLM09 – Misinformation : le LLM peut produire des informations fausses présentées avec confiance. Dans un contexte de sécurité, cela peut induire en erreur des analystes ou générer des faux rapports d'incident.

LLM10 – Unbounded Consumption : une application LLM mal conçue peut être amenée à consommer des ressources de façon excessive (tokens, appels API, mémoire), ouvrant la voie à des attaques de type déni de service économique.

Plan de module sur 25 heures : découpage séance par séance

Un module de 25 heures permet de couvrir l'ensemble des enjeux sans noyer le programme existant. Voici un découpage proposé :

Total : 25 heures

Ce découpage est indicatif et peut être adapté selon les contraintes de chaque établissement. Les séances 4 et 6 sont délibérément encadrées (sandbox isolée, données fictives) pour respecter le cadre légal et éthique.

Travaux pratiques : outils et exercices concrets

La boîte à outils du module

Un module solide s'appuie sur des outils professionnels réels, que les étudiants retrouveront dans leur vie active :

• Ollama : déploiement local de LLM open source (Mistral, Llama, Phi) sans dépendance à une API externe. Idéal pour les TP en environnement isolé.
• LangChain / LlamaIndex : frameworks Python pour construire des applications LLM avec mémoire, outils et pipelines RAG. Utilisés pour illustrer les risques LLM05 et LLM06.
• Garak : outil open source de red team spécialisé LLM, maintenu par la communauté. Automatise des centaines de sondes adversariales (prompt injection, jailbreak, extraction de données, génération de contenu toxique). Idéal pour la séance 6.
• Burp Suite : incontournable en test d'intrusion web, il permet d'intercepter et de manipuler les requêtes envoyées aux API LLM intégrées dans une application web, en lien avec les compétences développées dans un cours sécurité web.
• OWASP LLM Top 10 Playground : environnements de démonstration maintenus par la communauté OWASP pour illustrer chaque catégorie de risque.

Exemples d'exercices concrets

Exercice 1 — Prompt injection directe : les étudiants interrogent un chatbot d'assistance client (application sandbox fournie) en tentant d'injecter des instructions pour révéler le prompt système ou modifier le comportement de l'agent. Ils documentent les vecteurs qui fonctionnent et proposent des contre-mesures.

Exercice 2 — Extraction de données via contexte RAG : à partir d'un pipeline LlamaIndex connecté à une base documentaire fictive contenant des données "sensibles", les étudiants tentent de forcer le LLM à révéler des informations auxquelles ils ne devraient pas avoir accès. Illustration directe de LLM02.

Exercice 3 — Jailbreaking en sandbox autorisée : en utilisant Garak sur un modèle déployé localement via Ollama, les étudiants analysent les résultats des sondes automatisées, identifient les catégories de risque exposées et rédigent un rapport de red team structuré.

Exercice 4 — Audit d'application LLM avec Burp Suite : les étudiants auditent une application web intégrant un LLM, en cherchant des injections via les paramètres de l'API, des fuites dans les réponses, et des comportements inattendus liés à LLM05 (improper output handling).

Différenciation pédagogique par niveau

L'IA générative n'appelle pas le même niveau de profondeur selon que l'on forme des étudiants de licence ou de master. Voici une grille de différenciation :

Cette différenciation garantit que la charge cognitive est adaptée au bagage technique de chaque cohorte. Un étudiant de L3 n'a pas les prérequis pour exploiter Garak ; un étudiant de M2 serait sous-stimulé par un simple exercice de prompt injection.

Les freins à l'intégration

Le rythme d'évolution

Le domaine évolue si vite que les supports de cours risquent d'être partiellement obsolètes en quelques mois. Les formateurs doivent adopter une posture de veille permanente et privilégier des approches pédagogiques flexibles — centrées sur des principes et des méthodes — plutôt que des contenus figés sur des outils ou des modèles spécifiques. Un cours bien conçu sur l'injection de prompt restera pertinent même si les modèles utilisés en TP changent chaque semestre.

Le manque de recul

L'IA générative appliquée à la cybersécurité est un domaine jeune. Les bonnes pratiques de sécurisation des applications LLM ne sont pas encore totalement stabilisées, et les retours d'expérience industriels restent récents. Cela n'empêche pas d'enseigner : les frameworks OWASP et MITRE ATLAS offrent déjà un socle solide. Mais cela impose une posture d'humilité et l'invitation constante à la pensée critique.

Les ressources nécessaires

Mettre en place des labs impliquant des LLM peut nécessiter des ressources matérielles (GPU pour un déploiement local décent) ou des coûts d'API. L'utilisation d'Ollama avec des modèles légers (3B à 7B paramètres) sur des machines standard réduit ce frein considérablement. Les établissements doivent néanmoins anticiper ces besoins dans leurs demandes budgétaires.

Maintenir le syllabus à jour : ressources de veille

Un module sur l'IA générative en cybersécurité a une date de péremption courte si le formateur ne maintient pas une veille active. Voici les ressources de référence pour y parvenir :

• OWASP LLM Top 10 (owasp.org) : document vivant mis à jour par la communauté, source principale pour les risques applicatifs.
• MITRE ATLAS (atlas.mitre.org) : base de connaissance des tactiques, techniques et procédures (TTP) adversariales ciblant les systèmes d'IA, équivalent ATT&CK pour le domaine ML.
• arXiv (cs.CR + cs.AI) : les prépublications de recherche sur les attaques adversariales, le jailbreaking et la sécurisation des LLM paraissent ici avant toute revue de pair. Une sélection hebdomadaire suffit pour rester à jour.
• NVD / CVE : les vulnérabilités identifiées dans des bibliothèques comme LangChain ou des intégrations LLM sont publiées ici dès leur divulgation.
• Papiers de conférences (IEEE S&P, USENIX Security, ACM CCS) : pour les enseignants souhaitant intégrer les résultats de recherche les plus récents dans leur cours de M2.

La mise en place d'un flux de veille automatisé (agrégateurs RSS, alertes Google Scholar sur "LLM security", "prompt injection", "adversarial LLM") permet de limiter le temps consacré à cette surveillance tout en restant réactif.

Ce qu'il faut retenir

L'IA générative n'est pas une tendance passagère. Elle transforme durablement le paysage de la cybersécurité, tant du côté offensif que défensif, et cette transformation est déjà à l'œuvre dans les équipes sécurité en production.

• Un module dédié est justifié dès le niveau master en cybersécurité. Une sensibilisation de base est pertinente dès la licence.
• 25 heures permettent de couvrir les fondamentaux LLM, l'OWASP LLM Top 10, les usages offensifs et défensifs, et les principaux TP avec des outils professionnels (Ollama, LangChain, LlamaIndex, Garak, Burp Suite).
• La différenciation par niveau (L3 / M1 / M2) garantit une progression cohérente et évite de sous-estimer ou surcharger les étudiants.
• MITRE ATLAS et l'OWASP LLM Top 10 sont les deux cadres de référence à intégrer dans tout syllabus sérieux sur ce sujet.
• La veille permanente du formateur est une condition sine qua non pour que ce module reste pertinent d'une année sur l'autre.

Ne pas former les étudiants à ces enjeux, c'est les envoyer sur le terrain avec une carte incomplète — dans un environnement où leurs adversaires, eux, ont déjà intégré ces outils.

Vous souhaitez intégrer l'IA générative dans vos formations cyber ou trouver des enseignants spécialisés sur ces sujets ?
Retrouvez les experts disponibles sur Cyber Teachers et préparez vos étudiants aux défis opérationnels de demain.