Évaluer en cybersécurité sans QCM

Le QCM : confortable mais insuffisant

Le questionnaire à choix multiples reste le format d'évaluation le plus utilisé dans l'enseignement supérieur. Il est rapide à corriger, objectif dans sa notation, et facile à administrer à grande échelle.

Mais en cybersécurité, le QCM atteint vite ses limites. Savoir qu'une injection SQL est une faille de sécurité n'a rien à voir avec la capacité à l'identifier dans une application, à l'exploiter de manière contrôlée, puis à recommander un correctif. Le QCM évalue la reconnaissance, pas la compétence.

Or, les employeurs ne recrutent pas des étudiants qui cochent les bonnes cases. Ils cherchent des professionnels capables d'analyser, de décider et d'agir. Comment alors évaluer de manière pertinente les compétences en cybersécurité ?

Les grilles critériées : l'outil indispensable

Qu'est-ce qu'une grille critériée ?

Une grille critériée (ou rubrique d'évaluation) définit des critères observables et des niveaux de maîtrise pour chaque critère. Elle permet d'évaluer un travail complexe de manière structurée et transparente.

Exemple pour un exercice de pentest

Pour un travail pratique de pentest sur une application vulnérable, une grille pourrait inclure :

Critère 1 : Reconnaissance et énumération

• Niveau 1 : utilise un seul outil de scan sans méthodologie
• Niveau 2 : utilise plusieurs outils et documente les résultats
• Niveau 3 : conduit une reconnaissance méthodique, identifie les vecteurs d'attaque pertinents, priorise les cibles

Critère 2 : Exploitation

• Niveau 1 : tente des exploits sans comprendre le mécanisme sous-jacent
• Niveau 2 : exploite les vulnérabilités identifiées avec une compréhension de base
• Niveau 3 : exploite les vulnérabilités de manière contrôlée, documente la chaîne d'attaque, identifie l'impact réel

Critère 3 : Remédiation

• Niveau 1 : propose des recommandations génériques
• Niveau 2 : propose des correctifs adaptés à chaque vulnérabilité trouvée
• Niveau 3 : propose des correctifs techniques précis, justifiés, et priorisés par niveau de risque

Les avantages de la grille critériée

• Transparence : l'étudiant sait exactement ce qui est attendu avant de commencer.
• Cohérence : deux correcteurs évaluent de la même manière.
• Feedback précis : l'étudiant identifie ses points forts et ses axes de progression.
• Progression mesurable : en utilisant les mêmes critères sur plusieurs évaluations, on visualise l'évolution des compétences.

La soutenance orale : évaluer le raisonnement

Pourquoi l'oral ?

Un analyste SOC ou un RSSI passe une part considérable de son temps à expliquer, convaincre et rendre compte. La capacité à présenter clairement une situation technique à un public non spécialiste est une compétence professionnelle à part entière.

La soutenance orale permet d'évaluer ce que l'écrit ne montre pas :

• La compréhension profonde : un étudiant qui a réellement compris peut expliquer avec ses mots, répondre aux questions, improviser.
• Le raisonnement : comment l'étudiant a-t-il abordé le problème ? Quels choix a-t-il faits et pourquoi ?
• La communication technique : capacité à vulgariser, à structurer un propos, à utiliser les bons termes.

Formats de soutenance adaptés à la cybersécurité

• Le rapport d'audit : l'étudiant présente les résultats d'un audit de sécurité qu'il a mené sur une application ou un réseau. Il doit défendre ses conclusions et ses recommandations.
• Le retour d'incident : l'étudiant présente un incident de sécurité (réel ou simulé) qu'il a analysé. Il explique la timeline, les décisions prises, et les leçons tirées.
• La revue de code : l'étudiant présente une analyse de sécurité d'un code source, identifie les vulnérabilités et propose des correctifs.

Conseils pour des soutenances efficaces

• Limiter le temps de présentation (10 à 15 minutes) et prévoir un temps équivalent de questions.
• Utiliser une grille critériée spécifique pour la soutenance.
• Poser des questions qui testent la compréhension, pas la mémoire : "Et si l'attaquant avait fait X à la place ?" ou "Comment adapteriez-vous votre recommandation si le budget était limité ?".

Les livrables professionnels : évaluer comme le terrain

Le rapport de pentest

Le format le plus proche de la réalité professionnelle d'un pentesteur. L'étudiant produit un rapport complet incluant :

• Un résumé exécutif destiné à un décideur non technique
• Les vulnérabilités identifiées avec leur criticité
• Les preuves d'exploitation (captures d'écran, commandes, logs)
• Les recommandations de remédiation priorisées

Ce format évalue simultanément les compétences techniques, rédactionnelles et analytiques.

Le plan de réponse à incident

L'étudiant rédige un plan de réponse à incident pour une organisation fictive. Ce livrable couvre :

• Les procédures de détection et de qualification
• Les chaînes d'escalade et de communication
• Les actions de confinement, d'éradication et de reprise
• Le processus de retour d'expérience

Ce type de livrable évalue la capacité à penser de manière systémique et à anticiper des situations de crise.

La politique de sécurité

Pour les modules orientés GRC (Gouvernance, Risque, Conformité), demander aux étudiants de rédiger une politique de sécurité ou une analyse de risques évalue des compétences très différentes du technique pur : la compréhension des enjeux métier, la capacité à communiquer avec des non-techniciens, la rigueur documentaire.

Les exercices pratiques évalués : montrer plutôt que dire

Le lab noté

L'étudiant réalise un exercice technique en temps limité, documenté par des captures d'écran et un rapport succinct. Ce format évalue la compétence opérationnelle directe : configurer un pare-feu, analyser un dump réseau avec Wireshark, exploiter une vulnérabilité sur une machine de lab.

L'évaluation se fait sur la méthodologie autant que sur le résultat : un étudiant qui échoue à exploiter une faille mais documente correctement sa démarche démontre tout de même des compétences.

Le projet de groupe

Un projet sur plusieurs semaines, mené en équipe, permet d'évaluer des compétences transversales : gestion de projet, répartition du travail, intégration de contributions individuelles. Le livrable peut être un audit de sécurité complet, le développement d'un outil, ou la mise en place d'une infrastructure sécurisée.

Pour éviter l'effet "passager clandestin", combiner l'évaluation du livrable collectif avec une évaluation individuelle (soutenance, contribution documentée, auto-évaluation croisée).

Construire un système d'évaluation cohérent

Diversifier les formats

Un programme de cybersécurité complet devrait combiner plusieurs formats d'évaluation au fil du semestre :

• Des labs notés pour évaluer les compétences techniques ponctuelles
• Un ou deux livrables professionnels pour évaluer la capacité d'analyse et de synthèse
• Une soutenance pour évaluer la communication et le raisonnement
• Éventuellement un CTF ou un exercice gamifié pour la dimension collaborative et la motivation

Aligner l'évaluation avec les objectifs

Chaque évaluation doit être explicitement liée à un ou plusieurs objectifs pédagogiques. Si l'objectif est "l'étudiant est capable d'analyser un incident de sécurité", le format d'évaluation doit mettre l'étudiant en situation d'analyse, pas en situation de récitation.

Communiquer les critères en amont

Les grilles critériées et les attendus doivent être partagés avec les étudiants avant l'évaluation. Un étudiant qui sait ce qui est évalué et comment, travaille de manière plus ciblée et plus efficace. La transparence n'est pas de l'indulgence : c'est du professionnalisme.

Conclusion : évaluer ce qui compte vraiment

La cybersécurité est un métier de compétences pratiques, de raisonnement et de communication. L'évaluation doit refléter cette réalité. Les QCM ont leur place pour vérifier rapidement des prérequis, mais ils ne peuvent pas être le seul outil.

Les grilles critériées, les soutenances, les livrables professionnels et les exercices pratiques offrent une vision bien plus fidèle de ce que l'étudiant sait réellement faire. Ils préparent aussi mieux les futurs ingénieurs sécurité, consultants GRC et architectes sécurité aux exigences du terrain.

Besoin d'intervenants qui savent évaluer autrement ?
Cyber Teachers vous connecte avec des formateurs qui conçoivent des évaluations alignées sur les compétences réelles du métier.