Une grille d'évaluation des méthodologies d'analyse de risque.

par Marc-André Léger, DESS, MScA, PhD (Candidat)
       Chargé de cours, Programme de 2e cycle de gouvernance, audit et sécurité TI
       Chargé de cours, Microprogramme de 2e cycle Normalisation en santé
       Université de Sherbrooke, Longueuil, Québec (Canada)

 

Sommaire exécutif

Cet article présente des critères d'évaluation de méthodologies d'analyse de risque. Ces critères sont appliqués dans une grille dont les résultats sont aussi présentés. Les méthodes CRAMM, ÉBIOS et Octave semblent supérieures, Méhari est bonnes mais nécessite un encadrement solide et les autres méthodes sont immatures ou invérifiables.

  1. Introduction

Un des outils dans l'arsenal du professionnel de la sécurité et des organisations qui souhaitent mettre en oeuvre un processus de gestion du risque informationnel est la méthode d'analyse de risque. De nombreuses méthodes sont actuellement disponible, certaines gratuitement, d'autres à un coût significatif. Dans certains cas, des organisations créé des méthodes d'analyse de risque afin de répondre à des besoins spécifiques et tenir compte de contraintes particulières. Chacune de ces méthodes peuvent s'avérer un outil efficace lorsqu'elle sont utilisés diligemment dans un contexte bien défini. Cependant, comme tout outil, elles ont des limites. Elles ont une utilité propre, souvent dans un contexte organisationnel particulier ou un domaine d'activité limité (Banques, Ministère). De même, comme d'autres méthodologies de recherche, elles cherchent à mesurer des concepts, le risque informationnel, par l'intermédiaire de variables (comme la menace ou l'impact) selon des échelles de mesure (par exemple: bas, moyen, élevé). Plusieurs des concepts mesurés ne peuvent être mesurés directement (par exemple comme lire la température sur un thermomètre) mais indirectement, en demandant à quelqu'un d'indiquer quelle est son estimation de la valeur de la mesure de la variable attribué au concept. Ainsi comme toute méthodologie, la méthodologie d'analyse de risque informationnel doit tenir compte de plusieurs sources d'erreur, soit en relation à la sélection des individus qui donne les réponses, de l'interprétation à donner aux réponses, du type de mesures utilisées, de l'analyse (explicative ou statistique) ou de l'interprétation des résultats.

Dans le domaine de la médecine, il est nécessaire de déterminer le risque associé à l'introduction de protocoles de soins ou de nouveau médicaments. Pour des raisons historiques et éthiques, le domaine de la médecine a systématisé l'utilisation de méthodologies. Plusieurs études ont été réalisés sur les sources d'erreurs et de biais, ainsi que les moyens à mettre en oeuvre pour limiter ou contrôler leur impact. Le but étant de s'assurer que les résultats d'une étude soit fidèle à la réalité.

Cet article présente une grille d'analyse des méthodes d'analyse de risque en relation à des critères d'évaluation provenant de diverses sources, dont les exigences de rigueur méthodologique issus de la médecine et les normes internationales ISO. Cette grille est disponible sur: www.ismsiug.ca et ici: Grille. Dans un premier temps, un rappel de certain concepts est présenté. L'article présente ensuite les critères d'évaluation utilisés, les résultats pour conclure avec des suggestions pour la suite des choses.

  • Approche de cet article

Différentes méthodologies et certains outils méthodologiques ont été examinés. Ils ont été choisi en fonction de ce qui est utilisé actuellement ou disponble au Québec. Elles sont:

Méthodologie

Source

Langue

Masse critique d'utilisateurs

Disponible

Audicta

Audicta – Medical technologies

Anglais et Français

Non

Oui

Callio Secura

Callio

Anglais, Français et autres

Non

Non

CRAMM

Insight une division de Siemens

Anglais

Oui

Oui

ÉBIOS

France (DCSSI et Club EBIOS)

Anglais, Français et autres

Oui

Oui

ISO 13335-2

ISO

Anglais

Non

Non

IRAM

GAC-BNF

Anglais

Non

Non

IVRI

par l'auteur de cet article

Français

Non

Non

MÉHARI

CLUSIF

Français

Oui

Oui

OCTAVE

CERT au Carnegie Melon University

Anglais

Oui

Oui

RiskIT

R&D-Ware Oy

Anglais

Non

Oui

RiskPro

HEC (Montréal) - CIRANO

Français

Non

Non

Tableau 1: Méthodologies analysés

Certaines de celles-ci ne sont pas présentés dans cet article parce qu'elles ne sont pas facilement disponible pour analyse (IRAM, RiskIT, Risk Pro), qu'elles ne sont plus disponible suite à la cessation des activités (Callio) ou l'abandon du projet (ISO 13335-2, IVRI). Bien qu'il existe d'autres méthodologies, celles-ci n'ont pu être identifiées et ajoutés.

Les méthodologies d'analyse ou de gestion de risque ont été analysés individuellement par l'auteur en appliquant des critères présentés plus bas. Lorsque possible des copies des documents et des outils étant évalués. Les résultats ont ensuite été compilés dans un tableau qui a été circulé à un groupe experts en gestion de risque et à des experts des différentes méthodologies d'analyse de risque. Lorsque que nécessaire des explications additionnelles ont été fournies. Les experts ont soumis des suggestions de correctifs qui ont été intégrés dans un tableau révisé, qui est présenté avec cet article. Au besoin, s'il y avait absence de consensus sur les commentaires, des discussions ont eu lieu afin d'arriver au résultat présenté.

Des méthodologies analysées, seules quatre (4) ont pu démontrer un nombre d'utilisateurs suffisant pour en assurer la pérennité: CRAMM, ÉBIOS, Méhari et Octave. Dans les autres cas, aucunes informations ne permettent de croire que le nombre d'utilisateurs de la méthodologie sur le terrain est suffisamment important pour assurer sa survie à long terme internationalement.

  1. Ce qu'on mesure: le risque

Tel que je l'ai décrit dans un article précédent (ici), la sécurité de l'information fait référence à deux concepts: la sécurité et l'information. La sécurité étant définie comme l’absence de risques inacceptables. Le risque informationnel est vise à préserver ou améliorer la qualité des actifs informationnels d’une organisation en fonction de ses attentes (disponibilité, intégrité) ou des attentes de ses clients (protection de la vie privée). La sécurité est aussi nécessaire parce que la technologie appliquée à l’information crée des risques. Les équipements ont une durée de vie limité et sont sujet à des pannes. Mais ces problèmes peuvent être prévisibles, des données étant disponible sur les capacités et les performances de ceux-ci. Le risque de panne pouvant être estimé objectivement sur la base de données statistiques, le risque devient la probabilité, sur une période donnée, de devoir réparer un équipement. Il y a donc plusieurs définitions possible du risque. Il est donc nécessaire de bien définir le risque. Malheureusement, beaucoup de ce qui a été écrit sur le risque est basé sur des données anecdotiques ou sur des études limitées à un aspect particulier. L'usage de ces définitions est incertain. Il est essentiel de définir ce que risque signifie pour cet article.

 

 

Le mot risque tire ses origines du terme italien utilisé au Moyen âge: risco, signifiant rocher escarpé, écueil. Il fut utilisé par les premières compagnies d’assurance pour désigner le péril couru en mer. Le mot tire aussi ses origines du latin resecum signifiant coupant. Ces premières compagnies d'assurances (17ième siècle) assuraient les bateaux contre le risco... le terme a évolué pour devenir le mot risque. Le risque est souvent défini comme une combinaison de la probabilité d’occurrence d'un dommage et de sa gravité. Pour Knight, un auteur significatif sur le risque à son époque, le risque réfère à des situations par lesquelles le décideur assigne des probabilités mathématiques aux événements aléatoires auxquels il fait face. Le risque est aussi défini comme une variation dans les résultats (outcomes) qui peuvent survenir sur une période déterminé dans une situation donnée. Le risque est aussi une fonction de la distribution de la variance des probabilités. Fondamentalement, le risque est un construit social, il dépend de celui qui le perçoit. La plupart des définitions du risque intègre un élément de subjectivité, selon la nature du risque et du domaine. Mais il existe un risque objectif, quantifié dans des polices d'assurance auto, par exemple. L’ensemble des définitions du risque nous suggère le risque comme:

  • Une discontinuité

  • Une dysfonction

  • Un désastre

  • La différence entre ce qui était attendu ($) et la réalité

  • Probabilité(d'un événement) x ses Conséquence

Le risque informationnel dépend de l'inacceptabilité en relation à des attentes envers les actifs informationnels, souvent déclarés à priori dans une organisation. Les attentes sont établies sur la base de politiques, de stratégie et du contexte (politique, environnemental, social, technologique et économique). En quelques sortes, en gestion du risque informationnel, il est nécessaire de délimiter le carré de sable (limites de l'organisation) et tracer une ligne dans le sable (baseline) sur la base des attentes et du contexte qui délimite ce qui est acceptable et ce qui ne l'est pas, ce qui à nous et ce qui aux autres (externalités).

L’on distingue le risque objectif, lorsque la variation existe dans le monde réel (naturel) et est la même pour tous les individus dans une situation identique, du risque subjectif, lorsqu’il y a estimation du risque objectif par un individu. Quand on ne peut exprimer l’aléatoire par des probabilités, mêmes subjectives, on doit plutôt parler d’incertitude. Le terme risque est généralement utilisé lorsqu'il existe au moins la possibilité de conséquences négatives, s'il ne s'agit que de conséquences probables positives, on parlera plutôt de possibilités. Cet article ne discute pas d'incertitude, qui sera mitigé en organisation par des plans de relève, de continuité ou de gestion d'incidents. Il ne sera pas non plus question de possibilités, n'étant pas une préoccupation de sécurité comme tel.

 

Qu'est-ce qu'une méthodologie

La méthodologie, science de la méthode, est une méta méthode, une méthode des méthodes, une sorte de coffre à outils. Dans ce coffre chaque outil est un processus, une technique ou une technologie appropriée à résoudre un énigme particulier ou à déterminer la valeur d'une variable particulière. Lorsque l'on travaille dans un domaine, une méthodologie permet d'établir une suite d'actions à effectuer, de questions à se poser, de choix à faire, qui permettent de mener de manière plus efficace une étude ou la résolution d'un problème. C'est un des éléments qui font la différence entre un art et une profession. En recherche, la méthodologie est cette systématisation de l'étude, indépendamment du sujet de l'étude lui-même. C'est ce qui permet d'obtenir des résultats qui ont une scientificité démontrable, qui peuvent être reproduits ou vérifiés par des individus extérieurs à l'étude. Une méthodologie d'analyse de risque informationnel propose une série d'activités et d'outils permettant d'analyser le risque informationnel dans un contexte précis et à un moment précis. En recherche médicale différentes qualités sont requises d'une méthodologie:

  1. Crédibilité: Les résultats de l’analyse des données recueillies reflètent l’expérience des participants ou le contexte avec crédibilité.

  2. Authenticité: La perspective intérieure des participants présentée dans les résultats de l'analyse démontre une conscience des différences subtiles d’opinion de tous les participants.

  3. Criticité: Le processus d’analyse des données recueillies et des résultats montre des signes d’évaluation du niveau de criticité.

  4. Intégrité: L’analyse reflète une validation de la validité répétitive et récursive associée à une présentation simple.

  5. Explicité: Les décisions et interprétations méthodologiques de même que les positions particulières de ceux qui réalisent l'étude (l’enquêteur) sont considérées.

  6. Réalisme: Des descriptions riches et respectant la réalité sont illustrées clairement et avec verve dans les résultats.

  7. Créativité: Des méthodes d’organisation, de présentation et d’analyse des données créative sont incorporées à l’étude.

  8. Exhaustivité: Les conclusions de l'étude couvrent l’ensemble des questions posées au départ de façon exhaustive.

  9. Congruence: Le processus et les résultats sont congruents, vont de pair les uns avec les autres et ne s’inscrivent pas dans un autre contexte que celui de la situation étudiée.

  10. Sensibilité: L’étude à été faite en tenant compte de la nature humaine et du contexte socioculturel de l'organisation étudiée.

Le tableau suivant présente le sommaire de l'évaluation du traitement de ces différentes qualité dans les méthodes analysées.



 


 

Qualité


 


 

Audicta


 


 

CRAMM


 

ÉBIOS


 


 

MÉHARI


 


 

OCTAVE


 

Crédibilité

Oui

Oui

Oui

Oui

Oui

Authenticité

Non

Non

Non

Non

Non

Criticité

Oui

Oui

Oui

Oui

Oui

Intégrité

Oui

Non

Oui

Oui

Oui

Explicité

Non

Non

Non

Non

Non

Réalisme

Non

Non

Oui

Non

Non

Créativité

Oui

Non

Oui

Oui

Oui

Exhaustivité

Non

Non

Non

Non

Non

Congruence

Oui

Oui

Oui

Oui

Oui

Sensibilité

Non

Non

Oui

Non

Non

Tableau 2: le sommaire de l'évaluation du traitement de ces différentes qualité dans les méthodes analysées.

Le tableau montre qu'aucune des méthodologies ne rencontre tout les critères de qualité des résultats.

Pourquoi est-ce important?

Selon Jung, il existe deux façons d’obtenir de l’information sur le monde qui nous entoure: directement perçu par nos sens (e.g. on peut toucher, sentir ou voir) ou par intuition qui amène du contenu de l’inconscient au conscient (e.g la mémoire de connaissances acquises). La psychologie cognitive enseigne que cette information, bien qu’elle puisse sembler exacte à l’individu, est sujette à nombre de biais, entre autres:

  • Les paralogismes (erreurs de raisonnement) formels et informels

  • La dissonance cognitive

  • Les heuristiques de jugement

  • Les variations perceptuelles dues à l’appartenance à différents groupes sociaux

  • Les limites de la vigilance

Exprimé simplement, c'est important d'utiliser une méthodologie de qualité en analyse du risque informationnel pour les raisons suivantes:

  1. le processus doit être indépendant de ceux qui le réalise

  2. les résultats de l'analyse doivent être représentatif de la réalité

  3. les résultats sont utilisé pour prendre des décisions.

La validité interne fait référence à l'exactitude des résultats. Il y a validité interne lorsqu’il y a concordance entre les données et leur interprétation. Une étude peut être considérée pour sa validité interne, c'est-à-dire qu'elle est vraie pour la population à l'étude, c'est à dire que les résultats de l'étude correspondent à ce qui a été étudié pour ces individus à ce moment dans le temps. Sans controles formels et sans faire une étude approfondie, il est impossible d'évaluer la validité internet de toutes les méthodologies à l'étude. Quant à la validité externe, qui réfère à la généralisabilité des résultats (permet d'en tirer des conclusions impartiales au sujet d’une population cible plus grande que l’ensemble des sujets), cet aspect de la validité n’est important qu’en ce qui concerne une population cible externe particulière, ce qui est moins critique pour les petites organisations compte tenu de l'utilisation limitée mais plus significatif aux grandes organisations. Par exemple, les résultats d’une analyse de risque menée avec sept participants dans une unité d'affaires peuvent être généralisés à l’ensemble de l'organisation (la population cible étant formée de toute l'organisation et ;la population disponible formée de sept individus). Ici aussi, sans contrôles formels et sans faire une étude approfondie, il est impossible d'évaluer la validité externe.

 

La mesure des variables

Un premier problème porte sur la mesure des variables que l'on cherche à étudier lors d'une analyse de risque. La mesure est l'attribution de nombres à des objets, à des événements ou à des individus selon des règles préétablies dans le but de déterminer la valeur d'un attribut donné. En recherche, une variable est un concept auquel une mesure peut être déterminée. Elle correspond à une qualité (e.g. petit, grand) ou à un caractère (e.g. grandeur, age) qui sont prêtes à un élément (personnes, événements) faisant objet d'une recherche et auxquels une valeur est attribuée. Les variables sont reliées aux concepts théoriques au moyen de définitions opérationnelles servant a mesurer des concepts et peuvent être classées de différentes façons selon les rôles qu'elles remplissent dans une recherche. La mesure est l'attribution de nombres à des objets, à des événements ou à des individus selon des règles préétablies dans le but de déterminer la valeur d'un attribut donné.

Une partie du risque informationnel peut être mesuré objectivement sur la base de données historiques d'une organisation: le risque informationnel objectif. Cependant peu d'organisations disposent d'une quantité de données objectives fiables sur une période suffisante pour les utiliser efficacement. Il est important de noter qu'il y a dans cette partie du risque, une problématique de distribution des probabilités qui demande éclaircissement. Si l'on peut assigner un risque potentiel sur la base de probabilités de réalisation d'événements futurs, on assume que ces événements sont distribués normalement lors d'un très grand nombre d'observation. Cet à priori est très discutable sans une base de connaissances suffisante et un grand nombre d'observations.

Tout ce qui ne peut pas être mesuré objectivement doit l'être subjectivement. Ainsi tout ce qui n'est pas du risque objectif est placé, dans cet article, dans le camps du risque informationnel subjectif. Toute approche méthodologique cherchant à déterminer quelle est la situation d'une organisation en matière de gestion de risque informationnel subjectif, doit intégrer des façons d'identifier les attentes de l'organisation (valeurs et croyances) par les individus qui la compose et par les documents disponibles, sorte d'artéfacts. D'un point de vue méthodologique, une approche qualitative est, seule, capable de décrire le phénomène du risque informationnel dans son contexte particulier compte tenu de l'état actuel des connaissances. Les contrôles méthodologiques sont donc requis afin de s'assurer de la congruence des résultats d'une analyse de risque avec la réalité de l'organisation étudiée. Si l'on ne pouvais garantir la validité des résultats, on ouvre la porte à des critiques sur les résultats et sur les recommandations éventuelles suite à une étude.

 

Les échelles de mesure

L'on distingue les mesures discrètes (des catégories) des mesures continues. La mesure continue utilise des valeurs numériques selon des règles de mesure (quantité, longueur, température). Elle permet de déterminer si une caractéristique est présente et, si oui, à quel degré. Les échelles de mesure sont habituellement classées en quatre catégories, tel que présenté dans le tableau ci-dessous par ordre croissant de précision et de complexité du calcul mathématique envisageable.



 

Échelle de mesure

Description

Exemple(s)

Échelle ordinale

Classe les objets dans de catégories.
Les nombres sont sans valeur numérique.
Des tests non paramétriques et des statistiques descriptives peuvent être utilisés.

Sexe masculin ou féminin, race, religion.

Échelle ordinale

Les objets sont classés par ordre de grandeur.
Les nombres indiquent des rangs et non des quantités.
Permet l'utilisation de statistiques descriptives.
Peut permettre l'utilisation statistique s'il existe un continuum sous-jacent d'intervalles

Degré de scolarité: Secondaire 1, secondaire 2, secondaire 3

Niveau d'exposition bas, moyen ou élevé.

Catégorie salariale: modeste (0 à 20000$), Basse (20001$ à 35000$), etc.

Échelle à intervalles

Les intervalles entre les nombres sont égaux.
Les nombres peuvent être additionnés ou soustraits.
Les nombres ne sont pas absolus car le zéro est arbitraire.
Permet un grand nombre d'opérations statistiques.

La température mesurée en degrés Celsius

Échelle à proportions

L'échelle a un zéro absolu.
Les nombres représentent des quantités réelles et il possible d'exécuter sur elles toutes les opérations mathématiques.

La température mesurée en degrés Kelvin, le poids, la taille, le revenu.

Tableau 1: catégories d'échelles de mesure

Il est critique de s'assurer qu'une rigueur scientifique est présente dans toute analyse de risque. Certaines méthodes utilisent des données qualitatives auxquelles sont assignés des valeurs numériques sur lesquels une analyse statistique est effectuée. Si en plus ces valeurs assignées sont utilisées dans des calculs mathématiques, c'est plutôt douteux. le passage d'une données qualitative à une donnée quantitative ne peux se faire sans qu'il soit appuyé par un cadre rigoureux qui doit être vérifié rigoureusement. Sinon, quelle signification donner aux résultats ? Quel est leur précision ?

La majorité des méthodologies analysés utilisent des échelles ordinales et des échelles à intervalles. Ce type d'échelle de mesure n'est pas approprié pour des opérations mathématiques complexes, mais peuvent faire l'objet d'analyse statistique. Le problème est que certaines de celles-ci (Audicta, CRAMM et MÉHARI) effectue des opérations mathématiques complexes qui ne sont pas appropriées compte tenu de l'échelle de mesure. Audicta et CRAMM semblent disposer de contrôles méthodologiques pour dominer la situation. Dans le cas de ÉBIOS, l'approche par tableau croisés évite cette situation problématique. Octave est la seule qui utilise une échelle à proportion permettant une utilisation optimale des données.

 

L'échantillonnage

Il est essentiel de se questionner sur l'échantillonnage en analyse de risque. Si l'on rencontre un nombre limités de membres d'une organisation pour obtenir des informations permettant d'assigner des valeurs à des variables, il est essentiel que ces personnes fournissent des réponses qui sont en mesure de fournir un portrait réel et complet de la situation: l'échantillon doit être représentatif de la population qu'il représente. Toutes les méthodologies ont un échantillon non probabiliste déterminé par choix raisonné. Ce qui signifie que, dans chaque cas, les individus qui participent à l'étude sont choisis par les individus qui font l'analyse de risque. Ainsi de nombreux biais de sélections sont introduits, dépendants de relations de pouvoir, de disponibilité, de priorités organisationnelles et individuelles, etc... Ainsi toute les méthodologies semblent disposer d'un échantillon sont on ne peut déterminer la représentativité. Il est donc incertain que l'ensemble de la situation, telle qu'elle existe dans la réalité, ne puisse s'exprimer dans les résultats de l'analyse de risque. De même il n'y a aucun contrôle de la saturation afin de s'assurer que tout ce qui est à dire sur la situation sous analyse soit dit par les individus qui sont inclus dans l'échantillon.

 

Conclusion

La grille détaillée, présentée en annexe (ici), applique des contrôles méthodologiques utilisés dans le domaine de la recherche clinique et enseignés à la faculté de Médecine de l'Université de Sherbrooke, tel que mentionné en début d'article. La grille permet d'avoir un aperçu des différentes méthodologies disponibles au Québec en 2006. Comme il est expliquer dans l'analyse, aucune des méthodologies d'analyse de risque étudié ne rencontre l'ensemble des critère d'évaluation.

Bien qu'il soit difficile de démontrer la supériorité d'une méthode sur une autre, il est apparent que certaines soit méthodologiquement supérieures aux autres. Les méthodes CRAMM, ÉBIOS et Octave semblent supérieures que les autres. Méhari est dans une seconde catégorie de bonnes méthodes mais qui nécessite un encadrement solide (formation, consultant, vérificateur externe) pour limiter les biais. Les autres méthodes sont immatures ou invérifiables. Cependant toute méthode utilisés par un praticien formé et compétent est susceptible de donner des résultats qui ont une certaine valeur pour l'organisation. Il serait nécessaire de procéder à des analyses très poussés pour permettre de tirer des conclusions véritablement solides, ce qui est peu probable.

 

Bibliographie

Beucher, S., Reghezza, M., (2004) Les risques (CAPES Agrégation), Bréal

Blakley, B., McDermott, E., Geer, D.(2001), Session 5: less is more: Information security is information risk management, Proceedings of the 2001 workshop on New security paradigms, September 2001

Fortin, M.-F., Côté, J., Filion, F. (2006). Fondements et étapes du processus de recherche, Chenelière Éducation, Montréal (Québec), 485 pages

ISO (1999) Guide 51 Safety aspects, Guidelines for their inclusion in standards, International Standards Organization

ISO (2002) Guide 73, Management du risque, Vocabulaire, Principes directeurs pour l'utilisation dans les normes , International Standards Organization

Knight, Frank H. (1921) Risk, Uncertainty, and Profit, Boston, MA: Hart, Schaffner & Marx; Houghton Mifflin Company

Office québécois de la langue française (2005) Grand dictionnaire terminologique, en ligne: http://www.olf.gouv.qc.ca/ressources/gdt_bdl2.html

©décembre 2007, Marc-André Léger