Déclaration du Panel d'examinateurs indépendants au sujet du rapport de l'Aviation royale canadienne soumis aux ministres sur l'Évaluation des options permettant de maintenir la capacité des chasseurs des Forces Canadiennes

Le 28 février 2014

Notre mandat

En avril 2012, afin de donner suite au rapport du vérificateur général, le gouvernement du Canada a annoncé la mise en œuvre du Plan d'action à sept volets en appui à sa décision de procéder au remplacement de la flotte de CF-18. L'un des éléments clés du Plan était que « Le ministère de la Défense nationale continuerait d'évaluer les options permettant de maintenir la capacité des chasseurs pendant une bonne partie du XXIe siècle ». Le Panel d'examinateurs indépendants (PEI) a été mis sur pied en décembre 2012 en vue de surveiller le déroulement de l'évaluation, et de donner l'assurance de l'intégrité du processus d'évaluation, une fois celle-ci terminée. Voici notre déclaration.

Les quatre membres du Panel ont acquis collectivement de l'expérience dans le milieu universitaire et dans différents secteurs du gouvernement, incluant le ministère de la Défense nationale, le Secrétariat du Conseil du Trésor, le Bureau du contrôleur général et le Bureau du Conseil privé. Keith Coulter est un ancien pilote de chasseur et est devenu sous-ministre par la suite. Philippe Lagassé est professeur agrégé d'affaires publiques et internationales et détient une expertise particulière des questions de défense nationale. Jim Mitchell est un ancien cadre supérieur du Bureau du Conseil privé et du Secrétariat du Conseil du Trésor. Il dirige un cabinet d'experts-conseils qui fournissent des conseils stratégiques au gouvernement. Quant à Rod Monette, il a déjà été contrôleur général du Canada et sous-ministre.

Déclaration

La présente déclaration du Panel porte sur le déroulement de l'évaluation et sur le rapport connexe soumis aux ministres et produit par l'Aviation royale canadienne (ARC). Le rapport de l'Aviation royale canadienne comprend une analyse fondée sur les risques liés à quatre chasseurs modernes, disponibles sur le marché. L'évaluation de l'Aviation royale canadienne ne constituait pas un processus de sélection; le rapport qu'elle a produit ne renferme d'ailleurs aucune recommandation ou de comparaison directe. Il présente plutôt un résumé des évaluations fondées sur les risques qui ont été réalisées en fonction de la mesure dans laquelle chacun des appareils proposés permettront d'exécuter avec succès les missions énoncées dans la Stratégie de défense Le Canada d'abord.

Nous tenons à souligner que le mandat du Panel consiste à donner une assurance, c'est-à-dire que notre rôle dans le cadre du processus d'examen défini dans le Cadre de référence pour l'évaluation des options, était « d'évaluer la méthodologie utilisée et les analyses effectuées, et de participer aux principales étapes du travail ». À ce titre, nous tenons à donner l'assurance aux personnes qui utiliseront l'évaluation que le rapport connexe de l'équipe d'évaluation de l'Aviation royale canadienne est « à la fois rigoureux et impartial », et que les résultats obtenus sont « complets et faciles à comprendre ».

À titre de Panel, nous n'étions pas chargés de tirer des conclusions quant au bien-fondé d'utiliser un chasseur particulier, de comparer les appareils et encore moins de fournir des conseils sur l'appareil convenant le mieux au Canada. La responsabilité d'en arriver à des conclusions sur le travail de l'équipe d'évaluation de l'Aviation royale canadienne et de fournir des conseils aux ministres relève du Comité de gouvernance des sous-ministres (CGSM), qui a été mis sur pied pour surveiller la mise en œuvre du Plan à sept volets, incluant l'évaluation des options.

Notre travail

Sur une période de 14 mois, nous avons rencontré des représentants du Secrétariat national d'approvisionnement en chasseurs (SNAC) de Travaux publics et Services gouvernementaux Canada (TPSGC) et des experts de l'Aviation royale canadienne plus de 30 fois, habituellement pendant une journée entière. Nous nous sommes aussi rencontrés régulièrement à titre de membres du Panel et sommes restés activement en contact les uns avec les autres pendant toute cette période.

Dans le cadre de notre travail, nous avons discuté activement et de façon continue de tous les aspects du processus d'évaluation avec l'équipe d'évaluation de l'Aviation royale canadienne et les représentants du SNAC. Entre autres, des représentants militaires et civils nous ont présenté des comptes rendus détaillés sur chaque aspect de l'évaluation, ce qui s'est traduit par la lecture de milliers de pages de documents faisant état de menaces, des besoins liés aux missions et des capacités des chasseurs. Nous avons fourni des commentaires écrits détaillés sur la plupart de ces documents ainsi que sur tous les produits visés par l'évaluation, et ce à toutes les étapes de leur élaboration. Nous avons toujours tenté de nous assurer que le processus d'évaluation a été mené de façon rigoureuse, impartiale, approfondie et compréhensible.

Dans le cadre de notre travail l'évaluation, nous avons aussi rencontré des cadres supérieurs de TPSGC, des Forces armées canadiennes, du ministère de la Défense nationale, du Bureau du Conseil privé et d'Industrie Canada, tandis que dans le cadre de notre fonction d'assurance, nous avons aussi rencontré cinq fois les membres du Comité de gouvernance des sous-ministres, trois fois le chef de cabinet de la ministre de TPSGC et une fois la ministre de TPSGC, accompagnée de membres de son personnel. Chacune de ces séances de fond s'est déroulée de manière professionnelle.

Il convient de s'attarder aux aspects dont nous n'avons pas tenu compte dans l'exercice de nos fonctions. Premièrement, nous n'avons pas remis en question les politiques et les missions énoncées dans la Stratégie de défense Le Canada d'abord (SDCD). Cet énoncé de politique gouvernementale a servi de cadre de définition des types de missions que seraient tenus d'exécuter les nouveaux chasseurs, et par conséquent de point de référence pour notre travail et celui de l'équipe d'évaluation de l'Aviation royale canadienne.

Deuxièmement, nous n'avons pas rencontré de représentants des constructeurs d'aéronefs qui ont participé à l'évaluation des options. Le Secrétariat national d'approvisionnement en chasseurs a mené les consultations auprès de l'industrie, de concert avec des représentants d'Industrie Canada, qui s'est occupé des questions liées aux retombées industrielles, quoique dans une moindre mesure. Troisièmement, même si nous étions au courant de l'Énoncé des besoins qui a été mis de côté pendant l'évaluation des options, nous n'étions pas tenus d'examiner les analyses ayant permis d'orienter les décisions qui ont été prises avant l'annonce de la mise en œuvre du Plan à sept volets. La présente évaluation des options réalisée par l'Aviation royale canadienne a fait partie d'un remaniement réel du processus de remplacement des CF-18, tout comme notre travail d'évaluation.

Lorsque le Panel a réalisé cette évaluation et qu'il a assumé les responsabilités liées à sa fonction d'assurance, il s'est vu confier un mandat clair d'agir de façon indépendante, ce qu'il a fait. Les membres ont aussi décidé d'emblée de ne pas se prononcer publiquement sur leur travail d'évaluation des options avant qu'il soit approprié de le faire. Plus important encore, nous pouvons confirmer que personne n'a dirigé en aucune manière notre travail dans le cadre du processus d'évaluation.

Nous tenons à souligner à quel point nous avons apprécié l'expertise et le professionnalisme des officiers de l'Aviation royale canadienne avec qui nous avons travaillé au cours des 14 derniers mois. Nous aimerions aussi souligner le travail des membres du personnel du Secrétariat national d'approvisionnement en chasseurs, dirigé par Rachel Wernick, sa directrice exécutive. L'appui qu'ils ont fourni au Panel, leur expertise des approvisionnements et leur capacité de mener à terme le processus d'évaluation sont tout à l'honneur du Ministère et de la fonction publique.

À la lumière du travail que nous avons réalisé au cours des 14 derniers mois, nous sommes maintenant en mesure d'émettre l'avis suivant conformément à notre mandat.

Notre avis

1. En ce qui a trait à la rigueur

Nous sommes entièrement satisfaits de la rigueur du processus d'évaluation.

À cet égard, nous pensons en particulier à la transparence du Plan à sept volets dans son ensemble, ainsi qu'à la transparence du processus d'évaluation comme tel. Nous avons remarqué que le processus d'évaluation a fait participer les quatre entreprises dont les appareils ont été évalués (Boeing, Dassault, Eurofighter et Lockheed-Martin) de manière efficace aux étapes initiales du processus pour veiller à ce qu'elles le comprennent. Le processus d'évaluation leur a donné toutes les occasions de fournir leurs commentaires en lien avec l'étape de collecte de renseignements de la méthodologie, ce qui leur a permis de présenter leurs appareils de manière à mieux en représenter les points forts et les capacités.

Tout au long du processus d'évaluation, le Panel a exercé une importante fonction d'analyse critique. Il a posé des questions et a fourni des commentaires et des conseils nécessitant un apport additionnel de la part de l'Aviation royale canadienne, ce qui a parfois occasionné des retards mais a aussi permis, à notre avis, d'obtenir un processus et des résultats plus rigoureux.

Nous tenons également à souligner les points forts de la méthodologie d'évaluation en six étapes du processus d'évaluation. Même si la méthodologie a été élaborée par l'Aviation royale canadienne et des scientifiques de la défense de Recherche et développement pour la défense Canada, les membres du Panel ont présenté des commentaires et des conseils au fur et à mesure de son élaboration et de sa mise au point. La méthodologie a d'ailleurs été remaniée lorsque le Panel a réalisé qu'une étape supplémentaire s'avérait nécessaire dans le cadre du processus d'évaluation. (c.-à-d. lorsque les résultats du rapport d'évaluation des facteurs de risque opérationnels et critiques ont tenu compte des mesures d'atténuation des risques et qu'ils ont été regroupés pendant la dernière étape de l'évaluation.) Ce remaniement de la méthodologie montre la détermination du Panel à veiller à la rigueur, à l'équité et à la transparence de l'évaluation, et à ce que tous les facteurs pertinents soient évalués adéquatement pour tirer des conclusions.

Nous tenons également à faire remarquer que le processus d'évaluation a pris grand soin d'attribuer tout le mérite revenant à chacun des appareils proposés dans le cadre de l'évaluation pour ce qui est de leurs capacités déclarées et de leur mise à niveau, et d'évaluer chacun d'entre eux de manière à refléter les pratiques canadiennes d'utilisation des chasseurs et les besoins liés aux missions. L'ensemble de ce travail a été effectué en vue de s'assurer qu'aucun appareil ne serait désavantagé ou ne ferait l'objet d'un préjugé institutionnel. Toujours par souci d'équité, le processus d'évaluation s'est appuyé sur des suppositions raisonnables en ce qui a trait à la capacité du gouvernement à atténuer certains risques qui ne relèveraient pas autrement de la capacité d'atténuation des risques de l'Aviation royale canadienne ou du ministère de la Défense nationale.

Dans cette section, nous aimerions aussi souligner le rôle du chef - Développement des forces et de son personnel, chargés d'évaluer les futures capacités requises des Forces armées canadiennes, ainsi que le rôle du chef du renseignement de la Défense, chargé de décrire les menaces actuelles et futures. Leur travail a constitué un point de référence essentiel pour l'analyse des options et a élargi le contexte des capacités que pourraient offrir les futurs chasseurs du Canada dans le cadre des opérations prévues à la Stratégie de défense Le Canada d'abord, selon laquelle les Forces armées canadiennes doivent être prêtes à mener des opérations nationales et internationales dans six champs principaux de missions.

Faisons remarquer que le travail de l'équipe d'évaluation a consisté à réunir des équipes d'experts du groupe opérationnel et d'autres experts possédant des connaissances et de l'expérience de l'acquisition, du pilotage et de l'entretien des chasseurs modernes. Leur travail a ensuite été vérifié et réévalué par un membre principal de l'équipe de l'Aviation royale canadienne. Il s'agissait de s'assurer de l'objectivité, de l'équité et de l'exactitude de l'évaluation des quatre appareils et de veiller à les examiner conformément à la façon dont l'Aviation royale canadienne utilise les chasseurs.

Le processus a débuté par un examen des risques associés à l'exécution d'opérations avec chaque appareil dans les six champs principaux de missions. Le processus a ensuite étudié les risques liés aux « facteurs favorables essentiels » de la capacité du Canada d'acquérir rapidement ces appareils et d'en maintenir la pertinence opérationnelle à long terme. La dernière étape a consisté à intégrer les résultats des deux examens à l'évaluation globale des risques pour chaque appareil dans les six champs principaux de missions.

Les étapes principales du processus d'évaluation, particulièrement l'évaluation des risques associés aux facteurs favorables essentiels, passaient nécessairement par l'application d'un jugement militaire professionnel afin de tirer des conclusions inévitablement de nature qualitative, ce qui nous a paru tout à fait approprié. Aucun algorithme, aussi sophistiqué soit-il, ne saurait remplacer un jugement professionnel et éclairé, fondé sur une collecte d'analyses et de faits complets.

2. En ce qui a trait à l'impartialité

L'impartialité constituait un facteur crucial pour le Panel et le processus d'évaluation dans son ensemble. Dans le cadre du Plan à sept volets, on a demandé à l'Aviation royale canadienne de réexaminer le marché des chasseurs modernes et de réaliser une évaluation fondée sur les risques pour les chasseurs proposés, en fonction des politiques et des missions énoncées dans la Stratégie de défense Le Canada d'abord. Dans la foulée de ce réexamen, il fallait tenir compte notamment du fait que le gouvernement avait sélectionné auparavant l'un des appareils proposés - le F-35 Lightning de Lockheed-Martin, sur les conseils de l'Aviation royale canadienne. Dans ce contexte, il était de notre devoir de veiller à éviter toute possibilité de partialité sur les plans du processus d'évaluation ou des résultats connexes. Il était essentiel d'évaluer les quatre appareils proposés objectivement et de veiller à ce qu'aucun préjugé personnel ou institutionnel ne s'immisce dans le processus ou les conclusions, en vue de garantir la crédibilité et la pertinence de l'évaluation.

Le Panel a pris soin de veiller à l'impartialité du processus d'évaluation et du produit éventuel. Nous nous sommes particulièrement veillés à s'assurer chaque appareil en fonction de son propre mérite - c.-à-d., que chaque évaluation se fondait uniquement sur les capacités de l'appareil faisant l'objet de l'examen à exécuter les missions définies - et à ce qu'il n'y ait aucune influence négative en raison de la perception d'avantages particuliers liés à d'autres appareils pour ce qui est de menaces actuelles et futures. Mentionnons d'ailleurs que les quatre appareils ont des avantages et des capacités précises qui leur ont été fort utiles dans le cadre de scénarios de mission particuliers.

En fin de compte, nous sommes persuadés que le processus d'évaluation a été mené de façon professionnelle, qu'il n'a démontré aucun préjugé favorable envers l'un des quatre appareils, et que, par conséquent, le rapport connexe soumis aux ministres et produit par l'équipe d'évaluation de l'Aviation royale canadienne est équitable, objectif et impartial à tous les égards importants. Nous sommes convaincus que les mêmes résultats auraient été obtenus si un différent groupe d'experts avait appliqué cette méthodologie à la même série d'appareils.

3. En ce qui a trait à l'intégralité

Le Panel a interprété le terme « intégralité » de deux façons. Il l'a tout d'abord interprété au sens de s'assurer d'intégrer tous les appareils pertinents proposés dans la portée de l'évaluation.

Il est bien connu que notre processus portait initialement sur cinq appareils, mais qu'après plusieurs mois, un des constructeurs - SAAB - a décidé de retirer son chasseur, en déclarant qu'il envisagerait de la présenter de nouveau advenant le lancement d'un appel d'offres officiel. Des quatre autres avions envisagés - seuls le F-18 E/F Super Hornet de Boing, le Typhoon d'Eurofighter, le Rafale de Dassault et le F-35 Lightning de Lockheed-Martin - ont été proposés par des constructeurs de l'Occidents pour remplacer la flotte de CF-18.

Le Panel a aussi interprété le terme intégralité au sens de la portée et de l'ampleur de l'évaluation comme telle. Il convient de signaler à cet égard que la méthodologie d'évaluation décrite dans le rapport de l'Aviation royale canadienne est essentielle. En bref, cette méthodologie a été conçue de manière à évaluer les chasseurs par rapport aux six champs principaux de missions énoncés dans la Stratégie de défense Le Canada d'abord et par rapport à tous les critères se rapportant à l'utilisation réussie de ces appareils dans le cadre de scénarios opérationnels bien définis pour chacune des missions. Il faut se rappeler que les évaluations servent à déterminer les facteurs risquant de nuire à l'exécution réussie de la mission plutôt que les facteurs de risque pour les pilotes ou les appareils. Il fallait essentiellement poser la question suivante pour chaque scénario : « quels facteurs risqueraient de m'empêcher d'exécuter cette mission en utilisant cet appareil dans le cadre du scénario proposé? »

À cet égard, nous sommes d'avis que le Panel a également exercé un rôle pour ce qui était de veiller à l'intégralité de la méthodologie. Nous nous sommes assurés de rendre les étapes de la conception et de la mise en œuvre aussi efficaces que possible tout au long du processus d'examen, en tenant compte de tous les facteurs pertinents qui ont été soulevés. Voilà pourquoi, lorsque des questions ont été posées dans le cadre de discussions subséquentes au sujet du travail qui avait été fait, nous sommes « revenus » au besoin à une étape précédente pour nous assurer d'établir un fondement le plus solide possible à chacune des étapes. Au sens le plus large, nous avons misé sur notre jugement collectif pour fournir des commentaires, des conseils et de l'orientation, ce à quoi l'Aviation royale canadienne a toujours réagi de manière constructive.

Nous estimons que le rapport de l'Aviation royale canadienne est complet au sens de ces deux termes, et que, par conséquent, il offre une évaluation utile, crédible et claire des risques liés à chacun des quatre appareils ayant fait l'objet de la présente évaluation des options.

4. En ce qui a trait à la clarté

À l'instar de tout exercice au cours duquel les points de vue d'experts militaires sont communiqués à un plus vaste public, il a été difficile de déterminer la question de « clarté » dans le cadre du processus d'évaluation. Les militaires sont formés à la rédaction de textes à l'intention de publics militaires. D'autant plus que les sujets abordés dans la présente évaluation sont complexes et très techniques en soi.

Fondamentalement, l'équipe d'évaluation de l'Aviation royale canadienne avait pour tâche de regrouper des centaines de pages d'analyses détaillées de manière à pourvoir évaluer avec exactitude les capacités et les risques, et de présenter les constatations connexes de façon directe aux fins de prise en compte par les cadres supérieurs et les ministres. Pour ce faire, il était essentiel de veiller à ce que la complexité et le niveau de détail ne nuisent pas à l'étude des questions de base en cause. Il était tout aussi essentiel de veiller à présenter de façon claire et équitable les résultats distincts de l'évaluation des risques liés aux opérations et aux facteurs favorables essentiels, ainsi que la manière dont ils ont été regroupés dans les résultats globaux.

Il importe de divulguer de manière appropriée chacun des éléments de risque afin de bien les comprendre. Le Panel a fourni énormément de conseils sur ces enjeux critiques et nous estimons maintenant que le rapport présente les éléments de risque et les résultats de cette évaluation complexe de façon claire, équitable et compréhensible.

Enfin, puisque l'objectif principal de l'évaluation était de jauger les risques liés aux missions, il est important de comprendre que chaque mission militaire comporte des risques. Il revient aux commandants, et en fin de compte au gouvernement du Canada, de déterminer le niveau de risque pouvant être toléré. Aucune pièce d'équipement militaire et encore moins aucun avion chasseur ne peut exécuter chaque mission parfaitement ou sans aucun risque.

Dans ce contexte et compte tenu du fait que les lecteurs devront se faire leur propre idée quant à la clarté du rapport de l'Aviation royale canadienne, nous estimons que les enjeux en cause dans la présente évaluation ont été présentés de manière à ce qu'un lecteur intéressé puisse les comprendre.

Il s'agit d'un avis sans réserve. Nous n'avons aucune réserve ou précision à ajouter.

Keith Coulter, Ph. D.

Rod Monette, Fellow de l'Ordre des comptables professionnels agréés -
Fellow de l'Ordre des comptables agréés (FCPA-FCA)