Comité consultatif sur la qualité des sondages d'opinion publique par téléphone

• Page précédente
• Table des matières
• Page suivante

Introduction

Contexte et objet

La recherche sur l'opinion publique sert à des fins variées, notamment pour l'élaboration de politiques, la réalisation de projets de marketing, de communication ou de publicité, l'évaluation des programmes, la mesure de la satisfaction des clients ou le développement de produits. On observe une tendance à la hausse de la valeur totale des études menées dans le cadre de marchés coordonnés par TPSGC depuis une vingtaine d'années, la valeur maximale enregistrée ayant été de 29 millions de dollars pour l'exercice 2004-2005.

TPSGC joue un double rôle dans la conduite de la recherche sur l'opinion publique, puisqu'il agit à la fois à titre de responsable technique et d'autorité de coordination d'une part et d'autorité contractante d'autre part. C'est la Direction de la recherche sur l'opinion publique (DROP) de TPSGC qui assume le rôle de responsable technique et d'autorité de coordination. La DROP fournit un appui aux ministères et organismes clients en leur prodiguant aide et conseils notamment sur les approches qualitatives et quantitatives de recherche et les normes en vigueur dans l'industrie des études de marché. Elle joue également un rôle de premier plan dans l'élaboration des mandats en vue de l'établissement d'outils de passation de marchés, par exemple d'offres à commandes, afin de faciliter l'achat de services de recherche par les ministères et organismes fédéraux. C'est que, en vertu du cadre stratégique actuel du gouvernement du Canada, chaque ministère ou organisme est responsable de la gestion et de la qualité des études qu'il commande.

Au cours des dernières années, la DROP et un certain nombre de ministères ont soulevé diverses préoccupations concernant la qualité des sondages. En effet, ni l'administration fédérale ni l'industrie de la recherche en général ne disposent d'un ensemble normalisé et précis d'indicateurs de la qualité des données ou encore de normes ou de critères généralement admis permettant de juger de la qualité des données recueillies dans le cadre des sondages d'opinion publique. Chaque sondeur ou entreprise de sondage semble plutôt faire appel à ses propres critères et à son propre jugement. Par conséquent, il n'existe aucune norme ni aucun critère permettant d'assurer l'adoption d'une démarche commune d'évaluation de la qualité des données et d'établissement de rapports d'indicateurs sur la qualité des données dans les résultats des sondages commandés par le gouvernement du Canada.

Malgré l'absence de normes et de critères généralement admis, il existe déjà un vaste bassin de connaissances sur les éléments liés à la qualité des sondages tant au sein qu'à l'extérieur du gouvernement. Le gouvernement pourrait puiser dans ces connaissances et ce savoir faire pour mieux comprendre l'état actuel du savoir et de la pratique relativement aux indicateurs, aux critères et à la consignation des renseignements touchant à la qualité des sondages. Parmi les questions qui préoccupent le plus le milieu de la recherche sur l'opinion publique, citons le recul des taux de réponse aux sondages téléphoniques, qui constituent les méthodes de collecte de données quantitatives sur l'opinion publique les plus couramment utilisées par les ministères et organismes fédéraux.

Essentiellement, la présente initiative vise à fournit à la DROP conseils et orientation sur les normes et les critères de qualité qui devraient être appliqués dans le cadre des sondages téléphoniques d'opinion publique effectués pour le compte du gouvernement du Canada. Les objectifs de TPSGC sont les suivants :

• employer les connaissances actuelles pour améliorer les exigences relatives à la qualité des données des sondages téléphoniques d'opinion publique du gouvernement du Canada qui seront intégrées dans la prochaine vague d'outils contractuels prévue en 2007;
• fournir aux ministères et aux organismes qui commandent des sondages d'opinion publique des exigences contractuelles normalisées que chacun pourra intégrer, s'il le souhaite, dans les exigences des marchés qu'il conclut avec des fournisseurs de services de recherche sur l'opinion publique.

Afin de répondre aux besoins de TPSGC, on a convenu de mettre sur pied un comité consultatif technique. Les objectifs du comité étaient les suivants :

• examiner les normes et les critères en vigueur à l'échelle canadienne et internationale, ainsi que les pratiques de consignation des données sur la qualité des sondages téléphoniques, particulièrement en ce qui a trait aux taux de réponse et à la couverture de la population;
• examiner le contexte dans lequel le gouvernement du Canada entreprend des recherches sur l'opinion publique; – formuler des conseils sur les normes de qualité des sondages téléphoniques d'opinion publique que devrait adopter le gouvernement du Canada;
• formuler des conseils sur les critères particuliers de qualité à utiliser pour les sondages téléphoniques d'opinion publique effectués par les fournisseurs du secteur privé pour le compte du gouvernement du Canada. Ces critères pourraient être intégrés dans les outils contractuels sur la recherche sur l'opinion publique qui seront renouvelés en 2007.

Le comité devait également tenter d'établir des consensus dans la mesure du possible, mais là n'était pas son mandat premier.

Méthode

Le comité était formé de huit membres représentant le gouvernement du Canada, l'industrie des études de marché et le milieu universitaire. Il était présidé par un représentant de TPSGC.

Industrie des études de marché

Don Ambrose
Association de la recherche et de l'intelligence marketing
(ARIM)Président, Consumer Contact

Barry Watson
Président désigné
Association de la recherche et de l'intelligence marketing (ARIM)
Président, Environics Research Group Limited

Milieu universitaire

Scott Bennett
Faculty of Public Affairs
Carleton University

André Blais
Département de science politique
Université de Montréal

Gouvernement du Canada

Karen Blain
Conseillère principale, Recherche sur l'opinion publique
Direction générale des affaires publiques et des services ministériels
Ressources humaines et Développement social Canada

William Blois
Coordonnateur principal de la recherche sur l'opinion publiqueCommunications stratégiques, planification et évaluation
Environnement Canada

Amanda Hayne Farrell
Conseillère principale en recherches sur l'opinion publique
Division de la recherche sur l'opinion publique et évaluation
Santé Canada

Jacqueline (Jackey) Mayda
Directrice adjointe, Enquêtes sur les enfants
Division des enquêtes spéciales
Statistique Canada

La Sage Research Corporation a agi à titre de facilitateur et rédigé le rapport sur les travaux du comité. Celui ci s'est réuni deux fois et a participé à une série de quatre séances de consultation en direct sur babillard électronique. On a également consulté par téléphone et par courriel les membres du comité au besoin.

Le comité a examiné les normes et les lignes directrices des organisations énumérées ci dessous.

• Travaux publics et Services gouvernementaux Canada (TPSGC) : Demande d'offres à commandes/d'arrangement en matière d'approvisionnement (DOC/DAA)
• Statistique Canada : Lignes directrices concernant la qualité (octobre 2003)
• Association de la recherche et de l'intelligence marketing (ARIM) : Standards and Rules of Practice for Corporate Members of the Marketing Research and Intelligence Association (MRIA)
• Association de la recherche et de l'intelligence marketing (ARIM) : Response Rate Calculation Formula
• Phoenix Strategic Perspectives, Inc. : Research, Analysis & Recommendations Concerning Response Rates in Public Opinion Research (septembre 2004)
• Phoenix Strategic Perspectives, Inc. : Best Practices: Improving Respondent Cooperation for Telephone Surveys (septembre 2006)
• Office of Management and Budget (OMB), gouvernement des États Unis : Proposed Standards and Guidelines for Statistical Surveys
• Office of Management and Budget (OMB), gouvernement des États Unis : Questions and Answers when Designing Surveys for Information Collections (parties sur le taux de réponse)
• Bureau of Labour Statistics des États Unis et University of Michigan : Telephone Survey Methods: Adapting to Change (actes de la conférence de l'American Association for Public Opinion Research [AAPOR])
• Organisation internationale de normalisation (ISO) : International Standards 20252, Market Opinion and Social Research – Vocabulary and Service Requirements (avril 2006)
• Association européenne pour les études d'opinion et de marketing (ESOMAR) : How to Commission Research.

Le comité a mené ses travaux du 25 août 2006 au 15 janvier 2007.

Aperçu des normes et lignes directrices élaborées

Le présent rapport reprend les recommandations formulées par le comité, énoncées sous forme de normes et de lignes directrices.

Normes

Pratiques qui devraient être exigées pour toutes les enquêtes téléphoniques menées par le gouvernement du Canada

Lignes directrices

Pratiques recommandées et non exigées, c'est à dire critères ou règles de pratique reconnus à prendre en considération pour vérifier la qualité des sondages sans néanmoins être appliqués systématiquement dans tous les cas

Même si cela ne faisait pas partie de son mandat officiel, le comité a tenté d'établir des consensus sur la plupart des questions touchant aux normes et aux lignes directrices relatives à la qualité des données. De plus, dans certains cas, le comité a recommandé l'établissement de normes et de lignes directrices plus rigoureuses que celles qu'ont établies les autres organisations compétentes.

C'est le cas notamment pour les normes et les lignes directrices recommandées pour :

• les documents de projet de recherche;
• le taux de couverture;
• le taux de réponse;
• la consignation des renseignements sur l'enquête.

Les normes et les lignes directrices sont présentées en cinq grandes sections.

1. Planification, préparation et consignation des renseignements préalables à l'enquête
2. Échantillonnage et collecte des données
3. Taux de réponse
4. Gestion et traitement des données
5. Analyse des données, communication des résultats et consignation des renseignements sur l'enquête

• Page précédente
• Table des matières
• Page suivante