Normes et lignes directrices sur la planification, la préparation et la consignation des renseignements préalables à l'enquête

Cette section présente de façon détaillée les normes et lignes directrices de la précollecte des projets de sondages en ligne :

• L'énoncé des travaux
• Les documents du projet de recherche
• La conception du questionnaire
• L'accessibilité du sondage
• La mise à l'essai

Énoncé des travaux

La plupart des normes et des lignes directrices relatives à l'énoncé des travaux (EDT) s'appliquent à la fois aux sondages en ligne et aux sondages téléphoniques. En conséquence, la plupart proviennent du rapport du comité consultatif sur la qualité des sondages d'opinion publique par téléphone (rapport sur les sondages téléphoniques en abrégé) (La recherche sur l'opinion publique au gouvernement du Canada) à quelques différences près pour l'adapter aux particularités des sondages en ligne.

En outre, le commentaire qui provient du rapport sur les sondages téléphoniques est pertinent.

• Le comité consultatif sur la qualité des sondages d'opinion publique par téléphone (le comité) était d'accord avec le principe formulé par l'ESOMAR concernant l'utilité de l'énoncé des travaux (EDT) dans le processus d'enquête :

  Plus le client est en mesure de fournir au chercheur des renseignements pertinents sur le contexte, plus il y a de chances que le projet se déroule de manière efficace et efficiente

• L'EDT constitue également un outil interne important pour le gouvernement du Canada. Il sert :
  • de guide sur l'ensemble du processus d'enquête pour le ministère;
  • de document principal énonçant les besoins du ministère.

Normes relatives à l'énoncé des travaux

L'énoncé des travaux doit être un plan écrit offrant au fournisseur de services de recherche les renseignements décrits ci-dessous.

Contexte

• Décrire le contexte de la recherche et les événements ou les décisions expliquant pourquoi la recherche doit être menée ou est envisagée.
• Fournir de l'information ou indiquer les ressources disponibles pour aider l'entrepreneur à mieux comprendre l'objet de l'enquête (p. ex. enquêtes antérieures, sites Web).

Objet ou finalité de la recherche

• Fournir des renseignements sur la nature des décisions ou des mesures qui seront prises à la lumière des résultats récoltés, c'est-à-dire :
  1. les activités que les résultats serviront à appuyer;
  2. les modalités d'utilisation;
  3. les destinataires de cette information.
• Décrire les engagements internes ou externes pris concernant les calendriers ou les délais d'exécution qui pourraient dépendre des résultats de la recherche (p. ex. rapports à soumettre, événements prévus).

Objectifs et questions de l'enquête

• Inclure dans l'information requise les grandes questions de recherche auxquelles l'étude doit répondre. Ceci aidera au développement du questionnaire de sondage, à l'analyse des données et au plan du rapport.
• Si cela est pertinent, établir des priorités sur l'information requise dans l'éventualité où le budget est réduit ou il y a des contraintes de temps.

Population cible

• Si nécessaire et si possible, indiquer :
  • les caractéristiques démographiques, comportementales et les attitudes de la population cible du sondage;
  • si les non-utilisateurs de l'Internet font ou ne font pas partie de la population cible;
  • les renseignements ou estimations disponibles sur la taille ou l'incidence de ces groupes.

Méthode de collecte des données

• S'il y a lieu, recueillir des commentaires sur toute autre démarche de collecte des données.

Produits livrables

• Indiquer les étapes clés du projet, accompagnées des délais prévus.
• À tout le moins, indiquer toutes les exigences relatives à la préparation des rapports définies par la Direction de la recherche sur l'opinion publique.

Hypothèses relatives à la taille de l'échantillon

• Fournir des renseignements sur au moins un des indicateurs ci-dessous pour aider le fournisseur à formuler des hypothèses plausibles sur la taille de l'échantillon aux fins d'établissement des coûts :
  • taille requise de l'échantillon;
  • degré de précision souhaité;
  • budget de l'enquête.

Lignes directrices relatives à l'énoncé des travaux

L'EDT peut également comprendre d'autres renseignements utiles, notamment ceux qui sont décrits ci-dessous :

Considérations relatives à l'échantillon

• Fournir tout renseignement pertinent concernant la base de sondage (p. ex. disponibilité des listes).
• Indiquer la méthode d'échantillonnage, c.-à-d. probabiliste, non probabiliste ou tentative de recensement.
• Définir toute exigence devant être prise en considération dans l'établissement de la taille et de la structure ou composition définitive de l'échantillon total (p. ex. particularités régionales, groupes démographiques, segments de population [personnes familiarisées et non familiarisées avec une question, utilisateurs et non-utilisateurs, etc.]).

Analyse des données

• Indiquer toute exigence en matière d'analyses spéciales (p. ex. segmentation).

Documents du projet de recherche

Plusieurs normes relatives aux documents du projet de recherche que l'on retrouve dans le rapport sur les sondages téléphoniques s'appliquent également aux sondages en ligne bien qu'il ait été nécessaire d'apporter certaines modifications précises.

En ce qui a trait au contexte général des documents du projet de recherche, le commentaire suivant provenant du rapport sur les sondages téléphoniques est pertinent.

• On doit établir une distinction claire entre l'EDT et le projet de recherche :
  • l'EDT décrit l'information que souhaite obtenir le gouvernement du Canada, auprès de qui et à quel moment;
  • le projet de recherche correspond à ce que doit faire l'entreprise de recherche pour satisfaire au besoin du gouvernement du Canada et aux moyens qu'elle prendra pour ce faire.

Par conséquent, les renseignements fournis par les entreprises dans les documents du projet de recherche doivent être beaucoup plus détaillés que ceux que doit prévoir le gouvernement du Canada dans son EDT.

• On doit trouver un juste équilibre entre la nécessité de satisfaire à toutes les exigences du gouvernement en matière d'information à la suite de la publication d'un EDT et la nécessité de veiller à ce que toutes les questions relatives à la qualité des données soient abordées sans rajouter inutilement au fardeau de l'entreprise de recherche ni à celui du gouvernement du Canada.
• On doit assurer une certaine cohérence dans la présentation des documents du projet de recherche afin de pouvoir vérifier ou confirmer plus facilement si chaque entreprise de recherche avait fourni toutes les catégories de renseignements demandées, suivant le degré de détail exigé, dans son projet de recherche.

Les documents du projet de recherche doivent aussi tenir compte des différentes façons dont le gouvernement fédéral peut offrir des contrats de recherche sur l'opinion publique. Certains contrats relatifs aux sondages en ligne seront émis à des entreprises par appel d'offres alors que d'autres firmes pourront obtenir un contrat par le biais d'un concours sur MERX ou d'un marché à fournisseur unique (p. ex. : étude multi-intérêts, sondages omnibus). Pour obtenir une offre permanente, les entreprises doivent participer à un processus d'appel d'offres compétitif et rigoureux. Les entreprises sélectionnées selon ce processus auront déjà adhéré à certaines pratiques qui sont aussi des éléments requis dans la proposition. Par exemple, il peut y avoir des procédures de contrôle de la qualité requises dans la documentation d'une proposition lors de l'appel d'offres qui ont déjà adoptées comme lignes directrices par les firmes. Dans de tels cas, on suggère que les entreprises de recherche ne soient pas tenues de les décrire de nouveau dans chaque proposition qu'elles présentent.

L'approche utilisée dans le rapport sur les sondages téléphoniques est reprise pour ce document, c'est-à-dire qu'un astérisque a été placé à côté des éléments qui peuvent avoir été traités par les entreprises dans leur présentation d'appel d'offres et qu'elles n'auront pas à aborder de nouveau dans chacune des propositions qu'elles feront pour répondre à un appel. Les entreprises qui font partie d'une offre permanente ne devront répondre qu'aux éléments non marqués par un astérisque.

Les entreprises qui seront choisies pour des contrats de sondage en ligne qui ne font pas partie d'une offre permanente devront répondre à tous les éléments requis dans leur proposition.

Normes relatives aux documents du projet de recherche

Le projet de recherche doit être présenté par écrit et indiquer à tout le moins les renseignements suivants, sous les rubriques indiquées. L'astérisque (*) sert à indiquer les renseignements exigés seulement pour les projets de recherche des entreprises qui ne détiennent pas d'offre à commandes quantitative auprès de TPSGC.

A : Introduction

Objet

• Décrire le problème ou la question à examiner, du point de vue de l'entreprise, et de l'usage que le gouvernement du Canada fera de l'information.

Objectifs de recherche

• Présenter en détail les besoins en matière d'information ou les questions auxquelles la recherche permettra de répondre.

B : Caractéristiques techniques de la recherche

Aperçu

• Énoncer de façon sommaire :
  • la méthode de collecte des données, y compris le fondement de la méthode proposée;
  • la taille de l'échantillon total;
  • la population cible.

Échantillon et échantillonnage

• Fournir des renseignements détaillés sur la population cible :
  • description de la population cible, soit ses caractéristiques particulières et son étendue géographique, y compris l'incidence supposée de la population et de tout sous-groupe principal;
  • si oui ou non les non-utilisateurs d'Internet font partie de l'échantillon;
  • la taille de l'échantillon total et la taille de tout sous-groupe principal.
• Décrire la base de sondage :
  • la source de l'échantillon;
  • la méthode d'échantillonnage; incluant la méthode utilisée, c'est-à-dire probabiliste, non probabiliste ou tentative de recensement;
  • toute limite d'échantillonnage connue et ses répercussions éventuelles sur les résultats.
• Expliquer les procédures de sélection des répondants.
• Indiquer le nombre d'appels de relance et décrire la procédure utilisée.
• Définir les critères d'admissibilité ou de présélection des répondants, y compris tout contrôle des quotas.
• En ce qui concerne les échantillons non probabilistes :
  • fournir la justification du choix d'un échantillon non probabiliste;
  • décrire les étapes qui seront prises pour maximiser la représentativité de l'échantillon non probabiliste.

Taux de réponse et taux d'erreur

• Indiquer le taux de réponse prévu pour l'échantillon total et les sous-groupes principaux, s'il y a lieu.
• En ce qui a trait aux échantillons probabilistes, indiquer le niveau de précision, y compris la marge d'erreur et l'intervalle de confiance pour l'échantillon total et tout sous-groupe principal.
• Pour les échantillons non probabilistes, indiquer si les biais dus aux non-réponses ont été planifiés. Si c'est le cas, la nature générale des analyses devrait être décrite. Si les biais n'ont pas été planifiés, il faut en indiquer la justification.
• Indiquer toute autre source d'erreur possible attribuable à la conception de l'étude et pouvant influer sur l'exactitude des données.

Description de la méthode de collecte des données

• Indiquer la méthode de collecte des données.
  *Dans le cas des panels élargis, il faut au moins fournir la description des éléments suivants :
  • taille du panel;
  • recrutement des membres du panel;
  • gestion de projet;
  • supervision du panel;
  • gestion de la composition du panel;
  • protection des renseignements personnels et des données.
  Remarque : lorsqu'on utilise des panels multiples pour la réalisation d'un sondage et des normes, cette information doit être divulguée ainsi que les normes qui sont suivies pour l'utilisation d'un panel multiple.
• Fournir des détails sur les incitatifs/honoraires incluant une justification.
• Indiquer les moyens qui seront utilisés pour satisfaire aux exigences linguistiques.
• *Décrire la procédure de contrôle de qualité utilisée pour la collecte des données, y compris, à tout le moins, les éléments suivants :
  • détecter et tenir compte de la suffisance; comme ligne directrice, il est recommandé de fournir l'impact du coût sur toute mesure prise pour déceler et composer avec la suffisance telle que décrite;
  • les méthodes et la procédure de validation du travail sur le terrain.
• *Indiquer les mesures envisagées pour protéger :
  • les droits des répondants, y compris ceux des enfants, des adolescents et des personnes vulnérables;
  • l'anonymat et la confidentialité des répondants.
• Décrire les dispositions relatives à l'accessibilité dans la conception de la recherche afin de favoriser la participation des répondants ayant une déficience physique ou visuelle et qui utilisent une technologie adaptée en ligne.
• Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.

Conception du questionnaire

• Fournir un plan du questionnaire de sondage ou énumérer les thèmes qui y seront abordés, y compris le nombre de questions ouvertes.
• Indiquer la longueur approximative du questionnaire. S'il est prévu qu'il faille plus de 20 minutes pour répondre au sondage, indiquer la justification du temps requis.
• Décrire la méthode de mise à l'essai du questionnaire, y compris :
  • les objectifs de la mise à l'essai;
  • la méthode de mise à l'essai;
  • le nombre total d'entrevues qui seront menées pour l'échantillon total et chaque sous-groupe principal (p. ex. selon la langue, l'âge ou le sexe);
  • la méthode utilisée pour communiquer les résultats de la mise à l'essai au gouvernement du Canada.

  Note : indiquer les raisons si :

  • aucune mise à l'essai n'est prévue
  • moins ou plus de 30 questionnaires de mise à l'essai doivent être complétés.

Méthode de gestion et de traitement des données

• Décrire la pondération qui sera effectuée s'il y lieu.
• * Décrire la procédure de contrôle de la qualité qui sera utilisée concernant la gestion et le traitement des données, y compris, à tout le moins, les éléments suivants :
  • le codage et la formation au codage;
  • l'édition des données;
  • la mise en tableaux des données;
  • la préparation des fichiers et la livraison des données par voie électronique.

Analyse des données et communication des résultats

• Décrire la méthode qui sera utilisée pour l'analyse des données compte tenu des objectifs et des questions de la recherche, y compris les analyses spéciales s'il y a lieu (p. ex. segmentation).
• Fournir un plan des différentes sections du rapport.

Produits livrables

• Énumérer tous les produits livrables en précisant leur champ d'application, leur portée, leur présentation, leur mode de livraison et le nombre d'exemplaires, y compris, à tout le moins, les éléments suivants :
  • le ou les questionnaire(s), y compris les questionnaires de mise à l'essai s'il y a lieu;
  • les mises en tableaux et le traitement des données;
  • la présentation du rapport, y compris le nombre d'exemplaires et la langue de présentation;
  • la nature des produits livrables et l'endroit et le nombre de fois où ils seront présentés, y compris la langue.

Calendrier des travaux

• Fournir un plan de travail détaillé assorti de dates et définir les responsabilités.

C : Coût du projet

Coût du projet

• Les renseignements relatifs aux coûts doivent être présentés en conformité avec le modèle indiqué par TPSGC.

Conception du questionnaire

Le point de départ pour les discussions du comité a été la section du rapport sur les sondages téléphoniques qui traitent de la Conception du questionnaire ainsi que les normes et les lignes directrices qui ont été élaborées pour les sondages téléphoniques. On a demandé aux membres du comité d'étudier :

• s'il était nécessaire d'apporter des modifications aux normes et aux lignes directrices générales pour les sondages en ligne;
• la pertinence d'une norme relative à la longueur du questionnaire (a) pour les sondages en ligne par opposition aux sondages téléphoniques, et (b) à la lumière des nouvelles lignes directrices sur la longueur des questionnaires émises par l'Association de la recherche et de l'intelligence marketing (ARIM) dans son Code of Conduct and Good Practice, publié en décembre 2007;
• le besoin d'une norme relative à l'approbation pour les sondages en ligne.

Les membres du comité consultatif ont convenu, à l'exception de la ligne directrice sur la longueur du sondage, que les normes et les lignes directrices relatives à la conception du questionnaire pour les sondages téléphoniques s'appliquent également aux sondages en ligne, le principe général étant que seules des normes et des lignes directrices globales sont requises.

En ce qui a trait à la longueur du sondage, le comité a appuyé le maintien de la période de 20 minutes comme durée « raisonnable » des sondages en ligne, mais il a suggéré d'ajouter quelques mots pour indiquer que des sondages en ligne plus courts sont préférables. Quelques membres du comité ont suggéré de faire référence à la possibilité de concevoir des sondages plus longs tout en soulignant qu'il doit être compris qu'il s'agit plutôt d'une exception que d'une règle.

L'idée d'ajouter une norme relative à l'approbation des sondages en ligne a fait consensus au sein du comité. Cette norme aurait pour but de rappeler aux acheteurs de recherches du GC l'importance d'approuver le texte et le contenu du sondage et son apparence et sa fonctionnalité en ligne.

Les membres du comité se sont mis d'accord sur les normes et les lignes directrices suivantes en ce qui a trait à la conception du questionnaire.

Normes relatives à la conception du questionnaire

• Les questionnaires d'enquête doivent être conçus pour :
  1. permettre de ne recueillir que l'information essentielle à l'atteinte des objectifs de l'étude; et
  2. réduire au minimum le fardeau imposé aux répondants tout en optimisant la qualité des données.
• Tous les questionnaires utilisés pour les sondages téléphoniques du gouvernement du Canada doivent comporter les éléments nécessaires pour :
  1. informer les répondants (i) de l'objet et du but de l'étude (ii) de la durée prévue de l'entrevue;
  2. nommer l'entreprise de recherche et le client, soit le gouvernement du Canada ou encore le ministère ou organisme qui a commandé la recherche;
  3. indiquer aux répondants que leur participation à l'étude est volontaire et que l'information recueillie sera traitée en conformité avec les exigences de la Loi sur la protection des renseignements personnels;
  4. informer brièvement les répondants de leurs droits en vertu de la Loi sur l'accès à l'information et surtout de leur droit d'obtenir une copie du rapport et de leurs réponses.
• Les entreprises doivent traduire le questionnaire dans l'autre langue officielle (à moins que les entrevues ne doivent se dérouler que dans une seule langue) et, s'il y a lieu, dans d'autres langues. Toutes les traductions doivent être fournies par écrit.
• L'approbation du gouvernement du Canada des questionnaires de sondage en ligne doit inclure l'approbation de l'apparence et de la fonctionnalité du questionnaire dans son format électronique c'est-à-dire de la façon dont le questionnaire serait complété par les répondants.

Lignes directrices relatives à la conception du questionnaire

Voici les stratégies pouvant être adoptées pour respecter les normes :

• Le questionnaire a une durée raisonnable, c'est-à-dire 20 minutes ou moins. On préférera les sondages courts plutôt que les longs.

  Les sondages plus longs pourraient être acceptables dans certaines circonstances précises, dépendamment de certains facteurs comme le groupe cible, la possibilité que les répondants ne complètent qu'une partie du questionnaire ou lorsque la permission doit être obtenue à l'avance. Cependant, le risque engendré par la longueur excessive des questionnaires est d'entraîner un nombre important d'abandon ou de non-réponse, ce qui peut affecter la qualité des données de façon négative.

  Le projet de recherche devrait inclure une discussion de la justification de la longueur du sondage quand elle dépasse 20 minutes.

• La présentation du sondage et la phase de présélection des répondants sont bien conçus et durent le moins longtemps possible de sorte qu'il y ait plus de chances que les gens acceptent de participer.
• Les questions sont formulées clairement et dans un langage adapté au groupe cible.
• On adopte des méthodes permettant de réduire le nombre d'items sans réponse (p. ex. choix de réponses adapté à la question formulée et catégories « Autres », « Ne sais pas » et « Refus » prévues au besoin).
• Le questionnaire est conçu de manière à assurer une transition claire et en douceur d'une question ou d'un sujet à l'autre.

Accessibilité au sondage

Le Secrétariat du Conseil du Trésor du Canada a publié des normes relatives à l'accessibilité pour les sites Web du gouvernement du Canada et celles-ci auront un impact sur les sondages en lignes inclus dans les sites Web du GC. Selon la façon dont le mandat et la portée des normes sont interprétés, ils peuvent également avoir un impact sur les sondages inclus dans les sites Web de tierces parties et possiblement sur les sondages en ligne multi-intérêts achetés par le GC.

L'accessibilité est une question très importante pour les sondages en ligne du GC. Toutefois, le comité consultatif n'incluait pas de représentants des groupes qui au sein du secrétariat du Conseil du Trésor du Canada sont responsables du respect des normes relatives à l'accessibilité du GC. Le comité n'avait pas non plus accès à des avis juridiques concernant les exigences pour l'accessibilité. En conséquence, le comité consultatif ne croyait pas qu'il pouvait interpréter de façon unilatérale la façon d'appliquer les normes sur la normalisation des sites Internet aux sondages inclus dans les sites du GC ou d'une tierce partie.

Le comité consultatif a accepté de faire les recommandations suivantes à la Direction de la recherche sur l'opinion publique (DROP) et il a aussi accepté d'ajouter une norme concernant les documents du projet de recherche (description de la collecte des données) pour exiger que les propositions de sondages en ligne répondent à toute question concernant l'accessibilité aux sondages.

Recommandations

• Recommandation à la DROP au sujet de la clarification : Le comité consultatif recommande que la DROP explore avec les programmes pertinents et les autorités légales du secrétariat du Conseil du Trésor du Canada les pratiques exemplaires relatives aux sondages en ligne et les pratiques minimales acceptables.
• Recommandation au sujet des exigences pour les offres permanentes : le comité consultatif recommande qu'en ce qui concerne les prochaines offres permanentes que les soumissionnaires qui désirent offrir des services de sondage en ligne incluent dans leur proposition la façon dont ils vont travailler avec les répondants atteints d'un handicap visuel ou physique et ceux qui peuvent utiliser des technologies adaptatives en ligne. Les soumissionnaires doivent démontrer de quelle façon ces individus peuvent être inclus dans la recherche.

En ce qui concerne ces recommandations, certains membres du comité ont fait deux commentaires :

• certaines dispositions devraient être rédigées concernant la consultation de l'industrie de la recherche pour mieux comprendre le genre de logiciels utilisés couramment par les tierces parties (et dans lesquels certaines compagnies ont investi des sommes importantes) avant de fixer les exigences minimales;
• lorsque les normes minimales acceptables auront été établies, il faudra que la DROP mette en œuvre un plan pour communiquer ces normes aux fournisseurs potentiels de sondage en ligne.

Mise à l'essai

L'idée d'adopter les normes et les lignes directrices relatives à la mise à l'essai qui avaient été recommandées pour les sondages téléphoniques, avec les modifications suivantes, a fait consensus au sein du comité :

• en ce qui concerne le rôle de la mise à l'essai pour les questionnaires des sondages en ligne, on a ajouté du texte pour refléter qu'il existe plusieurs aspects d'un sondage en ligne qui doivent être pris en considération lors d'une mise à l'essai, incluant à la fois le contenu et l'apparence/fonctionnalité du questionnaire;

• en ce qui a trait au nombre minimum de questionnaires qui doivent être complétés lors de la mise à l'essai, le comité appuyait généralement l'idée de mentionner un nombre précis de questionnaires à compléter pour la mise à l'essai. Cependant, des discussions ont eu lieu sur le nombre minimal pertinent, plus particulièrement dans les cas où l'échantillon est limité ou lorsque des modifications importantes doivent être effectuées au sondage. Du texte a été ajouté aux normes ci-dessous pour indiquer un nombre cible minimal pour la mise à l'essai qui démontre que d'autres nombres de mise à l'essai pourraient être justifiables.

  Les membres du comité ont également discuté de la valeur potentielle d'adopter une approche par étapes lorsqu'on effectue une mise à l'essai de questionnaires en ligne, c'est-à-dire commencer par compléter un sous-ensemble de mises à l'essai, modifier ensuite le questionnaire de façon appropriée en se basant sur les résultats préliminaires, compléter ensuite un autre sous-ensemble de mises à l'essai en utilisant le questionnaire modifié. La mention d'un nombre cible minimal n'empêche pas le recours à un processus de mise à l'essai par étapes. La seule exigence est que le nombre total cible de questionnaires de mise à l'essai soit complété.

• en ce qui concerne les documents de mise à l'essai, les membres du comité étaient d'avis que le sommaire de la mise à l'essai doit inclure les documents sur les aspects précis de la mise à l'essai (c.-à-d. les observations comme les données factuelles). Des exigences particulières par rapport à la présentation de rapports ont été ajoutées aux normes qui suivent.

Normes relatives à la mise à l'essai

• La mise à l'essai sur le terrain de tous les éléments d'un questionnaire d'enquête en ligne qui sont nouveaux ou qui ont été modifiées de façon importante et qui sont susceptibles de se répercuter sur la qualité des données, est nécessaire.

  Dans le cas des sondages en ligne, cela inclut à la fois le contenu/texte du questionnaire et son apparence/fonctionnalité.
  • Les questionnaires utilisés dans le cadre des enquêtes permanentes ou longitudinales doivent faire l'objet d'un examen périodique.
• Au cours de la mise à l'essai, un total d'au moins trente entrevues doivent être menées, soit quinze en français et quinze en anglais. Lorsque moins ou plus de 30 questionnaires de mise à l'essai doivent être remplis, cela doit être justifié dans le projet de recherche.
• Les résultats de la ou des mises à l'essai doivent être consignés par écrit, c'est-à-dire qu'il faut présenter à tout le moins les éléments suivants :
  • une description de la démarche de mise à l'essai suivie et du nombre d'entrevues menées;
  • un résumé des résultats incluant :
    • un aperçu de la façon dont les répondants réagiront au questionnaire
    • nombre et description des abandons
    • temps requis pour remplir le questionnaire
    • réponses à toute question spéciale de la mise à l'essai (c.-à-d. commentaires des répondants sur le questionnaire/leur expérience)
  • un résumé des résultats, y compris un compte rendu des décisions prises ou des changements effectués à la lumière des conclusions de la mise à l'essai.
• En ce qui a trait aux études multi-intérêts en ligne, les entreprises de recherche sont tenues : (a) de démontrer que le questionnaire d'enquête a fait l'objet d'une mise à l'essai; et (b) d'indiquer la démarche de mise à l'essai empruntée et du nombre d'entrevues effectuées.

Lignes directrices relatives à la mise à l'essai

• Dans le cas des enquêtes complexes exerçant une influence indubitable ou de celles que l'on prévoit mener sous forme d'enquêtes permanentes ou longitudinales, il pourrait s'avérer souhaitable de soumettre d'autres éléments de l'étude, et non seulement le questionnaire d'enquête même, à une mise à l'essai plus exhaustive. Il peut s'agir d'essais pilotes reproduisant, à petite échelle, la conception de l'enquête finale y compris diverses étapes telles que la saisie des données ou l'analyse des résultats, etc.
• S'il s'avère nécessaire de mettre à l'essai le questionnaire en fonction de critères autres que la langue, au moins quatre entrevues de mise à l'essai devraient être effectuées dans chacun des sous-groupes.
• Les données relatives aux entrevues de mise à l'essai ne devraient pas être incluses dans l'ensemble de données finales, à moins : (a) qu'il n'y ait pas de changements au questionnaire, et (b) que la mise à l'essai soit implantée exactement de la même manière que la conception finale du questionnaire.
• Les mises à l'essai cognitives (en utilisant des méthodes qualitatives) sont considérées avant les mises à l'essai sur le terrain pour les nouveaux questionnaires de sondage ou lorsqu'il y a des révisions au libellé ou au contenu du questionnaire existant, et particulièrement pour les sondages complexes, les sondages ayant beaucoup d'impact, les sondages conçus pour être menés régulièrement ou qui sont longitudinaux. Les utilisations les plus courantes des mises à l'essai cognitives sont :
  • donner un aperçu de la façon dont les répondants réagiront au questionnaire :
    • leur compréhension du libellé des questions et l'enchaînement de ces dernières;
    • leur capacité de répondre correctement aux questions;
    • leur processus de réflexion des répondants à mesure qu'ils répondent aux questions.
  • définir les répercussions des modifications apportées à un questionnaire (p. ex. enquête de suivi).
• Dans la mesure du possible, et si le temps et le budget le permettent, les questions des enquêtes omnibus devraient à tout le moins faire l'objet d'une mise à l'essai sur le terrain. Lorsqu'on effectue une mise à l'essai, les renseignements s'y rapportant devraient être consignés par écrit, y compris le nombre d'entrevues de mise à l'essai menées.

Navigation pour Document « Comité consultatif sur la qualité des sondages en ligne sur l'opinion publique - Final le 4 juin 2008 »