Normes et lignes directrices sur l'analyse des données, la communication des résultats et la consignation des renseignements sur l'enquête

Le rapport sur les sondages téléphoniques traitait des normes et des lignes directrices relatives aux points suivants :

On a demandé aux membres du comité consultatif sur les sondages en ligne de ne commenter que certaines des normes et des lignes directrices de cette section du rapport sur les sondages téléphoniques en se fondant sur le fait que la plupart des aspects traités conviennent à la fois aux sondages téléphoniques et aux sondages en ligne.

On a demandé aux membres du comité d'examiner les questions suivantes :

  • l'analyse des données/présentation de rapports : inférences et comparaisons;
  • la conservation de la documentation sur les données techniques;
  • la sécurité des données;
  • les renseignements sur l'enquête relatifs à :
    • l'inclusion des détails sur la façon dont on a satisfait aux besoins d'accessibilité au sondage;
    • l'inclusion de la version texte et facsimilée de l'instrument (des instruments) de sondage en ligne.

Analyse des données et communication des résultats

Plan d'analyse des données
(source : rapport sur les sondages téléphoniques)

On a demandé aux membres du comité consultatif sur les sondages téléphoniques si ce qui suit devrait constituer une norme ou une ligne directrice :

Toute modification au plan d'analyse des données survenant durant l'analyse des données, devrait être présentée au chargé de projet pour examen.

Il n'y a pas eu d'accord à ce propos, plusieurs membres du comité consultatif sur les sondages téléphoniques ont préféré que cela devienne une norme, un membre était d'avis que cela devrait être une ligne directrice et les autres n'avaient aucun penchant marqué envers l'une ou l'autre des alternatives.

Vérification de l'analyse des données
(source : rapport sur les sondages téléphoniques)

Normes relatives à la vérification de l'analyse des données

Dossiers d'analyse

  • Le fournisseur de services de recherche doit inscrire rigoureusement au dossier une description du processus d'analyse suivi pour s'assurer que toute analyse entreprise pourra être répétée ultérieurement.

Vérification de l'analyse des données

  • Le fournisseur de services de recherche doit mettre en place des procédures pour s'assurer que les mises en tableaux et les autres résultats ont été vérifiés.
  • À tout le moins, on doit vérifier :
    • l'exhaustivité des données, c'est-à-dire vérifier si tous les tableaux spécifiés sont bien là, y compris les résultats de tous les tests de signification signalés;
    • si les abréviations utilisées dans les bannières et les réponses aux questions ouvertes reflètent bien l'ensemble du contenu;
    • si le niveau de référence pour chaque tableau est correct par rapport aux autres tableaux ou au nombre de fréquences;
    • si les interruptions/points de bannières standards sont comparés aux questions de départ;
    • si tous les éléments d'information dérivés sont comparés à leur source;
    • si les chiffres relatifs aux sous-groupes et aux résultats nets sont corrects;
    • s'il n'y a pas de tableau vide (c.-à-d. ne contenant aucune donnée);
    • la pondération (p. ex. tableaux explicatifs);
    • le nombre de d'occurrences avant de créer les tableaux, afin d'assurer la justesse des données et de déterminer la taille de la base pour les sous-groupes;
    • l'orthographe et la lisibilité;
    • si toute analyse statistique utilisée est pertinente et correcte, tant en ce qui a trait aux descriptions qu'aux inférences.
  • Pour tout résultat subséquent, les vérifications pertinentes devraient être effectuées.
Haut de la page

Livraison de tableaux de données
(source : rapport sur les sondages téléphoniques)

Normes relatives à la livraison de tableaux de données

Livraison de tableaux de données autonomes en version électronique ou en version papier

  • Lorsque les données sont communiquées au client, par exemple, au moyen de tableaux de données autonomes en version électronique ou en version papier, les éléments suivants doivent être pris en considération, au besoin :
    • la référence à la question à laquelle les données sont liées;
    • l'inclusion d'une description de toute méthode de pondération appliquée aux données;
    • une définition claire de tout sous-groupe utilisé;
    • la disponibilité des bases pour chaque question, afin que l'on puisse déterminer le nombre de répondants ayant réellement répondu à la question;
    • le nombre ou la proportion de répondants ayant répondu « Ne sais pas » ou « Pas de réponse »;
    • la disponibilité de bases pondérées ou non pondérées;
    • une définition et une explication claires et complètes de toutes les variables utilisées dans le cadre de l'analyse des données, y compris tout test de la valeur significative/statistique ou dénombrement, toute indexation ou mise à l'échelle et tout calcul de moyennes, de médianes, de valeurs dominantes et d'écarts-types;
    • le type de tests statistiques utilisés et leur degré de précision;
    • de l'information sur la suppression de cellules ou toute autre mesure prise afin d'assurer la confidentialité;
    • les mises en garde au sujet des résultats qui ne sont pas fiables en raison de la très petite taille de l'échantillon.

Livraison des données par voie électronique

  • Le fournisseur de services de recherche doit remettre au chargé de projet un fichier de données.
  • Pour les données à livrer au chargé de projet sous forme électronique, les éléments suivants devraient d'abord être vérifiés :
    • la compatibilité du format de fichier avec le logiciel convenu avec le client (pour le gouvernement du Canada, préférablement la version SPSS, format Windows, conformément à la DOC de TPSGC);
    • l'exhaustivité (chaque fichier contient le bon nombre de fichiers et de documents);
    • la présence de toute la documentation pertinente permettant de répéter l'analyse des données et autres analyses, y compris, s'il y a lieu;
    • une description structurelle du fichier;
    • l'étiquetage du contenu du fichier, c'est-à-dire les variables et les codes de valeurs clairement marqués;
    • la définition et la description de toute variable calculée ou recodée et les instructions concernant les restrictions relatives à l'utilisation;
    • les variables de pondération étiquetées et une description de la façon dont ces variables ont été appliquées;
    • toutes les données d'identification personnelle ont été supprimées des fichiers, en conformité avec la Loi sur la protection des renseignements personnels et les documents électroniques;
    • le chiffrement des fichiers, sur demande;
    • la présence de virus dans le fichier.

Inférences et comparaisons

Aucun changement n'a été apporté aux normes et aux lignes directrices recommandées précédemment dans le rapport sur les sondages téléphoniques en ce qui concerne les inférences et les comparaisons pour les sondages probabilistes.

Normes relatives aux sondages probabilistes

  • Les fournisseurs de services de recherche doivent fonder les comptes rendus de comparaisons et les autres conclusions statistiques tirées à partir des données d'enquête sur des pratiques statistiques acceptables.

Lignes directrices pour les sondages probabilistes

  • Avant d'inclure des énoncés concernant les produits d'information à l'effet que vous évaluez que deux caractéristiques sont différentes au sein de la population existante, effectuez des comparaisons entre les deux estimations si l'une ou l'autre provient d'un échantillon. Utilisez des méthodes de comparaisons qui sont appropriées selon la nature des estimations. Dans la plupart des cas, cela exige des évaluations de l'écart type des estimations et, si ceux-ci ne sont pas indépendants, une évaluation de la covariance entre les deux estimations.
  • Si une comparaison n'a pas une importance significative du point de vue statistique, concluez que les données n'appuient pas un énoncé à l'effet qu'il existe un écart. S'il existe un grand écart entre les estimations et que les écarts types sont très élevés, soulignez cette observation à l'aide d'une note dans le texte ou de tableaux ou de graphiques.
  • Les tendances monotones (qui augmentent ou diminuent strictement) au fil du temps devraient être appuyées par les tests pertinents. Si des fluctuations saisonnières importantes, des irrégularités, des causes spéciales connues ou des variations dans les tendances sont mises en évidence par les données, prenez-en compte dans l'analyse des tendances.
  • Lorsque vous effectuez des tests de comparaison, ne présentez de rapport que sur les écarts passablement significatifs, même si d'autres écarts sont significatifs statistiquement parlant.

Échantillons non probabilistes

Les membres du comité ont recommandé les normes et les lignes directrices suivantes en ce qui concerne les inférences et les comparaisons pour les échantillons non probabilistes :

Normes relatives aux sondages non probabilistes

  • On ne peut parler de marges d'erreur d'échantillonnage sur les estimations de population dans le cas d'échantillons non probabilistes.
  • Le rapport d'enquête doit expliquer ce fait, en se fondant sur l'énoncé suivant : « Les répondants à ce sondage ont été recensés parmi ceux [qui se sont portés volontaires ou qui se sont inscrits pour participer au sondage en ligne de (ministère/organisme)]. [S'il y a eu pondération, ajouter l'énoncé suivant :] Les données ont fait l'objet d'une pondération afin de représenter la composition démographique de (la population cible). Étant donné que l'échantillon est basé sur les personnes qui se sont portées volontaires pour participer [au panel], on ne peut donner une estimation des erreurs d'échantillonnage. »

    Cet énoncé doit être mis en évidence dans les descriptions de la méthode comprises dans le rapport d'enquête.

  • Dans le cas de sondages non probabilistes, les tests de la valeur significative ou autres processus par inférence visant à comparer les résultats des sous-groupes ou faire des inférences statistiques sur la population ne s'appliquent pas. Le rapport d'enquête ne peut comporter d'énoncé sur les différences entre les sous-groupes ou toute autre observation qui présuppose des tests statistiques (par exemple le rapport ne peut affirmer qu'une différence est « significative »).

    Toutefois, la statistique descriptive est permise, notamment la description des différences applicable aux types de variables et de relations que l'on retrouve dans les analyses. Toute utilisation d'une telle statistique descriptive doit indiquer clairement qu'elle n'est applicable qu'à l'échantillon faisant l'objet de l'étude et qu'elle ne peut être généralisée, et que l'échantillon ne peut en aucun cas représenter, par inférence, une population plus importante.

    L'exception à cette règle est les sondages non probabilistes où des répondants sont aléatoirement affectés à des cellules différentes dans le cadre d'un concept expérimental. Dans ce cas, on peut faire appel à des tests de la valeur significative pour comparer les résultats obtenus des différentes cellules du concept.

Lignes directrices pour les sondages non probabilistes

  • Songez à utiliser d'autres moyens pour mettre les statistiques descriptives en contexte, par exemple :
    • si des études similaires ont été effectuées dans le passé, il peut être utile de faire des commentaires pour comparer la façon dont les valeurs statistiques ont été obtenues par rapport à la façon utilisée auparavant;
    • en ce qui a trait aux statistiques comme les corrélations, faites référence au guide qui indique ce qui est considéré comme une valeur de relation faible, moyenne ou forte entre les variables corrélationnelles descriptives.
Haut de la page

Copies de sauvegarde, conservation et sécurité des données

Conservation des données techniques

Les membres du comité ont accepté une version modifiée de la norme de l'ARIM concernant la conservation des données techniques. Aux fins de référence, l'ARIM définit les données techniques comme suit : données brutes anonymes, analyses et l'information de la disposition 26 du code de déontologie de l'ARIM sous responsabilités des chercheurs envers les clients.

Les normes qui suivent offrent des exemples du genre de données et d'analyses qui doivent être conservées. Note : le contenu pertinent de la disposition 26 a été incorporé dans les normes et les lignes directrices la consignation des renseignements sur l'enquête.

Normes relatives à la conservation des données techniques

  • Les données techniques de l'ensemble des études doivent être conservées par le fournisseur de services de recherche pour une période minimale de trois années afin de permettre la répétition des sondages au besoin. Dans le cas des sondages en ligne, cela comprend également de l'information sur la manière dont le questionnaire a été présenté aux répondants ainsi qu'une représentation de tout matériel audiovisuel utilisé dans le sondage.
  • Les données techniques qui ne font pas déjà partie du rapport d'enquête ou de l'annexe et qui doivent être conservées comprennent notamment, mais non exclusivement :
    1. les données ayant trait au traitement et à l'analyse des données notamment, mais non exclusivement :
      • les fichiers de données brutes;
      • les autres fichiers électroniques;
      • les grilles de codage;
      • les dossiers du projet, y compris l'information sur la gestion du projet et les fichiers de programmes du sondage;
      • les courriels et toute autre correspondance.
    2. dans les cas où les données ont été éditées, épurées ou recodées ou si l'on a modifié de quelconque façon le format, le contenu ou la disposition d'origine, on doit conserver, au minimum, les données originales, les données finales et les fichiers de programmes qui modifient les données afin qu'il soit facile de reconstituer l'ensemble de données.

Sécurité des données

Les membres du comité ont recommandé l'adoption d'une version modifiée des normes de l'ARIM relative à la sécurité des données.

On a suggéré, en raison des préoccupations concernant la sécurité des données, qu'il devrait exister un énoncé explicite stipulant qu'il existe une préférence préconisant l'utilisation de serveurs situés au Canada. Toutefois, avant d'inclure ce genre d'énoncé, il y a deux questions auxquelles on doit d'abord répondre :

  • Est-ce que cela a pour effet de limiter les fournisseurs canadiens de service en ligne et les progiciels qui peuvent être utilisés par le gouvernement du Canada? Par exemple, plusieurs progiciels ont été développés par des entreprises américaines et les données sont conservées aux États-Unis.
  • Est-ce que ce genre d'énoncé serait en accord avec les politiques en matière de contrat de TPSGC, par exemple l'ALÉNA?

Normes relatives à la sécurité des données

Protection des données et du serveur

  • Les entreprises de recherche doivent faire appel à des technologies de pointe pour protéger les données personnelles stockées dans les sites Web ou les serveurs. Plus précisément, les pages d'inscription au panel et les sondages en ligne qui recueillent des renseignements personnels de nature délicate doivent utiliser le protocole SSL ou un niveau équivalent de protection.
  • Les entreprises de recherche doivent également mettre en place des mesures visant à assurer la sécurité « physique » des données et des serveurs.

Stockage temporaire de données sur les serveurs

  • Si un fournisseur fait appel au stockage temporaire des données sur un serveur, l'entreprise de recherche est tenue de s'assurer que le fournisseur prend les mesures techniques nécessaires pour qu'un tiers ne puisse accéder aux données sur le serveur ou durant leur transfert. Le stockage temporaire doit être d'une durée très limitée.

Stockage de données sur des serveurs à l'extérieur du Canada

  • Lorsque des données sont stockées sur des serveurs à l'extérieur du Canada, les entreprises de recherche doivent s'assurer du maintien des engagements en matière de protection des renseignements personnels.

Transmission de données dans le monde

  • Avant de transférer des données vers un autre pays via Internet, les entreprises de recherche doivent vérifier auprès d'une autorité compétente si le transfert est permis. Le destinataire peut avoir à fournir des mesures de protection des données.

Divulgation de l'adresse courriel des répondants durant la transmission par lots

  • Les entreprises de recherche doivent avoir en place des mesures de protection adéquates visant à assurer que lors de transmission par lots de courriels, les adresses des répondants ne sont pas divulguées.

Atteinte à la protection des données

  • En cas d'atteinte à la protection des données, le client doit être aussitôt informé en détail de la nature et de l'étendue de l'infraction.
  • Le client et le fournisseur de services de recherche devraient décider des mesures appropriées devant être prises.

Consignation des renseignements sur l'enquête

On n'a pas demandé aux membres du comité de se prononcer sur la plupart des normes détaillées et des lignes directrices relatives aux renseignements sur l'enquête qui ont déjà été adoptées par le gouvernement du Canada pour les sondages téléphoniques sur l'opinion publique étant donné que la majorité des exigences ne changeraient pas pour un sondage en ligne.

On a demandé aux membres du comité de se prononcer sur une norme révisée et une ligne directrice additionnelle relativement à la (aux) version(s) du questionnaire qui doivent être incluses dans l'annexe sur les documents de l'étude d'un rapport final d'enquête pour refléter que :

  • la version finale du questionnaire de sondage existera en deux formats différents : une version texte et la version en ligne que compléteront les répondants. Les deux versions peuvent être utiles à un lecteur d'un rapport d'enquête;
  • il est possible dans le cas d'un sondage en ligne d'offrir une aide « auditive » et une aide « visuelle ».

Les membres du comité ont accepté une norme et une ligne directrice modifiées en ce qui a trait à la (aux) version(s) du questionnaire qui doivent être incluses dans l'annexe sur les documents de l'étude et elles ont été incorporées dans les normes et les lignes directrices énoncées ci-après.

D'autres modifications apportées aux normes et aux lignes directrices relatives aux renseignements sur l'enquête sont résumées dans le tableau qui suit, et elles reflètent les diverses normes recommandées par les membres du comité tout au long des discussions.

Haut de la page

Normes relatives à la consignation des renseignements sur l'enquête

Généralités

Pour les recherches quantitatives, on doit, à tout le moins, présenter les renseignements suivants dans le rapport de projet. Cela permet au lecteur de comprendre la façon dont le projet de recherche a été mené et les répercussions de ses résultats.

Contexte

  • Le nom du client.
  • Le nom du fournisseur de services de recherche.
  • Une description détaillée du contexte y compris :
    • le but et la finalité de la recherche;
    • les objectifs et la méthode adoptée.

Échantillon

  • La description détaillée de l'échantillon comprend :
    • le groupe ciblé par le projet de recherche incluant si oui ou non des non-utilisateurs d'Internet font partie de la population cible;
    • la taille de l'échantillon obtenu par rapport à la taille de l'échantillon prévu et les raisons pour lesquelles l'échantillon prévu n'a pas été obtenu le cas échéant;
    • la source et la méthode d'échantillonnage, y compris le processus de sélection des répondants; le type de méthode d'échantillonnage utilisé devrait être identifié c'est-à-dire probabiliste, non probabiliste et tentative de recensement;
    • les procédures de pondération, s'il y a lieu.
  • Dans le cas d'échantillonnage non probabiliste, il faut fournir :
    • une justification du choix de l'échantillonnage non probabiliste.
    • une description détaillée des étapes à suivre pour maximiser la représentation de l'échantillon et connaître les limites/incertitudes en ce qui a trait au niveau de représentativité atteint.

Collecte des données

  • Une description détaillée de la méthode employée y compris :
    • la date à laquelle le travail sur le terrain a été effectué;
    • la durée moyenne et la portée de chaque entrevue;
    • la méthode de collecte de données et, s'il y a lieu :
      • le type et le nombre d'incitatifs;
      • les dispositions relatives à l'accessibilité pour les répondants qui utilisent une technologie adaptée.
  • Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.

Contrôle de la qualité

  • Les procédures d'estimation et d'imputation, s'il y a lieu.
  • Un résumé des autres contrôles et procédures de la qualité utilisés, y compris les résultats obtenus (Note : ceux-ci doivent être présentés dans l'annexe technique).
  • Dans le cas des sondages par méthode mixte, une description détaillée de toute incidence que le fait de combiner des données obtenues au moyen de différents modes de cueillette puisse avoir sur la qualité des données.

Communication des résultats

  • Un sommaire des principaux résultats et des principales conclusions par rapport aux objectifs et aux questions de l'enquête.
  • Dans le cas d'échantillons probabilistes, indiquer le niveau de précision, y compris la marge d'erreur et l'intervalle de confiance pour l'échantillon total et tout sous-groupe principal.
  • Dans le cas d'échantillons non probabilistes et de tentatives de recensement, le rapport d'enquête doit expliquer pourquoi les marges d'erreur d'échantillonnage ne sont pas traitées; les sondages basés sur des échantillons non probabilistes doivent utiliser le modèle prescrit.
  • Un aperçu du plan d'analyse du sondage.
  • La disposition des contacts et les taux de réponse/réussite (dans le cas d'échantillons probabilistes) selon la formule recommandée par l'ARIM.
  • Les résultats fondés sur des sous-groupes et le nombre de cas utilisés dans l'analyse des sous-groupes.

Annexe 1 : documents de l'étude

  • Les documents de l'étude, soit les questionnaires, les aides visuelles utilisées et tout autre document de collecte de données pertinent, dans toutes les langues dans lesquelles la recherche a été menée.

    Il devrait y avoir une version des questionnaires affichant les instructions (par exemple « passez à », terminer, etc.) qui permettent de comprendre la logique et le déroulement du questionnaire.

Annexe 2 : annexe technique

  • Dossier détaillé de dispositions des contacts.
  • Une description détaillée de la qualité des procédures de contrôle utilisées et les résultats obtenus, les mesures ou sources d'échantillonnage et les erreurs non liées à l'échantillonnage et, s'il y lieu, toute autre information ayant trait à la qualité du sondage.

Lignes directrices relatives à la consignation des renseignements sur l'enquête

Annexe 1 : documents de l'étude

  • Il est recommandé que des copies d'écran de portions choisies du questionnaire soient incluses pour illustrer la façon dont le questionnaire apparaît aux répondants.

Navigation pour Document « Comité consultatif sur la qualité des sondages en ligne sur l'opinion publique - Final le 4 juin 2008 »