Normes et lignes directrices pour la gestion et le traitement des données

Le rapport intitulé, Le comité consultatif sur la qualité des sondages par téléphone sur l'opinion publique (le rapport sur les sondages téléphoniques) discute des normes et lignes directrices pour :

Le comité consultatif sur les sondages en ligne ne devait pas commenter ces normes et lignes directrices puisque la plupart sont pertinentes à la fois aux sondages en ligne et par téléphone.

Cette section reproduit les normes et les lignes directrices du rapport sur les sondages téléphoniques.

Codage

Normes pour le codage

Utilisation de logiciels de codage

  • Lorsqu'on utilise un logiciel de codage, le taux d'erreur doit être évalué. Si le taux d'erreur est supérieur à 5 p. 100, l'entreprise de recherche doit :
    • en informer le chargé de projet;
    • revoir le dictionnaire.

Élaboration des grilles de codage

  • La liste ou grille de codage originale doit être élaborée à la lumière d'un examen systématique d'au moins 10 p. 100 des réponses aux questions ouvertes et 50 p. 100 des réponses aux questions partiellement ouvertes lorsqu'elle n'a pas encore été établie.
  • Le fournisseur de services de recherche doit s'assurer que les codeurs affectés au projet ont reçu les instructions et la formation nécessaires, soit, à tout le moins :
    • un aperçu du projet;
    • une description des questions ou des variables à coder;
    • la plus petite fréquence ou le plus petit nombre d'un échantillon (et sa composition) utilisé dans la production des grilles de codage;
    • s'il y a lieu, les sous-groupes particuliers nécessaires à l'élaboration des grilles de codage (p. ex. régions, utilisateurs ou non-utilisateurs);
    • les lignes directrices relatives aux codes à prévoir dans les grilles de codage (p. ex. décisions ou règles sur les éléments à inclure ou à ne pas inclure dans un code donné);
    • toutes les utilisations prévues des grilles de codage d'étapes ou de projets antérieurs;
    • Toute autre exigence ou instruction spéciale relative au projet.

Approbation des grilles de codage et procédure de codage

  • Le gestionnaire de projet de l'entreprise de recherche doit approuver la grille de codage originale avant le début du processus de codage et verser l'information au dossier. Pour ce faire, il se peut qu'il faille d'abord relier, abréger, réécrire, refaire ou supprimer certains codes.
  • De plus :
    • lorsque les réponses « Ne sais pas » et « Pas de réponse » sont utilisées, elles doivent pouvoir être distinguées l'une de l'autre;
    • le fournisseur de services de recherche doit avoir établi des règles ou lignes directrices claires à suivre pour les réponses « Autres » ou « Divers ». Si le nombre d'« Autres » ou de « Divers » dépasse 10 p. 100 des réponses à coder, on devrait revoir ces réponses en vue de réduire la taille de ce groupe.
  • Après approbation de la grille de codage originale, lorsque de nouveaux codes sont appropriés au processus de codage, toutes les copies de la grille doivent être mises à jour et tout questionnaire déjà codé doit être modifié en conséquence.
  • L'entreprise de recherche doit fournir au responsable du projet, à la demande de ce dernier, la grille de codage originale et toutes les mises à jour.
  • L'entreprise de recherche doit fournir au responsable du projet, à la demande de ce dernier, la grille de codage finale.

Vérification du codage

  • Le fournisseur de services de recherche doit avoir défini une procédure de vérification du codage de chaque projet, y compris la démarche de vérification à utiliser. La procédure doit prévoir une méthode systématique permettant de vérifier au moins 10 p. 100 des questionnaires codés par projet, et la vérification doit être assurée par une seconde personne.
  • Si le travail d'un codeur en particulier renferme trop d'erreurs, tout le travail de cette personne (dans le cadre du projet) doit être vérifié ou refait. Si nécessaire, ce codeur devra suivre une formation d'appoint jusqu'à ce que le taux d'erreur soit acceptable. L'efficacité de la formation d'appoint doit être examinée et consignée par écrit.
  • Le fournisseur de services de recherche doit définir la cause des erreurs fréquentes et l'inscrire au dossier.

Lignes directrices relatives au codage

Élaborer la trame de codage

  • En ce qui concerne certaines variables, le fournisseur de service de recherche devrait utiliser les normes de classification établies existantes comme celles qui ont élaborées pour l'emploi au sein de l'industrie, de l'entreprise et de l'éducation.

Vérification du codage

  • Il existe deux approches fondamentales pour la vérification : dépendante et indépendante. La vérification dépendante signifie que la deuxième personne a accès au codage original. La vérification indépendante indique que la seconde personne n'a pas accès au codage original. Lors de la vérification indépendante, le codage original et le codage résultant de la vérification sont comparés et s'ils diffèrent, un arbitre décide du code approprié. Les vérifications indépendantes permettent de déceler plus d'erreurs que les vérifications dépendantes.

    On devrait utiliser une vérification indépendante du codage partout où cela est possible.

  • L'ensemble de données codées finales devrait être revu, au moins une fois, pour s'assurer de la cohérence interne du codage et que les corrections soient apportées si nécessaire.

Édition et imputation des données

Normes relatives à l'édition et à l'imputation des données

  • On doit inscrire rigoureusement au dossier tous les changements apportés à l'ensemble de données originales. Aucune hypothèse ni aucune imputation touchant aux données ne doivent être faites à l'insu et sans l'autorisation du gestionnaire de projet de l'entreprise de recherche. En première étape, on doit d'abord faire la comparaison avec la source de données originale. On doit consigner par écrit les processus d'imputation utilisés, y compris la logique de la ou des méthodes employées, et remettre l'information au client s'il le demande. Toutes les spécifications de la vérification de vraisemblance doivent être consignées par écrit.
  • Lorsqu'on a recours à la vérification de vraisemblance forcée, la logique du « forcing » doit être consignée par écrit, des essais doivent être effectués et les résultats démontrant que le « forcing » produit l'effet voulu doivent être versés au dossier.
  • La vérification de vraisemblance et l'imputation des données doivent être employées avec circonspection. On doit tenir compte du degré et de l'incidence de l'imputation au cours de l'analyse des données. Les méthodes d'imputation utilisées peuvent avoir une forte incidence sur les distributions des données et la variance des estimations.
  • L'entreprise de recherche doit consigner par écrit toute imputation ou toute édition forcée dans une annexe technique et dans le rapport final.

Navigation pour Document « Comité consultatif sur la qualité des sondages en ligne sur l'opinion publique - Final le 4 juin 2008 »