Normes et lignes directrices sur l'échantillonnage et la collecte des données

Élaboration des bases de sondage et échantillonnage

Dans le cadre de ses travaux, le comité s'est penché sur la procédure d'échantillonnage, et plus particulièrement sur l'élaboration des bases de sondage et le taux de couverture.

Le comité était d'accord dans l'ensemble pour adopter une version modifiée des normes de l'ARIM comme procédure d'échantillonnage pour les sondages téléphoniques du gouvernement du Canada.

Dans ses discussions sur le taux de couverture, le comité s'est penché sur la ligne directrice à valeurs numériques de l'Office of Management and Budget (OMB) à cet égard :

Il est souhaitable d'atteindre des taux de couverture supérieurs à 95 p. 100, et ce, pour chaque strate majeure. Si les taux de couverture tombent en deçà de 85 p. 100, il faut faire une évaluation de la possibilité de biais.

Le comité a toutefois convenu de ne pas adopter de ligne directrice à valeurs numériques concernant les taux de couverture, mais d'opter plutôt pour la solution suivante : les taux de couverture doivent être examinés et consignés par écrit dans le cadre de tous les sondages et non pas seulement lorsqu'ils se situent en deçà d'un seuil arbitraire donné. Le comité a dit estimer que cette solution était réaliste et transparente tout en précisant que le gouvernement du Canada visait les taux de couverture les plus élevés possible.

Trois facteurs principaux expliquent la décision du comité de ne pas adopter une ligne directrice à valeurs numériques particulière.

  • Certains membres ont dit douter que les taux de couverture puissent en général être calculés avec exactitude, et encore moins lorsqu'il s'agit de différents types de groupes cibles spécialisés.
  • On s'est également demandé si l'on pouvait raisonnablement s'attendre à appliquer la même ligne directrice aux sondages s'adressant à la population en général et à ceux qui visent des groupes plus spécialisés.
  • Un taux de couverture de 95 p. 100 pour l'ensemble de la population et pour chaque strate majeure est impensable au Canada pour un échantillon national sélectionné par système d'appel aléatoire (SAA). Selon les études menées par l'ARIM, le pourcentage de ménages non abonnés et abonnés cellulaires seulement correspond à 6 p. 100 de la population nationale (8,8 p. 100 en C. B.) et devrait augmenter encore en 2006. Par conséquent, si des exigences sur les taux de couverture étaient établies, il faudrait les revoir et probablement les mettre à jour régulièrement.

Le comité a convenu d'adopter les normes et les lignes directrices générales suivantes concernant les taux de couverture afin :

  1. d'exiger (dans le cas des normes) des entreprises de recherche qu'elles définissent toute limite relative à la base de sondage en indiquant quels groupes ont été exclus et en en expliquant les raisons;
  2. de suggérer (dans le cas des lignes directrices) aux fournisseurs de services de recherche de présenter, dans la mesure du possible, une estimation du pourcentage de la population cible qui a été exclue de la base.

NORMES

Il convient de souligner que les normes qui suivent constituent une version modifiée des procédures d'échantillonnage recommandées par l'ARIM. On a donc remplacé, ici et ailleurs dans le texte, la mention « membres de l'ARIM ») par « entreprises de recherche ».

1.0 Procédure d'échantillonnage

  • Toutes les entreprises de recherche doivent clairement énoncer la définition du groupe cible (universelle) utilisée pour la recherche, puis énoncer clairement la méthode employée pour obtenir un échantillon représentatif du groupe cible. On ne peut considérer un échantillon de commodité comme étant représentatif. Si le coût de l'échantillonnage de groupes cibles à faible incidence (par exemple les utilisateurs de marques à faible incidence) empêche l'utilisation des contrôles de quotas habituels pour assurer la représentativité des échantillons, alors il faut clairement énoncer ces limites à l'échantillonnage (comme avec toute méthode d'échantillonnage).

1.1 Échantillonnage probabiliste aléatoire

  • La liste ou la source de l'échantillon doit être clairement énoncée, y compris toute limitation ou exclusion qui réduit l'universalité de la représentation de l'échantillon cible et la possibilité de biais.
  • On doit donner une description complète du plan de sondage et de la procédure de sélection, dont :

    • les variables de stratification de l'échantillon (le cas échéant);
    • toutes les étapes d'échantillonnage multiéchelle (p. ex. secteurs de dénombrement, puis ménages, puis répondants);
    • à chaque stade de l'échantillonnage, la méthode suivie pour atteindre une sélection aléatoire systématique doit être expliquée, et tous les sous ensembles de l'univers qui ont été exclus ou sont sous représentés (p. ex. les ménages n'utilisant que le cellulaire) bien que, lorsque c'est possible, une estimation de la proportion de l'univers qui a été exclue ou est sous représentée doive être fournie;
    • le nombre d'appels de relance et la procédure d'appel de relance;
    • l'admissibilité des répondants ou les critères de présélection, y compris tous les contrôles de quotas utilisés (p. ex. le sexe).
  • Il faut tenir des registres de la disposition de l'échantillon de contact afin de démontrer :

    • la taille de l'échantillon de contact original;
    • la proportion de données de l'échantillon de contact qui était inutilisable ou invalide (p. ex. erreurs d'inscription ou numéros hors service);
    • la proportion de l'échantillon valide qui n'a pu être jointe à la suite d'un nombre précis d'appels de relance;
    • les autres motifs expliquant l'absence de contact (p. ex. langue [autre que les deux langues officielles] ou surdité);
    • le taux de refus des personnes de l'échantillon qui ont pu être jointes;
    • la proportion de l'échantillon formée de personnes non qualifiées;
    • les entrevues ayant pris fin en cours de route;
    • le nombre total d'entrevues achevées.
  • Si l'on a présumé qu'une procédure d'échantillonnage probabiliste appropriée a été suivie, il faut énoncer l'erreur d'échantillonnage en se basant sur une taille donnée de l'échantillon selon un niveau de confiance donné. Les entreprises de recherche doivent cependant veiller à :

    • ne pas amener le client à croire à tort qu'une erreur d'échantillonnage citée sur l'échantillon total sera la même que celle qui a été établie pour un sous ensemble de l'échantillon total;
    • exprimer si possible les erreurs d'échantillonnage en se reportant à la nature particulière des variables les plus importantes ou caractéristiques du sondage;
    • indiquer qu'il existe de nombreuses sources possibles d'erreur autres que d'échantillonnage et inclure un renvoi aux autres sources possibles d'erreur de toute étude (p. ex. effet de l'interviewer ou du répondant) de manière à de ne pas donner une fausse impression sur l'exactitude et la précision d'ensemble des résultats.

1.2 Sondage par quotas

Les méthodes de sondage par quotas sont généralement utilisées pour les sondages par panel et les sondages personnels au passage visant à assurer la représentativité de l'échantillonnage. Les quotas sont aussi utilisés pour contrôler la représentativité d'autres méthodes de collecte des données.

  • Concernant l'échantillonnage probabiliste, il faut faire état de la liste ou de la source de l'échantillon, y compris ses limites concernant la représentation de la population de l'échantillon cible.
  • Il faut donner une description complète des contrôles appliqués aux variables de classification régionale, démographique ou d'autre nature utilisées pour équilibrer l'échantillon et en assurer la représentativité.
  • Il faut énoncer les cibles de contrôle des quotas et les critères de présélection exacts, y compris la source de ces cibles (p. ex. données du recensement ou autre source de données).
  • Il faut faire état, dans le rapport, des écarts comparativement à la cible (chiffres réels comparés à la cible).
  • On doit inclure des commentaires sur l'erreur d'échantillonnage en formulant une mise en garde, par exemple : « Le sondage par quotas ne permet pas l'estimation des erreurs d'échantillonnage; on présume que l'échantillon déterminé par quotas est représentatif des groupes de la population. » Le principe énoncé au point 1.1 ci dessus s'applique ici concernant le risque de donner une fausse impression sur l'exactitude des données.

Avis à donner aux répondants éventuels

Aperçu

Il existe des exigences très précises auxquelles doivent se plier tant le milieu de la recherche et le secteur public, que ce soit par l'entremise d'un cadre d'auto réglementation (p. ex. les exigences que doivent respecter les membres d'organisations telles que l'ARIM) ou législatif (p. ex. Loi sur la protection des renseignements personnels et Loi sur la protection des renseignements personnels et les documents électroniques).

Dans le cas des sondages téléphoniques menés pour le compte du gouvernement du Canada, ces exigences sont également supplantées par :

  • d'autres exigences imposées dans le cadre des études du secteur public qui ne posent jamais de difficulté ou qui n'en posent que rarement aux entreprises du secteur privé (p. ex. accès à l'information);
  • les obligations officielles du gouvernement du Canada, qui a le mandat et l'obligation de faire preuve de transparence et d'ouverture dans toutes ses transactions avec le public.

Le comité a passé en revue un certain nombre de points en ce qui a trait à l'information qui devrait être fournie aux répondants éventuels à une enquête, notamment :

  • les normes de l'ARIM concernant les responsabilités des entreprises membres envers le public;
  • les normes et lignes directrices relatives à la divulgation d'information sur l'identité des clients.

Issue des travaux du comité

D'un commun accord, le comité a convenu :

  • d'adopter une version modifiée des normes de l'ARIM concernant les sondages téléphoniques menés par le gouvernement du Canada;
  • d'adopter une norme et une ligne directrice concernant la divulgation de l'identité des clients.

Le comité n'est pas parvenu à s'entendre sur la nécessité de demander le consentement explicite des répondants avant de les interviewer. Cette question est abordée à la fin de la présente section.

Normes et lignes directrices : responsabilités des entreprises de recherche à l'égard du public

1.0 Droits des répondants

1.1 Consentement

  • Les entreprises de recherche doivent s'assurer que les répondants savent que leur participation à toutes les étapes est totalement volontaire. Pour ce faire, elles doivent s'assurer que les répondants comprennent parfaitement le but de l'appel. Les intervieweurs devraient donc toujours énoncer clairement leur identité (donner leur prénom seulement ou leur identificateur unique) et celle de l'entreprise de recherche pour laquelle ils travaillent, et répondre de façon honnête et sincère à toutes questions des répondants.
  • Tous les répondants doivent savoir que l'entrevue peut être écoutée ou enregistrée à des fins de contrôle de la qualité.
  • Lorsqu'elles veulent interviewer des enfants (moins de 12 ans) et des adolescents (12 à 15 ans), les entreprises de recherche doivent dans tous les cas obtenir d'abord le consentement d'un parent ou tuteur. Il faudra être particulièrement vigilant lorsque les répondants sont jugés vulnérables à d'autres égards. (Pour en savoir plus long sur la collecte des données auprès d'enfants ou de répondants vulnérables, se reporter à la section 5.)

1.2 Droit de refus

  • Les entreprises de recherche doivent respecter le droit de tout répondant de refuser de participer à un sondage, de refuser de répondre à une question ou de mettre fin à l'entrevue en tout temps. Un intervieweur formé à cette fin doit s'occuper des contacts subséquents avec toute personne qui refuse de participer. Les entreprises de recherche peuvent par ailleurs utiliser toutes les méthodes raisonnables pour convaincre une personne de participer. Cela inclut expliquer le but de la recherche et offrir de rappeler le répondant à un autre moment qui lui convient davantage s'il ne peut ou ne veut pas participer au moment du contact initial. Offrir un incitatif monétaire ou un cadeau pour encourager la participation peut aussi constituer un moyen acceptable d'obtenir la participation du répondant.

1.3 Éviter le harcèlement

  • L'entreprise de recherche doit prendre tous les moyens raisonnables pour s'assurer que les répondants ne sont d'aucune façon importunés ni embarrassés par toute entrevue et que les résultats de l'entrevue n'ont aucun effet négatif pour eux. Elles doivent aborder les sujets délicats d'une manière qui minimise les malaises et les craintes tant chez les répondants que chez l'intervieweur.

1.4 Sécurité

  • Il incombe aux entreprises de recherche de conclure des ententes avec leurs clients pour s'assurer que ces derniers accepteront d'assumer la responsabilité de la sécurité du produit ou du service et de dégager toute responsabilité de l'entreprise de recherche en cas de dommage résultant de l'utilisation du produit ou du service. Lorsque les répondants doivent goûter des aliments, il faut exclure de ces tests tous ceux dont la participation présente un risque (par exemple ceux qui ont des allergies alimentaires) et mettre des listes des ingrédients à leur disposition. Lorsque l'on teste d'autres types de produits, il faut mettre à leur disposition des instructions détaillées sur le produit. Il est strictement interdit d'inciter un répondant à tester un produit contre sa volonté.

1.5 Législation fédéral

  • On encourage les entreprises de recherche à se familiariser avec la Loi sur la protection des renseignements personnels et les documents électroniques et à s'y soumettre.

2.0 ANONYMAT ET CONFIDENTIALITÉ DES RÉPONDANTS

  • Il faut protéger la confidentialité des répondants. Il ne faut pas révéler l'identité des répondants individuellement par leur nom ou tout autre renseignement signalétique, ni à partir des réponses particulières qu'ils ont données dans le cadre d'une étude sans leur consentement oral ou écrit.

    • Les entreprises de recherche doivent assurer aux répondants que leur identité ne sera pas divulguée au client. Les répondants ont le droit de s'attendre à recevoir cette garantie et à ce que cette dernière soit respectée par l'entreprise de recherche. En aucune circonstance les questionnaires ou tout autre matériel (p. ex. support magnétique) contenant l'identité du répondant ou des renseignements qui permettraient de dévoiler son identité ne doivent être remis par les entreprises de recherche à des clients ou à des tiers.
    • On pourrait envisager des exceptions à cette règle si la divulgation de ces noms est essentielle pour traiter les données, vérifier la recherche originale ou faire un supplément de recherche. Dans ces circonstances, les noms ou autres renseignements dont on pourrait déduire les noms des répondants doivent être retirés et conservés pour être utilisés seulement par les entreprises de recherche en marketing aux fins de recherche en marketing.

      L'entreprise de recherche d'origine doit veiller à ce que les autres respectent la confidentialité du répondant et l'obligation de n'utiliser le nom et les renseignements recueillis qu'à des fins de recherche. Il faut prendre des mesures pour se conformer le mieux possible au principe de confidentialité des répondants.

      Une autre exception à cette règle pourrait être envisagée si un répondant, dans le cadre d'une étude de recherche (effectuée à partir d'une liste fournie par le client), demande à l'intervieweur de transmettre certains renseignements, préoccupations ou demandes au client. Dans ce cas, une fois que le consentement du répondant a été obtenu, certains renseignements personnels tels le nom et le numéro de téléphone du répondant peuvent être remis au client.

    • Lorsqu'elles utilisent des techniques d'enregistrement ou d'observation, les entreprises de recherche doivent en informer le répondant dès le début de l'entretien (ou à l'étape du recrutement si possible). La confidentialité des répondants ne doit pas être compromise à cause de l'utilisation de ces techniques.
    • Les listes fournies par le client en vue de projets particuliers ne doivent être utilisées pour aucun autre projet. Les noms contenus dans ces listes ne doivent pas non plus être ajoutés aux bases de données de l'entreprise de recherche. Ces listes doivent être remises au client dès que le projet est terminé.
    • Les données personnelles du répondant ne doivent pas être utilisées, divulguées ni recueillies d'aucune manière qui est incompatible avec le but avoué de la recherche. Cela vaut pour tout le personnel de l'entreprise de recherche. Il faut prendre des précautions pour assurer la sécurité des renseignements, qu'ils soient sur papier, sur ordinateur ou stockés électroniquement.

      L'identité de chaque répondant ne doit pas être révélée au client, que ce soit comme donnée isolée en association avec une réponse particulière, sans le consentement explicite du répondant donné à un moment ou l'autre pendant l'entrevue. Si ce consentement est donné, l'intervieweur doit le noter par écrit.

  • En cas de doute ou si elle a besoin de conseils sur la nécessité de masquer les identités avant de remettre les rubans, disques, cartes perforées ou autre matériel contenant certains renseignements sur l'identité, l'entreprise de recherche devrait communiquer avec la présidence du comité des normes de l'ARIM.

3.0 MAINTIEN DE LA CONFIANCE DU PUBLIC ET LIMITES AUX BUTS DE LA RECHERCHE

  • Les entreprises de recherche doivent tout faire en leur pouvoir pour établir, maintenir et accroître la confiance du public à l'égard des entreprises de recherche et de leur mission. Les entrevues doivent se dérouler de sorte que chacun reste à l'aise, dans un climat empreint de confiance et de bonne volonté, de même que dans le respect du droit à la vie privée des répondants s'ils décident de ne pas répondre à une question ou de ne pas participer au sondage.
  • Dans cette optique, les intervieweurs, pour leur part, doivent :
    • se présenter et donner le nom de l'entreprise pour laquelle ils travaillent;
    • dire au répondant que le sondage doit servir à des fins de recherche seulement;
    • fournir à la demande du répondant le nom, l'adresse et le numéro de téléphone de l'entreprise;
    • répondre de façon honnête et sincère à toutes questions des répondants.
  • Les entrevues doivent viser exclusivement la collecte légitime d'information sur les marchés et l'opinion publique en lien avec la recherche. À moins que le répondant en ait été informé dès le départ et qu'il y ait consenti, l'information ne doit pas servir à vendre un produit, à recruter des clients éventuels ni à dresser des listes de publipostage.

4.0 IDENTITÉ DE L'ENTREPRISE DE RECHERCHE

  • Tous les intervieweurs doivent se présenter en fournissant leur prénom seulement, ou leur identificateur unique, ainsi que le nom de l'entreprise au début de toutes les entrevues téléphoniques. Si le répondant le demande, les intervieweurs doivent donner le nom, l'adresse et le numéro de téléphone du siège social de leur entreprise.

5.0 Collecte des données auprès d'enfants ou de répondants vulnérables

Généralités
  • Les entreprises de recherche doivent être particulièrement vigilantes lorsqu'elles doivent interviewer des enfants, des adolescents ou des répondants jugés vulnérables à d'autres égards. « Enfant » s'entend d'une personne âgée de moins de 12 ans et « adolescent », d'une personne âgée de 12 à 15 ans.

5.1 Normalisation des lignes directrices

  • Les lignes directrices qui suivent constituent un résumé des lignes directrices énoncées dans les règles de conduite de l'ARIM et le code international de l'International Chamber of Commerce (ICC) et d'ESOMAR et définissent la notion de « vigilance particulière ».
  • Lorsqu'ils doivent interviewer un enfant ou un adolescent, les intervieweurs doivent d'abord obtenir le consentement du parent ou d'un adulte responsable (tuteur, enseignant, etc.) avant d'aborder l'enfant ou l'adolescent. Ils doivent fournir suffisamment de renseignements à la personne responsable de l'enfant ou de l'adolescent pour qu'elle puisse prendre une décision éclairée aux fins de consentement. Il n'est en général pas nécessaire d'obtenir le consentement par écrit, mais le nom de la personne qui le donne doit être versé au dossier.
  • Le consentement de l'adulte permet à l'intervieweur d'aborder l'enfant ou l'adolescent, mais ne lui donne pas la permission de l'interviewer, car celui ci doit avoir lui même l'occasion de refuser de prendre part à la recherche.
  • Lorsque l'on fait un sondage par téléphone ou Internet, il pourrait être difficile de déterminer l'âge du répondant et d'obtenir le consentement nécessaire en vue de l'entrevue. En dépit de ces difficultés, les entreprises de recherche doivent s'efforcer de se conformer aux règles énoncées dans les présentes lignes directrices.
  • On pourra faire exception à cette règle lorsqu'il est impossible d'obtenir le consentement d'un parent ou tuteur (p. ex. dans le cas d'enfants de la rue) et que l'on considère que les avantages que présente l'information l'emportent sur le tort qui pourrait être causé aux répondants (p. ex. jeunes au comportement dangereux).

5.2 Sécurité des enfants

  • Le bien être des enfants et des adolescents eux mêmes est le facteur le plus important à considérer. Ils ne doivent pas être perturbés ni blessés par l'expérience d'entrevue. Par conséquent, il faut aborder avec beaucoup de vigilance les sujets ou questions délicats susceptibles de bouleverser les enfants et les adolescents (p. ex. les relations avec d'autres enfants ou les parents, les activités sexuelles, l'usage de stupéfiants ou d'alcool).
  • Si les enfants ou les adolescents doivent tester des produits dans le cadre de la recherche, la personne responsable doit pouvoir voir les produits et les essayer elle même, si elle le veut. Si l'étude comprend l'essai de produits, les entreprises de recherche doivent s'assurer :

    • que les produits peuvent être consommés ou manipulés sans danger;
    • que l'enfant ou l'adolescent ne souffre pas d'une allergie au produit à essayer;
    • que l'enfant ou l'adolescent n'est pas amené à poser un geste illégal (p. ex. à consommer des produits alcoolisés ou du tabac alors qu'il n'a pas l'âge prescrit par la loi);
    • qu'aucun interdit ethnique, religieux ou culturel n'empêche l'enfant ou l'adolescent de consommer ou de manipuler les produits;
    • si possible, que l'entreprise de recherche se soumet à la volonté des parents ou tuteurs au sujet des produits dont ils ne voudraient pas que l'enfant ou le jeune adulte fasse l'essai.
  • Il est recommandé qu'un adulte responsable (en plus de l'intervieweur) reste à proximité (pas nécessairement dans la même pièce) pendant le déroulement de l'entrevue. L'intervieweur et les chercheurs doivent être protégés contre toute mésentente ou allégation possible d'inconduite découlant de leur interaction avec les enfants ou les adolescents qui participent au projet.

Norme et ligne directrice : identité du client

Norme

Dans tous les questionnaires d'enquête, on doit nommer le client, soit le gouvernement du Canada ou encore le ministère ou l'organisme qui a commandé la recherche.

Ligne directrice

On devrait nommer le client en fonction des objectifs de l'étude et de manière à susciter le plus haut taux de réponse possible.

Le comité s'est également penché sur la nécessité de demander le consentement explicite des répondants avant de les interviewer. Il n'a pas réussi à établir de consensus à ce sujet.

Ainsi, le comité n'a pas réussi à s'entendre sur les exigences suivantes, qu'elles soient adoptées comme normes ou lignes directrices :

On doit demander à tous les répondants leur consentement explicite avant de les interviewer (p. ex. « Puis je continuer? ») et consigner de l'information au dossier (p. ex. dans le questionnaire) démontrant que cette exigence a été respectée.

Il convient de préciser que le consentement ou le choix de participer explicite des répondants constitue une exigence dans certains ministères mais pas dans certains autres. Certains l'exigent parce que c'est ainsi qu'ils interprètent la Loi sur la protection des renseignements personnels. Le comité a établi qu'il serait préférable que cette question soit abordée par TPSGC, en consultation avec le Secrétariat du Conseil du Trésor (SCT).

À titre indicatif, au sein du comité, deux opinions divergentes ont été formulées concernant la nécessité de demander le consentement explicite des répondants avant de les interviewer.

  • D'une part, certains membres ont dit craindre qu'exiger des entreprises qu'elles demandent aux répondants leur consentement pourrait avoir des répercussions négatives sur le taux de réponse. Cette inquiétude découle de la difficulté qu'a le secteur de la recherche, dans la conception des questionnaires pour le gouvernement du Canada, à trouver le juste équilibre entre l'application de ses pratiques exemplaires et de la nécessité de satisfaire aux besoins du gouvernement dictés par la loi ou les politiques (à l'échelle des ministères ou du gouvernement dans son ensemble). C'est le cas par exemple pour toute l'information à fournir au tout début des sondages téléphoniques.

    La grande majorité des représentants du secteur de la recherche et du milieu universitaire estiment, preuves à l'appui, que la plupart des répondants à un sondage décident de participer ou de ne pas participer à un sondage dans les premières minutes de l'entrevue. Par conséquent, il existe un lien direct entre l'entrée en matière d'un sondage et le taux de réponse. En d'autres termes, pour la plupart des enquêtes téléphoniques, une introduction succincte et bien conçue aura pour effet d'accroître le taux de réponse, tandis qu'une présentation plus longue et détaillée aura pour effet de réduire le taux de réponse.

    Actuellement, en vertu des normes de l'ARIM et des pratiques communes adoptées au sein du gouvernement du Canada, au cours de l'entrée en matière des sondages, on doit :

    • se présenter et donner le nom de l'entreprise;
    • décrire brièvement les questions abordées dans le sondage, le but de ce dernier et les fins auxquelles les données recueillies seront utilisées;
    • assurer la confidentialité et l'anonymat des réponses;
    • faire savoir aux répondants que leur participation est volontaire.

      Certains membres ont indiqué que, en exigeant des entreprises qu'elles demandent aux répondants leur consentement (d'une façon ou d'une autre), cela aurait non seulement pour effet de prolonger l'entrée en matière, mais également d'avoir des répercussions négatives sur le taux de réponse, voire sur la qualité des données. Les membres de l'industrie ont dit pouvoir affirmer par expérience que ce type de question diminuait le taux de collaboration.

  • D'autre part, certains membres ont dit craindre que, bien que l'on informe les participants éventuels à un sondage que leur participation est volontaire, certains membres du grand public croient que la participation aux sondages du gouvernement est malgré tout obligatoire. Par conséquent, de leur avis, lorsqu'on demande aux répondants leur consentement explicite, on leur signifie une fois de plus qu'ils sont libres de participer. Un membre a également soulevé un autre argument en faveur de la question sur le consentement en lien avec la qualité des données. En effet, il se peut que si les participants prennent part à un sondage parce qu'ils s'y croient obligés, ils risquent de répondre à certaines questions en n'exprimant pas leurs opinions personnelles mais plutôt en se pliant aux critères socialement acceptables.

Collecte des données : Formation des intervieweurs

Le comité est parvenu à un consensus sur l'adoption d'une version modifiée de la norme ISO 5.2 intitulée Management, Recruitment and Training of Fieldworkers pour la formation des intervieweurs. Remarque. – L'ARIM adoptera également ces normes.

NORMES

5.2.1 Gestion, recrutement et formation du personnel de terrain – Généralités

  • Lorsque l'on confie des travaux sur le terrain en sous traitance, on doit respecter les exigences énoncées ci dessous pour s'assurer que le sous-traitant se conforme aux pratiques et aux normes énoncées dans cette section.
    • Le fournisseur de services de recherche doit assumer l'entière responsabilité de l'ensemble des services fournis dans le cadre du projet, y compris tout volet des travaux qui pourrait être confié en sous traitance ou imparti, ainsi que des services offerts en vertu de la norme internationale, sauf lorsque le choix du sous traitant n'appartient pas au fournisseur de services de recherche.
    • Le fournisseur de services de recherche doit décrire la procédure de sélection des sous traitants, d'attribution des marchés à ces derniers et de contrôle de qualité des services fournis.
    • Le fournisseur de services de recherche doit fournir aux sous traitants les instructions nécessaires pour qu'ils puissent s'acquitter de la partie des travaux de recherche qui leur est confiée en sous traitance, en conformité avec les modalités contractuelles et la norme internationale.
    • Le fournisseur de services de recherche doit évaluer le rendement des sous traitants et tenir des dossiers pertinents, notamment en ce qui concerne les services insatisfaisants reçus.

Remarque. – Ces dispositions s'appliquent tant aux fournisseurs de services de recherche qui gèrent, recrutent et forment leur propre personnel de terrain qu'à ceux qui impartissent ou donnent en sous traitance les travaux sur le terrain à des entreprises indépendantes de collecte des données.

5.2.2 Personnel de gestion de la collecte des données

  • Le personnel de gestion de la collecte des données doit recevoir la formation nécessaire pour être en mesure d'exécuter les tâches qui lui seront confiées, y compris la répartition du travail, le contrôle du déroulement des travaux, la formation et l'évaluation du personnel de terrain, ainsi que la validation du travail.
  • Le personnel de gestion de la collecte des données doit également être évalué périodiquement et bénéficier d'une formation continue au besoin.
  • Les renseignements concernant la formation et les compétences du personnel de gestion de la collecte des données doivent être consignés par écrit par le fournisseur de services de recherche.

5.2.3 Recrutement du personnel de terrain

  • Le fournisseur de services de recherche doit évaluer la compétence du personnel de terrain éventuel en fonction de son expérience de travail antérieure et de ses qualifications, ainsi qu'à la suite d'une entrevue d'embauche et à la lumière des recommandations fournies par d'anciens employeurs. Il doit établir le niveau d'expérience pertinente, s'il y a lieu, du candidat par rapport au travail à faire, y compris les projets précis à entreprendre. L'évaluation des compétences pourrait inclure, selon les besoins, la compétence linguistique, y compris la capacité de suivre les instructions dans les langues à utiliser pour la collecte des données et une compétence équivalente à celle de la langue maternelle dans les langues à utiliser pour la collecte des données.
  • Tous les renseignements pertinents relatifs au personnel de terrain obtenus dans le cadre du processus d'embauche ou par la suite (p. ex., formation reçue et résultats de validation) doivent être consignés par écrit et conservés pendant la durée du mandat de chaque employé chez le fournisseur de services de recherche et pendant un an par la suite.
    • Bien que la période de conservation de un an indiquée ci dessus réponde aux exigences de la norme, d'autres exigences, dont certaines d'ordre juridique, pourraient nécessiter une plus longue période de conservation des dossiers de personnel de terrain.
    • Lorsque le personnel de terrain est embauché par l'intermédiaire d'un bureau de placement, les dossiers d'embauche peuvent être moins détaillés, mais devraient néanmoins faire état des compétences clés et de l'expérience antérieure pertinente.

5.2.4 Formation de base du nouveau personnel de terrain

  • À moins d'indication contraire, tout le personnel de terrain doit suivre une formation de base jusqu'au niveau précisé ci dessous. Cette formation doit être fournie par le fournisseur de services de recherche, à moins qu'un autre fournisseur de services de recherche répondant aux normes confirme que la personne a déjà reçu la formation de base pertinente (selon les tâches à effectuer). Les méthodes de formation doivent être choisies par le fournisseur de services de recherche, conformément aux exigences ci dessous.
  • Le contenu et la portée de la formation de base doivent être fonction de la nature du travail à faire (p. ex. entrevue téléphonique). Si le personnel de terrain est utilisé subséquemment pour un travail d'une autre nature (c. à d. autre que celui qui est prévu dans la formation de base déjà reçue), y compris la tenue d'interviews téléphoniques assistées par ordinateur (ITAO), le supplément de formation approprié doit être donné. La formation de base porte à tout le moins sur les aspects suivants :
    • une introduction aux principes, aux buts et aux objectifs de la recherche sur les marchés, les opinions et à caractère social;
    • la manière d'aborder un répondant, y compris les rôles de l'intervieweur et du répondant, ainsi que la présentation l'intervieweur, de l'entreprise et du sondage;
    • le comportement de l'intervieweur et les techniques de rétroaction, ainsi que leurs répercussions sur les répondants;
    • les techniques utilisées pour entrer en relation avec le répondant, le mettre en confiance et obtenir sa collaboration, ainsi que le respect de son droit à la vie privée;
    • les techniques de la conduite de l'entrevue, y compris la façon de poser des questions d'une manière non directive, les techniques d'approfondissement, de clarification et d'élaboration, la façon de poser les questions telles qu'elles sont rédigées et de consigner correctement les réponses, ainsi que les techniques pour traiter les cas difficiles;
    • les jeux de rôle d'entrevue et les entrevues simulées (ou autres formes de méthodes de collecte des données);
    • s'il y a lieu, l'utilisation des ordinateurs (p. ex. pour les ITAO);
    • les méthodes relatives à la consignation des données sur la disposition des appels;
    • les procédures de surveillance, de vérification, de validation et d'évaluation;
    • la façon de clore l'entrevue et de remercier le répondant;
    • la mise en évidence de toute question ou préoccupation pertinente soulevée par un répondant.
  • Si possible, les intervieweurs devraient être supervisés par le personnel de gestion de la collecte des données le jour de leur entrée en fonction (se reporter au point 5.4.2), et une rétroaction devrait leur être donnée. Sinon, tout le travail effectué au cours de la première affectation doit être validé conformément au point 5.4.
  • La durée minimale de la formation de base à la conduite des entrevues téléphoniques (abstraction faite de tout supplément de formation organisationnelle fournie – se reporter au point 5.2.5) doit être de six heures. À peu près la moitié de la formation doit être offerte de façon interactive de manière à permettre le dialogue entre le formateur et le participant.
    • Lorsque les tâches de collecte des données sont très simples, la durée minimale de la formation de base peut, par exception, être inférieure à celle qui est indiquée ci dessus et elle peut être donnée au moment où le personnel reçoit les instructions sur le projet. Les raisons pour lesquelles une formation moins longue est donnée doivent être consignées par écrit, et si le personnel de terrain est affecté ultérieurement à un autre projet, la formation de base complète devra lui être offerte.
    • La durée prescrite de la formation de base devrait être considérée comme minimale et, selon la nature des travaux à exécuter, une formation plus poussée peut être nécessaire.
  • Les renseignements concernant la formation de base donnée au personnel de terrain (contenu, durée et identité du formateur) doivent être consignés par écrit. Le formateur et le participant doivent attester que les dossiers de formation sont authentiques en apposant leur signature ou par d'autres moyens équivalents.

5.2.5 Formation organisationnelle du personnel de terrain

  • En plus de la formation de base prévue au point 5.2.4, le fournisseur de services de recherche doit former tout le personnel de terrain à ses exigences particulières, y compris à la gestion et à l'organisation de la collecte des données. Les méthodes employées pour offrir ce type de formation et le contenu relèvent du fournisseur de services de recherche, mais les dossiers du personnel de terrain doivent faire état de la formation organisationnelle fournie et des méthodes employées à cette fin. Remarque. – La formation organisationnelle peut être offerte dans le cadre de la formation de base ou au moment où les instructions sont fournies au personnel à sa première affectation.
  • Les principales exigences et les instructions générales que doit suivre le personnel de terrain doivent également être consignées dans un document laissé à la disposition de ce dernier et à l'usage du fournisseur de services de recherche.

5.2.6 Formation continue et évaluation du personnel de terrain

  • Le personnel de terrain auquel fait régulièrement appel le fournisseur de services de recherche (c. à d. pour cinq projets/vagues de projets ou plus au cours d'une année civile) doit être évalué au moins une fois par année. Le personnel de terrain auquel le fournisseur de services de recherche fait appel moins souvent doit être évalué à des intervalles appropriés. Cette évaluation doit permettre une interaction entre le personnel de terrain et le personnel de gestion de la collecte des données du fournisseur de services de recherche (en personne ou au téléphone) et prévoir une rétroaction sur la validation du travail. Remarque. – On peut assurer une évaluation efficace de façon continue, le personnel de gestion de la collecte des données fournissant une rétroaction au personnel de terrain une fois le travail validé (p. ex. en surveillant les intervieweurs au téléphone).
  • L'évaluation devrait être effectuée par exemple à partir des résultats de la vérification des questionnaires, de la validation du travail sur le terrain ou des entrevues assistées ou surveillées. L'évaluation, ou un autre moyen, peut permettre de cerner les besoins en matière de formation d'appoint de chaque membre du personnel de terrain.
  • Les rapports d'évaluation et les renseignements sur la formation d'appoint offerte doivent être consignés et conservés dans les dossiers du personnel de terrain. Les deux parties doivent attester que l'évaluation et la formation ont eu lieu en apposant leur signature ou par d'autres moyens équivalents.

Collecte des données : instructions

Le comité est parvenu à un consensus sur l'adoption d'une version modifiée de la norme ISO 5.3.4 intitulée Project Briefing pour les enquêtes téléphoniques personnalisées. (L'ARIM est également en voie de l'adopter.)

Cependant, les membres ne sont pas parvenus à s'entendre sur la façon dont ces exigences devraient s'appliquer dans le cadre de sondages omnibus ou d'études multi intérêts. Certains membres du comité ont estimé ne pas avoir les compétences requises pour s'exprimer sur les types d'exigences qui devraient être imposées aux entreprises de recherche qui offrent ces services. Voici un résumé des points de vue exprimés par le comité :

  • deux membres du comité ont dit estimer que la norme devrait s'appliquer aux deux types de sondages, l'un ajoutant que les entreprises de recherche devraient être tenues de fournir des instructions sur papier tant pour les sondages omnibus que pour les études multi intérêts;
  • un des membres a indiqué que les entreprises qui effectuent des sondages omnibus devraient fournir des instructions aussi détaillées pour les sondages omnibus que pour toutes les enquêtes qu'elles mènent, mais a ajouté que, selon lui, la norme ne devait pas s'appliquer aux études multi intérêts;
  • un des membres du comité estimait qu'il ne fallait pas imposer ce type d'exigence pour les sondages omnibus. Dans le cas des études multi intérêts, cette personne a dit que les clients éventuels devraient demander aux entreprises de décrire les étapes suivies pour instruire les interviewers, mais qu'on ne devrait pas exiger que le gouvernement fasse exclusivement appel aux fournisseurs qui se plient à cette norme.

NORMES

5.3.4 Instructions

  • Le personnel de terrain doit assister à une séance d'information ou recevoir des instructions sur chaque projet (ou chaque vague de projets), même s'il ne commence à y participer qu'une fois le projet engagé.
    • La séance d'information ou les instructions doivent fournir de plus amples renseignements (outre ceux qui seront fournis aux répondants au sondage en guise de présentation) sur le contexte du projet, par exemple les raisons pour lesquelles il est entrepris, pour qui il l'est et à quoi servira l'information recueillie.
    • Cette séance d'information ou ces instructions doivent être données par un membre du personnel qui comprend parfaitement les exigences du projet.
    • Bien qu'il soit préférable que l'information ou les instructions soient fournies en personne, elles peuvent l'être par téléphone, au moyen d'un enregistrement (audio ou vidéo), par écrit ou par tout autre moyen, dans la mesure où l'on consigne dans les dossiers la teneur de l'information ou des instructions et que ces dernières ont été données à tout le personnel de terrain affecté au projet. Remarque. – Si possible, on devrait éviter de donner l'information ou les instructions par écrit seulement.
  • Les instructions doivent être suffisamment détaillées pour permettre à chaque intervieweur de se familiariser avec le questionnaire, l'échantillon et la sélection des répondants, ainsi qu'avec les difficultés qui pourraient surgir dans le déroulement du sondage. Les intervieweurs doivent se familiariser avec le libellé de chaque question avant de commencer les entrevues. Les normes de pratique incluent généralement la répétition de l'entrevue et la mise à l'essai.
  • La séance d'information ou les instructions relatives à un projet de recherche quantitative doivent inclure, selon le cas, les renseignements suivants :
    • les dates du travail sur le terrain;
    • la procédure d'échantillonnage;
    • les échantillons déterminés par quotas à couvrir;
    • la méthode;
    • les autres exigences particulières du projet;
    • les instructions ou conditions relatives à l'administration du questionnaire.

Collecte des données : Incitatifs et honoraires

Les membres sont parvenus à un consensus sur la possibilité d'offrir des incitatifs (financiers ou autres) ou des honoraires aux répondants pour optimiser le taux de réponse et améliorer la qualité des données. Ils étaient également d'accord sur les lignes directrices à adopter concernant les types de sondages ou les circonstances où des incitatifs ou des honoraires pouvant être offerts.

Le comité était d'accord dans l'ensemble pour dire qu'il suffisait de demander aux entreprises qui effectuent des études multi intérêts d'indiquer dans leur rapport quels types d'incitatifs ou d'honoraires avaient été attribués.

Lignes directrices sur l'attribution d'incitatifs et d'honoraires

  1. Les incitatifs financiers ne devraient être utilisés que lorsqu'il y a de fortes raisons de croire qu'ils permettront d'améliorer le taux de réponse ou la qualité des réponses.
  2. Avant de décider d'attribuer des incitatifs (financiers ou autres) ou des honoraires aux répondants, on devrait évaluer soigneusement la possibilité de biais attribuable à la non réponse par rapport à la possibilité que le recours à ces incitatifs ou honoraires ait des répercussions sur la composition de l'échantillon (p. ex. les personnes qui acceptent de participer au sondage) ou encore sur la teneur des réponses à certaines questions.
  3. L'attribution d'incitatifs (financiers ou autres) ou d'honoraires peut être considérée comme une stratégie permettant d'améliorer les taux de réponse dans les circonstances suivantes, individuellement ou réunies :

    • à des étapes ultérieures du processus d'enquête sur le terrain plutôt que pour toutes les entrevues;
    • lorsque le fardeau de réponse est très ou exceptionnellement important pour le répondant (p. ex. pour les entrevues d'une durée de plus de 30 minutes, lorsque les répondants doivent se préparer pour l'entrevue ou si l'étude est complexe);
    • lorsqu'il s'agit d'une population cible à faible incidence (p. ex. représentant 5 p. 100 ou moins de la population) ou très limitée (p. ex. utilisateurs de piles à hydrogène);
    • lorsque la population est formée de groupes cibles difficiles à joindre (p. ex. médecins, chefs d'entreprise, autochtones hors réserve, nouveaux immigrants ou arrivants);
    • lorsqu'on peut démontrer que :
      1. cette mesure entraînera des économies (p. ex. l'attribution d'incitatifs ou d'honoraires coûtera moins cher qu'un grand nombre d'appels de relance),
      2. cette mesure est nécessaire pour respecter le calendrier de l'étude.

    Remarque. – En aucun cas les employés du gouvernement du Canada ne doivent toucher d'incitatifs financiers ni d'honoraires.

  4. Envisager le recours à des incitatifs non financiers si possible et s'il y a lieu. Il peut s'agir par exemple de livres à colorier dans le cas de sondages destinés aux enfants ou d'une copie des résultats du sondage (résumé, faits saillants, etc.). Néanmoins, la nature de l'incitatif retenu ne doit en aucun cas influencer les réponses éventuelles aux questions du sondage.
  5. Les incitatifs financiers ou honoraires sous forme d'argent comptant (qu'ils soient remis directement au répondant ou à un organisme de bienfaisance de son choix), de chèques cadeaux ou de billets de participation à un tirage peuvent aussi être envisagés. Le montant versé en argent ou en chèque cadeau devrait être le plus bas possible sans néanmoins compromettre l'efficacité de l'incitatif ou des honoraires.
  6. Le recours à des incitatifs (financiers ou non financiers) ou à des honoraires dans le cadre d'un sondage requiert également certaines décisions et la consignation par écrit de divers renseignements :

    • le moment où les incitatifs ou honoraires doivent être attribués, soit au premier contact ou après le sondage;
    • les destinataires des incitatifs ou honoraires, soit tous les contacts (qu'ils répondent ou non au sondage) ou seulement ceux qui participent;
    • la méthode de distribution des incitatifs ou honoraires qu'emploiera l'entreprise de recherche et les coûts connexes (p. ex. les heures de travail et les frais directs).

    La nature et la valeur des incitatifs ou honoraires doivent être indiquées dans le rapport final.

Collecte des données : appels de relance

Le comité en est venu à un consensus sur l'adoption de la norme suivante concernant les appels de relance.

NORME

À moins que les circonstances ne dictent un nombre différent de tentatives d'appels de relance et l'établissement d'un calendrier d'appels de relance, on doit faire un nombre minimal de huit appels de relance en variant le jour et l'heure de chaque appel.

Les membres ont toutefois formulé un certain nombre d'observations concernant le nombre minimal de huit appels de relance exigé :

  1. Statistique Canada a mené des études qui démontrent que huit appels de relance suffisent pour obtenir une couverture appropriée.
  2. Un nombre minimal de huit appels de relance constitue peut être une exigence convenable dans le contexte de la recherche gouvernementale mais, a-t-on souligné, il surpasse les normes de l'industrie. De plus, bien qu'une augmentation du nombre d'appels de relance puisse se traduire par une augmentation des taux de réponse, certaines études ont permis d'établir que les taux de réponse faibles, à eux seuls, n'ont pas de répercussions sur la validité des résultats des sondages.

    Bien que les membres aient accepté un nombre minimal de huit d'appels de relance comme norme, certains étaient d'avis :

    1. qu'il pourrait être intéressant de compiler les données sur les dispositions des appels de sondages fédéraux pour différents groupes cibles afin de déterminer de façon générale quel est le nombre d appels de relance optimal et, plus particulièrement, d'examiner le rapport coût avantages associé au nombre de tentatives d'appels de relance;
    2. qu'on devrait faire un renvoi aux recherches de Statistique Canada sur les tentatives de contact comme fondement pour justifier l'établissement d'un nombre minimal de huit appels de relance par TPSGC.

    Un des membres du conseil a dit estimer qu'un nombre minimal de dix appels de relance serait approprié.

  3. On a également souligné :
    • que, dans certaines situations, le nombre d'appels de relance exigé est difficilement conciliable avec le temps dont on dispose pour effectuer le travail sur le terrain (p. ex premières réactions du public à une annonce politique);
    • que la plupart des études multi intérêts et omnibus prévoient moins de huit appels de relance;
    • que les études à petite échelle, c'est à dire les études ayant une portée ou un budget limités, ne requièrent pas nécessairement autant de rigueur ou ne permettent pas de respecter cette exigence sur le plan financier;
    • que la comparabilité des résultats risque d'être compromise si cette exigence implique une modification de la procédure de collecte des données pour les sondages permanents (p. ex les enquêtes de suivi).

Collecte des données : Critères relatifs au nombre d'intervieweurs unilingues, bilingues et parlant une langue tierce

On a demandé au comité de se prononcer sur les questions suivantes.

Les entreprises de recherche par sondages affectent couramment leurs intervieweurs bilingues dans les régions où l'on compte une proportion importante tant d'anglophones que de francophones (Montréal, Nord du Nouveau-Brunswick, Est et Nord de l'Ontario).

Les intervieweurs unilingues sont pour leur part affectés dans les régions où l'on compte une proportion bien moindre de membres des minorités linguistiques. Dans ces régions, si l'intervieweur rencontre un répondant d'une minorité linguistique, il lui demande si un autre intervieweur (qui parle la langue de ce répondant) peut le rappeler pour mener l'entrevue dans sa langue.

Cette approche n'est pas idéale, car elle exige au moins un autre appel téléphonique, ce qui réduit nécessairement le taux de réponse des minorités linguistiques dans la région. Il faut cependant mettre en balance cet inconvénient et ce qu'il en coûterait pour embaucher plus d'intervieweurs bilingues.

  1. Y-a-t-il une limite raisonnable pour ce qui est du pourcentage de la population totale qu'une minorité linguistique pourrait constituer dans une région qui serait considérée comme acceptable pour les entreprises de recherche d'utiliser les services d'intervieweurs unilingues?
  2. Y-a-t-il d'autres solutions à ce problème?

On a également demandé au comité d'indiquer si les mêmes exigences ou solutions devraient être appliquées dans certaines régions du Canada où une bonne partie de la population parle une langue tierce.

Le comité est parvenu à un consensus sur les deux questions.

1. Critères relatifs au nombre admissible d'intervieweurs unilingues et bilingues

Les membres se sont entendus pour établir une ligne directrice seulement, reprenant les principes suivants :

  • dans la pratique, il est d'usage de confier à un intervieweur possédant les compétences linguistiques nécessaires l'appel de relance, et cette approche est considérée comme efficace. On estime également qu'elle a très peu de répercussions sur le niveau de coopération ou le taux de réponse;
  • le personnel est affecté en fonction des exigences de chaque sondage, énoncées dans l'EDT et le projet de recherche, en vertu desquelles les entreprises sont tenues d'expliquer les moyens qu'elles entendent prendre pour mener l'entrevue dans la langue (typique ou atypique) qui convient. De plus, les entreprises doivent décrire et démontrer leur capacité et leurs pratiques dans les deux langues dans leur réponse à la DOC;
  • on devrait laisser aux entreprises de recherche le soin de régler cette question (c'est une question de dotation et d'ordre économique);
  • la plupart des membres ne considéraient pas cette question comme un problème important et ont indiqué qu'il n'y avait probablement pas de solutions idéales de dotation ou d'ordre technologique.

Les membres en sont venus à un consensus sur l'adoption de la ligne directrice ci dessous en plus de la norme sur les appels de relance.

NORME

À moins que les circonstances ne dictent un nombre différent de tentatives d'appels de relance et l'établissement d'un calendrier d'appels de relance, on doit faire un nombre minimal de huit appels de relance en variant le jour et l'heure de chaque appel.

LIGNE DIRECTRICE

Les entreprises de recherche devraient réduire le nombre d'appels de relance en cas de mauvais assortiment des langues au premier contact.

2. Critères relatifs au nombre admissible d'intervieweurs parlant une langue tierce

Le comité a exprimé bon nombre des mêmes commentaires sur l'adoption d'une norme ou d'une ligne directrice pour les intervieweurs parlant une langue tierce que pour les intervieweurs unilingues ou bilingues. Cependant, il est parvenu à un consensus sur les points suivants :

  • aucune norme ni aucune ligne directrice ne doit être élaborée. Quand un sondage nécessitera des compétences dans une langue tierce, cette exigence sera prévue dans l'EDT et décrite en détail dans le projet de recherche;
  • si TPSGC souhaite établir des exigences relatives aux intervieweurs parlant une langue tierce, il devrait le faire dans le cadre du processus de DOC.

Collecte des données : Surveillance et validation du travail sur le terrain

Le comité a convenu d'adopter une version modifiée de la norme ISO 5.4 intitulée Fieldwork Validation pour la surveillance et la validation du travail sur le terrain. Remarque. – L'ARIM adoptera également cette norme.

Sur la question de la nécessité d'établir des exigences différentes pour la surveillance des sondages selon les caractéristiques de ces derniers, le comité a dit juger que les mêmes exigences minimales devraient s'appliquer à tous les sondages, c'est à dire que : « Le niveau minimal de validation par surveillance doit être de 10 p. 100 des entrevues ou cas, et moins 75 p. 100 de chaque entrevue ou cas doit être surveillée ou écoutée. ». De cette façon, s'il est nécessaire de prévoir un niveau de surveillance plus élevé, on pourra le faire à la phase de conception du sondage.

NORMES

5.4.1 Validation du travail sur le terrain – Généralités

  • Le but de la validation est de vérifier si les données recueillies par le personnel de terrain l'ont été conformément aux instructions du projet, notamment en ce qui a trait à l'ordre prévu de présentation des questions et au respect des exigences générales (p. ex. celles qui ont été abordées au moment de la formation du personnel de terrain).
  • La validation doit être effectuée dès que possible après la fin du travail sur le terrain (au plus tard dans les six semaines) et idéalement avant que les données recueillies soient traitées ou communiquées aux clients.
  • La validation doit être organisée par le personnel de gestion de la collecte des données et, dans tous les cas, confiée à une seconde personne (autre que le membre du personnel de terrain visé).
  • Toutes les données recueillies dans le cadre d'un projet (ou d'une vague de projets) doivent être validées au moyen des méthodes décrites au point 5.4.2 ci dessous. Dans la validation, on doit prendre en considération :
    • la nécessité de valider le travail de tout membre du personnel de terrain recruté récemment et qui en est à sa première affectation;
    • la nécessité de valider fréquemment, mais pas systématiquement pour chaque projet, le travail du personnel de terrain couramment employé (les résultats de la validation peuvent influer sur la fréquence de toute validation subséquente du travail d'un membre du personnel de terrain).
  • Les dossiers consignés pour le personnel de terrain employé par le fournisseur de services de recherche doivent comporter des renseignements sur la validation, y compris les dates et les projets, de chacun.
  • Si la validation permet de relever des anomalies ou des problèmes, on doit prendre des mesures correctives en trois temps :
    1. projet : tout le travail de l'intervieweur doit être validé et les entrevues non valables, rejetées;
    2. travailleur de terrain (p. ex. formation d'appoint ou affectations à venir) : en cas d'anomalies importantes (p. ex. entrevues contrefaites), on revérifiera et validera son travail récent ou en cours;
    3. client : si le problème relevé au moment de la validation risque d'avoir des répercussions sur les données qui ont été ou seront remises au client, il faut en informer immédiatement le client.
  • Les clients devraient avoir la possibilité de soumettre à des vérifications la qualité ou la validité du travail de terrain, sous réserve des exigences de la Loi sur la protection des renseignements personnels et les documents électroniques et de l'ARIM, de même que de toute autre restriction d'ordre juridique applicable.

5.4.2 Méthodes de validation

  • Selon leur nature, les données recueillies doivent faire l'objet d'une validation en conformité avec les exigences exposées ci dessous. On doit vérifier les dossiers de données produits (p. ex. questionnaires ou fichiers de données d'ITAO), contacter de nouveau le répondant (on parle aussi d'appel de relance) ou exercer une surveillance.
  • La vérification des dossiers de données peut porter, selon le cas, sur l'intégralité de ces derniers, le respect des échantillons ou des quotas, la cohérence des réponses et la comparaison de ces dernières à des données normales ou aux données d'autres intervieweurs. Ces vérifications peuvent être effectuées manuellement ou par ordinateur. Elles peuvent également se dérouler parallèlement à la vérification d'autres dossiers.
  • Au cours des appels de relance, on doit confirmer auprès des répondants que l'entrevue ou une activité équivalente a bel et bien eu lieu et que les instructions ont été suivies, ainsi que vérifier la durée de l'entrevue et les réponses aux questions clés, y compris les données démographiques et les autres questions de qualification liées aux quotas, etc. Les appels de relance peuvent être effectués à l'aide de tout moyen impliquant une communication directe avec le répondant (p. ex. en personne, par téléphone, par la poste ou par courriel).
  • Une surveillance doit être assurée de façon continue, pendant toute la durée du travail sur le terrain. Par surveillance, on entend l'écoute des entrevues au moment où elles ont lieu, au moyen d'un équipement approprié, ou des enregistrements des entrevues après coup. On doit entendre tant l'intervieweur que le répondant. Les intervieweurs doivent être conscients du fait qu'ils peuvent être surveillés en tout temps, mais ne doivent pas être informés du moment précis où ils le seront. Lorsque l'entrevue se déroule dans plusieurs langues, la surveillance doit être assurée par du personnel qui parle couramment les langues en question. Les centres dotés d'équipement approprié (centrales téléphoniques) se prêtent particulièrement bien aux activités de surveillance téléphonique.

5.4.3 Niveaux de validation

  • La validation doit être effectuée à tout le moins jusqu'aux niveaux indiqués ci dessous (selon le type de validation). Les niveaux de validation doivent être calculés selon le nombre d'entrevues et de validations effectuées.
  • Pour tous les projets où les données sont recueillies au moyen d'entrevues, la validation doit être effectuée au moment d'appels de relance ou de surveillance jusqu'aux niveaux indiqués ci dessous, que les dossiers de données soient aussi vérifiés ou non.
    • Le niveau minimal de validation par appels de relance doit correspondre à 10 p. 100 des entrevues ou cas.
    • Le niveau minimal de validation par surveillance doit être de 10 p. 100 des entrevues ou cas, et au moins 75 p. 100 de chaque entrevue ou cas doit être surveillée ou écoutée.
  • Chaque membre du personnel de terrain affecté à un projet doit faire l'objet d'une surveillance ou d'un contrôle de validation.
  • Dans certaines situations exceptionnelles, il pourrait être impossible du point de vue organisationnel de faire, en partie ou en totalité, les appels de relance ou la surveillance requis ou encore lorsque cela risque d'aller à l'encontre des intérêts des répondants. Dans ces cas, on doit indiquer dans le dossier de projet pourquoi les appels ou la surveillance n'ont pas été faits et les mesures prises (p. ex. vérification des dossiers de données) pour valider les données recueillies.

5.4.4 Validation des dossiers

  • Pour chaque projet ou vague de projets, on doit préparer des rapports sur la validation effectuée. Ces rapports doivent contenir les renseignements suivants :
    • le nom de la personne qui a fait la validation;
    • une description des méthodes de validation utilisées, y compris la teneur des appels de relance, s'il y a lieu;
    • l'identité de l'intervieweur dont le travail a été validé;
    • une description de toute anomalie constatée;
    • de l'information sur les mesures correctives ou préventives prises ou prévues concernant le projet ou l'intervieweur;
    • une confirmation selon laquelle le niveau de validation requis a été atteint (p. ex. nombre d'entrevues totales et nombre de validations).
  • Les dossiers de validation doivent être accessibles par projet ou vague de projets et par membre du personnel de validation.

Navigation pour Document « Comité consultatif sur la qualité des sondages d'opinion publique par téléphone – rapport final le 1er février 2007 »