À la suite des délibérations du comité sur divers points en lien avec le taux de réponse, plusieurs thèmes généraux se sont dégagés concernant le rôle et l'importance du taux de réponse dans le cadre des sondages téléphoniques.
Le comité est parvenu à un consensus sur l'établissement de normes et de lignes directrices sur les aspects suivants du taux de réponse :
Le comité a également formulé des recommandations concernant les taux de réponse d'unité et d'item. La recommandation relative à la réponse d'item figure dans la section sur les analyses du biais de non réponse. Toutes les autres recommandations ont trait à la réponse d'unité.
Le comité est parvenu à un consensus quant à l'appui de la norme suivante :
Le taux de réponse doit être calculé à partir de la méthode empirique de calcul du taux de réponse à un sondage de l'ARIM, et le taux de réponse et les renseignements connexes sur la distribution des appels doivent être publiés dans le rapport final.
L'ARIM a aussi adopté une version modifiée de la méthode de calcul du taux de réponse (la méthode d'estimation) recommandée par Statistique Canada comme deuxième méthode. L'ARIM recommande que, lorsque la méthode d'estimation a été utilisée, le taux de réponse ainsi obtenu soit communiqué en plus du taux de réponse obtenu par la méthode empirique.
Le comité a appuyé la position de l'ARIM et a admisque la méthode d'estimation pouvait s'avérer utile dans certaines circonstances. On a proposé de prendre toute décision concernant la communication des données calculées à l'aide de la méthode d'estimation au cas par cas. Ainsi, voici la ligne directrice recommandée :
Lorsque le responsable de projet et l'entreprise de recherche jugent cette information utile, le taux de réponse établi à l'aide de la méthode d'estimation de l'ARIM peut être communiqué en plus du taux de réponse établi à partir de la méthode empirique.
Comme on l'a indiqué plus haut dans la section « Aperçu », bien que le taux de réponse ne soit pas une mesure directe de la qualité des données, il constitue un indicateur important du risque que les données des biais de non réponse peuvent représenter pour la qualité. Dans cette perspective, le comité a formulé les recommandations sur l'analyse des biais de non réponse qui sont résumées ci dessous.
Voici un énoncé plus complet des normes et des lignes directrices proposées par le comité concernant l'analyse de la possibilité de biais de non réponse.
Voici d'autres remarques concernant les délibérations du comité à l'égard des normes et lignes directrices énoncées ci dessus.
Au cours de ses délibérations sur l'analyse des cas de non réponse, le comité a examiné l'approche adoptée par l'OMB, qui recommande essentiellement que ces analyses soient effectuées seulement lorsque les circonstances portent à croire qu'il y a possibilité de biais. Par exemple, voici la ligne directrice établie par l'OMB : « Planifier une analyse du biais de non réponse si l'on prévoit un taux de réponse d'unité inférieur à 80 p. 100. » Le comité est toutefois d'avis qu'une analyse du biais de non réponse devrait systématiquement être effectuée pour diverses raisons.
Comme on le souligne à la section qui suit sur les taux de réponse cibles, le comité a jugé que le meilleur moment pour examiner le taux de réponse et la possibilité de biais de non réponse était l'étape de la planification du sondage, cet examen pouvant constituer un outil efficace de gestion du risque de biais de non réponse.
La norme suggérée prévoit des analyses du biais de non réponse au niveau des unités et des items, les analyses d'items devant porter sur des variables importantes du sondage. Le comité a examiné la ligne directrice de l'OMB concernant l'analyse du biais de non réponse à l'échelle des items : « Planifier une analyse du biais de non réponse si l'on prévoit un taux de réponse d'item inférieur à 70 p. 100 pour l'un ou l'autre des items présentés dans le rapport. » Le comité était d'avis que le taux de réponse d'item de l'OMB est trop souple, puisqu'il est assez rare que l'on récolte pour les variables des sondages téléphoniques menés par le gouvernement du Canada des taux de réponse inférieurs à 70 p. 100. Par prudence, il recommande de toujours effectuer une analyse de biais de non réponse pour les variables importantes des sondages, parce que même les taux de réponse d'items élevés peuvent être associés à un biais de non réponse.
Le comité souhaite que les analyses des cas de non réponse effectuées dans le cadre de tous les sondages téléphoniques le soient à l'aide de méthodes relativement peu coûteuses et à partir de l'information normalement recueillie dans le cadre des sondages téléphoniques. Des exemples d'analyses sont mentionnés dans la ligne directrice 1. On pose comme hypothèse que le temps nécessaire à l'exécution de ces analyses pourrait être prévu dans le projet de recherche de l'entreprise et, par conséquent, dans le marché ultérieur. On a ajouté qu'il serait également avantageux, pour le responsable de projet, que le temps prévu pour les analyses des cas de non réponse soit détaillé dans le projet de recherche.
Certains membres du comité ont souligné que, dans le domaine des analyses du biais de non réponse, les techniques et les connaissances empiriques concernant la relation entre le taux de réponse et la possibilité de biais des non réponse dans les sondages téléphoniques d'opinion publique n'étaient pas encore tout à fait au point. Dans ce contexte :
La présente ligne directrice vise les cas où une analyse du biais de non réponse plus approfondie, dont la portée dépasse le cadre normalement prévu dans un marché type de services de sondage téléphonique, pourrait se révéler nécessaire, par exemple un sondage de suivi auprès des non répondants. La nécessité et les avantages de cette démarche « plus coûteuse » devraient être indiqués parallèlement à ceux des analyses de non réponse « moins coûteuses » habituellement effectuées dans le cadre de tout sondage. S'il s'avère nécessaire d'effectuer une analyse plus approfondie, alors on pourrait soit établir une modification au contrat ou attribuer un autre contrat au montant des coûts prévus.
Le comité a tâché de déterminer quel pourrait être le taux de réponse requis ou souhaitable pour les sondages téléphoniques. À l'instar du taux de réponse, qui peut servir d'indicateur du risque de biais de réponse, un taux de réponse cible peut s'avérer utile à l'étape de la planification du sondage comme outil de gestion de ce risque. L'établissement d'un taux de réponse cible exerce une incidence réelle sur divers aspects de la conception et de la conduite des sondages, notamment sur les tentatives d'appels de relance, la durée du travail sur le terrain, etc.
Voici les normes et la ligne directrice recommandées par le comité.
Compte tenu des délais disponibles pour la conduite du travail sur le terrain et de l'importance du sondage, voici les fourchettes de taux de réponse cibles proposés :
On présente ci dessous des remarques sur les délibérations du comité concernant les normes et la ligne directrice qui précèdent.
La norme 1 vise à reconnaître l'importance du taux de réponse comme indicateur du risque de biais de non réponse tout en soulignant la nécessité de tenir compte, dans l'établissement des taux de réponse cibles, des autres caractéristiques dusondage indiquées, soit « de son importance, des contraintes de temps, du fardeau des répondants et des coûts liés à la collecte des données ». Il importe de mettre tous les facteurs en balance, puisqu'un taux de réponse relativement faible peut en fait ne pas être associé à un biais de non réponse et que, en accordant trop d'importance au taux de réponse à l'étape de la planification du sondage, on risque de ne pas prêter suffisamment d'attention aux autres aspects du sondage susceptibles d'influer sur la qualité des données.
L'objectif de la ligne directrice était de fournir des fourchettes numériques de taux de réponse cibles appropriées auxquelles se reporter dans la planification des sondages téléphoniques d'opinion publique.
Bien que de nombreux aspects de la conception du sondage puissent influer sur le taux de réponse, les membres ont proposé de mettre l'accent sur deux dimensions en particulier pour l'établissement de taux de réponse cibles des sondages téléphoniques d'opinion publique.
Les membres du comité ont proposé ces fourchettes numériques en se fondant sur leur expérience et leur jugement. Ils ont toutefois fortement recommandé que le gouvernement du Canada entreprenne une recherche pour creuser davantage la question.
La norme 2 vise à assurer un dialogue entre le responsable de projet et l'entreprise de recherche concernant le taux de réponse. On s'assurera ainsi :
L'entreprise de recherche devrait à tout le moins formuler des hypothèses sur le taux de réponse cible dans son projet de recherche. De plus, le responsable de projet peut donner de l'information dans l'EDT, notamment indiquer un taux ou une fourchette de taux de réponse cibles (en se reportant par exemple aux fourchettes numériques proposées dans la ligne directrice ou encore à sa propre expérience) ou encore fournir divers facteurs pertinents tels que les délais exigés, l'utilisation prévue du sondage et son importance.
Dans le cas où le taux ou la fourchette de taux de réponse cibles convenus ne serait pas atteint, le comité a recommandé que les entreprises de recherche présentent une analyse en exposant les raisons. Le comité n'était pas d'avis qu'il fallait exiger de l'entreprise de recherche qu'elle poursuive ses efforts afin d'atteindre le taux cible ou encore de la pénaliser, puisqu'il pourra arriver que d'autres facteurs indépendants de la volonté de l'entreprise de recherche aient influé sur le taux de réponse ou n'aient pas été connus au moment de la conception ou de l'établissement des coûts de la recherche.
Dans le rapport Best Practices: Improving Respondent Cooperation for Telephone Surveys préparé par Phoenix Strategic Perspectives pour le compte de la DROP, on présente un certain nombre de « pratiques exemplaires » permettant d'accroître le taux de réponse dans le cadre de la collecte de données. On a demandé au conseil consultatif de déterminer si les pratiques exemplaires relatives aux activités suivantes devaient être exigées à titre de normes ou d'exigences par le gouvernement du Canada :
On aussi demandé au comité de formuler ses commentaires sur la pertinence d'administrer un bref questionnaire aux personnes qui refusent de participer à une entrevue ou la termine avant la fin, dans le but d'en connaître les raisons.
Les membres du comité ont convenu qu'il devrait exister une norme relative à la surveillance des raisons de non réponse pendant la collecte des données, ainsi qu'une ligne directrice sur la surveillance des niveaux de non réponse de différents segments de la population pendant la collecte des données.
En ce qui concerne le premier point, soit la surveillance des raisons de non réponse pendant la collecte des données, le comité était d'accord pour dire que cette exigence devait être satisfaite en marge de la norme générale concernant la surveillance du travail sur le terrain de sorte que les entreprises de recherche comprennent parfaitement ce que l'on attend d'elles : a) qu'elles surveillent le processus de collecte de données; et b) qu'elles surveillent l'issue des appels pendant la collecte des données.
Le conseil consultatif s'est entendu pour proposer des lignes directrices sur les différents types de circonstances dans lesquelles il peut être possible ou approprié de surveiller les niveaux de non réponse de différents segments de la population cible. En résumé, cette surveillance peut être assurée lorsque l'on peut : a) cerner des segments ou des variables à surveiller; et b) établir qu'il y a bien une relation entre ces derniers et le taux de réponse.
Ce pourrait être par exemple le cas pour un échantillon de la population générale sélectionné par SAA où :
À titre de comparaison, si la source de l'échantillon est une liste, les principales variables ou les principaux segments de population peuvent être plus faciles à cerner et à suivre.
Les membres du comité étaient d'accord pour dire que, dans certaines circonstances, on pouvait tenter de convertir les refus en entrevues achevées afin d'améliorer les taux de réponse. Tous ont également convenu que les tentatives de conversion des refus devaient être effectuées avec circonspection et seulement dans certaines circonstances exceptionnelles.
Bon nombre des opinions formulées par le comité sont exposées en détail dans le rapport Best Practices: Improving Respondent Cooperation for Telephone Surveys :
La conversion des refus constitue une dimension importante et essentielle de la collection des données pour les entreprises de recherche. Cette pratique consiste à tenter de convaincre une personne qui a déjà indiqué qu'elle ne voulait pas participer au sondage (ou qui a mis fin à l'entrevue) à répondre. Effectuée au cours d'un appel téléphonique ultérieur, la conversion des refus exige l'intervention d'intervieweurs expérimentés, qui rappellent les personnes qui avaient refusé d'être interviewées au départ afin de les convaincre de participer.
La conversion des refus exige beaucoup de doigté, mais elle peut contribuer à augmenter considérablement le taux de réponse à un sondage téléphonique. En rappelant à un endroit où l'on avait essuyé un refus au départ, on peut réussir à transposer ce refus en entrevue achevée, particulièrement si la personne qui répond n'est pas celle qui avait refusé de participer la première fois. Le niveau de sensibilité à l'égard de la pratique de la conversion des refus peut différer considérablement selon le ministère ou l'organisme qui commande le sondage auprès de la DROP (et le sujet abordé). Le gouvernement du Canada ne veut pas forcer ni donner l'impression de forcer les Canadiens et les Canadiennes à participer à ses sondages téléphoniques. Par conséquent, le recours à la conversion des refus doit être évalué compte tenu du risque de biais de non réponse advenant le cas où certains segments de la population cible n'accepteraient pas d'être interviewés.
Le comité est parvenu à un consensus sur l'adoption des lignes directrices présentées ci dessous.
Si l'on décide de tenter la conversion des refus :
On demandé au comité de formuler ses commentaires sur la pertinence d'établir l'exigence suivante pour tous les sondages du gouvernement du Canada :
Il y a différents types de « refus », qui surviennent à différentes étapes de l'interview. Selon la pratique actuelle, on classe ces « refus » dans l'une des trois catégories suivantes :
Afin de mieux définir la nature du refus à chaque étape de l'entrevue, le gouvernement du Canada pourrait, entre autres approches, élaborer un questionnaire normalisé de très courte durée (comportant deux ou trois questions) pour permettre aux intervieweurs de recueillir davantage d'information sur les raisons pour lesquelles les gens refusent de participer jusqu'à la fin outre celles qui figurent ci dessus (p. ex. les raisons pour lesquelles un répondant n'est pas disposé à participer).
Ainsi, à la lumière de l'information supplémentaire recueillie pendant la collecte des données, on pourrait modifier le questionnaire (p. ex. présentation ou ordre des question) ou le déroulement de l'entrevue.
En général, le comité était d'avis que la formule proposée, c'est à dire questionner davantage les répondants sur leur refus, présente plus d'inconvénients que d'avantages pour le gouvernement du Canada. La principale objection soulevée, particulièrement chez les représentants du gouvernement du Canada, c'est que cela pourrait être perçu comme une insistance aux limites du harcèlement exercée par le gouvernement qui pourrait nuire à son image. De plus :
Il est également vrai que certains membres du comité estimaient que cette information plus détaillée sur les refus pourrait se révéler utile, mais uniquement si l'on pouvait la recueillir sans devoir poser des questions inutiles au public ni accroître le coût de la réalisation des sondages. À ce sujet, on a également tenté de déterminer comment les entreprises de recherche assuraient généralement le suivi des refus à partir d'autre information relative à la base de sondage. Comme le prescrivent les normes de l'ARIM, les membres doivent verser au dossier des renseignements particuliers sur la disposition de l'échantillon de contact. (Remarque. - Ces renseignements sont aussi décrits dans le présent rapport, dans les exigences relatives à la consignation des renseignements sur l'enquête.) L'ARIM se sert des principales catégories de renseignements qu'elle a établies comme données de base dans sa formule de calcul du taux de réponse. Cependant, les dossiers sur les contacts servent à un certain nombre d'autres fins importantes dans le déroulement d'un sondage, par exemple à la surveillance des activités de sondage et à l'évaluation de la base de sondage. Par conséquent, il est d'usage dans l'industrie de consigner dans le dossier des renseignements sur les tentatives de contact en plus de ceux qui sont nécessaires au calcul des taux de réponse,particulièrement dans le cas des refus.
À titre d'illustration, on peut comparer le résultat de la catégorie de calcul du taux de réponse Répondant qualifié termine le sondage avant la fin avec les renseignements détaillés sur les refus que certaines entreprises de sondage versent aux dossiers des contacts, puis on les regroupe dans une seule catégorie générale (soit Répondant qualifié termine le sondage avant la fin) pour calculer le taux de réponse. On tient des dossiers sur les entrevues terminées avant la fin, notamment : a) l'étape ou la question à partir de laquelle le répondant a refusé de continuer; et b) les raisons pour lesquelles il a mis fin à l'entrevue, qu'il les ait lui même indiquées ou que l'intervieweur ait dû les déterminer.
Il ne fait aucun doute que, dans tout sondage, cet élément normalisé de tenue des dossiers permet de recueillir de l'information utile pendant la collecte des données (p. ex. en vue de modifier le questionnaire ou le déroulement des entrevues) ou encore par après (p. ex. pour permettre de déterminer la nature des refus).
À la lumière de ce qui précède, le comité est parvenu à un consensus sur les points suivants :
Faute de renseignements pertinents à ce sujet, les membres ont suggéré pour le moment de laisser le soin au responsable de projet et à l'entreprise de recherche d'adapter s'il y a lieu les dossiers des contacts des sondages à leurs besoins.