Normes et lignes directrices pour le taux de réussite

Cette section décrit les normes et les lignes directrices relatives :

Calcul du « taux de réussite »

Le Comité de l'ARIM sur le taux de réponse a publié dans l'édition de juillet 2007 de Vue un article où l'on discute du concept de taux de réponse dans la mesure où cette notion s'applique aux sondages basés sur le Web (What does response rate really mean in a web-based survey?). La conclusion de l'article est une formule de calcul pour le taux de réussite. On indique également que le Comité de l'ARIM sur le taux de réponse recommande que l'expression « taux de réponse » ne soit pas utilisée dans les rapports sur les données obtenues des collectes effectuées par les sondages sur le Web.

Dans cet article, l'ARIM invite également les commentaires concernant la terminologie proposée relativement aux taux de réussite et aux calculs, ce qui laisse entendre qu'il est possible que la terminologie et les formules évoluent à l'avenir. Dans ce contexte, les membres du comité ont recommandé l'adoption d'une norme qui (a) dit essentiellement de suivre les recommandations du Comité de l'ARIM sur le taux de réponse en vigueur au moment du sondage et (b) de demander un dossier sur les dispositions concernant les contacts qui sont compatibles avec les recommandations de l'ARIM par rapport aux calculs.

Normes - Calcul du « Taux de réussite »

  • Le taux ou le niveau de réussite doit être calculé conformément aux recommandations de l'ARIM. Les résultats doivent faire partie du rapport d'enquête. Le rapport d'enquête doit également montrer un dossier de dispositions de contacts qui comprend les catégories requises pour se conformer aux formules de calcul de l'ARIM.

Analyses du biais de non-réponse

Sondages probabilistes et tentatives de recensement

Le rapport sur les sondages téléphoniques contient une norme et des lignes directrices relatives à l'analyse des biais dus aux non-réponses qui s'applique aux sondages probabilistes et aux tentatives de recensement. Celles-ci s'appliquent également à ce genre de sondages lorsqu'ils sont effectués en ligne. Aux fins de référence, la norme et les lignes directrices sont :

Normes relatives aux sondages probabilistes et aux tentatives de recensement

  • Tous les rapports d'enquête doivent faire état de la possibilité de biais de non-réponse pour le projet dans son ensemble et pour certaines variables particulières. S'il y a effectivement possibilité de biais de non-réponse, tous les moyens devraient être pris pour quantifier ce biais, compte tenu des limites budgétaires du projet. Si cela n'est pas possible, la probabilité et la nature de tout biais de non-réponse éventuel doivent être examinées.

Lignes directrices relatives aux sondages probabilistes et aux tentatives de recensement

  • Les analyses des non-réponses menées dans le cadre des analyses de routine sur un sondage seraient limitées à l'utilisation des données recueillies dans le cadre de l'exécution normale d'un sondage et pourraient inclure des techniques comme la comparaison entre la composition des échantillons et le cadre d'échantillonnage, des comparaisons avec des sources externes, des comparaisons entre les premiers et les derniers répondants ou des observations effectuées lors de la cueillette des données sur les caractéristiques des non-répondants. Les analyses des non-réponses menées pour un sondage particulier seront ajustées aux caractéristiques de ce sondage.
  • Songez à obtenir par contrat des données ou des analyses additionnelles lorsque les analyses des non-réponses menées dans le cadre régulier de l'analyse d'un sondage suggèrent que de l'information additionnelle ajouterait à la valeur du sondage.

Sondages non probabilistes

Dans le cas des sondages non probabilistes, l'applicabilité d'une analyse des biais dus aux non-réponses n'est pas toujours aussi claire que ce ne l'est dans le cas des sondages probabilistes et des tentatives de recensement. Lorsqu'on utilise un échantillon non probabiliste, les résultats ne peuvent pas être, du point de vue technique, appliqués statistiquement à l'ensemble de la population, car on ne connaît pas, par le truchement des probabilités de sélection, comment l'échantillon est lié à la population cible. Dans ce contexte, puisqu'on ne possède pas une estimation bien fondée d'un paramètre de la population dès le départ, il peut être difficile d'appliquer le concept d'analyse du biais dû aux non-réponses pour évaluer les paramètres de la population.

Autrement dit, du point de vue statistique une personne pourrait dire que les résultats d'un sondage basé sur un échantillon non probabiliste ne décrivent que cet échantillon précis de la population. Les non-réponses rencontrées lors du processus d'échantillonnage n'ont dans ce cas aucune importance, car, par définition, les non-répondants ne font pas partie de l'échantillon. Les non-répondants n'ont d'importance que lorsqu'on désire projeter les résultats sur une population plus grande que l'échantillon obtenu.

Néanmoins, du point de vue pratique, les résultats issus de sondages non probabilistes sont quelquefois projetés sur la population cible. Donc, au moins en termes concrets, les non-répondants dans de tels sondages non probabilistes peuvent être importants si on veut évaluer la qualité des estimations du sondage.

La valeur potentielle de certaines analyses du biais engendré par les non-réponses (NR) peut varier en fonction du genre de sondage non probabiliste ou du genre d'échantillon non probabiliste :

Exemples de situations où l'analyse des biais dus aux NR peut être utile

  • Les sondages par panel d'accès où l'échantillon est soigneusement construit pour tenter d'obtenir un échantillon final « représentatif » d'une population donnée.

    Dans un sondage de ce genre, la taille et la composition de l'échantillon résultant seront probablement fondées sur les taux de réussite normatifs obtenus dans ce panel d'accès précis, à la fois pour l'ensemble et probablement pour les sous-groupes (par exemple, les taux de réussite sont peut-être généralement plus faibles chez les jeunes adultes, donc l'échantillon résultant pour ce sous-groupe qui présente un intérêt serait disproportionnellement élevé). Dans le cas des analyses de biais dus aux NR, ce qui pourrait être intéressant c'est de noter tout écart prononcé par rapport à la norme relative au taux de réussite typique pour ce panel. Par exemple, si le taux de réussite typique est de 50 % pour les jeunes hommes faisant partie du panel, mais que le taux de réussite obtenu lors d'un sondage donné est de 30 %, il peut être intéressant d'explorer la raison de cet écart et de définir si cela représente un biais potentiel pour l'ensemble des variables principales du sondage.

  • Sondages fondés sur des listes et un échantillon construit soigneusement.

    Supposons qu'un échantillon non probabiliste est construit à partir d'une liste soigneusement construite dans laquelle on a tenté de représenter tous les segments d'une population (bien qu'il ne s'agisse pas d'un échantillon probabiliste à proprement parler). Il pourrait alors être prudent de mener une analyse des non-réponses pour voir dans quelle mesure les segments d'intérêt prédéterminés sont représentés dans l'échantillon final.

Exemples de situations où l'analyse des biais dus aux NR peut ne pas s'appliquer ou être utile

  • « River-sampling »

    Note : « River-sampling » est une méthode pour recruter les individus qui sont d'accord pour participer à un sondage unique, mais pas nécessairement à faire partie d'un panel d'accès. Le recrutement est effectué en temps réel à partir d'un réseau de sites Web avec lesquels une entreprise de recherche a développé une relation de référence et pour laquelle l'entreprise paie un montant de recrutement par sites référés.

    Le concept de non-répondant ne semble pas s'appliquer aux « River-sampling ».

  • Pointage de propension

    Note : Le pointage de propension est une méthode de pondération qui permet d'ajuster un échantillon non probabiliste en ligne pour qu'il ressemble davantage à un échantillon pour un sondage téléphonique probabiliste (ou une autre sorte d'échantillon probabiliste). Un modèle de pointe de propension est fondé sur la tenue de sondages effectués parallèlement en ligne et au téléphone et en associant les caractéristiques des répondants choisis présentant une propension à participer à un sondage en ligne plutôt qu'à un sondage téléphonique. Les données issues des sondages en ligne subséquents sont pondérées de façon à ce que la distribution des pointages de propension soit similaire à celle observée dans l'échantillon probabiliste de référence téléphonique utilisé pour construire le modèle.

    L'analyse des biais dus aux non-réponses ne s'applique pas lorsqu'on utilise le pointage de propension. Ou, autrement dit, ce que le pointage de propension ferait (s'il fonctionnait parfaitement) ce serait d'introduire dans les résultats du sondage les biais dus aux non-réponses qui se trouvent dans le sondage téléphonique qui a été utilisé comme référence pour calibrer le système de pointage de propension. Donc, si une analyse des biais dus aux non-réponses doit être effectuée, c'est sur le sondage téléphonique de référence qu'elle devrait l'être, pas sur le sondage en ligne lui-même.

Dans ce contexte, les membres du comité ont recommandé une norme et des lignes directrices pour l'analyse des biais dus aux non-réponses dans les sondages non probabilistes.

Normes relatives aux sondages non probabilistes

  • La proposition de recherche d'un sondage non probabiliste doit préciser s'il y aura une analyse du biais de non-réponse. S'il n'y en a pas de prévue, il faut donner la raison. Si une analyse est prévue, il faut en donner une description sommaire.

Lignes directrices relatives aux sondages non probabilistes

  • Dans le cas des sondages basés sur des échantillons non probabilistes, examinez la possibilité d'inclure dans le rapport d'enquête une discussion portant sur le biais dû aux non-réponses potentielles sur l'ensemble du sondage et sur ses principales variables, lorsque les deux conditions suivantes sont satisfaites :
    • les résultats du sondage sont présentés comme représentatifs d'une population plus grande l'échantillon utilisé pour le sondage;
    • on connaît quelque chose à propos des caractéristiques des non-répondants.

    Lorsqu'il existe un biais potentiel dû aux non-réponses, on devrait si possible s'efforcer de quantifier ce biais, en respectant le budget du projet. Si cela n'est pas possible, il faut discuter, dans le rapport final, de la probabilité et de la nature de tous les biais potentiels dus aux non-réponses.

  • Les analyses de non-réponses devraient se limiter à l'utilisation des données recueillies lors de l'exécution d'un sondage. Les analyses des non-réponses menées pour un sondage précis devaient être adaptées aux caractéristiques de ce sondage.
  • Songez à obtenir par contrat des données ou des analyses additionnelles lorsque les analyses des non-réponses menées dans le cadre régulier de l'analyse d'un sondage suggèrent que de l'information additionnelle ajouterait à la valeur du sondage.

Décrochages

Un décrochage concerne un répondant qui s'est qualifié pour le sondage (par exemple il passe la présélection), mais qui, à un certain point durant l'entrevue, décide de ne plus participer. En raison de la nature autonome de l'exécution d'un sondage en ligne, le taux de décrochage peut potentiellement être relativement élevé alors que l'on s'attend à ce que ce taux soit plutôt faible dans le cas des sondages téléphoniques en raison de l'interaction humaine.

Par exemple, lors d'une étude expérimentale du phénomène du taux de décrochage qualifié (Quirk's, July/August 2003, Watch out for dropouts) Hogg et Miller ont observé que ce taux variait de 6 % à 37 %. Ils ont également observé que :

L'obtention de résultats de sondage différents en raison du décrochage de certains répondants peut être vue comme une extension du problème commun des erreurs dues aux non-réponses. Les erreurs dues aux non-réponses se produisent lorsque ceux qui refusent de répondre à une invitation à participer à un sondage sont différents de façon importante de ceux qui acceptent de participer. De façon similaire, ceux qui ne complètent pas un sondage peuvent présenter des différences importantes par rapport à ceux qui le complètent.

Les membres du comité ont adopté d'un commun accord la norme suivante qui s'appliquerait à tous les sondages en ligne, qu'il s'agisse de sondages probabilistes ou non probabilistes.

Normes relatives aux décrochages

  • Si cela est réalisable d'un point de vue technique, les données sur le décrochage devraient être conservées afin de permettre une comparaison des décrochages et des répondants qui ont terminé le sondage, ce qui constitue une forme d'analyse des biais de non-réponse. Lorsque l'échantillon de décrochages est suffisamment important, le potentiel d'un biais de non-réponse devrait être étudié et les comparaisons et les conclusions devraient être ajoutées au rapport d'enquête. S'il y a effectivement possibilité de biais de non-réponse, tous les moyens devraient être pris pour quantifier ce biais, compte tenu des limites budgétaires du projet. Si cela n'est pas possible, la probabilité et la nature de tout biais de non-réponse éventuel doivent être examinées.

Taux de réponse et de réussite

Le sondage téléphonique, qui contient des normes et des lignes directrices par rapport au taux de réponse cible, a servi de point de départ pour les membres du comité. Les membres du comité se sont généralement entendus sur une version modifiée des normes.

Il est à noter que si les membres du comité étaient d'accord en principe avec la pertinence de fixer des cibles numériques de taux de réussite pour les sondages en ligne fondés sur des échantillons probabilistes (comme ce qui a été fait dans le cas des sondages téléphoniques) la plupart des membres du comité étaient d'avis que l'expérience avec les sondages téléphoniques est trop limitée en ce moment pour permettre de définir des lignes directrices relatives à des cibles numériques avec confiance, et ils étaient également d'avis que les cibles pourraient varier en vertu du mode de sondage en ligne utilisé (par exemple : un panel d'accès versus l'interception de visiteurs de sites Web).

Plusieurs panélistes ont suggéré que la DROP publie les taux de réponse/réussite des sondages en ligne au fur et à mesure que les projets s'accumulent afin (a) d'aider les coordonnateurs de ROP à établir des cibles raisonnables pour les projets précis, et (b) possiblement contribuer à la définition de lignes directrices relatives aux cibles numériques dans le futur.

Les membres du comité ont recommandé les normes suivantes :

Normes relatives au taux de réponses et de réussite

  1. Les sondages en ligne ou avec méthode mixte basés sur les échantillons probabilistes ou de tentative de recensement doivent être conçus pour atteindre le meilleur taux de réponse et de réussite réalisable (sur l'ensemble des méthodes), selon l'importance du sondage, les échéances, la charge des répondants et les coûts liés à la cueillette des données.
  2. L'entreprise de recherche et le ministère ou l'organisme doivent s'entendre sur un taux ou un intervalle de réponse/réussite avant la fin de la conception et de l'établissement des coûts d'un sondage en ligne particulier ou d'un sondage avec méthode mixte. La conception et le coût de la recherche doivent être établis en conséquence.

Navigation pour Document « Comité consultatif sur la qualité des sondages en ligne sur l'opinion publique - Final le 4 juin 2008 »