Sondage : les jeunes, victimes d’escroperie ?

jeunes-300x199Si vous deviez faire un sondage sur le conflit étudiant, souhaiteriez-vous mesurer avec exactitude, entre autres choses, ce qu’en pensent les 18-24 ans ?

Cette préoccupation semble absente à la maison CROP, dont l’avant-dernier sondage a semé tant de controverse que La Presse a mis en ligne les tableaux complets de son dernier sondage. Un beau geste de transparence, révélant cependant ainsi la nette sous-représentation des répondants de 18-24 ans dans le groupe des sondés.

D’abord, des chiffres. Dans la population en général, les 18-24 représentent 11 % des adultes. Dans le CROP de samedi, ils ne pèsent que 3,06 % de l’ensemble des répondants. Dans le CROP du samedi précédent, dont le blogueur a obtenu copie, ils ne pesaient que 2,6 %.

Une sous-représentation draconienne pour le segment de la population le plus opposé à la loi spéciale et à la hausse des droits de scolariré. Dans le dernier sondage Léger, où les 18-24 ans pèsent 11 %, soit leur poids réel, leur opposition à la loi spéciale est massive (73 % selon Léger).

La sociologue et spécialiste des sondages Claire Durand avait noté cette incongruité samedi matin à la lecture du rapport en ligne de CROP et en avait avisé la direction de l’information à La Presse.

« Ce n’est pas correct, il y a un biais, m’explique-t-elle. Ça a un impact qui fait que le sondage est un peu plus favorable à la loi spéciale que ce à quoi on pourrait s’attendre. »

L’inspecteur Clouseau des sondages ?

Cependant, cet impact est atténué par… une autre erreur du sondeur, qui sous-estime le poids des personnes plus âgées qui sont, elles, plus favorables à la loi.  « On pourrait leur demander [à CROP] de refaire le calcul pour le corriger », dit Durand.

C’est ce que CROP a fait, ce mardi matin, après avoir reçu mes questions. Youri Rivest, vice-président de la société de sondages, affirme qu’un nouveau calcul sur la base de la répartition utilisée par Léger (et dérivée du recensement) de la répartition des âges donne le même résultat sur l’appui au gouvernement ou l’appui à la loi spéciale.

Dans ce cas d’espèce, CROP est l’inspecteur Clouseau des sondages, qui arrive en fin d’intrigue au bon résultat, mais seulement en ayant accumulé les bévues sur le parcours.

Nous aimerions vérifier les nouveaux calculs de l’inspecteur du sondeur ; cependant il a refusé de remettre ces nouveaux tableaux, à nous comme à la professeure Durand.

Pour être plus précis, CROP ne se prononce pas sur l’opinion des 18-24, mais inclut ce groupe dans un segment plus large des 18-34, où les plus jeunes étaient nettement sous représentés. J’ai demandé à M. Rivest la comparaison avant correction et après correction de l’opinion des 18-34 ans, maintenant que la portion des 18-24 avait repris son poids. Il nous affirme que le résultat est le même. Cela me paraît, au vu des variations perçues chez Léger entre ces groupes (73 % contre chez les 18-24 et 46 % contre chez les 25-34), mathématiquement impossible. Mais on ne peut juger sur pièce, puisqu’on n’a pas les pièces.

On peut cependant refaire le calcul à partir des données de Léger. S’ils avaient fait la même erreur que CROP, le groupe des 18-34 de Léger aurait du être opposé à la loi dans une proportion de 49,2 %, soit une minorité. En corrigeant ces données pour représenter correctement le poids de chaque groupe, la minorité devient majorité claire, à 57,5 %. Que cette variation plus que significative n’apparaisse pas dans le calcul corrigé de CROP laisse songeur.

Interdit d’être indécis

Les sondages Internet de CROP posent un autre problème, que j’avais observé dans un dossier fait avec la maison CROP pour L’actualité : sauf pour les questions d’intention de vote, il y est interdit d’être indécis.

Lorsque les sondages étaient faits au téléphone, on vous demandait votre avis et il vous arrivait de dire spontanément « je ne sais pas » ou « je ne veux pas répondre ». On notait alors ces réponses, qu’on ne vous avait pas suggérées.

Sur Internet, on ne peut parler à l’ordinateur. CROP ne suggère pas les réponses « je ne sais pas » ou « je ne veux pas répondre », alors que Léger le fait. Pourquoi pas ? Pour Youri Rivest, « lorsqu’on suggère la réponse, on a tendance à surestimer le nombre de gens qui disent ne pas savoir. Il arrive que les gens soient paresseux ».

C’est aussi l’opinion de Claire Durand qui, dans ses propres sondages, permet au moins aux sondés de ne pas répondre au choix forcé et de cliquer sur la flèche qui envoie à la question suivante, son absence de choix étant comptabilisée comme « je ne sais pas/je ne réponds pas ». CROP, dit Rivest, ne permet pas cette échappatoire.

Quelles conséquences cela peut-il avoir ?

Le dernier sondage de Léger montre généralement des taux d’indécis assez faibles, de 3 à 5 % selon les questions. Mais les variations sont intéressantes. À la question « Êtes-vous en faveur ou opposé à cette loi spéciale ? », on comptait au total 6 % d’indécis, 9 % des femmes et 11 % des 24-35 ans. N’est-ce pas là, aussi, une mesure de l’opinion, un reflet de son indécision partielle ?

Si Léger avait obligé tous ses répondants à se décider, on peut penser que les indécis se seraient répartis à peu près également, ce qui aurait gonflé les chiffres de la majorité et de la minorité, ce qui introduit déjà une petite distorsion. Mais il est statistiquement possible que les indécis se soient reportés plus massivement sur une des options, faisant basculer les chiffres de majorité à minorité ou vice versa.

C’est majeur. À mon avis, les indécis, comme les jeunes, méritent respect et rigueur.

Demain : L’heure avancée de CROP

Merci à l’alertinternaute André Allard
pour le néologisme
escroperie.