L’éditorialiste du Soleil, Pierre-Paul Noreau, débutait ainsi son texte de samedi dernier: « L’important sondage de la maison CROP diffusé aujourd’hui remet les pendules à l’heure à un moment crucial de la crise sur la hausse des droits de scolarité. »

Le sondage « remet les pendules à l’heure ». Pourquoi ? Quelqu’un les avait-elle détraquées ? Il faut croire que oui. La semaine précédente, un sondage CROP réalisé pour partie avant que les détails de la loi spéciale soient connus avait conduit La Presse et Le Soleil à titrer que 66% des Québécois favorisaient « la ligne dure ».

Avec le recul, on sait que ce n’est pas le cas. Une semaine plus tard, le nouveau CROP présentait un électorat divisé sur la question, comme ce qu’avait indiqué un sondage Léger le lundi précédent. Les pendules avaient en effet été remises à l’heure.

Et il fallait voir avec quelle vigueur le directeur de l’information de La Presse, Éric Trottier et son adjointe Katia Gagnon devaient défendre la crédibilité de leur journal et de leurs sondages CROP, samedi matin et ce mardi dans la gazouillosphère. Je veux être extrêmement clair sur ce point. L’intégrité professionnelle de Trottier et celle de Gagnon est impeccable. Comme l’écrivait récemment le collègue Patrick Lagacé, les journalistes de La Presse ont puissamment contribué, ces dernières années et notamment sous la direction de Trottier, à révéler scandale sur scandale au sujet du régime libéral.

À mon avis, et connaissant personnellement les joueurs, La Presse est la victime collatérale des erreurs de CROP, comme celles que j’ai mise en lumière ce mardi sur l’incroyable sous-représentation des 18-24 ans dans un sondage destiné à juger d’une crise provoquée par… des 18-24 ans !

Quand La Presse nettoie derrière son CROP

On doit à la vérité de dire que ce n’est pas la première fois que La Presse doit nettoyer derrière son CROP.  Au moment de l’élection fédérale de janvier 2006, La Presse avait du présenter ses excuses en première page pour une erreur de calcul de CROP.

En ce cas, l’erreur de CROP avait conduit le quotidien à affirmer que l’élection fédérale avait considérablement amélioré la cote du chef libéral québécois Jean Charest et mis à mal la popularité du PQ et de l’option souverainiste. Une fois les calculs refaits, le mouvement de l’opinion était beaucoup moins important que ce qui avait d’abord été écrit.

La direction de l’information de La Presse résolut alors de diversifier ses sources de sondage. Ce blogueur sait de source sûre que La Presse a même approché Léger Marketing pour l’inviter à devenir son sondeur régulier. Mais le quotidien de la rue Saint-Jacques ne pouvait offrir autant à Léger que ce qu’il retire de son association avec le Journal de Montréal et TVA combinés.

Mais on ne peut pas accuser La Presse de ne pas avoir essayé de se dégager, du moins à l’époque, de son fournisseur habituel de sondages.

Quand un sondeur libéral critique CROP

Le sondage CROP le plus controversé, et le plus lourd de sens, de l’histoire québécoise moderne fut celui réalisé en février 1995 pour le compte de Radio-Canada, donc dans les mois précédant le référendum. J’ai raconté la chose dans mon livre Sortie de secours, publié en 2000.

CROP y affirmait que l’appui à la souveraineté n’était que de 40%. Ce résultat fut inscrit dans le débat collectif grâce à la tribune télévisuelle dont a joui cette révélation, de son chiffre symboliquement fort — 40% était le résultat du Oui au référendum de 1980 — et des relais fédéralistes enthousiastes dans les journaux par la suite. Un texte de une de La Presse, citant un sondeur canadien anglais, titrait peu après: « Le référendum a eu lieu et il est perdu ». Ce sondage eut plus d’impact que tout autre événement de début d’année pour déprimer le travail du camp du Oui (transparence totale: j’étais alors conseiller de Jacques Parizeau).

Mais ce résultat de février était d’autant plus surprenant que, pendant la période immédiatement précédente, les résultats de CROP sur la question référendaire suivaient presque exactement ceux du légendaire sondeur interne du PQ, Michel Lepage. En décembre, CROP avait livré à L’actualité un sondage montrant que la souveraineté était à 49%. C’est ce qu’avait Lepage. Puis, après un début de janvier difficile pour le OUI, CROP s’associait à SOM et au sondeur CRÉATEC, du Parti libéral, pour diffuser un super-sondage fondé sur un très large échantillon, donnant la souveraineté à 46%. C’est ce que le camp du Oui avait aussi.

Donc en février, l’étonnant 40% de CROP, comme sorti de nulle part, mettait de méchante humeur… le sondeur du Parti libéral, Grégoire Golin de CRÉATEC. Il fit à La Presse un commentaire dubitatif sur la quasi disparition des indécis relevés dans le CROP (5% seulement) un mois après leur forte présence (20%)  dans le CREATEC-SOM-CROP. Le jour de ce 40%, Michel Lepage livrait au Oui son propre son de cloche: 47%. Il n’avait jamais constaté un tel écart entre CROP et lui.

Évidemment, tout le monde a le droit à l’erreur. Il est absolument certain que les artisans de CROP tentent de faire leur travail avec méthode et rigueur. J’ai moi-même réalisé avec CROP, pendant mes 30 ans de collaboration à L’actualité, un bon nombre de sondages, sociaux et politiques, dont je fus parfaitement satisfait.

Mais il est tout de même curieux que, régulièrement, lorsqu’un qu’un sondage CROP sort du rang, lorsque CROP donne pour ainsi dire l’heure avancée, c’est l’heure pro-PLQ ou pro-fédéraliste qu’elle donne.

Cela est arrivé maintenant trop souvent, sur des sujets trop sensibles, pour qu’on ne le remarque pas.

Si vous deviez faire un sondage sur le conflit étudiant, souhaiteriez-vous mesurer avec exactitude, entre autres choses, ce qu’en pensent les 18-24 ans ?

Cette préoccupation semble absente à la maison CROP, dont l’avant-dernier sondage a semé tant de controverse que La Presse a mis en ligne les tableaux complets de son dernier sondage. Un beau geste de transparence, révélant cependant ainsi la nette sous-représentation des répondants de 18-24 ans dans le groupe des sondés.

D’abord, des chiffres. Dans la population en général, les 18-24 représentent 11 % des adultes. Dans le CROP de samedi, ils ne pèsent que 3,06 % de l’ensemble des répondants. Dans le CROP du samedi précédent, dont le blogueur a obtenu copie, ils ne pesaient que 2,6 %.

Une sous-représentation draconienne pour le segment de la population le plus opposé à la loi spéciale et à la hausse des droits de scolariré. Dans le dernier sondage Léger, où les 18-24 ans pèsent 11 %, soit leur poids réel, leur opposition à la loi spéciale est massive (73 % selon Léger).

La sociologue et spécialiste des sondages Claire Durand avait noté cette incongruité samedi matin à la lecture du rapport en ligne de CROP et en avait avisé la direction de l’information à La Presse.

« Ce n’est pas correct, il y a un biais, m’explique-t-elle. Ça a un impact qui fait que le sondage est un peu plus favorable à la loi spéciale que ce à quoi on pourrait s’attendre. »

L’inspecteur Clouseau des sondages ?

Cependant, cet impact est atténué par… une autre erreur du sondeur, qui sous-estime le poids des personnes plus âgées qui sont, elles, plus favorables à la loi.  « On pourrait leur demander [à CROP] de refaire le calcul pour le corriger », dit Durand.

C’est ce que CROP a fait, ce mardi matin, après avoir reçu mes questions. Youri Rivest, vice-président de la société de sondages, affirme qu’un nouveau calcul sur la base de la répartition utilisée par Léger (et dérivée du recensement) de la répartition des âges donne le même résultat sur l’appui au gouvernement ou l’appui à la loi spéciale.

Dans ce cas d’espèce, CROP est l’inspecteur Clouseau des sondages, qui arrive en fin d’intrigue au bon résultat, mais seulement en ayant accumulé les bévues sur le parcours.

Nous aimerions vérifier les nouveaux calculs de l’inspecteur du sondeur ; cependant il a refusé de remettre ces nouveaux tableaux, à nous comme à la professeure Durand.

Pour être plus précis, CROP ne se prononce pas sur l’opinion des 18-24, mais inclut ce groupe dans un segment plus large des 18-34, où les plus jeunes étaient nettement sous représentés. J’ai demandé à M. Rivest la comparaison avant correction et après correction de l’opinion des 18-34 ans, maintenant que la portion des 18-24 avait repris son poids. Il nous affirme que le résultat est le même. Cela me paraît, au vu des variations perçues chez Léger entre ces groupes (73 % contre chez les 18-24 et 46 % contre chez les 25-34), mathématiquement impossible. Mais on ne peut juger sur pièce, puisqu’on n’a pas les pièces.

On peut cependant refaire le calcul à partir des données de Léger. S’ils avaient fait la même erreur que CROP, le groupe des 18-34 de Léger aurait du être opposé à la loi dans une proportion de 49,2 %, soit une minorité. En corrigeant ces données pour représenter correctement le poids de chaque groupe, la minorité devient majorité claire, à 57,5 %. Que cette variation plus que significative n’apparaisse pas dans le calcul corrigé de CROP laisse songeur.

Interdit d’être indécis

Les sondages Internet de CROP posent un autre problème, que j’avais observé dans un dossier fait avec la maison CROP pour L’actualité : sauf pour les questions d’intention de vote, il y est interdit d’être indécis.

Lorsque les sondages étaient faits au téléphone, on vous demandait votre avis et il vous arrivait de dire spontanément « je ne sais pas » ou « je ne veux pas répondre ». On notait alors ces réponses, qu’on ne vous avait pas suggérées.

Sur Internet, on ne peut parler à l’ordinateur. CROP ne suggère pas les réponses « je ne sais pas » ou « je ne veux pas répondre », alors que Léger le fait. Pourquoi pas ? Pour Youri Rivest, « lorsqu’on suggère la réponse, on a tendance à surestimer le nombre de gens qui disent ne pas savoir. Il arrive que les gens soient paresseux ».

C’est aussi l’opinion de Claire Durand qui, dans ses propres sondages, permet au moins aux sondés de ne pas répondre au choix forcé et de cliquer sur la flèche qui envoie à la question suivante, son absence de choix étant comptabilisée comme « je ne sais pas/je ne réponds pas ». CROP, dit Rivest, ne permet pas cette échappatoire.

Quelles conséquences cela peut-il avoir ?

Le dernier sondage de Léger montre généralement des taux d’indécis assez faibles, de 3 à 5 % selon les questions. Mais les variations sont intéressantes. À la question « Êtes-vous en faveur ou opposé à cette loi spéciale ? », on comptait au total 6 % d’indécis, 9 % des femmes et 11 % des 24-35 ans. N’est-ce pas là, aussi, une mesure de l’opinion, un reflet de son indécision partielle ?

Si Léger avait obligé tous ses répondants à se décider, on peut penser que les indécis se seraient répartis à peu près également, ce qui aurait gonflé les chiffres de la majorité et de la minorité, ce qui introduit déjà une petite distorsion. Mais il est statistiquement possible que les indécis se soient reportés plus massivement sur une des options, faisant basculer les chiffres de majorité à minorité ou vice versa.

C’est majeur. À mon avis, les indécis, comme les jeunes, méritent respect et rigueur.

Demain : L’heure avancée de CROP

Merci à l’alertinternaute André Allard
pour le néologisme escroperie.