A propos du sondage IFOP Metro sur le "travailler plus pour gagner plus"
Ca va devenir une habitude sur ce blog, après le fameux sondage sur la grève d'octobre, voila un autre sondage qui devrait faire parler de lui. Ce matin dans le gratuit Metro, entre le titre "il a caché sa cocaïne dans sa prothèse" et "on a retrouvé le chat de Shrek 2", on peut lire que 63% des français sont prêt à effectuer un arbitrage travail/loisir en faveur du travail. Et puis dans l'article qui suit, point de précision sur l'enquête en elle-même, le chiffre était désormais considéré comme irréfutable. Et pourtant...
Et pourtant il est plus que criticable.
Tout d'abord la méthode. Nombre d'enquêtés : 1034, chiffre correct pour un sondage d'opinion. Méthode des quotas, blablabla... et mode de recueil des données : les interviews ont eu lieu par questionnaire auto administré en ligne. Qu'est ce que c'est que ça ?? Les sondeurs utilisent le net maintenant ? Et bien oui c'est pratique, ça fait de la main d'oeuvre en moins à payer, les internautes font le boulot très bien tout seul, ils ont qu'à cliquer sur des cases. Comment assurer une quelconque méthode de quotas sur le net ? Truc muche, un peu speed, remplit son questionnaire sur je ne sais quel site, squizze la question qui lui demande sa ville, et hop c'est foutu. La méthode des quotas reposant sur une stratification régionale et par type d'agglomération, les résultats sont biaisés. Bref, je vous laisse juge de l'utilisation d'une telle méthode pour recueillir des données fiables.
Je passe sur les fautes d'orthographe que l'on peut trouver dans le rapport du sondage, à croire que c'est un stagiaire de 3eme qui fait sa Découverte Professionnelle à l'Ifop qui l'a rédigé (et encore, c'est méchant pour l'élève de 3ème).
La question, la question, la question...
Le coup classique de la question qui induit la réponse. Je vous le donne en mille :
Vous personnellement, si vous en aviez le choix, que préfereriez vous ?
- Gagner moins d'argent et avoir plus de temps libre
- Gagner plus d'argent et avoir moins de temps libre
Vous là, oui vous, derrière votre écran... On bouge plus on répond à la question !
Sans réfléchir, qu'est ce qui sonne le mieux dans vos oreilles : gagner moins ou gagner plus ?
On se demande bien pourquoi la question n'est pas formulé de façon plus neutre :
- Gagner plus d'argent et avoir moins de temps libre
- Avoir plus de temps libre et gagner moins d'argent
Voire carrément dans l'autre sens :
- Gagner plus d'argent et consacrer moins de temps à sa famille
- Gagner moins d'argent et consacrer plus de temps à sa famille
Bref, quelques petits exemples pour vous montrer qu'une question n'est jamais neutre.
Une escroquerie pouvant tout à fait en cacher une autre, on présente des chiffres qui ne font pas état de la fameuse catégorie "Ne se prononce pas". Celle qui embête les journalistes mais qui passionnent les sociologues. Forcément, sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent, ceux qui ne se prononcent pas n'ont pas cliqué sur le lien. Et comble, on ose comparer les résultats avec une enquête de 2001 pour en tirer un semblant d'étude longitudinale. En 2001, 1) l'enquête était réalisée par téléphone, 2) et nul part l'IFOP ne fait mention de la question qui était posée aux enquêtés. Résultats, on a un taux de non réponse de 6% qui suffit pour servir de variable d'ajustement et ne pas dégager de majorité en 2001. Le 47% de 2001 permet à Metro et à l'IFOP de titrer "Il y a eu un vrai basculement en 2001" : ou comment on fait croire que la société bouge dans un sens sans avoir la certitude que ce n'est pas l'inverse.
Deuxième question, encore plus énorme :
Le gouvernement a annoncé des mesures sur l'exonération de charges sociales et la defiscalisation des heures supplémentaires. Souhaitez vous à l'avenir effectuer des heures supplémentaires ?
Pourquoi ne pas avoir plutôt demandé :
Le gouvernement a annoncé que les heures supplémentaires ne rentreront plus dans le calcul de la retraite et de l'assurance chômage. Souhaitez vous à l'avenir effectuer des heures supplémentaires ?
Les deux questions sont équivalentes. Mais les réponses induites loin d'être indentiques. Et l'enquête continue, mais moi je m'arrête...
NB : le nom du PDF publié par l'IFOP c'est travaillerpluspourgagnerplus.pdf , si vous aviez encore des doutes...
Et pourtant il est plus que criticable.
Tout d'abord la méthode. Nombre d'enquêtés : 1034, chiffre correct pour un sondage d'opinion. Méthode des quotas, blablabla... et mode de recueil des données : les interviews ont eu lieu par questionnaire auto administré en ligne. Qu'est ce que c'est que ça ?? Les sondeurs utilisent le net maintenant ? Et bien oui c'est pratique, ça fait de la main d'oeuvre en moins à payer, les internautes font le boulot très bien tout seul, ils ont qu'à cliquer sur des cases. Comment assurer une quelconque méthode de quotas sur le net ? Truc muche, un peu speed, remplit son questionnaire sur je ne sais quel site, squizze la question qui lui demande sa ville, et hop c'est foutu. La méthode des quotas reposant sur une stratification régionale et par type d'agglomération, les résultats sont biaisés. Bref, je vous laisse juge de l'utilisation d'une telle méthode pour recueillir des données fiables.
Je passe sur les fautes d'orthographe que l'on peut trouver dans le rapport du sondage, à croire que c'est un stagiaire de 3eme qui fait sa Découverte Professionnelle à l'Ifop qui l'a rédigé (et encore, c'est méchant pour l'élève de 3ème).
La question, la question, la question...
Le coup classique de la question qui induit la réponse. Je vous le donne en mille :
Vous personnellement, si vous en aviez le choix, que préfereriez vous ?
- Gagner moins d'argent et avoir plus de temps libre
- Gagner plus d'argent et avoir moins de temps libre
Vous là, oui vous, derrière votre écran... On bouge plus on répond à la question !
Sans réfléchir, qu'est ce qui sonne le mieux dans vos oreilles : gagner moins ou gagner plus ?
On se demande bien pourquoi la question n'est pas formulé de façon plus neutre :
- Gagner plus d'argent et avoir moins de temps libre
- Avoir plus de temps libre et gagner moins d'argent
Voire carrément dans l'autre sens :
- Gagner plus d'argent et consacrer moins de temps à sa famille
- Gagner moins d'argent et consacrer plus de temps à sa famille
Bref, quelques petits exemples pour vous montrer qu'une question n'est jamais neutre.
Une escroquerie pouvant tout à fait en cacher une autre, on présente des chiffres qui ne font pas état de la fameuse catégorie "Ne se prononce pas". Celle qui embête les journalistes mais qui passionnent les sociologues. Forcément, sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent, ceux qui ne se prononcent pas n'ont pas cliqué sur le lien. Et comble, on ose comparer les résultats avec une enquête de 2001 pour en tirer un semblant d'étude longitudinale. En 2001, 1) l'enquête était réalisée par téléphone, 2) et nul part l'IFOP ne fait mention de la question qui était posée aux enquêtés. Résultats, on a un taux de non réponse de 6% qui suffit pour servir de variable d'ajustement et ne pas dégager de majorité en 2001. Le 47% de 2001 permet à Metro et à l'IFOP de titrer "Il y a eu un vrai basculement en 2001" : ou comment on fait croire que la société bouge dans un sens sans avoir la certitude que ce n'est pas l'inverse.
Deuxième question, encore plus énorme :
Le gouvernement a annoncé des mesures sur l'exonération de charges sociales et la defiscalisation des heures supplémentaires. Souhaitez vous à l'avenir effectuer des heures supplémentaires ?
Pourquoi ne pas avoir plutôt demandé :
Le gouvernement a annoncé que les heures supplémentaires ne rentreront plus dans le calcul de la retraite et de l'assurance chômage. Souhaitez vous à l'avenir effectuer des heures supplémentaires ?
Les deux questions sont équivalentes. Mais les réponses induites loin d'être indentiques. Et l'enquête continue, mais moi je m'arrête...
NB : le nom du PDF publié par l'IFOP c'est travaillerpluspourgagnerplus.pdf , si vous aviez encore des doutes...
lien permanent
20:30
Votez pour cet article 
23 commentaires:
Excellente note. J'ajouterais juste que, dans la mesure où pour qu'un sondage soit crédible, il faut que les personnes interrogées aient été sélectionnées de façon aléatoire, le simple fait de passer par internet fout tout en l'air...
merci pour le décryptage...mais au sujet du chat de shrek 2?
C'est marrant, mais je suis sûr que si on avait proposé une troisième possibilité aux internautes ils auraient répondu qu'ils préféreraient gagner plus d'argent et avoir plus de temps libre...
Excellent billet, c'est toujours rigolo les sondages. Mon histoire préférée (c'est peut-être une légende urbaine, mais il me semble que c'est dans le 128 sur la méthode du questionnaire) est celle du sondage suivant réalisé aux Etats-Unis pendant la guerre froide :
Pour une moitié des sondés :
-Pensez-vous qu'il est normal que des journalistes américains puissent se rendre librement en URSS ?
Réponse : Oui
-Pensez-vous qu'il est normal que des journalistes soviétiques puissent se rendre librement aux EU ?
Réponse : Et puis quoi enc... euh... ah ben oui en fait
Pour une autre moitié de sondés :
-Pensez-vous qu'il est normal que des journalistes soviétiques puissent se rendre librement aux EU ?
Réponse : ça va pas la tête ?
-Pensez-vous qu'il est normal que des journalistes américains puissent se rendre librement en URSS ?
Réponse : Ben oui... euh... enfin on pourrait comprendre que les Russes ne soient pas d'accord
Au fait qui dirige l'IFOP déjà ?
Les sondeurs ont-ils lu le 128 sur le questionnaire ? Est-ce parce qu'ils l'ont lu qu'ils posent de telles questions ?
@Nicolas
J'ai rajouté les liens vers les articles en question, pour prouver que je n'ai rien inventé. Metro, de l'information de grande qualité !
Vous personnellement, si vous en aviez le choix, que préfereriez vous ?
- Gagner moins d'argent et avoir plus de temps libre
- Gagner plus d'argent et avoir moins de temps libre
Non, seulement cette question est orientée, mais en plus elle ne couvre pas l'univers des possibles.
Lorsqu'on lit le résultat du sondage on a l'impression que 63% de "l'ensemble des français en décembre 2007" (c'est ce qui est marqué sous le graphique) préféreraient gagner plus d'argent et avoir moins de temps libre. Or cette lecture est totalement fausse puisque les sondés n'avaient pas la possibilité de choisir entre toutes les réponses imaginables. Je pense en particulier à ceux (à mon avis assez nombreux) qui veulent continuer à "gagner autant d'argent et avoir autant de temps libre".
Bref, c'est un peu comme si le journal demandait aux gens "si vous aviez le choix vous préféreriez mourir dans un accident de voiture ou enseveli sous une avalanche ?" et qu'il titrait ensuite "Les Français se disent prêts à mourir enseveli sous une avalanche".
C'est du grand n'importe quoi.
On le répètera jamais assez...
bonne continuation
quelques liens sur les sondages
http://argumentons.blogspot.com/2007/12/sondages-opinion-critiques.html
«Par définition les sondages ne se trompent jamais, car ils n’ont pas vocation à prédire.»[ Laurence Parisot - Extrait d'une interview dans Les Échos - 16/04/2007
Très bon décodage.
Les sondages ou les enquêtes d'opinion sont un instrument de gouvernance pour Nicolas Sarkozy, d'abord pour tester ou préparer l'opinion, puis pour essayer de convaincre le gogo qu'il a eu raison de prendre telle ou telle mesure.
Le sondage oubliait surtout l'option "Gagner plus et avoir plus de temps libre".
Qui, je parie, aurait fait un bon score.
Sondage en ligne :
- Êtes-vous favorable à ce que le président de la république touche encore son salaire de ministre de l'intérieur ?
oui / oui
- Êtes-vous favorable à ce que le président ramène des milliards en vendant la technologie de pointe française à un grand dirigeant d'un grand pays ?
oui / oui
http://lesmots.freelatitude.net
Excellente analyse sur les biais introduits par ces formulations!
Néanmoins, j'ai toujours eu un doute sur la portée réelle des réponses, que les questions soient biaisées ou pas. Je soupçonne qu'au pied du mur, l'individu n'a pas vraiment d'idéologie, ni même une réflexion aboutie qu'il saurait exprimer de la sorte.
Besoin de rentrées financières? nécessité de prendre du temps? on arbitre en fonction d'un contexte, d'une situation particulière. Ces sondages font d'abord passer les gens pour des machines à avoir des opinions.
@ Roger de Ferreiro,
Vous avez tout à fait raison, c'est d'ailleurs ce qu'exprimait Pierre Bourdieu, comme je le rapportais déjà dans une autre note (lisible ici). Les sondages supposent que tout le monde peut avoir une opinion sur tout. Ils surestiment à la fois l’intérêt et la compétence des personnes interrogées, et posent aux gens des questions qu’ils ne se posaient pas, ou qu’ils n’avaient pas l’intention de se poser parce qu’elles ne les intéressent pas. Ils exercent par ailleurs un effet d’imposition de problématique par la formulation des questions. Ils amènent les personnes interrogées à se poser les problèmes dans des termes différents de ceux qu’ils auraient eux-mêmes utilisés.
Un bon mouvement pour la planète et pour les cerveaux disponible : quand on passe près de ces piles de "journaux" gratuits, et qu'il y a une poubelle à proximité (bon d'accord, ces "journaux" sont eux mêmes des dechets !), on en prend un grand paquet dans chaque main et on en garnit la poubelle autant qu'elle peut en contenir. C'est le seul endroit logique ou ils doivent être.
On se croirait dans "1984" dans le métro avec la vision de tous ces cerveaux disponible en train de "lire" le même organe de propagande...effrayant...
La question qui manque vraiment dans le sondage est :
Aimeriez-vous que les autres tavaillent plus afin que vous puissiez gagner plus?
D'autre part il ne faut pas oublier que l'on a tendance à répondre n'importe quoi à un sondage sur Internet pour fausser les résultats.
Ben, il ne faut pas jeter le bébé avec l'eau du bain : les sondages n'imposent pas tous une problématique. Enfin, il ne faudrait pas dire les choses de cette manière. Il serait, par exemple, préférable de dire que les sondages reposent tous sur une problématique : un point de vue préalable, des hypothèses, des séries de questions, etc. Le sondage critiqué n'échappe pas à la règle (le point de vue préalable qui fonde le questionnaire est, en l'espèce, celui du medef)- soit dit en passant, Bourdieu n'était pas contre les sondages/statistiques, il en fait d'ailleurs un assez large usage dans ses enquêtes. Mais chez Bourdieu, les chiffres ne constituent qu'un moment du raisonnement dont ils peuvent constituer des éléments probatoires aussi bien que des outils d'investigation, de découverte. Parce que pour un sociologue, utiliser les chiffres, ça reste quand même et toujours associé (au moins idéalement) à la volonté de mettre à jour les ressorts du raisonnement qui construit l'objet et donc, d'en rendre possible la critique.
Concernant notre sondage, à mon avis le biais principal repose dans la formulation des questions qui contiennent au moins deux propositions : "gagner de l'argent" et (je ne l'ai plus sous les yeux) "avoir plus de loisir". Quand l'enquêté répond "oui" avec laquelle des propositions est-il en accord ?
Bonne soirée
@albert : je partage un certain nombre de vos remarques. Mais je m'inscris en faux lorsque vous dites que "Bourdieu n'était pas contre les sondages/statistiques". Je pense que vous ne pouvez pas assimiler sondages et statistiques. Il n'y a aucune comparaison possible entre les enquêtes quantitatives des sociologues et les sondages d'opinion. Bourdieu le disait lui-même : l'opinion publique n'existe pas. Maintenant il n'y a pas que Bourdieu dans la sociologie. Mais la majeure partie des enquêtes sociologiques sont constituées sur la base plusieurs milliers, voire dizaines, voire même centaines de milliers de personnes enquêtées !!! A titre d'information, l'enquête Conditions de vie de l'INSEE c'est 11000 personnes répondants les mois où elle est effectuée (janvier, mai, octobre), l'enquête emploi de l'INSEE, c'est 300 000 enquêtés par an ! On est bien loin des 900 ou 1000 sondés des enquêtes d'opinion.
Bonsoir,
Disons que j'ai écrit sondage/statistique parce qu'il me semblait, à travers la lecture des messages précédents que la distinction était un peu écrasée, ce qui n'est pas grave ; les sondages permettent un type de statistique, les stats inérentielles. 1000 personnes suffisent si l'échantillon est correctement construit et si les redressements ad hac sont opérés (vaste question politique d'ailleurs ! ). Sur la base d'un échantillon de 1000 personnes (comme c'est le cas de la plupart des sondages), la précision est d'environ 3% pour un risque de 5%.Cela veut dire que, en acceptant un risque de 5% les pourcentages obtenus peuvent varier de plus ou moins 3%. Si on veut un risque de 1%, on passe à une variation de 4%. Si on se souvient des sondages avant éléctions donnant un candidat 48% et pour l'autre 52%, on aurait pu dire l'inverse. Ceci vaut pour les premiers sondages car ensuite, d'une part la répétition confirme ou infirme la tendance et, d'autre part, l'accumulation des résultats construit de nouveaux résultats qui tendent à leur être de plus en plus conformes. mais de toute manière la question de la taille de l'échantillon est toujours une mauvaise question, ce qui compte c'est la part de risque, la probabilité - et le commentaire qu'on fait (qui oriente, oubli, etc.)
Les gens de l'INSEE sont plutôt des démographes que des sociologues. Les échantillons et populations des sociologues ne sont pas nécessairement nombreuses (elles peuvent évidemment l'être). Ce qui compte, c'est qu'elles soient déterminées et décrites de fàçon précise par rapport aux questions des enquêtes. Le problème, c'est toujours la montée en généralité.
Mais bon, ceci dit, je suis d'accord avec ce qui est dit à propos de ce sondage - et à propos de son point de vue biaisé que, évidemment, je suis bien loin de partager.
@albert:
Entièrement d'accord sur la question du risque et des redressements. Mais je n'ai encore jamais vu un sondeur, ou plutot un media, présenté son sondage en affichant la fourchette. Il faut vraiment être à deux jours d'une présidentielle serrée pour que l'on commence à entendre "vous savez, il y a toujours une marge d'erreur". Donc je pense que les sondeurs (et les journalistes) pourraient gagner en crédibilité à annoncer les fourchettes plutôt que les valeurs modales.
Sinon en ce qui concerne les gens de l'INSEE, ce sont plutôt des statisticiens, et les gens de l'INED des démographes, et les sociologues se servent de leurs données respectives. Il y a aussi des sociologues dans chacune de ces deux institutions.
oui pierre maura vous avez raison sur insee/ined, je suis allé un peu vite.
vous avez raison aussi sur le fait que la fourchette n'est que très rarement affichée
OUi, je l'avais remarqué aussi, ce sondage. Et le titre, la Une scandaleuse de METRO. Ou comment faire croire n'importe quoi à l'opinion tant un titre marque les esprits, et que le citoyen lambda n'a pas toujours le temps ou l'envie d'en savoir plus en décortiquant une enquête d'opinion.
http://filoo1962.spaces.live.com/blog/cns!347E3F68126DD01F!2169.entry#permalinkcns!347E3F68126DD01F!2169
Arrêtons donc de critiquer les questions des sondages !!
Un sondage est FAUX et MENSONGER avant même que la question ne soit posée:
obtient-on le même résultat en:
1) sondant 1000 personnes représentatives comme cela se fait maintenant
2) disant à ces mêmes personnes: on va tous vous enfermer (avec petits fours et frais payés évidemment) 2 jours par semaine pour discuter de la question, entre vous et avec 40 intervenants ayant potassé la question, et dans 2 mois on vous demandera d'exprimer votre avis ?
Voudriez-vous refuser de faire des heures sup' quand votre patron vous les "propose", sachant que vous n'êtes légalement pas obligé de les faire et sachant que votre patron a une dent contre vous?
Si, pour avoir plus de pouvoir d'achat, vous aviez le choix entre une augmentation de votre salaire ou faire des heures sups', choisiriez-vous faire des heures sup'?
Êtes-vous d'accord avec le nouveau système d'heures sup' que le président veut introduire, sachant que ces heures sup' vont vous empêcher de travailler à plein temps, pendant que d'autres qui ont déjà un temps complet vont faire des heures sup'?
Bonsoir,
Anonyme, bien que je partage probablement vos opinions, j'ai l'impression que vous ne connaissez pas grand chose aux stats ; ça n'est pas grave mais bon, je pense qu'il n'est pas bon d'évacuer les choses de cette manière. C'est la forme des questions, leur ordre, l'économie du questionnaire... qui sont tendancieuses ; c'est aussi le fait de les poser de cette manière là, comme si le "choix" était libre et possible "toutes choses égales par ailleurs". Ainsi, comme le dit steph, en général, le salarié n'a pas la main sur la situation.
Politiquement nous sommes aussi coincés que l'étaient les répondeurs à ce questionnaires. Parce que, selon moi, Sarkozi et son staff ont exhibé la "valeur travail" occultant ainsi la question du salariat et donc des rapports de pouvoir au sein des entreprises. Si on ajoute à ça que Sarkozi jouant un coup (gauche ou presque disons populiste) sur les valeurs (travail, famille, sécurité, droit de l'homme, etc.) un coup (droit disont libéral) sur la rationalité économique (vraie ou fausse peu importe, il s'agit de discours et ce discours fait "moderne")nous voilà bien mal parti : il se permet la mauvaise foi du patron qui "a toujours raison".
Au milieu de tout ça questionnaires, sondages, enquêtes d'opinions ne sont rien d'autres que des outils. Celui-ci est mauvais et tendancieux. Les chiffres n'y sont pour rien. La malhônneteté était inscrite avant même que les chiffres existent.
Ainsi, si on s'en donnait la peine (question de moyens aussi)on pourrait faire des sondages ou exhiber des chiffres qui prouvent autre chose. Que les français ne travaillent pas tellement moins que les autres européens. Que les immigrés ne sont pas si nombreux que ça, en s'intéressant au solde migratoire et pas uniquement aux chiffres des entrants.
bref, renverser les outils est possible même si ça n'est pas facile : bourdieu aurait peut-être pu le faire. J'ai d'ailleurs vu que pierre maurra enseigne les sciences économiques et sociales, connaissant les limites des chiffres dans les sciences humaines, il doit en connaître aussi la force probatoire.
Hum j'ai trop écrit voulant juste dire qu'il ne faut pas jeter le bébé avec l'eau du bain.
Enregistrer un commentaire