Insondable

Hier soir, un "Téléphone sonne" sur les instituts de sondages (France Inter).

Ce que j'en ai retenu à propos des sondages eux même.

Les sondages ne sont qu'une photo de l'opinion à un instant I. "En aucun cas ils n'ont de valeur prédictives". Sans doute parce que les gens changent d'avis le temps que le sondage soit terminé ?

De plus.

En ce qui concerne intentions de vote, il n'est pas possible de publier la marge d'erreur car il n'existe aucune méthode permettant de la calculer lorsque l'on travail avec des échantillons représentatifs, ou supposés tels, de la population (les formules ne fonctionnent qu'avec les échantillons pris au hasard).

Vous voilà rassuré ?

Comments

[antonomase]

Ca déconne sec avec les commentaires chez canalblog en ce moment :( Espérons que cette fois ça passe.

Je vous conseille la lecture de cette page du site Ipsos : http://www.ipsos.fr/CanalIpsos/cnl_static_content.asp?rubId=35

En voici quelques extraits :
"En théorie, on ne peut pas connaître scientifiquement la marge d’erreur d’un sondage réalisé par quotas (voir question 2). En pratique, on estime que cette marge est du même ordre que celle que la loi de Gauss permet de calculer dans le cas des sondages aléatoires."

Donc ils la connaissent, leur marge d'erreur ! C'est normal : comment les instituts peuvent-ils améliorer leur outil de travail et affiner leur méthode de sélection d'échantillons représentatifs s'ils ne savent pas de combien ils se sont trompés les fois précédentes ?

A la fameuse question 2 de leur FAQ, Ipsos explique qu'on ne peut pas la calculer scien-ti-fi-quement : la science comme ultime alibi, mot qui est censé fait clore le débat : les scientifiques ne peuvent pas, point. Ce qui n'empêche pas de donner les clés : pour un échantillon de 1000 personnes, la marge d'erreur est de plus ou moins 3,2% (vous apprécierez le 0,2%) !
Au passage, il y a un glissement sémantique entre scientifique et théorique : il y a des domaines scientifiques (la mécanique des fluides) où certaines formules ne sont pas issues de travaux théoriques, mais d'observations pratiques. Cela ne les empêche pas d'être tout aussi scientifiques que E=mc2.

Voici la formule qui permet de donner ce chiffre :
http://www.buce.ucl.ac.be/public/questions/liste/q4.html
-->marge d'erreur 6% pour un échantillon de 1067 personnes (pour N grand, peu importe sa valeur).

Alors pourquoi ne pas indiquer les taux d'erreurs, même si ce sont ceux des échantillons aléatoires :
- Rendre plus difficile les critiques quand les résultats réels tombent : nous avons tous assisté aux explications embrouillées des sondeurs les soirs d'élection : ils avaient prévu 44% et c'est 65 ! Sans marge d'erreur, ils peuvent se replier sur un tas de bonnes raisons ... ou de mauvaises. Avec publication des marges d'erreur, ça devient vachement plus dur : vos sondages avaient prévus qu'il y a 95% de changes que le résultat soit entre 41% et 48% ? Pourquoi est-il à 65 ?

- Vendre plus de sondages et vendre plus de journaux surtout quand les sondages prédisent des résultats serrés : Exclusif : le Oui passe en tête avec 53% !!! le Non baisse de 52% à 51 % !!! Alors qu'en fait, rien ou presque n'a bougé, sauf l'échantillon : le Non est entre 47% et 53% et le Oui aussi.

[antonomase]

Mes cours de statistiques sont un peu loin, mais cela me semble complètement faux. Et en plus complètement absurde : avec les milliers d'études effectuées par les instituts de sondage depuis des dizaines d'années (et les millions de bénef engrangés), ceux ci ne seraient pas capables de trouver des mathématiciens capables de leur calculer les intervalles de confiance et les marges d'erreur sur les sondages dans des échantillons représentatifs.

Ils savent bien sûr redresser les chiffres bruts pour faire coller leur échantillon à la population française, mais pas de calculer l'erreur introduite. c'est grave ...

Peut-être un première approche en leur donnant l'adresse de cette page ?
http://www.buce.ucl.ac.be/public/questions/liste/q4.html

Il y en a probablement d'autres et sûrement plus spécialisées.