Scepticisme et croyance

En me baladant sur le Net, j'entends parler du club Zététique du collège Jean Giono. Des zététiciens au coeur pur, héritiers du siècle des Lumière (car ce sont des Brights) désirent montrer à des élèves de collège ce qu'est une véritable démarche sceptique.
Premièrement un questionnaire a été distribué à ces élèves, destiné à mesurer leur taux de croyance en divers phénomènes paranormaux:



premier exercice pratique, un test de divination sur des cartes Zener:



principe: deviner la carte qui va être tirée, espérance à chaque tirage: 1/5.

Voici le tableau des résultats:



sur 1000 test, 242 succès. L'espérance était de N*p=200. L'écart-type est
Donc l'écart par rapport à l'espérance est tout même de plus de 3 écart-type, ce qui est très significatif, éloigné du hasard.

Voilà cependant la conclusion qu'en tirent les zététiciens, avec l'appui du résultats graphique:

Comment analyser cette courbe ? On peut considérer que, statistiquement, lorsque une valeur (nombre de succès) a "sa probabilité contenue dans la cloche" elle ne s'éloigne pas significativement d'un résultat lié au seul hasard. Ainsi, pour 242 réussites, on se trouve "tout en bas" de la cloche ce qui permet de conclure que ce résultat est peu éloigné d'un résultat obtenu par hasard. En réalité, un calcul statistique permet d'obtenir plus précisément les valeurs "limites" pour un nombre de tirages donné (voir http://www.unice.fr/zetetique/polycop_methodo.pdf).

J'ai visité ce dernier lien, d'où je tire (p 18) les méthodes de calcul de l'espérance et de l'écart-type.

Qu'en pensez-vous ? me suis-je trompé ?


[ Ce message a ete modifié par : : tofu le 25-05-2006 17:16 ]


[ Ce message a ete modifié par : : tofu le 25-05-2006 17:26 ]

Salut Tofu,

Effectivement, leur résultat semble erroné, à moins qu'ils n'aient poussé les calculs plus loin que ce qu'ils laissent supposer (calcul de l'erreur type, etc. ?)

Je n'irais pas jusqu'à dire que le résultat est "très significatif" (la distance par rapport à la cloche est tout de même faible), mais il est suffisant pour chercher plus loin. Probablement une erreur dans le protocole, p.ex de remettre la carte en fin de paquet après chaque essai au lieu de le remélanger systématiquement.

Dommage qu'ils n'en aient pas profité pour faire un cours sur les erreurs expérimentales!

Ben

Salut Tofu,

Si on admet que le nombre de succès suit une loi binomiale, il n'y a pas de problème, les formules sont exactes.
Sachant que l'écart à l'espérance est de 3,32 et sachant que dans un cas comme celui-ci on peut approcher la loi binomiale par une loi normale, la probabilité de trouver un tel écart par hasard est de 0,05 % ce qui est évidemment assez peu.
(table loi normale)
Bon, mais je crois que la solution se trouve sans doute du côté du protocole, on doit noter que les élèves réussissent tous sauf un mieux que le hasard alors que les profs(ceux dont on n'a pas le prénom) font moins bien...
Autre remarque, pourquoi tous n'ont pas le même nombre de tests?
Et puis, même si la probabilité est faible, il reste possible que les résultats soient dus au hasard, c'est la raison pour laquelle on doit assurer que les résultats se reproduisent dans d'autres séances.

Au fait, il y a un truc que je ne comprends pas avec ces "cartes Zenner", pourquoi se contenter de 5 signes? Si on cherche à mettre en évidence un supposé phénomène de transmission de pensée, n'aurait-on pas intérêt à diminuer la probabilité de réussite "au hasard"?

Salut,
ce que je remarque c'est que quelque soit le résultat de l'expérience l'interprétation est qu'il n'y a rien. Assez infalsifiable je trouve... j'appelle ça du pseudo-scepticime.
Après chacun son interprétation des résultats, je pars du principe que le protocole est bon et qu'il n'y a pas eu d'erreur du côté expérimental. A la limite ce résultat peut être du à la chance, il faudrait voir sur plus de test.
D'après un pote qui touche plus que moi en statistiques, "la probabilité unilatérale est de 4.5 e-4 ce qui est bien plus significatif que les 0.05 habituels (2 sigma).

Au fait, il y a un truc que je ne comprends pas avec ces "cartes Zenner", pourquoi se contenter de 5 signes? Si on cherche à mettre en évidence un supposé phénomène de transmission de pensée, n'aurait-on pas intérêt à diminuer la probabilité de réussite "au hasard"?

tout à fait, mais en multipliant les séries de tests. De toute façon dans ce genre de test il reste toujours une chance au hasard, si petite soit-elle.

Salut tofu,

Juste une remarque pour commencer: 4,5*10^(-4)(et non 4,5 e-4) cela fait 0,00045, soit 0,045% soit à peu près les 0,05% que je donne(ma table n'est précise qu'à 10^(-4) près).

Tu dis que tu pars du principe que le protocole est bon, mais c'est une mauvaise façon de procéder. Lorsqu'un résultat sort de l'ordinaire, il faut d'abord examiner tous les biais expérimentaux possibles et non considérer à priori que le protocole est bon.
Il faut aussi s'assurer que le résultat n'est pas du au hasard, d'où la nécessité de la reproductibilité.
Enfin concernant les cartes Zenner, ma question était: pourquoi ne pas constituer des jeux avec quinzaine ou une vingtaine de symboles?
Un éventuel "effet télépathique" serait beaucoup plus facile à mettre en évidence(s'il existe )

Bonjour à tous,
Je me permets d'intervenir puisque je suis un des professeurs qui gère et organise le Club Zététique.
Je dois avouer que vos remarques ne me laissent pas sans réaction.
Tout d'abord, à Tofu, j'aimerais dire que le ton ironique "zététiciens au coeur pur, héritiers du siècle des Lumière (car ce sont des Brights) désirent montrer à des élèves de collège ce qu'est une véritable démarche sceptique" n'est jamais bon pour entamer une discussion il me semble...mais ce n'est que l'avis d'un "zététicien de coeur"...Et puis nous assumons volontier la tâche de former les élèves à autres choses que recevoir des connaisances. Le scepticisme et la zététique ne s'abordent, avec les élèves (phrase répétée à chaque fois) qu'avec ouverture d'esprit respect des croyances (nous freinons souvent qquns qui sont souvent convaincus de l'inexistence de certains phénomènes) sans pour autant perdre de vue le questionnement et la remise en question lorsqu'un nouveau thème est abordé.
Ensuite, sur l'expérience en elle-même, il faut avouer qu'elle nous a causée beaucoup de problèmes de protocole et je rejoins Ben sur la remarque de la remise de la carte dans le paquet pour pouvoir utilser la binomiale : sur le moment, (c'était notre premier vrai test!) nous avons laisser faire les élèves puis nous avons discuté de leur façon de procéder. Ils ont alors vite compris la nécessité de la mise en place d'une expérience en simple aveugle puis en double. Cependant, je dois admettre que dans le feu de l'action (et dans notre difficulté à maitriser certaines subtilités statistiques!!) nous avons oublié de parler de la remise des cartes dans le paquet (pour ensuite la remélanger pour un nouveau tirage). C'est une possible explication des résultats élevés.
Mais je crois surtout que je n'ai pas très bien explicité cela sur le site. En effet, le résultat global est supérieur aux 2,6 fois l'écart type (99% des valeurs) = +ou-33 soit vers 233 résussites. Or nous obtenons 242. J'aurais donc dû écrire que ce résultat est surprenant et developper alors les explications :par exemple le test de Margaux qui réussit 15 fois sur 35. Pour faire court, c'est étonnant, mais 35 essais ne suffisent pas. Par seul hasard, elle aurait dû se rapprocher de 7 soit 8 réponses justes de moins ce qui nous rapproche de 233... Mais bon, seuls d'autres tests nous permettraient de conclure et les 45 minutes hebdomadaires ne nous ont pas permis de recommencer. Mais l'année prochaine, nous y prendrons mieux!
Donc mea culpa pour cette conclusion rapide que je me fais un plaisir de corriger dès ce soir...
Merci de vos commentaires qui nous font avancer.
A propos, les élèves adorent le Club et se prennent volontier au jeu. Ils ne sont pour la plupart pas trop bornés et abordent de plus en plus les choses avec un esprit ouvert mais prudent...!
Cordialement
Denis (voilà le prénom) Caroti
PS1 :Au fait, ZeNer ne prend qu'un N...!
PS2 : un protocole pour cette expérience est proposé ici
Comment tester la PES

Lorsqu'un résultat sort de l'ordinaire, il faut d'abord examiner tous les biais expérimentaux possibles et non considérer à priori que le protocole est bon.

le problème c'est que quand on cherche on finit toujours par trouver. Et même supposons que l'on identifie de manière claire un biais dans la procédure expérimentale, ça ne nous donne pas les résultats qui auraient été obtenus s'il n'y avait pas eu de biais.
A mon avis, plutôt que de se focaliser sur cette experience, qui est faite et dont les résultats sont ce qu'ils sont, mieux vaudrait en refaire d'autres, en mettant momentanément de côté les résultats de cette expérience.

Mais qu'il y ai biais ou non n'est pas la question la plus importante, après tout ce que je trouve grave c'est qu'ils aient conclus que les résultats n'étaient pas significatifs, alors qu'ils le sont, de plus avec tout les éléments en main pour juger. Et il semble que le cas ne soit pas isolé.

Juste une remarque pour commencer: 4,5*10^(-4)(et non 4,5 e-4) cela fait 0,00045, soit 0,045% soit à peu près les 0,05% que je donne(ma table n'est précise qu'à 10^(-4) près).

là je ne dit rien je suis tout à fait d'accord, désolé si tu as pu penser le contraire.


[ Ce message a été modifié par : : tofu le 22-11-2006 23:12 ]

Attachement: marionette_la_bonne.swf

Tout d'abord, à Tofu, j'aimerais dire que le ton ironique "zététiciens au coeur pur, héritiers du siècle des Lumière (car ce sont des Brights) désirent montrer à des élèves de collège ce qu'est une véritable démarche sceptique" n'est jamais bon pour entamer une discussion il me semble

attends... non je rêve, tu es très drôles. Les sceptiques passent leur temps à se foutre de la gueule des gens et à ricaner. Je pensais que ça vous ferait rire justement ce petit ton ironique, ça colle bien à votre style, et surtout celui de Broch que vous semblez apprécier. Je suis sûr que tu n'as pas vu ma "marionette sceptique", que j'ai faite en Flash, je la trouve très drôle également.

Ma critique n'est pas forcément sur les résultats mais sur la manière dont vous analysez vos résultats: quels qu'ils soient, vous aboutirez à une absence de phénomène, et je trouve cela particulièrement flagrant sur votre page (que j'ai sauvegardée). Je trouve ça étonant parceque vous êtes les premiers à brandir Popper à tout bout de champs.


[ Ce message a ete modifié par : : tofu le 26-05-2006 16:54 ]

Attachement: marionette.swf

26-05-2006 a 16:53, tofu :

attends... non je rêve, tu es très drôles. Les sceptiques passent leur temps à se foutre de la gueule des gens et à ricaner. Je pensais que ça vous ferait rire justement ce petit ton ironique, ça colle bien à votre style, et surtout celui de Broch que vous semblez apprécier.

Ho l'amalgame...
Les sceptiques passent leur temps à se foutre de la gueule des gens et à ricaner.
N'importe quoi, tofu...
Les africains passent leur temps à danser la samba et à rigoler
Les chinois passent leur temps à faire du kung-fu et à manger du singe
Les farnçais passent leur temps à râler et à boire du vin rouge
....