21/02/19 - 16h30 - CPAFO au bar le Carnot

Lakens : Puissance statistique observée, et que répondre aux éditeurs demandant des analyses de puissance post-hoc

« La table ronde CPAFO poursuit sa quête de la connaissance scientifique »

Son prochain rendez-vous se déroulera le Jeudi 21 Février à 16h30 au bar le Carnot.

Que faire si, lors de la soumission d’un article, l’éditeur.trice vous demande de réaliser un test de puissance post-hoc ? Réponse : "ne pas le faire".

Lors de l’évaluation d’un de vos papiers, un.e expert.e vous a peut-être déjà demandé d’ajouter des analyses de puissance statistique post-hoc (i.e., basées sur la taille d’effet observée).
Dans l’article de blog suivant, Daniel Lakens nous explique pourquoi il n’est pas possible de faire des inférences pertinentes sur la véritable puissance de notre analyse à partir de cette statistique, et suggère une réponse aux éditeur.trices qui demanderaient de la reporter.

Nous commencerons par aborder cette question, puis nous pourrons élargir la discussion aux réponses à apporter à des expert.es ou éditeur.trices demandant des modifications sur les analyses statistiques, infondées ou allant à l’encontre des bonnes pratiques dans ce domaine.

Pour rappel, ce rendez vous est ouvert à tout le laboratoire. Il se tient les premiers et troisièmes jeudis de chaque mois au laboratoire et au bar le Carnot, en fin d’après midi.

À jeudi pour cette prochaine table ronde !

Daniel Lakens (Blog post : Friday, December 19, 2014)

Titre : Observed power, and what to do if your editor asks for post-hoc power analyses

Résumé
Observed power (or post-hoc power) is the statistical power of the test you have performed, based on the effect size estimate from your data. Statistical power is the probability of finding a statistical difference from 0 in your test (aka a ‘significant effect’), if there is a true difference to be found. Observed power differs from the true power of your test, because the true power depends on the true effect size you are examining. However, the true effect size is typically unknown, and therefore it is tempting to treat post-hoc power as if it is similar to the true power of your study. In this blog, I will explain why you should never calculate the observed power (except for blogs about why you should not use observed power). Observed power is a useless statistical concept, and at the end of the post, I’ll give a suggestion how to respond to editors who ask for post-hoc power analyses.