04/04/2019 - 16h30 - LAPSCO 4e étage

Lortie-Forgues et Ingles (2019) : Les études à grande échelle sont-elles vraiment informatives ?

« La table ronde CPAFO continue sa quête de connaissance »

Le prochain rendez vous aura lieu le Jeudi 4 Avril à 16h30. Exceptionnellement, nous commencerons dans l’espace détente, en face de la salle 404.

Cette semaine, nous nous demanderons si les études à grande échelle, même si contrôlées et rigoureuse, sont réellement informatives.
Dans un article à paraître, Lortie-Forgues et Inglis (2019) s’appuient sur une étude à (très) grande échelle dans le milieu de l’éducation pour poser la question du rapport entre la taille réduite des effet détectés, et leur variabilité relativement élevée. Sur cette base, nous réfléchirons sur les causes de ce type de résultats ainsi que leur valeur informative.

Pour rappel, ce rendez vous est ouvert à tout le laboratoire. Il se tient les premiers et troisièmes jeudis de chaque mois au laboratoire et au bar le Carnot, en fin d’après midi.

À jeudi pour cette nouvelle édition !

Auteurs (année) : Lortie-Forgues et Ingles (2019, sous presse)
Titre : Rigorous Large-Scale Educational RCTs are Often Uninformative : Should We Be Concerned ?
Journal : Educational Researcher

Abstract
There are a growing number of large-scale educational Randomized Controlled Trials (RCTs). Considering their expense, it is important to reflect on the effectiveness of this approach. We assessed the magnitude and precision of effects found in those large-scale RCTs commissioned by the EEF (UK) and the NCEE (US) which evaluated interventions aimed at improving academic achievement in K-12 (141 RCTs ; 1,222,024 students). The mean effect size was 0.06 standard deviations (SDs). These sat within relatively large confidence intervals (mean width 0.30 SDs) which meant that the results were often uninformative (the median Bayes factor was 0.56). We argue that our field needs, as a priority, to understand why educational RCTs often find small and uninformative effects.