Cela étant dit, toutes les études expérimentales ne sont pas créées de la même manière. Certains peuvent être mal conçus. Par exemple, l'année dernière, je suis tombé sur une étude où, dans le groupe expérimental, un enseignant lisait un livre à un élève, puis demandait à l'élève de lire le livre pour lui-même. Dans le groupe de contrôle, l'enseignant a demandé à l'élève de lire le livre pour lui-même. Leur étude a montré que le groupe expérimental surpassait le groupe témoin en matière de compréhension et ils ont conclu dans leur discussion que cela prouvait l'efficacité de la «lecture à l'oreille». Bien sûr, il s'agit d'une étude terriblement conçue pour deux raisons. Premièrement, les élèves ont pu lire l'histoire deux fois dans le groupe expérimental et une seule fois dans le groupe témoin. Deuxièmement, bien sûr, les lecteurs en difficulté comprenaient mieux le texte si un enseignant le leur lisait en premier ; cependant, cela ne prouve pas l'efficacité de la « lecture à l'oreille » comme stratégie d'enseignement.  

 

Lorsque nous examinons des articles quantitatifs, nous voulons généralement voir une expérience rigoureusement conçue, une taille d'échantillon suffisante et, idéalement, un groupe de contrôle randomisé. Cela étant dit, de nombreuses études sur l'éducation n'utilisent pas du tout de groupe témoin. Ils ont simplement un pré-test et un post-test pour l'intervention et mesurent l'ampleur de l'effet des résultats. Cependant, le problème avec cette conception d'étude est que nous ne testons pas vraiment l'efficacité de l'idée par rapport à l'enseignement régulier. En fin de compte, nous supposerions que tout temps consacré à l'enseignement devrait inciter les élèves à apprendre. Lorsque nous menons une expérience, nous devrions tester si cette méthode d'enseignement fonctionne mieux que l'enseignement régulier. Lorsque nous faisons une expérience, le laps de temps est également très important, car plus l'expérience est longue, plus les élèves doivent apprendre le programme, plus les résultats doivent être importants. Lorsque nous voyons des études sans groupe témoin, ou avec des horizons temporels très longs, ou pire les deux, nous devrions nous attendre à des tailles d'effet plus importantes. Lorsque vous voyez une étude qui n'a pas de groupe témoin et est menée sur une période de temps excessivement longue (comme un an ou plus) et que vous voyez une petite taille d'effet, vous pouvez être raisonnablement sûr que les preuves de cette étude sont extrêmement faible. 

 

D'autres choses qui devraient nous rendre méfiants lors de la lecture de la recherche sont la très petite taille des échantillons, le biais des chercheurs ou le manque de randomisation. Lorsqu'une étude utilise un échantillon plus petit, cela affecte considérablement la plage de résultats et peut finir par créer des tailles d'effet déformées aux deux extrémités du spectre. De plus, on voit généralement des chercheurs très investis dans une idée publier des études avec des résultats supérieurs à ceux des chercheurs qui testent les hypothèses des autres. Ce n'est probablement pas intentionnel, mais plutôt le résultat du chercheur investi qui fait tout ce qu'il peut pour s'assurer que le groupe d'intervention réussit. Bien que ce ne soit pas nécessairement faux, nous voulons nous assurer que les résultats sont reproductibles par l'enseignant moyen. Enfin, alors qu'une étude avec un groupe témoin sera presque toujours meilleure qu'une étude sans groupe, nous voulons idéalement un groupe expérimental et un groupe témoin assignés au hasard. Maintenant, c'est moins important que certains des autres points mentionnés ; cependant, cela peut encore avoir de l'importance. Par exemple, nous ne voudrions pas que le groupe témoin soit nos élèves les plus faibles et que notre groupe expérimental soit nos élèves les plus forts, car cela fausserait évidemment les résultats.  

 

Même si nous avons une étude vraiment bien faite, nous n'accordons généralement pas une grande valeur aux études individuelles, car nous voyons généralement une gamme de résultats dans la recherche. C'est souvent la partie de la science sur laquelle le grand public se trompe le plus. Pas seulement dans l'éducation, mais dans la science en général. Par exemple, j'ai récemment fait une méta-analyse secondaire sur la morphologie et j'ai trouvé une étude avec une taille d'effet de 0,29 et une autre avec une taille d'effet de 1,24. Évidemment, les deux tailles d'effet ne peuvent pas représenter au mieux l'effet de l'instruction morphologique, nous avons donc besoin d'une méthode pour déterminer au mieux ce que l'on appelle le consensus scientifique. C'est là qu'intervient notre troisième principal type de recherche. La méta-analyse examine toutes les études dans un domaine de recherche et essaie d'utiliser l'analyse statistique pour trouver les résultats moyens. 

 

Idéalement, la méta-analyse est effectuée en pondérant les études en fonction de la conception et de la taille de l'échantillon, de sorte que nous n'accordons pas le même poids à une étude avec une taille d'échantillon de 10 et à une étude avec une taille d'échantillon de 500. Cependant, ce n'est pas toujours le cas. possible et toutes les méta-analyses ne le font pas. Lorsque les chercheurs ne peuvent pas pondérer une méta-analyse, ils prendront une moyenne des tailles d'effet rapportées, tout en supprimant idéalement toute taille d'effet aberrante. La méta-analyse est de loin le meilleur moyen de déterminer l'efficacité d'une intervention pédagogique. Cependant, toutes les méta-analyses ne se valent pas. Par exemple, je suis tombé sur une méta-analyse sur l'enseignement individualisé avec une taille d'effet de 2,35. Il s'agit d'une taille d'effet extrêmement importante ; cependant, il était basé sur 4 études. Phonics, d'autre part, a généralement un résultat d'environ 0,45 selon la méta-analyse examinée. Cependant, certaines de ces méta-analyses ont plus de 100 études derrière elles. Cela me rend plus confiant dans la recherche derrière la phonétique que dans la recherche derrière l'enseignement individualisé, même si je pense que les deux sont une stratégie fondée sur des preuves.

 

De manière tangentielle, un dernier type de recherche que je couvrirai est la méta-analyse secondaire. La méta-analyse secondaire est une stratégie popularisée dans l'éducation par John Hattie, et c'est quelque chose que je fais souvent moi-même, sur mon site Webwww.pedagogynograta.com. Les méta-analyses secondaires sont des méta-analyses de plusieurs autres méta-analyses (qu'est-ce que c'est que méta ?). Cette idée est parfois critiquée pour avoir adopté une approche trop large, car elle peut être utilisée pour comparer des recherches difficiles à comparer, c'est-à-dire différentes populations d'étudiants, tailles d'échantillons, calculs d'effets et types de recherche. Cependant, personnellement, je suis un grand fan de ce type de recherche car il permet aux gens de digérer facilement et rapidement de grandes quantités de recherche en éducation, d'identifier quelles stratégies d'enseignement ont des preuves solides à l'appui et lesquelles ne le font pas. À titre d'exemple, je partagerai une infographie de ma méta-analyse secondaire de 2021 sur les stratégies d'enseignement couramment utilisées.