즉, 모든 실험 연구가 동등하게 생성되는 것은 아닙니다. 일부는 잘못 설계될 수 있습니다. 예를 들어, 작년에 저는 실험 그룹에서 교사가 학생에게 책을 읽어준 다음 학생이 스스로 책을 읽게 한 연구를 발견했습니다. 통제 그룹에서 교사는 학생이 스스로 책을 읽게 했습니다. 그들의 연구는 실험 그룹이 통제 그룹을 능가하는 이해력을 보여주었고 토론에서 이것이 "귀 읽기"의 효능을 입증했다고 결론지었습니다. 물론 이것은 두 가지 이유로 끔찍하게 설계된 연구입니다. 첫째, 학생들은 실험집단에서 두 번, 통제집단에서 한 번만 이야기를 읽게 하였다. 둘째, 물론 어려움을 겪고 있는 독자는 교사가 먼저 읽어 주면 텍스트를 더 잘 이해합니다. 그러나 이것은 교육 전략으로서 "귀 읽기"의 효능을 입증하지 않습니다.  

 

양적 논문을 볼 때 일반적으로 엄격하게 설계된 실험, 충분한 표본 크기, 이상적으로는 무작위 대조군을 보고 싶어합니다. 즉, 많은 교육 연구에서 대조군을 전혀 사용하지 않습니다. 그들은 단순히 개입에 대한 사전 테스트와 사후 테스트를 가지고 결과의 효과 크기를 측정합니다. 그러나 이 연구 설계의 문제는 우리가 정규 교육과 비교하여 아이디어의 효능을 실제로 테스트하고 있지 않다는 것입니다. 궁극적으로 우리는 수업에 소요되는 시간이 학생들에게 학습을 유발해야 한다고 가정할 것입니다. 실험을 할 때 이 교수법이 일반 교수법보다 효과가 좋은지 테스트해야 합니다. 실험을 할 때 시간 프레임도 정말 중요합니다. 실험이 길수록 학생들이 커리큘럼을 배워야 하는 시간이 길어질수록 결과도 커야 합니다. 대조군이 없거나 매우 긴 시간 범위 또는 둘 다 더 나쁜 연구를 볼 때 더 큰 효과 크기를 예상해야 합니다. 대조군이 없고 지나치게 오랜 기간(예: 1년 이상) 동안 수행된 연구를 보고 효과 크기가 작은 경우 해당 연구의 증거가 다음과 같다는 것을 합리적으로 확신할 수 있습니다. 매우 약합니다. 

 

연구를 읽을 때 우리를 불안하게 만드는 다른 것들은 매우 작은 표본 크기, 연구자 편향 또는 무작위화 부족입니다. 연구에서 더 작은 샘플을 사용하면 결과 범위에 큰 영향을 미치고 결국 스펙트럼의 양쪽 끝에 왜곡된 효과 크기가 생성될 수 있습니다. 게다가, 우리는 일반적으로 아이디어에 많은 투자를 한 연구자들이 다른 사람들의 가설을 테스트하는 연구자보다 더 높은 결과를 가진 연구를 발표하는 것을 봅니다. 이것은 의도적인 것이 아니라 투자된 연구자가 개입 그룹이 성공할 수 있도록 최선을 다한 결과일 가능성이 큽니다. 이것이 반드시 잘못된 것은 아니지만 평균적인 교사가 결과를 재현할 수 있도록 하고 싶습니다. 마지막으로 대조군이 있는 연구는 거의 항상 대조군이 없는 연구보다 더 낫지만 이상적으로는 실험군과 대조군이 무작위로 지정되기를 원합니다. 이제 이것은 언급된 다른 몇 가지 사항보다 덜 중요합니다. 그러나 여전히 중요할 수 있습니다. 예를 들어 통제 그룹이 가장 약한 학생이 되고 실험 그룹이 가장 강한 학생이 되는 것을 원하지 않을 것입니다.  

 

우리가 하나의 정말로 잘 수행된 연구를 가지고 있더라도, 우리는 일반적으로 개별 연구에 높은 가치를 두지 않습니다. 그것은 우리가 일반적으로 연구에서 다양한 결과를 보기 때문입니다. 이것은 종종 일반 대중이 가장 잘못 이해하는 과학의 일부입니다. 교육뿐만 아니라 과학 전반에 걸쳐. 예를 들어, 최근에 형태학에 대한 2차 메타 분석을 수행했으며 효과 크기가 0.29인 연구와 효과 크기가 1.24인 다른 연구를 찾았습니다. 분명히 두 효과 크기 모두 형태론적 지시의 효과를 가장 잘 나타낼 수는 없으므로 과학적 합의라고 불리는 것을 가장 잘 결정할 수 있는 방법이 필요합니다. 여기에서 세 번째 주요 유형의 연구가 작동합니다. 메타 분석은 연구 분야의 모든 연구를 살펴보고 평균 결과를 찾기 위해 통계 분석을 사용하려고 합니다. 

 

이상적으로는 메타 분석은 디자인과 표본 크기에 따라 연구에 가중치를 부여하여 수행하므로 표본 크기가 10인 연구와 표본 크기가 500인 연구에 동일한 가중치를 부여하지 않습니다. 그러나 항상 그런 것은 아닙니다. 가능하며 모든 메타 분석이 이를 수행하는 것은 아닙니다. 연구자들이 메타 분석에 가중치를 둘 수 없을 때 그들은 보고된 효과 크기의 평균을 취하면서 이상적으로는 이상치 효과 크기를 제거합니다. 메타 분석은 교육 개입의 효율성을 결정하는 가장 좋은 방법입니다. 그러나 모든 메타 분석이 동일하게 생성되는 것은 아닙니다. 예를 들어, 효과 크기가 2.35인 개별 교육에 대한 메타 분석을 보았습니다. 이것은 매우 큰 효과 크기입니다. 그러나 4건의 연구를 기반으로 했습니다. 반면에 Phonics는 일반적으로 살펴보는 메타 분석에 따라 약 0.45의 결과를 갖습니다. 그러나 이러한 메타 분석 중 일부에는 100개 이상의 연구가 있습니다. 이것은 개별 교육에 대한 연구보다 파닉스에 대한 연구에 더 확신을 갖게 하지만, 둘 다 증거 기반 전략이라고 생각합니다. 

 

접선적으로, 제가 다룰 마지막 유형의 연구는 2차 메타 분석입니다. Secondary meta-analysis는 John Hattie가 교육 분야에서 대중화한 전략으로, 웹사이트에서 제가 직접 자주 하는 것입니다.www.pedagogynograta.com. 2차 메타 분석은 여러 다른 메타 분석의 메타 분석입니다(메타가 어떻게 되나요?). 이 아이디어는 IE 다른 학생 모집단, 표본 크기, 효과 계산 및 연구 유형을 비교하기 어려운 연구를 비교하는 데 사용될 수 있기 때문에 접근 방식을 너무 광범위하게 취한다는 이유로 때때로 비판을 받습니다. 그러나 개인적으로 저는 이러한 유형의 연구를 열렬히 지지합니다. 사람들이 많은 양의 교육 연구를 쉽게 소화하고 어떤 교수 전략이 자신을 지지하는 강력한 증거가 있고 그렇지 않은지를 식별할 수 있기 때문입니다. 이에 대한 예로서 일반적으로 사용되는 교육 전략에 대한 2021년 2차 메타 분석의 인포그래픽을 공유하겠습니다.