이상하게도 이 논문의 저자들은 또한 Whole Language가 어떻게든 긍정적이라는 증거로 영국보다 PISA 점수가 낮은 여러 국가와 Whole Language 커리큘럼을 지적합니다. 그러나 영국과 달리 종합 파닉스 커리큘럼이 아닌 전체 언어 교육 과정이 있는 국가가 영국보다 실적이 낮다는 점을 지적하는 것이 어떻게든 전체 언어에 찬성하는 지점인지는 알 수 없습니다. 

논문의 저자들은 또한 주제에 대한 자체 "메타 분석"을 수행했습니다. 그러나 그들의 포함 기준은 다소 편향된 것처럼 보였다. 우선, Bowers 2020 Torgerson 2019라는 두 가지 연구 리뷰에 포함된 논문만 포함했습니다. 물론 이 두 논문은 효과 크기가 가장 낮은 주제에 대해 가장 잘 알려진 두 가지 메타 분석입니다. 그들은 또한 2008년 이전에 작성되었으며 방법론적 질에 대한 평가와 출판 편향에 대한 자체 분석이 없는 모든 논문을 제외했습니다. 결과 메타 분석에는 55개의 연구만 포함된 반면 Hattie의 메타 분석에는 1000개 이상의 연구가 포함되고 ES가 .60이었습니다.  

그러나 나머지 55개 연구 모두를 다른 질적 이유로 제외하여 다음과 같이 주장합니다. 세로 디자인; 독서가 전형적인 어린이의 표본; 표준 수업 교사가 제공합니다. 읽기 이해 측정이 포함되었고 영국에서 영어로 수행되었습니다.” 즉, 이 주제에 대해 1000건 이상의 연구가 수행되었지만 이 논문의 저자는 심사 과정을 완전히 충족하는 단일 논문을 찾지 못했습니다. 더욱이, "메타 분석"을 위해 저자는 실제로 효과 크기를 계산하거나 연구 분석을 기반으로 한 통계적 증거를 제시하지 않습니다. 그들은 주제에 대해 작성된 논문에 대한 질적 비판만을 제시합니다. 즉, 그들은 그들의 관점을 뒷받침할 실험 데이터가 없기 때문에 존재하는 실험 연구의 무결성을 공격합니다. 

마지막으로 본 논문의 저자들은 영국의 초등학교 2학년 교사들을 대상으로 설문조사를 실시하였다. 그들의 설문조사에는 634명의 응답자가 포함되었으며 이 중 49명이 파닉스의 지시에 반대한다고 말했습니다. 저자들은 이것을 교사들이 교과과정에 포함된 파닉스에 만족하지 못했다는 증거로 강조하는 것으로 보입니다. 그러나 이 데이터는 여전히 교사의 93%가 파닉스 수업에 대해 중립적이거나 긍정적임을 의미합니다. 또한 응답자의 66%는 합성 파닉스가 읽기 쓰기에 대한 주요 교육 초점이라고 말했고 교사의 71%는 파닉스 선별 테스트를 사용하여 교육을 개선했습니다.

이 논문의 저자들은 합성 파닉스에 대한 "강력한 연구 증거"가 있다고 주장하면서 전체 언어 교육 접근 방식을 옹호합니다. 그러나 그들은 실험적 증거가 전혀 없으며 "메타 분석"(당신이 그것을 부를 수 있다면)에는 실제로 통계 분석 (또는 연구 ...)이 포함되어 있지 않습니다. 실제로 그들의 전체 주장은 영국의 표준 시험 점수가 지난 10년 동안 5% 변동했고 캐나다의 PISA 점수가 3% 더 높다는 사실에 달려 있는 것 같습니다. 물론 이 데이터 중 어느 것도 귀무 가설 테스트를 통과할 만큼 중요하지 않습니다. 책임 있는 학자가 교육적 방법의 효율성을 측정하는 방식도 아닙니다. 

반면 메타분석 이후의 메타분석에서는 Phonics가 Whole Language를 능가하는 것으로 나타났다. 실제로 그들이 Whole Language가 파닉스보다 낫다는 증거로 인용한 Bowers 2020 메타 분석조차도 이러한 주장을 하려고 하지 않습니다. 주제에 대한 John Hattie의 메타 분석에 따르면 Whole Language의 ES는 .06이고 Phonics의 ES는 0.60으로 10배의 통계적 차이입니다. Graham 등의 2017년 메타 분석에 따르면 Whole Language를 능가하는 Balanced Literacy는 여전히 0.38의 ES만 가지고 있습니다. 현실은 파닉스 교육을 전체 언어와 비교하는 문제에 있어서는 논쟁의 여지가 있고 진지한 학자는 전체 언어에 대한 증거가 더 큰 효능을 보여준다고 제안하지 않는다는 것입니다. Starett의 말을 인용하자면, “파닉스를 가르쳐야 할지 말아야 할지에 대한 논쟁에 참여하기 보다는 읽기와 쓰기의 효과적인 교사는 파닉스를 언제, 어떻게, 얼마나, 어떤 상황에서 가르쳐야 하는지 묻습니다.”_cc781905-5cde-3194- bb3b-136bad5cf58d_