エビデンスに基づく教育を推し進める動きの始まり
教育研究とは何か
はじめに，教育研究とは何かを確認しておきたい。Cronbach & Suppes (1969 ) は，学術的な教育研究（disciplined inquiry for education）を，どのようなデータを，どのように集め，どのように推論して結論に至ったのかが，他者によって綿密に検討できるような形で行われ，報告される探究として特徴づけた。個人の経験談や意見の表明と学術的な研究とを分けるのは，結論が正しいかどうかではなく，結論に至る過程が他者の吟味に開かれているかどうかである。
その上で彼らは，教育研究を二つに分類した。一方は，研究者が専心的に現象を理解し，理論を形成することで，正しい結論を導こうとする結論指向的研究である。何を研究するかは，研究者自身の関心によって決まる。他方は，教育政策，学校運営，教室での学習指導の意思決定を行う側の求めに応じて，必要な知見を提供する意思決定指向的研究である。何を研究するかは，意思決定を行う側が何を知りたいかによって決まる。すなわち，学術的な教育研究には，現象理解と理論形成，社会的要請への応答という二つの役割がある。そして，エビデンスに基づく教育を推し進める動きは，このうち後者の役割を，教育研究は果たしているのかという問いかけから始まったと言える。
ハーグリーヴズの1996年の講演
「エビデンスに基づく教育（evidence-based education）」を推し進める動きの契機の一つとされるのが，1996年に当時ケンブリッジ大学教授であったデイヴィッド・ハーグリーヴズが，イングランドの教員養成機構（Teacher Training Agency）の年次講演として行った「研究に基づく専門職としての教職」である(Hargreaves, 1996 ) 。教職は現状では研究に基づく専門職ではないと断じ，年間5,000万〜6,000万ポンド，当時の為替相場（1ポンド160〜170円程度）で換算しておよそ80億〜100億円が投じられている教育研究は，学校教育の質の向上という点で費用に見合っていないと述べた。
この主張を支えるのが，医師との比較である。教職も医療も，目の前の一人ひとりに合わせた高度な判断を要する，人を相手とする専門職である点は変わらない。しかし，研究と実践の関係は大きく異なる。第一に，医師には解剖学や生理学といった共有された知識基盤と専門用語があるのに対し，教師には合意された知識基盤がなく，教員養成で学ぶ心理学や社会学は，実践から切り離された「理論」と見なされている。第二に，医学研究は先行研究を確認し，反証し，拡張するという形で累積していくのに対し，教育研究は累積的でない。小規模な研究が追試されないまま散在し，研究の流れは問題が解決されたからではなく，流行が変わることで終わる。第三に，そして最も決定的な違いとして，医学では，どのような状況で何が効くのかを明らかにする応用研究を担うのは病院や診療所の医師自身であるのに対し，教育研究を担うのは学校で教えていない大学の研究者であり，何を研究するかも研究者が決めている。
これらの比較を踏まえて，ハーグリーヴズは次のように述べる。この講演の核心と言える箇所である。
In education there is simply not enough evidence on the effects and effectiveness of what teachers do in classrooms to provide an evidence-based corpus of knowledge. The failure of educational researchers, with a few exceptions, to create a substantial body of knowledge equivalent to evidence-based medicine means that teaching is not – and never will be – a research-based profession unless there is major change in the kind of research that is done in education. (Hargreaves, 1996, p. 4 )
教育においては，エビデンスに基づく知識の体系をもたらすだけの，教師が教室で行っていることの効果と有効性に関するエビデンスが，端的に言って不足している。教育研究者が，少数の例外を除いて，エビデンスに基づく医療に相当するような実質的な知識の体系を作り上げてこなかったということは，教育で行われる研究の種類に大きな変化がない限り，教職は研究に基づく専門職ではないし，これからも決してそうはならないということを意味する。
この一節からは，四つのことが読み取れる。第一に，不足しているとされるのは教育研究一般ではない。ハーグリーヴズは，過去50年以上にわたって膨大な量の教育研究が行われてきたことを認めている。不足しているのは，「教師が教室で行っていること」の「効果と有効性」に関するエビデンスである。ここでエビデンスという語が，単なるデータや研究成果一般ではなく，実践の効果に関する知見を指して使われていることに注意したい。
第二に，求められているのは個々の研究ではなく，「知識の体系」（corpus of knowledge，body of knowledge）である。一つひとつの研究がどれほど優れていても，それらが互いに積み重なって体系をなさなければ，専門職の実践を支える基盤にはならない。これは，教育研究が累積的でないという先の批判と対応している。
第三に，この不足の責任は，教育研究者の側に帰されている。当時の研究者の間では，研究成果が実践に生かされないのは，成果の普及が不十分だからだとする見方が一般的であり，中には，研究知見を無視する教師の側に問題があるとする者もいた。ハーグリーヴズはこの見方を退ける。教師がやり方をxからyに変えれば，教授と学習に明確で持続的な改善が生じることを決定的に示した研究が，そもそも乏しい。普及すべきものがないのだから，問題は普及の仕方にあるのではなく，どのような研究が行われるかを決める過程にある。
第四に，結論は条件付きの断言になっている。教職は研究に基づく専門職ではなく，「これからも決してそうはならない」。ただし，それは研究の種類に大きな変化がない限りにおいてである。彼が求めたのは，研究の量を増やすことでも，普及の方法を改善することでもなく，行われる研究の種類を変えることであった。
この批判は，冒頭で見た教育研究の二分類を用いると整理しやすい。ハーグリーヴズが問題にしたのは，教育研究が，意思決定指向的研究としての役割，すなわち社会的要請への応答という役割を果たせていないことであった。何を研究するかを研究者が決め，意思決定を行う側である教師や政策立案者がそこに関与していないのだから，意思決定を行う側の求めに応じた知見が生み出されないのは当然だということになる。一方で彼は，好奇心に導かれた長期的な基礎研究は，他の科学分野と同様に教育においても不可欠であり，守られるべきだとも述べている。つまり，結論指向的研究を否定したわけではない。彼が不要だとしたのは，理論にも実践にも寄与しない研究，言い換えれば，二つの役割のどちらも果たしていない研究である。
教師が自らの実践を正当化する根拠は，「昔からこうしてきた」（伝統），「自分はこうするのが好きだ」（偏見），「これが正しいやり方だ」（独断），「今の主流がこう求めている」（空論）の四つになりがちだが，これは医師にも当てはまる。だからこそ教師も医師と同じように，専門的な意思決定をエビデンスによる検証にかけるべきだというのが，この講演の結論である。
エビデンスに基づく医療における「エビデンス」
ハーグリーヴズが手本としたのは，当時広がりつつあった「エビデンスに基づく医療」である。講演の中で彼は次のような例を挙げている。かつての外科医は，なぜその手術法を用いるのかと問われれば，「誰々先生の下でそう教わったから」と答えたものだった。しかし今日の医師は，訓練を受けたときのやり方に頼るのではなく，治療の効果に関する研究を，治療の根拠および正当化として用いるようになっている。例えば，乳がんの治療として，乳房を温存する手術は，乳房を全て切除する手術と同じだけの効果があるのか。このような，ある治療法を別の治療法と比べてその効果を評価する研究の知見が，ここで言うエビデンスである。
その手続きは，臨床上の必要を答えの出せる問いに変換し，その問いに答える最良のエビデンスを効率よく探し出し，その妥当性と有用性を批判的に吟味し，結果を自分の臨床実践に適用し，その成果を評価する，という五段階で説明される。もっとも，ハーグリーヴズ自身が認めているように，医療も一般に思われているほどエビデンスに基づいているわけではなく，エビデンスに基づく医療は誤りうるものである。二つの専門職の違いは，医師はエビデンスを求め，実際に手に入れつつあるのに対し，教師はエビデンスの不足を解決すべき問題とさえ捉えていない点にあると，彼は指摘した。
何がエビデンスとなり得るのか
それでは，エビデンスとは何か。世間では「データがあればエビデンスだ」という理解が広がっているが，これは乱暴である。ある指導法を取り入れた学級でテストの平均点が上がったというデータがあっても，それだけでは，点数が上がった原因がその指導法にあるのかは分からない。指導法を取り入れなくても上がったのかもしれないし，別の要因で上がったのかもしれない。
授業の記録写真，子どもの作品やノート，「楽しかった」という回答が並ぶアンケート結果といった記録や資料についても，同じことが言える。これらは，その実践が行われたことや，子どもがある反応を示したことを示しはする。しかし，その実践をしたからこそ，しなかった場合よりも良い結果になったということまでは示さない。
エビデンスに基づく医療の文脈で言うエビデンスとは，AをすればBになるという因果に関する，信頼できる研究知見のことである。すなわち，説得力のある理論と，確からしさの高い因果推論とが示されたものをいう。さらに本来は，因果があるというだけでは十分でなく，その因果がなぜ生じるのかという仕組み（メカニズム）まで分かっていることが望ましい。なぜ効くのか分からない薬は怖いのと同じで，どのような仕組みで効果が生じるのかを説明できて初めて，安心してその方法を用いることができる。
エビデンスレベルと内的妥当性，外的妥当性
因果推論の確からしさは研究の方法によって異なる。そのため，エビデンスには階層（エビデンスレベル）があると考えられている。下から順に，専門家の意見，比較を伴わない調査，ランダム化を伴わない比較研究，ランダム化比較試験（RCT）と並び，複数の場所や対象で繰り返し確かめられたRCTの知見が最も上に置かれる。専門家の意見は理論に基づいており説得力はあるが，データによる比較を欠く。調査はデータを持つが，比較を欠く。比較研究は，介入をした場合としなかった場合とを比べることで因果に迫ることができる。
RCTの要点は薬の治験の例で理解しやすい。本物の薬を投与されるか，生理食塩水を投与されるかは，ランダムに割り当てられる。ランダムに割り当てることで，二つの群の間に，薬の有無以外の系統的な違いが生じないようにするのである。さらに，患者本人はもちろん，投与する医師にもどちらなのかが分からないようにし，投与時の声かけまで統一する。「よく効く薬ですよ」と言われただけで具合が良くなってしまうといった効果を排除するためである。ここまでして比較するからこそ，薬を与えた場合と与えなかった場合との差，すなわち因果が分かる。
この階層は，二つの妥当性によって整理できる。内的妥当性とは，その研究における因果推論の確からしさの高さであり，RCTが最も高い。外的妥当性とは一般化可能性，すなわち，その研究が行われた文脈以外にも知見が当てはまる程度の高さである。一つの病院で行われたRCTは内的妥当性が高くても，たまたまその病院の医師の腕が良かった，患者層が偏っていたといった偶然を含みうる。そこで，複数の病院で同時に行う試験や，異なる場所・対象での追試を重ねることで，外的妥当性が高まっていく。内的妥当性と外的妥当性の両方が高い知見ほど，エビデンスとしての説得力が高い。
この点は，ハーグリーヴズの講演における指摘とも重なる。教育は文脈や文化による違いが大きいからこそ，自然科学以上に追試が必要であるのに，教育研究では追試が驚くほど少ない。教育研究が累積的でないという彼の批判は，エビデンスレベルの言葉で言い換えれば，内的妥当性の高い研究が少ないだけでなく，外的妥当性を高めるための研究の積み重ねも乏しいという指摘だったと言える。
医療をモデルとすることの問題点
このように，エビデンスに基づく教育をめぐる動きには，その端緒から医療と教育との対比が据え置かれていた。そのため，教育におけるエビデンスのレベルを論じる際にも，医療におけるエビデンスレベルの参照枠がそのまま引き合いに出されることが多い。しかし，医療をモデルとすることには，いくつかの問題点が指摘されている。ここでは，山森 ほか (2021 ) の紙上討論で示された論点を，三つに分けて見ていく。
第一に，研究方法上の問題である。まず，エビデンスレベルの上位に置かれるRCTは，教育では行いにくい。児童生徒を対象にして，異なる教育方法を用いたランダム化実験を行うことは，可能ではあるが，倫理的にも現実的にも大きな問題がある。次に，介入の非一様性の問題がある。医学研究では，特定の薬剤の投与などが介入として扱われるため，研究によって介入の中身が異なるといったことは起こりにくい。これに対して教育研究では，同様の介入を行ったとされていても，その実際は研究によって大きく異なることがある。例えば，同じ「説明を与えるフィードバック」であっても，実際に行われた方法や与えられた説明は，研究間で大きく違っている。さらに，アウトカムの指標の多様性の問題がある。学習の成果を教科の学力テストで測る場合であっても，国際的な学力調査や標準化された検査が用いられることもあれば，教師や研究者の自作の検査が用いられることもあり，対象となる教科も出題範囲も研究によって異なる。先に，外的妥当性は異なる場所や対象での追試を重ねることで高まると述べた。しかしそれは，同じ介入の効果を，同じ物差しで確かめていることが前提である。教育研究では，この前提自体が成り立ちにくい。
第二に，医療と教育という営みの性質の違いである。エビデンスに基づく教育は，教育という営みを技術の一種として把握する教育観を前提としている。しかし，教育における技術は，モノでも植物や動物でもなく人間を対象とする。また，医療が人間の身体機能への介入であるのに対して，教育は精神活動への介入であり，そこには，行為とその意味付けが織りなす社会的相互作用が媒介する。そのため教育という営みには，本質的な複雑性と不確実性が伴う。さらに重要なのが，目的の違いである。医療の目的は病気の除去や抑制であり，何をもって治療の成功とするかについては合意が得られやすい。これに対して教育の目的は，よりよい方向に向けた変容であり，何が「よりよい」のかをめぐる論争性が不可避的に内在している。教育の成功とは，テスト成績の向上なのか，知識・技能の獲得なのか，能力の育成なのか，アイデンティティの構築なのか，つながりの形成なのか，あるコミュニティへの参加なのか。そもそも，「効果」という目的規定で捉えられるべきものなのか。調査や検査で測られているものの中身を自覚的に検討することなしに，教育の効果を論じることはできない。
第三に，エビデンスの使われ方の問題である。研究知見が「エビデンスレベルの高いもの」という肩書とともに教育政策で活用されることによって，教育実践の担い手を制御する手段ともなり，実践の担い手が持つ判断の余地の縮小につながる可能性がある。学校や教室レベルでも，本来は傾向性を示すにとどまる研究知見が「正解」として扱われ，教員の自律的な判断が損なわれることが懸念される。教師を研究に基づく専門職にするはずのエビデンスが，かえって教師の専門職としての判断の余地を狭めることにもつながりかねないのである。
もっとも，ハーグリーヴズ自身は，医師をそのまま真似るべきだと主張したわけではない。彼の意図は，研究と専門的実践との間に，教育よりもはるかに生産的な関係を築いている専門職があることを示す点にあった。また，ここに挙げた問題点は，教育にエビデンスは不要だということを意味するものでもない。問われているのは，医療とは性質の異なる教育という営みの中で，エビデンスをどのようなものとして位置づけ，どのように用いるかである。
エビデンスは「物証」でも「規則」でもない
ここまで，エビデンスの確からしさには階層があること，そして，医療をモデルとしてエビデンスを教育に持ち込むことには問題点も指摘されていることを見てきた。先に，データや記録があるだけではエビデンスにならないことを確認したが，ここで取り上げるのはその逆，すなわち，エビデンスを実際以上のものとして扱ってしまう誤りである。エビデンスは，たとえ階層の上位にあるものであっても，二つの意味で限定されたものとして受け取る必要がある。
第一に，エビデンスは物証（proof）ではない。Oancea & Pring (2009 ) は，エビデンスを物証と混同してはならないと述べ，この誤りは，確実性と政策の堅固な基盤を求める政治家がしばしば犯すものだと指摘している。物証とは，それがあれば事実が確定し，それ以上疑う余地がなくなるような，動かぬ証拠のことである。evidenceは日本語で「証拠」と訳されるため，このような物証を思い浮かべやすい。しかしエビデンスは，ある主張を支持する根拠ではあっても，その主張が正しいことを確定するものではない。RCTで効果が示されたとしても，それは特定の対象に，特定の条件のもとで行った場合に，平均して差が見られたということであり，新たな研究によって修正されたり，覆されたりする可能性に常に開かれている。「エビデンスがある」という言い方が，「正しいと証明されている」「だから議論の余地はない」という意味で使われるとき，エビデンスは物証と取り違えられている。
第二に，エビデンスは行為の規則（rules for action）ではない。Biesta (2007 ) は Dewey (1938 ) を引きつつ，エビデンスは行為の規則を与えるのではなく，理知的な問題解決のための仮説を与えるに過ぎないと述べている。研究知見が示すのは，過去に，ある場所で，ある対象に対して，平均的に何が起こったかである。一方，教師が向き合うのは，今，この教室にいる，この子どもたちである。したがって，エビデンスから「こうすれば必ずこうなるのだから，こうせよ」という規則を引き出すことはできない。引き出せるのは，「この教室でも，こうすればうまくいく可能性が高い」という仮説である。仮説である以上，実際に試し，結果を観察し，うまくいかなければ修正するという過程が伴わなければならない。
このことは，エビデンスを受け取る側だけでなく，生み出す側の役割としても述べられている。冒頭で見た Cronbach & Suppes (1969 ) の言う意思決定指向的研究は，意思決定を行う側の求めに応じて行われる研究である。しかし彼らが指摘するように，研究が社会的要請に応答するということは，知見を提供することであって，なすべきことを示すことではない。政策立案者や教師が「結局，どうすればよいのか」という答えを研究に求めたくなるのは自然なことである。しかし，研究が提供できるのは，決定のための材料までである。何をなすべきかを決めるのは，目の前の状況と，何を目指すのかという目的とを踏まえて判断する，意思決定を行う側の仕事である。研究の側がなすべきことまで示そうとするとき，あるいは意思決定を行う側が研究知見をなすべきことの指示として受け取るとき，エビデンスは規則と取り違えられてしまうのである。
エビデンスに基づく教育のための道具
教育効果の測定という制約
前節では，エビデンスとは因果推論の確からしさの高い研究知見であること，しかしそれは物証でも規則でもないことを見た。本節では，エビデンスを学校の意思決定に役立つ形で提供しようとする代表的な試みである，イングランドの Teaching and Learning Toolkit を取り上げ，そこに示される結果の読み取り方と，その結果がどのように導かれているかを見ていく。
その前に，そもそも教育効果とは何かを確認しておく必要がある。教育効果とは，学習者が教育を受けた前後の変化や，基準に照らした到達度である。問題は，その変化や到達度がどう測定されているかである。学力といった能力は潜在変数（構成概念）であり，直接見ることはできない。そこで，見えない構成概念をテスト項目に分解し，解答という行動として表出させ，こういう問題が解けたのだからおそらくこういう力があるのだろうと推定する，という仕組みで測定は成り立っている。しかも，能力があっても間違えることはあるし，能力がなくても正解してしまうこともある。古典的テスト理論の X = T + E，すなわち測定値は真値と誤差からなるという式が示すとおり，真値そのものは決して分からない。
ツールキットが示す「効果」は，介入を受けた群と受けなかった群との，このような測定値の差である。前節で，教育研究ではアウトカムの指標が研究によって異なることを見た。ツールキットの数値は全て，この測定上の制約の上に立っている。
ツールキットというメタファー
ツールキットとは道具箱のことである。プラスとマイナスのドライバー，ペンチ，金槌といった道具の組み合わせを指す。このメタファーには二つの含意がある。第一に，道具は自分で選んで使うものであり，必ずこうしなさいというマニュアルではない。第二に，道具は一つではなく複数用意されている。椅子を組み立てるにはネジ回しと金槌の両方が必要になるように，教育でも複数の方法を組み合わせて使うことが想定されている。
この名称は，前節の結論と対応している。エビデンスが行為の規則ではないのであれば，エビデンスをまとめた資料もまた，従うべき手順書ではなく，使う側が自分の課題に照らして選ぶための道具箱として作られることになる。
ツールキットの三つの指標
校長が予算の使い道を判断することを想定すると，必要な情報は三つある。それをやることでどれだけ効果があるか，どれだけの費用がかかるか，そしてその知見はどれだけ信頼できるか，である。ツールキットは各アプローチを，到達度への平均的な影響，それを支えるエビデンスの強さ，費用の三点で要約している。
効果は「＋○か月」という月数で示される。これは，介入を受けた子どもが，受けなかった同様の子どもと比べて，平均して何か月分多く進歩したかを表す。費用はポンド記号の数で5段階に示される。これは25人の学級あたりの年間の追加支出であり，学校が既に持っているはずの設備や，既にいる教師の人件費は含まない。校長が予算配分を決める際に最も役立つのは追加支出だという考えによる。エビデンスの強さは南京錠の数で5段階に示される。前節で見たエビデンスレベル，内的妥当性，外的妥当性の考え方を，利用者が一目で分かる表示にしたものと考えればよい。
結果の読み取り方——フィードバックの項目を例に
フィードバックの項目を開くと，最上部に「非常に低い費用で高い効果，広範なエビデンスに基づく」という見出しと，「＋6か月」という数字が示される。三つの指標に沿って読むと，次のようになる。
効果の「＋6か月」は，フィードバックを改善する介入を受けた学級の児童生徒が，受けなかった同様の児童生徒と比べて，平均して6か月分多く進歩したという意味である。費用の「非常に低い」は，25人の学級あたり年間2,000ポンド以下，児童生徒1人あたり年間80ポンド未満に相当する。エビデンスの強さは南京錠4個である。収録の基準を満たす研究は155本あるが，ランダム化比較試験でない研究の割合が大きいため，南京錠を1個失っている。まとめると，お金はほとんどかからず，多くの研究に支えられており，6か月分の伸びが見込まれる，と一目で読める。
しかし，読み取りはここで終わらない。EEF 自身が，読み方について三つの助言をしている(Education Endowment Foundation, 2023 ) 。第一に，見出しの数字の先を見ることである。各項目には「平均の背後」という欄がある。フィードバックの場合，小学生では7か月分，中等学校の生徒では5か月分，デジタル技術によるフィードバックでは4か月分，口頭のフィードバックでは7か月分というように，条件によって数字が異なる。さらに，効果には大きな幅があり，フィードバックが負の効果をもたらし，事態を悪化させうることを示す研究もあると明記されている。「＋6か月」は，幅のある結果の平均である。
第二に，効果だけでなく費用とエビデンスの強さを合わせて考えることである。一対一指導とピア・チュータリングはどちらも平均5か月分の効果があるが，前者の方がかなり費用がかかる。中等学校での宿題は5か月分と推定されているが，エビデンスの強さが非常に低いため，この推定値は信頼性が低い可能性がある。月数の大きい順に並べて上から選ぶという使い方は，三つの指標を用意した意図に反している。
第三に，専門的知見を用いることである。ツールキットは，ある方法が以前に学校で使われたときに実際に何が起こったかに基づいており，ある学校で何がうまくいくかについて決定的な主張をするものではない。したがって単独で用いるべきではなく，自校の文脈についての専門的な判断が必要であるとされている。
「＋6か月」はどのように導かれているか
それでは，この結果はどのような手続きで導かれているのか。現在のツールキットの作成手続きは，プロトコルとして公開されている(Higgins et al., 2024 ) 。以下，その手順を追う。
第一に，項目の定義である。何を「フィードバック」と見なすかの定義が先に定められ，この定義に当てはまる介入を扱った研究が対象となる。定義が広ければ，それだけ多様な介入が一つの項目に含まれることになる。
第二に，収録の基準である。対象者の過半数が3歳から18歳であること，学校など通常の教育の場で行われていること（実験室での研究は除外），介入を受けた者と受けなかった者との妥当な比較があること（比較のない単一群の研究は除外），学力や到達度を量的に測定しており，効果の大きさを数値として算出できること（態度，感情，動機づけのみを扱う研究は除外），英語で書かれていることが求められる。前節で，比較がなければエビデンスにならないことを見たが，ここではそれが収録の条件として明文化されている。
第三に，研究の検索と選別である。収録の基準は事前に定められ，基準を満たす研究は全て収録される。効果を大きく，あるいは小さく見せるために，また研究者が結果を気に入らないという理由で，研究を除外することはできない。この手続きをシステマティック・レビューという。都合のよい研究や有名な研究だけを集めることを防ぐための仕組みである。選別は表題と要旨，次いで全文の二段階で行われ，少なくとも1割の研究については複数の担当者が重ねて判定する。
第四に，収録された研究の特徴の記録（コーディング）である。全ての研究について，対象者を介入群と対照群にどう割り当てたか（ランダムか否か），通常の教師が教えたのか研究者が教えたのか，効果の評価を行ったのは介入の開発者自身か独立した機関か，テストは標準化された検査か研究者の自作か，といった点が記録される。フィードバックの項目ではさらに，誰からのフィードバックか（教師，仲間，デジタル技術など），どのような形式か（口頭，書面，記号など），いつ与えられたか（課題の最中，直後，1週間以上後など），何についてのフィードバックか（結果，課題の過程，学習者の方略，人物）が記録される。この一覧を見れば，「フィードバック」という一つの項目の中に，いかに多様な介入が含まれているかが分かる。
第五に，各研究からの効果量の取り出しである。効果量とは，二つの群の差の大きさを，標準化された比較可能な形で表したものである。具体的には，介入群の平均から対照群の平均を引き，得点のばらつきの大きさ（標準偏差）で割った値を用いる。研究によって用いられるテストが異なるため，このように標準化しなければ結果を並べることができない。一つの研究からは主要な効果量を一つだけ選ぶ。同じ対象者に複数の測定が行われている場合には，標準化された読解の検査のような，到達度の全体を最もよく代表する測定が選ばれる。
第六に，効果量の統合である。各研究の効果量は，項目ごとに統計的に統合されて一つの値にまとめられる。研究が10本に満たない場合は，推定が不安定になるため統合は行わない。年齢段階別，教科別の値も同様に算出される。先に見た「平均の背後」の数字はこれである。この統合の手法はメタ分析と呼ばれるが，その詳細にはここでは立ち入らない。要点は，「＋6か月」のもとになっているのが，155本の研究それぞれの効果量を，推定の精度を考慮して平均した値だということである。
第七に，月数への換算である。効果量のままでは児童生徒の進歩として何を意味するのかが分かりにくいため，EEF は効果量を次の表に従って月数に換算している(Education Endowment Foundation, 2023 ) 。フィードバックの「＋6か月」は，統合された効果量が0.45から0.52の範囲にあることを意味する。この換算は，1年間の学習でおよそ1標準偏差分の進歩があるという仮定に基づいている。
# EEF による効果量と月数の換算表 <- data.frame (months = 0 : 12 ,lower = c (- 0.04 , 0.05 , 0.10 , 0.19 , 0.27 , 0.36 , 0.45 ,0.53 , 0.62 , 0.70 , 0.79 , 0.88 , 0.96 ),upper = c (0.04 , 0.09 , 0.18 , 0.26 , 0.35 , 0.44 , 0.52 ,0.61 , 0.69 , 0.78 , 0.87 , 0.95 , 1.00 ),desc = c ("非常に低い，または影響なし" ,rep ("低い" , 2 ), rep ("中程度" , 3 ),rep ("高い" , 3 ), rep ("非常に高い" , 4 ))# 表として整形 <- data.frame ("月数" = ifelse (conv$ months == 0 , "0" , paste0 ("＋" , conv$ months)),"効果量（下限）" = sub ("-" , "−" , sprintf ("%.2f" , conv$ lower)),"効果量（上限）" = sprintf ("%.2f" , conv$ upper),"説明" = conv$ desc,check.names = FALSE :: kable (tab_conv, align = c ("r" , "r" , "r" , "l" ))
第八に，エビデンスの強さの評価である。南京錠の数は，まず基準を満たす研究の数で決まる（120本以上で5個，11本未満では0個となり，月数は示されない）。その上で，最近の研究の割合が小さい，ランダム化比較試験でない研究の割合が大きい，研究者が実施するなど通常の学校の実践と異なる条件の研究が多い，独立した評価でない研究が多い，研究間に説明のつかないばらつきが大きい，という場合に南京錠が減らされる。ランダム化の有無は内的妥当性に，通常の実践との近さや研究の新しさは外的妥当性に関わる。また，介入に利害関係を持つ組織が自ら行った評価は，効果が大きく出やすいとされる。フィードバックの場合，155本で5個となるところ，ランダム化比較試験でない研究が多いために4個となっている。
効果量をどう読むか
月数は，効果量を利用者に分かりやすく言い換えたものである。そこでまず，もとになっている効果量がどのように求められるのかを確認しておく。
先に，効果量とは，介入群の平均から対照群の平均を引き，得点のばらつきの大きさ（標準偏差）で割った値であると述べた。平均の差を標準偏差で割ることで，100点満点のテストでも，偏差値で表される検査でも，結果を同じ物差しの上に並べることができる。この標準偏差の求め方の違いによって，二つの効果量が区別される。以下，介入群を第1群，対照群を第2群とし，それぞれの平均を \(M_1\) ，\(M_2\) ，人数を \(n_1\) ，\(n_2\) とする。
一つは Cohen の \(d\) である。\(d\) では，各群の標本分散 \(S_1^2\) ，\(S_2^2\) （平均からの偏差の二乗和を，人数 \(n\) で割った分散）を用いる。二つの群の標本分散を人数で重みづけて平均し，その平方根をとったものを，プールした標準偏差 \(S_p\) とし，これで平均の差を割る。
\[S_p = \sqrt{\frac{n_1 S_1^2 + n_2 S_2^2}{n_1 + n_2}}, \qquad d = \frac{M_1 - M_2}{S_p}\]
\(d\) は，手元の標本における平均の差を，手元の標本のばらつきで標準化した値であり，標本についての記述的な効果量と解釈できる。\(d = 0.5\) とは，介入群の平均が対照群の平均よりも，標準偏差の半分だけ高いという意味である。
もう一つは Hedges の \(g\) である。\(g\) では，各群の不偏分散 \(s_1^2\) ，\(s_2^2\) （平均からの偏差の二乗和を，\(n - 1\) で割った分散）を用いる。二つの群に共通する母分散の不偏推定量を求め，その平方根 \(s_p\) で平均の差を割る。
\[s_p = \sqrt{\frac{(n_1 - 1)\,s_1^2 + (n_2 - 1)\,s_2^2}{n_1 + n_2 - 2}}, \qquad g = \frac{M_1 - M_2}{s_p}\]
\(g\) は，分子も分母も母集団の値の推定量になっており，母集団における効果量を推定するための，推測的な効果量と解釈できる。
標本分散と不偏分散の定義から，\(n_1 S_1^2 + n_2 S_2^2 = (n_1 - 1)\,s_1^2 + (n_2 - 1)\,s_2^2\) が成り立つので，\(S_p\) と \(s_p\) の根号の中の分子は等しい。二つの違いは，分母が \(n_1 + n_2\) か，\(n_1 + n_2 - 2\) かだけである。したがって，\(d\) と \(g\) の間には次の関係がある。
\[g = d\,\sqrt{\frac{n_1 + n_2 - 2}{n_1 + n_2}}\]
\(g\) は常に \(d\) よりも少しだけ小さな値となり，両者の差は人数が少ないほど大きくなる。各群10人の研究では \(g\) は \(d\) の約0.949倍，すなわち約5%小さくなる。各群100人の研究では約0.995倍で，違いはほとんどなくなる。母集団における効果量を推定するという目的からは，偏りの小さい \(g\) が推奨されることが多い。一方，広く知られ，実際に報告されることが多いのは \(d\) の方である。ツールキットでも効果量として \(d\) または \(g\) が用いられており，小標本による偏りに対処するため，必要に応じて \(d\) は \(g\) に変換される(Higgins et al., 2024 ) 。教育研究には小規模な研究が多いので，この区別には実質的な意味がある。以下では両者を区別せず，効果量を \(d\) と表記する。
# 介入群（第1群）と対照群（第2群）の平均，標準偏差，人数 # 標準偏差は，不偏分散の平方根（R の sd() で求まる値）とする <- 55 ; s1 <- 9.5 ; n1 <- 30 # 介入群 <- 50 ; s2 <- 10.5 ; n2 <- 30 # 対照群 # 二つの群の偏差の二乗和の合計 # （n1 * S1^2 + n2 * S2^2 と (n1 - 1) * s1^2 + (n2 - 1) * s2^2 は等しい） <- (n1 - 1 ) * s1^ 2 + (n2 - 1 ) * s2^ 2 # Cohen の d：偏差の二乗和の合計を n1 + n2 で割る <- sqrt (ss / (n1 + n2))<- (M1 - M2) / S_p# Hedges の g：偏差の二乗和の合計を n1 + n2 - 2 で割る <- sqrt (ss / (n1 + n2 - 2 ))<- (M1 - M2) / s_p# d と g の関係の確認（g と同じ値になる） * sqrt ((n1 + n2 - 2 ) / (n1 + n2))
このようにして求められる \(d\) そのもの，あるいはそれを月数に置き換えたものだけに着目することには，三つの問題がある。
第一に，\(d\) は二つの群の平均の差を標準偏差の単位で表した値であり，それだけでは，どれだけの子どもにどの程度の違いが生じるのかが分からない。「効果量0.5」「＋6か月」という表現は，介入を受けた全員の成績が一様にそれだけ上がるかのような印象を与える。しかし実際には，介入群と対照群の得点の分布は大きく重なり合っており，介入を受けても対照群の多くの子どもより成績が低い子どももいれば，介入を受けなくても高い成績をとる子どももいる。\(d\) が示すのは，重なり合った二つの分布の中心のずれに過ぎない。
第二に，\(d\) の大きさは，0.2を小，0.5を中，0.8を大とする Cohen の慣例に当てはめて解釈されることが多い。しかし，この基準は教育的介入の評価としては高すぎるとされており，「小さい」「大きい」という言葉に置き換えても，意思決定に必要な情報にはならない。校長や教師が知りたいのは，この方法を用いた場合に，目の前の子どもがより良い結果を得る見込みがどの程度あるのか，何人に実施すれば1人に違いが生じるのか，ということである。
第三に，月数への換算は，先に見たとおり，1年間で1標準偏差分進歩するという，成り立つとは限らない仮定に依存している。
そこで，\(d\) を，分布の重なりや確率，人数の言葉に言い換えた指標にも注目するとよい。以下の四つは，いずれも二つの群の得点が正規分布に従い，ばらつきが等しいと仮定すれば \(d\) から計算できる。\(d\) に新しい情報を加えるものではないが，同じ結果を，意思決定を行う側の問いに近い形で読むことを可能にする。以下の式で，\(\Phi\) は標準正規分布の累積分布関数を表す。
U3 ：介入群の平均的な子どもが，対照群の何%の子どもを上回る位置にいるかを示す。効果がなければ50%である。\(d = 0.5\) のとき約69%となる。すなわち，介入群で真ん中の成績の子どもは，対照群の中では上位約31%の位置にいることになる。
\[U_3 = \Phi(d)\]
<- 0.5 # U3：介入群の平均的な子どもが，対照群の何%を上回るか # pnorm() は標準正規分布の累積分布関数 Φ <- pnorm (d)
overlap（分布の重なり） ：介入群と対照群の得点分布が重なり合う割合を示す。効果がなければ100%である。\(d = 0.5\) のとき約80%であり，二つの群の得点の大部分は見分けがつかない。
\[\mathrm{overlap} = 2\,\Phi\!\left(-\frac{|d|}{2}\right)\]
<- 0.5 # overlap：二つの群の得点分布が重なり合う割合 <- 2 * pnorm (- abs (d) / 2 )
superiority（優越率） ：介入群と対照群から1人ずつ無作為に選んだとき，介入群の子どもの方が得点が高い確率を示す。効果がなければ50%である。\(d = 0.5\) のとき約64%である。裏を返せば，約36%の場合には，介入を受けなかった子どもの方が得点が高い。
\[\mathrm{superiority} = \Phi\!\left(\frac{d}{\sqrt{2}}\right)\]
<- 0.5 # superiority（優越率）：介入群から選んだ1人が，対照群から選んだ1人を上回る確率 <- pnorm (d / sqrt (2 ))
NNT（number needed to treat） ：対照群と比べて，成功する子どもを1人増やすために，何人に介入を行う必要があるかを示す(Kraemer & Kupfer, 2006 ) 。二つの群の成功率の差の逆数として求められる。医療で用いられてきた指標で，値が小さいほど効果が大きい。ここでは，介入群の子どもについては，対照群から無作為に選んだ1人を上回ることを「成功」とし，対照群の子どもについては，介入群から無作為に選んだ1人を上回ることを「成功」とする。すると，介入群の成功率は superiority，対照群の成功率は \(1 - \mathrm{superiority}\) であるから，成功率の差は \(2 \times \mathrm{superiority} - 1\) となり，NNT はその逆数である。\(d = 0.5\) のとき，成功率は介入群で約64%，対照群で約36%，その差は約28%であり，NNT は約3.6人である。すなわち，3.6人に実施するごとに，実施しなかった場合と比べて，成功する子どもが1人増える。この求め方は，得点のどこかに「望ましい結果」の基準を設ける必要がなく，\(d\) だけで値が決まる。
\[\mathrm{NNT} = \frac{1}{2 \times \mathrm{superiority} - 1} = \frac{1}{2\,\Phi\!\left(d / \sqrt{2}\right) - 1}\]
<- 0.5 # 介入群の成功率（superiority）と対照群の成功率 <- pnorm (d / sqrt (2 ))# 二つの群の成功率の差 <- 2 * superiority - 1 # NNT：成功率の差の逆数 <- 1 / srd
\(d\) の値を0.0から1.0まで0.1刻みで変えたとき，これらの指標は次のようになる。
<- seq (0 , 1 , by = 0.1 )# 四つの指標 <- pnorm (d)<- 2 * pnorm (- abs (d) / 2 )<- pnorm (d / sqrt (2 ))<- 2 * superiority - 1 # 成功率の差 <- 1 / srd # d = 0 のときは Inf # EEF の換算表による月数（各月数に対応する効果量の下限） <- c (- 0.04 , 0.05 , 0.10 , 0.19 , 0.27 , 0.36 , 0.45 ,0.53 , 0.62 , 0.70 , 0.79 , 0.88 , 0.96 )<- findInterval (round (d, 2 ), lower - 0.005 ) - 1 # 表として整形 <- data.frame ("$d$" = sprintf ("%.1f" , d),"月数" = ifelse (months == 0 , "0" , paste0 ("＋" , months)),"U3" = sprintf ("%.1f%%" , 100 * U3),"overlap" = sprintf ("%.1f%%" , 100 * overlap),"superiority" = sprintf ("%.1f%%" , 100 * superiority),"成功率の差" = sprintf ("%.1f%%" , 100 * srd),"NNT" = ifelse (is.finite (NNT), sprintf ("%.1f人" , NNT), "—" ),check.names = FALSE :: kable (tab, align = "r" )
注）月数は先の換算表による。成功率の差は \(2 \times \mathrm{superiority} - 1\) ，NNT はその逆数である。\(d = 0.0\) では成功率の差が0になるため NNT は定義されない。
ツールキットで「高い効果」とされるフィードバックであっても，二つの群の分布の8割は重なっており，NNT は約3.6人である。しばしば「大きい」と呼ばれる \(d = 0.8\) でも，2〜3人に教えて1人に効果があるという程度である。平均的な効果があるということは，全員が恩恵を受けるということではない。
ただし，これは効果が小さいということではない。30人の学級であれば，成功する子どもがおよそ8人増える計算になる。一つの方法でそれだけの違いが生じるのであれば，教室の実感としてはむしろ十分に大きい。また，NNT は費用の指標と組み合わせることができる。フィードバックの費用は児童生徒1人あたり年間80ポンド未満であるから，成功する子どもを1人増やすための費用は，約3.6人分の290ポンド未満と見積もることができる。このように読むことで，効果と費用という二つの指標が，一つの判断材料にまとまる。
重要なのは，\(d\) を一つの数字として受け取って大小を論じるのではなく，それが子どもの集団にとって何を意味するのかを，複数の見方で確かめることである。
<- 0.5 # 対照群を平均0，介入群を平均d，標準偏差はともに1の正規分布とする <- seq (- 4 , 4 + d, length.out = 1000 )<- dnorm (x, mean = 0 , sd = 1 ) # 対照群 <- dnorm (x, mean = d, sd = 1 ) # 介入群 <- pnorm (d)<- 2 * pnorm (- abs (d) / 2 )<- par (mfrow = c (1 , 2 ), mar = c (4.5 , 1 , 3 , 1 ))# (a) overlap：二つの分布が重なり合う部分を塗る plot (x, y_c, type = "n" , yaxt = "n" , ylab = "" , bty = "n" ,xlab = "Score (SD units)" ,main = sprintf ("overlap = %.1f%%" , 100 * overlap))polygon (c (x, rev (x)), c (pmin (y_c, y_t), rep (0 , length (x))),col = "grey80" , border = NA )lines (x, y_c, lwd = 2 , lty = 2 )lines (x, y_t, lwd = 2 , lty = 1 )legend ("topleft" , legend = c ("Control" , "Intervention" ),lty = c (2 , 1 ), lwd = 2 , bty = "n" , cex = 0.9 )# (b) U3：対照群の分布のうち，介入群の平均より下の部分を塗る plot (x, y_c, type = "n" , yaxt = "n" , ylab = "" , bty = "n" ,xlab = "Score (SD units)" ,main = sprintf ("U3 = %.1f%%" , 100 * U3))<- x <= dpolygon (c (x[below], rev (x[below])), c (y_c[below], rep (0 , sum (below))),col = "grey80" , border = NA )lines (x, y_c, lwd = 2 , lty = 2 )lines (x, y_t, lwd = 2 , lty = 1 )abline (v = d, lty = 3 ) # 介入群の平均 legend ("topleft" , legend = c ("Control" , "Intervention" ),lty = c (2 , 1 ), lwd = 2 , bty = "n" , cex = 0.9 )par (op)
<- 0.5 set.seed (2026 )# 介入群と対照群から1人ずつ無作為に選ぶことを，10000回繰り返す <- 10000 <- rnorm (n_pairs, mean = 0 , sd = 1 ) # 対照群から選ばれた子どもの得点 <- rnorm (n_pairs, mean = d, sd = 1 ) # 介入群から選ばれた子どもの得点 # 介入群の子どもの方が得点が高かった組の割合（superiority のシミュレーション値） <- mean (y_t > y_c)# 対照群の子どもの方が高かった組の割合，その差，NNT <- mean (y_c > y_t)<- par (mfrow = c (1 , 2 ), mar = c (4.5 , 4.5 , 3 , 1 ))# (a) 各組の得点の散布図：対角線より上が，介入群の子どもの方が高かった組 <- 1 : 2000 # 点が多すぎると見にくいので，最初の2000組だけ描く plot (y_c[show], y_t[show], pch = 16 , cex = 0.5 , asp = 1 ,col = ifelse (y_t[show] > y_c[show], "grey25" , "grey75" ),xlab = "Control" , ylab = "Intervention" ,main = sprintf ("Intervention > Control: %.1f%%" , 100 * win_t))abline (0 , 1 , lwd = 2 )# (b) 得点の差（介入群 − 対照群）の分布：0より右が，介入群の子どもの方が高かった組 <- y_t - y_c<- hist (diff, breaks = seq (- 7 , 7 , by = 0.25 ), plot = FALSE )plot (h, freq = FALSE , col = ifelse (h$ mids > 0 , "grey25" , "grey75" ), border = "white" ,xlim = c (- 5 , 5 ), xlab = "Difference (Intervention - Control)" , ylab = "Density" ,main = sprintf ("P(difference > 0) = %.1f%%" , 100 * pnorm (d / sqrt (2 ))))curve (dnorm (x, mean = d, sd = sqrt (2 )), add = TRUE , lwd = 2 ) # 理論上の分布 abline (v = 0 , lty = 3 )par (op)
導かれ方を踏まえて読み直す
このように手続きを追うと，「＋6か月」という数字をどの程度のものとして受け取るべきかが見えてくる。
第一に，この数字は平均の平均である。各研究の効果量は群の平均の差であり，それをさらに研究間で平均している。しかも，平均されているのは，出どころも形式も時期も内容も異なる介入である。フィードバックの研究の多くは，他の実践も同時に含んでいる。比較の相手である対照群が受けていた「通常の指導」も，研究によって異なる。Higgins (2019 ) は，多くの研究を平均して効果的だと確信できるようになるほど，それが何と比べて優れているのかは不確かになると述べている。加えて，先に見たとおり，平均的な効果があるということは，全員が恩恵を受けるということではない。
第二に，測定の制約である。効果量は測定値の差を標準化したものであり，真値の差ではない。標準化によって異なるテストの結果を並べられるようにはなるが，それによって，研究ごとに測っているものが違うという事実が消えるわけではない。また，収録の基準により，対象は学力や到達度の測定に限られている。態度や動機づけへの影響は，この数字には含まれていない。前節で見た，何をもって教育の成功とするのかという問いに対して，ツールキットは学力の測定値という一つの答えを採用しているのである。
第三に，月数換算の前提である。1年間で1標準偏差分進歩するという仮定は，年少の子どもにはおおよそ当てはまるが，学年が上がるほど1年あたりの伸びは小さくなる。Higgins (2019 ) が引く米国の推定では，読解の年間の伸びは幼稚園段階の1.52から第12学年の0.06にまで低下し，途中の学年では0.3から0.4程度とされる。年長の生徒については，「＋6か月」という表示は実際よりも大きな印象を与える。
第四に，研究の条件による系統的な偏りである。教育研究では，対象者の少ない研究ほど効果が大きく，大規模な研究ほど効果が小さくなる傾向がある。研究者が熱心に関与し，条件を整えて行われた小規模な研究の効果は，通常の学校で大規模に実施したときには再現されにくい。プロトコル自身が，この傾向のために，教育研究では出版バイアスを検出する方法がいずれも問題を抱えると認めている。
第五に，数字は更新される。ツールキットは，新しい研究が見つかるたびに更新される「生きたレビュー」を目指している。フィードバックの効果は，2011年の最初の版では9か月分とされていたが，現在は6か月分である。方法が効かなくなったのではなく，集められた研究と統合の方法が変わったのである。
これらはツールキットの欠陥というより，エビデンスというものの性質である。Higgins (2019 ) は，ツールキットが示すのは「何が効果的か」（what works）ではなく「何が効果的であったか」（what has worked）であり，結果は保証ではなく，分のよい賭け（good bet）であると述べている。作成の手続きを知ることは，ツールキットを疑うためではなく，前節で見たとおり，その数字を物証としてでも規則としてでもなく，自校の課題を解決するための根拠のある仮説として用いるために必要なのである。
