Table of Contents
問題意識
著者の問題意識
- 経済学や政策立案の分野において, causalityのメカニズムを明らかにすることは有用であり, それらを明らかにする手法としてRCTはgolden standardである
- ただし, RCTが明らかにする因果とはいわゆる”universal causality”ではなく, 状況的な因果関係(=”circumstantial causality”)であることに留意が必要
- circumstantial causalityから政策立案などのアクションへつなげるには, 分析を解釈するという工程が必要である
「circumstantial causalityから政策立案などのアクションへつなげるには, 分析を解釈するという工程が必要である」という考えに基づいて, この論文では
- RCTの結果をuniversal causalityと判断してしまうとどのような問題が発生しうるのか？
- RCTの結果をどのように解釈すべきなのか？
を紹介しています.
RCT分析結果が意思決定にそのままつかえるのか？
Statement
仮にあなたが所属する母集団に対して, なにかしらのアクションの有効性を検証するRCTが適切な形で実施されていたとしても, その分析結果を根拠として, 「そのアクションの有効性があなたに適応される」という主張を信じる理由にはならない.
例として, ある科学者が以下のような効果を持つ薬を開発したとします:
- 記憶力が10%改善される
- 副作用はなんもない
この薬を日本のマーケットで売りたい考えた科学者はその薬の有効性を検証するため, 日本国民を対象にランダムにくじでtreatedとuntreatedを選んで適切に分析し, 平均的に記憶力が10%改善 & どんな指標でみても平均的に副作用は確認されなかったという結果が得られたとします.
この結果を見た上で, 仮に自分が日本国民の10代の高校生だったとして, 記憶力改善させたいとおもっているからこの分析結果を信じて服薬するかどうか？という問題を考えたとき, その判断は一筋縄では行きません.
薬の効果に関してわかっていることは「平均的に記憶力が10%改善 & どんな指標でみても平均的に副作用は確認されなかった」ということだけで, 細かく考えてみると
- constant treatment effectならば服薬してもいいかも
- heterogeneous treatment effectがあるならばCATEが知った上で判断したい
という意思決定の分岐があり得ます. 前者ならば, 時期の問題などあるかもしれませんが一旦はそのリスクは取れるとして, 後者の場合で
- 後期高齢者の記憶力が凄まじく改善 but 10代には効果がない
- 副作用は全体的には確認されなかったが, 10代だけに絞って検証すると精神不安定になるかもしれない
というメカニズムがあったあった場合, 「確かに自分は日本国民という母集団に属している & その母集団を対象にしたRCTで有効性が確認されたとしても, 直ちに服薬したほうが良いとは考えられない」 という主張は十分理解できます.
REMARKS
上記の例はtreatement effectのheterogeneityの存在や科学者と高校生の意思決定問題における母集団のズレという観点で理解することもできる
RCTで主張可能なcausalityの範囲
RCT分析結果を意思決定に用いるためには,
- そもそもRCTで主張可能な範囲はなにか？
- 直接的にはあくまで「状況証拠的な因果関係(= circumstantial causality)」である
ということを確認する必要があります.
circumstantial causality
state of the worldを表す変数 $X$, Outcome $Y$, action変数 $D = {0, 1}$ が与えられたとする.
$X$の条件のもと, $D=0$から$D=1$への変化がOutcome $Y$の変化が予測可能な変化を導く場合, 「circumstantial causality」が存在するという
state of the worldを表す変数 $X$は基本的には部分的にしか観測できないので, RCTの主張は基本的には
1
RCT discoveries never graduate from something “was a cause” of something else to something “is a cause”.
にとどまることに留意が必要と論文では主張しています. 過去のRCTの分析結果を将来も成立し得ると考える際には, state variable(すくなくとも因果メカニズムを踏まえた上で関連するstate variableの集合)が将来のある時点でも成立するはずという信念が必要になります.
分析結果から意思決定へ
Intuition and Evidence
- 分析結果をアクションにつなげるにあたって, RCTのexternal validityについて科学的に検証する手法がない現状において, 結局の所, Intuition, common senseというものに依拠しなくてはらならない
- Intuitionやcommon senseと結びついた分析結果がわれわれに知識を与えてくれる.
- ただし, Intuitionやcommon senseというのは厳密な定義がないので, TheoryにもとづいたIntuitionであるのかどうかという検証も必要
なお, Intuitionやcommon senseというものを合致するかどうかという観点で分析を解釈する必要がある一方, 注意しなくてはならいないことは そもそもIntuitionやcommon sense自体が正しいのかということです.
極端な例ですが, もし政策Xがある結果Rを達成する可能性があるかどうかを調査する場合, common senseと照らし合わせて 過去にYの結果としてRが達成されたことを示すだけで, Xが機能しないと結論するのは不十分です. この場合は, Xが過去に試されたかどうかを確認し, その後推論を行うことが重要です. Xが過去に試されなかったためXがRを達成しなかった場合, Xの有効性/非有効性に関する証拠はどちらも存在しないと考えるべきとなります.
References
(注意：GitHub Accountが必要となります）