ルトガー・ブレグマンの著書ではスタンフォード監獄実験や割れ窓理論などが正とされていた事を覆す再現性の問題が出てきているという話がありました。希望の歴史では今まで人間の凶暴性を表していたような論文内容が見直されており、人類に希望的な見方を与える著書でもありました。
本書は今まで画期的な報告とされ、論文から本の出版までするような多くの実験結果に対して、再現性の問題があり結果が見直されている話であったり、何故発生してしまうのか？それに対して科学業界ではどのように対策され初めておりそのような過ちが発生しないようにできるのか、というような観点が書かれています。
個人的には本の帯にあるようなイカサマ実験と言ってしまいきるには言葉が強すぎるケースもあると思うものの、研究者にとっては陥りがちなワナが多いよねというのは確かにそうで、日本のSTAP細胞や麻酔学者（不正件数ナンバー１）の話なども織り交ぜながらTEDで有名なストーリーなどが再現性が無いと判断されている多くの事例を紹介されています。
政治との関わりや研究者のインセンティブ問題など解説しつつ、その中でも改善されてきている話も最後にまとめてくれています。
📒 Summary + Notes | まとめノート
出発点
コーネル大学のダリルベムが行った奇妙な実験結果は「予知能力」についてのものでした。ポルノ写真や単語の暗記について超常現象のような驚くべき結果が得られる内容は、権威のある「ジャーナルオブパーソナリティーアンドソーシャルサイコロジー」に掲載され覆うの話題を呼びました。
本書の著者であるスチュアートリッチーはこの結果に懐疑的であった２人の教授と連絡を取り再現性実験を行った所再現されない結果となり、ジャーナルへ連絡。編集長はこの結果を却下することとなり、過去の実験を繰り返した研究については、下の実験と同じ結果であってもなくても掲載しないとシャッターを閉じました。
後にベムは不正が明らかにされ、インタビューで答えます。
「厳密さが大切であることは全面的に支持するが、私にはそれだけの忍耐力がない……私の過去の実験を見ればわかるとおり、すべてが修辞的技巧だった。自分の主張の裏づけになるようなデータを集めた。説得するためのデータであり、『これは再現できるか、できないか』などと案じたことはなかった」
引用：https://diamond.jp/articles/-/338149?page=3
著者はこう言います。
将来の研究で覆ることがない鉄壁の事実の報告であると考えるのは、あまりに無邪気だ。そのような希望を抱くには、世界はあまりに混迷している。わたしたちが期待できることは、科学研究が信頼に足るものであること、つまり、研究で起きたことが正直に報告されるということだけだ。
科学の仕組みと再現性
科学者たちは近年において社会性が重要になってきている。チームで協力し、世界を飛び回って講演や討論を実施し研究を共有するために学会に参加する。科学の社会性の弱点は、査読を実施し論文を発表する力を手に入れるために使われることでもあります。説得のプロセスは合理的で客観的であるべきですが、人間性が介入しこのプロセスが機能しないことがあります。
科学は自己修正であり、古い間違った考えは後に修正される。往々にしてこれは次の世代にわたった時に覆されることが多いのは自己修正のプロセスを妨げている理由があります。
助成金獲得を競い合い、論文出版の権威を求める。完全に説得力のある証拠には再現性が必要であるのに、再現性のない結果がはびこる事になってしまっています。
カーネマンのファストアンドスローはプライミング効果と呼ぶ現象の研究について言及されます。先行刺激（プライム）により無意識に行動を劇的に変えるという話ですが、再現性試験に失敗します。後にカーネマンはこの効果は執筆時に認識していたものより著しく低かったと訂正。
先述したパワーポーズの提唱エイミー・カディの論文も同様に再現性のワナに陥ります。心理学の定番でもあるスタンフォード監獄実験、も再現性がないものでした。
心理学の実験に対して再現性を得ようとすると、かなり大きな確率で再現できず、さらに再現できたとしても誇張されたものであったという結果が出ています。
医療においても同様に再現性の乏しい論文が出版され、医師や治療のガイドラインとして質の低いエビデンスが活用されていることもあります。また質の低い研究に多額の資金が費やされており、アメリカだけでも毎年２８０億ドル使用されているとも言われています。
メタサイエンティストのイオアニディスは「なぜ発表された研究結果の大半が誤りなのか」という論文を発表は話題を呼びました。
少し時間は要したものの、科学のありかたについて議論される事も増えてきました。
不正の種類
イタリアの外科医パオロマッキャリーニは権威ある医学誌ランセットに器官の移植に成功したと発表し大きな称賛を浴びました。その後スウェーデンのカロリンス大学に多くの推薦を受け手客員教授として迎えられ主任外科医となります。実際にも手術を行っており成功したとされていたのですが、手術を受けた患者のフォローアップをすると全く異なる証言が出てきます。
手術後から２年後に死亡、１年後に死亡、数カ月後に死亡と論文とは全くことなる術後の経過でした。
多くの人々のクビが飛び、患者は死亡し、ランセットも擁護しきれなくなり論文を撤回する事になりました。
撤回論文を掲載するリトラクションウォッチには撤回理由が何であったかも記載されており、純粋なミスは４０％以下、大半は詐欺（２０％）、重複出版や登用、何らかの不正行為が原因でした。興味深いのが不正者は科学者の２％のみで２５％の撤回責任に通ずるとあり、少数の違反者が大半の違反に関わるという結果でもあります。
バイアスが間違った結果を起こしてしまう事例もあります。モートンは世界中から頭蓋骨を集め、脳の大きさを測定。ヨーロッパ人の頭蓋骨はアジア人、ネイティブアメリカン、アフリカ人より容積が大きいと結論づけ、精神的及び道徳的な能力の違いを示していると主張しました。
これをスティーブンジェイ・グールドが調査し、モートン恣意的にグループ分割しており民族による頭蓋骨にはわずかな違いしか見受けられず人種的なヒエラルキーを構築する根拠にはまったくならなかったと結論づけました。
学術誌にはNULLの結果（予想していたものは何も得ず終わる）が掲載されず、ポジティブな結果が掲載されるために、出版バイアスによりNULLの結果は失敗と捉えられてしまいます。
NULLの研究になるかどうか、の一つに統計的有意性P値での判断があります。P値に関して多くの不正があり、良い値が出るまで何回も実験を繰り返し試行回数は無視して統計的有意とたまたまなった部分のみを論文として発表されるようなP値ハッキングと呼ばれる行為もあります。
理論に適合しない結果は消され、「さなぎ効果」と呼ばれる醜い結果が美しい蝶に返信する現象が起きており、メタサイエンス研究によって問題が見つかってきています。
バイアスの問題には、心理学など政治を大きな関わりがある研究によく見られます。ブラックライブズマターの際には、テキサス州のデータより白人の方が撃たれる率が高いと発表された論文が出され、その後別研究者によるデータの見直しが行われると全く逆の結論となることもありました。
経済学者のラインハートとロゴフは「債務を抱える時期の経済成長」という論文を発表。後に意図的に集計から外された国があること、そこから結論が異なることが確認され誤りと認識されました。
日本の麻酔学者の話等も登場します。
統計の基本的な話だと思うのですがサンプルサイズ、検定力の問題がある論文の列挙されています。
インセンティブ
不正がなぜ生まれるのかを考える時にインセンティブの理解が大事になってきます。科学者は権威のある出版社で論文を出版することがより大事であり、また引用されることが実績として記録され信頼となります。
そのためにはアブストラクトでよりポジティブな表現をして誇張する動機が生まれてしまい、またそのインパクトにより多く読まれることが研究費の獲得などにも繋がります。
マタイ効果と呼ばれるすでに持っている人がより多くを得るように、すでに権威ある出版者から論文を多く出版できている人はより多くを得られるようになる。しかしそこに風穴を開けるために誇張された表現をしなければ新人が評価されないなど。
論文の数を稼ぐために、細切れにして論文を発表する。被引用数を増やすために自分で自身の論文を引用する。自身の過去の論文から自己盗用する。
科学を治す潮流
本書の最後にかかれているのは、この流れも見直されつつあるよ、ということで不正を正す仕組み化が少しずつ動き出しています。
スタットチェックは論文の統計の不正チェックをするもので、自動的にチェックができるものです。
NULLの結果に特化した「ジャーナルオブネガティブレザルツインバイオメディシン」はポジティブな結果意外も報告できる場を提供しています。
事前登録と呼ばれる制度も始まり、あらかじめ計画の提出やデータを共有し透明性の確保をしようとしています。
オープンサイエンスと呼ばれる、データの公開の流れも透明性を上げる一種の動きです。
プレプリントは査読前に公開することで、論文を通すための誇張・スピン表現を緩和しようとする動きであり、プレプリントにより出版社だけでなくより多くの目で正当性を確認できる仕組みです。
科学論文の読み方
- すべてが公正か？
- どのくらい透明性があるか？
- 研究は適切に設計されているか？
- サンプルの大きさは？
- 効果の大きさは？
- 推論は適切か？
- バイアスが働いているか？
- どのくらい信憑性があるか？
- 再現されているか？
- ほかの科学者はどう考えているか？
感想
科学論文にまつわる不正や再現性の問題について纏められておりとてもおもしろい本です。数々のTEDで話題となったとされ出版に導かれたポジティブなストーリーが最近は再現性が無く効果が見直されています。
科学論文にまつわる不正や再現性の問題について纏められておりとてもおもしろい本です。数々のTEDで話題となったとされ出版に導かれたポジティブなストーリーが最近は再現性が無く効果が見直されています。
科学論文にまつわる不正や再現性の問題について纏められておりとてもおもしろい本です。数々のTEDで話題となったとされ出版に導かれたポジティブなストーリーが最近は再現性が無く効果が見直されています。
科学論文にまつわる不正や再現性の問題について纏められておりとてもおもしろい本です。数々のTEDで話題となったとされ出版に導かれたポジティブなストーリーが最近は再現性が無く効果が見直されています。
科学論文にまつわる不正や再現性の問題について纏められておりとてもおもしろい本です。数々のTEDで話題となったとされ出版に導かれたポジティブなストーリーが最近は再現性が無く効果が見直されています。
少し前の統計などの概念があまり確立されていなかった時期の心理学系の研究結果はかなり覆るものが出てきそうですよね。
１万時間の法則、パワーポーズ、マインドセット、GRID、プライミング効果、予想通りに不合理、などかなり有名な本ばかりですが、再現性無しとの話ですね。
自分自身の読書遍歴も流行りに乗りがちで話題のものは読んでおこうっという事で結構読んでるものがあります。そこで研究結果について自身の見解を正当化・権威的にするために数々利用する流れが多いのですが、そこに正当性の低い話が盛り込まれていると思うと中々辛いものです。厄介なのはそういった本はポジティブで新しさもあり、面白い所です。
この時代になって透明性の無さというのが不正の原因になることが多くなっているように思います。きっと昔は不正があっても気づかれず過ごしていたり、ミルグラムの実験のようにその分野で核となる概念になっていた事もあるのでしょうが、見直されるのはとても良いことですよね。
よりインパクトや影響力の大きいものに関しては、透明性が必要でありそれを実装できる時代にもなってきている所は嬉しく思います。一方で隔離的で権威的なジャーナルや判断基準が不明確な政治などのようなものはより透明性を出すことでより良いものにきっとなるのでしょうか。
📚 Relating Books | 関連本・Web
- https://amzn.to/3TP1zTA 神は妄想である―宗教との決別 単行本 – 2007/5/25 リチャード・ドーキンス (著), 垂水 雄二 (翻訳)
- https://amzn.to/49aET4K 背信の科学者たち 単行本 – 1988/1/1 W.ブロード (著), N.ウェード (著), 牧野 賢治 (翻訳)
- https://amzn.to/3VwX9Sx 数学に魅せられて、科学を見失う 単行本 – 2021/4/10 ザビーネ・ホッセンフェルダー (著), 吉田 三知世 (翻訳)
- https://amzn.to/3Tx9DqB 人間の測りまちがい: 差別の科学史 単行本 – 1989/7/1 スティーヴン・J. グールド (著), 鈴木 善次 (翻訳), 森脇 靖子 (翻訳)
- https://amzn.to/3TnKdvu マインドセット「やればできる! 」の研究 単行本（ソフトカバー） – 2016/1/15 キャロル・S・ドゥエック (著), 今西康子 (翻訳)
- https://amzn.to/3TOrXwJ 睡眠こそ最強の解決策である 単行本 – 2018/5/19 マシュー・ウォーカー (著), Matthew Walker (著)
- https://note.com/wandering_1234/n/n0a5a18816fb8 エミール・ゾラは、芸術とは「気質を通して見える自然の一片である」と定義
