最近では睡眠や行動データから健康状態を予測することや、コロナの助成金の効果はどうであったのかなど、数値化することでその効果を測る事ができる時代になってきました。
職場でのパフォーマンス評価などでも同様に数値化される事で評価を正当化するための材料として数値評価が使われている事も多いと思います。
一方で、教育、行政、医療などの現場では数値評価の弊害が出ている事例をビビットに紹介されている事があり、その事例を纏めたものがミュラーの本書、測りすぎになります。
本書で見ていくが、測定基準の改竄はあらゆる分野で起きている。警察で、小中学校や高等教育機関で、医療業界で、非営利組織で、もちろんビジネスでも。そして、改竄は、報酬や懲罰の根拠に実績基準を使うと必然的に起こる問題のひとつでしかない。世の中には、測定できるものがある。測定するに値するものもある。だが測定できるものが必ずしも測定に値するものだとは限らない。測定のコストは、そのメリットよりも大きくなってしまうかもしれない。測定されるものは、実際に知りたいことはなんの関係もないかもしれない。あるいは、本当に注力すべきことから労力を奪ってしまうかもしれない。そして測定は、ゆがんだ知識を提供するかもしれないー確実に見えるが、実際には不正な知識を。
測定基準の導入は現場から離れた経営陣や行政の管理者などが善意により設定される事がしばしばであり、問題の解決の材料としようとします。その中で日々繰り返される欠陥に以下のようなものが挙げられます。
- 一番簡単なものしか測定しない
- 成果ではなくインプットを測定する
- 標準化によって情報の質を落とす
- 上澄みすくいによる改竄
- 基準を下げることで数字を改善する
- データを抜いたり、ゆがめたりして数字を改善する
- 不正行為
本書ではもちろん測定行為が全て悪いという事は言っておらずむしろポジティブな効果を出すものも沢山ある事を前提として、測定により何を気をつけるべきかなどを失敗事例から学ぶものでありました。
📒 Summary + Notes | まとめノート
測定の成り立ち
測定は元々、ヴィクトリア朝時代のイギリスの政策決定者たちが能力給での支払いのために結果の評価を始めた事が成り立ちと言われているそうです。自由党議員のロバートロウが学校の評価を生徒の３R（読み、下記、算数）の成績に応じて資金の割当を変えるという提案をしたことが始まりだったそうです。ここで文化批評家のマシュー・アーノルドは調査官として学校に訪れると、生徒たちが山のような知識や算術を吸収しているのに分析能力はまったく持たず、洗練された散文や詩を理解することは一切できないという現状に遭遇していたことから、ロウの政策を批判しました。
アメリカの教育業界でも1911年にサイモンパッテンが、学校は「簡単に目に見え、測定できる」結果を見せることで社会への貢献度の証拠を提供すべきだと要求。フレデリックウィンスロウテイラーは「科学的管理法」と呼ばれる手法で工場での管理評価を作り出しました。
標準化と監視によってより良い効率を求めるというテイラー主義者は教育、産業の世界に広まり、軍事や経営コンサルにも活用されていきます。
なぜこれほど測定が流行ったのかと言うと、説明責任や透明性などの根拠として有効であったからです。この測定の流行に伴い、ウィリアムボーモルとウィリアムボーウェンが「コスト病」と呼ばれる現象を提唱し、経営では報告や意思決定の手順が増え実際に行動を起こす時間が無くなってきている事に対しイヴモリューとピータートールマンは「コンプリケイテッドネス」と名付ける現象を指摘しました。
測定によるインセンティブの変化も大きな問題であり、小学校では測定しやすい読み書き算数を教えることで評価されるとなると、もっと測定しにくいが重要な、世界に対する好奇心を掻き立てることや、独創的な思考をはぐぐむといった目標が重要視されなくなります。
測定評価が活用される好例としては、組み立てラインで規格製品を作るなどの完遂するべき作業が個別に切り出しやすいものには有効であるが、ミッション重視の教師や看護師ではうまく行かない事が多いと言います。
1987年、マーガレット・サッチャーの保守政権が実施した公的資金改革には実績指標が求められ、これによりどの大学にどれだけの資金が提供するかが決められました。それに対してエリーケドゥリーは「説明不可能なことの事態を説明しようとする行為」「効率」をスローガンにした政策を大きく非難しました。「説明責任」「実績測定」はアメリカのビジネスリーダーや政治家、政策決定者たちでバズワードとして使われました。
事例
- 大学・学校
アメリカの教育省は「現代世界において、大学はごく一部の国民が享受することのできる贅沢ではない。大学はすべてのアメリカ人にとっての経済的、公民的、個人的必要性だ」というメッセージを掲げます。単純に言うと大学に行く人が増えて教育水準をあげようという方向性です。
ロンドン大学の教育経済学者アリソンウルフは「学士号を取得したものが得る収入は持たないものよりも平均すると多い」と言います。ただし、一方で大学卒業者を増やす事により高い生産性を意味するという考えは間違いです。学士号の取得割合が多くなればなるほど、仕分けツールとしての価値は低くなり、結果として仕事に役に立たない学士号を所有する事になります。
大学ランキングはタイムズ、ハイヤーエデュケーションで掲載され大きな影響力を持ちます。結果として大学は大きな影響力があるランキング維持のために努力をし、場合によればランキング向上によるインセンティブなども発生している状態です。そのために教育や研究の質を全く挙げない広報活動に多額の資金が使われる事もしばしばです。
教授たちは論文の発表数や引用数を競うために、短期間で結果が見込まれる研究に労力を費やし、本当に価値があるとされることや時間のかかる研究の重要性は落ちてしまっています。
問題は学校教育にも同様です。ジョージ・ブッシュの政権下で施行された「落ちこぼれ防止法（NCLB）」はどの子も置き去りにしないために、説明責任と柔軟性、選択肢をもって学力格差をなくすための法律とされました。NCLB法の下、各学校から選ばれた生徒が算数、読解、科学のテストを受け学校の比較評価が行われます。共通テストの結果は教師たちの昇給や仕事の内容を左右し、共通テストに加味されない歴史や社会、美術、音楽、体育などの教科をおろそかにするケースも生まれました。共通テストの結果が悪いことから教師をやめるケースもあったようです。
コールマンレポートでは生徒の成績は親の社会的、経済的、教育実績と密接にかかわっているとされ、「いい学校」にはより明るく、好奇心旺盛で、自己管理ができる生徒が多い傾向にあり、学校教育による学力格差をなくすということに否定的であるというのが著者の考えです。
警察
治安の良し悪しは一般市民にとって問題となるために、警察にも評価の導入が進む事により大きな影響がありました。
ニューヨーク警察本部ウィリアムブラットンの下で始まったコンプスタットは、地理的情報システムを使って犯罪件数を追跡し、地図に落とし込んで犯罪パターンを見出し、ホットスポットの特定や人員配置に活用されました。犯罪件数の減少が昇給や降格に繋がると信じられるようになると現場レベルの警察官たちは犯罪報告件数が増えることにプレッシャーがかけられます。
これにより数字を揉むことによる犯罪件数を減らす行為が起き、シカゴの刑事は証言なども行っているようです。
まず、通報に対応した警察官が、案件の分類を意図的に間違えるか、内容に手を加えてもっと軽い犯罪として記録する。侵入窃盗は「不法侵入」に、車庫への押し入り強盗は「器物破損」に、窃盗は「遺失物」にといった具合に
重大な犯罪になるはずだったものが軽犯罪にされ、FBIの統一犯罪白書には反映されなくなります。
イギリスでは逮捕数はどれも同じ価値であったがために、より簡単な事件を追いかけ逮捕実績を増やす事をし、より重要な大型の事件へのリソースが少なくなるような事もあったようです。
失敗事例から学ぶこと
１９世紀オーギュスト・コントは「予見するために観察し、予知するために予見する」と言いました。測定執着がはびこる中で、意図せぬ悪影響が予見できるようになってきており、避けられるようにもなってきました。どうすれば良いのか？の前に危険について纏められています。
- 測定されるものに労力を割くことで、目標がずれる：「インセンティブの不整合問題」
- 短期主義への促進：長期的配慮を犠牲にして短期的目標が優先される
- 従業員の時間にかかるコスト：従業員は組織の真の生産性にたいして貢献しない活動にますます時間と労力を費やさなければならず、それが彼らの熱意を奪っていく。
- 効用の逓減：データを集め、分析するためにかかる限界コストは、すぐに限界便益を上回る
- 規則の滝：規則により組織の機能は鈍化し、能率が下がってしまう。
- 運に報酬を与える：関係者が結果に影響を与えることなくして得られた成果は運に報酬を与えるのに等しい。
- リスクを取る勇気の阻害：本当に偉大な成果は、リスクを伴うことがしばしば。
- イノベーションの阻害：自分の測定結果を最大限にするために努力し、仲間のことは無視したり、最悪の場合は邪魔したりする。
- 仕事の劣化：より大きなイニシアティブや起業家精神を持つものが、説明責任の取れる実績の文化が優勢となっている主流の大手組織から出ていきたいと考えるようになる
- 生産性のコスト：アメリカ経済の全要素生産性のうち、増加したのは情報技術産業だけであった。
測定執着の危険について述べられてきましたが、実績測定を成功させるためのチェックリストを見ていきましょう。
-
どういう種類の情報を測定しようと思っているのか？
測定対象が測定によって影響を受ける場合、測定の信頼性は低くなる。
-
情報はどのくらい有益なのか？
測定の狙いにとってあまり有益でなかったり、代用としてあまりよくなかったりするのなら、そもそも測定しないほうがましだ。
-
測定を増やすことはどれほど有益下？
測定が役立つからと言って、測定を増やすことがもっと役に立つとは限らない。
-
標準化された測定に依存しないで生じるコストはどんなものか？実績についてほかの情報源があるか？
事前事業の場合、受益者に結果を判断させるのがもっとも有益
-
測定はどのような目的のために使われているのか、言い換えるなら、その情報は誰に公開されるのか？
報酬と懲罰の仕組みが、測定される者にとって無駄や有害と思われる行動を誘発するようなものだったら、その測定基準は操作される可能性が高くなる。
-
測定実績を得る際にかかるコストは？
実績測定を実施する価値があったとしても、その価値は測定結果を取得するのにかかるコストより低いかもしれない
-
組織のトップがなぜ実績測定を求めているのかきいてみる。
-
実績の測定方法は誰が、どのようにして開発したのか？
上から押し付けられたものである場合、説明責任についての測定基準が効果を上げられる可能性は低い
-
もっともすぐれた測定でされ、汚職や目標のずれを生む恐れがあることを覚えておく
個人が自らの利益を最大化することを目的にしているエージェントである限り、すべての測定に基づく報酬の枠組みには避けがたい欠点がある。
-
ときには、何が可能かの限界を認識することが、叡智の始まりとなる場合もある。
すべての問題が解決可能なわけではなく、まして測定基準で解決できる問題はさらに少ない。透明性は厄介な状況をさらに際立たせるだけで、解決可能にはしてくれないかもしれない。
感想
ジェリーZミュラーによる測定をすることによる弊害を改めて認識しようという内容の本でとても面白く読むことができました。
測定結果の活用が外的要因や内的要因による効果の違いや、透明性を意識しすぎる事による弊害、説明責任に使用する意図により悪影響がもたらされる事が多々あることなどとてもわかり易く事例を紹介されています。
特に、経営者や政策での活用で評価指標の設定がそもそも的外れになってしまう事例などは仕事や生活をする上でよく感じる事で、結果の改竄をもたらす事や評価コストと効果の逆転現象などアメリカでもよく見られることなのだと読んでいて感じました。組織レベルが大きくなった時に評価しないといけないけれども、評価指標が精査されないまま走り出し、説明責任が発生した時にはすでに遅く組織トップが恥ずかしい思いをするのを避けるなどよく見ます。
忘れてはいけないのは、測りすぎるのは悪くなるときもあるが基本的には良しとすべきものであり、色々気をつけてやっていこう・時に見直す必要がある事を認識しようと言うことでしょうか。現代では情報が広く公開され、第三者が指摘することも見直すこともできる時代ですので、情報が閉ざされているような世界と比べたら測りすぎと呼ばれるレベルでもよくそこにフィードバックさえかかれば良いのだと個人的には思います。
📚 Relating Books | 関連本・Web
- https://amzn.to/3PkJjOC Masters of Management: How the Business Gurus and Their Ideas Have Changed the World—for Better and for Worse (English Edition) Kindle版 英語版 Adrian Wooldridge (著)
- https://u-site.jp/alertbox/campbells-law キャンベルの法則：指標への執着がもたらす負の側面
- https://www.trustenablement.com/ja/goodharts-law/ グッドハートの法則 - なぜGo-to-Marketチームにとって重要なのか？
- https://books.google.com/ngrams/ Ngram
- https://amzn.to/3rhMs9O なぜ近代は繁栄したのか――草の根が生みだすイノベーション Kindle版 エドマンド・Ｓ・フェルプス (著), 小坂恵理 (翻訳)
- the cost of accountability https://www.nber.org/system/files/working_papers/w8855/w8855.pdf
- https://amzn.to/3PoHj7O ザ・セカンド・マシン・エイジ Kindle版 エリック ブリニョルフソン (著), アンドリュー マカフィー (著), 村井 章子 (翻訳)
- https://amzn.to/3Zi6LRb 個人主義と経済秩序 新版ハイエク全集第Ⅰ期 Kindle版 フリードリヒ Ａ ハイエク (著), 嘉治 元郎 (翻訳), 嘉治 佐代 (翻訳), 西山 千明 (読み手), 矢島 釣次 (読み手)
- https://amzn.to/3EGtTPB 増補版 政治における合理主義 単行本 – 2013/9/26 マイケル オークショット (著), Michael Oakeshott (原名), 嶋津 格 (翻訳), 森村 進 (翻訳), 名和田 是彦 (翻訳), 玉木 秀敏 (翻訳), 田島 正樹 (翻訳)
- https://amzn.to/45UwpxO 経済学をまる裸にする 本当はこんなに面白い (日本経済新聞出版) Kindle版 チャールズ・ウィーラン (著), 山形浩生 (翻訳), 守岡桜 (翻訳)
- https://amzn.to/3PHfo4x 数値と客観性――科学と社会における信頼の獲得 単行本 – 2013/9/21 セオドア・M・ポーター (著), 藤垣 裕子 (翻訳)
- https://amzn.asia/d/7DI8I4Z 組織が動くシンプルな6つの原則---部門の壁を越えて問題を解決する方法 単行本（ソフトカバー） – 2014/10/18 イヴ・モリュー (著), ピーター・トールマン (著), 重竹 尚基 (翻訳), 東海林 一 (翻訳)
- https://amzn.asia/d/0tq498v 常識の死―法は如何にしてアメリカをだめにしてきたか 単行本 – 1998/2/1 フィリップ・K. ハワード (著), Philip K. Howard (原名), 広瀬 克哉 (翻訳), 山根 玲子 (翻訳)
- https://amzn.asia/d/bewxAAY ペンタゴン―知られざる巨大機構の実体 単行本 – 1985/9/1 エドワード・ルトワック (著), 江畑 謙介 (翻訳)
- https://amzn.to/44WLkGg ベスト&ブライテスト〈上〉栄光と興奮に憑かれて (Nigensha Simultaneous World Issues) 単行本 – 2009/12/1 デイヴィッド ハルバースタム (著), David Halberstam (原名), 浅野 輔 (翻訳)
- https://amzn.asia/d/iRYhriP それでも新資本主義についていくか―アメリカ型経営と個人の衝突 単行本 – 1999/12/1 リチャード セネット (著), Richard Sennett (原名), 斎藤 秀正 (翻訳)
- https://amzn.asia/d/bLvCrUZ 経営者の時代 上―アメリカ産業における近代企業の成立 単行本 – 1979/9/1 アルフレッド・D・チャンドラーJr. (著), 鳥羽 欽一郎 (翻訳), 小林 袈裟治 (翻訳)
- https://amzn.asia/d/gdUWme8 科学的管理法の諸原理 単行本 – 2009/4/1 フレデリック・ウィンスロウ テイラー (著), Frederick Winslow Taylor (原名), 中谷 彪 (翻訳), 中谷 愛 (翻訳), 中谷 謙 (翻訳)
- https://amzn.asia/d/8qUZvwq 教育と能率の崇拝 単行本 – 1997/8/1 レイモンド・E. キャラハン (著), Raymond E. Callahan (原名), 中谷 彪 (翻訳), 中谷 愛 (翻訳)
- https://amzn.to/3ZsefRG 資本主義の思想史: 市場をめぐる近代ヨーロッパ300年の知の系譜 単行本 – 2018/1/12 Jerry Z. Muller (原名), ジェリー・Z. ミュラー (著), 池田 幸弘 (翻訳)
- https://amzn.asia/d/12YcbmF 社会はなぜ左と右にわかれるのか――対立を超えるための道徳心理学 Kindle版 ジョナサン・ハイト (著), 高橋洋 (翻訳)
- https://amzn.to/46cfRRF マネー・ボール〔完全版〕 (ハヤカワ・ノンフィクション文庫) 文庫 – 2013/4/10 マイケル・ルイス (著), 中山宥 (翻訳)
- https://amzn.asia/d/gKR0Wwr アナタはなぜチェックリストを使わないのか？【ミスを最大限に減らしベストの決断力を持つ！】 単行本 – 2011/6/18 アトゥール ガワンデ (著), 吉田 竜 (翻訳)
