【PMBOK第７版から学ぶ】プロジェクトのパフォーマンスを測定する時の落とし穴
プロジェクトでは各プロセスやタスクのパフォーマンスを測定し、当初の計画どおりの進捗であるかを監視します。しかし、測定には様々な落とし穴があり、対応を誤るとプロジェクトのパフォーマンスを落としてしまうこともあります。
今回はPMBOK第７版の記述からパフォーマンスを測定する際の落とし穴を解説していきます。
ホーソン効果
ホーソン効果は、何かを測定・観察すること自体が振る舞いに影響を与えるというもので、有名なホーソン工場で実施された実験（ホーソン実験）から名付けられました。
このホーソン効果はプラスに働くこともあれば、マイナスに作用することもあります。たとえばあるプロジェクトに「スケジュール遅れが発生しないように、定期的に進捗を確認する」という決まりを設けたとします。この決まりは「進捗が監視されているから、遅延しないようにしよう」というプラスの効果をプロジェクト・メンバーに与えると考えられますが、「進捗が監視されているから、品質は二の次で対応しよう」というマイナスの効果を発生させるかもしれません。
そのため、何かを測定・観察する場合は、ホーソン効果がマイナスに働いていないかを確認する必要があります。
このホーソン実験とホーソン効果については下記の記事もご参照ください。
https://ssaits.jp/promapedia/glossary/hawthorne-experiments-...バニティ・メトリックス
バニティ・メトリックスとは、見栄えは良いものの、実際の意思決定には役に立たない尺度や指標のことです。バニティ（Vanity）とは「虚栄」と訳されますが、その名のとおり、バニティ・メトリックスはチームや組織の虚栄心をくすぐります。
バニティ・メトリックスの例は様々ありますが、たとえばソフトウェアを開発するプロジェクトでプログラマーのパフォーマンスを評価する指標として「コードの行数」を採用したとします。コードが増えていくと、その分だけ成果が上がっているようにも見えますが、コーディングは簡潔なコードの方が好ましいですし、既存のコードからコピー＆ペーストしただけかもしれません。そのため、「100万行のコードを書いたプログラマー」というのは見栄えこそ良いものの、その評価が本当にそのプログラマーのパフォーマンスを裏付けしているかどうかは分かりません。
このように、いかにも重要そうに見えるものの、実際の意思決定には役に立たないバニティ・メトリックスは数多く存在します。指標や尺度を考える際には、バニティ・メトリックスではないかを吟味し、意思決定に役立てられるものを選ぶ必要があります。
バニティ・メトリックスについては下記の記事もご参照ください。
メトリックスの誤用
先ほどのバニティ・メトリックスに似た落とし穴として、メトリックスの誤用があります。メトリックスの誤用とは、測定値を歪めたり、誤った尺度を採り入れたりすることです。
たとえば、重要度の低い指標に注目することや、短期的な結果の評価、簡単すぎる目標の設定がメトリックスの誤用として挙げられます。
無理な目標による士気の低下
パフォーマンスの測定のための指標を設けたり、その指標を用いて目標を掲げたりする際は、その目標が達成可能なものなのかどうかを確認しなければなりません。
OKRでは達成しやすい「ルーフ・ショット」という目標と、達成が難しい「ムーン・ショット」と呼ばれる目標があります。Google創業者のラリー・ペイジを始め、OKRではムーン・ショットの目標設定が好ましいとしています。
しかし、達成が見込めない無理な目標を設定すると、未達成が続き、士気の低下や目標の形骸化が生じてしまう恐れがあります。
何か目標設定をする場合は、その難易度にも注意すると良いでしょう。
OKRについては下記の記事もご参照ください。
確証バイアス
確証バイアスとは、先入観によってデータを誤って解釈してしまうことです。プロジェクトにおいては、こうした確証バイアスは言葉の定義をすることで予防することができます。
たとえば「Doneの定義（完了の定義）」というものがあります。「完了」という言葉ひとつでも、受け取り手によってそのイメージは異なります。ソフトウェア開発をするプロジェクトであれば、「機能の開発が完了した」と報告を受けても、人によっては「テストまで終わった」と受け取りますし、「ただ単にコーディングが完了した（テスト前である）」ととらえる人もいます。そして、こうした認識の違いはプロジェクトの失敗につながってしまいます。
そのため、パフォーマンスの測定のための指標や尺度を設ける場合も「進捗50％とはどういう状態か」など、言葉の定義をステークホルダーを交えて話し合い、認識のズレを無くす必要があります。
相関関係と因果関係の取り違い
相関関係と因果関係の取り違いはデータ測定や検証の大きな落とし穴です。
相関関係とは、一方が変化すれば他方も変化するように相互に関係しあうことを指します。よく例として挙げられるのが、気温とアイスクリームの消費量の関係です。
この「気温」と「アイスクリームの消費量」には因果関係もあると考えられます。因果関係とは、「○○だから××になった」というように、原因と結果の関係にあるものです。先ほどの気温とアイスクリームの消費量では「気温が高くなったから冷たいものが欲しくなった人が増え、アイスクリームの消費量が増えた」と説明することができます。
注意すべきは、相関関係にあるデータが、必ずしも因果関係にはないということです。たとえばある会社でスタッフの作業の生産性と納期の長さ（締め切りまでの長さ）に相関関係が見られたとします。この結果だけ見ると「スタッフの生産性を高めるためには、余裕をもったスケジュールで対応すればよい」と考える人もいるかもしれませんが、納期の長さが原因で生産性が変化しているかどうかはわかりません。たとえば、納期の長い案件では仕様を確認する時間がしっかりと確保できるため、手戻りが少なくなり、作業者の生産性が高まっているのかもしれません。
このように、相関関係が見られるデータがあっても、それが因果関係にあるのか、別の要因が関係していないかを見極める必要があります。