　プロジェクトマネジャーは、自分のチームの生産性と品質を上げようとあの手この手で頑張っています。開発プロセスを改善した場合、どの程度効果が出ているのか、ものすごく気になります。「新プロセスは効果がある」と会社の上層部に大きな声で言うためには、昔の開発プロセスと、新規プロセスによる生産性や品質の平均値を比べる必要があります。

　「平均値に差が出たのは、新プロセスの導入による成果である」と言うためにはどうすればよいでしょうか？　専門用語で言うと「平均値の差の検定」です。今回はそこに焦点を当てます。

「山浦恒央の“くみこみ”な話」バックナンバー

2.平均ワイン飲酒量は1人3本

　ワイン愛好家の飲み会の余興で、次のようなクイズが出ました。

　「現在、日本人の1人当たりの平均ワイン消費量は、ボトル1本750ccとして、年間3.2本です。では、どの年でもよいので、その年から連続10年の各年の平均ワイン消費量を答えてください。小数点以下は四捨五入して構いません」

　参加者は、ワインエキスパートやソムリエの有資格者ばかりで、ワインのプロですが、「確か、1人のワイン飲酒量が初めて2リットルを越えたのが1998年だったよね。で、2003年に2リットルを切って、それからどうなったかなぁ……」と記憶の切れ端をたどるのですが、誰も答えられません。みんなが困っている様子をうれしそうに見ていた出題者が言いました。

日本人のワイン飲酒量は……

　「では、答えの発表です。以外に簡単で、中学生にも答えられます」。全員の頭から湧き上がっている「？」を尻目に、出題者が続けました。「例えば、鎌倉幕府ができた1192年から1202年まで、日本人の平均ワイン飲酒量は0本です」。その場の全員は、「なぁんだ、ばかばかしい」と大笑いになりました。

　飲み会でのこんな「お笑い平均値」は、なんの責任もなくてよいのですが、ソフトウェア開発プロジェクトでプロセスを改善し、それが生産性と品質をどの程度改善したかを計測する場合の平均値ではそうはいきません。

　新しい開発方法やツールを導入して、会社全体のソフトウェア開発のプロセスを改善する場合、管理者が何よりも知りたいことは「改善効果が本当に表れているか」です。結果を分析して効果が出ていないことが分かったり、それ以前に、結果を分析できない場合があります。効果が出ず、作業量だけが増えただけなら、プロジェクトのエンジニアから見れば、新プロセスはただの害悪です。まずは、改善前と改善後の生産性や品質の値をどのように比較すればよいかについて、例を挙げて解説します。