従業員エンゲージメントサーベイでの、社会的望ましさバイアスの分析事例

はじめに

こんにちは、データサイエンティストの大杉・今野です。

この記事では、リクルートが提供する従業員エンゲージメントサーベイサービス Geppo でのデータ分析事例を紹介します。

今回の分析事例を要約すると、以下のようになります。

従業員エンゲージメントサーベイに実名で回答するか匿名で回答するかによって、回答の正直さが変わるのかがわかっていませんでした。そこで、回答傾向の差がどのような設問で出てどのような設問で出ないのかを分析しました。
分析には統計的因果推論の手法を用いました。このとき、分析対象のサーベイのデータのみでは実現不可能な分析を、実名回答のみの他のサーベイのデータと組み合わせることにより実現しました。
eNPS¹・勤続意向・評価などに関する一部の設問では、実名回答にすると会社に良く思われるような回答が増えることがわかりました。しかし、その他の多くの設問では回答方式の違いによる回答傾向の差は大きくありませんでした。

Geppo とは

Geppo では、「個人と組織の課題を見える化する」ことを目的として、パルスサーベイと組織サーベイ（エンゲージメントサーベイ）という 2 種類のサーベイを提供しています。

パルスサーベイと組織サーベイの主な違いを表にまとめると、次のようになります。

	パルスサーベイ	組織サーベイ
目的	個人の状態の可視化	組織の状態の可視化
実施頻度	毎月 1 回	半期・四半期に 1 回
設問内容	仕事・人間関係・健康についての 3 問	経営・事業戦略・働き方・上司・同僚・仕事・成長機会・評価などについての 20 問
回答方式	実名での回答	サーベイ実施ごとに実名での回答と匿名での回答を選択可能

課題

上で述べたように、Geppo が提供する組織サーベイでは、回答方式を実名回答とするか匿名回答とするか、導入企業の Geppo 担当の方に選択していただくことができます。

その際、「サーベイ実施後に課題を抱えていることがわかった個人へのアクセスがしやすく組織課題の解決に繋げやすい」という理由から、Geppo では実名回答での実施をおすすめしてきました。

一方で、実名回答でのサーベイ実施について、「実名回答でサーベイを実施すると、従業員が人事部などから良く見えるような回答をしようとするのではないか」や「匿名回答のほうが従業員の正直な回答を集められるのではないか」という懸念の声も上げられていました。

このようなサーベイの回答者が他者からよく見えるような回答をしようとする傾向は「社会的望ましさのバイアス」として知られています。

このように、Geppo の組織サーベイには、実名回答と匿名回答とで回答の正直さに違いがあるのかがわからず、実名回答と匿名回答どちらを選べばよいのか判断しにくいという問題がありました。

回答方式	課題を抱えている個人への対応のしやすさ	回答の正直さ
実名回答	○	？
匿名回答	✗	○

この問題を解決するために、我々は

実名回答と匿名回答とで、回答傾向に違いがあるのか
実名回答と匿名回答とで回答傾向に違いがあるとしたら、その違いはどのくらい大きいのか

をデータから分析しました。

分析手法

組織サーベイは主にネガティブな回答から課題を発見するために実施されるため、回答傾向の違いの基準としてネガティブ回答をするかしないかに注目しました。また、回答方式の選択以外のバイアス（社風などの組織的な要因や従業員の個人的な要因など）を極力排除するために、統計的因果推論における反事実の考え方を使った分析をしました。

具体的には、次のような因果ダイアグラム（変数間の因果関係を矢印で示したグラフ）を仮定した上で、

「実際には匿名で回答したユーザーたちが、実名ではなく匿名で回答したことがネガティブ回答率にどれだけ影響したか」
「実際には実名で回答したユーザーたちが、匿名ではなく実名で回答したことがネガティブ回答率にどれだけ影響したか」

を調べることにしました。この「〇〇なユーザーたちが、✗✗ ではなく〇〇で回答したことの影響の大きさ」という形の値は、処置群での処置効果（ETT: effect of treatment on the treated）として知られています。²

ここで、仮定した因果ダイアグラムのもとで ETT を計算するためには従業員コンディション・個人要因の値が必要になるのですが、これらの値は観測できず、ETT も計算できません。

この問題を回避するために、

同一の従業員がパルスサーベイと組織サーベイ両方に回答していること
パルスサーベイと組織サーベイとで設問の粒度は異なるが、どちらも従業員コンディションと個人要因を反映していると考えられること

から、「従業員コンディション・個人要因の値がパルスサーベイのスコアにも十分に反映されている」と仮定し、パルスサーベイのスコアを従業員コンディション・個人要因の値の代わりに用いて ETT を推定することにしました。

分析には、組織サーベイと同月のパルスサーベイとの両方に回答したユーザーのデータのみを用いました。

分析結果

分析の結果、組織サーベイ各設問の ETT

「実際には匿名で回答したユーザーたちが、実名ではなく匿名で回答したことがネガティブ回答率にどれだけ影響したか（匿名群の ETT）」
「実際には実名で回答したユーザーたちが、匿名ではなく実名で回答したことがネガティブ回答率にどれだけ影響したか（実名群の ETT）」

は次のように推定されました。

まず、eNPS・勤続意向・評価に関する設問では回答方式の違いによる回答傾向の差が大きいことがわかりました。具体的には、次のような結果になりました。

設問 1（eNPS）は実名回答にするとネガティブ回答が約 10pt 減る（約 61% -> 約 51%）
設問 2（勤続意向）は実名回答にするとネガティブ回答が約 8pt 減る（約 28% -> 約 20%）
設問 19（評価）は実名回答にするとネガティブ回答が約 12pt 減る（約 28% -> 約 16%）

一方で、eNPS・勤続意向・評価以外の設問では回答方式の違いによる回答傾向の差は小さく、ネガティブ回答率の差は高々 5pt ほどであることもわかりました。

今回推定した 2 つの ETT

「実際には匿名で回答したユーザーたちが、実名ではなく匿名で回答したことがネガティブ回答率にどれだけ影響したか」
「実際には実名で回答したユーザーたちが、匿名ではなく実名で回答したことがネガティブ回答率にどれだけ影響したか」

の推定結果はほぼ対称になっており、匿名回答したユーザーたちと実名回答したユーザーたちとの両側から回答方式のネガティブ回答率への影響が推定できていることがわかります。

カスタマーサクセスチームのメンバーからは、勤続意向・評価に関する設問で大きな差が出たことについて「勤続意向や評価に関する設問へのネガティブな回答はそれに対する対応（退職・昇給など）が回答者にも想像しやすいため、ネガティブ回答がサーベイ実施者である経営や人事への個人の具体的なメッセージとして伝わってしまうことを避けるのではないか」という意見がありました。

おわりに

今回のデータ分析では、統計的因果推論の手法を用いて、Geppo の組織サーベイにおける実名回答と匿名回答との回答傾向の違いを定量化しました。

この定量化は組織サーベイのデータのみでは実現不可能なものでしたが、パルスサーベイのデータと組み合わせることにより実現できました。今回の分析結果は、パルスサーベイと組織サーベイの両方を実施することによって得られたメリットの一例と言えます。

回答傾向の違いを定量化した結果、eNPS・勤続意向・評価以外の設問では回答方式の違いによる回答傾向の差が小さいことがわかりました。また、eNPS・勤続意向・評価に関する設問で回答方式の違いによってネガティブ回答率にどれくらいの差が出るのかもわかりました。

今回明らかになった社会的望ましさのバイアスを考慮することで、実名回答で実施した場合でも、匿名回答にした場合と同じようなネガティブ回答率がわかるようになりました。

eNPS (Employee Net Promoter Score) は従業員の自社に対する満足度を数値化する指標です。 ↩︎
J. Pearl ・M. Glymour・N.P. Jewell(著)／落海浩(訳). 入門統計的因果推論. 朝倉書店, 2019. https://www.asakura.co.jp/detail.php?book_code=12241 ↩︎