「セレクションバイアス」を考慮して、効果検証の精度を高める方法とは？

マーケティングの効果検証の目的は、結果に結びついた要因を明らかにし、「再現性」を持たせ、マーケティングのPDCAサイクルに活かすことです。
そのため、効果検証では必ず検証対象とそれ以外を比較することで成果を判断します。

比較する際には、両者の差が誤差（偶然起こった結果）なのか、意味のある差なのかを見極める必要があります。同時に、プロモーション施策の効果検証では、誤差ではなく意味のある差であることが証明できないと次に生かすことができません。

このコラムでは、施策の効果を「意味のあるもの」として検証するための3つの方法を紹介します。
一部統計学や医学で用いられる専門的な用語が出てきますが、この記事では学術的な観点での具体的手法や方法論は敢えて割愛し、マーケティング担当者向けにかみ砕いて解説していきます。

1. 効果検証の精度を高めるには、セレクションバイアスに注意

先述した、効果検証で比較した際に発生する誤差のことを「バイアス」と言います。偏ったモノの見方の事を「バイアスがかかる」と言ったりしますが、それと同じ意味です。
施策の効果検証では、比較している集団の潜在的な傾向が違うことによって発生する影響のことを「セレクションバイアス」と言います。
潜在的な傾向とは、施策対象者のポテンシャル、つまり顧客属性や購買状況、店舗への来店有無やSNSフォローといった購買以外の顧客行動などを指します。その集団の企業に対するロイヤルティの差と言ってもよいかもしれません。
この「セレクションバイアス」が大きいと、本来は施策による効果の差ではないものを施策の効果を思い込み、誤った判断をしてしまう危険性があります。
効果検証は施策による効果を把握することが目的なので、セレクションバイアスは極力なくして比較する必要があります。

例えば、ダイレクトメール（DM）を実施した場合を例に、セレクションバイアスについてもう少し深堀りしてみましょう。

この例では、ROIが大きくプラスになっていますので、施策単独での「投資に対する売上」は良い結果といえます。
次に、「DM送付による売上への効果」を検証するには、DMを送付した人としていない人とで売上に差が出たか？をみる必要があります。
前述の【例A】の施策対象者が以下の抽出条件だった場合、グループ①と②の売上の差は、「DM送付による売上への効果」と言えるでしょうか？

・グループ①：DM送付ターゲット
└初回購入後2回目購入なし、かつ、過去1年間に来店した人

・グループ②：効果を比較する対象
└初回購入後2回目購入なし（かつ、過去1年間に来店していない人）

グループ①と②は、「初回購入後2回目購入なし」という点は共通ですが、1年以内の来店有無に違いがあります。送付対象を「1年以内の来店あり」と設定したため、比較対象者は「1年以内の来店なし」の人しか残っておらず、この条件にならざるを得なかった、という方が適切でしょう。

この場合、グループ①は直近1年以内に来店されているので、グループ②に比べて総じて購買意欲が高く、企業のマインドシェアが高い集団と言えます。そのため、グループ①は施策を打たなかった場合でも、グループ②よりそもそもの売上が大きい可能性が高いと考えられます。この差が「セレクションバイアス」です。

グループ①と②は、本来検証したい「DM送付有無」以外の条件がそろっていないため、両者の比較では「DM送付による売上の効果」を正確に測ることはできないことになります。
そこで、マーケティング施策の効果は、「セレクションバイアス」を除いた売上で判定します。

例Ｂでセレクションバイアスを除いた数字で検証したところ、DMを送るコストのほうが利益よりも大きくなりました。残念ながら、例Ｂはバイアスを取り除いて検証を行った分、例Aよりも効果検証の精度はより高いと言えますので、この施策のROIは0％が正しい捉え方になります。

このように、効果検証の結果セレクションバイアスを考慮せず例Ａの検証結果を鵜呑みにした場合、1回の施策の効果を正しく把握できないばかりか、成果が出たと思い込んでマーケティングの意思決定を誤り、同じ施策を繰り返すことでむしろ損害が出てしまうことすらあり得るのです。
こういった見せかけの効果に惑わされないように注意しましょう。

▼セレクションバイアスを考慮した施策の効果の考え方

2. セレクションバイアスを最小限にとどめる方法

ここからは、セレクションバイアスを最小限にとどめるための3つのやり方ご紹介します。

①施策対象者の抽出方法を工夫する

マーケティング施策の対象者として、一定の条件に合致する対象者を抽出して母集団を作り、その母集団の中からランダムで施策を打つ人・打たない人を選ぶやり方です。
医療分野や経済学などで用いられる研究では、RCT（Randomized Controlled Trial = ランダム化比較試験、無作為化比較試験）と呼ばれています。

この方法では、母集団の条件が固定されているのでセレクションバイアスは理論上起こらず、かなり正確に効果検証を行うことができます。
しかし、母集団の作り方が難しいことが欠点で、対象者がかなり少なくなってしまったり、逆に大きな条件でしか絞れないためターゲット層が広くなりすぎてしまうことがあります。例えば下記のようなケースです。

＜母集団の条件例＞
◆33歳、女性、○○年8月と○○年10月に商品Aを購入、メルマガ開封4回
　→該当人数：23人
　　└絞り込みの精度は高いが、合致する人が少なすぎる

◆女性
　→該当人数：25万人
　　└人数は十分だが、条件が大雑把すぎてセレクションバイアスが未知数


上記は極端な例ですが、取り扱う商品やその購買頻・プロモーションの内容によってこの方法で適切な母集団が作れる場合には、高い精度での効果検証が可能ですので、この方法が合うかどうかの見極めが重要です。

②比較対象とするグループの作り方を工夫する

効果検証では、プロモーションの実施前に施策実施グループと施策実施しない（＝比較対象となる）グループそれぞれの条件を決めてその両者を比較しますが、比較する際に2段階でセレクションバイアスを取り除くやり方を解説します。

単純に施策による差を見るのではなく、各グループのもともとの購買金額の差と施策による購買金額の差を比較することで、施策だけの違いに絞って比べることが可能になります。
①に比べると精度は落ちますが、比較的どの業界でも実施が可能で一定の成果が出せることから、多くのマーケティング効果検証でも実践されているやり方です。
下記のコラムにて、具体例を交えてやり方を解説しています。

このやり方は、差分の差分を取ることから、DID（Difference In Difference=差分の差分法）と呼ばれます。

③検証結果が誤差か否かを判断する

施策後の検証フェーズでは、施策結果に対して有意差検定を行うことで、その差が誤差（偶然起こった結果）なのか意味のある差なのか（統計的に信頼できるものであるか）を判定できます。
信頼できるものであると判定が出た場合は、成功事例として広く展開することを検討できますし、残念ながら誤差と判定された場合は効果検証としての精度は低いということになります。

これは、検証方法というよりは、検証後の数字の精度を測るためのやり方ですので、①②とは異質ではありますが、検証結果に疑問を感じた時には実施してみるのが良いかもしれません。

3. 効果検証の精度は施策設計段階での考慮が重要

このコラムでは、セレクションバイアスを考慮して、マーケティング施策の効果検証の精度を高める方法について3つご紹介しました。
冒頭でも解説した通り、効果検証の目的は、結果に結びついた要因を明らかにし、「再現性」を持たせ、マーケティングのPDCAサイクルに活かすことです。
施策の再現性を高めるには、施策の設計段階で効果検証を考慮することが重要になります。

「施策による効果」を正しく検証し、効果が出た場合は同じ施策を継続する、もしくは別のターゲットに展開する、といったように、一歩ずつ実績を積み上げ、継続的にマーケティングのPDCAサイクルを回していきましょう。

まずは、自社のマーケティング効果検証が精度高く行えているか、セルフチェックから始めてみるのはいかがでしょうか？
マーケティング効果検証の精度を上げるためのセルフチェックシートを用意しましたので、ぜひご活用ください。

フュージョン株式会社では、CRM領域のマーケティング施策設計・効果検証だけでなくクリエイティブ設計～実行までをワンストップでサポートいたします。お気軽にご相談ください。