A/Bテストで、本当に気をつけたほうがよいと思うこと

A/Bテストは、今やwebマーケティングでは欠かせない手法です。

 A/Bテストは、2パターンの広告などを訪問ユーザーにランダムで振り分けて、 どちらが良いのか検証することです。 

例えば、ボタンの色は赤色と青色どちらのほうがクリックされやすいか試してみるなど。グーグルアナリティクスなどA/Bテストは簡単にできるようになりました。 簡単に出来るけど、キチンと検証を行わないと、結果的に効果が悪くなる。
迷走してしまいPDCAが回せなくなるという悪循環に陥ります。 私の経験も含めて大事だと思うことを紹介します。 

 1)仮説と指標(KPI)を必ず設定すること なぜ検証を行うのか。

何を改善させたいのか。 コンバージョン数を増やすのか、ページゴールをしっかり決めることが重要です。

 悪い例で見かけるのは「古いデザインだから変えたいんだよねー」
「何となくこうしたほうがいいから変えてとりあえずA/Bテストを行う」など、取り敢えず変えてA/Bテスト回しておけば間違いないというA/B至上主義者。 コレは本当に気をつけたほうがよいです。

 なぜかというと例えば、何となくデザインを変えてA/Bテストをしたとする。 Aパターンが、Bパターンと比べサイトの滞在時間が伸びて、1人あたりの閲覧ページ数が減った場合。Bパターンが優れているのか優れていないのか、判断が付きません。 こうなってしまっては何のために行ったのかもわからなくなります。

 正しくは、PV数を増やすために、1人あたりの閲覧ページ数を増やしたい。 今は○○だから悪いと思われる。だから○○を変えてみる。という目的で行い、 指標は1人あたりの閲覧ページ数とする。※具体的な目標値があるとベスト。 という感じ。 

 2)検証は１つずつ。 現在のページ効果が悪すぎる。

設定された目標値が高く大幅に改善しなくてはいけない。そんな状況であるのが、アレもコレも悪いと思われるから一気に変えてしまうこと。 これも大変怖いです。悪化している点が多々みえているなら、新しいパターンが優勢となるでしょう。正し、その中には悪化させる改善点があったかもしれない。 つまり、一気に変えてしまうと何が良かったのか。何が悪かったのかがわからなくなる。別ページにも反映させたいとき、更なる改善を行いたいときに、わけがわからなくなる。 知っている人は当たり前の話だが、知らない人はありがちなパターンだと思います。

３）サンプル数に気をつける。

 amazonやgoogleといったデカイサイトならば、アクセスが多いのでデータがたまり易い。そのため、信憑性のある検証が出来ますが、アクセス数があまりないA/Bテストはデータがたまりません。しっかり検証するためには、サイトによりけりですが、2週間程度A/Bテストを回すことが大事。 仕事としてしっかり検証したいならば、高校数学でも習った確立・統計学を復習してみることをオススメします。ここでは説明しきれないので、ネットで調べてみてくださいね。（ブンナゲスミマセン＞＜ 

4）一番怖い確証バイアスに気をつける！！ 仕事をする上で一番怖いバイアス。

確証バイアス。 自分に都合のよいデータだけを正ととし、他を無視してしまうこと。 ABテストで指標を決め、1つずつの検証をし、サインプル数もしっかり出ているのに、今回は例外だ。でもここの数値がよかったからコレでOK。 など、都合の良い解釈になってしまうこと。コレではここまでの検証が全て水の泡。

 A/Bテストの優劣を判断するためには、確証バイアスに掛かっていないか常に自問自答することが大切。 

 いかがでしょうか。全て、意外と当たり前と思うことがA/Bテストを行う際には忘れてしまいがちです。気をつけてしっかり改善していきたいですね。