ABテストをする際に知っておきたいこと
さまざまな場面で、成果をより改善していくためにA/Bテストが行われます。
SEOやランディングページ最適化、エントリーフォーム最適化などと同様に、ホームページを成長させたり、売り上げ達成、ユーザー数の増加などといった目標を達成するためには欠かせません。
今回は、A/Bテストを成功させるために知っておきたい、効果的に実施するためのポイントをご紹介します。
ABテストをする際に知っておきたいこと
目次
統計的有意差について
広告のプラットフォームにおいて、あらゆる機能がうまく稼働するための条件は、
信頼に足る統計量を前提として、広告の良し悪しが明確になっていること。
例えば 「トリビアの泉」の例
2004年10月13日放送『嘘だと思うことわざは何か？』
2000サンプルで調査＜結果＞
１位「果報（かほう）は寝て待て」（96名、4.8％）
２位「老いては子に従え」（81名、4.1％）
３位「渡る世間に鬼はなし」（68名、3.4％）
2000サンプルの場合、１位の回答比率4.8％についての標本誤差は、±0.9％である。
すなわち、本当の回答比率は3.9％～5.7％であるため、１位であることは「信頼できない」
よって、きちんと有意差検定を行って、優劣をはっきりさせる必要がある。
各回答者が「３０」を超えないと、何故だか信頼度が上がらない。
バナーテストならクリック、LPテストならCVが３０を超えるように設計する。
有意差検定については上記にて説明してあります。
テストの際に気を付けること
②検証を計画している広告グループのデータ量は十分か？
③検証の目的とゴールは明確か？
この３つを確認した上でテストを行う必要があります。
多腕バンディットテストについて
抽選箱が２つあり、それぞれに100枚ずつクジが入っています。
片方には当たりが50枚、もう片方には当たりが30枚入っています。
当たりをより多く引くにはどうしたら良いでしょうか？
答えは
これを多腕バンディットテストといい、 多くの媒体で採用されているアルゴリズムです。 つまり・・・
2つの広告を半分ずつ掲載してテスト、という手法は、 今の配信システムにそぐわないのでやめた方が良い。
テスト条件について
設定が以下のようになっていると、条件が違いすぎて比較にならない。
必ず、平等な条件下で比較をするよう心掛ける。
検索広告掲載の仕組みについて
検索広告は、ユーザーが検索したキーワードが登録されているかどうかではなく、
ユーザーが検索したキーワードに対応した広告文が登録されているかどうかを見る。
対応した広告文があれば広告が掲載される、という仕組み。
できる限り文字列をバラバラにした方がimpは増える。
ただ、以下イメージではどんな要素が刺さったのかはわからない。
ではどうするのか？
アドバリエーション機能の活用
全ページの場合はアドバリエーション機能を使う。 広告文の一部を、指定したテキストに置換する機能。
この機能を使うと、Googleが自動でテストを行い、有意差検定までやってくれる。
バナーテストについて
以下のように要素の全てが違うバナーでテストを行うと、
勝敗が決まっても何が良かったのか（どこが勝因なのか）がわからない。
こういったテストは行わないようにする。
そうはいってもたくさんテストしたいし、でもたくさん作るとお金もかかるし・・・
そんな場合はレスポンシブバナーを活用する。
レスポンシブバナーとは
長と正方形の画像、ロゴ、テキストを登録すると、 様々なサイズのバナーを自動で生成してくれる機能。
レスポンシブバナーを使ったABテストとバナー政策
※イメージ
テストのやり方 まとめ
ABテストを行う際には、媒体が持つ機能をフルに正しく使うことが重要
①データ量を意識し、統計的有意差が付くように設計する
②広告配信の仕組みを理解する
③平等な条件下で行う
④媒体や各ツールが持つ機能をフルに正しく使う
これらを守ることで、 迅速に、正しくABテストを行うことができます。
基本を理解し適切な設計をすることでPDCAを高速で回し改善を行いましょう。
