広告クリエイティブ検証と評価

広告出稿額が少なければ高くなったり、逆に増えれば下がったりする傾向があります。そして、最終的にはある一定の範囲内に収束します。ですので、一時的なCTRを見るのではなく、一定量の出稿額（クリック数）がある前提で比較する必要があります。また、CTRが高いからといって、その後のCVRが高いとは限りません。

特にクリック誘導を目的とするような表現の場合、クリックはされるけれどもコンバージョンに繋がらないケースもあります。また、フリークエンシーが高くなったクリエイティブなどは、CTRが高い状態でも、ある時から急にCVRが悪化するといったケースもあります。

GoogleやFacebookなど多くの広告プラットフォームでは、効果の良いクリエイティブを自動的に判断して露出を増やすようにロジックが組まれています。そのため、クリック数や広告出稿額が多いということは、結果的に効果が良いクリエイティブであると媒体に判断されているとも言えますが、ここでは有意差がどの程度出ているかデータを作成するために統計的有意差検定行います。

バナーを構成する要素

バナーを構成する要素は、大きく以下の3つ。これを踏まえてテスト設計する必要がある。

①訴求軸

②画像

③全体演出

全てが違うバナーでテストを行うと、勝敗が決まっても何が良かったのか（どこが勝因なのか）がわからない為

軸を決めてテストを行うようにしましょう。

ABテストの注意点

では、どの様にバナー広告の“more better ”を、勝ちパターンを見つけるか・・・
商店街の福引で「特賞ハワイ旅行」を狙うような一か八かの勝負では
良いバナーを引き当てることはできません。
その工程は基本的に【消去法】です。効果の薄いものを消し込み、
良いものを残す・・・という考え方のもと勝ちパターンを見定めていきます。

最適なPDCA

バナーPDCAは検証軸・比較要素 を洗い出すことで、この消し込み作業を効率的に行います。

例えば、下の図のように【４つ検証軸】と、これに紐づく【比較要素を各３つ】用意した場合、
全部で81パターン（３の4乗）のバナーデザインが考えられます。これをすべて作るのは大変です。
ですが、最初に検証軸２～４を同条件とした検証軸ＡＢＣの3パターンを比較し、
その中で1位を決定すれば、可能性を27パターンに限定することができます。

このケースであれば、３＋２＋２＋２＝計９パターンのバナー制作で 1／81 を見つけることができます。

検証の順序

それぞれの検証軸をどの様に設定し、順位をつければ効率的な検証ができるのでしょうか。「バナーデザインに影響を与える大きさ」という視点で考えると以下の並び方がオススメです。

注意点を踏まえ、以下の順でテストを実施。勝ったバナーをベースに次のテストへ

統計的有意差検定とは

統計的有意差検定や有意差検定などを検索すると複雑なものが多々出てきますが要約すると

「統計学的に有意」とは「仮説」と「実際に観察された結果」との差が誤差ではないことを意味します。
例えば，投薬による治療効果の検証では，偽薬を投与した人たちと実薬を投与した人たちとの間で症状が改善された人数を比較して、その差が偶然得られる確率を計算します。この確率が十分に低ければ有意であると表現します。有意であるかどうかの基準（有意水準）は目的によって異なり，統計的解析を行う前に設定します。

参照：実験医学on-line

つまり観察された結果」との差が誤差ではないことを意味します。