• マーケティング
  • 通販/ダイレクト

効果検証、適切にできてますか?正しいA/Bテストで勝ちパターンを見つける

~デキるEC担当者になるための次の一手~ VOL.2

正しいA/Bテストで勝ちパターンを見つける。

「ABテストを行っているが、なかなかうまくいかない…」という声をお聞きします。でもその中には「そもそもABテストのやり方が間違っている」というケースが多数見受けられます。そこで今回は、A/Bテストを効果的に実施するための注意点についてご紹介します。

A/Bテストとは?

A/Bテストとは、異なるクリエイティブのうち、どちらが良かったのかを評価することです。A/Bテストを繰り返すことで、クリエイティブの勝ちパターンを見つけることができ、クリック率(CTR)やコンバージョン率(CVR)の向上に繋げることができます。しかし、A/Bテストは適切に行わないと、せっかくの労力が無駄になるどころか、間違った方向性を導きかねません。A/Bテストを行う際には、以下の注意点に気を付けて行うようにしましょう。

abtest

haishin

■A/Bテストの注意点1:「配信条件」は同じですか?

A/Bテストを実施するにあたっては、できるだけ同じ条件で実施することが重要です。配信のタイミングやグループが違うと、基本的なテスト条件が異なってしまうため、数値を比較することができなくなります。

よくある失敗例として、下記のようなケースが挙げられます。
例1:配信のタイミングが違う
「セール期」に配信したクリエイティブと、「プロパー期」に配信をしたクリエイティブを比較検証した
例2:配信のターゲットが違う
「20代」にセグメント配信したクリエイティブと、「40代」にセグメント配信したクリエイティブを比較検証した
例3:配信のエリアが違う
「東京都」にセグメント配信したクリエイティブと、「岡山県」にセグメント配信したクリエイティブを比較検証した
例4:配信面が違う
「ヤフー」に配信したクリエイティブと、「グノシー」に配信したクリエイティブを比較検証した

可能な限り、同じ条件で実施できるよう、予め計画を立ててA/Bテストを実施しましょう。

A-b Testing Icons Set

■A/Bテストの注意点2:「検証要素」を明確にしていますか?

A/Bテストの実施にあたっては、どの要素が効果的だったのかを検証するために、事前に検証要素を明確にする必要があります。

よくある失敗例として、下記のようなケースが挙げられます。

例:CVR改善を目的に、2方向のクリエイティブを制作・配信をした。
結果は、Aの方がCVRがよいというものであったが、「キャッチコピー」「画像」「レイアウト」が
どれも違うため、結局、何が結果に影響を与えたのかがわからない・・・。

上記のような事態に陥らないよう、まずは今回のテストで何を検証するのかを明確にしましょう。そのためには、検証要素を絞り込み、それ以外の要素は全て揃えることが必要です。例えば、A/Bテスト用のクリエイティブを作る際、「コピー」を変えると、ついそのコピーに合うような「画像」を持ってきて、「デザイン」も変えてしまうということをしがちですが、これはNG。
「キャッチコピー」だけを変える、「画像」だけを変える、というようにして、検証要素を絞り込まないと、正しい検証はできません。検証の目的をハッキリした上で、クリエイティブ設計・制作をしていくことが大切なのです。

Set of templates with chicken for web design 2

■A/Bテストの注意点3:検証要素の「メリハリ」をつけていますか?

A/Bテスト実施にあたって、AとBのクリエイティブの差(違い)を明確にすることが大切です。クリエイティブにメリハリをつけないと、同じような結果が出てしまい、検証する意味がなくなってしまいます。

例:「ネットで完結!安心ローン」というキャッチコピーと、「ネットで完了!安心ローン」という
キャッチコピーで比較検証したが、ほとんど結果が同じであった。

「完結」という言葉と「完了」という言葉はほぼ同意です。もし、コピーを変えることで検証を行うなら、言葉じりだけを変えるのでなく、伝えたいことそのものや、ターゲット設定を変更した言い回しにするなど、文章の違いを明確にしたもので行うのが適切です。他にも、デザイン上のテストをする際には、使用色を寒色と暖色で比べるなど、メリハリの効いた検証を行うようにしましょう。

Accessing The Support Of Many Workers In The Cloud

■A/Bテストの注意点4:「クリエイティブ本数」は適切ですか?

A/Bテストの実施をするにあたって、事前にクリエイティブ本数を設計することは重要です。よくある失敗例として、下記のようなケースが挙げられます。

例)CVRの改善を目的として、たくさんのクリエイティブを作って制作・配信を実施。
しかし、各クリエイティブで計測することができたコンバージョン数は全て一桁で、
比較検証に耐えうるサンプル数になっていない。

運用型広告であれば、期間を延長する、途中でクリエイティブ本数を減らすなどの対策を打つことができますが、Imp保証型の純広告は、予め期間・配信量が決まっているため、クリエイティブ本数の設定を間違えてしまうと、テストが成立しなくなりますので、気を付けましょう。
どうでしたか?あなたがこれまで行ったA/Bテストは、上記の注意点を押さえていたでしょうか?できていなかった人は、上記の注意点を考慮したA/Bテストを実施していくことで、勝ちパターンを見つけることができるはずです。ぜひ、上手に活用してください。

入門書 通信販売事業の成功に向けて ダウンロードはこちらから

ライタープロフィール

エリアシ編集部

秋山 亮

電通西日本岡山支社。デジタル&ダイレクト推進部。オフライン・オンライン領域における、コミュニケーションプラン・効果検証に関する業務を担当し、現在では、デジタルダイレクト領域を中心とした業務を主に担当。岡山県出身。学生時代は、温泉部の主将を務める。

  • ※このコラムは執筆者の個人的見解であり、株式会社電通西日本の公式見解を示すものではありません。
  • ※このサイトに記載されている社名・商品名・サービス名等は、それぞれの各社商標または登録商標です。
入門書 通信販売事業の成功に向けて ダウンロードはこちらから
エリアシ編集部のクチコミ分析サービス

メールマガジン登録