誰でも簡単にA/Bテストが作れるOptimizelyを実際に使ってみた


こんにちは、ShareWisの辻川です。

「ユーザーの反応を見ながら、小さな改善を繰り返そうぜ!」
スタートアップにとっては、とっても大切な教訓です。

今日はそんな「小さな改善」を実施する手法の一つ、A/Bテストについて書きたいと思います。

A/Bテストとは読んで字のごとく、AとBの2種類のページを準備して(実際は3種類でも4種類でもいいですが)、ユーザーをランダムにAとBのページに振り分け、どちらのページがクリック率やコンバージョン率などの成績がいいのをテストするものです。

すごくシンプルなテストに見えますが、実際にテスト環境を作ろうとすると、ページの準備、ユーザーの振り分け、結果の集計など、めんどくさいことずくめ。

しかし、世の中には便利なツールがあるもので、今日紹介するOptimizelyを使えば、誰でも簡単にA/Bテストを実施することができます。



Optimizelyに登録後、発行される<script>タグをテストしたいページの<head>内にコピペするだけで、準備はOKです。

OptimizelyからテストしたいページのURLを入力すると、早速テスト用のページを編集することができます。
そしてこの、ページ編集機能がOptimizelyのすごいところ。
HTMLやCSSの知識は必要なく、プレゼンテーション資料を作るように、文章を編集したり、画像サイズを変更したりできます。

ブログ感覚でテキストを編集

 

画像サイズの編集も直感的に操作

編集が終わったら、後はゴールを設定し(どこをクリックされた回数を測定したいか指定する)、スタートを押せば、自動的にそれぞれのページにユーザーを振り分けてくれます。




では、実際にShareWisで実行したテストの結果を報告したいと思います。

今回テストを実行したのは下のTopページ
AとBの違いが分かりますか?


Topページの下にサービスの特徴を説明する文章を3つ掲載してるのですが、Bでは、1番目と3番目の順番を入れ替えています。



実は、サービスをリリースする前のユーザーテストで、サービスのどこに魅力を感じるかを友人・知り合いに聞いてみたところ、多くの人が「学習コンテンツの時間が短いところ」を挙げられました。

なので、A(オリジナル)では、「超気軽なサクサク学習!」を1番目に掲載していたのですが、サービスリリース後、実際にアクティブにShareWisを利用していただいているユーザーに、サービスの魅力を聞いたところ、「学習コンテンツの時間が短いところ」ではなく、「学習結果が地図上に記録されていくところ」を挙げられる方が多くいました。

もしかすると「学習結果が地図上に記録されていくところ」を前面に押し出した方がいいんじゃないか?と考え、Bのページでは「あなたの学びが目で見える!」を1番目に掲載してみました。

ゴールには「今すぐ始める」と書かれた登録ボタンのクリックを指定し、クリック率を計測した結果が以下です。



テスト開始直後は、結果が乱れますが、テスト回数が増えるにつれ安定していきます。

結果は、
A(サクサク) がクリック率58.1%(±7.1%) に対し、
B(目で見える)がクリック率63.0%(±6.4%)
改善率8.5%と、Bのページでクリック率の改善が見られました。

ということで、現在のページではBを採用しています。

注意点を一つ。

実は上記のテスト結果を得た後、テスト人数増やせば統計的な有意性を上がんじゃね?と、テストを走らせ続けていたのですが、Optimizelyではテストするユーザー数が増えると、料金プランが高くなってしまいます

1番安いプランだと、月額$19で2,000人までテスト可能、その後は1,000人追加ごとに$9追加の費用が発生します。

テストを走らせているとご丁寧にもOptimizelyからメールが来て、
「このままだと2,000人超えて追加の費用いるよ」
と注意喚起してくれたので、すぐにテストを止めることができました。

ですので、あまりお金をかけずにテストを実行したい場合、統計的にある程度有意な結果が得られたら(Optimizelyでは100コンバージョン/作成したページ、で統計的にある程度の有意性が確保されると説明しています)テストを止め、別のテスト開始する、というのが賢い使い方のようです。

初めの1ヶ月は無料なので、みなさんもOptimizelyを使ってA/Bテストをやってみて下さい!

(辻川)


スタッフ募集中!

株式会社シェアウィズの求人ページ


学習を冒険に変える無料学習サービスShareWis

わたし達は「知識の地図」を使ったShareWisという学習サイト及びアプリを運営しています。

Facebookページもよろしくお願いします

FacebookページではShareWisの機能・コンテンツの追加情報、学習に関するためになる情報を配信しています。



RSSとTwitterで便利に更新情報を購読できます

最新情報をRSS、Twitterで配信しています。フォローしていただけると大変便利です。
 RSSリーダーで購読する