ボストン「eMetrics Summit」で学んだA/Bテストの本質

——　1回目はサンフランシスコ、2回目はシアトルでの海外研修を経験されたわけですが、3回目はどちらに？

前田　3回目はボストンです。上司にお願いして許可が出たので行くことができました。

——　IT企業が多い場所というと西海岸のイメージがありますが。

前田　たしかにITといえばシリコンバレーをはじめとする西海岸の印象が強いのですが、実はボストンにもITベンチャーはたくさんあります。「Route 128」と呼ばれたエリアがあって80年代ぐらいまではスタートアップの聖地だったようです。今はシリコンバレーに大きく水をあけられていますが、ここ最近勢いを取り戻してきているようです。周囲からも「サンフランシスコはアメリカでも特殊だ」と聞かされていましたし、少し違う視点を求めてボストンを選びました。
もっとも、東西で雰囲気は違いますね。西海岸のようにBtoCで急成長という感じではなく、東海岸はBtoB中心で事業も固め。大企業をやめた人が明確なビジネスプランをもって起業していて、最初から顧客を抱えているケースも多いようです。

——　ボストンではどんな研修を？

前田　ビジネス寄りの話を聞くために、DAAというデジタルアナリティクスの業界団体が主催する「eMetrics Summit」というイベントに参加しました。
このカンファレンスは複数の企業が協賛しており、サンフランシスコやロンドン、シンガポールなど世界中の都市でも年に4、5回ほど開催されています。その中で、あえてサンフランシスコではなくボストンを選びました。

——　どんなカンファレンスですか？

前田　アクセス解析やマーケティングオートメーションツールなどをどんなふうにマネジメントしていくかという内容です。参加者も年齢層が高めで、私より年上の人もいましたね。
「eMetrics Summit」の特徴はベンダーではなく、ユーザーがメインのカンファレンスだということ。ベンダー批判も出ますし、辛辣な意見も飛び交います。
組織マネジメントの観点でかなり参考になる話が聞けました。

——　前田さんはどんな立場で参加されたのですか？

前田　私はピュアエンジニアではなく、新しい技術をどう組み合わせてビジネスに生かしていくかを考え、仕掛ける仕事をしています。ですから、カンファレンスにもデジタルマーケターという立場で参加しました。

——　具体的にはどんな学びがありましたか？

前田　たとえばA/Bテストの話は印象的でしたね。
A/Bテストとは、たとえばトップページのボタンが赤と緑ならどちらがクリックされやすいのか、というような検証を実際にテストして行うやり方です。スプリットランとも呼ばれます。
日本でもA/Bテストは盛んですし、弊社でも積極的に取り組んでいるのですが、実はA/Bテストの推進にはアンチパターンがあるのです。

——　それはなんでしょうか？

前田　テスト本数や勝率だけを追い求めるA/Bテストチームは段々と疲弊してくる、という問題です。
初期段階は課題も多く、結果も出やすいかもしれませんが、段階が進めばどんどんテストネタに苦しみ、テストの余地、改善インパクト、勝率も少なくなっていきます。
なのに周囲はテスト本数や勝率を追い求める傾向がありますから、A/Bテストチームが疲弊してくる、という問題です。

——　米国ではすでにその問題が出てきている？

前田　そうです。そして既に克服している企業もあります。セッションでは「いつまでもボタンの色のテストばかりやってられない」と語られていました。
カンファレンスでその話を聞いたのですが、帰国してから私自身がまさにそのパターンに陥ってしまったのです。実際にやってみて、なるほど、こういうことかと思いました。

——　その問題を米国の事例ではどのように解消したのですか？

前田　カンファレンスでは、これまで様々な企業でA/Bテストを担当してきたという方のプレゼンを聞くことができました。
その人によると、A/Bテストとは名前の通りテストであり、実験である。勝つか負けるかではなく、テストの結果、どんな仮説が検証されたのか、そのナレッジ蓄積と継続的なチャレンジが何より大切だ、ということでした。たとえば、ユーザーに商品の内容が伝わっていないのではないか、この流入経路からきたユーザーには〇〇を訴求しないとコンバージョンしないのではないか、などの仮説が検証されるだけで価値があるというんですね。重要なのはその"価値"を社内に伝搬することです。
その人は、A/Bテストに入る前に、他部署の人たちにゲーム形式でテスト結果を予想させているのだそうです。開発やデザイナーだけでなく、マネージャーや幹部、営業も。時にはコールセンターの担当が仮説立案に関与することもあるそうです。そして1年たって様々なテストの結果が出たところで、予想結果の上位ランキングを発表。意外と営業担当者が成績よかったりするとか。

——　社内の理解が得られないと、どうしても結果を出すことに一生懸命になって本数至上主義に陥ってしまう。そうならないために、社内にA/Bテストで何を検証しているのかをしっかり浸透させるのが大切ということですね。

前田　普段、組織が分かれてしまっていると、うちのA/Bテストチームはなかなか結果を出さないな、なんて思われてしまいますからね（笑）。
組織的な理解と積極的な関与を得ることが重要です。

——　米国はすでに次のフェーズに進んでいる感じがありますね。

前田　そうですね。一段違うところにいるなと感じます。その人も疲弊パターンに何度かはまったそうで、失敗の経験値が違う感じでした。
他の参加者からの、広く他部署に仮説とか出させると収拾がつかないのではないか、という質問がありました。それに対して、最初はそう思っていたが、仮説も結果予想も、視点が豊富な方が最終的には効果が高かった、プロダクトやUXの改善は全部署が関与すべき、A/Bテスト担当は他部署をまたいだ"仮説出し会議"のファシリテーションスキルを上げる必要がある、というように回答してました。
そこまでやってるのか、と脱帽でしたね。
もちろんその事例でも最終的にはテストの勝率も改善インパクトもしっかり見ているし、コミットもしているのですが、プロセスやテストの意義、組織全体の意識、みたいな部分が成熟してると感じました。

日米のミートアップの雰囲気はまったく違う

——　ボストンでは他にどんな研修を？

前田　研修というか、カンファレンス後にいろいろなミートアップに参加しました。私は、こうした海外研修では、空いた時間で必ず現地のミートアップに参加するようにしています。
飛び込みで入ることもありますが、だいたい行く前にWebサイトでいくつか見繕っておきますね。

——　米国のミートアップは日本とは違いますか？

前田　雰囲気はかなり違いますね。日本のミートアップは、誰かが発表しても「いいね！」みたいな空気なんですよ。質問はありますかと言っても、あまり手を挙げない。内容にもよりますが。
米国は技術的な各論について意見がバンバン飛び交いますし、辛辣なツッコミも入ります。ディベートに近い雰囲気ですね。

——　これまでに、どんな内容のミートアップに参加されたのでしょう。

前田　仕事関係が多いのですが、面白かったミートアップとしては「サンフランシスコの水不足を解消する」というミートアップがありました。

——　サンフランシスコの水不足……？

前田　うっかり間違えて参加してしまったんです（笑）。でも、それはそれで面白かったですね。
たとえば、芝生に水をまくスプリンクラーをテクノロジーでもっとインテリジェントにしたい、みたいな話が出てくるんです。
「お前はどう思う？」って聞かれて答えに詰まってしまいました。そもそもスプリンクラーにそんな思い入れ無いですし（笑）　そういうミートアップに突撃するのも海外研修の醍醐味だと思います。

——　そうはいっても、英語力が不安でなかなか参加できない人もいそうですね。

前田　私も英語力は自信ないのですが、大丈夫ですよ。
ディスカッション系のミートアップだと英語力が必要とされるので、事前に内容は調べておくほうがいいとは思いますが。それよりも、現地でいろいろな人と出会えるのが楽しいです。
ただ、会場で隣の人に話しかけるのって、シャイな日本人にはなかなか難しいですよね。

——　たしかに。何かコツはありますか？

前田　これ、私の秘策なんですが、大きなモバイルバッテリーを持っていって机の上に置いておくんです。そうすると、隣の人に「それは会場の備品なの？」とか聞かれるので、話の糸口が生まれるんですよ。「違うよ、自分のなんだ」「そうなんだ、借りてもいい？」「もちろん！」みたいな感じでね。
ちょっとセコいやり方かもしれませんが、今までかなりのヒット率です（笑）。

——　とても参考になります（笑）。そういうカンファレンスには他に日本人はいないのですか？

前田　カンファレンスによりますね。Tableauカンファレンスだと20～30人規模で日本人がいるのですが、ボストンの「eMetrics Summit」は私ひとりでした。
やはり日本人が参加するのは、サンフランシスコの方なんですよね。
ただ、人数が多いとどうしても聴講メインになってしまいます。それもあって、私はあえてボストンを選びました。少人数なら円卓を囲んでディスカッションなんかもできますからね。

——　何度も米国に研修で行かれていますが、米国の雰囲気はどうですか？　食べ物なんかは日本とかなり違うと思いますが。

前田　それはやっぱり違いますね。でも私はもともとあっち系の食べ物が好きなので嫌ではないですね。量は多いですけど。
カンファレンスは食事がついているケースが多いので参加者とのコミュニケーションの絶好の機会です。英語話すだけでいっぱいいっぱいなんで何を食べたか覚えてないですが（笑）

ビーコンにUber、自分の身で経験したからこそわかること

——　他に米国で印象深かった場所はありますか？

前田　米国には日本でいう家電量販店がないのですが、必ずデジタル系の製品を売っているお店は見に行くようにしていますね、ガジェット好きなんで。それから百貨店にも必ず足を運びます。
前回はマーケティング手法を見ようと思って、有名百貨店に行ったんです。そこでビーコン施策をやっていると聞いたので楽しみにしていたのですが、行ってみたら、まずお客さんがいない（笑）。
ビーコンの前に集客施策が求められているんじゃないかと思ってしまいましたね（笑）　先ほどもビーコンはそこまで盛り上がっていないという話をしましたが、やはり現地に行って冷静な目で見ないといけないなと思いましたね。

——　日米の事情の違いは実際に体験してこそですよね。

前田　体験といえば配車サービスのUberも使ってみました。
タクシーだと、日本人だとわかった瞬間、ぼったくられたりするんですよ。シアトルに行ったときは、タクシーのメーターを止めて「特別料金だ」と言うわけです。もうメーターを止めている時点で怪しいじゃないですか（笑）。
その点、Uberなら事前に概算コストを見積もりもできるし安心ですよね。外国からの来訪者に対する安心感の提供、おもてなしの一種ですね。日本だと当たり前ですけど。
ただ、米国でも州やエリアによって規制がかかっていたりして、必ずしもUberが全地域に浸透しているわけではないんで注意が必要です。

——　面白いですね。ところで、前田さんは近々にまた米国へ発たれるそうですが、今回はどちらに？

前田　ラスベガスで開催されるTableauカンファレンスに参加する予定です。

——　今回はどんな成果を持ち帰りたいと思っていますか？

前田　自分の中では3つのテーマを設定しています。
一つは事例をしっかり聞いてくること。もう一つは、一緒に行った日本企業の方とコミュニケーションして、つながりを大事にしていきたいということ。そして、このTech Blogを含めて、学んだ内容をアウトプットすることです。
もう、取材するくらいのつもりで、写真も文章もちゃんとアウトプットできるレベルのものを持ち帰りたいと思っています！

——　ありがとうございました！