新規登録はこちら サインイン
適用されるマーケットプレイス: 日本

比較テストの結果

比較テストの結果は、比較テストが終了するまで、週に1回更新されます。比較テストの結果には、良い結果を獲得したコンテンツがより優れている確率と共に、コンテンツの各バージョンが購入者に対して良い効果をもたらすかについて、詳細が表示されます。比較テストのダッシュボードで比較テスト名をクリックすると、比較テストの結果にアクセスできます。

ヒント: 比較テストが終了したら、必ず良い結果を獲得したコンテンツを公開してください。既存のコンテンツを保持する場合は、何も操作を行わないでください。比較テストを行ったコンテンツを公開するには、標準の出品ツール(「商品登録」、「アップロードによる商品登録」など)を使用します。比較テストを行った商品紹介(Aプラス)コンテンツを公開するには、商品紹介(Aプラス)コンテンツの管理を使用します。

結果を分析する

Amazonでは、比較テスト中に収集されたデータに基づいて、各コンテンツを公開した場合に予測される影響の範囲を算出します。結果には、比較テストで登録されたすべてのASINが集計されます。Amazonは、以下のような結果を提供します。


  1. コンテンツの一方のバージョンのほうが優れているという確率。たとえば、バージョンAのほうが優れているという確率が75%である場合、バージョンAの公開によって商品が注目され、売上が向上する効果の可能性が75%であるということです。
  2. コンテンツの各バージョンについて、以下を表示します。 商品数、売上、コンバージョン率、個別の訪問者ごとの販売数、該当のバージョンに付与されたサンプル数。コンバージョン率とは、比較テストにおいてを閲覧し、実際に商品を購入した個別の訪問者の割合です。サンプル数とは、コンテンツの各バージョンを閲覧した個別の訪問者の数です。個別の訪問者ごとの販売数とは、商品数をサンプル数で割ったものです。
  3. 予測される1年間の影響。このセクションは、完了した比較テストについてのみ表示されます。良い結果を獲得したコンテンツのバージョンを公開することにより、来年に予測される商品数と売上増分の見込みが表示されます。高い信頼度を獲得したコンテンツは、予測される影響のほとんどがプラスになります。低い信頼度を獲得コンテンツは、最悪のケースでは影響がマイナスになる可能性があります。これは、比較テスト中にパフォーマンスが悪かったコンテンツでも、時間の経過とともに、実際にはパフォーマンスが向上する可能性があるためです。予測は、比較テスト結果のみに基づいており、その他の要因は考慮されておらず、あくまで情報提供を目的としています。このため、将来の販売パフォーマンスを保証するものではありません。

予測される1年間の影響

1年間の影響を予測するには、良い結果を獲得したコンテンツの1日平均の売上増分を算出し、これに365を掛けます。この予測では、季節性、価格変動、実際のビジネスに影響するその他要因は考慮されません。これはあくまで情報提供を目的としており、利益の増分を保証するものではありません。

可能性が高い列には、計算結果の範囲の中央値(50パーセンタイル)が表示されます。良いケース列と悪いケース列には、これらの結果に対する95%信頼区間が表示されます。

決定的でない結果

比較テストは、決定的でない結果で終わることや、コンテンツのあるバージョンが別のバージョンより優れているということに対する信頼度が低い結果で終わる場合があります。しかし、このような結果も価値があります。

比較テスト結果が決定的でない場合がある理由として、以下のことが考えられます。

  • コンテンツに加えた変更が少なすぎて、購入者の行動に大きな変化が生じなかった
  • コンテンツのあるバージョンが優れているということに対する判断を高い信頼度に基づいて行うには、トラフィックが十分ではなかった
  • 比較テストを行ったコンテンツの2つのバージョンは、販売促進における効果が類似していた
  • コンテンツに加えた変更は、多くの購入者にとって購入を決断する際に関心を持つ内容ではなかった

決定的でない結果を理解しようとする場合は、比較テストの仮説を参考にしてください。たとえば、決定的でない結果が、変更した内容によっては、特定の種類のコンテンツは購入者の行動に影響せず、投資する価値がないことを示す場合があります。または、商品を販売促進する2つの方法が、同様に効果的であることがわかります。以前のテストで学んだ内容を確認するために、追加の比較テストを実施できます。

比較テストの方法論

比較テストの方法論に関するこれらの注記は、Amazonがどのように良い結果を獲得したコンテンツを選択し、影響を予測するかを理解するのに役立ちます。ただし、これは比較テストを実施する上で必須ではありません。

比較テストは個別の購入者アカウントに基づいています。比較テスト中は、コンテンツを閲覧する購入者の各アカウントが比較テストの一部とみなされます。購入者は、いずれかのコンテンツのバージョンを表示するようランダムに割り当てられます。また、デバイスの種類やその他の要因に関係なく、購入者が特定できる限り、比較テスト中は永続的にそのコンテンツが表示されます。購入者を特定できないページへのアクセスは、サンプル数には含まれません。結果の精度を向上させるために、統計的外れ値など、サンプルから特定の種類のデータを自動的に削除する場合があります。

Amazonでは、比較テストの結果を分析するためにベイズ的アプローチを採用しています。つまり、モデルと実際の比較テストの結果に基づいて確率分布を構築します。Amazonでは、平均効果量(商品数の変化に関して)、および事後確率分布の95%信頼区間を報告します。これは、実験開始以降に収集されたすべての実験データに基づいて、比較テスト中に毎週更新されます。良い結果を獲得したコンテンツの処理についての信頼度とは、販売数の影響がプラスであることを示す確率分布の割合です。

1年間の影響を予測するには、比較テスト期間における現時点までの、良い結果を獲得したコンテンツ処理と獲得しなかったコンテンツ処理の1日当たりの売上の平均差を計算し、これに365を掛けます。Amazonでは、事後確率分布に基づいて、影響に関する95%信頼区間を提供します。

サインインすると、ツールおよび個別のヘルプをご利用いただけます(デスクトップブラウザーが必要)。 サインイン


あなたの商品をAmazonのお客様へお届けしませんか

新規登録はこちらから


© 1999-2022, Amazon.com, Inc. or its affiliates