課題
現在設置しているレコメンドアルゴリズムが適切かどうか判断ができない。
解決策
アルゴリズムのA/Bテストを実施することで、適切かどうかを判断することができます。
アルゴリズムのA/Bテストとは、同じ表示位置、同じ表示回数といった同条件でどちらのレコメンドアルゴリズムが、より効果的か検証する機能です。
検証を行うことで、レコメンドの表示枠毎に効果が高いアルゴリズムを見つけることができます。
アルゴリズムA/Bテストの概要
同じ枠内、同じ表示内容で異なるアルゴリズム条件を比較
アパレル通販様のA/Bテスト事例をご紹介します。
通常、商品詳細ページではアイテムに合わせたレコメンドが有効です。
しかし今回の企業様の場合、商品詳細ページでレコメンド枠とは別に関連商品を表示していたため、閲覧ベースのレコメンドを出してしまうと別々の枠で同じような商品が並んでしまい、結果レコメンドの効果が思うように上がらず頭打ちとなっていました。
そこで効果の高いアルゴリズムを把握するため、「パーソナルレコメンド」と「閲覧レコメンド」を均等配信して、アルゴリズムのA/Bテストを実施しました。
その結果、閲覧レコメンドのクリック率7.8%、CV率3.2%に対して、パーソナルレコメンドのクリック率が12.3%、CV率が5%と高い結果が出ました。
これにより、該当のレコメンド枠では似たような関連商品が並んでしまう閲覧レコメンドより、人に合わせたパーソナルレコメンドの方が高い効果がでることが分かりました。
アルゴリズムA/Bテストの事例
商品詳細ページでアルゴリズムのA/Bテストを実施
