InSightを解説：インクリメンタリティテストで予算の意思決定に統計的な明確性を

パフォーマンスマーケティングや予算配分、キャンペーン最適化の意思決定は、単一の指標だけで決まるものではありません。アトリビューションはコンバージョンにつながったアトリビューションソースを特定します。これを補完するインクリメンタリティは、想定したベースラインと実際の成果を比較することで、マーケティング施策の変更がどれだけの累積効果を生みだすのかを推定します。両者を組み合わせれば、計測とコーザルインパクト（Causal Impact）を結び付けることができます。

アプリマーケターや広告主の間で計測手法としてのインクリメンタリティテストの重要性が高まっていたことから、2024年にAdjustはRecommend製品群の一部としてInSightをリリースしました。InSightは、機械学習とAIを活用することで従来のインクリメンタリティ計測手法をさらに発展させ、データに基づいたROI重視の意思決定を支援します。

ユーザージャーニーのマルチチャネル化が進み、複雑さが増す環境において、信頼性の高いインクリメンタリティテストが必要となるのは明らかです。この記事ではInSightの仕組みを紹介するとともに、予算の追加による大きな効果やオーガニックカニバリゼーションがテストによってどのように可視化されるのかを解説します。

インクリメンタリティは概念として語られることが多いですが、実用においては、実際の予算変更について評価し、計測可能な影響をもたらされるかどうかを判断することを指します。これは、特定のパートナーへの予算を増やした場合や、ある週の投資利益率（ROI）と翌週のROIがどのように変化するのかを分析するなど、キャンペーンの実施タイミングの決定に使用します。

キャンペーン予算を増やしたり、新しいキャンペーンを開始したりすると、通常はパフォーマンスに変化が生じますが、その変化が新たに成長によるものなのか、それとも既存の需要によるものなのかを見極める必要があります。InSightはこの影響を切り分け、95%信頼区間を用いて可視化することで、不要な情報とシグナルを区別できるようにします。

ここで重要になるのが統計的有意性です。増分率は効果の大きさを示し、有意性はその結果の信頼性を示します。これらのデータを基に、テスト結果がキャンペーン拡大に値するものなのか、それともさらなるテストが必要なのかを判断できます。

Adjustは、米国におけるiOSとAndroidのInSightのテスト結果をもとにベンチマークを作成しました。その結果は、予算変更の際になぜ統計的検証が重要となるのかを浮き彫りにするものでした。

分析によると、iOSでは主要プラットフォームにおける予算増加の約3分の1で、統計的に有意なインクリメンタルリフト（増分効果）が確認されました。また、その他の主要ネットワークの約5分の1で同様の結果が見られました。広告費用を増やした後はリフトが頻発しますが、統計的に有意なリフトはより局所的に発生します。

一方、Androidでは別の傾向も確認されています。予算を増加した後、複数のプラットフォームで統計的に有意なオーガニックカニバリゼーションが一定の割合で発生しました。一部のケースでは、増加した予算の約4分の1が有意なカニバリゼーションを引き起こしていました。

データが本当に価値を持つのは、意思決定につながるときです。そのためInSightは、リフトやカニバリゼーションをモデリングするだけにとどまらず、統計結果を実務で活用できる形に変換します。

最近アップデートされた結果と推奨画面は、パフォーマンスチームの実際のワークフローを反映しています。テスト結果を開いたら、まず主要な指標を確認します。インクリメンタリティ率、統計的有意性、そして平均絶対パーセント誤差（MAPE）などのモデル精度指標により、結果が安定していて実用的かどうかをすぐに判断できます。

この総合画面でわかるのは、「この結果は、実行に移せるほど十分信頼できるか？」というシンプルな質問への答えです。

その後、詳細なデータ表を確認します。ここでは、予算の変更、入札戦略の調整、パートナー構成の見直しに影響する詳細な内訳を見ることができます。統計的有意性は、単なる傾向と理にかなった行動を分けるしきい値となります。

予算変更を頻繁に行う場合は、この仕組みによって分析から実行までの時間が大きく短縮されます。

InSightは単独で機能するツールではありません。Adjustの幅広い製品スイートと連携し、広告費用の計測、レポート作成の一元化、パフォーマンスシグナルのモニタリングを、すべて一つの環境で行えるようにします。

これにより、インクリメンタリティテストはアトリビューションと競合するものではなく、互いを補完する関係として機能します。アトリビューションはチャネルレベルの可視性を提供し、InSightは因果的な貢献度を検証します。計測分析の一部として両方を活用することで、より確信を持って意思決定を行い、スケールすることができます。

Adjustを使用したアプリビジネスの成長については、今すぐ無料で登録するか、 デモにお申し込みいただき詳細をご確認ください。