Proofseal はどう検査するか

ひとつの計測の問いがたどる道

どの問いも同じ手順を通ります。各ステップで何をしたか、何に基づいたかは記録に残ります。

1. 1データ週次の費用と成果を取り込み、バージョン付きのデータとして保存する
2. 2チェックモデリングの前に、データがその問いに答えられるか確かめる
3. 3計測チャネルごとの効果を推定し、どの数字にも幅を付ける
4. 4検証正解の分かるシミュレーションデータでモデルを試し、推定がどれだけ正確かを見る
5. 5判定事前に書かれた判定ルールがエビデンスを判定に対応づけ、理由と制約を添える

4 種類の検査

検査は 4 つに分かれます。どれも一つずつ確認できる具体的な問いで、最後に 1 つのスコアにまとめることはしません。

データチェック

何週分のデータがあるか、どの週が欠けているか、費用に増減があるか、どのチャネルが常に一緒に増減するか、どのチャネルが長期間費用ゼロか。データで答えられない問いがあれば、後のステップでそのまま示します。

• 履歴の長さと欠損週
• チャネル別の広告費の変動
• チャネルが一緒に増減するか
• ゼロ出稿期間

モデル診断

モデルを実行した後、まず基本的な数値を確認します。学習に使っていない期間をどれだけ説明できるか、チャネルを区別できるか、範囲を何回計算し直したか、季節の起伏を取り除いたか。それぞれに単位、しきい値、しきい値の出典を付けます。

• 学習に使っていない期間の説明力
• チャネル間の効果を切り分けられるか
• 幅が安定して計算されているか
• 季節の増減を差し引いているか

シミュレーション検証

お客様のデータ条件に近いシミュレーションデータでモデルを再実行します。シミュレーション内の各チャネルの答えはこちらで設定するため、既知です。確認するのは3点です。モデルが90%の確信を示すとき範囲が既知の答えを何割含むか、各チャネルの推定が既知の答えとどれだけずれるか、チャネルの順位が正しいか。どの設定がデータ由来で、どれが前提かは次の節に示します。

• 示した確信度と実際の的中率
• チャネルごとの推定がどれだけずれるか
• チャネルの順位が正しいか
• シミュレーション条件をあなたのデータに合わせる

判定ルール

判定はあらかじめ書かれたルールから作られ、その場で人が決めるものではありません。各ルールにはしきい値の出典を明記し、同じ証拠に同じ版のルールを当てれば必ず同じ判定になります。判定は作成後に変更されず、データやルールが更新されると新しい判定が作られます。

• ルールにバージョン番号（現在 v0.1.0）
• すべてのしきい値が出典を名乗る
• 判定は変更不可
• 再実行は前後を比較できる

シミュレーション検証の設定

シミュレーション検証のデータは、一部をお客様のデータ条件に合わせ、一部をこちらの前提で設定しています。両者を分けて示し、判定欄には毎回実際に使った値も表示します。

そのため、このテストでは分からないこと

• · 広告が実際にどれだけの売上をもたらしたか（実データには既知の答えがない）
• · 上記の前提を外れた状況（持ち越し効果、飽和、販促など）でモデルがどう振る舞うか

現在の判定しきい値（v0.1.0）

データ週数（Meridian のデータに関する推奨にもとづく）とチャネル相関（製品方針）を除き、以下のしきい値は暫定で、まだ研究で検証されていません。研究のシミュレーション結果が出たら新しい版として更新し、判定の見栄えのために調整することはありません。

• · データは26週以上、52週以上を推奨
• · 範囲が既知の答えを含んだ割合：70%以上で「支持されている」の可能性、45%未満で「支持されていない」
• · 既知の答えからの平均のずれ：15%以内で「支持されている」の可能性、40%超で「支持されていない」
• · チャネル比較：順位の一致度0.7以上、かつ最良チャネルを当てた割合75%以上。調整の方向：当てた割合60%以上
• · 2チャネルの費用の相関が0.8以上なら制約として表示

しきい値はどこから来るか

「0.9 を上回ること」のようなしきい値には、すべて出典を付けています。出典は 7 種類です。

文献

公表研究が推奨する値

標準

業界または方法論の標準

モデル開発者の推奨

モデルの開発者自身が書いた使い方の推奨

シミュレーションテスト

正解がわかっているシミュレーションデータで測った値

実証

実データ上の経験値

プロダクトポリシー

プロダクトが明示する保守的なトレードオフ

暫定

まだ十分な根拠がなく、暫定と表示

判定の語彙は固定されている

どの計測の問いも、最後に 1 つの判定になります。判定には次の言葉だけを使い、意味は変わりません。

• 支持されている現在のデータ・手法・前提のもとで、エビデンスはこの結論を支持している
• 条件付きで支持支持はあるが、併せて注意すべき点があり、判定が一つずつ挙げる
• 支持されていない現在のエビデンスはこの結論を支持しておらず、判定が理由を説明する
• 追加の証拠が必要結論を出すにはエビデンスが足りず、判定が何が欠けているか、何を補うのが最も有効かを示す
• 判定が古くなっていますデータや条件が更新され、元の判定はもう当てはまらないため、再検証が必要

地域別実験の判定方法

モデルとは別に、地域実験で広告効果をもう一つ推定できます。Proofseal は合成コントロール法で分析し、判定ルールは現在暫定の v0.1.0 です：

1. 1実験前に最低 8 週のデータと、比較できる変更なしの地域が最低 3 つ必要です。満たさない場合は「追加の証拠が必要」です。
2. 2実験前、比較グループとテスト地域の差が平均 10% 以内のときに結果を採用し、5% 以内なら精度が高いとみなします。
3. 3テスト地域の差がすべての変更なし地域の自然なずれを上回り、比較できる地域が 9 以上あるとき「支持されている」と判定します。地域が少ない場合は最大で「条件付きで支持」です。

元の論文との違い：各地域を実験前の平均値で割ってから比較グループを作るため、規模が大きく異なる地域どうしでも比べられます。元の論文は元の数値のまま組み合わせます。この調整により、結果は金額ではなく「何 % 変化したか」で読むことになります。

判定をやり直すべきとき

判定は、作成時のデータのバージョン、手法のバージョン、検査条件を記録しています。データの更新、市場の変化、判定ルールの改訂があると、元の判定は当てはまらなくなることがあります。

データ更新後は、判定欄に「この判定は以前のデータに基づく」と表示されます。「判定をやり直す」で新しい判定が作られ、以前の判定も残るので比較できます。以前の判定を自動で「判定が古くなっています」とする機能は開発中です。

方法の出典と参考文献

Proofseal の手法は公表された研究にもとづいています。判定のしきい値と一部の調整はこちらで定めたもので、現在は暫定としています。主な文献と、Proofseal の中でそれぞれをどこに使っているかを以下に示します。

1. Abadie, A., Diamond, A., & Hainmueller, J. (2010). Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program. Journal of the American Statistical Association, 105(490).↗

   使いどころ：地域別実験の分析方法（合成コントロール法）とプラシーボ検定

2. Abadie, A. (2021). Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects. Journal of Economic Literature, 59(2).↗

   使いどころ：合成コントロール法を使う条件とデータ要件

3. Vaver, J., & Koehler, J. (2011). Measuring Ad Effectiveness Using Geo Experiments. Google Inc.↗

   使いどころ：広告の地域実験の設計と分析

4. Ben-Michael, E., Feller, A., & Rothstein, J. (2021). The Augmented Synthetic Control Method. Journal of the American Statistical Association, 116(536).↗

   使いどころ：合成コントロール法の拡張で、GeoLift が採用している方法

5. Meta Open Source. GeoLift: an end-to-end solution for geo experiments (R package).↗

   使いどころ：地域実験の計画（地域の選定、検出できる効果の見積もり）

6. Jin, Y., Wang, Y., Sun, Y., Chan, D., & Koehler, J. (2017). Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects. Google Inc.↗

   使いどころ：マーケティング・ミックス・モデルのベイズ手法で、Meridian の土台

7. Google. Meridian: an open-source marketing mix modeling framework.↗

   使いどころ：計測に使うモデルの一つ

8. Morris, T. P., White, I. R., & Crowther, M. J. (2019). Using simulation studies to evaluate statistical methods. Statistics in Medicine, 38(11).↗

   使いどころ：正解がわかっているシミュレーションで統計手法を検証する枠組み（ADEMP）。モデル検証の根拠

リンク先はすべて学術誌や発行元の公式ページです。全文の閲覧に購読が必要な学術誌もありますが、大学や企業の図書館から無料で読めることが多いです。これらの文献は方法の出典を示すもので、著者や Google、Meta が Proofseal を推奨しているという意味ではありません。

オープンソースへの感謝

Proofseal は、公開された研究とオープンソースのプロジェクトに支えられています。計測には Google の Meridian を使い、地域別実験の計画は Meta の GeoLift を参考にしています。システム自体も Next.js、NestJS、FastAPI、NumPy、PostgreSQL などのオープンソースの上に作られています。成果を公開してくださっている皆さんに感謝します。