Proofseal

マーケティングチームのための効果検証ツール

その広告効果の数字で、予算を決めて大丈夫ですか?

チャネル別の広告費と売上をアップロードすると、Proofseal が数字の背後にあるデータと手法を確認し、エビデンスがどこまで支持しているかを理由とともに示します。

リサーチプレビュー期間は無料・クレジットカード不要

01用意するもの

  • チャネル別の週次広告費
  • 週次の売上・注文・コンバージョン
  • GA4・Google スプレッドシート・BigQuery の接続や、広告プラットフォームのレポートの取り込みにも対応
  • 指名検索数などの需要シグナル(任意)
  • 地域別データ(任意、地域別実験に使用)

Proofseal がすること

  • データが問いに答えられるかを確認
  • チャネルごとの効果とその範囲を推定
  • データ条件が近いシミュレーションデータで、モデルの精度を確かめる
  • あらかじめ定めたルールで判定
  • 地域別実験を分析:広告を止めた・増やした地域を、変えなかった地域と比較

03受け取るもの

  • 判定(支持されている、条件付きで支持、追加の証拠が必要 など)
  • 判定の理由と制約
  • 次にどのデータを足すと最も役立つか
  • 上司やクライアントに共有できるレポート
  • 地域実験による効果の推定値。モデルの推定と照らし合わせられます

プログラミングは不要。各ステップにわかりやすい説明が付きます。

例:ROAS 4.2 のチャネル例

手元の数字

ROAS 4.2

広告プラットフォームのレポートでは、このチャネルは 1 円の広告費で 4.2 円の売上を生んだことになっています。

Proofseal がまず確かめること

  • データは何週分?パターンが見えるほどある?
  • 各チャネルの費用に、学習できるだけの増減があるか?
  • 費用が需要の増減に連動していないか?連動していると、需要による売上を広告の成果と見なしやすくなります。
  • 条件が近く答えが分かっているシミュレーションデータで、モデルの範囲はどれくらい答えを含むか?
  • このチャネルはいつも他と一緒に増額されて、貢献を分けられない?

受け取る判定

条件付きで支持

4.2 はプラットフォームが独自のルールで計算したアトリビューションの数字で、広告によって増えた売上と同じとは限りません。データの週数は足りていますが、このチャネルは Google と一緒に増額されることが多く、それぞれの効果を切り分けられません。判定は小幅な調整のみを支持し、次に補うとよい証拠として地域実験を挙げます。

判定はこんな形

どの判定にも、理由・制約・次に何を補うと最も役立つかが書かれます。

支持されている

確認したデータ・手法・前提のもとで、証拠がこの結論を支持しています。

例:「全体のマーケティングリターンは年間計画に使える」。条件の近いシミュレーションデータで、モデルの9割の範囲が既知の答えを含んだのは84%。ルール v0.1.0 の暫定しきい値は70%です。

条件付きで支持

おおむね支持されていますが、注意点がいくつかあり、判定に一つずつ書かれます。

例:「モデルの証拠は、10% 以内の小幅な予算調整を裏付けるのに十分である」。方向は支持されていますが、2つのチャネルが常に一緒に増額されていて、それぞれの効果を切り分けられません。判定はこれを制約として示します。

追加の証拠が必要

結論を出すにはまだエビデンスが足りません。何が欠けていて、どれを補うと最も役立つかを示します。

例:「予算配分を大きく変える」。モデルのエビデンスではそこまでの変更を支えられず、地域別の実験を一度行うのが最も有効です。

どんなときに役立つ?

広告予算を見直す前に

増額・減額やチャネル間の予算移動の前に、手元の数字がその判断を支えられるかを確認します。

クライアントや上司に成果を説明するとき

代理店・コンサルタント・社内チームが成果を報告するときに、判定と理由を添えられます。データは足りているか、このデータ条件でモデルは正確かを示し、数字に根拠を持たせます。

数字を会議に持ち込む前に

上司やクライアントに提案する前に、その数字の根拠と、まだ不確かな点を整理します。

データの更新や市場の変化のあとに

新しい四半期のデータが入ったら、もう一度チェックし、以前の結論がまだ成り立つかを確かめます。

AI に直接聞くのと何が違う?

AI の回答は聞くたびに変わることがあり、根拠も説明しにくいものです。Proofseal は決まった手順と明文化したルールを使い、同じ証拠に同じ版のルールを当てれば、毎回同じ判定になります。

  • 毎回同じ手順

    同じ種類の問いは同じデータ形式と同じチェックを通るので、聞き方で結果は変わりません。

  • 使った手法を明記

    判定ごとに、どのモデルとどの版のルールを使ったかを記録し、あとから確認できます。

  • すべての判定に理由

    判定が依拠した数字と制約は、判定のすぐそばに書かれます。

  • データ更新後に再実行

    新しいデータで再実行し、前回との違いを直接比べられます。

AI はレポートを読んだり考えを整理したりするのに向いています。予算を決める判定には、すべてのステップを他の人が確認できることが必要です。

実際のチェックの流れ

5 つのステップ。それぞれの内容が記録に残ります。

  1. 1

    データチェック

    まずデータが足りるかを確認します。何週分あるか、欠けている週はどこか、各チャネルの費用に増減があるか。データが少なすぎると、その後の結果は信頼できません。

  2. 2

    効果の推定

    各チャネルが売上にどれだけ貢献したかを推定します。どの数字にも、点ではなく幅を付けます。

  3. 3

    精度のテスト

    お客様のデータ条件に合わせてシミュレーションデータを作り、各チャネルの答えはこちらで事前に設定します。モデルが9割の確信を示す範囲に、その答えが実際に何割含まれるかを確かめます。

  4. 4

    判定

    あらかじめ書かれたルールでチェック結果を判定に対応させ、理由と制約を明記します。

  5. 5

    記録

    データのバージョン・手法・ルール・判定を保存し、あとで再実行・比較できます。

地域別実験で自分で確かめる

モデルとは別に、いくつかの地域で出稿を止めたり増やしたりして、変えなかった地域と比べることもできます。過去のデータを見るより直接的な測定に近いものの、結果はあくまで推定です。その地域とその期間に限られ、誤差の幅もあります。

1. 計画:適した地域を選ぶ

過去のデータから、テストに向いた地域とそれに最も似た地域を見つけ、この設計で検出できる効果の大きさを見積もります。実験を始める前に、どこまで小さな変化を捉えられるかが分かります。

2. 分析:比較グループと比べる

実験後、変えなかった地域から比較グループを作り、テスト地域がどれだけ動いたか、自然なずれを上回ったかを確かめ、広告費 1 円あたりの効果を求めます。

仮の例:愛知県で Meta 広告を 8 週間止めると、売上が比較グループより約 13% 少なくなりました。広告費を 1 円減らすごとに売上が約 2.3 円減ったという推定です。この推定はプラットフォームの ROAS と照らし合わせられますが、両者は定義も期間も異なります。

方法の出典:合成コントロール法は Abadie、Diamond、Hainmueller が 2010 年に発表した方法で、経済学や政策評価で広く使われています。Google や Meta の地域実験ツールも同系統の方法を採用しています。 文献一覧を見る

地域別の週次データが必要です。登録後、「地域別実験」デモで先に試せます。

無料登録してデモを見る →
テスト期間
テスト地域の実績 比較グループ テスト期間
イメージ:テスト期間中、テスト地域の実際の売上(実線)が比較グループ(破線)を下回ります。2本の線の差が、広告効果の推定値です。

先にお伝えします:Proofseal にできないこと

データが少なければ、無理に答えを出さない

データが 1 年に満たないと、結果の不確かさは大きくなります。その場合の判定はたいてい「追加の証拠が必要」で、見栄えはよくても頼れない数字は出しません。

モデルは実験の代わりにならない

モデルは過去の費用の増減から効果を推定します。実験は実際に出稿を変えて比較するため、別の、通常はより直接的な証拠になります。判定は実験が最も証拠を補強する場面を示し、Proofseal はテスト地域の選定と結果の分析も手伝います。

判定はあなたの代わりに決めない

予算配分は、目標・在庫・販売時期にも左右されます。Proofseal が答えるのは、手元のエビデンスがどこまで支持しているか、です。

手法はまだ改善中

現在はリサーチプレビュー段階で、チェック手法やしきい値は今後も調整されます。調整のたびにバージョンを付け、以前の判定も残します。

Origin

論文から始まったひとつの問い

Proofseal は、Minerva University の Master of Science in Decision Making and Applied Analytics(MDA)での論文研究のために作り始めたプロトタイプが原点です。エビデンスに基づく意思決定、統計モデリング、形式的推論の学び、CloudAD で日々向き合うマーケティング計測、そして plantārium の運営で直面した複雑な意思決定。そのすべてで、同じ問いに繰り返し出会いました。計測結果が算出されたあと、そのエビデンスは実際どこまでを支持しているのか。Proofseal はこの問いから始まっています。

Proofseal のはじまりを読む →

器物の道

統計学が生まれる前から、人はこれらの器物で見えないものを測り、判断の根拠を記録として残してきました。Proofseal は、同じ営みの現代版です。

  1. 1 · データ接続

    岩石コア

    地質学者が掘り出す岩の柱。幾重もの層は、時間そのものが残した記録

  2. 2 · データチェック

    下げ振り

    錘を下げた一本の糸、最古の基準。まっすぐな線があってはじめて、傾きを語れる

  3. 3 · 計測

    圭表

    竿を立てて影を測る。見える影から、見えない太陽の高さを割り出す

  4. 4 · 検証

    渾天儀

    古代天文台の環。モデルを星空に照らし、合わなければ正す

  5. 5 · 判定

    印章

    確かめ、認めてから押される印。結果に責任を持つ者の証

よくある質問

Proofseal とは?+

マーケティングチームのための成果検証ツールです。チャネルごとの週次の広告費と成果をアップロードすると、Proofseal が成果の数字の背後にあるデータと手法を確認し、現在の証拠がどこまで支持しているかを、理由と制約とともに示します。

どんなデータが必要?+

チャネル別の週次広告費と、週次の売上・注文・コンバージョンです。CSV のアップロード、広告プラットフォームのレポートの取り込み、GA4・Google スプレッドシート・BigQuery の接続に対応しています。1 年以上のデータが理想です。

広告プラットフォームのレポートや GA4 と何が違う?+

プラットフォームのレポートや GA4 は、数字がいくつかを教えてくれます。Proofseal は、その背後の証拠が何を支えられるかを確認します。データは足りているか、条件の近いシミュレーションデータでモデルは正確か、そして費用が需要に連動していないか(連動していると、需要による売上を広告の成果と見なしやすくなります)。

判定にはどんな種類がある?+

支持されている、条件付きで支持、支持されていない、追加の証拠が必要、の4つです。どの判定にも理由・制約・次の一手が付きます。データ更新後に判定をやり直すことができ、以前の判定は残るので比較できます。

自分で実験して確かめられる?+

できます。一部の地域で出稿を止めたり増やしたりします。Proofseal がまずテストに向いた地域選びを手伝い、実験後は合成コントロール法でその地域・その期間の効果を推定し、判定を出します。合成コントロール法は Abadie らが 2010 年に発表した手法で、Google や Meta の地域実験ツールも同様の方法を採用しています。

料金は?+

リサーチプレビュー期間は無料です(少なくとも 2026 年 12 月 31 日まで)。クレジットカードは不要です。課金開始の 30 日前までに既存ユーザーにお知らせします。

データは安全?+

データは Google Cloud の台湾リージョンに保存し、通信時・保存時ともに暗号化しています。データの販売や AI の学習への利用はせず、サイトに第三者のトラッキングもありません。

まずは自社のデータで一度試す

リサーチプレビュー期間は無料、クレジットカード不要。登録後にはデモプロジェクトがあり、完成した判定を先に見られます。

無料で始める →