Proofseal

給行銷團隊的成效驗證工具

廣告成效的數字,能不能拿來決定預算?

上傳各渠道的廣告花費與業績,Proofseal 會檢查這些數字背後的資料和方法,告訴你證據支持到哪裡、理由是什麼。

研究預覽期間免費・不需信用卡

01你提供

  • 各渠道每週的廣告花費
  • 每週的業績、訂單或轉換
  • 也能直接連 GA4、Google Sheets、BigQuery,或匯入各廣告平台的報表
  • 品牌搜尋量等需求訊號(選填)
  • 分地區的資料(選填,做分區實驗時用)

Proofseal 會做

  • 檢查資料夠不夠回答你的問題
  • 估算每個渠道的效果和可能範圍
  • 在條件和你的資料相近的模擬資料上,測試模型準不準
  • 照事先寫好的規則給出判定
  • 分析分區實驗:停投或加碼的地區,和沒變動的地區比

03你拿到

  • 一個判定,例如目前有支持、有條件支持,或還需要更多證據
  • 判定的理由和限制
  • 下一步補哪些資料最有幫助
  • 可以分享給主管或客戶的報告
  • 分區實驗得到的效果估計,可以和模型的估計對照

不用寫程式,每一步都有白話說明。

舉個例子:一個 ROAS 4.2 的渠道示例

你手上的數字

ROAS 4.2

廣告平台的報表說,這個渠道每花 1 元,帶回 4.2 元業績。

Proofseal 會先確認

  • 有幾週的資料?夠不夠看出規律?
  • 每個渠道的花費有沒有足夠的高低起伏?
  • 花費是不是總跟著需求起伏?如果是,模型容易把需求帶來的業績算成廣告的功勞。
  • 在條件相近、答案已知的模擬資料上,模型的範圍有多常包含答案?
  • 這個渠道是不是總跟別的渠道一起加碼,功勞分不清?

你會拿到

有條件支持

4.2 是平台依自己的規則算出的歸因數字,不一定等於廣告多帶來的業績。資料週數足夠,但這個渠道總和 Google 一起加碼,各自的功勞分不清。判定只支持小幅調整,並列出下一步可以補的證據:一次分區實驗。

判定長什麼樣子

每個判定都寫出理由、限制,以及下一步補什麼最有幫助。

目前有支持

在已檢查的資料、方法和假設下,證據支持這個結論。

例:「整體行銷回報可用於年度規劃」。在條件相近的模擬資料上,模型九成把握的範圍有 84% 包含已知答案;規則 v0.1.0 的暫定門檻是 70%。

有條件支持

證據大致支持,但有幾件事要一起注意,判定會一條一條列出來。

例:「模型的證據足以支撐 10% 以內的小幅預算調整」。方向有證據支持,但兩個渠道總是一起加碼,各自的功勞分不清,判定會把這點列為限制。

還需要更多證據

現在的證據還不夠下結論。判定會說缺的是什麼,以及補哪一塊最有用。

例:「大幅改變預算分配」。模型的證據撐不起這麼大的動作,先做一次分區實驗最有幫助。

什麼時候用得上?

要調整廣告預算之前

加碼、減碼,或把預算從一個渠道移到另一個之前,先確認手上的數字撐不撐得住這個決定。

要向客戶或主管說明成效時

代理商、顧問或內部團隊交代成效時,附上判定和理由:資料夠不夠、模型在這種資料條件下準不準,讓數字有依據可查。

要把數字帶進會議之前

跟主管或客戶提案前,先把「這個數字憑什麼」和「還有哪些不確定」整理好。

資料更新或市場變了之後

新一季的資料進來,重新檢查一次,看原本的結論還站不站得住。

和直接問 AI 有什麼不同?

AI 每次的回答可能不一樣,也不容易說清楚依據。Proofseal 用固定的步驟和寫好的規則,同一份證據套用同一版規則,每次都得到同樣的判定。

  • 每次走同樣的步驟

    同一類問題,用同樣的資料格式和同一套檢查,不會因為問法不同而改變結果。

  • 用了什麼方法,寫得清楚

    每個判定都記下用了哪個模型、哪一版規則,事後查得到。

  • 每個判定都附上理由

    判定依據了哪些數字、有哪些限制,都寫在判定旁邊。

  • 資料更新後可以重跑

    新資料進來後重跑一次,可以直接比較和上次差在哪裡。

AI 很適合幫你讀報告、整理想法。要拿來決定預算的判定,需要每一步都能讓別人檢查。

實際上怎麼檢查

五個步驟,每一步做了什麼都會留下紀錄。

  1. 1

    資料健檢

    先看資料夠不夠:有幾週、缺了哪幾週、各渠道的花費有沒有高低起伏。資料太少,後面的結果就不可靠。

  2. 2

    估算效果

    估算每個渠道帶來多少業績。每個數字都附上可能的範圍,不只給一個點。

  3. 3

    測試準不準

    依你的資料條件做一批模擬資料,每個渠道的答案由我們預先設定。再看模型說有九成把握的範圍,實際有幾成包含這個答案。

  4. 4

    給出判定

    照事先寫好的規則,把檢查結果對應成判定,並寫出理由和限制。

  5. 5

    留下紀錄

    資料版本、方法、規則和判定都存起來,之後可以重跑、比較。

用分區實驗自己查證

除了看模型,也可以在幾個地區停投或加碼,和沒變動的地區比較。這比只看歷史資料更接近直接測量,但得到的仍是估計:只代表那些地區、那段期間,也帶有誤差範圍。

1. 規劃:挑對地區

用過去的資料,找出最適合測試的地區、和它最像的地區,並估計這個設計至少要多大的效果才測得出來。實驗開始前,就知道它測得出多小的變化。

2. 分析:和對照組比

實驗做完後,從沒變動的地區組合出一個對照組,看測試地區差了多少、有沒有大過自然起伏,再換算每 1 元廣告費的效果。

假設的例子:台中停掉 Meta 廣告 8 週,營收比對照組少了約 13%。換算下來,估計每少花 1 元廣告費,營收約少 2.3 元。這個估計可以和平台報表上的 ROAS 對照,但兩者的定義和期間不同。

方法出處:合成控制法由 Abadie、Diamond、Hainmueller 於 2010 年發表,是經濟學和政策評估常用的方法;Google、Meta 的地區實驗工具也採用同類做法。 看完整文獻

需要分地區的每週資料。註冊後有「分區實驗型」示範可以先看。

免費註冊,看分區實驗示範 →
測試期間
測試地區實際 對照組 測試期間
示意:測試期間,測試地區的實際營收(實線)掉到對照組(虛線)下面,兩條線的差距就是廣告效果的估計。

先說清楚:Proofseal 做不到的事

資料太少,就不硬給答案

資料不到一年時,結果的不確定性很高。這時判定多半會是「還需要更多證據」,不會給你一個好看但靠不住的數字。

模型取代不了實驗

模型是從過去花費的起伏去推估效果。實驗是實際改變投放再比較,能提供另一種、通常更直接的證據。判定會指出什麼時候實驗最能補強證據,Proofseal 也能幫你挑測試地區、分析實驗結果。

判定不替你做決定

預算怎麼分,還要看你的目標、庫存和檔期。Proofseal 回答的是:手上的證據支持到哪裡。

方法還在改進

現在是研究預覽階段,檢查方法和門檻會持續調整。每次調整都會標上版本,舊的判定也會保留。

Origin

一個從論文開始的問題

Proofseal 最初,是我在 Minerva University 決策分析碩士(MDA)論文研究裡開始建立的原型。從證據為本的決策、統計建模、形式化推理,到 CloudAD 每天面對的行銷量測,以及 plantārium 真實營運裡的複雜決策,我反覆碰到同一個問題:一個量測結果被算出來之後,它的證據究竟支持到哪裡?Proofseal 就從這個問題開始。

閱讀 Proofseal 的源起 →

器物的路

在還沒有統計學的年代,人們就用這些器物量看不見的東西,並為結果留下依據。Proofseal 做的,是同一件事的現代版。

  1. 1 · 連接資料

    岩芯

    地質學家鑽取的岩柱:一層一層,是時間自己留下的紀錄

  2. 2 · 資料健檢

    準繩

    一條垂重的線,最古老的基準:先有一條直線,才談得上歪斜

  3. 3 · 量測

    圭表

    立竿量影:古人用看得見的影子,推算看不見的太陽高度

  4. 4 · 驗證

    渾儀

    古代天文台的環儀:拿模型對照星空,不合就修正

  5. 5 · 判定

    印信

    驗過、核可了,才蓋下這方印:有人為這個結果負責

常見問題

Proofseal 是什麼?+

給行銷團隊用的成效驗證工具。上傳各渠道每週的廣告花費和業績,Proofseal 會檢查成效數字背後的資料和方法,說明目前的證據支持到哪裡,並寫出理由與限制。

需要準備什麼資料?+

各渠道每週的廣告花費,以及每週的業績、訂單或轉換。可以上傳 CSV、匯入各廣告平台的報表,或連接 GA4、Google Sheets、BigQuery。資料有一年以上最理想。

和廣告平台的報表、GA4 有什麼不同?+

平台報表和 GA4 告訴你數字是多少。Proofseal 檢查這個數字背後的證據撐得住什麼:資料夠不夠、模型在條件相近的模擬資料上準不準,以及花費是不是總跟著需求起伏(這會讓模型把需求帶來的業績算成廣告的功勞)。

判定有哪幾種?+

目前有支持、有條件支持、目前未獲支持、還需要更多證據。每個判定都附上理由、限制和下一步。資料更新後可以重新判定,舊的判定會保留,前後可以對照。

可以自己做實驗驗證嗎?+

可以。在部分地區停投或加碼,Proofseal 先幫你挑適合測試的地區,實驗結束後用合成控制法估計這些地區、這段期間的效果,並給出判定。分析用的是合成控制法,由 Abadie 等學者於 2010 年發表;Google、Meta 的地區實驗工具也採用同類做法。

要多少錢?+

研究預覽期間免費,至少到 2026 年 12 月 31 日,不需要信用卡。開始收費前,會提前 30 天通知現有使用者。

我的資料安全嗎?+

資料存放在 Google Cloud 台灣機房,傳輸和儲存都加密。我們不出售資料、不用你的資料訓練 AI,網站上也沒有第三方追蹤。

先用自己的資料試一次

研究預覽期間免費,不需要信用卡。註冊後也有一個示範專案,可以先看一份完整的判定。

免費開始使用 →