Proofseal 從一個問題開始

從學習開始，重新看待「答案」

MDA 的學習讓我開始把一個分析結果拆開來看。在 evidence-based decision making 裡，我開始更有意識地區分：

我們觀察到了什麼，和這些證據實際能支持什麼。

在 statistical modeling 裡，答案不再只是一個係數、一個信賴區間或一個漂亮的結果，而是連同資料、變數、假設與不確定性一起存在。到了 formal reasoning 與 scientific inquiry，我又開始練習把判斷背後的條件與推理攤開來。

這些課留給我的，是一個很基本的習慣：

知道我們知道什麼、為什麼知道，以及還有哪些事情尚未知道。

CloudAD：當一個數字真的會移動預算

回到 CloudAD，這些問題突然變得非常具體。行銷工作每天都在產生答案：ROAS、CPA、attribution、incrementality、model estimates。而這些答案後面，往往就是下一個真實決定：預算要不要增加？渠道要不要調整？哪一個結果可以帶進下一次提案或經營會議？

也因為數字真的會影響資源，我開始更常在行動之前多看一層：

• 這個結果依賴哪些資料條件？
• 使用的方法適合現在的問題嗎？
• 哪些假設正在支撐這個結論？
• 我們現在看到的是相關、歸因，還是足以支持更強主張的證據？

我問這些問題，是因為 measurement 會影響真實的決策，所以值得看得更仔細。

plantārium：數字要放回情境裡看

在植境 plantārium，我面對的是另一種決策世界。空間、人員、永續、教育、活動、收入、成本、合作夥伴，每一個選擇都牽動不同的人與目標。

有些決定有完整的資料，有些只有一部分。也有數字看起來合理，放進真實的人、時間與資源限制裡，得出的理解卻完全不同。

這段營運經驗讓我記住一件事：

判斷一個數字之前，先問它要拿來支持哪一個決定。

一個結果值不值得被帶進決策，不只和數字本身有關，也和它的假設、限制、不確定性，以及準備被用在哪一個決策裡有關。

論文，把這些疑問變成一個研究問題

到了論文，我試著把工作裡反覆出現的疑問，收斂成一個可以研究的問題。我的研究問題是：

How much should I trust this measurement result for an actual business decision?

更精確地說：一個量測結果，要經過哪些檢查，我們才知道目前的證據支持它到什麼程度？這個問題成了 Proofseal 的起點。

Proofseal，把研究問題做成一個可以使用的系統

Proofseal 最初是一個研究與產品原型。我想把原本散落在不同地方的判斷，放進同一個結構裡：

Data

現在的資料足以回答這個問題嗎？

Method

方法適合目前的使用情境嗎？

Assumptions

哪些重要假設正在支撐結果？

Evidence

有哪些證據支持這個結論？又有哪些限制？

Validation

這個結果經過了哪些檢查？

Decision Context

它準備被拿來支持什麼樣的決定？

最後，Proofseal 用幾種不同程度的判定來呈現結果，不另外算一個看似精確的「信任分數」：

很多時候，決策者需要的就是這一句：

目前證據支持到這裡。

從論文開始，繼續往前做

Proofseal 到現在仍然保留著最初的研究問題。它把 measurement result 和 business decision 之間，多留出一個可以重新檢視的位置。在這裡，資料、方法、假設、證據、不確定性與限制可以被一起看見；當資料或情境改變時，也可以重新回來檢查。

我希望 Proofseal 做到的是：

在一個重要決定發生以前，讓我們更清楚自己正在依據什麼。

Proofseal 會繼續朝這個方向做。