Proofseal은 어떻게 점검하는가

하나의 측정 질문이 걷는 길

모든 질문은 같은 절차를 거칩니다. 각 단계에서 무엇을 했고 무엇에 근거했는지 기록으로 남습니다.

1. 1데이터주간 비용과 성과를 받아 버전이 있는 데이터로 저장합니다
2. 2점검모델링 전에 데이터가 이 질문에 답할 수 있는지 확인합니다
3. 3측정채널별 효과를 추정하고, 모든 숫자에 가능한 범위를 붙임
4. 4검증정답을 아는 시뮬레이션 데이터로 모델을 시험해 추정이 얼마나 정확한지 봅니다
5. 5판정미리 작성된 판정 규칙이 증거를 판정으로 연결하고 이유와 한계를 덧붙입니다

네 가지 점검

점검은 네 가지로 나뉩니다. 각각 하나씩 확인할 수 있는 구체적인 질문이며, 마지막에 하나의 점수로 합치지 않습니다.

데이터 점검

몇 주의 데이터가 있는지, 어느 주가 빠졌는지, 비용에 증감이 있는지, 어떤 채널이 늘 함께 오르내리는지, 어떤 채널이 오랫동안 비용이 없었는지 봅니다. 데이터로 답할 수 없는 질문이 있으면 이후 단계에서 그대로 표시합니다.

• 데이터 길이와 결측 주
• 채널별 광고비 변동
• 채널이 함께 오르내리는지
• 무집행 기간

모델 진단

모델을 실행한 뒤 먼저 기본 수치를 확인합니다. 학습에 쓰지 않은 기간을 얼마나 설명하는지, 채널을 구분할 수 있는지, 범위를 몇 번 다시 계산했는지, 계절 기복을 제거했는지. 각 수치에는 단위, 기준선, 기준선의 출처가 붙습니다.

• 학습에 쓰지 않은 기간의 설명력
• 채널 간 효과를 구분할 수 있는지
• 범위가 안정적으로 계산되는지
• 계절 변동을 반영했는지

시뮬레이션 검증

데이터 조건이 비슷한 시뮬레이션 데이터로 모델을 다시 실행합니다. 시뮬레이션 속 각 채널의 정답은 저희가 정하므로 알려져 있습니다. 확인하는 것은 세 가지입니다. 모델이 90% 확신한다고 할 때 범위가 알려진 정답을 얼마나 포함하는지, 각 채널의 추정이 알려진 정답과 얼마나 다른지, 채널 순위가 맞는지. 어떤 설정이 데이터에서 왔고 어떤 것이 가정인지는 다음 절에 있습니다.

• 제시한 확신과 실제 적중률
• 채널별 추정이 얼마나 빗나가는지
• 채널 순위가 맞는지
• 시뮬레이션 조건을 당신의 데이터에 맞춤

판정 규칙

판정은 미리 작성된 규칙으로 만들어지며, 사람이 그 자리에서 정하지 않습니다. 각 규칙에는 기준의 출처를 밝히고, 같은 증거에 같은 버전의 규칙을 적용하면 반드시 같은 판정이 나옵니다. 판정은 만들어진 뒤 수정되지 않고, 데이터나 규칙이 바뀌면 새 판정이 만들어집니다.

• 규칙에 버전 번호(현재 v0.1.0)
• 모든 기준선이 출처를 밝힘
• 판정은 수정 불가
• 재실행 시 전후 비교 가능

시뮬레이션 검증의 설정

시뮬레이션 검증 데이터는 일부는 데이터 조건에 맞추고 일부는 저희 가정으로 설정합니다. 둘을 나눠 적었으며, 판정 영역에는 매번 실제로 쓴 값도 표시합니다.

그래서 이 테스트로는 알 수 없는 것

• · 광고가 실제로 얼마의 매출을 가져왔는지(실제 데이터에는 알려진 정답이 없음)
• · 위 가정을 벗어난 상황(이월 효과, 포화, 프로모션 등)에서 모델이 어떻게 작동하는지

현재 판정 기준(v0.1.0)

데이터 주 수(Meridian의 데이터 권장 사항 기반)와 채널 상관(제품 정책)을 제외하면 아래 기준은 잠정이며 아직 연구로 검증되지 않았습니다. 연구 시뮬레이션 결과가 나오면 새 버전으로 업데이트하며, 판정을 보기 좋게 만들기 위해 조정하지 않습니다.

• · 데이터 최소 26주, 52주 이상 권장
• · 범위가 알려진 정답을 포함한 비율: 70% 이상이어야 '지지됨' 가능, 45% 미만이면 '지지되지 않음'
• · 알려진 정답과의 평균 차이: 15% 이내여야 '지지됨' 가능, 40% 초과면 '지지되지 않음'
• · 채널 비교: 순위 일치도 0.7 이상이고 최고 채널을 맞힌 비율 75% 이상. 조정 방향: 맞힌 비율 60% 이상
• · 두 채널 지출의 상관이 0.8 이상이면 제약으로 표시

기준선은 어디서 오는가

'0.9를 넘어야 함' 같은 기준선에는 모두 출처가 붙어 있습니다. 출처는 일곱 종류입니다.

문헌

발표된 연구가 권장하는 값

표준

산업 또는 방법론 표준

모델 개발자 권장

모델 개발자가 직접 쓴 사용 권장 사항

시뮬레이션 테스트

정답을 아는 시뮬레이션 데이터에서 측정한 값

실증

실제 데이터에서 얻은 경험값

제품 정책

제품이 명시한 보수적 트레이드오프

잠정

아직 근거가 부족해 잠정으로 표시

판정의 어휘는 고정되어 있습니다

모든 측정 질문은 마지막에 하나의 판정이 됩니다. 판정에는 다음 단어만 쓰며, 의미는 바뀌지 않습니다.

• 지지됨현재의 데이터·방법·가정 아래에서 증거가 이 결론을 지지합니다
• 조건부 지지지지는 있지만 함께 살펴야 할 점이 있으며, 판정이 하나씩 나열합니다
• 지지되지 않음현재 증거는 이 결론을 지지하지 않으며, 판정이 이유를 설명합니다
• 추가 증거 필요결론을 내리기에는 증거가 부족하며, 판정이 무엇이 빠졌고 무엇을 보완하면 가장 도움이 되는지 알려줍니다
• 판정이 오래됨데이터나 조건이 바뀌어 원래 판정이 더는 맞지 않으므로 재검증이 필요합니다

지역별 실험은 어떻게 판정하나요

모델과 별도로 지역 실험으로 광고 효과를 따로 추정할 수 있습니다. Proofseal은 합성 통제법으로 분석하며, 판정 규칙은 현재 잠정 v0.1.0입니다:

1. 1실험 전 최소 8주의 데이터와 비교할 변경 없는 지역이 최소 3개 필요합니다. 그렇지 않으면 '추가 증거 필요'입니다.
2. 2실험 전 비교 그룹과 테스트 지역의 차이가 평균 10% 이내일 때 결과를 사용하며, 5% 이내면 잘 맞는 것으로 봅니다.
3. 3테스트 지역의 차이가 모든 변경 없는 지역의 자연 변동보다 크고, 비교할 지역이 9개 이상일 때 '지지됨'으로 판정합니다. 지역이 적으면 최대 '조건부 지지'입니다.

원 논문과 다른 점: 각 지역을 실험 전 평균값으로 나눈 뒤 비교 그룹을 만들어, 규모가 크게 다른 지역끼리도 비교할 수 있게 했습니다. 원 논문은 원래 숫자 그대로 조합합니다. 이 조정 때문에 결과는 금액이 아니라 '몇 % 변했는가'로 읽습니다.

판정을 다시 해야 할 때

판정은 만들 당시의 데이터 버전, 방법 버전, 점검 조건을 기록합니다. 데이터가 업데이트되거나, 시장이 바뀌거나, 판정 규칙이 개정되면 원래 판정이 더는 맞지 않을 수 있습니다.

데이터가 업데이트되면 판정 영역에 이 판정이 이전 데이터를 기준으로 한다는 안내가 나옵니다. '다시 판정'을 누르면 새 판정이 만들어지고 이전 판정도 남아 비교할 수 있습니다. 이전 판정을 자동으로 '판정이 오래됨'으로 표시하는 기능은 개발 중입니다.

방법의 출처와 참고 문헌

Proofseal의 방법은 발표된 연구에서 왔습니다. 판정 기준과 일부 조정은 저희가 정한 것으로 현재 잠정으로 표시합니다. 주요 문헌과 각각이 Proofseal에서 어디에 쓰이는지 아래에 정리했습니다.

1. Abadie, A., Diamond, A., & Hainmueller, J. (2010). Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program. Journal of the American Statistical Association, 105(490).↗

   쓰이는 곳: 지역별 실험의 분석 방법(합성 통제법)과 위약 검정

2. Abadie, A. (2021). Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects. Journal of Economic Literature, 59(2).↗

   쓰이는 곳: 합성 통제법을 쓰기 위한 조건과 데이터 요건

3. Vaver, J., & Koehler, J. (2011). Measuring Ad Effectiveness Using Geo Experiments. Google Inc.↗

   쓰이는 곳: 광고 지역 실험의 설계와 분석

4. Ben-Michael, E., Feller, A., & Rothstein, J. (2021). The Augmented Synthetic Control Method. Journal of the American Statistical Association, 116(536).↗

   쓰이는 곳: 합성 통제법의 확장으로, GeoLift가 쓰는 방법

5. Meta Open Source. GeoLift: an end-to-end solution for geo experiments (R package).↗

   쓰이는 곳: 지역 실험 계획(지역 선정, 감지 가능한 효과 추정)

6. Jin, Y., Wang, Y., Sun, Y., Chan, D., & Koehler, J. (2017). Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects. Google Inc.↗

   쓰이는 곳: 마케팅 믹스 모델의 베이지안 방법으로 Meridian의 기반

7. Google. Meridian: an open-source marketing mix modeling framework.↗

   쓰이는 곳: 측정에 쓰는 모델 중 하나

8. Morris, T. P., White, I. R., & Crowther, M. J. (2019). Using simulation studies to evaluate statistical methods. Statistics in Medicine, 38(11).↗

   쓰이는 곳: 정답을 아는 시뮬레이션으로 통계 방법을 검증하는 틀(ADEMP). 모델 검증의 근거

링크는 모두 학술지나 발행처의 공식 페이지로 연결됩니다. 일부 학술지는 전문을 보려면 구독이 필요하지만, 대학이나 회사 도서관을 통해 무료로 볼 수 있는 경우가 많습니다. 이 문헌들은 방법의 출처를 밝히기 위한 것이며, 저자나 Google, Meta가 Proofseal을 보증한다는 뜻이 아닙니다.

오픈소스에 대한 감사

Proofseal은 공개된 연구와 오픈소스 프로젝트 덕분에 만들어졌습니다. 측정에는 Google의 Meridian을 쓰고, 지역별 실험 계획은 Meta의 GeoLift를 참고했으며, 시스템 자체도 Next.js, NestJS, FastAPI, NumPy, PostgreSQL 등 오픈소스 위에 만들어졌습니다. 성과를 공개해 주신 팀들께 감사드립니다.