광고 효과, 사실 매체도 몰라요

지난 글에서 피자가게 사장님이 랜덤 실험 (RCT, Randomized Controlled Trial) 이 최선 이라는 결론에 도달했어요. 유저를 무작위로 나눠 한쪽엔 광고를 보여주고 한쪽엔 안 보여준 뒤, 두 쪽의 매출 차이를 비교하는 방식이에요. 긴 이름이니 앞으로는 RCT 라고만 쓸게요.

이 글 처음 보는 분들을 위한 한 줄 요약, 광고 효과 측정 분야에 돌아다니는 수십 가지 방법은 결국 RCT에 조금이라도 더 가까워지려는 시도들 이에요. 그만큼 "진짜 광고 효과" 를 재는 가장 깨끗한 방법이 RCT라서요. 앞 글 두 편에서 왜 RCT가 최선인지 다뤘어요, 1편, 마케터라면 꼭 알아야 할 인과적 사고 / 2편, 광고가 진짜 만든 매출을 재는 법.

사장님도 결심했어요. "그래, 다음부턴 그걸로 가자."

광고 돌리는 대형 플랫폼에 가서 "RCT 좀 돌려주세요" 요청했어요. 원래 큰 광고주들한테만 열어주는 기능인데 사장님이 운이 좋았는지 열어줬다고 쳐요. (현실에선 어지간히 큰 광고주 아니면 이런 측정 자체가 안 열려요. 그냥 대시보드 숫자만 보고 끝.) 매체가 알아서 유저 일부를 무작위로 뽑아 "이 사람들한테는 사장님 광고 안 보이게" 숨겨두고 실험해준 뒤, 2주 뒤 광고 받은 쪽과 안 받은 쪽 매출 차이를 뽑아 보여주는 거예요.

완벽해 보였죠. 매체가 알아서 다 해준다니까요.

2주 뒤에 사장님이 결과를 받았어요. 그런데 같은 광고를 세 번 돌렸거든요 (한 번 결과만 보면 운일 수도 있으니까). 세 번 결과가 이렇게 나왔어요.

사장님이 황당해서 담당자한테 물어봤어요. "같은 캠페인을 세 번 측정했는데 매번 숫자가 다르게 나오는 게 말이 돼요? 어떨 땐 +18%, 어떨 땐 +7%, 어떨 땐 심지어 마이너스예요."

담당자가 차분하게 답했어요. "실험 결과는 다양한 요인의 영향을 받습니다. 좀 더 긴 기간 돌려보시고 샘플 규모를 늘리시면 안정화됩니다. 참고 지표로 활용하시고 다른 지표와 함께 종합적으로 판단하시는 걸 권장드립니다."

매체 담당자다운 전형적인 답변이었어요. 틀린 말은 하나도 없는데, 사장님이 원했던 "그래서 광고 효과가 얼마라는 거예요?" 라는 질문엔 한 발짝도 가까워지지 않았어요.

사장님이 집에 돌아와서 생각해요. "RCT가 최선이라고 했는데, 그 '최선' 을 돌렸는데 왜 숫자가 매번 이렇게 다르게 나오지? 어떨 땐 플러스, 어떨 땐 마이너스, 심지어 거의 0. 뭘 알게 됐는지도 모르겠네. 그래서 진짜 광고 효과가 얼마야?"

---

이게 이번 글의 질문이에요. 광고에서 RCT가 왜 그렇게 어려운지. 지난 글에서 "RCT는 가장 믿을 만한 방법" 이라 몇 번이고 말했는데, 광고판에선 그 최선조차 돌리기가 간단치가 않아요. 광고주 혼자서는 돌릴 방법이 없고, 광고를 누구에게 보여줄지 전부 결정하는 매체 입장에서도 쉽지가 않아요. 왜 그런지 하나씩 보죠.

광고판은 임상시험이 아니에요

RCT라는 개념은 원래 임상시험에서 왔어요. 지금도 신약 효과 재는 표준이에요. 환자 200명을 섭외해서 랜덤으로 반 나눈 뒤, 한쪽엔 신약, 한쪽엔 가짜약 (설탕으로 만든 플라시보). 두 그룹 모두 통제된 환경에서 연구원이 "누가 뭘 먹었는지" 정확히 기록해요. "약 받은 사람"과 "안 받은 사람"이 명확하게 나뉘죠. 비교할 짝이 깔끔한 거예요.

광고판은 전혀 그렇지가 않아요. 유저가 피드를 한 번 스크롤할 때마다 광고 자리 (앱이나 웹페이지 안의 네모난 광고 칸) 하나가 열리고, 그 자리에 뭘 띄울지 매체 안의 자동 규칙 (업계에선 "알고리즘" 이라고 불러요) 이 순식간에 결정해요. 이 결정이 전 세계에서 매초 수십억 번 돌아가요. 사장님은 "이 사람에게 내 광고를 보여줄지 혹은 안 보여줄지" 를 직접 통제할 수가 없어요.

여기서 질문. "그럼 그 매체한테 부탁해서, 유저의 일부 (예: 20%) 를 랜덤으로 '광고 안 보이게' 만들어두고 비교하면 되는 거 아니야? 그게 매체가 열어주는 측정 도구잖아?"

맞아요. 그게 바로 매체가 열어주는 도구예요. 그런데 그게 왜 숫자가 이렇게 춤을 추는지. 함정이 네 개 있어요. 하나씩 봅시다.

(앞으로 "매출" 이라고 쓰면 사장님 자기 가게 매출 이에요. 측정은 전부 "광고 받은 쪽에서 사장님 가게로 들어온 돈 vs 광고 안 받은 쪽에서 사장님 가게로 들어온 돈" 비교. 경쟁사 매출은 사장님이 집계도 못 하고 측정에도 안 들어와요.)

함정 1. 주차장이 비는 순간, 경쟁사 차가 들어와요

매체가 "유저 20%는 사장님 광고 안 보이게" 라고 랜덤 설정해줬어요. 그 20% 유저가 피드를 열면 원래 사장님 광고가 떴을 자리가 빕니다. 그 자리, 그냥 비어 있을까요?

아니요. 1초도 안 돼서 다른 광고주 광고로 채워집니다. 광고 자리는 백화점 주차장 한 자리랑 비슷해요. 한 자리가 비는 즉시 뒤에 대기하던 차가 들어와서 채웁니다.

더 중요한 포인트. 그 "원래 사장님 광고가 떴을" 20% 유저는 매체 알고리즘이 (예컨대) "피자를 좋아할 것 같다" 고 판단해서 피자 광고를 뿌리려던 사람들이에요.

여기서 매체는 "이 사람 피자 좋아함" 이라는 정보를 사장님 혼자만 아는 비밀로 다루지 않아요. 비슷한 피자집 광고주들에게도 똑같이 알려줘요. 그래서 그 자리를 노리고 있던 다른 광고주 중에서도 경쟁 피자집 이 들어올 확률이 높아지는 거죠.

여기서 함정이 생겨요. 사장님이 "내 광고가 없었다면 매출이 어땠을까?" 를 보려고 20% 유저를 뺐어요. 사장님 머릿속에 있는 "광고 없는 세상" 은 "다른 건 다 똑같고 오직 내 광고만 사라진 세상" (경제학에서 이런 걸 ceteris paribus, 다른 조건이 전부 같다고 가정하는 상황이라고 불러요) 이에요. 다른 조건이 변하면 비교가 아니죠.

근데 실제로 그 20% 유저가 겪은 건 "내 광고 없고, 그 자리를 경쟁 피자집 광고가 대신 차지한 세상" 이에요. 경쟁사한테 보여줄 기회를 하나 더 준 세상.

사장님이 알고 싶은 건 "다른 조건 전부 똑같고, 딱 내 광고만 뜨고 안 뜨고의 차이" 예요. 이 상황에서 "광고 받은 쪽 매출 - 광고 안 받은 쪽 매출" 이 진짜 광고 효과죠.

그런데 측정은 이렇게 안 돌아가요. 광고 안 받은 쪽 유저가 겪은 건 "내 광고가 사라졌고, 그 자리에 경쟁사 광고가 대신 뜬" 상황. 그 유저 중 일부는 경쟁사 피자 광고를 보고 경쟁사 피자를 사먹어요. 그래서 광고 안 받은 쪽 사장님 매출이 "내 광고만 딱 사라진 가상 세계" 의 매출보다 더 많이 쪼그라들어요.

측정이 어떻게 어긋나는지 숫자로 보면 바로 보여요.

왼쪽 (가상 세계) 에선 사장님이 보고 싶었던 진짜 효과 5명. 오른쪽 (실제 측정) 에선 안 받은 쪽에서 3명이 경쟁사 피자로 넘어가서 사장님 피자 산 사람이 7명으로 쪼그라들어요. 측정값은 15 - 7 = 8명. 진짜 5보다 측정 8이 더 커요. (1) 광고가 실제로 더 만든 매출 + (2) 광고 없을 때 경쟁사한테 뺏긴 매출 이 섞여 "큰 광고 효과" 로 보이는 거예요.

함정 2. 광고비가 남은 사람에게 몰려요

주차장 문제가 끝이 아니에요. 두 번째 함정은 좀 더 미묘합니다.

사장님이 하루 광고비 100만원 예산을 잡았어요. 매체는 이걸 알고리즘대로 하루 안에 소진합니다. 매체마다 방식이 다른데, 보통은 하루에 고르게 쓰려고 하거나, 성과가 잘 나올 시간대에 몰아 쓰거나, 어쨌든 "이 돈을 하루 안에 다 쓰는 것" 이 기본 전제예요. 예산 남으면 매체 입장에서 손해니까요 (사장님 광고로 벌 수 있던 수수료가 날아감).

그런데 사장님이 "유저 20%는 광고 안 보이게" 라고 설정하는 순간? 매체는 그 20% 유저에겐 돈을 안 써요. 남은 80% 유저에게 100만원이 다 가야 되죠. 원래 10명이 나눠 먹을 피자를 8명이 나눠 먹는 셈이에요. 한 명당 몫이 커집니다.

광고 받은 쪽 유저가 평소보다 광고를 더 자주 보게 돼요. 자연히 그 사람들 매출이 평소보다 올라가고요. 사장님은 "오, 광고 효과가 크네!" 라고 생각하지만, 사실 그 상승분엔 "평소보다 광고를 많이 받은 보너스" 가 섞여 있어요. 광고 효과가 실제보다 크게 보여요.

그런데 우리가 알고 싶은 건 "광고를 평소대로 돌릴 때 매출이 얼마나 더 오르나" 지, "유저 20%를 빼서 광고비가 남은 사람에게 쏠렸을 때 매출이 얼마나 오르나" 가 아니죠. 두 숫자는 달라요. 측정 자체가 평소와는 다른 상황 (몰림이 생긴 상황) 을 재고 있는 거예요.

함정 1 (주차장) 과 함정 2 (몰림) 은 비슷해 보이지만 원인이 달라요.

• 함정 1 주차장은 "다른 광고주가 광고 안 받는 쪽 자리를 채워서" 그쪽 매출이 평소보다 더 떨어지는 상황.
• 함정 2 몰림은 "사장님 자기 광고비가 남은 사람에게 쏠려서" 광고 받은 쪽 매출이 평소보다 더 올라가는 상황.

두 함정 다 방향은 같아요. 둘 다 측정된 효과를 실제보다 크게 보이게 해요. 주차장은 "경쟁사한테 뺏긴 매출" 까지 광고 효과로 더해 보이고, 몰림은 "평소보다 광고 많이 받아서 올라간 매출" 까지 광고 효과로 더해 보여요.

여기서 자연스러운 질문. "그럼 사장님이 광고비를 20% 줄여서 돌리면 몰림이 안 생기는 거 아니야? 평소대로 유지되게." 아쉽게도 그게 쉽지가 않아요. 매체 알고리즘이 어떤 유저에게 광고를 몇 번 뿌릴지, 어떤 시간대에 몰아 쓸지, 그 안의 룰을 광고주한테 공개 안 해요. 광고비 20%를 뺀다고 노출도 정확히 20%만 줄어드는 게 아니라서, 정확히 평소 상태를 맞추려면 광고비를 15% 빼야 될지 25% 빼야 될지 사장님이 정확히 알 길이 없어요. 그걸 안다고 해도 매체가 광고주 설정을 그만큼 유연하게 받아주지도 않고요.

함정 3. 1만 번 떴다고 1만 번 본 건 아니에요

세 번째 함정. 매체가 "광고 1만 번 떴습니다" 라고 집계해도, 실제로 그 광고가 눈에 들어온 사람 은 훨씬 적어요.

세계 최대 광고주 중 하나인 P&G 가 2017년 디지털 마케팅 업계 컨퍼런스인 dmexco에서 공개한 숫자가 있어요. 모바일 피드 광고 평균 시청 시간: 1.7초. P&G의 최고 브랜드 책임자 (Chief Brand Officer) 마크 프리처드 (Marc Pritchard) 는 이걸 "눈 깜빡할 사이" 라고 표현했죠. 피드를 쭉 내리다가 광고가 잠깐 화면에 뜨긴 떴지만 유저는 이미 다음 콘텐츠로 스크롤해버린 경우가 대부분이란 뜻이에요.

업계에서 이걸 뭉뚱그려 추정해보면, 광고가 1만 번 "떴다" 라고 매체가 집계해도 눈이 1초 이상 머문 광고는 1,500번쯤, 그 중에서도 "집중해서 본" (3초 이상 머물러서 광고가 뭐였는지 기억날 만한) 수준은 150번쯤이에요. (정확한 수치는 광고 종류, 유저 타입에 따라 크게 달라지지만 "굉장히 작아진다" 는 것 자체는 공통.)

생각해보면 당연해요. 하루에 우리 눈 앞에 지나간 광고 중에, 정말 "아, 이 광고 봤지" 라고 기억할 수 있는 광고가 몇 개나 되나요? 대부분은 뜨긴 떴는데 스치고 지나간 거예요. 매체가 "노출 (impression)" 로 집계한 것 중 압도적 다수가 그런 "스쳐 지나간" 광고예요.

이게 왜 문제가 되나요? 사장님의 "광고 받은 쪽" 유저 안에는 실제로는 광고를 못 본 사람 이 다수 섞여 있어요. 광고가 피드에 뜨긴 떴는데, 그 유저가 그 순간 화면 보고 있지 않았거나, 스크롤로 그냥 넘겨버렸거나, 멍 때리고 있었거나.

매체는 이들을 "광고 받은 쪽" 으로 분류하지만, 그 사람들에겐 광고가 어떤 영향도 못 미쳤어요. 이 "본 적도 없는 사람" 들의 매출까지 광고 받은 쪽 평균에 섞이면, 실제 광고 효과가 희석돼서 작게 보여요.

"그럼 실제로 집중해서 본 150명만 뽑아서 광고 안 받은 쪽이랑 비교하면 되지 않아?" 라고 물을 수 있어요. 여기가 딜레마예요.

광고 받은 쪽에선 "눈에 1초 이상 머문 사람" 을 그래도 찾을 수 있다 쳐요 (매체가 그 데이터를 가지고 있으니까). 근데 광고 안 받은 쪽에선 그에 짝 맞는 사람을 어떻게 찾나요?

RCT의 핵심은 "같은 성격의 두 그룹" 을 비교하는 거예요. 광고 받은 쪽 150명은 "광고 떴고 집중해서 봤던 사람" 이라는 뚜렷한 성격이 있어요. 광고 안 받은 쪽에서 이에 짝 맞는 그룹은 "광고가 떴다면 집중해서 봤을 사람" 인데, 애초에 광고가 안 떴으니 봤을지 안 봤을지 아무도 몰라요.

학교에 비유하면 이래요. "수학 좋아하는 학생" 끼리 비교해보고 싶은데, 한쪽은 "수학 수업 들었더니 좋아한다고 말한 애들", 다른 쪽은 수학 수업 자체를 안 들은 애들이에요. 안 들은 애가 들었으면 좋아했을지 안 좋아했을지 알 길이 없는 거죠.

결국 거친 전체 비교 (광고 받은 쪽 1만 명 전체 vs 안 받은 쪽 1만 명 전체) 를 할 수밖에 없는데, 여기엔 "본 적도 없는 사람" 들이 "광고 받은 쪽" 평균에 섞여 들어가요. 실제 광고 효과를 받은 150명 매출이 "9,850명의 아무 변화 없는 매출" 과 평균 내지면서 희석돼 보여요.

함정 4. 상관없는 다른 광고로 자리 채우면 되지 않아?

함정 1, 2, 3 이 다 "측정이 자동으로 왜곡되는" 상황이었다면, 함정 4 는 매체가 그걸 피하려고 영리하게 시도했다가 생긴 새 함정이에요.

사실 함정 1 (주차장) 을 해결해보려고 2000년대 중반부터 매체들이 영리한 아이디어를 하나 냈어요.

주차장 문제가 뭐였죠? 사장님 광고 안 받는 쪽 유저의 광고 자리를 경쟁 피자집이 가져가서, 그 유저들이 경쟁사 광고를 봐 비교가 깨지는 문제.

해법 아이디어: "그럼 광고 안 받는 쪽 유저의 광고 자리를 매체가 미리 사장님 사업과 상관없는 광고 (예: 바다거북 보호 공익광고) 로 채워버리면 되지? 공익광고는 광고주 경쟁에서 빠져 있으니까 경쟁 피자집도 못 들어오고, 양쪽 다 '뭔가 광고를 보긴 봤다' 는 상태로 공평해지잖아."

처음엔 그럴듯했어요. 그런데 함정이 있었어요.

매체 알고리즘은 공익광고도 "최적화" 해서 뿌립니다. 매체 입장에선 이게 당연한 거예요. 아무한테나 공익광고 띄우면 유저 경험이 나빠지니까 (관심 없는 광고가 피드에 뜨면 유저가 피드 자체를 안 봄), "바다거북 공익광고에 그래도 반응할 것 같은 사람" 에게 띄우겠죠. 예를 들면 환경 이슈에 관심 많은 사람, 자연 다큐 자주 보는 사람 쪽.

반면 광고 받은 쪽 유저에겐 (알고리즘이 피자 좋아할 것 같다고 판단한 사람들) 사장님 피자 광고가 그대로 떠요.

결과적으로 양쪽에 완전히 다른 성격의 사람들이 모일 가능성이 커요. 예를 들면,

• 광고 받은 쪽: 알고리즘이 "피자 좋아할 것 같다" 고 뽑은 사람들 쪽 (예: 야식 자주 시킴, 배달 자주 씀)
• 광고 안 받은 쪽: 공익광고가 뿌려진 사람들 쪽 (예: 환경 이슈에 관심, 자연 다큐 즐겨봄)

정확히 말하면 광고 효과와 "두 그룹 사람 자체의 차이" 가 매출 차이에 섞여서 광고 효과만 깨끗이 발라낼 수 없게 된 거예요. 공익광고 트릭이 "주차장 문제" 는 피했지만 더 큰 새 문제를 만들어버린 거죠. 매체 알고리즘이 모든 광고를 "최적화" 해서 뿌리는 한, 이 함정은 피할 수가 없어요.

네 가지 함정 요약

함정	뭐가 일어나나	측정 결과
1. 주차장	광고 안 받는 쪽 자리를 경쟁사가 채움	효과 크게 보임
2. 몰림	광고비가 남은 사람에게 쏠려 과노출	효과 크게 보임
3. 못 본 사람	1만 번 떠도 실제로 본 사람은 소수	효과 희석
4. 다른 사람	양쪽에 다른 광고가 뿌려져 사람 자체가 달라짐	비교 깨짐

솔직히 이 네 가지는 대표적인 사례만 추린 거예요. 실제론 훨씬 더 많아요. 이 모든 문제의 근본 이유, 광고판 중앙에 매체 알고리즘이라는 거대한 블랙박스 레이어가 있고, 광고주도 매체 자신도 그게 모든 상황에서 정확히 어떻게 작동하는지 꼼꼼히 예측하기 쉽지 않다는 거예요. 알고리즘은 유저마다, 시간대마다, 경쟁 상황마다 다르게 반응해요. 그래서 "RCT 돌릴 때 뭐가 어떻게 왜곡되는지" 하나하나 짚으면 함정이 계속 나와요.

그래서 매체는 더 영리한 방법도 시도했어요

함정 4 (공익광고) 이후, 똑똑한 연구자들이 더 영리한 방법을 고안했어요. Ghost Ads 라는 이름의 방식인데, 2017년에 당시 Google 측정팀과 외부 연구자들이 함께 논문으로 발표했어요 (Johnson, Lewis, Nubbemeyer 2017).

참고로 이게 유일하게 제시된 해답은 아니에요. 매체 측정 어려움을 풀어보려 그간 시도된 여러 방식 중 가장 유명한 한 가지일 뿐이에요. Ghost Ads 자체도 이미 꽤 오래된 방식이고, 현업에선 이 방법도 쓰고 그보다 더 단순하거나 창의적인 방법도 쓰고 매체마다 조합이 달라요. 그래도 "매체가 이 문제를 어떻게 풀어보려 했는지" 보여주는 대표 사례라 살펴볼게요.

이해하려면 먼저 광고 자리가 어떻게 채워지는지 알아야 돼요.

유저가 피드를 스크롤해서 광고 자리 하나가 열리면? 매체 안에서 1초도 안 되는 시간에 번개 같은 "경매" 가 돌아갑니다. 업계에선 이걸 실시간 입찰 (RTB, Real-Time Bidding) 이라고 불러요. 수십, 수백 광고주가 "이 유저한테 내 광고 띄워주면 광고 1번당 얼마 낼게요" 식으로 입찰해요. 매체가 그 중 1등을 뽑고, 그 광고가 그 자리에 뜨죠.

유저는 이게 돌아가는 걸 전혀 못 느껴요, 피드가 그냥 평소처럼 보일 뿐. 그런데 이 경매가 매 광고 자리마다, 매초, 전 세계에서 동시에 돌아가고 있어요. 하루 수십억 번.

Ghost Ads는 이 경매를 영리하게 쓰는 트릭이에요.

광고 안 받는 쪽 유저에게도 똑같이 이 경매를 돌려봅니다. 사장님 광고 포함해서. 그런데 사장님 광고가 이 가상 경매에서 이기면? 실제로는 안 보여주고, "이 사람에겐 사장님 광고가 떴을 거다" 라는 표시만 조용히 남겨놔요. 유저 눈엔 다른 광고가 떠요 (경매에서 2등 광고가 올라감).

이 트릭의 영리함은 여기 있어요. 나중에 분석할 때 두 그룹을 비교해요.

• 광고 받은 쪽에서 "실제로 광고 본 사람" (경매 이겨서 광고가 실제로 뜬 유저)
• 광고 안 받은 쪽에서 "광고 봤을 사람" (가상 경매 이겨서 "떴을 거다" 표시만 남은 유저)

양쪽 다 같은 경매 기준으로 "사장님 광고를 받을 자격이 있다" 고 판명된 사람들이에요. 피자 좋아할 성격이 비슷한 집단에서 한쪽은 실제로 광고 보고, 한쪽은 안 봤을 뿐.

측정에서 가장 중요한 건 늘 "성격이 같은 두 그룹을 비교" 하는 거예요. 공익광고 트릭 (함정 4) 이 실패한 이유는 이 "같은 성격" 을 못 지켜서였고, Ghost Ads는 가상 경매로 그걸 지킨 거예요.

광고를 실제로 보여주지는 않았지만 "경매에서 이겼으니 보여줬다면 봤을 사람" 을 콕 집어내서, 광고 받은 쪽에서 "실제로 광고가 뜬 사람" 과 공평하게 비교. 꽤 똑똑한 방법이에요. 저자들은 Google Display Network 에서 이 방식이 하루 1억 번 넘게 돌아갔다고 논문에 적어놨어요.

그런데 Ghost Ads도 완벽하진 않아요

이 똑똑한 방법도 현업에서 "표준" 이 못 됐어요. 몇 가지 이유가 있어요.

• 운영 리소스가 많이 들어요. 매번 광고 자리마다 가상 경매를 한 번 더 돌리는 별개 시스템이 매체 안에 돌아가야 해요. 거기에 유저별 "떴을 거다" 플래그 저장소, 분석 파이프라인까지. 서버 비용, 분석 인력, 설계 시간이 꽤 들어요. 큰 광고주한테나 돌릴 만하지, 작은 광고주한텐 안 돌려줘요.
• 함정 1, 2 (주차장, 몰림) 문제가 완전히 사라지는 건 아니에요. 가상 경매는 "자격 있는 사람" 을 찾아주지만, 그 사람에게 실제로 뜨는 광고는 사장님 광고가 아니라 경매 2등 광고예요. 그리고 그 자리를 노리고 입찰한 광고주들은 대개 사장님과 비슷한 타깃을 노리는 경쟁 피자집 일 가능성이 높아요 (같은 "피자 좋아할 유저" 를 매체가 다른 피자 광고주들에게도 알려주니까). 결국 그 자리는 경쟁사가 가져갈 확률이 높고, 사장님 매출이 경쟁사로 샐 가능성은 그대로 남아요. Ghost Ads는 "비교 그룹을 깨끗하게 뽑는" 문제는 풀었지만, "경쟁사가 매출을 뺏어갈 수 있는" 문제는 여전해요.

매체가 돌려주는 측정, 세 가지 불편한 사실

Ghost Ads든 다른 방법이든, 지금까지 설명한 걸 광고주 (사장님) 는 혼자 못 돌려요. 가상 경매도 매체 안에서 돌아가고, "광고 봤을 사람" 표시도 매체만 남길 수 있고, 분석도 매체 안에서만 가능해요. 광고주는 "효과 +12.3%" 같은 결과 숫자만 받아보는 입장이에요.

솔직히 말하면 광고주 사장님은 선택지가 없어요. 매체가 돌려주는 측정을 믿는 수밖에.

여기서 세 가지 불편한 사실이 등장해요.

첫째, 대형 매체는 큰 광고주한테만 이걸 돌려줘요. 이런 측정은 매체 쪽 리소스가 꽤 드는 작업이에요. Ghost Ads만 생각해봐도 광고 자리마다 가상 경매까지 한 번 더 돌려야 하고, 유저별로 "떴을 거다" 표시를 남기고, 그 데이터를 모아 분석팀이 돌리고. 서버, 분석 인력, 설계 시간이 다 들어가요. 매체 입장에서 솔직히, 소규모 광고주한테까지 이걸 돌려줘 봐야 매체 매출에 별로 도움이 안 돼요. 그래서 보통은 광고비를 꽤 많이 쓰는 광고주한테만 "RCT 돌려드릴게요" 해주고, 사장님 같은 소규모 광고주한테는 제공 자체를 안 하는 경우가 많아요. 그냥 대시보드 숫자 (매출 몇 배 올랐어요, 전환 몇 건 났어요) 보고 끝. 대부분의 광고주한테는 RCT 자체가 그림의 떡이에요.

둘째, 매체가 열심히 돌려줘도 진실을 정확히 아는 건 아니에요. 매체가 "효과 +12.3%" 라고 줘도, 그 숫자는 매체가 선택한 특정 측정 방법론의 결과예요. Ghost Ads를 쓰면 X, 공익광고 방식을 쓰면 Y, 아예 단순 비교를 하면 Z, 그 외에도 수십 가지 방법이 있고 방법론마다 숫자가 꽤 다르게 나와요. 바로 앞에서 함정 하나하나 보면서 이미 느끼셨을 거예요. 매체가 어떤 방법을 쓰는지, 그 안에 어떤 가정이 들어가는지는 광고주한테 거의 공개도 안 되고요. 어떤 숫자가 진짜 효과에 가장 가까운지는 매체도, 광고주도, 심지어 측정 연구자들도 하나로 못 집어내요. 진짜 효과라는 정답이 어딘가에 분명히 있긴 한데, 그걸 완벽하게 재는 방법은 아직 없는 거예요.

셋째, 솔직히 매체는 자기한테 유리한 방법을 고르고 싶어요. 이건 음모론이 아니라 당연한 이해관계 문제예요. 매체는 광고 매체를 파는 쪽이잖아요. "우리 매체 효과 큽니다" 가 매체 매출에 직결돼요. 측정 방법 여러 개 중에 숫자가 커 보이는 걸 고를 유인이 자연스럽게 생겨요. 정말 그렇게 할지는 매체마다 다르겠지만, 매체가 측정을 혼자 설계, 실행, 발표하는 구조 자체가 이 유인을 피할 수가 없어요.

업계도 이걸 알아요. 2025년 11월에 광고 업계 표준 기구인 IAB (Interactive Advertising Bureau) 가 커머스 미디어 측정 가이드라인을 냈어요 (공식 문서). 가이드라인은 측정 방법을 인과 추론 강도별로 나누는데, 매체가 자체적으로 돌리는 측정은 "약한 하이브리드 프록시 (weak hybrid proxy)", 즉 독립적 통제군이 아니라 매체 자체 모델링에 의존하는 가장 약한 등급으로 분류했어요. 가이드라인 만드는 테이블엔 Meta, Google, TikTok, Criteo, Walmart 같은 대형 매체들이 다 앉아 있었어요. 매체 스스로도 "우리가 주는 숫자는 가장 약한 증거다" 라고 서명한 셈 이에요.

구조만 뽑아보면 이래요.

• 광고주는 혼자 RCT 못 돌림
• 매체는 돌려줄 수 있지만 큰 광고주한테만 열어줌
• 열어줘도 그 매체가 고른 방법론에 따라 숫자가 달라짐
• 그 방법론 선택을 매체가 혼자 함 (자기한테 유리한 쪽으로 기울 수밖에 없음)
• 매체 스스로도 "이건 가장 약한 증거" 라고 인정

그래서 결국

지난 글에서 "RCT가 최선" 이라고 몇 번이고 말했어요. 지금도 맞아요. RCT가 가장 깨끗한 측정 방법이라는 사실은 변하지 않아요.

다만 광고판에서는 그 최선을 돌리는 것 자체가 쉽지 않아요. 광고주는 혼자 돌릴 방법이 없고, 매체는 주차장, 몰림, 못 본 사람 섞임, 다른 사람 같은 함정들 때문에 깨끗하게 측정하기가 쉽지 않고, 그마저도 큰 광고주한테만 열어주고, 방법론에 따라 결과가 매번 흔들려요. 솔직히 말하면 "진짜 광고 효과" 가 뭔지 아무도 정확히 몰라요. 매체도, 광고주도.

이제 서두 사장님 이야기로 돌아가볼게요. 같은 캠페인을 세 번 돌렸는데 +18%, +7%, -3% 가 나왔던 그 상황. 왜 그랬을까요. 지금까지 다룬 네 가지 함정 (주차장, 몰림, 못 본 사람, 다른 사람) 과 다루지 않은 다른 함정들, 그리고 매체가 쓰는 방법론 자체의 한계가 서로 다른 크기와 방향으로 뒤섞여서 매번 측정을 왜곡해요. 게다가 사장님 같은 소규모 광고주는 유저 샘플 자체가 작아서 매번 다른 사람이 뽑히는 "샘플 운" 까지 더해져요. 이 모든 게 매번 예측할 수 없는 크기와 방향으로 겹쳐지면서 +18, +7, -3 이 나온 거예요. 어느 쪽으로 얼마나 쏠릴지 사장님도, 매체도 모르는 상태로 결과만 받아보는 거죠. 매체 담당자가 "더 긴 기간, 더 큰 샘플 돌리시면 안정화됩니다" 라고 답한 건 사실 셋 중 '샘플 운' 하나만 짚은 답이에요. 샘플을 키우면 샘플 운 쪽 흔들림은 줄지만 함정과 방법론 한계는 그대로 남아요.

여기서 끝이 아니에요. 사실 더 큰 문제가 있어요.

실제 광고주 사장님은 광고 캠페인을 한 매체에만 돌리지 않아요. A 매체에서 피자 광고 10개, B 매체에서 20개, C 매체에서 15개, D에서 5개 식으로 수십, 수백 개 캠페인을 동시에 돌려요. 게다가 "피자 좋아하는 사람" 같은 비슷한 타깃을 여러 매체가 다 같이 노리기 때문에, 유저 한 명이 하루 안에 여러 매체에서, 여러 광고를 섞어서 보게 되는 거예요. 그러고 매장에 가서 피자를 사죠. 그 매출이 어느 매체의 어느 캠페인 효과였는지 어떻게 가려요?

한 캠페인 하나 RCT도 이렇게 깨지는데, 수십 개 캠페인이 서로 영향 주면서 돌아가는 걸 측정하는 건 거의 불가능한 수준이에요. 사장님 매출은 한 덩어리로 들어오는데, 그걸 어느 광고 공으로 얼마씩 돌려야 할지 아무도 명확히 모르는 거죠.

매체 안쪽에서는 여러 함정이 자동으로 걸리고, 매체 바깥에선 매체끼리 섞이고. "그래서 광고 효과가 얼마야?" 에 대한 하나의 깨끗한 정답은 사실상 아무도 몰라요. 매체도, 광고주도.

그런데 사장님 입장에선 마케팅을 안 할 순 없잖아요. 매일 광고비는 쓰고, 어디에 얼마 쓸지 결정은 해야 되고, 효과 좋은 광고엔 돈 더 쓰고 안 좋은 광고는 빼야 되고. "정답 모르니까 가만히 있자" 가 안 돼요.

그래서 산업은 "완벽한 진실" 을 포기하고 "다 같이 쓸 공통 측정 룰" 을 만들었어요. 완전한 답은 아니지만 모두가 같은 기준으로 보니까, 적어도 그 룰 안에서는 "광고 A가 B보다 낫다" 같은 상대 비교가 가능해지는 룰. 그 "다 같은 룰" 을 운영하고 측정해주는 사업자가 등장했는데, MMP (Mobile Measurement Partner) 라고 불러요.

MMP는 매체 밖에 서서 광고주를 대신해, 매체끼리 다 똑같은 룰 (한 건의 매출이 발생했을 때 그 공을 어느 광고에 돌릴지 정하는 공통 기준) 을 적용해서 "A 매체 광고가 매출을 얼마나 만들었나, B 매체는 얼마나?" 를 정리해줘요. 매체끼리 겹치는 유저 (한 명이 여러 매체 광고 다 본 경우) 를 중복 제거해주고, 사기 광고 걸러주고, 모바일 앱 설치 추적 같은 일도 하죠. 광고 효과 측정은 MMP의 여러 역할 중 하나예요.

다음 글은 이런 걸 다룰 예정이에요.

• MMP가 정확히 뭘 하는지 (왜 생겼고, 어떤 측정 룰 (예: last-touch) 을 쓰고, 왜 그 룰이 "완벽히 틀렸는데도 산업 표준" 이 됐는지)
• 그리고 그 숫자를 보고 광고주들이 어떻게 판단하는지 (완벽한 답은 아니지만 이걸로 무슨 결정을 어떻게 내리는지)

마지막 한 줄. RCT가 최선인 건 변함없어요. 그런데 광고판에선 그 최선을 혼자 돌릴 수가 없어요. 매체 안에선 네 가지 함정에 걸리고, 매체 밖에선 심판이 또 따로 필요하고, 심판한테도 완벽한 답은 없어요. 광고 측정이라는 게 그래요, 깨끗한 숫자 하나 찾아가는 길에 안전지대가 거의 없어요.