그 설치, 광고 없었어도 생겼을까요
지난 글 "룰만 바꿔도 승자가 바뀌어요"에서는 유저가 광고 여러 개를 보고 앱을 깔았을 때, 그 설치 1건을 광고들이 얼마씩 나눠 가질지 정하는 룰 여덟 가지를 봤어요. 설치를 광고별로 나누는 이 일을 어트리뷰션이라고 하고, 각 광고가 받는 몫을 크레딧이라고 해요. 설치 1건의 크레딧은 1이고, 유저가 본 광고들끼리 그 1을 나눠 가져요.
이번에도 피자 가게 사장님 이야기로 가볼게요. 사장님은 앱으로 주문을 받고, 여러 매체에 광고를 돌려요. 어느 광고 덕분에 설치가 생겼는지는 MMP(Mobile Measurement Partner, 모바일 측정 파트너)라는 측정 회사가 집계해서 리포트로 보내줘요. MMP가 기본으로 쓰는 룰은 라스트터치 어트리뷰션이에요. 설치 직전에 마지막으로 누른 광고 하나가 크레딧 1을 다 가져가는 방식이죠. 이 글에선 줄여서 라스트터치라고 부를게요.
이번 달 MMP 리포트에서 광고 몫으로 찍힌 설치는 네 광고를 합쳐 1,400건이에요(이 글의 숫자는 전부 예시예요).
- Apple 검색 광고 600건: 앱스토어에서 사장님 앱 이름을 검색하면 결과 맨 위에 뜨는 광고
- AppLovin 광고 400건: 게임 같은 다른 앱을 쓰다가 중간에 뜨는 광고
- Snapchat 광고 300건: Snapchat 피드 사이에 뜨는 광고
- TikTok 광고 100건: TikTok에서 짧은 영상 사이에 나오는 동영상 광고
매체 이름은 장면을 떠올리기 쉽게 붙였을 뿐이고, 숫자는 실제 그 매체의 성과와 상관없어요.
리포트에는 이 1,400건 말고도 한 줄이 더 있어요. 어느 광고도 크레딧을 받지 않은 설치로, 보통 오가닉(organic)이라고 불러요. 이 글이 따져 보려는 건 "광고 몫으로 찍힌 설치가 정말 광고 덕분인가"라서, 광고 크레딧을 받지 않은 오가닉은 빼고 광고 몫 1,400건만 볼게요.
사장님 생각은 단순해요. "Apple 검색 광고가 제일 많이 데려오네. 여기가 효율이 좋은가 보다. 예산을 늘리자."
MMP 리포트가 깔고 있는 두 전제
"Apple 검색 광고 예산을 늘리자"는 사장님 판단이 맞으려면, 리포트에 찍힌 600명을 정말 Apple 검색 광고가 데려왔어야 해요. 그런데 지난 글에서 본 어트리뷰션 룰 여덟 가지는, 라스트터치를 포함해서 모두 두 전제 위에서 크레딧을 나눠요.
첫째 전제. 유저가 본 광고 중 적어도 하나는 설치에 영향을 줬다.
둘째 전제. 그 설치는 전부 광고들 덕분이다.
여덟 가지 어트리뷰션 룰은 모두 이 두 전제를 맞다고 깔고, 그 위에서 광고들끼리 1을 어떻게 나눌지만 정해요. MMP 리포트 숫자도 마찬가지예요. 그런데 이 두 전제는 정말 맞을까요? 전제마다 이렇게 되물어 볼 수 있어요.
- 첫째 전제에는: 본 광고가 정말 설치에 영향을 줬을까?
- 둘째 전제에는: 그 설치 1건이 정말 전부 광고 덕분일까?
이번 글은 이 두 질문을 하나씩 따라가 볼게요.
첫째 질문: 광고가 정말 영향을 줬을까요?
엠마라는 유저가 있어요. 엠마의 친구가 엠마에게, 사장님 가게 피자가 정말 맛있으니 앱으로 시켜 보라고 했어요. 엠마는 그 말을 듣고 이 앱을 깔기로 100% 마음을 굳혔어요. 앱스토어에서 앱 이름을 검색했더니 맨 위에 사장님의 Apple 검색 광고가 떴고, 엠마는 그걸 눌러서 앱을 깔았어요.
라스트터치는 이 설치의 크레딧 1을 Apple 검색 광고에 줘요. 엠마가 마지막으로 누른 광고니까요. 그런데 광고가 없었다면 어땠을까요? 이미 마음을 굳힌 엠마는 바로 아래 뜨는 일반 검색 결과에서 사장님 앱을 눌러 똑같이 깔았을 거예요. 이 설치를 만든 건 친구지, 광고가 아니에요. 첫째 전제가 틀린 경우죠. 광고는 크레딧 1을 받았지만, 이 설치에서 딱히 한 일은 없어요.
참고로 이렇게 자기 브랜드 이름을 검색했을 때 뜨는 광고를 브랜드 검색 광고라고 해요. 브랜드 검색 광고에서는 엠마처럼, 광고가 없어도 어차피 깔 사람이 광고를 누르는 일이 흔해요. 이미 이름을 알고 검색한 사람이라, 광고가 없으면 바로 아래 일반 검색 결과를 누르면 되니까요. 미국 쇼핑몰 eBay는 검색 엔진 몇 곳에서 "ebay"를 검색하면 뜨던 자기 광고를 아예 멈춰 본 적이 있어요. 그러자 광고로 들어오던 클릭의 99.5%가 바로 아래 일반 검색 결과로 옮겨 갔어요. 광고를 꺼도 잃은 클릭이 거의 없었던 거예요(원 논문).
둘째 질문: 설치 1건이 전부 광고 덕분일까요?
이번엔 미아예요. 미아도 어디선가 사장님 앱 이름을 듣고 검색했어요. 그런데 검색할 때까지도 엠마처럼 마음을 굳힌 상태는 아니었어요. 깔아 볼까 말까 반쯤 고민하면서 검색한 거죠. 검색 결과 맨 위에 사장님 광고가 크게 떠 있으니 "그래, 이거 깔자" 하고 눌렀어요.
미아의 경우엔 광고가 영향을 줬어요. 반쯤 고민하던 미아가 "그래, 이거 깔자" 하고 마음을 정한 건 눈에 크게 띈 광고 때문이었으니까요. 그러니 미아에겐 첫째 전제가 맞아요.
그런데 이 설치 1건이 전부 광고 덕분일까요? 광고가 없었다면 어땠을지 생각해 볼게요. 미아는 원래 반쯤 깔 생각이 있었어요. 그래서 광고가 없었다면 바로 아래 일반 검색 결과를 보고 깔았을 수도 있고, 다른 피자 앱으로 넘어가 안 깔았을 수도 있어요.
광고가 망설이던 미아의 등을 떠밀어 준 건 맞아요. 하지만 광고가 없었어도 깔았을 가능성이 있으니, 이 설치를 광고 혼자 만들었다고 할 수는 없어요. 그래서 광고 몫은 0보다는 크지만, 1을 다 받을 만큼은 아니에요. 실제로는 1건이 아니라 0.5건쯤만 받는 게 맞았을 수도 있어요. 그런데 MMP 리포트는 미아의 설치에도 1을 다 광고에 줘요. 둘째 전제가 "설치는 전부 광고들 덕분"이라고 깔고 들어가니, 미아가 본 광고가 하나뿐이면 그 광고가 무조건 1을 다 받는 거예요.
그럼 미아의 설치에서 광고 몫은 정확히 얼마일까요? 이건 알 수가 없어요. 리포트에서 보면 미아의 설치나 엠마의 설치나 똑같이 "Apple 검색 광고 1건"이에요. 둘 다 광고를 눌렀고, 둘 다 깔았어요. 광고 덕분에 깐 사람인지, 원래 깔 사람이었는지 겉으로는 구분이 안 돼요. 왜 그런지는 조금 뒤에서 자세히 볼게요.
거꾸로, 리포트가 덜 잡는 광고도 있어요
광고가 실제로 데려온 설치가 MMP 리포트 숫자보다 더 많은 광고도 있어요. 올리비아는 TikTok에서 영상을 넘기다 사장님 앱 광고를 봤어요. 그땐 그냥 넘겼는데, 며칠 뒤 피자가 먹고 싶어서 생각난 앱 이름을 검색했고, 맨 위 Apple 검색 광고를 눌러 앱을 깔았어요.
올리비아의 설치는 MMP 리포트에 Apple 검색 1건, TikTok 0건으로 찍혀요. 마지막에 누른 광고가 Apple 검색 광고니까요. 그런데 TikTok 광고가 없었다면 올리비아는 앱 이름을 몰랐을 거고, 검색도 설치도 안 했을 거예요. 마지막에 누른 Apple 검색 광고도 조금은 거들었겠지만, 이 설치를 주로 만든 건 TikTok이에요. 그런데 리포트의 TikTok 몫은 0이에요.
정리하면, MMP 리포트 숫자는 광고에 따라 실제보다 많게 찍히기도 하고(엠마, 미아의 Apple 검색), 적게 찍히기도 해요(올리비아의 TikTok). Apple 검색 600건뿐 아니라 네 광고 1,400건 모두 마찬가지예요.
그러니 사장님이 정말 알고 싶은 건 리포트 숫자가 아니라 이거예요. 이 광고가 진짜로 만든 설치는 몇 건일까?
광고가 설치를 "진짜로 만들었다"는 건, 그 광고가 없었다면 그 설치도 없었다는 뜻이에요. 엠마와 올리비아로 확인해 볼게요. 엠마의 설치는 Apple 검색 광고를 꺼도 생겼을 거예요. 그러니 Apple 검색 광고가 만든 설치가 아니에요. 올리비아의 설치는 TikTok 광고를 끄면 사라져요. 그러니 TikTok 광고가 만든 설치예요. 이 글에선 올리비아처럼 그 광고를 껐다면 사라졌을 설치를 광고가 만든 설치라고 부를게요. 엠마처럼 광고를 꺼도 어차피 생겼을 설치는 광고 없이도 생겼을 설치라고 부를게요.
이 기준으로 리포트 숫자를 다시 보면 이래요. 리포트에는 Apple 검색 광고 설치가 600건 찍혔어요. 리포트 말대로 600건이 전부 이 광고 덕분이라면, 이 광고를 껐을 때 설치도 600건 줄어야 해요. 하지만 엠마처럼 광고가 없어도 깔 사람은 그대로 깔 테니, 실제로 줄어드는 건 예를 들어 60건뿐일 수도 있어요. 그러면 600건 중 광고가 만든 설치는 60건이고, 나머지 540건은 광고 없이도 생겼을 설치예요. 이렇게 광고를 켰을 때와 껐을 때의 설치 수 차이, 곧 광고가 만든 설치 수를 인크리멘털리티(incrementality)라고 해요. 우리말로는 증분 효과라고도 해요.
반대로 광고가 만든 설치가 리포트 숫자보다 많을 때도 있어요. 올리비아의 설치는 TikTok 광고가 만든 설치인데, 리포트에는 Apple 검색 몫으로 찍혀 있었죠. 그래서 TikTok 광고를 끄면 줄어드는 설치가, 리포트의 TikTok 숫자보다 많을 수 있어요.
그럼 미아의 설치는 어떨까요? 광고가 만든 설치일까요, 광고 없이도 생겼을 설치일까요? 여기서 막혀요. 미아가 광고를 못 봤다면 어떻게 했을지 알 수가 없거든요. 사실 엠마와 올리비아도 이 글에서 속사정을 다 정해 둔 예시라서 답할 수 있었던 거예요. 현실에서는 누구의 설치든, 한 사람씩은 이 질문에 답할 수 없어요.
왜 한 사람씩은 잴 수 없을까요
미아의 설치가 광고 덕분인지 알려면 비교할 대상이 있어야 해요. 같은 날, 같은 시간, 같은 미아가 광고를 안 봤을 때 어떻게 했을지요. 광고를 안 본 미아도 앱을 깔았다면 광고 덕분이 아니에요. 광고를 안 본 미아는 안 깔았다면 광고 덕분이에요.
문제는 광고를 안 본 미아가 현실에 없다는 거예요. 미아는 이미 광고를 봤으니까요. 시간을 되돌려서 광고만 빼고 그 순간을 다시 보여줄 수는 없어요.
그럼 다음 날 미아에게 광고만 빼고 같은 검색 화면을 다시 보여주면 어떨까요? 이것도 안 돼요. 다음 날의 미아는 어제 광고에서 앱 이름을 한 번 더 본 사람이라, 앱이 어제보다 익숙해요. 게다가 이미 앱을 깔았고요. 어제의 미아와 조건이 달라서, 비교 대상이 될 수 없어요.
미아에게 직접 물어보는 것도 답이 안 돼요. 앱을 깐 수천 명에게 일일이 물어볼 수도 없고, 물어본다 해도 대답을 다 믿을 수가 없어요. 사람은 자기가 왜 앱을 깔았는지 정확히 모르고, 기억도 흐려요.
한 사람을 놓고는 "광고를 본 세계"와 "안 본 세계" 중 하나만 볼 수 있어요. 마치 평행우주처럼, 다른 쪽 세계는 볼 수가 없죠. 그래서 한 사람 단위로는 광고 효과를 잴 수가 없어요.
그럼 방법이 없을까요? 있어요. 한 사람 대신, 사람을 여럿 묶은 그룹으로 보면 돼요.
한 사람은 다른 사람으로 대신할 수 없어요. 미아와 똑같은 사람은 세상에 없으니까요. 그런데 사람이 많이 모이면 얘기가 달라져요. 사람들을 고르게 섞어서 1만 명짜리 그룹 두 개로 잘 나누면, 한 사람 한 사람은 제각각이어도 그룹 전체의 모습은 거의 같아질 수 있어요. 피자를 좋아하는 사람의 비율도, 배달 앱을 자주 켜는 사람의 비율도 두 그룹이 비슷해지는 거예요. 그러면 두 그룹에서 앱을 까는 비율, 곧 설치 비율도 거의 같게 나와요. 단, 사람 수만 많다고 되는 건 아니에요. 어떻게 나누느냐가 중요한데, 그 방법은 조금 뒤에서 볼게요.
동전으로 생각해 보면 쉬워요. 동전을 한 번 던지면 앞이 나올지 뒤가 나올지 몰라요. 그런데 1만 번 던지기를 두 번 하면, 두 번 모두 앞면이 거의 절반으로 비슷하게 나와요. 한 번 한 번은 제각각이어도, 많이 모으면 묶음끼리는 닮아요.
이제 이렇게 잘 나눠서, 광고를 보느냐 안 보느냐 말고는 모든 게 비슷한 두 그룹을 만들었다고 해볼게요. 나이도, 피자 취향도, 배달 앱을 켜는 횟수도, 그 밖에 우리가 모르는 사정까지 두 그룹이 평균적으로 비슷해요. 이 중 한 그룹에만 광고를 보여줬어요. 그러면 광고를 안 본 그룹의 설치 비율이 곧 "광고를 본 그룹이 만약 광고를 안 봤다면" 나왔을 설치 비율이에요. 두 그룹은 광고 말고는 다른 게 없으니까요. 한 사람의 평행우주는 못 만들어도, 그룹의 평행우주는 만들 수 있는 거예요. 이렇게 광고 말고는 다 비슷해서, 한쪽이 다른 쪽의 "광고를 안 봤다면"을 대신 보여줄 수 있는 두 그룹을 비교 가능한 두 그룹이라고 해요.
그러면 광고 효과는 두 그룹의 설치 비율 차이로 나와요. 예를 들어 광고를 본 그룹은 100명 중 5명(5%)이 깔았고, 안 본 그룹은 100명 중 1명(1%)이 깔았다면, 광고가 100명당 4명을 더 깔게 만든 거예요. 미아 한 사람이 광고 덕분에 깔았는지는 끝내 몰라도, 광고가 설치 비율을 얼마나 올렸는지는 알 수 있어요.
이 글에선 이 비율을 "1만 명당 몇 명"으로도 쓸게요. 100명당 4명은 1만 명당 400명이에요. 1만 명이라는 숫자가 중요한 게 아니라, 비율을 보기 쉬운 단위로 바꾼 거예요.
반대로, 광고를 본 그룹엔 피자를 좋아하는 사람이 많고, 안 본 그룹엔 피자를 별로 안 좋아하는 사람이 많다면 어떨까요? 똑같이 100명 중 5명 대 1명이 나와도, 그 차이가 광고 때문인지 원래 피자를 좋아해서인지 알 수 없어요. 광고가 없었어도 피자를 좋아하는 쪽이 더 많이 깔았을 테니까요. 이때 광고를 안 본 그룹은 광고를 본 그룹의 평행우주가 될 수 없어요. 이런 두 그룹은 비교 가능하지 않아요.
이 글에서 가장 중요한 이야기라 한 번 더 정리할게요.
한 사람으로는 광고 효과를 잴 수 없어요. 대신 광고를 본 그룹과 안 본 그룹을 비교하면 잴 수 있어요. 단, 두 그룹이 광고 말고는 다 비슷해야, 곧 비교 가능해야 해요. 뒤에 나오는 측정 방법은 전부 이 비교 가능한 두 그룹을 어떻게 만드느냐의 차이예요.
비교 가능한 두 그룹을 어떻게 만들까요
어려운 건 비교 가능한 두 그룹을 구하는 거예요. 방법은 크게 두 갈래예요.
- 실험 방법: 광고를 내보내기 전에 사장님이 일부러 두 그룹을 비교 가능하게 나누고, 한쪽엔 광고를 보여주고 다른 쪽은 광고를 꺼요.
- 관찰 방법: 실험을 못 할 때, 이미 광고가 나간 뒤 쌓인 데이터에서 광고를 본 사람과 못 본 사람 중 비슷한 사람끼리 골라 두 그룹을 만들고 비교해요.
실험 방법 중에 가장 믿을 만한 건 사람을 랜덤으로 나누는 실험이에요. 그게 어려우면 사람 대신 지역이나 날짜를 나눠서 실험하고, 실험 자체가 어려우면 관찰 방법으로 가요. 이 순서대로 볼게요.
1. 사람을 랜덤으로 나누는 실험
가장 좋은 방법은 사람을 동전 던지기로 나누는 거예요. 앞면이 나온 사람에겐 광고를 보여주고, 뒷면이 나온 사람에겐 안 보여줘요. 이걸 랜덤 실험이라고 하고, 영어로는 RCT(Randomized Controlled Trial)라고 해요. 이때 광고를 안 보여주고 남겨두는 쪽을 홀드아웃(holdout)이라고 불러요.
왜 하필 동전일까요? 사장님이 직접 고르면 아무래도 치우쳐요. 보통은 "살 것 같은 사람한테 먼저 보여주자"고 고르죠. 그러면 광고를 본 쪽에 원래 깔 사람이 몰려서 광고 효과가 실제보다 커 보여요. 반대로 "단골은 어차피 깔 테니 빼자"고 고르면 효과가 작아 보이고요. 사람이 고르면 결과가 어느 쪽으로 얼마나 틀어졌는지도 알 수 없어요. 동전은 그런 사정을 몰라요. 그래서 원래 깔 사람도, 안 깔 사람도, 피자를 좋아하는 사람도, 싫어하는 사람도 앞면 팀과 뒷면 팀에 고르게 들어가요. 나이나 소득처럼 데이터로 볼 수 있는 특징이든, 그날 기분처럼 어디에도 기록되지 않는 특징이든 마찬가지예요. 사람이 충분히 많으면 두 그룹은 광고를 봤느냐 말고는 거의 똑같아져요. 또 두 그룹을 같은 기간에 동시에 실험하니 날씨나 경쟁 앱 이벤트 같은 바깥 사정도 양쪽에 똑같이 와요. 동전 하나로 비교 가능한 두 그룹이 만들어지는 거예요.
예를 들어 볼게요. 매체가 사장님 광고를 보여주려고 고른 사람 2만 명을 랜덤으로 반씩 나눠서, 한쪽 1만 명에게만 한 달 동안 광고를 보여줬어요. 설치는 MMP 리포트에서 어느 광고 몫으로 찍혔는지와 상관없이, 두 그룹에서 생긴 설치를 전부 세요.
- 광고를 본 1만 명 중 500명이 깔았어요. 100명 중 5명이에요.
- 광고를 안 본 1만 명 중에서도 100명이 깔았어요. 100명 중 1명이에요.
광고를 안 본 쪽도 100명 중 1명은 깔았어요. 친구 추천이든 원래 있던 관심이든, 광고가 없어도 깔 사람이 그 정도 있다는 뜻이에요. 두 그룹은 광고 말고는 똑같으니, 광고를 본 쪽에도 그런 사람이 1만 명 중 100명쯤 있었을 거예요. 그러니 광고를 본 쪽 500명은 이렇게 나뉘어요.
- 광고 없이도 깔았을 사람: 100명
- 광고 덕분에 깐 사람: 400명
한 사람만 봐서는 알 수 없던 광고 효과를, 그룹으로 모으니 잴 수 있게 됐어요. 광고는 100명당 4명꼴로 설치를 더 만들었고, 광고를 본 사람이 1만 명이니 광고가 만든 설치는 400건이에요. 광고를 본 사람이 2만 명이었다면 800건이 됐겠죠. 실험이 알려 주는 건 이 비율이고, 건수는 광고를 본 사람 수에 따라 달라져요.
랜덤 실험의 약점은 광고주 혼자서는 하기 어렵다는 거예요. 누구에게 광고를 보여줄지는 매체가 정하는데, 매체는 광고를 랜덤으로 보여주지 않아요. 설치할 것 같은 사람을 골라 보여주고, 그 사람이 클릭하고 설치해야 돈을 벌거든요(뒤의 관찰 방법에서 자세히 볼게요). 그래서 사장님이 직접 동전을 던져 사람을 나눌 수가 없어요. 대신 큰 매체들은 광고비를 꽤 쓰는 광고주가 요청하면 이런 실험을 대신 돌려줘요.
다만 매체가 돌려준 실험에는 아쉬운 점이 두 가지 있어요. 하나는 광고주가 결과를 검산할 수 없다는 거예요. 매체는 "광고가 만든 설치는 400건"이라는 결과는 알려 주지만, 누가 어느 그룹이었고 어떻게 계산했는지 같은 원자료는 보통 주지 않아요. 광고주는 매체가 "제대로 실험해서 쟀다"고 말하는 자기 광고 성적을 그냥 믿을 수밖에 없죠. 다른 하나는 그 매체 광고만 재 준다는 거예요. TikTok이 돌려준 실험은 TikTok 광고 효과만 알려 줘요. 네 광고를 다 재려면 매체마다 따로 해야 해요(3편 "광고 효과, 사실 매체도 몰라요"에서 자세히 봤어요).
2. 사람을 못 나누면, 지역이나 날짜를 나눠요
사람을 나눌 수 없으면 다른 걸 나눠요. 사장님이 직접 정할 수 있는 건 "어느 지역에 광고를 켤지"와 "어느 날 광고를 켤지"예요.
지역으로 나누기. 가장 단순한 방법은 서로 비슷한 두 도시를 찾는 거예요. 인구도, 날씨도, 주문 습관도 비슷한 A시와 B시가 있다면, A시에서만 광고를 끄고 B시는 그대로 둔 뒤 두 도시의 앱 설치 수를 비교해요. 이런 실험을 지역 실험(geo experiment)이라고 하고, 업계에서는 지오 리프트(geo lift) 테스트라고도 불러요.
A시와 꼭 닮은 도시가 있으면 좋지만, 그런 도시를 찾기 어려울 때가 많아요. 그럴 땐 여러 도시를 섞어서 "가상의 A시"를 만들어요. 광고를 끄기 전 몇 달 치를 보니, B시 50%, C시 30%, D시 20% 비율로 섞은 설치 흐름이 A시와 거의 똑같이 오르내렸다고 해볼게요. 어느 주에 B시가 30건, C시가 20건, D시가 40건이었다면 15 + 6 + 8 = 29건이 그 주 가상의 A시 설치예요. 이렇게 여러 지역을 섞어 만든 비교 대상을 합성 통제군(synthetic control)이라고 해요.
광고를 켜 둔 동안엔 실제 A시와 가상의 A시가 거의 겹쳐 움직였어요. 그런데 A시에서 광고를 끈 뒤로 실제 A시 설치가 가상의 A시보다 낮아졌어요. 이 벌어진 만큼이 A시에서 광고가 만든 설치예요.
지역 실험에도 한계가 있어요.
- 도시는 완전히 같을 수 없어요. 아무리 비슷한 도시를 골라도 조금씩 달라요. 여러 도시를 섞어 만든 가상의 A시도 마찬가지예요. 광고를 끄기 전 흐름을 맞춘 것뿐이라, 실험 기간에 A시에서만 축제가 열리거나 경쟁 앱이 이벤트를 하면 결과가 흔들려요.
- 도시마다 매체가 광고를 어떻게 돌리는지 몰라요. A시에서 광고를 끄면, 매체가 남은 광고비를 B시에 더 쓸 수 있어요. 그러면 B시 설치가 평소보다 늘어서 광고 효과가 커 보여요. 위치 정보를 끈 유저도 있어서, 도시 경계대로 광고를 정확히 나누기도 어려워요.
날짜로 나누기. 날마다 동전을 던져 그날 광고를 켤지 끌지 정하고, 광고를 켠 날과 끈 날의 설치 수를 비교하는 방법이에요. 이 글에선 이걸 날짜 실험이라고 부를게요. 업계에서는 스위치백(switchback) 테스트라고 해요. 왜 굳이 날마다 동전을 던질까요? 그냥 광고를 한 주 꺼 보면 안 될까요? 광고를 켠 지난주와 광고를 끈 이번 주의 설치 수를 비교하는 거죠. 지난주엔 하루 평균 80건이 깔렸는데 이번 주엔 75건이었다면, 줄어든 5건이 광고가 만든 설치일까요?
꼭 그렇진 않아요. 지난주와 이번 주는 광고 말고도 다른 게 달라요. 예를 들어 이번 주에 비가 계속 와서 배달 앱을 찾는 사람이 늘었다고 해볼게요. 광고를 꺼서 설치가 10건 줄었는데, 비 때문에 5건이 다시 늘어서 75건이 됐을 수 있어요. 그러면 광고가 만든 설치는 실제로 10건인데, 숫자로는 5건만 줄어서 광고 효과가 실제보다 작아 보여요.
반대로 이번 주에 경쟁 피자 앱이 반값 쿠폰을 뿌려서 사람들이 그쪽으로 갔다고 해볼게요. 광고를 꺼서 10건이 줄고, 쿠폰 때문에 10건이 더 줄어서 60건이 됐어요. 그러면 20건이 줄어든 게 전부 광고 탓처럼 보여서, 광고 효과가 실제보다 커 보여요.
이렇게 서로 다른 두 주는 날씨, 이벤트, 경쟁 앱 같은 사정이 달라서, 보통은 비교 가능한 두 그룹이 아니에요.
그래서 한 주를 통째로 끄지 않고, 날마다 동전을 던져서 그날 광고를 켤지 끌지 정하는 거예요. 그러면 비 오는 날도, 쿠폰이 뿌려진 날도 켠 날과 끈 날에 고르게 나뉘어요. 사람을 동전으로 나눴을 때와 같은 원리로, 켠 날들과 끈 날들이 비교 가능한 두 그룹이 되는 거예요. 예를 들어 석 달 동안 이렇게 했더니 광고를 켠 날은 하루 평균 22건, 끈 날은 20건이 깔렸다면, 광고가 만든 설치는 하루 2건이에요. 미국 배달 앱 DoorDash도 앱 마켓 검색 광고를 이렇게 쟀어요. 사람을 랜덤으로 나눌 수도, 지역을 정확히 나눌 수도 없어서, 날마다 광고를 켤지 끌지 랜덤으로 정하고 켠 날과 끈 날의 앱 다운로드를 비교했어요(DoorDash 엔지니어링 블로그).
날짜 실험에도 한계가 있어요.
- 광고를 보고 며칠 뒤에 까는 사람은 잘 못 잡아요. 예를 들어 광고가 켜진 월요일에 광고를 보고, 수요일에 앱을 깐 사람이 있다고 해볼게요. 마침 수요일이 광고를 끈 날이면, 이 설치는 광고 덕분인데도 끈 날의 설치로 세어져요. 이런 사람이 많을수록 끈 날 설치가 늘어서, 켠 날과 끈 날의 차이가 실제보다 작게 나와요. DoorDash도 자기들 실험을 소개하면서, 이 방법은 광고를 누르고 바로 앱을 까는 경우에 잘 맞는다고 밝혔어요.
- 매일 켜고 끄기가 쉽지 않아요. 우선 손이 많이 가요. 날마다 누군가 광고를 켜거나 꺼야 하니까요. 매체 쪽 문제도 있어요. 매체는 광고를 돌리면서 어떤 사람에게 보여줘야 잘 깔리는지 조금씩 배워 가요(이걸 보통 최적화라고 해요). 그런데 광고를 껐다 켜면 그동안 배운 게 흐트러지거나 처음부터 다시 배워야 할 수 있어요. 그러면 켠 날의 성과가 평소보다 떨어져서, 광고 효과가 실제보다 작게 나올 수 있어요. 마지막으로 시간이 오래 걸려요. 사람을 나누는 실험은 며칠 만에도 수천 명씩 모이지만, 날짜 실험은 하루가 한 칸이에요. 켠 날과 끈 날을 비교할 만큼 모으려면 몇 달이 걸리기도 해요.
3. 실험을 못 하면, 쌓인 데이터로 비교 가능한 그룹을 만들어요
실험을 못 할 땐 이미 광고가 나간 뒤에 쌓인 데이터를 써요. 광고를 일부러 켜고 끄는 대신, 이미 일어난 일을 관찰한 데이터 속에서 비교 가능한 두 그룹을 최대한 만들어 비교하는 거예요. 앞에서 말한 관찰 방법이에요. 먼저 가장 쉬운 방법, 광고를 본 사람과 못 본 사람을 그냥 나눠서 비교하면 어떻게 되는지 볼게요.
앞에서 랜덤 실험으로 쟀던 그 광고를, 이번엔 실험 없이 쌓인 데이터로 재 본다고 해볼게요. 광고를 실제로 본 사람과 못 본 사람을 그냥 나눠서 설치 비율을 비교하는 거예요. 광고를 본 사람은 1만 명 중 500명이 깔았고, 못 본 사람은 1만 명 중 20명이 깔았어요. 차이는 1만 명당 480명이에요. 같은 광고인데 랜덤 실험에서는 400명이었죠. 왜 더 크게 나왔을까요?
두 그룹이 처음부터 비교 가능하지 않았기 때문이에요. 매체는 광고를 아무에게나 보여주지 않아요. 광고비를 낸 사장님 광고가 설치로 잘 이어지도록, 깔 것 같은 사람을 골라서 보여줘요. 예를 들어 피자 사진에 좋아요를 많이 누른 사람 같은 경우죠. 그래서 광고를 못 본 그룹엔 매체가 "이 사람은 안 깔 것 같다"고 거른, 원래 피자 앱에 관심이 적은 사람이 많아요.
쉽게 말해, 광고를 본 쪽에는 원래 깔 사람이 몰려 있고, 못 본 쪽에는 원래 안 깔 사람이 몰려 있어요. 광고가 없었어도 두 그룹은 이미 설치 수가 달랐을 거예요. 그냥 비교하면 이 원래 있던 차이까지 광고 덕분으로 쳐서, 광고 효과가 실제보다 커 보여요. 480명과 400명의 차이인 80명이 바로 그 몫이에요. 공정하지 않은 비교죠.
그래서 생각해 낸 게 매칭(matching)이에요. 광고를 본 사람마다, 못 본 사람 중에서 가장 비슷한 사람을 하나씩 골라 짝을 지어요. 그리고 짝지은 사람만 모아 두 그룹을 새로 만들어요. 짝끼리 비슷하니, 새로 만든 두 그룹도 비슷해져요. 그 두 그룹을 비교하는 거예요.
그런데 "비슷하다"는 게 뭘까요? 광고를 본 알렉스의 짝을, 광고를 못 본 벤과 크리스 중에서 골라야 한다고 해볼게요.
| 광고 | 나이 | 일주일에 배달 앱을 켠 횟수 | |
|---|---|---|---|
| 알렉스 | 봤음 | 27세 | 5번 |
| 벤 | 못 봤음 | 41세 | 5번 |
| 크리스 | 못 봤음 | 28세 | 1번 |
나이로 보면 크리스가, 배달 앱으로 보면 벤이 더 비슷해요. 기준이 둘만 돼도 누가 더 비슷한지 정하기 어려워요. 그런데 실제로는 둘로 끝나지 않아요. 광고를 볼지 말지에도, 앱을 깔지 말지에도 영향을 줄 만한 특징은 다 맞춰야 하거든요. 하나라도 빠뜨리면 앞에서 본 "피자 좋아하는 사람만 모인 그룹" 같은 문제가 남아요. 사는 동네, 쓰는 휴대폰, 최근 주문 횟수, 앱을 주로 쓰는 시간대처럼 챙길 게 많다 보니, 맞출 기준이 금방 수십 개로 늘어나요.
그래서 이 일을 컴퓨터에 맡겨요. 나이, 배달 앱을 켠 횟수 같은 정보를 다 넣으면, 컴퓨터가 쌓인 데이터를 보고 이걸 0에서 1 사이 점수 하나로 뭉쳐 줘요. 매체가 광고를 보여줄 만한 사람일수록 점수가 높아요. 이 점수를 성향 점수(propensity score)라고 해요. 점수가 알렉스 0.62, 벤 0.58, 크리스 0.21로 나왔다면, 알렉스와 점수가 비슷한 벤이 짝이에요.
다른 사람들도 이렇게 점수가 비슷한 사람끼리 짝을 지어 양쪽 그룹에 넣어요. 짝이 없는 사람은 비교에서 빼요.
이 방법을 성향 점수 매칭(PSM, Propensity Score Matching)이라고 해요. 이렇게 만든 두 그룹을 비교했더니, 차이가 1만 명당 430명이 나왔다고 해볼게요.
그냥 비교했을 때(480명)보다 랜덤 실험(400명)에 훨씬 가까워졌어요. 부풀린 몫이 80명에서 30명으로 줄었죠. 그래도 딱 맞진 않아요. 왜일까요?
성향 점수는 사장님이 가진 데이터에 있는 정보로만 만들 수 있어요. 나이, 배달 앱을 켠 횟수처럼 데이터에 있는 특징은 맞출 수 있지만, 데이터에 없는 특징은 맞출 수 없어요.
소득을 예로 들어 볼게요. 사장님 데이터엔 소득 정보가 없어요. 그런데 매체는 자기가 가진 데이터로, 소득이 높아 보여서 배달을 자주 시킬 것 같은 사람에게 광고를 더 보여줄 수 있어요. 그러면 성향 점수가 0.62와 0.58로 비슷한 알렉스와 벤이라도, 광고를 본 알렉스는 소득이 높아서 원래부터 배달을 자주 시키는 사람이고, 못 본 벤은 아닐 수 있어요. 이런 짝이 많으면, 광고를 본 쪽 그룹이 더 많이 깔아도 그게 광고 때문인지 원래 배달을 더 시키는 사람이라서인지 섞여요. 앞에서 본 "피자 좋아하는 사람만 모인 그룹"과 같은 문제가, 데이터에 안 보이는 곳에 조금 남아 있는 거예요. 그 남은 몫이 430명과 400명 사이의 30명이에요.
이건 매칭만의 문제가 아니라, 관찰 방법 전체의 한계예요. 관찰 방법은 어떤 방식을 쓰든 데이터에 있는 특징만 맞출 수 있거든요. 랜덤 실험은 동전이 데이터에 있든 없든 모든 특징을 고르게 나눠 주니 이런 걱정이 없고요. 실제로 대형 소셜 매체의 광고 663개를 랜덤 실험과 여러 관찰 방법으로 둘 다 재 본 연구에서도, 관찰 방법이 광고 효과를 더 크게 잡는 경우가 많았어요(Gordon, Moakler, Zettelmeyer 2023).
그렇다고 관찰 방법이 쓸모없다는 건 아니에요. 광고에서는 실험을 하기가 워낙 어려워서, 관찰 방법이 현실적인 선택일 때가 많아요. 광고를 끄지 않아도 되고, 이미 쌓인 데이터로 바로 해 볼 수 있고, 그냥 비교했을 때(480명)보다 훨씬 정확해져요(430명). 숫자가 조금 부풀 수 있다는 것만 알고 쓰면, 아무것도 안 재는 것보다 훨씬 나아요.
세 방법을 한 번에 정리하면 이래요.
| 방법 | 비교 가능한 두 그룹을 어떻게 만드나 | 얼마나 믿을 만한가 |
|---|---|---|
| 랜덤 실험 | 사람을 동전 던지기로 나눠요 | 가장 믿을 만해요. 대신 매체 도움이 필요해요 |
| 지역 실험 | 비슷한 도시를 골라 한쪽에서만 광고를 꺼요 | 꽤 믿을 만해요. 대신 도시끼리 광고 말고도 조금씩 다른 점이 남고, 매체가 광고비를 다른 도시로 옮기면 결과가 흔들려요 |
| 날짜 실험 | 날마다 동전을 던져 광고를 켤 날과 끌 날을 정해요 | 꽤 믿을 만해요. 대신 광고를 보고 며칠 뒤에 까는 사람은 잘 못 잡고, 날마다 켜고 끄면 매체 최적화가 흔들려요 |
| 관찰 | 쌓인 데이터에서 비슷한 사람끼리 짝지어 두 그룹을 만들어요 | 실험 없이, 이미 쌓인 데이터로 바로 할 수 있어요. 대신 데이터에 없는 차이는 못 맞춰서 광고 효과가 부풀 수 있어요 |
그래서 크레딧은 어떻게 나눠 가질까요
이제 이 방법들로 잰 숫자를 가지고 MMP 리포트를 다시 볼게요.
앞의 랜덤 실험을 떠올려 보세요. 실험으로 재 보니 그 광고가 실제로 만든 설치는 400건이었어요. 같은 기간 MMP 리포트에서 그 광고가 받은 크레딧은 500건이었다고 해볼게요. 리포트에 찍힌 1건 중 0.8건만 광고가 만든 셈이에요. 이 0.8처럼, 실험이나 관찰로 잰 숫자를 리포트 숫자로 나눈 값을 이 글에선 보정 비율이라고 부를게요.
보정 비율 = 실험이나 관찰로 잰 광고가 만든 설치 ÷ 같은 기간 리포트에서 그 광고가 받은 크레딧
보정 비율이 1이면 리포트가 정확한 거예요. 1보다 작으면 리포트가 실제보다 많게 찍은 거고, 1보다 크면 실제보다 적게 찍은 거예요. 한 번 구해 두면 리포트 숫자에 곱해서 광고가 만든 설치를 어림할 수 있어요. 500 × 0.8 = 400처럼요.
사장님이 네 광고를 각각 할 수 있는 방법으로 재 봤더니 이렇게 나왔다고 해볼게요. 광고마다 재 본 광고가 만든 설치를 리포트 크레딧으로 나누면 보정 비율이 나와요.
| 광고 | 리포트 크레딧 | 재 보니 광고가 만든 설치 | 보정 비율 |
|---|---|---|---|
| Apple 검색 | 600 | 60 | 60 ÷ 600 = 0.1 |
| AppLovin | 400 | 200 | 200 ÷ 400 = 0.5 |
| Snapchat | 300 | 240 | 240 ÷ 300 = 0.8 |
| TikTok | 100 | 150 | 150 ÷ 100 = 1.5 |
Apple 검색은 보정 비율이 0.1로 가장 낮아요. 리포트 600건 중 광고가 만든 건 60건뿐이라는 뜻이에요. 엠마처럼 광고가 없어도 깔 사람이 리포트에 많이 섞여 있었던 거예요.
TikTok은 보정 비율이 1.5예요. 리포트 값과 상관없이, TikTok 광고를 끄면 설치가 150건 줄어든다는 뜻이에요. 리포트의 TikTok 크레딧(100건)보다 많죠. 앞에서 본 올리비아처럼, TikTok에서 앱을 알고 다른 광고를 눌러 깐 설치까지 같이 줄어서예요.
이제 이번 달 리포트의 1,400건을 다시 볼게요. 라스트터치 리포트는 둘째 전제대로 1,400건을 전부 네 광고 몫으로 나눠 줬어요. 그럼 1,400건 중 광고가 정말 만든 설치는 몇 건이고, 광고 없이도 생겼을 설치는 몇 건일까요? 두 단계로 어림할 수 있어요.
- 네 광고가 진짜 만든 설치를 더해요. 위 표에서 60 + 200 + 240 + 150 = 650건이에요. 네 광고가 각각 만든 설치를 합치면 대략 이만큼이라는 뜻이에요.
- 1,400건에서 650건을 빼요. 남은 750건은 어느 광고를 꺼도 사라지지 않았을 설치예요. 곧 광고 없이도 생겼을 설치예요. 엠마 같은 사람들이죠.
정리하면, 라스트터치 리포트는 1,400건을 어떻게든 네 광고에 전부 나눠 줘야 했어요. 하지만 광고가 실제로 만든 건 650건쯤이고, 나머지 750건은 광고가 없었어도 어차피 깔았을 설치예요. 그런데도 리포트는 이 750건까지 광고 몫이라고 한 거예요.
이 750건은 글 처음에 따로 빼 둔 오가닉과 헷갈리기 쉬운데, 리포트에서 찍힌 칸이 달라요.
- 오가닉: 리포트가 처음부터 "광고 몫 아님"이라고 따로 찍어 둔 설치예요. 광고를 정말 안 보고 깐 설치와, 광고를 봤는데 추적이 안 돼 기록이 안 남은 설치가 섞여 있어요.
- 750건: 리포트가 광고 몫이라고 찍은 1,400건 안에 있던 설치예요. 엠마처럼 광고를 누르긴 했지만, 광고가 없었어도 어차피 깔았을 사람들이죠.
그러니까 750건은 리포트가 광고 덕분이라고 했지만 사실은 광고 덕분이 아니었던 설치예요.
마지막으로 처음 사장님의 판단으로 돌아가 볼게요. 이번 달 광고비는 Apple 검색 180만원, AppLovin 240만원, Snapchat 300만원, TikTok 150만원이었어요. 광고비를 설치 수로 나눈 값, 곧 설치 1건을 얻는 데 든 비용을 CPI(Cost Per Install, 설치당 비용)라고 해요. CPI를 두 가지로 계산해 볼게요. 하나는 광고비를 리포트 크레딧으로 나눈 값이고, 다른 하나는 광고가 만든 설치, 곧 광고를 껐다면 사라졌을 설치로 나눈 값이에요.
| 광고 | 리포트 크레딧으로 계산한 CPI | 광고가 만든 설치로 계산한 CPI |
|---|---|---|
| Apple 검색 | 180만원 ÷ 600 = 3,000원 | 180만원 ÷ 60 = 30,000원 |
| AppLovin | 240만원 ÷ 400 = 6,000원 | 240만원 ÷ 200 = 12,000원 |
| Snapchat | 300만원 ÷ 300 = 10,000원 | 300만원 ÷ 240 = 12,500원 |
| TikTok | 150만원 ÷ 100 = 15,000원 | 150만원 ÷ 150 = 10,000원 |
리포트 크레딧으로 계산하면 Apple 검색이 가장 싸고 TikTok이 가장 비싸요. 그런데 광고가 만든 설치로 계산하면, 곧 광고가 정말 데려온 설치 1건에 돈이 얼마 들었는지로 보면, TikTok이 가장 싸고 Apple 검색이 가장 비싸요(우리 예시에선요). "Apple 검색이 효율이 좋으니 예산을 늘리자"던 사장님의 판단은, 이 표를 보면 다시 따져봐야 해요.
그렇다고 Apple 검색을 바로 끄고 TikTok에 예산을 몰라는 뜻은 아니에요. 광고는 보통 돈을 더 쓸수록 설치 1건을 얻는 비용이 비싸져요. 그래서 TikTok 예산을 크게 늘리면, 지금 10,000원인 CPI가 그대로 유지되지 않을 수 있어요. 예산은 조금씩 옮기면서, 옮길 때마다 다시 재 보는 게 안전해요.
마무리
MMP 리포트의 광고별 숫자 옆에 "광고가 만든 설치", 곧 그 광고를 껐다면 사라졌을 설치 수를 한 줄 더 적어 두면, 같은 1,400건이 전혀 다르게 보여요. 다만 보정 비율은 한 번 재고 끝나는 숫자가 아니에요. 광고 소재, 예산, 시즌, 매체가 광고 볼 사람을 고르는 방식이 바뀌면 비율도 바뀌어요. 그러니 한 번 쟀다고 계속 믿지 말고, 몇 달마다 다시 재고, 바뀐 비율로 다시 나눠 보는 걸 반복해야 해요.
지금까지 본 방법에는 둘 중 하나가 꼭 필요했어요. 실험은 일부러 광고를 안 보여주는 쪽을 만들어야 하는데, 광고에서는 이게 쉽지 않아요. 관찰 방법은 광고를 본 사람과 못 본 사람을 짝지어 비교하니, 누가 광고를 봤고 누가 앱을 깔았는지 사람마다 기록이 있어야 해요. 그런데 iPhone 유저가 앱 추적을 막거나, TV처럼 누가 봤는지 기록이 아예 없을 때도 있어요. 그럴 땐 광고비와 전체 설치 수가 주나 달 단위로 어떻게 같이 움직였는지 보고 광고 효과를 추정해요. 이 방법을 MMM(Marketing Mix Modeling, 마케팅 믹스 모델링)이라고 하고, 다음 글에서 자세히 볼게요.