데이터의 함정

데이터 드리븐 마케팅

‘데이터를 다루는 마케터’는 이미 오래 전부터 익숙한 개념이다. 그러나 데이터를 정말 어떻게 읽어야 하는지는 여전히 막막해 보이는 것이 사실이다. 월간 Di 210호, 211호, 213호에 걸쳐 연재된 ‘데이터 드리븐 마케팅’은 “데이터를 읽는 ‘목표’를 잊지 말라”고 조언한다. 데이터 드리븐 마케팅에서 유의해야 할 사항에 대해 좀 더 구체적으로 살펴보자.

01. 성공적인 데이터 드리븐 마케팅을 위한 6가지 질문
02. 데이터의 함정
03. 데이터 드리븐 마케터의 마인드셋과 스킬

데이터의 함정

데이터는 기업의 자산이며, 경쟁력임을 그 누구도 부정하기 힘들다. 넷플릭스, 아마존, 에어비앤비와 같은 기업이 단기간에 세계적인 위치를 차지한 배후에는 데이터 분석의 힘이 있었다. 그러나 데이터를 활용한 모든 기업이 이와 같은 성공을 거둔 것은 아니다. 오히려 성공하는 기업보다는 실패하는 기업이 훨씬 많다는 사실을 간과해서는 안 된다. 이번에는 데이터 드리븐 마케팅이 실패로 귀결되는 원인에 대해 살펴보고자 한다.

데이터 분석은 정답이 없다

일본 블로거 치키린의 저서 『자신의 머리로 생각하라』는 가상의 프로야구팬의 연령별 구성비 데이터로 재미있는 화두를 제시한다.

위의 표는 ‘프로야구팬의 연령별 구성비의 변화’를 가상으로 나타낸 것이다. 1970년 조사와 2010년 조사에서 표본의 수는 같다고 가정한다. 1970년 조사와 2010년 조사의 가장 뚜렷한 차이는 30대 이하의 연령층이 큰 폭으로 감소하고 40대 이상의 연령층이 큰 폭으로 상승했다는 점이다. 이 데이터를 보면 1970년대 당시의 10~30대들이 여전히 프로야구팬에서 다수를 차지한다고 추론할 수 있을 것이다. 한 걸음 더 나아간다면 ‘새로운 팬층이 유입되지 않는다’는 결론을 내릴 수 있다. 만약 당신이 프로야구와 관련된 상품을 판매하는 사업을 운영 중이라면, 어떻게 대처하겠는가?

이 데이터를 본 사람들은 크게 두 가지 관점을 생각할 수 있다. 첫째, 프로야구의 전망을 비관적으로 보고, 다음 사업 아이템을 계획하는 것이다. 새로운 팬층이 유입되지 않는다는 사실은 곧 시장 규모의 축소를 의미한다. 서서히 프로야구의 상품을 사는 사람도 줄어들 것이다. 둘째, 프로야구의 전망을 낙관적으로 보고, 추가 상품을 개발하는 것이다. 새로운 팬층이 유입되지는 않았지만, 1970년대 당시의 10~30대가 여전히 프로야구에 열광하고 있다면 이는 좋은 신호다. 당시의 10대와 30대가 지금은 경제력을 갖춘 나이가 됐기 때문이다. 따라서 추억의 프로야구 명승부 DVD를 발매하거나 당시 프로야구와 관련된 상품을 개발하면 매출이 지금보다 훨씬 향상될 것이다.

‘분석’의 관점에서는 위 두 가지 모두 ‘틀렸다’고 보기 힘들다. 그러나 아무래도 후자가 성공할 가능성이 높을 것이다. 첫 번째 관점은 다시 어떤 분야의 비즈니스가 성공할지 찾아 나서야 한다. 두 번째 관점은 현재의 상황에서 성공을 이룰 수 있는 적합한 기회를 찾아냈다. 따라서 첫 번째 결론을 내린 사업가의 성공은 여전히 불투명한 반면, 두 번째 결론을 내린 사업가는 성공의 가능성이 높다고 판단할 수 있다. 무조건 긍정적인 판단을 내려야 한다는 얘기는 아니다. 같은 데이터를 두고 마케터는 여러 가지 대안을 생각해낼 수 있다는 점, 그 대안 모두가 항상 옳은 것은 아니라는 점을 말하고 싶다. 우리는 데이터 분석이 아니라 ‘마케팅적인 데이터 분석’을 해야 한다.

데이터 분석, 그중에서도 데이터 드리븐 마케팅을 성공적으로 이끌기 위해서는 넘어야 할 난관이 많다. 데이터 드리븐 마케팅을 실행할 때 발생할 수 있는 오류를 크게 세 가지로 나눠 봤다. 첫 번째는 데이터 드리븐 마케팅의 방법론이 지닌 문제, 두 번째는 분석팀 혹은 분석가의 문제, 세 번째는 조직 문화의 문제다. 위 밴 다이어그램에서 알 수 있듯이, 이 문제들은 서로 중첩되기도 하고 독립돼 있기도 해서 구별하기 힘들 수 있다. 이제부터 하나 하나씩 살펴보기로 하자.

데이터 드리븐 마케팅 방법론의 문제

① 브랜딩

브랜딩은 그 중요성에도 불구하고 측정 방법의 모호함, 단기적인 성과의 절실함 때문에 외면당하는 주제다. 하버드 비즈니스 리뷰 2015년 12월 호에 실린 ‘빅 데이터로 브랜드를 망치지 마라’는 글에서는 브랜딩과 관련한 캐피털원의 사례를 소개한다. 캐피털원은 1988년에 신용카드로 출발해서, 포춘 200대 기업에 오를 정도로 승승장구한 기업이다. 캐피털원의 성공은 프로모션 운영에 데이터 분석을 적극적으로 활용해 효율적인 마케팅을 수행한 덕분이었다. 하지만 이런 성공에도 불구하고, 캐피털원의 CEO는 현재와 같은 상황이 유지되면 기업의 미래가 없다고 판단하고, 브랜딩에 과감한 투자를 하기로 결정한다. 당시 캐피털원이 의뢰한 브랜드 자산 조사 결과, 고객들은 캐피털원을 ‘이메일 많이 보내는 회사’로 기억하는 비율이 매우 높았다고 한다. CEO의 결정이 이해되는 대목이다.

데이터 드리븐 마케팅은 브랜딩을 고려하지 않는 경우가 많다. 브랜딩은 브랜드 아이덴티티의 일관성 유지가 중요한 반면, 데이터 드리븐 마케팅에서는 즉각적인 효과와 효율이 중요하기 때문이다. 신제품을 광고하기로 결정했다고 가정하자. 대개 A/B 테스트를 통해 효율에 따라 유지할지, 어떤 버전을 중지할지 결정한다. 당신이 데이터 드리븐 마케팅의 방법을 충실히 따른다면 지속적으로 이미지와 텍스트를 바꿔가며 가장 효과적인 메시지와 이미지를 찾아낼 것이다. 이처럼 A/B 테스트는 이미지와 광고 문구의 빈번한 변경을 수반하는데, 이 과정에서 브랜딩을 신경 쓰기란 녹록지 않은 일이다.

브랜딩과 데이터 드리븐 마케팅이 절대 양립할 수 없다고는 생각하지 않는다. ‘빅 데이터로 브랜드를 망치지 마라’는 제목은 다소 자극적으로 빅데이터를 비판하는 경향이 있다. 사실 데이터 드리븐 마케팅을 무조건 단기적인 효율 측정에만 활용하라는 법은 없다. 장기적인 브랜딩 전략에 대한 논의, 이 전략을 어떻게 측정할 것인지에 대한 논의를 추가한다면 단기적인 이익에만 집중하는 부작용을 피할 수 있다.

② Evolution vs Revolution

심리학자 데이빗 니븐의 저서 『나는 왜 똑같은 생각만 할까』에서는 영화 <죠스>를 만들 당시, 스티븐 스필버그의 문제 해결에 대해서 언급한다. 영화 <죠스>는 총 제작비의 반을 상어 모형을 제작하는 데 사용했다. 그러나 최고의 전문가들이 모여, 막대한 돈을 들여 만든 상어 모형은 쓸모가 없었다. 시험 가동했을 때만 해도 문제가 없었던 모형 상어가 실제 촬영장인 바다의 부식 효과 때문에 제대로 움직이지 않았기 때문이다. 매일 그 날 촬영 필름의 대부분이 쓰레기통에 버려졌다. 설상가상으로 상어 모형의 동작이 완전히 멈추게 됐고, 스필버그는 이 문제를 어떻게든 해결해야만 했다. 스필버그가 선택한 방법은 ‘상어가 나오지 않는 상어 영화’를 만드는 것이었다. 상어는 등장하지 않고 암시를 주는 이 방식은 오히려 사람들에게 더 큰 공포를 선사했고, <죠스>를 명작으로 끌어올렸다. 스필버그의 문제 해결 방식은 데이터 드리븐 마케팅과 정반대다. 기본적으로 데이터 드리븐 마케팅은 최적화와 부분적인 개선을 지향하는 반면, 스필버그의 방식은 일종의 ‘발상의 전환’으로 판을 뒤집는 방식이기 때문이다. 랜딩 페이지 최적화를 예로 들어보자. 데이터 드리븐 마케팅의 방식은 랜딩 페이지를 몇 가지 요소로 나눈 뒤 한 번에 하나씩 최적화를 진행하는 것이다. 스필버그의 방식은 부분적으로 대응하지 않고, 10가지 요소를 한 방에 꿰뚫는 본질적 요소를 개선하는 방식이다. 리스크의 측면에서는 데이터 드리븐 마케팅의 방식이 우수해 보이지만, 초기 랜딩 페이지가 총체적 난국일 경우, 스필버그의 방식이 훨씬 더 효과적인 방법이 될 수 있다.

분석가/분석팀의 문제

데이터 드리븐 마케팅의 위험 요인으로 담당자 혹은 담당 부서를 빼놓을 수 없다. 담당자의 실력 부족, 혹은 실수로 잘못된 결론을 내릴 가능성이 있기 때문이다. 분석가가 빠질 수 있는 생각의 오류, 방법의 오류를 알아보자.

① 세그먼트 미사용

세그먼트는 의미 있는 결론을 도출해 내기 위해 필수적인 분석 방법이다. 세그먼트는 전체 데이터를 기준에 따라 나누는 것을 말한다. 세그먼트가 중요한 이유는 데이터를 전체로 바라볼 경우에 알 수 없는 인사이트를 얻을 수 있기 때문이다. 두 가지 질문을 해볼 수 있다. 첫째 ‘웹사이트에서 구매자와 비구매자의 행동은 어떤 차이가 있는가?’, 둘째 ‘결제 단계까지 가서 구매하지 않는 경우는 얼마나 많은가?’.

첫 번째 질문에 대한 답을 얻고 싶다면, 구매를 기준으로 전체 방문자를 나눠야 한다. ‘구매’를 기준으로 세그먼트한 결과, 구매자와 비구매자 사이에 뚜렷한 행동의 차이가 있다면 이 부분이 주요 구매 결정 요인이 될 수 있으므로 면밀히 살펴봐야 한다. 두 번째 질문의 경우, 결제 단계의 URL과 구매 완료 페이지의 URL로 전체 데이터를 나눈다. 고객의 웹사이트 방문 기간에 결제 단계의 URL을 거쳤지만, 구매 완료 페이지 URL을 거치지 않은 경우를 선별하면 된다. 이 세그먼트를 기준으로 결제 단계까지 가서 구매하지 않는 경우가 어느 정도인지 파악할 수 있다. 이를 기준으로 리마케팅 광고를 계획하거나, 결제 페이지에서 고객들이 겪을 수 있는 불편에 대해 분석해볼 수도 있다. 어느 쪽이든 매출에 중요한 역할을 할 수 있는 중요 지점이 될 것이다.

② 상관관계와 인과관계의 혼동

데이터 드리븐 마케팅을 하기 위해 통계학 전문가가 될 필요는 없겠지만, 통계학을 전혀 알지 못한다면 곤란하다. 통계학을 한마디로 정의한다면 ‘데이터를 모으고, 분석하고, 결론을 내리는 것에 대한 학문’이다. 따라서 제대로 된 분석을 위해서는 통계학에 대한 기본 지식이 필수적이라고 해도 과언이 아니다. 데이터 분석은 결국 A라는 변수와 B라는 변수 사이의 관계를 밝히는 일이다. 그중에서도 인과관계와 상관관계를 혼동하면 곤란하다. ‘우리 웹사이트는 월 방문 횟수 30 이상인 방문자가 구매 횟수도 많더라’는 전제하에 웹사이트 리뉴얼을 추진한다고 가정하자. 방문 횟수가 많을수록 구매 횟수도 많아지므로, 재방문자가 많아지도록 하는 게 리뉴얼의 핵심이다.

이 전제는 ‘방문 횟수가 많다고 무조건 구매 횟수가 많다고 할 수 있을까? 단지 구매를 여러 번 하려다 보니 남들보다 더 자주 방문한 게 아닐까?’라는 물음에 정확한 답을 할 수 없다. 애초에 구매 의사를 갖고 웹사이트를 자주 방문했는지, 자주 방문하다 보니 구매를 더 많이 하게 됐는지 모른단 얘기다.

사실 마케팅 분석에서는 인과관계보다 상관관계를 분석하는 경우가 훨씬 많다. 간단히 얘기하면 ‘A하면 B가 된다(인과관계)’ 보다는 ‘A하면 B가 되는 경향이 있다(상관관계)’가 훨씬 많다. 상관관계는 A와 B사이의 결과에 영향을 주는 추가 변수들이 존재한다. 이 관계를 혼동할 경우, 엉뚱한 방향으로 마케팅을 전개할 가능성이 높으므로 주의해야 한다.

③ 판단의 정확성

웹사이트에서 CTA(Call To Action) 버튼의 색깔로 A/B 테스트를 진행한다고 가정하자. 또 실험 진행 결과는 다음과 같았다.

버튼의 색깔만 바꿨을 뿐인데, 전환율의 차이가 무려 0.6%였다. 이 데이터를 보고 어떤 조치를 취해야 할까? 문제가 너무 쉽다고 생각할지 모르겠지만, 아직 결론을 내리긴 이르다. 전환율은 비율에 관한 데이터이므로, 결론을 내리기에 충분한 데이터가 모였는지 살펴봐야 한다. 위 표에는 20명을 대상으로 한 결과인지, 2,000명을 대상으로 하는지 알 수 없다.

위의 표는 어떨까? 트래픽 규모도 결론을 내리기에 충분해 보이는데, 파란 버튼으로 바꿔야 할까? 파란 버튼으로 바꿔야 한다고 주장한다면, 실제 이 두 버튼의 전환율을 매일 살펴보길 바란다. 데일리로 데이터를 쪼개서 살펴볼 경우 결과는 엎치락뒤치락할 수 있다. 아직 어느 쪽이 더 효과적인지 결론이 나지 않았다는 말이다.

좀 더 쉽게 이해할 수 있도록 웹사이트 UV를 예로 들어보자. 아무런 조치를 취하지 않아도, 웹사이트 UV는 매일 조금씩 바뀐다. 평균 웹사이트 UV가 30이라고 하더라도, 매일 UV 수치는 바뀐다. 통계학에서는 이것을 ‘변동성’이라고 한다. 위의 테스트에 ‘변동성’이란 개념을 적용해보면, 아직 빨간 버튼과 파란 버튼의 차이는 전환율의 변동성에서 벗어나지 못하므로, 딱히 어느 쪽이 낫다고 볼 수 없다는 말이다. 만약 파란 버튼이 확실하게 전환율이 높다면 이를 통계적으로 유의한 결과라고 한다.

지금까지의 설명이 어렵다면, 좀 더 쉬운 방법이 있다. 위 사진은 앞서 살펴본 실험 결과를 A/B 테스트 유의성 계산기에 대입한 결과다. 맨 첫 칸은 각 버튼의 ‘Visits’을 입력한 값이고 두 번째는 각 ‘Visits’에 전환율을 곱한 값(전환 수)을 나타낸다. 그다음 항목인 ‘P-value’는 자동으로 계산되는 항목이며, 실험 결과는 맨 아래 항목인 ‘Significant?’에 있다. 분명 ‘No’라고 돼 있음을 확인할 수 있다. ‘굳이 이렇게까지 해야 되나’ 싶기도 할 것이다. 우연의 결과일 수도 있는 숫자의 높고 낮음만으로 의사결정이 이뤄지는 경우, 실패할 가능성에 대해서 생각해 보길 바란다.

조직 문화의 문제

데이터 드리븐 마케팅과 관련된 주제 중에서 ‘조직 문화’만큼 자주 거론된 문제는 없었다. 그만큼 가장 중요하고 어려운 일이기 때문이다. 데이터 드리븐 마케팅을 제대로 실행하기 위한 조직 문화를 구축하는 일은 실력 있는 마케터를 고용하는 일보다 훨씬 더 복잡하고 어려운 일이다. 기업마다, 비즈니스마다 조직의 구성과 운영은 판이하다. 따라서 이 글에서는 어디에서나 적용할 수 있는 최소한의 조건에 대해서 논하고자 한다.

① 데이터를 어떻게 정의하고 있는가?

기업이 데이터를 어떤 방식으로 정의하는지에 따라 업무의 내용은 달라질 수 있다. 지난달에 살펴본 데이터 드리븐 마케팅의 정의를 다시 한번 살펴보자. 가트너 웹사이트에 따르면 ‘데이터 드리븐 마케팅은 고객과 고객의 니즈, 동기, 행동에 대한 모든 데이터를 수집하고 분석한 뒤, 적용하는 것을 말한다’. 명칭은 달라질 수 있겠지만, 기업이 데이터를 정의하는 방식은 고객에 집중 돼야 한다.

에어비앤비는 데이터를 ‘고객의 목소리’라고 정의한다. 이 정의는 데이터를 통해 고객이 원하는 바, 고객이 불편을 느끼는 부분을 해소하고 서비스를 최적화해나가겠다는 의미로 볼 수 있다. 해야 할 것 같아서, 실적을 증명하기 위해서 데이터 분석을 하는 경우, 데이터는 왜곡될 가능성이 높다. 왜 데이터 분석을 해야 하는지, 데이터 분석이 비즈니스에서 어떤 의미인지에 대한 정확한 인식과 이를 공유하는 일은 필수적이다.

② 데이터 공유와 이해

대부분의 기업에서는 데이터 드리븐 마케팅 담당자를 한 명 이상 두는 것이 쉽지 않다. 마케팅 관련 코드를 다루고 툴을 세팅하는 사람은 한 명이어도 괜찮다. 그러나 데이터를 이해하고 해석할 수 있는 사람이 한 명인 것은 매우 곤란하다. 앞서 언급했던 ‘프로야구팬의 연령별 구성비’에서도 볼 수 있듯이 동일한 데이터를 두고도 다양한 해석이 나올 수 있다. 또 담당자의 판단과 해석이 틀렸을 수도 있다. 가능하다면 마케팅팀 전원이 데이터를 분석하고 이해할 수 있어야 훨씬 더 좋은 결론을 내릴 가능성이 높다. 관련 데이터는 프로젝트 참여자 모두에게 공유돼야 하고, 모두가 데이터를 통한 개선 방안이나 향후 계획을 수립하는 데 참여하는 것이 바람직하다.

③ 부서 간 협업의 중요성 & 오픈 마인드

부서 간 협업도 중요한 문제다. 마케팅팀 내에서 개발도 하고 디자인도 한다면 아무런 문제가 없겠지만 그런 경우는 거의 없을 것이다. 가령, 랜딩 페이지 A/B 테스트를 진행한다고 하자. 이 경우, A버전과 B버전의 디자인을 달리해야 하므로 디자이너와 개발자의 도움이 필요하다. A/B 테스트 툴을 활용한다고 해도 소스코드를 수정하거나 새로운 이미지가 필요한 일은 반드시 발생한다. 개발자와 디자이너가 A/B 테스트가 무엇인지, 왜 해야 하는지 안다면 진행이 훨씬 수월할 것이다.

오픈 마인드도 중요하다. 데이터 분석 결과를 보고서로 작성하다 보면, 개선해야 할 점을 위주로 적게 된다. 이런 경우, 보고서의 내용이 특정 부서에 대한 공격이 될 수 있다. 예를 들어, 웹사이트 이탈률 상승으로 인해 매출이 저하되고 있는데, 분석 결과 웹사이트의 속도 문제라는 결과가 나온다면? 아마도 해당 부서나 담당자는 민감하게 발생할 가능성이 높다. 이런 문제가 생기지 않도록 책임을 묻기보다는 개선안에 초점을 맞추는 기업 문화가 필요하다.

마치며

‘데이터는 거짓말을 하지 않는다’는 말이 있다. 데이터 분석 관련 업무를 하는 사람들이라면 이 말을 굳게 믿으리라 생각한다. 필자 역시 이 말을 믿는다. 하지만 데이터를 제대로 활용하기 위해 넘어야 할 복잡한 맥락과 데이터의 한계가 있음을 간과해서는 안 된다.

• 데이터
• 데이터 드리븐
• 실패
• 원인