AB테스트와 웹사이트 최적화②
때때로 데이터란 ‘판도라의 상자’가 되기도 한다.
D I C U R A T I O N
빅데이터 마케팅
- 마케팅과 과학의 만남①, ②
- 데이터 분석의 핵심, 모델링①, ②
- AB테스트와 웹사이트 최적화①, ②
- 데이터 사이언티스트의 현실과 미래①, ②
3. AB테스트와 웹사이트 최적화②
데이터 중심 경영의 상징, AB테스팅
사업에서 의사결정이 갖는 중요성은 두말할 필요도 없다. 회사에서 하는 일은 대개 크고 작은 의사결정의 연속이다. 어떤 경우에는 어느 것을 선택해도 별반 차이가 없는 사소한 의사결정도 있지만, 회사의 존속이 달린 중대한 의사결정도 있다. 이러한 의사결정을 내릴 때 과연 우리는 어떻게 하고 있는가?
내가 지금까지 경험한 조직은 게임이나 인터넷 기반의 서비스를 제공하는 회사였다. 이런 회사들이 한국에서는 그나마 합리적인 조직 분위기를 가진 회사들이다. 하지만 이런 회사들도 의사결정을 하는 문화는 대개 조직장의 직관에 의존하는 경우가 많다. 예를 들어, 웹사이트를 개편하는 데에 A, B, C 세 개의 안이 있고 그 가운데 하나를 선택해야 한다고 가정하자. 이런 경우라면 관련 실무자가 모여 회의를 진행할 것이다. 각 안에 관한 설명이 이뤄질 것이며 이를 듣고 여러 사람이 자기 생각을 전달할 것이다.
다양한 의견을 교환하는 것 자체는 나쁘지 않다. 문제는 그 의견이 개인의 의견일 뿐이며, 객관적으로 모두가 수긍할 수 있는 것이 아니라는 데에 있다. 이런 경우 대부분 조직장의 직관에 의존해 의사결정을 내리게 되는데, 어떤 안이 채택되더라도 미련이 남는다. 누군가는 ‘내가 보기에는 다른 안이 더 좋아 보이는데. 하지만 장이 고집을 부리니 할 수 없지. 시키는 대로 하는 수밖에’라고 생각할 수 있다는 것. 의사결정을 내려야 하는 조직장도 물론 답답할 것이다. 본인도 뭔가 명확한 근거를 가지고 결정을 내리고 싶은데 자료가 부족하다. 결국, 겉으로는 ‘그럼 A안으로 갑시다!’ 라고 자신 있게 이야기하지만, 속으로는 ‘내가 내린 결정이 맞나? 혹시 잘못되면 어쩌지?’하고 생각할 수 있다.
만약 명확한 AB테스팅 결과가 주어졌다면 판단은 빨라질 것이다. 가장 먼저 의사결정의 질이 향상된다. 앞서 예로 든 오바마 재선 캠프의 후원금 모금을 위한 이메일 제목 선정 사례처럼 후원금을 몇 배 이상 걷을 수 있는 안을 놓치지 않고 정확히 선택할 수 있다. 그뿐만이 아니다. 누가 봐도 수긍할 수 있는 객관적인 결과이기에 의사결정을 내리는 사람의 부담도 줄어들고, 결정에 따르는 사람도 쉽게 이해할 수 있다. 의사결정을 내리는 사람의 입장에서는 누가 와서 의문을 제기하더라도 설득력 있는 대답을 할 수 있다. 이렇게 되면 관리자가 나서지 않아도 실무자 선에서 자연스럽게 의사결정을 내릴 수 있다. 더 높은 사람, 심지어 CEO가 와도 선택이 똑같을 것이기 때문이다. 오바마가 직접 온다고 해도 후원금이 적게 모이는 문구를 채택할 이유가 있겠는가. 즉, 관리자들은 할 일이 줄어들고 다른 일에 집중할 수 있게 되며, 실무자들은 누가 억지로 시켜서 하는 것이 아닌 그 길이 올바른 길이라 선택하는 것으로 스스로 논리를 세울 수 있다.
궁극적으로 데이터에 따라 합리적 의사 결정을 하는
세련된 조직 문화까지 형성된다.
이처럼 객관적인 데이터로 조직 내 의사 결정을 이끌어 나가는 것을 ‘데이터 중심 경영(Data Driven Leadership)’이라고 한다. AB테스팅은 데이터 중심 경영의 상징과도 같다. 실험만큼 확실한 데이터는 존재하지 않기 때문이다.
한국에서의 AB테스팅
미국에서는 AB테스팅이 2000년대 초중반부터 널리 쓰이기 시작했다. 하지만 한국에선 어떨까? 게임 회사에서 일할 때 한 번 AB테스팅 얘기를 꺼냈다가 게임 디렉터로부터 ‘절반만 패치하고 절반은 안 하고 그럴 순 없잖아요?’라는 핀잔을 듣고 접은 적이 있다. 국내 인터넷 기반 포털이나 게임 서비스 회사라고 하면 결코 작은 규모가 아니다. 국내 굴지의 게임 회사나 인터넷 포털은 영업이익만 1년에 수천억 원이 발생하며 인원도 천 명 단위이다. 이 정도 되면 AB테스팅 같은 접근방법을 활용할 법도 한데, 직접 몸담았던 경험에 비춰 보거나 그런 회사에 있었던 사람들의 이야기를 들어봐도 본격적으로 하는 곳이 거의 없다. AB테스팅은 기술적으로 어려워서 구현하지 못하는 분석 방식이 아니다. 중급 이상의 실력을 갖춘 개발자라면 대부분 ‘충분히 할 수 있다’는 반응을 보인다. 결국 문제는 회사의 조직 문화다.
데이터 분석은 상당히 고통스러운 일이다. 예를 들어 서비스에 신규 기능을 추가할 때, 본래 기대했던 반응과는 다른 데이터를 보는 경우가 많다. 게임 포털 업체에서 일할 때, 신규 기능 도입을 주도한 기획자에게 그가 기획한 서비스가 실제로 얼마나 활용되고 있는지 데이터를 뽑아 보여 준 경험이 있다. 하루 평균 순 방문자가 수십만 명이 되는 서비스에서 해당 기능을 쓰는 사람이 겨우 백 명 남짓이라는 것을 알려주자 그 기획자는 매우 낙담했다.
때때로 데이터란 ‘판도라의 상자’가 되기도 한다. AB테스팅 또한 마찬가지다. 보통 AB테스팅은 ‘내가 하는 일의 성과를 객관적으로 입증하는 것’에 목적이 있다. ‘이번에 저희가 한 일이 회사 매출을 몇 퍼센트 끌어올렸음을 AB테스팅을 통해 증명했습니다’라고 얘기하는 걸 꿈꾸며 테스팅을 진행하는 것이다. 하지만 막상 테스팅을 해 보면 수치상으로 유의미한 차이가 없는 경우가 훨씬 많다. 원칙대로 하면 서비스 개편 전으로 되돌아가는, 즉 ‘롤백’을 하는 것이 맞다. 하지만 인터넷 회사에서 롤백이라고 하면 보통 아주 심각한 실수를 저질렀을 경우에만 시행되고, ‘내가 일을 잘못했다’고 공식적으로 인정하는 걸 의미한다. 아마도 엄격한 AB테스팅을 거쳐 수치상으로 기존 안보다 더 우수하지 않으면 폐기를 한다고 가정했을 때, 대부분 기획자의 서비스 개선안이 폐기될 것이다. 이는 실질적으로 보면 연말 평가 시 문제 사유가 된다. ‘이런 시도를 했었습니다만, AB테스팅에서 결과가 안 나와 폐기했습니다’라고 이야기를 할 수밖에 없다. 즉, ‘지난 1년간 뭐 했나요?’라는 질문에 대해 답할 말이 없는 것이다.
대부분은 엄격하게 AB테스팅을 해서 숫자로 성과를 입증하려다가 ‘아무 일도 못 한 사람’이 되기보다는 정량적인 측정을 포기하는 쪽을 선택한다. 평가 시에는 “제가 올해 이런 일을 했습니다. 지금 앱 켜 보시면 이 기능 있죠? 이거 제가 만든 겁니다.”라고 이야기하고, 상사가 “그래서 성과가 얼마나 났어?”라고 물어보면 “그건 잘 모르겠습니다.”라고 답변을 한다. 실제로 어떤 기획자와 AB테스팅을 몇 번 해서 성과가 없는 것을 보여줬더니 다음부터는 AB테스팅 하지 말자고 말했다. 이런 문제를 미국에서는 어떻게 해결하는지 잘 모르겠지만, 한국 회사에서 AB테스팅을 한다고 하면 현실적으로 발생하는 문제라 볼 수 있다.
그러나 최근 들어 한국도 분위기가 점차 바뀌고 있다. 그 선두에는 미국에서 데이터 중심 경영에 대한 선진 고등교육을 받은 젊은 경영자들이 있다. 이런 경영자들은 AB테스팅과 같은 엄격한 정량적 접근방법을 적용할 것을 요구하는 경우가 많고, 실제로 진행을 한다. 최근에 모바일 광고 플랫폼을 운영하는 회사의 경영전략팀을 이끌고 계신 분을 만난 적이 있다. 이 회사 또한 미국식 교육을 받고 글로벌 전략컨설팅 펌에서 경력을 쌓은 경영자가 창업한 회사였다. 팀장님의 고민도 마찬가지였다. CEO는 뭔가 정량적이고 객관적인 데이터를 요구하는데 그렇게 할 수 있는 근거가 별로 없어 답답해하고 있었다. 그러한 근거 가운데 하나로 AB테스팅을 이용할 수 있다는 점을 설명하고 이를 실행에 옮기는 방안에 대해 기초적인 조언을 몇 가지 해 줬다. 아직은 걸음마 단계에 불과하지만, 이 회사도 언젠가는 데이터 기반의 경영이 자리 잡는 걸 기대해볼 만하다.
아직 익숙하지 않은 접근법이기에 다소 꺼리는 경향이 있지만 분명 조금씩 자리를 잡아 가고 있다. 앞으로 이러한 접근방법을 통해 성과가 나는 사례들이 더 많이 알려진다면 아마도 조만간 한국에서도 AB테스팅이 일반적인 방법론으로 자리 잡지 않을까 싶다.
<데이터 사이언티스트의 현실과 미래①>로 이어집니다.
※DI CURATION은 과거 소개됐던 기사 중 디아이 매거진 편집국에서 큐레이션 해 올리는 코너입니다.
