AB테스트와 웹사이트 최적화①
버락 오바마 전 미국 대통령도 활용했던 AB테스트
D I C U R A T I O N
빅데이터 마케팅
- 마케팅과 과학의 만남①, ②
- 데이터 분석의 핵심, 모델링①, ②
- AB테스트와 웹사이트 최적화①, ②
- 데이터 사이언티스트의 현실과 미래①, ②
3. AB테스트와 웹사이트 최적화①
‘AB테스팅’을 위키피디아에서 찾으면 ‘마케팅 혹은 BI(Business Intelligence)에서 두 개의 변종, 즉 실험군과(B) 대조군(A)을 임의로(Randomly) 지정해 수행하는 비교 실험을 지칭하는 용어’라고 나온다. 쉽게 말해 사람을 무작위로 두 개의 그룹으로 나눠 서로 다른 처치를 한 다음 반응을 비교해 인과관계를 밝히는 실험이다. 이번 호에는 데이터 기반 경영의 핵심, AB테스팅의 기원과 사례를 살펴보도록 하자.
AB테스팅의 원조, 괴혈병의 원인을 찾다
300년 전, 항해술의 발전으로 장거리 항해를 자유롭게 다닐 수 있게 된 시절의 이야기다. 유럽의 상선이 대서양을 건너 아메리카 대륙에 가거나 아프리카를 돌아 아시아까지 상품을 실어 나르던 시절이었는데, 이 때 골칫거리가 있었다. 바로 ‘괴혈병’이다. 당시 아무도 이 병의 원인을 밝혀내지 못했다. 특히 수개월을 바다 위에서 보내는 항해사들에게 이 증상이 많이 나타났는데, 상처가 쉽게 치유되지 않거나 심하면 죽음에 이르는 경우가 많았다. 당시 괴혈병은 암 이상으로 무서운 질환이었다.
그러던 중 1747년 영국 해군 군의관 제임스 린드는 식사 환경이 쾌적한 고급 선원들의 발병 확률이 현저히 떨어진다는 점을 발견했다. 그는 정확한 이유는 알 수 없으나 ‘괴혈병이 음식 섭취와 관련이 있을 가능성이 높아 보인다’는 가설을 세웠다. 그리고 한 섬에서 역사에 남을 괴혈병 임상시험을 진행한다. 그는 열두 명의 괴혈병 환자를 두 명씩 한 조로 묶어 여섯 그룹으로 나눈 다음, 각각 다른 물질을 투여했다. 그 결과, 하루 두 개의 오렌지와 하나의 레몬을 투여한 환자들이 회복하는 장면을 목격했다. 제임스 린드는 6년 뒤인 1753년 자신의 저서 ‘괴혈병에 관한 논문’에서 ‘오렌지와 레몬이 괴혈병을 치료할 수 있다’고 세상에 알렸다. 이게 AB테스팅의 원조다.
비타민 C의 부족이 괴혈병의 원인이며, 비타민 C는 감귤계 과일에 많이 들어있다는 과학적인 사실이 명확하게 밝혀진 건 세월이 한참 흐른 1930년대다. 하지만 정확한 발병 메커니즘을 몰라도 이 실험 결과를 활용해 괴혈병을 예방하는 건 충분히 가능했다. 실제 사상 최초로 괴혈병 사망자를 내지 않고 세계 일주에 성공한 제임스 쿡 선장은 이 실험 결과를 통해 절인 양배추인 사워크라프트와 과일을 선원들에게 꾸준히 섭취하게 한 것으로 알려졌다.
AB테스팅의 인터넷 서비스 활용
AB테스팅은 오늘날에도 여러 곳에서 활용한다. 가령 신약을 개발해 임상시험을 할 때에도 이 접근법을 사용한다. 환자를 무작위로 두 개의 그룹으로 나눠 한 그룹에는 신약을 투약하고 다른 그룹에는 투약하지 않은 다음 시간의 경과에 따라 차도를 비교하는 것이다. 하지만 오늘날 AB테스팅은 주로 웹서비스나 모바일 서비스, 이메일 등 온라인 비즈니스에서 하는 실험을 말한다. 미국에서는 이미 상당히 일반화된 이야기다. 이 분야 전문가인 파라스 초프라가 2010년에 쓴 ‘궁극의 AB테스팅 가이드’라는 글에는 아래와 같은 사례가 소개돼 있다.
① 제이슨에게 연락하시오’라는 지시를 받고, 전화기 그림 또는 사람 얼굴을 보여줬을 때 어떤 버튼을 누를까 AB테스팅을 진행한 그림.
② ‘It’s free!’ 문구가 있을 때와 없을 때 차이를 실험하기 위한 그림.
③ 녹색과 빨간색 색상 차이로 클릭률 차이가 얼마나 나는지 분석하기 위한 AB테스팅 그림.
이미지 ①은 ‘제이슨에게 연락하시오’라는 글귀와 함께 전화기 그림을 보여줬을 때와 사람의 얼굴 사진을 보여줬을 때를 비교한 실험이다. 결과는 사람의 얼굴을 보여줬을 때 전환율이 두 배가량 높았다. 사람의 얼굴이 상대적으로 친근감을 불러일으켜서 클릭을 유도한다는 이야기다. 이미지 ②는 가입을 권유하는 문구다. 그런데 오른쪽에 보면 ‘It’s free!’(공짜입니다.)라는 글귀가 붙어 있다. 이 글귀가 있을 때와 없을 때에 ‘Sign up now!’(지금 가입하세요!) 버튼은 클릭률이 28%나 차이가 났다. 세 번째 캡처 화면은 버튼의 색깔을 바꿔 효과를 본 케이스다. 똑같이 ‘Get Started Now’ (지금 시작하세요.)라는 문구지만, 단순히 색깔만 녹색에서 빨간색으로 바꿔 클릭률이 무려 34%나 높아졌다.
이 실험은 미국 ‘스매싱 매거진’이라는 웹진에 2010년 6월 24일 자로 실린 기사다. 즉, 미국에서는 이런 테스트를 한참 전부터 해 오고 있었다는 사실을 알 수 있다. 특히 이러한 실험은 온라인 서비스, 그것도 주로 웹 서비스 분야에서 많이 활용되고 있다.
이러한 실험 기법이 웹 서비스에서 일반화된 이유는 여러 가지가 있지만 일단 쉽기 때문이다. 가령 신약 임상시험 같은 경우 사람의 생명이 걸려 있는 문제기 때문에 조심스럽게 진행해야 하며, 통제 또한 쉽지 않다. 하지만 웹 서비스는 비교적 간단하다. 두 가지 버전의 웹 페이지를 만들고 웹사이트에 접근하는 사용자를 임의로 둘로 나눠 그 중 어느 한 가지를 보여주면 된다. 개발자 입장에서는 귀찮을 수 있지만, 기술적으로 어렵지는 않다.
스마트폰은 과장하자면 인터넷이 되는 휴대용 컴퓨터이다. 스마트폰의 편리함 때문에 PC를 사용하지 않는 사람들이 늘어나고 있다. 컴퓨터를 켜는 것 자체가 귀찮아서 검색이나 웹 서핑 등 일반적인 인터넷 작업은 모두 스마트폰으로 한다. 전자상거래(e-commerce)시장도 마찬가지다. 이제 스마트폰으로 물건을 사는 일은 자연스러운 일상이 됐고 실제 업계서도 PC 기반의 서비스보다 스마트폰을 통해 발생하는 매출이 훨씬 높다.
이러한 변화에 발맞춰 모바일 서비스에서의 AB테스팅 또한 점차 확산되는 추세다. 하지만 AB테스팅을 진행하기에 모바일 환경은 PC 환경보다 까다로운 측면이 있다. 새로운 기능을 구현하기가 어렵기 때문이다. 가령 PC 웹 기반의 인터넷 서비스에서 어떤 기능을 새로 추가하려면 웹 서버에 새로운 기능을 반영하기만 하면 된다. 설령 문제가 발생해도 바로 대응할 수 있다.
하지만 모바일 서비스는 이야기가 다르다. 앱을 새로운 기능을 만든 다음 앱스토어에 올리고 이를 사용자가 내려받아 설치를 해야 기능 변경이 반영된다. PC보다 많은 시간을 필요로 하며, 그만큼 모바일 환경에서는 AB테스팅을 하기가 더 어렵다. 하지만 이런 어려움에도 모바일 AB테스팅이 점차 확산되는 추세다. 이미 PC 기반의 인터넷 서비스에서 그 효용이 충분히 검증되었기 때문이다. 실제 비즈니스 현장에서는 모바일 서비스에서 발생하는 기술적인 문제를 다양한 방법으로 풀고 있다. 예를 들면 앱 서비스 구조를 설계할 때 가능한 한 앱의 배포 없이 AB테스팅을 수행할 수 있는 구조로 설계를 해 버리는 것이다.
대통령 선거에도 AB테스팅
선거운동과 마케팅 활동은 얼핏 생각하기에는 별로 상관관계가 없어 보인다. 하지만 영어로 직역하면, 선거운동과 마케팅 활동 모두 ‘캠페인(Campaign)’이란 단어를 쓴다. 무엇인가 공통점이 있다는 뜻이다. 차분히 생각해 보면 공통점이 하나둘씩 보이기 시작한다.
선거 운동과 마케팅 캠페인은 둘 다 대중을 설득하는 행위이다. 선거운동에서는 불특정 다수의 유권자에게 특정 후보 및 정당에 표를 던져 달라고 호소한다. 마케팅 캠페인에서는 불특정 다수의 소비자에게 특정 상품이나 서비스를 구매해 달라고 호소한다. 어디에 돈을 사용할지, 또 어느 정당이나 후보에 투표할지의 문제는 민주주의와 시장경제 시스템에 의해 유권자나 소비자가 선택권을 가진다. 정당이나 기업은 그들의 마음을 얻기 위해 다양한 방법으로 메시지를 전달할 수 있을 뿐이다. 유권자를 소비자로 보고 표를 돈으로, 정당을 기업으로, 인물이나 정책을 상품으로, 의석수를 시장점유율로 보면 매우 비슷한 그림이 나온다.
그렇다면 마케팅에서 활용하는 기법을 선거운동에도
활용해 볼 수 있지 않을까?
그것이 충분히 가능하다는 것을 2012년 미국 오바마 대통령 재선 캠프에서 보여줬다. 2012년 오바마 캠프가 인터넷을 십분 활용해 재선에 성공했다는 이야기를 처음 접했을 때, 처음 떠올랐던 생각은 ‘별거 있겠어? 웹사이트 하나 만들어 놓고 인터넷 선거했다고 떠드는 수준이겠지”였다. 인터넷이 선거에서 여러 가지 혁신을 이루어 내기는 했다. 웹사이트나 SNS를 이용해 저비용으로 언론 매체를 통하지 않고 유권자들에게 직접 메시지를 전달할 수 있다는 건 분명 중대한 변화다. 하지만 이 정도 혁신은 이미 10년도 더 된 옛날이야기다. 한국에서는 이미 2002년에 고 노무현 대통령 캠프에서 인터넷을 십분 활용한 바 있으며 이제 어지간한 정치인들은 다들 SNS를 운영한다. 인터넷 활용이라는 측면에서는 한국이 결코 뒤떨어지는 나라가 아니다.
하지만 2012년 미국 대선에서는 이 정도 수준을 훨씬 넘어서서 빅데이터 기반의 최첨단 마케팅 기법들이 총동원되었다. 여기에는 AB테스팅 또한 포함됐다. 오바마 캠프에서 운영했던 공식 웹사이트 첫 화면에 이메일과 우편번호 입력란을 둬 가입을 유도하는 화면을 내보냈다. 문제는 사이트에서 무엇을 보여줄지 문제다. 사진이 좋을지 동영상이 좋을지, 어떤 사진이나 동영상이 좋을지, 가입을 권유하는 버튼은 어떻게 만드는 것이 좋을지에 관한 결정이 필요했다. 오바마 캠프에서는 사진 세 가지와 동영상 세 가지, 그리고 네 가지의 버튼 디자인을 갖고 합계 24가지 경우를 만들어 (사진이나 동영상 중 하나와 버튼의 조합이다. 그래서 합계 6*4=24가지의 경우의 수가 나온다.) AB테스팅 실험을 했다. 그 결과 오바마의 가족사진과 ‘LEARN MORE’버튼의 조합이 가장 높은 가입 성공률을 나타냈다.
이렇게 해서 만들어진 첫 화면은 방문자들의 가입률을 8.26%에서 11.6%로 무려 40.6%나 끌어올렸다.
그뿐만 아니다. AB테스팅은 오바마 캠프가 더 많은 선거자금을 모을 수 있도록 해 주는 데에서도 결정적인 역할을 했다. 선거운동 초기에는 오바마가 다수의 소액 기부에 힘입어 공화당의 롬니 후보보다 많은 후원금을 모았으나 대기업과 재력가들의 거액 후원이 롬니에게 쏠리면서 상황이 역전되었다. 오바마 캠프는 지지자들에게 이메일을 보내 후원금을 모금하는 쪽으로 가닥을 잡았다.
또한, 요즘 많은 사람이 광고성 메일 때문에 불편을 느끼고 있다. 며칠만 안 들어가도 이메일 계정에는 광고성 메일이 수북하게 쌓인다. 이런 메일들은 대개 열어보지도 않고 휴지통으로 직행한다. 미국은 인터넷을 사용하는 방식이 달라서 이메일이 커뮤니케이션 채널로 한국보다 유용하긴 하지만 광고성 메일 때문에 불편을 겪고 그런 메일을 바로 쓰레기통으로 보내는 것은 미국인들도 마찬가지다.
그렇다면 사람들은 어떻게 자신에게 필요한 메일을 걸러낼까? 대부분 사람은 제목을 보고 이 메일을 읽을지 말지를 판단한다. 제목 정도는 보지만 거기서 뭔가 구미가 당기는 것이 없다면 바로 삭제를 해 버리는 것이다. 오바마 캠프의 후원금 모금을 위한 이메일은 스팸 메일 사이에서 후원자들의 눈에 띄어야 했고, 그걸 가능하게 할 방법은 ‘제목’뿐이었다. 그래서 다양한 이메일 제목을 통해 AB테스팅을 했다. 방법은 같다. 여러 버전의 제목을 만든 다음, 사용자를 무작위로 나누고 각각의 사용자 그룹에 서로 다른 제목의 메일을 보내 얼마나 열어보는지 반응을 테스트하는 것이다. 이러한 실험을 일부 유권자를(모수에 따라 다르지만 대체로 3~5% 정도) 대상으로 수행한 다음에 가장 결과가 좋은 문구를 전체 유권자들에게 보내는 방식으로 진행됐다.
이러한 문제는 당장 들어오는 후원금이 달라지는, 돈과 직결된 문제다. 실험 성과를 모금액 수치로 직접적 측정이 가능한 것이다. 당시 테스트했던 이메일 제목 및 발송 시 예상되는 후원금 액수 자료를 보자. (고한석 저, 『빅데이터 승리의 과학』 참조)
이 자료를 보면 예상 후원금이 가장 낮은 문구와 가장 높은 문구 사이에 무려 여섯 배의 차이가 있다. 후원을 부탁하는 메일 제목 하나를 어떻게 하느냐에 따라 수십억 원의 후원금이 왔다 갔다 하는 것이다. 재미있는 사실은 ‘후원금을 추월당하게 되었습니다’라는 자극적 문구가 가장 많은 후원금을 모집했다는 점이다. 유권자들이 자극적이고 선동적인 메시지에 반응하는 점은 미국이나 한국이나 똑같다는 생각이 든다. 저 수치를 보면 누구라도 ‘후원금을 추월당하게 되었습니다’라는 제목으로 이메일을 발송해야 한다는 사실을 알 수 있고, 오바마 캠프는 실제로 그렇게 했다. 하지만 예상 후원금 액수를 가려놓고 열두 개 문구만을 두고 그 가운데 하나를 선택한다고 가정해 보자. 여러분은 과연 ‘후원금을 추월당하게 되었습니다’라는 문구를 선택할 수 있을까? 만약 이런 AB테스팅 실험 결과 없이 후보 문구 가운데 하나를 선택한다면 대개 여러 사람이 모여서 회의를 하고 그 가운데 가장 많은 지지를 얻는 안이 선택될 것이다. 이런 방식으로 의사결정을 했다면, 아마도 더 평범해 보이는 ‘오바마와 함께 변화를!’이나 ‘마지막 호소: 미셸과 오바마’와 같은 문구를 채택할 가능성이 더 높지 않을까?
어쨌든 결과적으로 오바마 캠프는 선거에서 승리했다. 그리고 오바마 캠프에서 이러한 최첨단 기술을 실제로 선거에 적용하는 데에 앞장섰던 테크놀로지 팀은 재선 성공의 일등 공신으로 언론의 집중적인 조명을 받았다. 캠프 CTO로서 테크놀로지 팀을 이끌었던 하퍼 리드는 선거 승리의 공을 사양하며 다음과 같이 말했다.
우리가 없었더라도 오바마 캠프는 승리했을 것이라고 진심으로 믿는다.
물론 유권자 접촉 활동을 하는 데 있어서 좀 느리고 비효율적이었을 수도 있지만 우리는 본질적 원인이 아니라 ‘화력 증강자’(Force Multiplier)였다.
즉, 오바마가 자격을 갖춘 훌륭한 후보였다는 점이 근본적인 당선 이유이며, 자신은 단지 그 사실을 유권자들에게 효과적으로 전달하는 역할만 수행했을 뿐이라는 것이다. 하지만 후보가 아무리 훌륭하다고 하더라도 유권자에게 제대로 어필하지 못하면 빛을 발할 수 없다. 하퍼 리드의 말대로 테크놀로지 팀의 노력이 아니더라도 오바마가 재선에 성공했을지는 아무도 알 수 없다. 이것이야말로 실험해 봐야 아는데, 역사의 시계를 거꾸로 돌려 다시 할 수는 없는 것 아닌가? 하지만 필자는 오바마 재선 캠프의 데이터 기반 첨단 선거운동으로 움직인 표의 숫자가 적어도 ‘백만’ 단위는 될 것으로 생각한다. 미국 인구가 3억 정도이니 한 자리 숫자 퍼센트 정도의 규모다. 어찌 보면 대단한 수치가 아닐 수도 있지만 실제로 비즈니스 현장에서 뛰어 본 사람이라면 시장점유율 1% 높이는 것이 얼마나 어려운 일인지 이해할 것이다.
<AB테스트와 웹사이트 최적화②>로 이어집니다.
※DI CURATION은 과거 소개됐던 기사 중 디아이 매거진 편집국에서 큐레이션 해 올리는 코너입니다.
