데이터 분석의 핵심, 모델링②
‘셜록’ 같은 프로파일링, 변명은 필요하지 않다
D I C U R A T I O N
빅데이터 마케팅
- 마케팅과 과학의 만남①, ②
- 데이터 분석의 핵심, 모델링①, ②
- AB테스트와 웹사이트 최적화①, ②
- 데이터 사이언티스트의 현실과 미래①, ②
2. 데이터 분석의 핵심, 모델링②
어느 게임 회사의 변명
과거에 다녔던 회사 중 흥미로운 조직문화를 가진 게임회사가 있었다. 이 회사는 주로 인수합병을 통해 성장한 회사다. 이 회사의 성장전략은 딱 하나, 이미 성공해서 어느 정도 잘 되는 게임을 회사채로 산 다음, 조직운영에 있어 비효율적인 부분을 제거하고 매출을 끌어올려서 투자금을 몇 배로 뽑아내는 전략이었다. 사내에 게임을 자체 제작할 수 있는 조직이 있긴 하지만 성공 사례가 거의 없었다.
게임 비즈니스는 본래 흥행산업이다. 게임 서비스에서 본격적으로 매출이 발생해서 궤도에 오르기까지는 정말로 힘든 시기를 보낸다. 투자를 받으면 월급이야 나오겠지만, 그렇지 않더라도 부족한 인원으로 어떻게든 게임을 만들어 내야 한다. 성공 확률은 10%도 채 안 된다. 하지만 어떤 형태로든 일단 손익분기점을 넘기기 시작하면, 그때부터는 수익이 매우 빠른 속도로 나기 시작한다. 이렇게 되면 회사의 기업가치는 천정부지로 치솟아 주주들이 돈방석에 앉게 되며, 채용도 늘리고 직원 복지 또한 상당한 수준으로 올릴 수 있다. 예전에는 몇 안 되는 인력으로 힘들게 하던 제작 업무에 더 많은 인원을 투입해 여유 있는 제작이 가능해지고, 신규 게임 제작에도 눈을 돌릴 수 있다. 한마디로 잉여가 생기는 것이다.
그런데 이 회사는 다른 회사들과 정반대의 전략을 구사했다. 즉, 어느 정도 잘 나가는 회사를 인수한 다음 잉여를 잘라내는 방식이다. 예외도 있지만, 회사를 인수하면 본사에서 실력을 인정받는 사람을 점령군으로 보내 구조조정부터 시작한다. 전 직원 대상으로 1:1 면담을 해서 잉여라고 판단하는 인력을 가려내 회사에서 내보내는 것이다. 약 50명이 운영하던 게임을 25명으로 줄인 사례도 있다.
이 회사는 인력관리를 빡빡하게 하기로 유명하다. 이곳에서 요직에 있었던 분에게 다음과 같은 이야기를 들은 적이 있다. “우리 회사는 예전에는 게임 제작자 한 명당 1년에 100억의 매출을 발생시켜야 했다. 그래서 개발조직에서 불만이 대단했다. ‘1인당 100억 원은 너무 심하다. 50억 원으로 해 달라’고 사정사정해 TO 배분의 기준을 변경한 적이 있다”는 것. 처음에는 말도 안 되는 이야기라고 생각했지만, 나중에 회사가 돌아가는 걸 보니 농담이 아니라는 생각이 들었다. 그런 식으로 구조조정을 하면 당연히 분위기가 좋을 턱이 없다. 하지만 그 와중에 어떻게든 분위기를 다잡고 수습을 한 다음, 매출을 올릴 수 있는 다양한 수단을 구사해서 최대한 매출을 뽑아낸다면, 그것도 분명 대단한 능력이다.
게임회사는 대개 조직구조가 게임 단위로 되어 있어 서로 다른 게임을 담당하면 교류할 기회가 별로 없다. 하지만 이 회사는 그 정도가 심했다. 돈을 벌어들이는 조직은 인센티브도 두둑하게 받고 TO도 받지만, 돈을 못 버는 조직은 회사가 아무리 커져도 소위 ‘국물’도 없다. 인센티브는 고사하고 사람을 줄이거나 심하면 조직 자체가 해체되는 경우도 심심치 않게 발생한다. 사정이 이렇다 보니 조직 간 경쟁 또한 치열하다. 옆에 있는 다른 게임을 담당하는 팀은 같은 회사 동료라기보다 경쟁자란 느낌이 훨씬 더 강하다.
어느 날 이 회사의 경영자들이 고민하는 이슈 가운데 하나를 전해 들을 기회가 있었다. 조직장이 경영진 회의에 들어가 자신이 보고 들은 이야기를 다음과 같이 해 줬다. 게임별 실적을 공유하는 경영진 회의에서, 한 게임이 잘 되면 다들 그 게임 핑계를 댄다는 것이다. 자신이 맡은 게임 매출과 사용자 수가 줄어드는 것을 ‘저 게임이 잘 돼서 그렇다’는 식으로 변명하는 것. 그들은 한발 더 나가 ‘사용자들이 이동해도 어차피 회사 차원에서 사용자 총합은 같으니 문제는 없다’는 논리를 앞세워 자신을 압박하지 말라고 말했다.
‘셜록’ 같은 프로파일링, 변명은 필요하지 않다
세월이 흘러 필자는 다른 조직으로 이동했다. 그곳에서 고객 프로파일링을 하라는 지시가 떨어졌는데, 전 조직장이 알려줬던 그 문제가 떠올랐다. 재미있는 기회라고 생각해 열심히 프로젝트를 진행했다. 이 회사는 게임 계정으로 공통 계정을 사용한다. 즉, 사용자가 같은 계정으로 A 게임과 B 게임을 했다면 해당 사용자는 A의 고객인 동시에 B의 고객이기도 하다는 것이 데이터로 남아있다. 필자는 해당 게임의 프로파일링을 진행하며 이 데이터를 이용해 프로파일링 항목 가운데 ‘주 사용 게임’이라는 항목을 만들었다. 한 사용자가 게임을 꼭 하나만 하라는 법은 없다. 본 데이터를 통해 여러 게임을 하는 사용자가 이탈 확률도 낮고 여러 가지 좋은 속성이 있음을 확인하기도 했다. 하지만, ‘주 사용 게임’ 항목은 그 사용자가 가장 즐겨 하는 게임을 하나만 선택한다. 계산방법도 간단하다. 사용자가 특정 기간에 가장 많은 시간을 투자한 게임을 ‘주 사용 게임’으로 정의했다.
‘주 사용 게임’은 사용자마다 하나의 게임만 할당되며, 시간 흐름에 따라 변화할 수 있다. 즉, 지난달에는 주 사용 게임이 A였다가 이번 달에는 B로 바뀔 수도 있다. 주 사용 게임을 시간 경과에 따라 시계열로 표기하면 사용자들이 특정 게임에서 다른 게임으로 이동한 여부를 데이터상으로 확인할 수 있다. 이 정보를 바탕으로 게임 간 이동 지표를 제작할 것을 제안했다. 이때쯤 필자는 다른 기회가 생겨 프로토타입만 정비한 후 이 회사를 떠났다. 보통의 경우 이런 일은 처음 만든 사람이 떠나면 제대로 못 살리고 사장되는 경우가 많다. 그런데 세월이 한참 흘러 함께 일했던 팀장을 만나 이야기를 나누어 보니, 프로파일링을 잘 발전시켜 활용하고 있었다.
내가 이 회사를 떠나고 나서도 한참 뒤에 비슷한 일이 또 발생했다. 이 회사에서 A라는 게임을 서비스하고 있었는데, A는 당시 회사 매출 Top 3 안에 드는 주요 게임 가운데 하나였고 조직 규모도 상당히 컸다. 그런데 불과 1년도 채 되지 않아 매출이 반 토막이 난 것이다. 반면 동기간에 새로 퍼블리싱 계약을 맺고 서비스를 시작한 B게임은 트래픽과 매출이 급증했다. A게임을 담당하는 조직은 “우리 사용자들이 B게임으로 옮겨가서 우리 게임 매출과 트래픽이 떨어졌다”고 주장했다.
사실 A게임과 B게임은 대상자나 속성이 완전히 달라 사용자들이 직관적으로 이동했을 확률은 낮다. A게임은 초등학생과 중학생을 대상으로 하는 MMORPG였고, B게임은 연령대 구분이 없는 스포츠 장르의 게임이었다. 장르로 보나 주 대상 연령대로 보나 사용자층이 겹칠만한 게임은 아니었던 것. 하지만 명확히 아니라는 증거도 제시할 수 없었다. 이에 따라 회사 측은 즉시 분석에 들어갔다. 실제로 해당기간 A게임에서 B게임으로 ‘주 사용 게임’이 변화한 사용자의 수를 파악하고 그 이동이 전체 트래픽 변동에서 얼마나 차지하는지를 분석한 것이다. 그 결과 이동한 사용자는 많지 않았고, 전체 트래픽 변동 대비 숫자도 미미했다. 즉, A게임에서 이탈한 사용자와 B게임으로 유입한 사용자는 관계가 없다는 쪽으로 결론이 났다. 경영진 회의에서 데이터에 기반을 둔 탄탄한 근거자료와 함께 이러한 내용을 발표했다. 결과적으로 B게임의 퍼블리싱 계약을 따내지 못했다면 큰일이 날 뻔했다는 공감대가 경영진 사이에서 형성됐다.
결국 그 해 연말 A게임을 담당하던 조직은 본부가 해체되어 실 단위로 격하했고, 조직장은 해외 어딘가로 발령이 났다. 경영진은 이후 게임 간 이동 지표를 정규 주간보고 자료에 포함했다. 매주 어느 게임에서 어느 게임으로 몇 명이 이동했는지 경영진과 각 게임 책임자들이 함께 보게 된 것이다. 뿐만이 아니다. 내 전 동료들은 프로파일링을 적절히 발전시켜 곳곳에서 십분 활용하고 있었다. 마케팅 조직에서 이번에 배너광고를 하나 했는데, 그 효과가 어느 정도인지 분석해 달라는 협조요청이 온 적이 있었는데, 고객 유입 정보와 가지고 있던 프로파일링 정보를 활용해 매우 빠른 속도로 결과를 내놓을 수 있었다. 배너광고를 통해 유입된 사용자가 총 몇 명인지, 그 중 몇 명이 실제로 게임을 실행했는지, 게임을 한 사용자들은 주로 어떤 게임을 했고 얼마만큼의 충성도와 어떤 구매성향을 가지고 있는지에 대한 보고서가 하루 이틀 만에 나왔다.
즉, 프로파일링과 모델링이 적절히 잘 돼 있으면 새로운 분야의 회사 전체 비즈니스에 큰 도움이 될 수 있다.
Digital AD
기초적인 것부터 평소에 준비해 놔야
고객에 관한 기초적인 프로파일링이 없는 회사에서 데이터 분석 업무를 하는 한 지인에게 이야기를 들었다. 데이터 분석 조직에서 이탈자 모델을 만들어 CEO를 상대로 보고했는데, 모델을 실제 트래픽 데이터에 적용해보니 최근 수개월 사이에 이탈자가 늘어나고 있었다는 것이다.
원래는 “저희가 이탈자를 예측할 수 있는 훌륭한 모델을 만들었습니다. 저희 잘했죠?”라고 분위기를 이끄려고 했는데, 이미 예측 모델 자체는 안중에도 없고 ‘최근 이탈자가 증가하고 있으니 뭔가 대책을 세워야 한다’는 쪽으로 회의 분위기가 바뀌어 버렸다. CEO는 원인이 무엇이며 이탈자가 누구인지, 주로 어떤 상품을 구매했었는지, 얼마나 자주 구매하던 사람인지 알고 싶어 했다. 하지만 누구도 속 시원한 답을 내놓지 못했고, 결국 회의는 뚜렷한 결론 없이 흐지부지 끝났다. 답답한 현실이다. CEO가 궁금해했던 사항 정도는 고객에 대한 프로파일링이 제대로 되어 있으면 많은 부분 대답이 가능한 것이었다. 이탈자 모델을 만든 것 자체는 전문적인 통계 기법을 사용했고, 아무나 할 수 있는 일도 아니었다. 하지만 너무 앞서갔다는 게 문제다. 이탈 여부를 예측하는 것보다 훨씬 더 간단하면서도 중요한 기초 프로파일링 항목들이 많이 있다.
고객의 주요 구매 품목이나 관심 상품 종류만 가지고 프로파일링을 해도 상당히 많은 정보를 얻을 수 있다. 만약 이런 기반 위에 이탈자 예측 모델을 제시했다면 그 회의의 분위기는 달랐을 것이다.
사실 프로파일링은 눈에 띄지 않는 일이다. 일을 시키는 쪽에서는 뭔가 가시적인 결과물이 있어야 하는데, 프로파일링 자체만 가지고서는 결과물의 가치를 설득하기가 쉽지 않다. 하지만 특정 시기에 이르면 어마어마한 힘을 발휘한다. 즉, 평소에 데이터를 착실히 확보하고 깊이 있게 연구해 유사시에 손쉽게 꺼내 쓸 수 있도록 철저하게 준비를 해 두려는 노력이 필요하다.
<3. AB테스트와 웹사이트 최적화①>로 이어집니다.
※DI CURATION은 과거 소개됐던 기사 중 디아이 매거진 편집국에서 큐레이션 해 올리는 코너입니다.
