Digital Marketing, Know-how, News Today

A/B 테스트, 너무 공 들이지 않아도 되는 이유

A/B 테스트는 두 개의 변형으로 어떤 옵션이 더 효과적인지 확인하는 검증하는 것을 의미합니다. 단순하게 바라보면 단순해 보여도 막상 실무에서 수행하면서 생각하다 보면 한없이 복잡하고 어렵게 느껴지는 것 같기도 합니다.
예를 들면, “A/B 테스트 결과가 정말 ‘정답’이 맞을까?” “A와 B 옵션을 변형하는 것 외에 모든 조건을 통제할 수 있을까?”하고 말이죠.
 
특히, 검증 기간과 규모에 대해서도 고민하게 됩니다. “며칠 동안 수행하는 게 적절할까?” “비용은 얼마까지 쓰면 적당할까?”와 같은 고민들이죠. 며칠까지다, 혹은 얼마까지다, 라는 정답은 없지만 A/B 테스트 수행 목적을 다시 떠올려본다면 ‘비즈니스에 어떤 옵션이 더 효과적인지 검증할 수 있는’ 정도가 적절하겠습니다.

이 글에서는 그 기간과 규모에 대해 이야기해보고자 합니다. 아래처럼 A와 B옵션을 각 100회 씩 노출해 아래와 같은 결과를 얻었습니다.

A/B테스트 결과 예시 요약

B가 더 효과적이라고 판단해 이후에는 B를 적용합니다. 한 달 동안 주어진 노출 횟수 1만 5,000회 중 200회를 테스트에 사용했기 때문에 남은 노출수는 1만 4,800회 입니다. 여기에 B 옵션의 클릭률인 23%를 적용하면 남은 노출횟수에서 3,404회의 클릭수를 기대할 수 있습니다. 결국, 테스트를 포함해 총 획득하는 클릭수는 3,438회가 됩니다.

A/B테스트 결과 예시 : 각 100회씩 노출했을 경우

A/B테스트에서 100회가 아닌, 200회씩 혹은 300회씩 노출 테스트를 했다면 결과는 어떻게 달라졌을까요? 최종 클릭수는 더 줄었을 것입니다. 같은 방식으로 확인해볼까요?

*A/B테스트에서 시험 노출 횟수를 200회씩 설정할 경우
– 총 클릭수 : 3,426 클릭률 22.84%
*시험 노출 횟수를 300회씩 설정할 경우
– 총 클릭수 : 3,414 클릭률 22.76%
A/B테스트 결과 예시(각 200회씩 노출했을 경우)
A/B테스트 결과 예시 : 각 300회씩 노출했을 경우

A/B 테스트로 소요한 노출 횟수가 많을수록 최종적으로 얻는 클릭수는 줄어든 것을 알 수 있습니다.

최소한의 자원으로 빨리 수행해 얻을 열매를 확보하라

서두에 언급한 것처럼 ‘몇 일 동안 진행해야 한다’, ‘예산은 얼마까지만 써야 한다’는 답은 없습니다. 다만, 무조건 오래, 많이 테스트하는 것만이 바람직한 것이 아니라,
최소한의 자원으로 빠르게 실행하고 즉각적인 판단을 내렸을 때 결과적으로 더 많은 열매를 얻을 수도 있다는 의미입니다.
 
위의 예와 같이 매우 한정된 자원이라면 전체 가용 범위의 1, 2퍼센트 정도로도 효율적으로 수행할 수 있습니다. 예시에서는 1만 5,000회 중 100씩 총 200을 사용한 것이니, 1.3% 정도로 수행한 셈입니다.
 
모든 경우에 1, 2%만을 적용하는 것이 답인 것도 아닙니다. 앱 서비스의 디자인 또는 신규 기능을 새로 배포하는 경우 등에서는 1, 2% 유저만 테스트하고 전체 유저를 대상으로 곧바로 오픈 하는 것은 위험합니다.
광고 소재에 대한 A/B 테스트로 예를 든 것처럼 매우 제한적인 범위 내에서 수행할 수 있는 것은 최소한의 자원으로 빠르게 수행하고 최종적으로 얻을 수 있는 열매를 많이 확보하는 것입니다.


-참고-
<조직을 성공으로 이끄는 프로덕트 오너 PO가 말하는 애자일 혁신 전략> 김성한 지음 | 세종서적 | 2020
<일할 때 가장 많이 써먹는 수학> 후카사와 신타로 지음 | 황혜숙 옮김 | 센시오 | 2021

Author
비즈스프링

비즈스프링

Run Your Business Smarter. 데이터와 기술을 이용해 비즈니스를 쉽고 스마트하게 만드는 사람들이 모인 비즈스프링은 고객 행동 및 국내 마케팅 성과 분석 환경에서 다년간 검증된 웹/앱 분석 솔루션을 제공합니다.

Comments
© DIGITAL iNSIGHT 디지털 인사이트. 무단전재 및 재배포 금지

뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.

Related Posts