[마케팅] A/B Test (A/B 테스트, 버킷 테스트, 분할 실행 테스트)

*A/B Test

- 결론적으로 A/B 테스팅은 웹사이트 방문자들의 반응을 관찰할 수 있는 효과적인 방법의 하나입니다. 실험을 통해 소모되는 돈, 시간, 체력이 아깝지 않도록 때에 따라 최대한 현명하게 실험하여 충분한 정보를 얻고 웹사이트를 개선해 나아가는 것을 목표로 하는 것이 중요합니다.

 

*주의할 점(1)

회사의 규모 또는 트래픽의 양에 따라 A/B 테스트를 해야 할 지 말아야 할지에 대해 많이 고민하는 분들이 많습니다. 먼저 적은 트래픽을 갖고 있으면 A/B 테스트를 해도 도움이 되지 않는다는 의견이 있습니다. 이유는 트래픽이 적은데 랜덤으로 테스팅 할 경우 금전적으로 낭비가 될 뿐만 아니라 적은 수의 사람들의 의견을 반영하기에는 정보가 부족하다는 것입니다. 반면에 작은 회사거나 트래픽이 적으니깐 A/B 테스트를 하면 오히려 더 많은 트래픽을 얻을 수 있고 컨버전 레이트를 올릴 수 있다는 의견도 있습니다. 이러한 두 가지의 의견들이 있는데 때에 따라 둘 다 가능하다 볼 수 있습니다. 

 

*주의할 점(2)

A/B 테스팅을 통해 인과관계를 찾아내려면 두 집단을 임의적으로 나누어야 한다. 이를 임의적 할당(random assignment)이라고 한다. 예를 들어

• 남성은 A 집단, 여성은 B 집단
• 짝수 시간대 방문자는 A 집단, 홀수 시간대 방문자는 B 집단
• 첫 일주일 동안 방문한 사용자는 A 집단, 그 다음 일주일 동안 방문한 사용자는 B 집단

등 임의적이지 않은 방식을 사용할 경우 두 집단의 차이가 무엇 때문에 발생하는지 가려낼 수 없게 된다.

A/B 테스팅을 통해 찾아낸 결과가 범용성을 지니려면 애초에 실험에 참가한 집단이 모집단을 대표할 수 있어야한다. 이를 임의적 추출(random sampling)이라고 한다. 예를 들어 초등학교 학생들을 대상으로 한 실험의 결과를 초중고등학교 학생 모두에게 적용하거나, 페이스북 사용자를 대상으로 한 실험의 결과를 트위터에 적용하거나 하면 추출된 집단의 성격과 모집단의 성격에 차이가 있기 때문에 기대와 다른 결과가 나올 수 있다.

 

 

*왜 하는가?

 

(1) 웹사이트를 다시 디자인하고 싶을 때

- 웹사이트를 다시 디자인하는 적합한 이유로는 트래픽, 컨버전, 유용성을 개선하기 위해서입니다. 예를 들면 웹사이트의 구성을 바꾸고 싶을 때, 브랜드 이미지를 개선할 시, 페이지 양을 대폭 늘리거나 줄일 때, 컨버전 퍼늘 페이지 또는 랜딩페이지에 변화를 줄 때 등 테스팅을 합니다.

 

(2) 서비스, 플러그인 또는 특색을 바꾸고 싶을 때

- 서비스, 플러그인 또는 특색에 변화를 주었을 때 고객의 데이터와 구매 절차에 영향을 끼친다면 A/B 테스트를 하는 것이 좋습니다. 쇼핑 카트 서비스와 플러그인은 웹사이트에서의 굉장히 예민한 부분입니다. 돈과 감정이 깊게 관련된 이러한 서비스는 잠재적으로 트래픽을 많이 잃을 수 있는 확률도 높습니다. 이런 유감스러운 상황을 피하기 위해서는 컨버전을 테스트하고 구체적으로 언제, 어떻게, 그리고 왜 당신의 컨버전이 감소하는지 증가하는지 알아보는 것이 중요합니다. 이메일 서비스 공급자 또는 신청서 작성에 변화를 주는 경우에는 회원가입 랜딩페이지 등 신청서에 A/B 테스팅을 하는 것을 추천합니다.

 

(3) 가격을 바꿀 때

- 수익을 높이고 싶다면 가장 좋은 방법은 구매 페이지를 A/B 테스팅을 하는 것입니다. 하지만 만약에 가격을 A/B 테스팅하는 것이 방문자로부터 적발되었다면 고소당할 확률이 높은데 어떻게 하면 이러한 경우를 피할 수 있을까요? 실제로 테스트 과정이 부실하면 충분히 고소까지 가능한 일 입니다. 먼저, 절대 같은 제품 또는 서비스를 가격만 다르게 해서 올리면 안 됩니다. 이 방법은 불법이며 고소 당할 확률이 가장 큽니다. 다르게 제안하는 가격과 조금 씩 포함된 혜택들을 바꾸는 방법 또한 불법은 아니지만, 방문자들이 페이지의 문제점을 쉽게 알아챌 수 있을 것입니다. 반면에 조금씩 다른 구성의 제품, 플랜 등을 제안하며 가격도 함께 변화를 주는 방법이 가장 안전하고 효과적입니다. 중요한 것은 전환율보다는 수익률에 기준을 두고 실험을 하는 것입니다.

 

(4) 전환율에 문제가 있다고 느껴질 때

- 본인의 웹사이트 전환율에 의심이 생기거나 불분명한 패턴의 결과를 갖게 된다면 A/B 테스팅을 해보는 것이 좋습니다. 하지만 다른 사이트들의 A/B 테스트 결과를 토대로 무조건 따라서 테스트하는 것은 좋은 방법이 아니다.

 

(5) 단순히 수익을 높이고 싶을 때 (위에 4가지 모두 해당하지 않는다면)

- 웹사이트의 한 부분을 타깃으로 정하고 가설을 세워 테스트를 진행합니다. 예를 들면 CTA를 실험하고 싶다면 CTA의 위치, 글 또는 글꼴, 버튼 색상과 주변 공간에 변화를 줍니다.

 

*A/B 테스팅의 단점

 

첫째, 테스트를 많이/자주하면 단기적으로 손해가 발생할 수 있다. 예를 들어 쇼핑몰에서 구매전환율이 높은 상품 이미지가 무엇인지 알아보기 위한 테스팅을 진행한다고 치자. 2주 동안 전체 방문자를 50:50으로 나눠 기존 상품 이미지와 새로운 상품 이미지를 보여주고자 한다. 테스트를 3일 쯤 진행했더니 새로운 이미지를 본 집단에서의 매출이 기존에 비해 절반 밖에 나오지 않는다면 어떻게 해야하나? 애초에 계획했던 2주동안 테스트를 진행하려면 막심한 매출 손해를 감수해야한다.

 

둘째, A/B 테스팅의 결과는 계절 변화나 취향 변화 등 시간의 흐름에 따라 바뀔 수 있다. 작년 겨울에 A/B 테스팅을 하여 얻은 결론은 언제까지 유효할까? 통제실험은 시공간의 보편성에 대한 가정을 깔고 있다. 이 가정은 물리학이나 화학 수준에서는 대단히 확실히 보장되고, 생물학을 거쳐 사회과학 분야로 가면서 점점 약해지며, 비즈니스 맥락에서는 대단히 약해진다. 어제의 세상과 오늘의 세상이 다르고, 미국과 한국이 다르다. 결국 확실성을 유지하기 위해서는 실험을 지속적으로 반복해서 해야하는데 첫번째 단점(비용 문제)과 엮어서 생각해본다면 곤란한 얘기가 된다.

 

셋째, A/B 테스팅만 해서는 지역최적점에 머물게 될 위험이 있다. A/B 테스팅이라는 것은 기존 상태에서 작은 변화(되도록 하나의 변수만 살짝 바꾸기)를 가하며 점진적으로 더 나은 상태를 찾아가는 방식으로 진행된다. 하지만 이 방식으로는 지역최적점에 수렴할 수 있을 뿐 전역적인 최적점을 찾을 수 없다.

 

*A/B 테스팅 중요성

 

아마존, 구글, 넷플릭스 등 많은 기업들이 새로운 기능을 테스트하고 디자인을 최적화하기 위해 한다. 구글은 오래전부터 A/B testing을 적극적으로 활용해 온 것으로 유명한데, 지금도 꾸준히 한 번에 50개 이상의 A/B test를 진행한다고 한다. A/B testing이 중요한 이유는 "가설을 직관이 아니라 데이터로 증명할 있기 때문" 이다. 웹에서는 사용자들의 행동을 트래킹할 수 있기 때문에, 유저들이 실제로 어떻게 반응하는지 정량적으로 측정 가능하다. 이 피드백을 통해 서비스를 최적화해 나갈 수 있다.

 

*A/B 테스팅 프로세스

 

(1) 기존에 존재하는 데이터를 모으고 들여다본다.

 

(2) 목표를 구체화한다.

- 팀이 가장 중요하게 생각하는 것이 반드시 합의되어야 한다.

- 다른 말로 하면 이 목표를 위해서는 다른 목표를 희생할 수도 있다는 점을 모두가 동의해야 한다.

- 목표를 숫자화 한다. (취업 관련 비즈니스의 경우 "더 많은 사람들의 취직을 돕는 것"을 목표로 한다면, 구체적으로 "채용 기업 회원 숫자", "회원 만족도"를 목표로 할 수 있다.)

 

(3) 지표를 선정한다.

- 목표를 정했다는 그에 맞는 지표(Metric)를 선정해야 한다.

 

 

*퍼널 분석(Funnel Analysis)

- 특정 목표를 이루기 위해 필요한 이벤트를 단계적으로 나누어 분석하는 것

- 다음 단계로 넘어갈수록 깔때기처럼 좁아지기 때문에 깔때기 분석이라고 한다.

- 전환율(conversion rate)을 계산함으로써 유저 행동을 단계적으로 분석할 수 있기 때문에 유용함

-