AB 테스트, 직관을 넘어 실험으로 증명하기

AB 테스트란 무엇인가?

 

 

 

AB 테스트는 웹 페이지나 광고 시안 등에서 특정 요소만을 바꾸어 A안 B안으로 평가하는 리서치 방법론입니다. 다른 용어로는 split 테스팅이라고도 합니다. 마케팅, 웹 개발, UX 부서 등 다양한 곳에서 활용할 수 있습니다. 어떤 요소를 선택하는가에 따라서 반드시 2개 안을 비교하는 것이 아닐 수도 있습니다.

AB 테스트의 핵심은 2개 이상의 변인을 비교하는 것입니다. 바뀐 요소를 독립변인으로 설정하고 나머지 지표를 종속변인으로 설정하여 실험합니다. AB 테스트를 진행할 때는 유사한 청중에게 동일한 조건으로 변수를 테스트해야 합니다. 이러한 AB 테스트를 통해서 KPI 및 주요 서브 지표를 개선하기 위한 행동들을 결정할 수 있습니다. 어떤 중대한 결정 사항이 있을 때, 직관이 아닌 객관적 사실로 결정을 내릴 수 있다는 장점이 있습니다.

이러한 AB 테스트는 SEO 분야에서도 많이 쓰입니다. 저희 블로그에서 지속적으로 타이틀 태그와 메타 디스크립션의 중요도에 대해서 언급 드렸었습니다. 이러한 요소를 매력적으로 작성해야 한다는 점은 알고 있지만 어떻게 써야 클릭을 유도할 수 있을지 고민이 됩니다. 이럴 때 AB 테스트가 큰 도움이 될 수 있습니다. 마케팅 업계에서는 예전부터 AB 테스트나 블라인드 테스트의 중요성을 알고 있었습니다만, 실제로 실행하기는 어려웠습니다. 캠페인이 라이브되고 있는 상황에서 실시간으로 지표를 수집하기 어려웠기 때문입니다. 하지만 시대가 변하면서 온라인 환경에서 실시간으로 각 안들의 주요 지표를 비교하기가 쉬워졌습니다.

 

AB 테스트가 중요한 이유

 오늘날의 많은 온라인 비즈니스 플랫폼은 퍼널을 통해 고객 여정을 관찰합니다. 전환으로 이어지는 길목에서 비즈니스는 난관에 봉착합니다. 예를 들어, 여러분의 비즈니스가 이커머스라면 고객의 높은 장바구니 포기율이 문제일 수 있습니다. 이러한 모든 길목에서 우리는 AB 테스트를 진행하고 지표를 개선할 수 있습니다.

AB 테스트는 웹사이트 내의 점진적인 변화를 이끌 수 있는 방법이기도 합니다. 웹페이지는 작은 변화라도 주요 지표에 큰 영향을 미칠 수 있습니다. 갑자기 웹사이트에 큰 변화를 주면 그 변화가 불러올 부정적인 결과를 예방할 수 없습니다. AB 테스트는 큰 변화에 앞서 완충 효과를 주어 리스크를 줄이면서 더 옳은 판단을 할 수 있게 해줍니다.

 

AB 테스트를 통해 할 수 있는 일

방문자의 pain point 해결하기

방문자는 웹페이지에 특정 문제를 해결하기 위해서 방문합니다. 웹페이지가 고객의 문제를 해결하기 위해서는 방문자가 전환으로 가기까지의 길에 있는 페인 포인트를 없애야 합니다. 방문 목표를 달성하지 못한다면 나쁜 고객 경험이 생성될 수 있습니다. AB 테스트를 활용하면 방문자가 어떤 페인 포인트를 가지고 있는지 뿐만 아니라, 어떤 시안이 페인 포인트를 줄여줄 수 있는지 알 수 있습니다.

ROI 개선하기

이미 존재하는 트래픽에서 수익 지표를 개선하는 것 또한 AB 테스트의 중요한 목적 중 하나입니다. AB 테스트를 통해서 ROI를 개선할 수 있다면 새 트래픽을 위해서 추가적인 비용을 쓰지 않고도 전환을 이끌어낼 수 있습니다. 구매로 이어지는 과정을 짧게 만들거나 구매 유도 문구를 추가하는 등의 방법을 테스트해 볼 수 있습니다.

이탈률 줄이기

이탈률은 웹사이트의 퍼포먼스를 체크할 수 있는 가장 좋은 방법입니다. 이탈률이 증가하는 이유는 다양하기 때문에 단순히 지표를 관찰하는 것으로는 정확하게 파악하기 어렵습니다. 이런 상황에서 AB 테스트를 통해 이탈률에 영향을 미치는 여러 요소를 판단할 수 있습니다.

수정 사항에 대한 리스크 줄이기

앞서 말씀드린 대로 AB 테스트는 웹페이지 수정에 대한 리스크를 줄일 수 있습니다. AB 테스트를 진행할 때는 라이브로 배포가 된 웹페이지에서 랜덤하게 소비자층을 나누어 실험을 진행하기 때문에 결정된 사안을 적용할 것인지를 실험 사후에 결정할 수 있습니다. 따라서 수정 사항에 대한 문제가 있더라도 그것은 해당 시안을 보게 된 샘플된 소비자층에게만 영향을 미칠 뿐입니다. 이러한 AB 테스트의 특징으로 인해 웹페이지를 운영하면서 적은 리스크로 실험을 할 수 있습니다.

다변량 테스트와 다중 페이지 테스트

다변량 테스트와 다중 페이지 테스트는 AB 테스트의 세부 테크닉입니다. 다변량 테스팅은 여러 가지 조합된 변수로 가설을 증명하는 AB 테스트입니다. 2개 이상의 변수를 서로 조합하여 n개의 변수 조합 그룹을 만들어내고 각각의 성능을 테스트합니다. 예를 들어 보겠습니다. Above-the-fold 영역에 헤드라인과 이미지를 첨부하기로 결정했습니다. 헤드라인의 안은 A,B의 두 개이고 이미지의 안은 C,D의 두개일 때, AC, AD, BC, BD의 4개의 조합이 나오게 됩니다. 이 각각의 안에 대한 평가 지표를 비교하여 선택합니다.

 

다변량 테스트는 짧은 기간 내에 여러 가지 변수를 테스트해 볼 수 있다는 점에서 장점이 있습니다. 또한 일반적인 AB 테스트와는 달리 여러 변수들 사이의 상관관계와 연계효과를 알 수 있습니다. 하지만 다변량 테스트의 단점도 존재합니다. 다변량 테스트의 복잡성으로 인해서 순수한 변수의 효과를 측정할 수 없다는 것입니다. 그렇기 때문에 결과에 어떤 지표가 더 기여 했는가를 분명하게 비교할 수는 없습니다.

다중 페이지 테스트는 다변량 테스트 방법에서 더 나아가 다수의 페이지 사이에서 AB 테스트를 진행하는 것입니다. 다수의 페이지를 통해 퍼널을 재설계하기 위해 고객 여정에서 여러 부분들을 바꿔서 AB 테스트를 진행합니다. 이러한 다중 페이지 테스트는 큰 규모로 다양한 요소들의 변화를 살펴볼 수 있다는 것에서 장점이 있습니다.

AB 테스트를 하는 방법은 엄밀히 정해져 있지 않습니다. 앞서 말씀드린 두 가지 방법 외에도 다양한 AB 테스트 방법이 있습니다. 비즈니스 현황에 맞춰서 웹페이지를 평가하고 수정하는 일이 필요합니다. 자사 웹사이트에 맞춰 커스텀 한 AB 테스트를 통해서 비즈니스를 성공으로 이끌어보세요!

 

SEO 테스트의 주요 지표

AB 테스트를 진행하는 경우에는 핵심지표를 설정하는 것이 무엇보다도 중요합니다. AB 테스트에서 활용할 수 있는 대표적인 지표는 다음과 같은 것들이 있습니다.

1. 페이지뷰
2. 페이지 체류 평균 시간
3. 이탈률
4. Dwell time

익숙하지 않은 평가 지표인 Dwell time에 대해서만 설명을 간략히 드리겠습니다. Dwell time이란 검색 사용자가 검색 엔진 결과 페이지(SERP)로 돌아오기 전에 검색 결과의 한 페이지에서 보낸 시간입니다. 페이지 체류 평균 시간과는 다르게 전체 웹페이지에 체류하는 모든 시간을 측정하는 항목입니다. Dwell time이 낮다면 타이틀 태그와 메타 디스크립션 등의 검색 결과 페이지의 매력도에 비해서 웹페이지 내의 콘텐츠의 만족도가 높지 않은 것이라고 할 수 있습니다.

 

SEO 테스트 VS CRO

CRO는 Conversion Rate Optimization의 약자로 전환율 최적화를 의미합니다. 전환율 최적화의 과정은 기존의 AB 테스트 과정과 비슷합니다. 다수의 버전으로 페이지나 요소들을 만들고 랜덤하게 소비자들에게 많은 버전 중 하나를 노출합니다. 이 결과를 통계적 기법으로 검정하여 시안 중 하나를 결정합니다.

하지만 SEO 테스팅의 경우에는 이런 방식의 적용이 쉽지 않습니다. 색인 생성이 되는 두 가지의 비슷한 페이지를 모든 검색 엔진에 등록할 수는 없습니다. 이것은 "클로킹"으로 정의되어 검색 엔진 지침에 위배됩니다. 따라서 동일 기간에 대한 다수의 페이지 시안에 대한 지표를 비교하는 것이 CRO보다 어렵습니다.

또한 SEO 테스팅에서 집중해야 하는 것은 독자가 보는 페이지가 아닌 검색 엔진 봇이 보는 페이지의 요소와 SERP입니다. 그러므로 두 테스팅의 대상이 되는 요소도 서로 다릅니다.  SEO 테스팅과 CRO는 완전히 서로 다른 개념이지만 밀접하게 연관된 활동입니다. AB 테스트를 진행할 때는 현재 상황에 맞추어 SEO test를 진행할지 CRO를 진행할지 결정해야 합니다.

 

SEO 테스트 적용 요소

SEO 테스트는 많은 요소들을 대상으로 실행할 수 있습니다. SEO 테스트에 대한 이해를 돕기 위해 대표적인 요소들을 설명 드리겠습니다.

1. 타이틀 태그와 메타 디스크립션

타이틀 태그는 SERP에서 고객과 처음 만나는 웹페이지의 얼굴과도 같기 때문에 여러 실험을 통해 최적화하는 것이 좋습니다. 타이틀 태그는 CTR(click through rate)에 많은 영향을 주기 때문에 CTR을 주요 지표로 활용하는 것이 좋습니다. 검색 엔진은 페이지의 CTR에 대한 평균적인 예상을 가지고 있으며 평균적인 예상에서 낮아지면 페이지를 부정적으로 바라볼 가능성이 높아집니다.

2. 스키마 마크업 

가능하다면 SERP에 타게팅 하는 모든 페이지에 구조화된 마크업을 삽입하는 것이 좋습니다. 하지만 스키마 마크업의 종류는 다양하며 어떤 스키마 마크업을 페이지에 적용해야 할지 결정하기 힘들 수 있습니다. 이때 여러 가지 스키마 마크업을 적용하면서 실제로 어떤 스키마 마크업이 평균 게재 순위 등에 좋은 영향을 미치는지 실험해 볼 수 있습니다.

아티클 카테고리의 구조화된 결과 예시

3. 내부 링크

내부 링크를 올바르게 설정하면 예상보다 빠르게 키워드 순위가 향상될 수 있습니다. 페이지별로 내부 링크를 연결할 수 있는 방법은 다양합니다. GNB(global navigator bar) 등을 활용할 수도 있고 콘텐츠의 관련 앵커 텍스트에 링크를 추가하는 방법도 있습니다. 여러 전략을 수정해가면서 전체적인 페이지의 SEO를 확인한다면 적절한 유형의 내부 링크 전략을 세울 수 있습니다. 내부 링크에 대한 AB 테스트는 콘텐츠 페이지 한 장을 대상으로 할 수도 있고, 전체 페이지의 링크 전략에 대해 테스트할 수도 있습니다.

4. 새 콘텐츠

새 콘텐츠를 주기적으로 업데이트하는 것은 SEO에 중요한 요소입니다. 검색 엔진은 항상 최신의 정보를 사용자에게 제공하고자 노력하기 때문입니다. 새 콘텐츠를 업데이트할 때도 AB 테스트를 활용하는 것이 좋습니다. 연관 키워드 등의 요소를 테스트하여 콘텐츠의 내용이 타깃 SERP에 효과적으로 상위 노출될 수 있도록 개선할 수 있습니다. 새 콘텐츠의 AB 테스트 대상은 콘텐츠의 헤드라인과 서브 헤드라인, 헤딩 태그 구조, Above the fold 영역 등이 있습니다.

 

AB 테스트 프로세스

1. 페이지 개선점 찾기

Google Search Console 등의 SEO 툴을 통해 주기적으로 모니터링하는 지표를 확인합니다. 이러한 지표 중에서 상대적으로 저조하거나 개선의 여지가 있는 지표를 탐색합니다. 성과가 낮은 특정 키워드에 대한 SERP의 자사 기존 콘텐츠를 개선하는 것도 AB 테스트에 대한 좋은 방향성입니다.

Ex) 새로 발행한 콘텐츠가 타겟 SERP에서 예상보다 게재순위가 낮은 상황

 

2. 변수로 활용할 주요 지표 식별하기

웹페이지의 문제점과 관계있는 다양한 변수의 리스트를 만듭니다. 변수 그룹 내에서 유의미한 변화가 있는지 확인하고 어떤 지표가 문제를 대표할 수 있을지 판단합니다. 가능하면 독립변수와 종속변수를 나누어 분석하는 것이 좋습니다. 페이지에서 일어나는 다양한 사건에 대한 인과관계를 정의하는 단계입니다.

Ex) 독립변수를 타이틀의 길이로 설정합니다. 종속변수를 타깃 SERP의 평균 게시 순위로 설정합니다.

 

3. 가설 설정하기

지표를 통해 알아낸 점을 바탕으로 가설을 세우는 단계입니다. AB 테스트는 데이터를 활용해 성과를 향상시킬 수 있는 방법이기 때문에 모든 가설은 수치화되는 것이 좋습니다. 가설을 입증하거나 반증하는 것이 여러분의 비즈니스에 도움이 될지 고려하는 것도 중요합니다. 비즈니스에 미치는 영향이 클수록 테스트가 가치 있다고 볼 수 있습니다.

Ex) 가설 설정: 타이틀의 길이가 길수록 타깃 SERP의 평균 게시 순위가 2순위 이상의 의미 있는 수치로 상승할 것입니다.

 

4. 목표 설정, 테스트 기간 및 샘플의 사이즈 결정

테스트를 시작하기 전에 기본 측정항목을 선택하고 이를 관찰합니다. 이 기간 중에 의미 있는 차이를 만들어내는 측정 항목을 발견할 수 있습니다. 이를 통해서 테스트의 목적을 명확하게 설정할 수 있습니다. 또한 이 단계에서 테스트 기간 및 샘플의 사이즈를 결정해야 합니다. 정해진 기준은 없으나 이전에 측정했던 측정항목들을 기반으로 적절한 기간과 사이즈를 선택해야 합니다.

Ex) 타이틀 태그가 평균 게재 순위에 미치는 영향을 측정하기 위해서는 측정항목으로 타이틀의 길이와 평균 게재 순위가 필요합니다. 이 두 가지 측정 항목은 구글 서치 콘솔을 통해 측정하겠습니다. 이전의 측정 데이터를 살펴봤을 때 해당 실험은 6개월 이상의 실험 기간과 5000 건 이상의 데이터가 필요합니다.

 

5. 가설을 기반으로 변수 만들기

때에 따라서는 가설에 필요한 변수를 만들어야 할 수도 있습니다. 대부분의 유의미한 변수 지표는 온라인 툴로 수집할 수 있으나 더 복잡한 변수가 필요한 경우가 있습니다. 또한 두 가지 변수를 계산하여 새로운 변수를 만드는 과정을 통해서 데이터를 다각화할 수 있습니다. 머신 러닝 기법에도 비슷한 유형의 프로세스가 있으며 이를 피처 엔지니어링이라고 합니다. 엄밀히 같은 개념은 아니지만 피처 엔지니어링을 알고 계시면 이 단계를 좀 더 잘 이해하실 수 있습니다.

Ex) 가설 검증을 구체화하기 위해서 {타이틀 글자 수당 평균 게재 순위 = 평균 게재 순위/타이틀 글자 수}라는 변수를 만들고 측정 항목으로 추가합니다.

 

6. 테스트 실행하기

AB 테스트를 실행합니다. 검색 엔진에서 일반적으로 AB 테스트를 할 수 있는 방법은 이미 존재하는 페이지에 변형을 주거나 302 리디렉션 페이지를 만들어 일부 고객들을 수정본 페이지로 보내는 것입니다. 검색 엔진이 페이지를 색인하는 것은 오래 걸릴 수 있고 비슷한 페이지가 두 개씩 색인되는 것은 적절치 않기 때문에 절대 수정본 페이지를 라이브 웹사이트에 생성해서는 안 됩니다.

Ex) 기존의 콘텐츠 중 저성과, 중성과, 고성과의 콘텐츠 중 실험 대상을 선정하여 동시에 같은 기간 내의 타이틀 길이를 길게 만들고 경과를 지켜봅니다.

 

7. 결과 분석

실제 측정항목을 통해 결과를 분석하고 다음 단계의 실험을 설계하는 프로세스에 피드백합니다. 또한 의미 있는 성과가 관측된 시안이 있다면 해당 버전의 페이지를 도입하는 것을 고려합니다. 귀무가설이 채택된 경우에도 그 결과에서 무엇을 배울 수 있는지 늘 생각하고 지속적으로 실험해야 합니다.

Ex) {타이틀 글자 수당 평균 게재 순위} 지표가 유의미한 차이를 보이지 못했으므로 대립 가설은 기각됩니다. 실험 설계 상 잘못된 것은 없었는지 알아보고 다음 실험으로 어떤 가설을 세울지 고민합니다.

 

.

.

.

이렇게 AB 테스트의 SEO 활용에 대해서 알아보았습니다. SEO는 데이터가 명확하고 성과를 수치화하기 좋기 때문에 AB 테스트를 활용하기 좋습니다. 하지만 검색 결과 페이지를 자사에서 컨트롤할 수 없다는 점 때문에 SEO 테스트를 진행하는 과정은 어려울 수도 있습니다. 끊임없는 테스트를 통해서 내부적으로 소통하고 성과를 내는 일은 업무에서 매우 중요한 부분입니다. 여러분들도 다양한 실험을 통해서 여러분의 온라인 비즈니스에 대한 인사이트를 얻을 수 있기를 바랍니다.

더불어 이러한 AB 테스트 방법론을 SEO에 적용하는 데 어려움을 겪고 있으시다면 SEO 전문가의 컨설팅을 받아보시길 바랍니다. TBWA Data Lab의 컨설팅을 통해 귀사의 SEO 문제를 통찰하고 실험을 설계할 수 있습니다. 하단의 버튼으로 문의해 주시길 바랍니다.

 

>> TBWA KOREA 본문 바로가기

>> TBWA KOREA SEO 컨설팅 서비스 바로가기