* 이 글은 현재 PA툴 도입을 고려하는, (특히) 이전에 PA툴 사용 경험이 없는 조직에서 흔히 혼동하는 PA와 BI의 개념을 비교하고, 툴 도입 의사결정을 하는데 도움을 드리기 위한 내용입니다.

이런 분들께 도움이 될 거에요

✅ 프로덕트 분석 툴을 도입을 고민 중인 대표/PM/PO/마케터

✅ PA툴 도입 경험이 없는 조직의 대표/PM/PO/마케터

✅ PA와 BI가 어떻게 다른지 궁금한 대표/PM/PO/마케터

1. 적지 않은 돈을 들여 PA툴을 도입하고 만족하지 못하는 이유

PA(Product Analysis)와 BI(Business Intelligence)는 개념이 쉽게 헷갈립니다. 엄밀히 말하자면 BI 안에 PA가 포함될 수 있기 때문이죠. 하지만 현업에서 통상적으로 쓰이는 의미로 들어가면 두 개념이 뜻하는 행위에는 꽤 차이가 있어 보입니다. 그리고 이 차이가 인지되지 못했을 때, PA툴 도입 이후에도 잘 활용하지 못하고 만족도가 낮아지는 상황이 왕왕 발생하는 것 같다는 느낌을 CSM 활동을 통해 많은 고객사를 접하며 받게 됐습니다.

이 글에서는 적지 않은 비용을 들여 PA툴 도입을 고민하는 스타트업이 ‘우리가 정말 PA툴이 필요한 상황인지’, 혹은 ‘PA, 즉 제품 분석을 제대로 할 수 있는 상황인지’를 한 번 더 생각해보는 데 도움이 되고자 하는 의도로 작성되었습니다. 툴 도입 시에는 여러 가지 관점에서 검토가 이루어지겠지만, 여기서는 우리가 하고자 하는 게 정말 PA(제품분석)인지를 점검해 볼 수 있으면 좋겠습니다.

 쉽게 혼동되는 BI(Business Intelligence)와 PA(Product Analysis)의 개념

2. PA vs BI 용어적 차이

일단 용어적 차이를 먼저 보겠습니다.

1) BI(Business Intelligence)의 정의

BI(비즈니스 인텔리전스)는 다음과 같이 정의할 수 있다고 합니다.

원시 데이터를 더 효과적, 전략적/전술적이고, 운영적 통찰력을 갖춘 의사결정을 가능하게 해주는 유용한 정보로 변환하는 일련의 방법론, 과정, 구조 및 기술이다. - 출처 : Forrester

비즈니스 인텔리전스는 비즈니스 운영에서 나오는 데이터를 수집, 저장, 그리고 분석하는 프로세스입니다. 실적을 벤치마킹하고, 시장 추세를 파악하는 등 비즈니스의 거의 모든 측면을 개선하기 위한 활동을 아우르는 용어입니다.

2) PA(Product Analysis)의 정의

PA(제품 분석)은 사용자가 제품 또는 서비스에 참여하는 방식을 분석하고 개선하는 프로세스입니다. 사용자가 우리 제품에서 실제로 어떻게 활동하는지를 분석하여, 더욱더 적극적으로 참여시키고 다시 돌아올 수 있도록 ‘제품 즉, 사용자 경험을 개선하기 위한’ 활동입니다.

 Business Intelligence vs Data Analytics( 이미지 출처: https://www.loginworks.com/)

3. PA와 BI의 지향점

BI는 단어에서 알 수 있듯 기본적으로 기업의 이윤, 즉 ‘비즈니스’와 직접적으로 연관되는 지표를 주로 다루는 것으로 보입니다. 대표적인 BI 지표로는 판매 수익, 이윤, 재고, 트래픽(e.g. MAU) 등을 들 수 있습니다. 제품 분석 관점에서 이러한 지표들은 어떠한 원인에 대한 결과로 반영되는 ‘후행지표(output metric)’로 봅니다. 즉, ‘어떠한 일이 벌어졌다’, ‘이 부분을 개선해야 한다’와 같은 회고적인 관점에 초점이 맞춰져 있는 것이 BI라고 할 수 있습니다.

반면 PA(제품분석)의 경우 ‘왜 이런 일이 일어났지?’, ‘어떻게 해야 바뀔 수 있지?’, ‘이렇게 하면 다음에 어떻게 되지?’와 같이 보다 미래지향적인 관점을 갖습니다. 그리고 BI보다는 훨씬 더 제품에 집중된 더욱 뾰족한 질문에 대한 대답을 찾기 위한 행위입니다. 제품 분석이란 제품 개선으로 이어지지 않으면 아무런 의미가 없기 때문에, ‘그래서 다음엔 제품(혹은 사용자 경험)의 이 부분을 어떻게 해야겠다’가 반드시 나와야 하고, 그것이 실제로 실행되어야 합니다. 즉 BI와 달리, 제품에 끊임없는 변화를 주기 어려운 환경이라면 제품분석은 매우 무색해질 수밖에 없습니다.

*제품 분석에 대해 더 자세히 알고 싶다면 초보자를 위한 제품분석 소개 글을 참고해 주세요.

 BI는 회고적 관점, PA는 미래 지향적 관점을 갖는다.

4. PA툴과 BI툴, 그리고 데이터 정합성

믹스패널을 도입하시는 고객사들과 온보딩을 진행할 때 믹스패널을 통해 이러이러한 지표들을 트래킹하고 싶다는 말씀을 듣게 되는데(저희가 필수적으로 묻기도 합니다), 그것들이 이런 BI 개념에 가까운 후행지표일 때가 많습니다. 그러다 보니 높은 정합성을 기대하시게 되고요. 정합성은 물론 중요하나, 기업의 실적과 직접 연관된 BI 지표들은 몹시 높은 정합성이 필요하고, 그러한 데이터는 서버에 직접 저장되는 데이터로 확인하는 것이 바람직합니다. 그리고 이러한 서버 데이터를 추출하고 시각화하기 위해 Tableau, Power BI나 무료 툴인 Redash 등 여러 BI툴 도입을 고민하게 됩니다.

 대표적인 BI툴 - Tableu, Power BI, Redash

반면 PA(제품분석)의 경우에는 서버에 저장하는 데이터 기준으로만 봐서는 안 됩니다. 예를 들어 BI 관점에서는 신규회원가입 수가 WoW, MoM 기준으로 어떻게 변화하는지를 보지만, PA 관점에서는 회원가입 이전에 사용자가 어떤 경험을 하고 어떤 행동을 하다가 이탈 혹은 가입으로 전환되는지 아는 것이 훨씬 더 중요합니다.
 

이러한 데이터는 보통 서버에서 저장하지 않으며, 여러 플랫폼이나 브라우저 등의 환경에서 너무나 다양한 케이스(대표적으로 애드블락커, 시크릿 브라우저 등)로 예상할 수 없는 누락 또는 중복이 일어날 수밖에 없습니다. 물론 엔지니어분들과 QA를 통해 최선을 다해 정합성을 맞추는 작업은 매우 중요하지만, 강조하고 싶은 건 PA는 높은 정합성을 목표로 하는 것이 아닌 사용자의 행동 양상을 분석하는데 목적이 있다라는 점입니다. 그렇기 때문에 PA툴은 어느 정도의 정합성 차이를 감수하고, ‘빠른 사용자 행동 분석과 제품 반영 사이클’을 가능하게 하는 강력한 강점을 취해야 의미 있는 활용이 가능합니다.

 대표적인 PA툴 - Mixpanel, Amplitude

5. 우리는 PA툴을 도입할 준비가 됐나?

우리가 PA툴 도입으로 기대하는 바가 혹시 단순한 후행지표 트래킹뿐이지는 않은지, 제품에서 빠르게 실험하고 반영할 수 있는 환경이 만들어져 있는지, 그 이전에 조직 차원에서 ‘사용자 행동 데이터’에 대한 관심과 갈망이 어느 정도 있는지 등을 미리 점검해 보면 소중한 리소스를 낭비하는 상황을 방지할 수 있습니다.

의외로 모든 제품과 서비스가 항상 제품분석이 필요하지는 않은 것 같습니다. 제품분석은 어떤 하나의 행위가 아니라 조직의 체질과 같기 때문에, 새롭게 이식하기가 몹시 어렵습니다. 어렵다는 건 인적/물적 자원이 든다는 의미이기 때문에, 정말 우리는 이것이 필요한 조직인지, 그리고 준비가 되었는지를 점검해 보는 것은 아주 유의미한 일입니다.

또 한 가지는, 혹시 우리의 조직이 아직 PMF(Product-Market Fit)을 찾지 못한 상태라면, 유료 PA툴 도입은 없는 살림에 꽤 사치스러운 일일 수 있습니다(투자 빵빵하게 받은, 있는 집이다라고 하면 부럽습니다). 그럼에도 믹스패널은 스타트업들에게 1년간 6천만원 상당의 크레딧을 지원해주는 Start-up Plan이 있어서, 실제 PMF를 찾는 용도로 많이 쓰시기도 합니다.

PA툴은 말 그대로 툴일 뿐이기에, 툴을 쓴다고 하여 갑자기 조직이 데이터 드리븐하게 바뀌고 제품 주도 성장을 하지는 않습니다. 하지만 IT 기술 기반의 제품을 만드는 조직이라면 대부분 제품 주도 성장을 꿈꿉니다.

우리 조직이 상기한 것들을 검토해 보았을 때도 PA툴이 필요하겠다고 판단하셨다면 mixpanel@mfitlab.com 으로 편히 문의주세요. 믹스패널은 여러분의 조직에 아주 현명한 선택이 될 것입니다. 또한 툴과 함께 PA컨설턴트를 함께 고용하는 효과를 누리세요.

마켓핏랩 솔루션즈가 최선을 다해 제품 주도 성장 체질이 이식되도록 도와드리겠습니다.