데이터 분석
AI가 준 그 숫자, 믿어도 될까?
2026.06.09 14:27
- 한눈에 보는 핵심요약
- AI가 준 깔끔한 분석 숫자, 그대로 믿어도 될까요? 프롬프트가 혼자 채운 빈칸을 의심하는 눈을 이야기합니다.
프롬프트 뒤에 숨은 것을 보는 눈
AI 분석을 제대로 쓰는 세 가지 관점
AI에게 "재구매율 알려줘" 한 줄을 던지면 깔끔한 숫자가 돌아옵니다.
하지만 그 숫자 뒤에는 누군가 혼자 채운 빈칸, 회사마다 다른 정의, 흔들리는 데이터 토대가 숨어 있습니다.
프롬프트는 누구나 쓸 수 있지만, 그 답 뒤에 무엇이 숨어 있는지 볼 줄 아는 사람만 진짜 인사이트를 얻습니다.
이 글은 그 '눈'을 키우는 3부작을 하나로 묶은 것입니다.
1부 ｜ 의심하는 눈: AI가 준 그 숫자, 믿어도 될까?
어느 이커머스 회사의 월요일 아침. 마케터가 AI에게 한 줄을 던집니다.
"지난달 신규 고객의 재구매율 알려줘."
몇 초 뒤, 깔끔한 표와 함께 답이 돌아옵니다.
"지난달 신규 고객의 재구매율은 23%입니다."
마케터는 이 숫자를 슬라이드에 넣어 대표에게 보고합니다.
대표는 "신규 고객이 안 사고 빠져나가는구나, 재구매를 끌어올릴 리타기팅과 CRM 캠페인에 예산을 더 쓰자"며 마케팅 방향을 수정합니다.
여기까지, 무엇 하나 이상해 보이지 않습니다. 질문은 자연스러웠고, 답은 즉각적이었고, 표는 단정했습니다.
그런데 그 23%는 틀렸습니다.
AI는 당신이 묻지 않은 것을 혼자 정했다
문제는 AI가 거짓말을 했다는 게 아닙니다.
AI는 당신의 질문에 빈칸이 너무 많다는 것을 알면서도, 그 빈칸을 혼자 채워 넣고 말해주지 않았다는 데 있습니다.
"지난달 신규 고객의 재구매율"이라는 짧은 문장 안에는 사실 이런 질문들이 숨어 있습니다.
- '신규 고객'은 누구인가요? 회원가입을 한 사람? 첫 구매를 한 사람?
- '지난달'은 달력상 한 달(5월 1일~31일)인가요, 아니면 오늘 기준 최근 30일인가요?
- '재구매'는 며칠 안에 다시 사야 인정되나요? 7일? 30일? 기간 제한이 없나요?
- 취소되거나 환불된 주문도 구매로 세나요?
AI는 이 모든 빈칸을 스스로 골랐습니다. 신규를 가입일로 잡고, 환불 주문도 포함하고, 재구매를 기간 제한 없이 셌을 수도 있습니다. 어느 쪽을 골랐는지는 답 어디에도 적혀 있지 않습니다. 그저 "23%"라는 확신에 찬 숫자만 남았을 뿐입니다. 빈칸을 다르게 채우면 답은 18%가 되기도, 31%가 되기도 합니다. 그리고 대표님의 마케팅 예산과 방향은 이 보이지 않는 선택 위에서 움직입니다.
분석은 코딩과 다릅니다
여기서 한 가지 오해를 짚고 넘어가야 합니다. "AI가 코딩도 잘하던데, 분석도 당연히 잘하겠지"라는 생각입니다.
AI를 데이터 분석에 본격적으로 활용해 온 Anthropic은 이 둘이 근본적으로 다른 일이라고 말합니다(확인된 출처: Anthropic 공식 블로그, How Anthropic enables self-service data analytics with Claude). 차이를 이커머스 실무자의 언어로 옮기면 이렇습니다.
코드는 틀리면 티가 납니다. 장바구니 기능을 잘못 짜면 버튼이 안 눌리고, 주문이 안 들어옵니다. 돌려보면 맞는지 틀린지 바로 압니다. 정답이 여러 개일 수도 있고요. 빨간 버튼이든 파란 버튼이든 눌리기만 하면 됩니다.
분석은 틀려도 티가 안 납니다. 재구매율을 잘못 계산해도, 결과는 여전히 깔끔한 표로, 단정한 숫자로 나옵니다. 게다가 정답은 보통 하나뿐입니다. 우리 회사의 진짜 재구매율은 23%이거나 18%이지, "둘 다 맞다"가 성립하지 않습니다.
코딩에는 "돌려보기"라는 안전장치가 있지만, 분석에는 그게 없습니다. 틀린 답이 가장 그럴듯한 얼굴로 당신 앞에 놓입니다. 이것이 AI 분석이 위험한 진짜 이유입니다.
"그럴듯하게 틀린 답"이 가장 비쌉니다
대놓고 이상한 답은 차라리 안전합니다. "재구매율 870%"라고 나오면 누구나 의심하고 다시 확인할 테니까요.
진짜 위험한 건 "23%"처럼 충분히 그럴듯해서 아무도 의심하지 않는 숫자입니다. 이런 숫자는 검토 없이 보고서에 들어가고, 회의를 통과하고, 예산을 움직이고, 캠페인의 방향을 바꿉니다. 잘못된 토대 위에 세운 의사결정은, 나중에 매출 지표가 흔들린 뒤에야 "그때 그 숫자가 틀렸었다"는 걸 알게 됩니다.
첫 번째 눈: 의심하는 눈
이 시리즈가 키우려는 건 AI를 쓰지 말자는 이야기가 아닙니다. 정반대입니다. AI에게 분석을 맡기되, 그 답 뒤에 무엇이 숨어 있는지 볼 줄 아는 눈을 갖추자는 것입니다.
그 첫 번째 눈은 바로 의심하는 눈입니다. 답이 깔끔할수록, 프롬프트가 간단했을수록 한 번 더 묻는 습관입니다.
"이 숫자, '신규'를 뭘로 봤지?"
"기간은 어떻게 잡았지?"
"환불은 뺐나?"
이 질문을 던질 줄 아는 사람과, 23%를 그대로 믿는 사람의 격차가 앞으로 점점 벌어질 것입니다.
그렇다면 AI는 대체 왜 빈칸을 제멋대로 채우는 걸까요? 사실 그건 AI만의 문제가 아닙니다. 우리 회사 안에 이미 답이 흩어져 있기 때문입니다. 2부에서는 한 회사 안에 '재구매율'이 다섯 개나 존재하는 이유를 들여다봅니다.
────────────────────
한 걸음 더: AI 분석은 '구조적으로' 틀린다
"그럴듯하게 틀린 답"은 운이 나빠서 나오는 게 아닙니다. Anthropic은 AI 분석이 틀리는 지점을 세 가지 실패 모드(failure mode) 로 정리했습니다(확인된 출처: Anthropic 공식 블로그). 이커머스 실무에 대입하면 다음과 같습니다.
① 말과 데이터가 어긋난다 (개념-엔티티 모호성)
'활성 고객'이라는 말 하나에 대응되는 데이터 테이블과 조건이 수십 가지일 수 있습니다. 사람이 머릿속으로 "아 그건 최근 90일 안에 산 사람"이라고 메우는 맥락을, AI는 모른 채 그럴듯한 후보 하나를 고릅니다.
② 정의가 낡는다 (노후화)
작년에 정한 'VIP 등급' 기준이 올해 시즌엔 안 맞을 수 있습니다. 스키마와 정의는 계속 바뀌는데, AI가 참조하는 지식이 그 속도를 못 따라가면 옛 기준으로 계산합니다.
③ 맞는 답을 못 찾는다 (검색 실패)
정답이 되는 테이블이 분명히 존재해도, 수백 개의 테이블이 뒤섞인 데이터 창고에서 AI가 엉뚱한 곳을 집어 들 수 있습니다. 정보가 없어서가 아니라, 못 찾아서 틀립니다.
세 가지 모두 공통점이 있습니다. 모델이 더 똑똑해진다고 사라지지 않는다는 것입니다. 이것이 2부의 출발점입니다.
2부 ｜ 모호함을 꿰뚫는 눈: '재구매율'이 5개인 회사
같은 회사, 같은 단어, 다른 숫자
한 이커머스 회사의 주간 회의. 누군가 묻습니다. "우리 재구매율 지금 몇이에요?"
- 마케팅팀: "32%요. 캠페인 받은 고객이 다시 산 비율이요."
- CS팀: "음, 저희는 45%로 보고 있어요. 한 번이라도 두 번째 주문을 한 고객 기준요."
- 재무팀: "21%인데요. 같은 분기 안에 다시 결제한 사람만 셉니다."
세 팀 다 거짓말을 하지 않았습니다. 모두 성실하게 계산했습니다. 그런데 답이 세 개입니다. 여기에 데이터 분석가가 쓰는 기준, 대표님이 머릿속에 가진 기준까지 더하면 한 회사 안에 '재구매율'이 다섯 개쯤 떠다닙니다.
1부에서 AI가 "재구매율 23%"라고 자신만만하게 답하고 빈칸을 혼자 채웠다고 했습니다. 2부의 핵심은 이것입니다. AI가 빈칸을 멋대로 채우는 건 모델이 멍청해서가 아니라, 애초에 우리 회사 안에 정답이 흩어져 있기 때문입니다.
AI가 빠지는 3가지 함정
AI에게 우리 회사 데이터를 그냥 던져주면, 사람도 헷갈려 하는 바로 그 지점에서 똑같이 헷갈립니다.
이커머스에서 가장 자주 나오는 세 가지를 봅니다.
함정 1. 같은 단어, 다른 정의
'매출' 한 단어를 봅시다.
- 주문이 들어온 날 기준인가요, 결제가 완료된 날 기준인가요?
- 취소와 환불은 빼나요?
- 배송비와 쿠폰 할인은 포함하나요?
어느 쪽을 고르느냐에 따라 같은 달 매출이 수천만 원씩 차이 납니다. 사람은 맥락을 보고 적당히 맞추지만, AI는 그 맥락을 모릅니다. 정의가 정해져 있지 않으면 AI는 그저 손에 잡히는 숫자를 더할 뿐입니다.
함정 2. 한 명을 여러 명으로 세는 실수
이건 좀 더 미묘합니다. 장바구니로 비유해 보겠습니다.
한 고객이 한 번의 주문에서 상품 3개를 샀다고 합시다. 데이터에서 '고객'과 '주문'과 '상품'을 잘못 연결하면, 이 한 명이 세 명처럼 계산됩니다. 상품 한 줄마다 고객이 한 번씩 세지기 때문입니다.
그 결과 고객 수가 부풀려지고, 1인당 매출은 줄어들고, 재구매율은 엉뚱해집니다. 화면에 나오는 표는 멀쩡해 보이지만, 숫자의 뿌리가 어긋나 있습니다. 사람도 실수하는 이 연결을, AI도 똑같이 틀립니다.
함정 3. "지난달"이라는 모호한 시간
"지난달 성과 보여줘"라는 말도 함정입니다. '지난달'이 달력상 한 달(지난 1일부터 말일까지)인지, 오늘 기준 최근 30일인지에 따라 포함되는 주문이 달라집니다. 월말 프로모션이 걸쳐 있으면 차이는 더 커집니다.
진짜 반전: 모델을 바꿔도 소용없었다
여기서 많은 분이 기대하는 해법은 "그럼 더 똑똑한 AI를 쓰면 되겠네"입니다.
그런데 실제 데이터는 정반대를 가리킵니다.
AI 분석을 깊게 파고든 Anthropic은, 같은 질문에 대한 분석 정확도를 약 21%에서 95% 이상으로 끌어올렸습니다. 비결은 더 비싼 모델이 아니었습니다. '의미'를 정리한 것이었습니다. 무엇이 '활성 고객'인지, 무엇이 '매출'인지를 회사 차원에서 한 번 못 박아두고, AI가 그 정의를 쓰게 한 것입니다.
더 결정적인 실험도 있습니다. 분석 도구 회사 Cube가 진행한 벤치마크(2026)에서, 서로 다른 AI 모델 세 개(Claude Opus 4.7, Claude Sonnet 4.6, GPT-5.4)에 같은 정리 작업을 적용했습니다. 여기서 '정리 작업'이란 거창한 게 아니라, 데이터의 의미와 규칙을 적은 4KB짜리 정의 문서 한 장을 함께 건넨 것이었습니다. 그 결과 세 모델 모두 정확도가 17~23%포인트씩 올랐고, 모델 사이의 차이는 거의 사라졌습니다(적용 전 45.5~50.5% → 적용 후 67.7~68.7%로 통계적으로 구분 불가). 확인된 출처: Cube 블로그, Why semantic layers make LLM analytics reliable
이 결과가 말하는 바는 분명합니다.
AI 분석의 정확도 상한선은 모델이 아니라, 우리가 데이터에 부여한 의미가 결정합니다.
두 번째 눈: 말의 모호함을 꿰뚫는 눈
첫 번째 눈이 "이 답을 의심하라"였다면, 두 번째 눈은 "우리가 쓰는 말부터 모호하지 않은가"를 보는 눈입니다.
AI가 틀린 답을 줬을 때, 화를 내야 할 대상은 AI가 아닙니다. 우리 회사 안에서 '재구매율'이 다섯 개로 굴러다니도록 방치한 우리 자신입니다. 새 AI를 기다리는 것보다, 오늘 '재구매율은 이렇게 센다'를 한 줄로 정하는 것이 정확도에 훨씬 큰 영향을 줍니다.
AI를 바꾸지 말고, 말을 정리하세요.
그렇다면 '말을 정리한다'는 건 구체적으로 무엇을 갖추는 걸까요? 마지막 3부에서는 대표와 마케터가 각자 무엇을 준비해야 하는지, 보이지 않던 토대를 행동 목록으로 정리합니다.
────────────────────
한 걸음 더: '시맨틱 레이어'란 무엇인가
방금 본 '의미를 정리한 4KB짜리 문서', 이것을 체계화한 것이 바로 시맨틱 레이어 (Semantic Layer, 의미 계층) 입니다. 전문 용어처럼 들리지만 역할은 단순합니다. 비즈니스 언어와 데이터베이스 사이의 번역기입니다. '재구매율'이라는 사람의 말을, 어떤 테이블을 어떻게 계산해야 하는지로 옮겨주는 사전 겸 자동 변환기죠.
무엇으로 이루어지나
시맨틱 레이어는 보통 다음 요소로 구성됩니다.
- 개체(Entity): 고객, 주문, 상품처럼 분석의 기준이 되는 대상
- 차원(Dimension): 기간, 채널, 지역, 세그먼트 등 데이터를 쪼개 보는 기준
- 사실값(Measure): 주문 금액, 클릭 수처럼 한 줄 한 줄의 원시 숫자
- 지표(Metric): GMV, 재구매율, ROAS처럼 사실값을 모아 만든 회사 공식 정의
- 관계(Relationship): 개체들을 잇는 검증된 연결 경로 (2부의 '한 명을 세 명으로 세는 실수'를 원천 차단하는 부분)
왜 이게 정확도를 끌어올리나
핵심은 AI에게 'SQL을 짜라'가 아니라 '무엇을 볼지만 고르라'고 시키는 것입니다.
사용자 질문 → AI는 '어떤 지표를, 어떤 차원으로' 볼지만 선택 → 컴파일러가 '어떻게' 계산할지(조인, 집계)를 정해진 규칙대로 처리 → 검증된 결과
AI가 조인이나 합산 방식을 발명할 여지 자체가 없어집니다. 그래서 '잘못된 합산'이나 '엉뚱한 조인' 같은 실패가 구조적으로 막힙니다. 덤으로 개인정보(PII) 접근 권한 같은 규칙도 이 계층에 한 번 걸어두면 모든 질문에 자동으로 적용됩니다.
어떻게 시작하나
거창한 새 시스템을 사는 일이 아닙니다. 가장 많이 쓰는 핵심 지표 몇 개의 정의를 코드 한 곳에 못 박는 것부터 시작합니다. 기술적으로는 dbt 같은 도구로 정의를 작성하고, 데이터 창고(예: Snowflake)의 표준 객체로 배포해 기존 PR 검수 흐름 안에서 관리하는 방식이 흔히 쓰입니다. 중요한 건 도구가 아니라 "이 지표는 이렇게 센다"를 한 곳에서 관리하고, 사람도 AI도 그것만 보게 만드는 원칙입니다.
3부 ｜ 토대를 보는 눈: 똑똑해져야 하는 건 AI가 아니라 우리 데이터
지금까지의 두 개의 눈
1부에서 우리는 의심하는 눈을 얻었습니다. AI가 준 깔끔한 숫자 뒤에는 누군가 혼자 채운 빈칸이 숨어 있다는 것.
2부에서는 말의 모호함을 꿰뚫는 눈을 얻었습니다. AI가 틀리는 진짜 이유는 모델이 아니라, 우리 회사 안에 '재구매율'이 다섯 개로 흩어져 있기 때문이라는 것. 그리고 정확도의 상한선은 모델이 아니라 우리가 데이터에 부여한 의미가 결정한다는 것.
이제 마지막 질문이 남았습니다. "그래서, 무엇을 갖춰야 하는가?"
보이지 않던 토대, 4가지
AI 분석을 21%에서 95%까지 끌어올린 회사들이 실제로 갖춘 것은 화려한 기술이 아니라 네 가지 평범한 토대였습니다. 전문 용어를 걷어내고 옮기면 이렇습니다.
① 정답이 하나인 데이터
같은 질문에는 같은 숫자가 나와야 합니다. 그러려면 팀마다 따로 굴리는 엑셀과 대시보드가 아니라, 회사가 공식으로 인정하는 숫자 한 벌이 있어야 합니다. "우리 회사 매출은 여기서 본다"가 정해져 있는 상태입니다.
② 용어 사전 (= 시맨틱 레이어)
가장 핵심입니다. '재구매율은 이렇게 센다', '신규 고객은 첫 구매 기준이다', '매출은 환불을 뺀 결제액이다' — 이런 정의를 한 곳에 못 박아두고, 사람도 AI도 모두 그것을 쓰게 하는 것입니다. 전문가들은 이걸 '시맨틱 레이어(의미 계층)'라 부르지만, 쉽게 말하면 회사 공용 용어 사전입니다. 이게 있으면 AI는 더 이상 빈칸을 멋대로 채우지 않습니다. 사전을 펴 보면 되니까요.
③ 절차의 표준화
"이런 질문이 들어오면, 어떤 데이터를 어떤 순서로 본다"를 정해두는 것입니다. 숙련된 분석가의 머릿속 절차를 글로 남겨두면, AI도 그 길을 따라가 같은 품질의 답을 냅니다.
④ 검증하는 습관
AI의 답을 그대로 받지 않고 한 번 더 의심하는 절차입니다. 1부의 '의심하는 눈'을 조직 차원의 습관으로 만든 것이죠. 실제로 답을 비판적으로 한 번 더 검토하게 했더니 정확도가 약 6%포인트 더 올랐습니다.
오늘 바로 해볼 체크리스트
대표님을 위한 체크리스트
- 우리 회사의 핵심 지표(매출, 재구매율, 신규 고객) 정의가 문서로 존재하나요?
- 같은 질문을 두 팀에 물으면 같은 숫자가 나오나요?
- AI가 준 숫자를 검토 없이 의사결정에 쓰고 있지는 않나요?
마케터를 위한 체크리스트
- AI에게 분석을 시킬 때 정의를 함께 적나요? ("신규=첫 구매, 기간=최근 30일, 환불 제외")
- 받은 숫자를 보고서에 넣기 전에 "이 정의가 맞나" 한 번 확인하나요?
- 자주 쓰는 지표의 정의를 팀과 공유된 문서로 갖고 있나요?
진짜 출발점: 흩어진 고객 데이터를 하나의 의미로
네 가지 토대 중에서도 이커머스에 가장 먼저 필요한 건 고객 데이터를 하나의 의미로 모으는 것입니다. 주문, 결제, 행동, 채널이 제각각 흩어져 있으면 '재구매율' 같은 단어는 영원히 다섯 개로 남습니다.
데이터라이즈는 바로 이 출발점을 돕습니다. 흩어진 고객 데이터를 한곳에 모아 통일된 의미를 부여하고, 누가 묻든 같은 정의로 같은 답이 나오는 토대를 만듭니다. AI에게 "우리 VIP 고객 행동 분석해줘"라고 물었을 때, AI가 빈칸을 멋대로 채우는 대신 우리 회사가 정한 'VIP'의 정의를 그대로 따르게 되는 것. 그것이 셀프서비스 분석이 실제로 작동하기 시작하는 순간입니다.
세 번째 눈: 토대를 보는 눈
세 번째 눈은 답이 아니라 토대를 보는 눈입니다. 더 나은 답을 찾기 전에, 그 답을 떠받치는 데이터의 토대가 제대로 갖춰져 있는지 먼저 살피는 시야입니다.
세 개의 눈을 한 문장으로 모으면 이렇습니다.
프롬프트는 누구나 쓸 수 있지만, 그 뒤에 무엇이 숨어 있는지 볼 줄 아는 사람만 진짜 인사이트를 얻는다. 그리고 그 '무엇'은 더 똑똑한 AI가 아니라, 우리가 데이터에 부여한 의미다.
AI를 기다리지 마세요. 오늘 '재구매율은 이렇게 센다' 한 줄을 정하는 것이, 다음 버전의 AI보다 당신의 분석을 더 정확하게 만듭니다.
원문 출처: 데이터라이즈 블로그
#AI
#이커머스
#SSOT
이 콘텐츠가 도움이 되셨나요?
이 글에 대한 의견을 남겨주세요!
서로의 생각을 공유할수록 인사이트가 커집니다.
추천 콘텐츠
관련 콘텐츠가 없습니다.