콘센트를 내놓고 제일 먼저 들어온 요청은 AI 답변 품질이 아니었습니다. "버튼 위치 좀 옮겨주세요." 답변 평가 버튼은 출시 후 단 한 번도 눌리지 않았고, 질문조차 안 하고 이탈하는 비율이 예상을 훨씬 넘었습니다.

그나마 가끔 콘센트 기능을 사용해 주셨던 고객께서 남긴 피드백이 가장 충격적이었습니다.

"이 기능 없애주세요."

기능의 존재 자체가 무의미했던 겁니다.

💡 "사용자가 안 쓰는 기능은 없는 게 낫다."

V1의 설계 방향은 "플러그의 비즈니스 도구를 전부 AI에게 노출하고, AI가 알아서 골라 쓰게 하자.", 이렇게 별다른 기준 없이 모든 도구를 다 붙이는 것이었습니다. 하지만 이 구조는 금방 무너지고 말았습니다.

사용자가 견적서 수정 방법을 물으면 AI가 도메인 데이터를 파악해 맞는 도구를 호출하길 기대했는데, 이론과 현실 사이 거리가 너무 멀었습니다.

💡 "전부 다 하겠다는 건, 아무것도 안 하겠다는 것과 같다."

로컬 테스트에서는 문제가 없었습니다. 고품질 모델에 넉넉한 컨텍스트를 주면 그럴듯한 답이 나왔으니까요. 전체 사용자 대상으로 서비스를 열자 비용이 급격히 올라갔습니다.

더 큰 문제는 AI에게 줄 정보의 기준이 아예 없었다는 겁니다. 비즈니스 플로우, 채팅 기록, 현재 화면 상태, 도구 응답까지 다 필요한데, 어디까지 전달할지 정하지 않았습니다. 출시 전날에는 기능 개선 대신 API 차단, 내부 ID 제거, 토큰 제한 같은 방어 작업에 매달렸습니다.

💡 "방향이 틀렸다는 건 알았지만, 일정을 미룰 수는 없었다."

V1의 실패를 통해 내린 결론은 "한꺼번에 다 하려는 대신, 하나를 확실히 잘하는 AI를 먼저 만들자."  ​입니다. V2에서는 도메인 하나를 골라 블랙박스 회귀 테스트로 품질을 검증하고, 일관된 결과가 나오면 그때 확장합니다.

도구 선택도 바뀝니다. 도메인 선택 → 해당 도메인 툴 목록 제시 → 툴 선택 → 스키마 확인, 이렇게 단계를 밟아 선택지를 좁혀갑니다. 컨텍스트도 정리된 대화 로그, 스키마, 제약 조건처럼 AI가 진짜 필요한 것만 골라서 전달합니다.

💡 "스코프를 좁히는 게 오히려 더 빠른 길이었다."