제9장: 숨겨진 가정 식별하기
"가장 큰 장애물은 우리가 알지 못하는 것을 알지 못한다는 점이다."
— 도널드 럼즈펠드(Donald Rumsfeld)
"기획은 쓸모없지만, 기획 과정은 필수적이다."
— 드와이트 D. 아이젠하워(Dwight D. Eisenhower)
시의회와 부동산 개발업자는 강제 이주된 가족들이 원하는 주택에 대해 여러 가지 가정을 했지만, 그 가정을 검증하려 하지 않았다. 개발업자는 주로 1~2베드룸 유닛으로 구성된 건물을 지었다. 시의회와 개발업자는 이를 통해 더 많은 가족들을 수용할 수 있을 것이라 생각했다. 그러나 불행히도, 이주된 가족 대부분은 4명 이상의 가족 구성원을 둔 대가족이었다. 1~2베드룸 콘도는 그들에게 맞지 않았다. 결국, 시 정부는 원하는 목표를 달성하기에는 부적절한 제품을 짓는 데 수백만 달러를 낭비한 셈이었다.
→ 안타깝게도, 포틀랜드 시 정부만이 이러한 실수를 저지르는 것은 아니다. 모든 제품 팀(Product Team)은 어느 시점에서든 비슷한 어려움을 겪게 된다. 즉, 시간과 에너지를 들여 잘못된 제품을 만들었다는 현실을 마주하는 순간이 온다.
틀릴 가능성에 대비하라
포틀랜드의 저렴한 주택 프로젝트(그리고 이와 유사한 많은 사례들)에서 우리는 두 가지 인지 편향이 작용하는 것을 볼 수 있다.
1.
확증 편향(confirmation bias): 우리는 자신의 관점을 뒷받침하는 증거를 더 적극적으로 찾고, 반대되는 증거를 무시하거나 잊어버리는 경향이 있다. 포틀랜드 시 정부와 개발업자는 프로젝트에 대한 긍정적인 피드백을 반겼지만, 부정적인 피드백은 간과했다.
2.
몰입의 증가(escalation of commitment): 특정 아이디어에 더 많은 자원을 투자할수록, 그 아이디어에 대한 집착이 강해진다. 시 정부는 하나의 아이디어(1~2베드룸 콘도)를 깊이 탐구할수록, 그 아이디어의 결점에도 불구하고 이를 고수했다.
제품 팀도 이 두 가지 편향에 쉽게 빠진다. 우리는 자신의 아이디어에 집착하는 경향이 있으며, 이해관계자들에게 아이디어를 변호해야 하는 상황이 많아지면서 오히려 더 강하게 고수하게 된다. 또한, 우리의 아이디어가 성공할 이유를 찾는 데 집중하고, 실패할 가능성을 검토하는 것은 간과하기 쉽다. 그 결과, 우리는 종종 자신의 아이디어에 과도하게 자신감을 갖게 된다.
가정의 유형
가정은 다양한 형태로 존재하며, 제품 팀이 고려해야 할 주요 가정은 다음과 같다.
1.
바람직성(Desirability) 가정:
•
고객이 이를 원할까?
•
고객이 이 솔루션에서 가치를 느낄까?
•
고객이 우리가 원하는 행동을 할까?
•
고객이 우리를 신뢰할까?
2.
사업성(Viability) 가정:
•
이 솔루션을 만들어야 할까?
•
고객에게는 유용하지만, 비즈니스 관점에서 지속 가능하지 않다면?
•
유지보수, 서비스 제공, 운영 비용을 고려할 때 경제성이 있을까?
•
단기적으로 손해를 보더라도 장기적으로 가치가 있을까?
3.
실현 가능성(Feasibility) 가정:
•
기술적으로 가능한가?
•
법적 규제, 보안 문제, 회사 문화가 이 솔루션을 허용할까?
4.
사용성(Usability) 가정:
•
고객이 이 기능을 쉽게 사용할 수 있을까?
•
고객이 원하는 정보를 찾을 수 있을까?
•
접근성이 충분한가?
5.
윤리적(Ethical) 가정:
•
이 아이디어를 구현하면 잠재적인 해로움이 발생할 수 있는가?
•
우리가 수집하는 데이터는 적절히 사용되고 있는가?
•
고객이 우리의 데이터 수집 및 활용 방식에 동의할까?
•
고객의 심리적, 감정적 건강에 부정적인 영향을 미칠 가능성은 없는가?
여기까지 요약
•
바람직성(Desirability): 고객이 원할까?
•
사업성(Viability): 비즈니스에 도움이 될까?
•
실현 가능성(Feasibility): 기술적으로 가능할까?
•
사용성(Usability): 사용이 쉬울까?
•
윤리적(Ethical): 부정적인 영향은 없을까?
명확성을 위한 스토리 맵 활용
아이디어를 구체적으로 정의하지 않으면, 우리가 하고 있는 가정을 나열하기가 어렵다. 브레인스토밍 이후, 아이디어는 보통 모호한 개념에 머물러 있다.
•
포스트잇(가상 또는 실제)에는 한정된 단어만 적을 수 있다.
•
아이디어를 상세히 설명했더라도, 팀 내 각자가 다르게 해석할 가능성이 크다.
이는 팀원들이 아이디어의 작동 방식에 대해 각기 다른 가정을 하게 된다는 뜻이다.
스토리 맵(Story Map) 활용하기
스토리 맵은 제품이나 서비스에서 사용자가 가치를 얻기 위해 거쳐야 하는 모든 단계를 시각적으로 정리하는 기법이다.
•
일반적으로 제품 요구사항 정리에 많이 활용되지만,
•
숨겨진 가정을 드러내는 데에도 매우 효과적인 도구가 될 수 있다.
스토리 맵 작성 방법
•
스토리 맵은 아이디어를 구현하는 과정이 아니라,
•
사용자가 해당 솔루션을 활용하여 가치를 얻는 과정을 매핑하는 것이다.
•
누가 누구와 상호작용해야 아이디어가 작동하는가?
•
예: Slack, Facebook처럼 두 명 이상의 사용자가 상호작용해야 가치가 발생하는 경우, 모든 사용자 유형을 포함해야 한다.
•
*양면 시장(two-sided marketplace)에서는 판매자와 구매자가 모두 포함될 수 있다.
•
AI 챗봇과 같은 경우, 챗봇 자체도 하나의 행위자로 간주될 수 있다.
•
각 행위자가 무엇을 해야 가치를 얻을 수 있는지 명확히 정의한다.
•
예: 챗봇과의 상호작용이라면, "사용자가 질문을 입력한다 → 챗봇이 응답한다" 등으로 매핑 가능하다.
•
단계별 과정을 수평적으로 정리하고,
•
실제 발생 순서에 따라 정렬한다.
•
여러 사용자 간 상호작용이 필요할 경우, 순차적으로 진행되는 흐름을 포함해야 한다.
•
선택 가능한 여러 경로가 있다면, 성공적인 경로(successful path)를 기준으로 매핑한다.
스토리 맵 사용 예제 : 스트리밍 서비스에서 라이브 스포츠 시청하기
여기까지 요약
결론: 스토리 맵을 활용하면 중요한 가정을 쉽게 찾아낼 수 있다
•
아이디어를 구체적으로 정의할 수 있고,
•
팀 내에서 동일한 이해를 갖도록 정리할 수 있으며,
•
숨겨진 가정을 발견하고 검증할 기회를 얻을 수 있다.
•
제품 팀이 고객에 대해 충분히 조사(연속적 인터뷰, 기회 매핑 등)했다면, 대부분의 가정은 자연스럽게 타당한 것일 가능성이 높다.
•
가장 위험한 가정부터 우선적으로 검증하면 된다.
사전 모의 분석(Pre-Mortem) 수행하기
스토리 맵만이 우리가 가진 가정을 파악하는 유일한 방법은 아니다. 인지 심리학자이자 의사결정 관련 여러 책의 저자인 게리 클라인(Gary Klein) 은 기존의 사후 분석(post-mortem) 개념을 뒤집어 사전 모의 분석(pre-mortem) 을 제안했다.
사후 분석(Post-Mortem) vs. 사전 모의 분석(Pre-Mortem)
•
사후 분석(post-mortem): 프로젝트가 끝난 후, 무엇이 잘못되었는지 그리고 어떻게 개선할 수 있었는지를 평가하는 과정이다.
◦
예: 스프린트 회고(sprint retrospective)도 일종의 사후 분석이다.
•
사전 모의 분석(pre-mortem): 프로젝트 시작 전에 미래에 발생할 수 있는 실패 요인을 미리 예측하는 과정이다.
사전 모의 분석(Pre-Mortem) 수행 방법
사전 모의 분석을 진행할 때, 우리는 다음과 같은 질문을 던진다.
"지금으로부터 6개월 후, 우리가 개발한 제품(또는 서비스)이 출시되었지만, 완전히 실패했다. 무엇이 잘못되었는가?"
이 질문을 통해 제품 또는 서비스가 실패할 가능성이 있는 이유를 생각해보게 된다.
사전 모의 분석의 핵심: 실패를 "기정사실"로 간주하라
사전 모의 분석이 효과를 발휘하려면, 질문을 제시하는 방식이 매우 중요하다.
펜실베이니아 대학교, 코넬 대학교, 콜로라도 대학교의 협력 연구진(데보라 미첼, 에드워드 루소, 낸시 페닝턴) 은 다음과 같은 연구 결과를 발표했다.
여기까지 요약
결론: 사전 모의 분석을 활용하여 숨겨진 가정을 발견하라
기회 솔루션 트리를 따라가며 가정 도출하기
사업성(Viability) 가정을 도출하는 또 다른 방법은
즉, 솔루션에서부터 다시 목표 결과(outcome)로 거슬러 올라가며 가정을 식별하는 방식이다.
이때, 다음과 같은 문장을 활용하여 가정을 도출할 수 있다.
이 질문들에 대한 답을 구체적으로 작성하면, 그 안에서 가정을 찾을 수 있다.
예제: "라이브 스포츠를 시청하고 싶다"라는 기회를 해결하는 경우
잠재적인 위험 탐색하기
제품 팀이 자주 간과하는 영역 중 하나는 윤리적 가정(Ethical Assumptions) 이다.
핵발전소나 자율주행차처럼 안전이 핵심적인 산업에서는 윤리적 고려가 일상적인 논의의 일부일 것이다.
그러나 그 외 대부분의 제품 팀은 윤리적 문제를 쉽게 잊어버리기 쉽다.
"이 솔루션을 제공함으로써 발생할 수 있는 잠재적인 위험은 무엇인가?"
모든 제품은 일정 수준의 위험을 내포하고 있다
일부 팀은 이 질문에 대한 답을 찾는 데 어려움을 겪는다.
그러나 모든 제품에는 어느 정도의 위험성이 존재한다.
예를 들어, 데이터 활용 방식에서 윤리적 딜레마가 발생하는 경우가 많다.
•
우리는 어떤 데이터를 수집할 계획인가?
•
고객들은 우리가 해당 데이터를 수집한다는 사실을 알고 있는가?
•
고객들은 우리가 그 데이터를 어떻게 사용할지 이해하고 있는가?
•
우리는 이 데이터를 제3자와 공유할 계획이 있는가?
•
그렇다면, 제3자는 이 데이터를 어떻게 사용할 것인가?
•
고객이 우리가 데이터를 사용하는 방식을 완전히 이해했을 때, 그들은 이에 동의할 것인가?
•
우리 제품이 중독성을 유발할 가능성이 있는가?
◦
일부 제품 팀은 이를 긍정적인 요소로 여기지만, 정말 사용자에게 좋은 것인가?
•
어떤 사람들이 배제될 가능성이 있는가?
◦
특정 계층을 대상으로 디자인하면서 소외되는 집단은 없는가?
•
우리는 사용자가 경제적 여유, 시간, 주거 공간, 인터넷 접근성을 갖추고 있다고 가정하는가?
◦
그렇다면, 누가 배제되는가?
◦
이러한 배제의 결과는 무엇인가?
•
이 솔루션이 사회적 불평등을 악화시키는가, 아니면 완화하는가?
•
익명이 필요한 사용자의 신원을 드러낼 위험이 있는가?
•
사용자 간 관계를 해칠 가능성이 있는가?
•
인터넷 트롤(troll)이 이 기능을 악용할 가능성은 없는가?
제품이 비즈니스에도 부정적인 영향을 줄 수 있는가?
일부 솔루션은 비즈니스 자체에도 해를 끼칠 가능성이 있다.
예를 들어, 다음과 같은 질문을 고려해보자.
•
이 솔루션은 우리 브랜드에 도움이 될 것인가, 해가 될 것인가?
•
고객들의 기대치를 충족할 수 있는가?
◦
만약 충족하지 못한다면, 그로 인해 실망한 고객이 생기지는 않을까?
•
우리는 잘못된 것에 시간을 낭비하고 있는가?
◦
더 가치 있는 기회를 놓치고 있지는 않은가?
윤리적 가정을 파악하는 강력한 방법
방법을 조합하여 활용하라
과거에 코칭했던 팀들을 다시 만나면, 나는 그들의 발견 프로세스(discovery process) 에 대해 항상 물어본다. 많은 팀이 스토리 맵핑을 하지 않는다거나, 기회 솔루션 트리를 따르는 과정을 중단했다는 점을 다소 부끄러워한다. 그러나 그 이유를 물어보면, "우리는 이제 가정을 너무 잘 파악할 수 있어서, 굳이 이 과정을 거치지 않아도 된다" 고 답한다.
•
사업성(Viability) 가정을 도출하기 어렵다면, 기회 솔루션 트리를 활용하라.
•
실현 가능성(Feasibility) 가정에는 익숙하지만, 바람직성(Desirability) 가정을 놓친다면, 스토리 맵핑을 활용하라.
•
사용성(Usability)은 잘 검증하지만, 바람직성(Desirability)을 간과하는 경우가 많다.
•
바람직성과 사용성을 고려하지만, 사업성(Viability)은 놓치는 경우도 있다.
•
윤리적(Ethical) 가정은 거의 고려하지 않는 팀이 많다.
이러한 흔한 실수(안티 패턴)를 피하라
아이디어 속 숨겨진 가정(assumptions) 을 찾을 때, 다음과 같은 흔한 실수(anti-patterns) 를 피해야 한다.
아이디어가 아닌 가정을 테스트해라 (


)
9장에서는 제품 개발 과정에서 숨겨진 가정을 찾는 방법을 살펴봤는데요.
10장에서는 이 가정들이 실제로 얼마나 위험한지 판단하고, 우선순위를 정하여 검증하는 방법을 배울 수 있습니다.
"새로운 것을 배울 수 있는 기회를 충분히 만들어라."
제프 베조스 (Jeff Bezos)
끊임없이 실험하고, 실패를 통해 배워야 한다.
이를 실천한 아마존의 A/B 테스트 문화… 아마존 프라임.. 페덱스의 항공화물 항공망..
왜 아이디어가 아니라 가정을 테스트해야 할까?
많은 제품 팀들은 아이디어를 테스트하는 것에 집중합니다. 하지만 아이디어를 검증하기 전에, 그 아이디어를 뒷받침하는 가정부터 검증해야 합니다.
예를 들어, 만약 어떤 제품 기능이 사용자의 행동 변화를 유도할 것이라고 가정한다면, 그것이 실제로 일어나는지를 확인하는 것이 중요합니다.
"우리는 종종 우리의 가정을 의심하지 않은 채로 나아간다.
하지만 실패하는 제품의 상당수는 잘못된 가정을 기반으로 한다."
(이미 익숙한 직관을 믿는다던지…)
예시
테스트해야 할 가정의 우선순위 정하기
모든 가정을 한꺼번에 테스트할 수는 없습니다. 따라서 위험도가 높은 가정부터 검증해야 합니다.
위험도가 높은 가정은 다음과 같은 특징을 가집니다.
1.
성공에 결정적인 영향을 미친다
• 예: "사용자들이 매일 우리 앱을 사용할 것이다."
•
DAU, WAU, MAU (하루/1주일/1달의 수치) 그리고 이를 통해 추적가능한 체류, 이탈, 클릭 등의 수치 결국 매출로 이어지는 트리거
2.
검증되지 않은 상태로 남아있다
• 예: "우리가 생각하는 가격이 사용자에게 합리적일 것이다." (나만의 관점인지)
3.
팀 내에서 의견이 분분하다
• 예: "기술적으로 구현 가능할 것이다." 아니다 못한다 (일정 산정과 스펙 산정)
이러한 가정들은 팀의 아이디어가 성공할지 실패할지를 결정짓는 핵심 요소입니다.
따라서 가장 불확실하고, 가장 중요한 가정부터 테스트해야 합니다. (위험성 검증)
가정을 테스트하는 방법 (인터뷰에도 방법론이 있듯 인뎁스, 데스크, 관찰방법론 등)
1.
실 데이터 수집
• 사용자 행동 데이터를 분석하여 가정을 검증합니다.
• 예: "우리 웹사이트 방문자의 50%가 회원가입을 할 것이다." → 실제 데이터 분석
2.
프로토타이핑, UT 후 반영
• 최소 기능 제품(MVP)을 만들어 실제 사용자의 반응을 확인합니다.
• 예: "사용자들이 버튼을 클릭할 것이다." → 클릭율 테스트
3.
인터뷰 및 관찰 연구
• 사용자 인터뷰를 통해 가정을 직접 확인합니다.
• 예: "고객들이 우리 서비스에 대한 신뢰를 가질 것이다." → 신뢰도 조사
4.
A/B 테스트
• 두 가지 버전을 비교하여 어느 것이 더 효과적인지 검증합니다.
• 예: "구독 버튼이 빨간색일 때 더 많은 가입이 이루어질 것이다." → 색상별 클릭율 비교
5.
모의 실험(Simulation)
• 가상의 환경에서 가정을 테스트해볼 수도 있습니다.
• 예: "추천 시스템이 사용자 만족도를 높일 것이다." → 추천 시스템의 가상 테스트
테스트 결과를 해석하는 방법
가정을 테스트한 후, 결과를 해석하는 것이 중요합니다. 결과는 다음 세 가지 중 하나로 나올 수 있습니다.
1.
가정이 확인됨(Validated)
• 실험 결과가 예상대로 나왔다면, 해당 가정을 기반으로 제품을 발전시킵니다.
• 예: "사용자들이 30% 이상 이 기능을 사용했다." → 기능 확대 개발
2.
가정이 기각됨(Invalidated)
• 실험 결과가 예상과 다르면, 가정을 폐기하거나 수정해야 합니다.
• 예: "사용자들이 이 기능을 거의 사용하지 않았다." → 기능 제거 또는 개선
3.
불확실(Uncertain)의 영역
• 결과가 명확하지 않다면, 추가 실험이 필요합니다.
• 예: "클릭율이 증가했지만, 유지율에는 영향을 미치지 않았다." → 추가 조사 진행
마무리
•
가정을 테스트하는 것은 실패를 방지하고, 성공 가능성을 높이는 핵심 과정입니다.
많은 제품이 검증되지 않은 가정을 기반으로 개발되었다가 실패합니다.
•
따라서, 아이디어를 검증하기 전에, 먼저 가정을 검증해야 합니다.
빠르고 효과적인 테스트를 통해, 성공적인 제품을 만드는 것이 중요합니다.
책이 말하는 핵심 인사이트
• 많은 팀이 명확한 검증 없이 가정을 기반으로 결정을 내리며, 이는 실패의 주요 원인이다.
• 오리건주 포틀랜드의 저렴한 주택 프로젝트는 잘못된 가정이 정책 실패로 이어진 대표적인 사례다.
• 의도가 좋다고 해서 반드시 좋은 결과가 나오는 것은 아니다.
• 제품 기능 테스트보다 그 기능이 전제하는 가정이 맞는지 먼저 확인하는 것이 중요하다.
• 예를 들어, "사용자들이 이 기능을 원할 것이다"라는 가정이 틀리다면, 아무리 좋은 기능도 무용지물이 된다.
• 잘못된 가정 위에서 개발된 제품은 시장에서 실패할 확률이 높다.
• 모든 가정을 테스트할 수 없기 때문에 가장 불확실하고 중요한 가정부터 검증해야 한다.
• 위험도가 높은 가정의 특징:
• 빠르고 작은 실험을 반복하며 불확실성을 줄이는 것이 중요하다.
• 대표적인 검증 방법:
• 가정 검증 결과는 보통 세 가지로 나뉜다.
요약 :
아이디어를 바로 실행하기보다, 그 아이디어가 전제하는 가정이 맞는지 먼저 검증하는 과정이 필수적이다.
작은 실험을 반복적으로 수행하면 위험을 줄이고 성공 확률을 높일 수 있다.
하늘 개인적인 인사이트
책을 읽으며 가장 크게 깨달은 점은 우리가 일상에서 내리는 많은 결정이 사실은 가정에 기반하고 있다는 것이다.
특히 제품 개발이나 디자인 작업에서 사용자의 행동을 '예측'하고 디자인을 만들지만, 이 예측 자체가 검증되지 않은 가정일 가능성이 크다.
그렇다면 우리가 해야 할 일은 무엇일까? 바로 가정을 찾아내고 빠르게 검증하는 것이다.
스토리맵 등…
결론 :)
결국 우리가 하는 모든 결정은 '가정'에서 출발하며, 이를 얼마나 잘 검증하느냐에 따라 결과가 달라진다.
앞으로는 “WHY와 더불어”,"이게 정말 사실일까?"라는 질문을 더 자주 던져야겠다.