프로젝트 개요
학생 고객이 만족할 수 있는 초기 학습 경험을 제공한다
•
개강 후 학생 고객이 프로덕트와의 상호작용을 통해 서비스의 와우 포인트를 경험할 수 있도록 돕는 솔루션을 도출하여 사용자에게 딜리버리 할 수 있어야 한다
1. Hypothesis
•
사용자가 초창기에 수업 방식에 빠르게 적응할 수 있다면, 그 환불율을 감소 시킬 수 있을 것 이다.
2. BackGround
•
실제 학생을 통한 인터뷰에서는 오히려 채팅 방식이였기에 부담이 적어 조금더 적극적으로 질문을 할 수 있었기에 만족한다던 학생과 강의를 듣다가 카톡으로 전환하여 물어보고 하는 과정이 어려워서 아쉽다는 학생 처럼 채팅 방식에 소수의 학생을 통한 인터뷰 였으나, 분리되는 경향이 있고, 공통적인 답변으로는 느린 답변 혹은 방치된 느낌에서 오는 어노잉 포인트가 모두 존재하였음
•
환불 사유 확인 시, 이미 가장 큰 사이즈를 지니고 있는 서비스 초반 문제점인 “혼자서 비대면으로 카톡을 사용하는 학습 방법이 익숙하지 않아요” 라는 항목을 기준으로 기타/대면 학습으로 인한 환불 카테고리 중 약 10%인 430개 정도가 이로 인한 불편 사항을 지속 재기하고 있음
•
또한, 해당 카테고리 외의 사유에서도 채팅을 통한 질의응답의 불편함, 선생님의 느린 답변등으로 인해 자습의 느낌을 받는 경우가 많다는 내용이 환불 사유 전체 영역에 걸쳐 나타나고 있음
•
위의 내용을 토대로, 환불 사유를 지니고 있던 사용자를 수로 환산 시 개강후 7일 이내 환불자 중 약 19.6%의 사용자가 이를 통해 이탈하고 있으며, 이 수는 전체 개강인원의 1%~2%에 해당 하는 인원이 같은 사유로 지속 되고 있음을 추론 하였다.
◦
D1~D7 이내 환불 사유(707개) 키워드 분석
▪
약 11%의 사용자 카톡 방식에 불편함을 가지고 있음
◦
D1~D2 이내 환불 사유(308개) 키워드 분석
▪
2일 이내 이탈자의 경우 14%가 카톡 방식에 불편함을 호소함
◦
비대면, 카톡 방식의 불편함이 적응 문제로 이어진다는 의견을 종합해 계산하면 이탈 인원의 25%가 해당 이유로 이탈하는 경향이 있음
3. Problem definition
•
비대면 학습 환경에서 학생들이 능동적으로 참여하기 어려운 문제 있음. 학생들이 채팅을 통한 간접적 상호작용에 거부감을 느끼며, 학교라는 대면 환경과 비대면 서비스 간의 차이로 인해 적응에 어려움을 겪음.
4. Direction Concept
•
강의를 듣기만 하는 인강, 진도를 빼야만하는 학원, 수업 중 질문에 대한 답변을 받기에 거의 불가능한 엠베스트에 비해, 학생이 스스로 학습의 주체가 될 수 있도록 돕는 시스템 설계 필요함. 학생들이 간접적 상호작용을 통해 질문등을 편하게 하고, 또 이를 선생님들에게 제대로 전달하여 인터렉션 의 간극을 줄이는 방향으로 진행.
◦
비대면 IT 서비스의 장점은 시간, 장소의 제약이 없다는 것과 굳이 사람 과 사람의 커뮤니케이션이 무조건적으로 일어날 필요가 없다는 것으로, 교사와 학생의 직접적 커뮤니케이션이 아닌 간접적 커뮤니케이션이 일어날 수 있도록 브릿지 시스템들을 제공한다
5. Solution
•
학생 사용자가 비대면 채팅 방식에 빠르게 적응할 수 있도록, 학생이 채팅을 통해서만 질문을 하거나 의견을 제시하고 있는 상황을 해소하고자 한다.
•
이를 위해 강의 학습페이지에서 시스템적으로 추천 질문과 챗봇 답변을 제공한다.
•
과정
◦
(1차 범위) 강의 연관 질문 + 챗봇 답변 제공 : 강의를 시청하며 습득 할 수 있는 개념 정보를 역질문화 하여 용자 (학생) 에게 전달하고 학생이 그 개념에 대한 답변을 챗봇을 통해 확인 할 수 있도록 한다.
◦
(고도화) 이해도 체크 : 강의 내에 이해도 체크 문제를 제공한다. 이해도 체크 후 제출된 답변을 기반으로 강의에 대한 이해 여부를 명확히 파악할 수 있도록 한다. 이해하지 못한 부분에 대해 선생님은 별도 피드백을 제공한다. 강의가 단순히 시간을 소모시키는것이 아닌 학습의 연장선임을 인지 시킬 수 있다.
•
이펙트
◦
강의를 통한 개념 습득에 대해 난이도를 평가할 수 있으며, 콘텐츠를 그에 맞추어 학생에게 좀 저 맞춤형으로 제공할 수 있다
◦
학생으로 하여금 시스템과의 인터렉션을 늘려 시스템적인 친밀도를 올릴 수 있고, 이 주고 받는 과정을 통해 텍스트 이외의 방식으로도 수업을 진행 할 수 있음을 인지 시킨다
◦
선생님으로 하여금 설명하는 시간을 아껴 학생을 관리하는 시간으로 사용할 수 있을것이다
•
챗봇의 역할
◦
챗봇 도입은 선생님과 학생의 상호작용을 보완하면서도 효율성을 높일 수 있는 잠재력이 있습니다. 다만, 이 과정에서 선생님의 역할이 축소되지 않도록 챗봇은 반복적인 부분만 담당하고, 선생님이 고차원적인 피드백에 집중할 수 있는 구조
5-1. Design
콘텐츠 제작을 위한 CMS 페이지
콘텐츠 노출을 위한 B2C 페이지
학생 관리를 위한 LMS 페이지
6. Expected Effect
학생들은 완성된 문장으로 챗봇과 소통하는 방식을 통해 질문을 더 쉽게 할 수 있으며, 이를 통해 비대면 채팅 방식에 대한 적응을 도울 수 있다. 또한, 추천 질문과 챗봇 답변 제공으로, 초기 적응 문제를 완화해 초기 환불율을 낮출 수 있다.
가설 타당성 평가
비대면 채팅 방식의 학습 플랫폼은 전통적인 대면 수업과는 다른 소통 방식과 학습 환경을 제공합니다. 특히 비대면 학습 환경에서는 텍스트 기반으로 질문이나 소통이 필요하므로 초기 적응 문제를 겪고 있습니다.
•
학생의 비대면 채팅 방식의 적응 어려움 해결
초반 사용자들이 비대면 및 채팅 방식에 적응하는데 어려움을 느끼는 원인은 다음과 같습니다.
학생의 성향(소심함)으로 인해 질문을 잘 못함
타자 속도
텍스트로 질문을 구체화하는데 어려움을 느낌
챗봇은 학생들이 부담을 느끼지 않고 질문을 할 수 있게 도와주고, 추천 질문으로 강의와 연관된 구체적인 질문을 쉽게 고르는 방식은 키보드로 입력하는 부담을 줄여 질문하는데 드는 시간을 단축할 수 있게됩니다. 또한 미리 제시된 질문은 사용자의 질문 내용을 명확히 하고, 자신의 생각을 정리하는 데 필요한 구조화된 도움을 받을 수 있도록 돕습니다.
•
질문에 대한 빠른 응답과 선생님 리소스 감소
현재 밀당PT 선생님은 동시간에 다수의 학생을 상대하기 때문에 질문을 빠르게 처리하는데 한계가 있습니다. 챗봇을 통해 자주 물어보는 질문을 자동 응답으로 처리한다면, 학생은 실시간으로 피드백을 받을 수 있다는 경험을 얻을 수 있으며, 선생님은 리소스 부담을 줄일 수 있습니다. 이로 인해, 선생님은 문제 풀이 등 개별화된 피드백에 더 집중할 수 있게 됩니다.
선생님은 학생에게 빠르게 피드백을 제공할 수 있는가?
학생과 선생님은 강의를 보고난 후 학습 인터랙션이 이루어 지고 있는가?
솔루션의 기대 효과
•
적응 문제 완화
챗봇이 학생에게 질문의 예시를 제공하고 그에 대한 답변을 신속히 전달할 수 있다면, 학생들이 플랫폼에 보다 쉽게 적응할 가능성이 큽니다. 특히 채팅 기반 소통에 익숙해질 수 있는 초기 연습 과정으로도 유용합니다.
•
질문과 답변의 부담 완화
타자에 부담을 느끼는 학생들이 챗봇과의 상호작용을 통해 자연스럽게 대화를 연습하면서 자신감을 얻을 수 있습니다. 추천 질문은 학생들이 "무엇을 물어봐야 할지"를 고민하는 시간을 줄이고, 학습 이해를 높일 수 있는 방향으로 이끌어줍니다.
•
환불 사유 감소
비대면 채팅 방식 적응 문제로 인한 환불 사유가 줄어들 가능성이 높습니다. 학생이 느끼는 부담이 적어지면 서비스 적응 과정에서 이탈률이 낮아질 것으로 기대됩니다.
7. Verification
이 스토리의 검증을 위해 1가지의 정성평가 및 2가지의 정량평가를 이용하여 턴오프 지점에 도달 시 피봇 또는 고도화를 결정 할 수 있을 것으로 예상한다
•
정성평가
◦
만족도 평가
▪
학생 기준으로 기능을 실행 전 / 후에 사용자들에게 묻는 강의 설문을 전달하여, 학생이 느낄수 있는 경험을 주관적 숫자를 확인한다
•
7점 척도를 기반으로 한 단순 설문
◦
학습한 개념에 대해 어느정도로 자신감이 생겼나요?
◦
챗봇을 통해 학습한 개념에 대한 이해도를 확인할 수 있어 도움이 되셨나요?
•
정량평가
◦
밀당PT의 학생수가 12,000명으로 가정 시 통계적 유의미성을 가지기 위해 최소한의 모수를 확보 해야 하며 아래를 기준으로 샘플 크기를 산정하고 FPC를 사용해 모수를 산정 한다
신뢰수준 | 허용오차 | 표본비율 |
95% | +-5% | 50% ( 긍/부) |
◦
373명을 평가 모수로 산정 하며, 다수의 긍정적 응답 비율을 기준으로 187명 이상이 긍정 읍답을 보였을때 이는 긍정적 효과를 발휘하고 있다고 판단할 수 있다
◦
현장 관찰 - 사용률 평가
▪
기능이 딜리버리 된 후 학생이 실질적으로 해당 기능을 사용하고 있는지 혹은 인지 하고 있는지 질문 버튼을 누르고 답변을 확인하는 과정을 하나의 세션으로 세션 시작 카운트 및 세션 시작 ~ 세션 종료 타임을 수집하여, 그 비율과 평균값을 도출한다
▪
기능의 사용률이 세션 타임 상관 없이 20% 이상 혹은 세션 타임 10s 이상 소모 된 사용자가 10% 이상일 경우 유의미하다고 판단 한다
◦
결과 평가 - 사용에 따른 변화 평가 ( 그룹 비교 평가 )
▪
기능이 딜리버리 된 이후 해당 기능이 사용된 그룹과 사용되지 않은 그룹의 동일 모수를 만들어 최종 결과값인 이탈률의 차이값을 도출한다
▪
이펙트 사이즈를 기준으로 노출군과 미노출군의 비율의 차이가 10% 이상일 경우 ( 미노출군이 5%라면 0.5%의 차이 발생 ) 유의미하다고 판단 한다
