[검증] LMS 학습 분석 시스템

Hypothesis

선생님은 학생의 한 주 학습 분석을 바탕으로 학부모에게 매주 데이터 기반의 피드백을 제공한다면 선생님과 학부모와의 신뢰관계가 형성되고, 이로인해 중도 이탈률을 낮출 수 있을 것이다

Verification

중간 판단 지표

기한
2025년 01월 06일 (월) ~ 2025년 02월 27일 (금) 총 5주
대상자
영어 온택트본부 일반 반의 특정 선생님 ( 영어 3개 팀 +@ 공부중독 C반 )
수학 온택트본부 일반 반의 특정 선생님 ( 수학 2개 팀 )
모수가 많은 중3 ~ 고1 / 상대적으로 성적에 향상에 대한 부담감이 적은 중 1~2 에서 선정
5주 기준 신규 인입 150~200명을 인입 하여 테스트 할 수 있는 선생님 수 ( 약 10명 )
선생님의 성과 기준을 3단계로 구분하여 상 / 중 / 하 군으로 균등 선정
검증
매주 취합
에픽이 사용자에게 딜리버리 되었을때 그 인터렉션 로그를 통해 근본적인 사용성이 존재하는지를 확인하기 위한 형태
사용자(교사)가 학부모 주간 카톡을 전송 하는가?
사용자(교사)들이 제공되는 대시보드를 이용하여 학부모 주간 카톡을 금요일마다 발송하고 있는가

최종 판단 지표

기한
2025년 01월 06일 (월) ~ 2025년 02월 27일 (금) 총 5주
대상자
영어 온택트본부 일반 반의 특정 선생님 ( 영어 3개 팀 +@ 공부중독 C반 )
수학 온택트본부 일반 반의 특정 선생님 ( 수학 2개 팀 )
모수가 많은 중3 ~ 고1 / 상대적으로 성적에 향상에 대한 부담감이 적은 중 1~2 에서 선정
5주 기준 신규 인입 150~200명을 인입 하여 테스트 할 수 있는 선생님 수 ( 약 10명 )
선생님의 성과 기준을 3단계로 구분하여 상 / 중 / 하 군으로 균등 선정
검증
매주 취합
에픽이 사용자에게 딜리버리 된 후 가설 내용인 환불률이 유의미하게 감소 되었는지를 확인
딜리버리 된 아이템(솔루션)을 통해 실제로 환불률이 감소 되었는가?
딜리버리된 아이템(솔루션)을 이용하여 주간 학부모 카톡을 보낸 선생님의 학생들의 환불률이 감소 되었는가?

Validation

중간 판단 지표, 결과 판단 지표로 분류하여 검증 결과 도출
중간 판단 지표
결과와 상관 없이 딜리버리된 아이템(솔루션)을 유효하게 사용하고 있는지를 판단
결과 판단 지표
딜리버리된 아이템(솔루션)을 사용함에 따른 그 결과가 사전에 설정된 가설의 유효성을 판단
딜리버리된 아이템(솔루션)자체에 대한 유의미한 사용성이 존재하는지 판단

중간 판단 지표

아이템 기준
사용자(교사)
사용자(교사)들이 제공되는 대시보드를 이용하여 학부모 주간 카톡을 금요일마다 발송하고 있는가
가설 기준
사용자(교사)
사용자(교사)들이 학부모 주간 카톡을 보낸 학부모의 학생들의 환불률이 감소하였는가

결과 판단 지표

가설 기준
긍정적 결과
중립적 결과
부정적 결과

정성 평가

학부모 만족도 평가
단순 설문을 통해 해당 기능을 통해 전달받은 학부모의 만족도가 얼마나 되는지 정성 평가 진행

DATA

Firebase Log
파이어베이스 로그를 사용하여 축적
DB 테이블
확인 필요 @김영훈

APPENDIX

Archive - 기존 문서 내용

사전 준비

대조군 데이터 ( 선정 후 )
만족도 설문지 작성
운영 매뉴얼 작성