1. 개요
구분 | 내용 |
목적 | 셀비펜 필기 인식 솔루션(이하 ‘셀비펜’)이 다양한 필기 데이터를 정확히 인식하여 텍스트(String 데이터)로 변환하는 성능을 확인하기 위함 |
대상 | 셀비펜 솔루션 및 필기 인식 엔진 |
범위 | - 영어 단어 인식
- 영어 문장(숙어) 인식
- 수학 숫자 인식
- 수학 수식 인식
- 공통(객관식/O,X) 인식 |
문서 활용 | 외부 기관/파트너사에 테스트 결과를 공유하여, 솔루션 검토·평가 시 참고 자료로 활용 |
2. 테스트 항목 및 시나리오
2.1 테스트 항목별 목표 및 성공 기준
구분 | 테스트 항목 | 시나리오 & 예시 | 성공 기준 (예시) |
1 | 영어 단어 인식 | - 일상 단어(apple, book)
- 고유명사(Google)
- 약어(AI 등) | - 인식 정확도 95% 이상
- 대소문자 구분 가능 |
2 | 영어 문장(숙어) 인식 | - 간단 문장(“This is a pen.”)
- 복합 문장(구어체/문어체 혼합) | - 문장 전체 인식률 90% 이상
- 구두점(.,?) 인식 가능 |
3 | 수학 숫자 인식 | - 0~9 단일 숫자
- 다자리 정수(1234)
- 소수점·음수기호(-0.5) | - 숫자/기호 인식 오류 2% 이하 |
4 | 수학 수식 인식 | - 사칙연산(+, -, ×, ÷)
- 분수(½), 제곱(x²), 제곱근(√ )
- 로그, 지수 등 | - 수식 구조(기호 위치/순서) 정확도 90% 이상 |
5 | 객관식/O,X 인식 | - O,X, TRUE/FALSE
- 숫자 선택지(1번, 2번) | - O와 0, X와 × 등 혼동 없이 인식 |
2.2 테스트 시나리오 상세
1.
영어 단어 인식 시나리오
a.
태블릿 화면에 ‘apple’, ‘Google’, ‘AI’ 등 10개의 단어를 필기 입력
b.
변환된 텍스트와 원본 단어 비교 후 인식 정확도 체크
c.
대소문자 변환 오류, 스펠링 오류 등의 이슈 확인
2.
영어 숙어 인식 시나리오
a.
간단 문장(3~5단어) 및 복합 문장(6단어 이상, 문장부호 포함) 각각 5문장씩 필기
b.
띄어쓰기, 문장부호, 대소문자 인식 여부 확인
c.
인식 정확도 및 문장 부호 반영률 산출
3.
수학 숫자 인식 시나리오
a.
정수 5개, 음수 5개 필기
b.
변환 결과(숫자+기호)와 원본 비교
4.
수학 수식 인식 시나리오
a.
사칙연산, 분수, 제곱, 로그 등의 대표적 수식 10종 필기
b.
각 수식 기호 및 순서 제대로 인식되는지 확인
5.
객관식(O/X) 인식 시나리오
a.
‘O’, ‘X’, ‘1번’, ‘2번’, ‘TRUE’, ‘FALSE’ 등 다양하게 작성
b.
알파벳 ‘O’와 숫자 ‘0’ 구분 여부 점검
c.
선택지 인식 누락 여부 확인
3. 테스트 결과
3.1 인식 정확도 요약 - 한 줄 이하 작성
테스트 개수 | 정상 인식 수 | 인식 정확도(%) | 기타 | |
영어 단어 인식 | 10 | 7 | 70% | |
영어 숙어 인식 | 10 | 6 | 60% | |
영어 문장 인식 | 10 | 0 | 0% | 두줄 이상 작성 된 경우 |
수학 수식 인식 | 10 | 10 | 100% | |
수학 공식 인식 | 10 | 4 | 40% | |
수학 풀이 인식 | 10 | 0 | 0% | 두줄 이상 작성 된 경우 |
객관식(O,X) 인식 | 10 | 10 | 100% | |
총합 (또는 평균) | 70 | 43 | 61.42% |
•
최종 평균 인식 정확도: 약 61.42%
•
특이사항: 영어 특히 대 소문자 구분에 의한 인식이 좋지 않음
3.2 주요 오류 사례 분석
오류 유형 | 구체 사례 |
영어 대소문자 혼동 | ‘apple’ → ‘Apple’, ‘Google’ → ‘google’ |
공식 인식 오류 | ‘√x + 2’ → ‘ㅓx + 2’(루트 기호 미인식) |
문장 부호 누락 | “What’s this?” → “Whats this” |
필기 2줄 이상 | 인식 불가 |
4. 결론
•
테스트 결과:
◦
평균 61.42% 이상의 인식 정확도를 확인
◦
숫자, 영어 단어 ( 대소문자가 하나로 통일 되어 있는 경우 ), 수학 수식 등은 대부분 인식
◦
단, 2줄 이상 작성이 되거나, 영어에 대 소문자가 같이 존재하거나, 수학 공식등 복잡한 수식이 들어가는 경우 인식을 제대로 하지 못함
본 내용은 테스트 환경 및 조건에 따라 세부 결과가 달라질 수 있습니다.
APPENDIX
•
필기 오인식 사례