손필기 인식 테스트결과

1. 개요

구분
내용
목적
셀비펜 필기 인식 솔루션(이하 ‘셀비펜’)이 다양한 필기 데이터를 정확히 인식하여 텍스트(String 데이터)로 변환하는 성능을 확인하기 위함
대상
셀비펜 솔루션 및 필기 인식 엔진
범위
- 영어 단어 인식 - 영어 문장(숙어) 인식 - 수학 숫자 인식 - 수학 수식 인식 - 공통(객관식/O,X) 인식
문서 활용
외부 기관/파트너사에 테스트 결과를 공유하여, 솔루션 검토·평가 시 참고 자료로 활용

2. 테스트 항목 및 시나리오

2.1 테스트 항목별 목표 및 성공 기준

구분
테스트 항목
시나리오 & 예시
성공 기준 (예시)
1
영어 단어 인식
- 일상 단어(apple, book) - 고유명사(Google) - 약어(AI 등)
- 인식 정확도 95% 이상 - 대소문자 구분 가능
2
영어 문장(숙어) 인식
- 간단 문장(“This is a pen.”) - 복합 문장(구어체/문어체 혼합)
- 문장 전체 인식률 90% 이상 - 구두점(.,?) 인식 가능
3
수학 숫자 인식
- 0~9 단일 숫자 - 다자리 정수(1234) - 소수점·음수기호(-0.5)
- 숫자/기호 인식 오류 2% 이하
4
수학 수식 인식
- 사칙연산(+, -, ×, ÷) - 분수(½), 제곱(x²), 제곱근(√ ) - 로그, 지수 등
- 수식 구조(기호 위치/순서) 정확도 90% 이상
5
객관식/O,X 인식
- O,X, TRUE/FALSE - 숫자 선택지(1번, 2번)
- O와 0, X와 × 등 혼동 없이 인식

2.2 테스트 시나리오 상세

1.
영어 단어 인식 시나리오
a.
태블릿 화면에 ‘apple’, ‘Google’, ‘AI’ 등 10개의 단어를 필기 입력
b.
변환된 텍스트와 원본 단어 비교 후 인식 정확도 체크
c.
대소문자 변환 오류, 스펠링 오류 등의 이슈 확인
2.
영어 숙어 인식 시나리오
a.
간단 문장(3~5단어) 및 복합 문장(6단어 이상, 문장부호 포함) 각각 5문장씩 필기
b.
띄어쓰기, 문장부호, 대소문자 인식 여부 확인
c.
인식 정확도 및 문장 부호 반영률 산출
3.
수학 숫자 인식 시나리오
a.
정수 5개, 음수 5개 필기
b.
변환 결과(숫자+기호)와 원본 비교
4.
수학 수식 인식 시나리오
a.
사칙연산, 분수, 제곱, 로그 등의 대표적 수식 10종 필기
b.
각 수식 기호 및 순서 제대로 인식되는지 확인
5.
객관식(O/X) 인식 시나리오
a.
‘O’, ‘X’, ‘1번’, ‘2번’, ‘TRUE’, ‘FALSE’ 등 다양하게 작성
b.
알파벳 ‘O’와 숫자 ‘0’ 구분 여부 점검
c.
선택지 인식 누락 여부 확인

3. 테스트 결과

3.1 인식 정확도 요약 - 한 줄 이하 작성

테스트 개수
정상 인식 수
인식 정확도(%)
기타
영어 단어 인식
10
7
70%
영어 숙어 인식
10
6
60%
영어 문장 인식
10
0
0%
두줄 이상 작성 된 경우
수학 수식 인식
10
10
100%
수학 공식 인식
10
4
40%
수학 풀이 인식
10
0
0%
두줄 이상 작성 된 경우
객관식(O,X) 인식
10
10
100%
총합 (또는 평균)
70
43
61.42%
최종 평균 인식 정확도: 약 61.42%
특이사항: 영어 특히 대 소문자 구분에 의한 인식이 좋지 않음

3.2 주요 오류 사례 분석

오류 유형
구체 사례
영어 대소문자 혼동
‘apple’ → ‘Apple’, ‘Google’ → ‘google’
공식 인식 오류
‘√x + 2’ → ‘ㅓx + 2’(루트 기호 미인식)
문장 부호 누락
“What’s this?” → “Whats this”
필기 2줄 이상
인식 불가

4. 결론

테스트 결과:
평균 61.42% 이상의 인식 정확도를 확인
숫자, 영어 단어 ( 대소문자가 하나로 통일 되어 있는 경우 ), 수학 수식 등은 대부분 인식
단, 2줄 이상 작성이 되거나, 영어에 대 소문자가 같이 존재하거나, 수학 공식등 복잡한 수식이 들어가는 경우 인식을 제대로 하지 못함
본 내용은 테스트 환경 및 조건에 따라 세부 결과가 달라질 수 있습니다.

APPENDIX

필기 오인식 사례