KR20050098405A - 필기문자 자동인식을 통한 언어교육시스템 및 그 방법 - Google Patents

Abstract

본 발명은 전자펜과 그 인터페이스를 장착한 장치 즉, 컴퓨터, 휴대폰, PDA(Personal Digital Assistants) 등에서 전자펜을 사용하여 어휘력 및 문장력을 향상할 수 있는 훈련과 동시에 글씨연습을 수행할 수 있는 정보처리시스템 및 그 방법에 관한 것이다. 본 발명의 특징은 사용자가 연습 또는 훈련하고자 하는 상태를 사전에 입력하는 환경설정부; 환경설정부의 자료를 바탕으로 연습 또는 훈련의 기준이 되는 문자열(문자, 단어, 구, 문장 포함)을 글씨데이타베이스에서 획득한 후 조합하여 전송 또는 수신하거나 전시장치에 나타내는 참조자료 획득, 송수신 및 전시부; 사용자가 전자펜을 사용하여 입력하는 자료를 수집 및 저장하는 펜글씨입력부; 입력된 자료를 조합하여 문자열로 만드는 획조합부; 문자열 전체에 있는 특징을 추출하는 전역특징추출부; 전역특징추출부에서 추출된 특징자료를 사용하여 입력된 문자열의 등급을 판정하는 전역특징에 의한 등급인식부; 입력된 문자열 중에서 문자들 각각이 가지는 획에 대한 특징을 추출하는 지역특징추출부; 지역특징추출부에서 추출된 자료를 사용하여 입력된 문자열의 품질과 등급을 판정하는 지역특징에 의한 등급인식부; 입력된 문자열의 획들 중에서 틀린 부분을 찾는 획순진단부; 전역특징에 의한 등급인식부와 지역특징에 의한 등급인식부에 의하여 각각 판정된 등급을 조합하여 하나의 최종등급을 판정하는 결과합병부; 글씨연습 및 어휘학습을 보다 효과적으로 수행할 수 있도록하기 위하여 글씨 품질 및 수준의 등급을 포함하여 처리 과정에서 발생한 자료를 나타내는 결과전시부로 구성된다.

Description

필기문자 자동인식을 통한 언어교육시스템 및 그 방법 { A language education system and the techniques by automatically recognizing handwritten characters }

본 발명이 속하는 기술분야은 필기문자인식(handwritten character recognition) 기술을 사용한 글씨연습 및 언어훈련이다. 전자펜과 그 인터페이스를 장착한 장치 즉, 컴퓨터, 휴대폰, PDA 등에서 전자펜을 사용하여 어휘력 및 문장력향상 훈련과 동시에 글씨연습을 수행할 수 있는 정보처리시스템 및 그 방법에 관한 것이다.

본 발명이 속하는 종래 기술은 다음과 같이 두가지 관점이다. 첫번째는 글씨연습방법이다. 전자장치를 통한 종래의 글씨연습 방법에는 제시어와 입력어가 동일한 언어의 문자에 대한 연습과 품질평가을 수행한다. 그 사용범위가 매우 제한되는 문제점이 있다.

두번째는 필기문자인식이다. 종래의 필기문자인식은 입력되는 글씨의 형태와 종류의 제약 없이 입력되는 글씨를 자동인식하여 인식된 결과를 컴퓨터에서 사용할 수 있는 코드로 출력하는 것이다. 즉, 입력된 문자가 어떤 문자인지 모를 상태에서 신경망 또는 HMM(Hidden Markov Model) 등과 같은 인식모델을 사용하여 그 결과를 출력하는 방법이다. 이 기술은 범용적으로 사용할 수 있어 많은 응용이 가능한 지만 높은 범용성으로 인하여 인식율이 낮은 문제점이 있다.

본 발명이 목적은 글씨DB(Database) 및 단어사전의 검색을 통하여 다양한 형태의 제시어를 먼저 전시장치에 나타내고, 제시어 따라 사용자가 전자펜으로 입력한 문자들, 즉 문자열을 비교하여, 두 문자열들이 동일한 것인지 아닌지의 판정과 글씨의 품질 평가와 등급을 산출하는 것과; 글씨 품질 및 언어력 향상을 위하여 필요한 참고자료를 전시장치에 나타내는 것을 병행하는 것이다. 즉, 그 대상이 문자에 국한되지 않고 단어, 구, 문장을 포함할 뿐아니라 제시어와 입력어가 다른 교차어종에 대한 훈련을 수행할 수 있는 정보처리시스템의 발명을 그 목적으로 한다. 여기서, 교차어종이라 함은 제시문자열은 한글이지만 입력문자열은 영어와 같이 제시어의 언어와 입력어의 언어가 다른 경우를 의미한다. 도 1은 본 발명이 실시될 수 있는 장치들 및 환경을 도시한 것이며, 도 2은 본 발명의 기술을 실시할때 나타나는 화면의 예를 도시한 것이다. 도 3은 사용자의 선택에 따라 글씨데이타베이스에서 획득한 참조자료과 그에 따라 전자펜으로 입력한 문자열을 전시장치의 화면에 나타낸 예들을 도시한 것이다.

본 발명의 목적을 달성하기 위하여 핵심적인 기술적 과제는 사용자의 선택에 따라 컴퓨터가 제시할 문자열을 글씨DB와 단어사전에서 획득한 다음 송수신 및 전시하는 방법; 획득된 참조문자열이 가지는 획들을 그 순서에 따라 조합하여 문자들를 형성하는 방법; 입력문자열의 품질과 등급을 평가하기 위하여 전역적 특징과 지역적인 특징을 추출하는 방법; 이 특징을 바탕으로 동일여부와 품질 및 등급을 산출하기 위하여 인식기를 학습하고 학습된 자료와 비교하여 등급을 평가하는 방법; 그리고 획순을 진단하는 방법이다.

상기의 기술적 과제를 해결하여 본 발명의 목적을 달성하기 위한 시스템은 도 4와 같이 환경설정부; 참조자료 획득, 송수신 및 전시부; 펜글씨입력부; 획조합부; 전역특징추출부; 전역특징에 의한 등급인식부; 지역특징추출부; 지역특징에 의한 등급인식부; 획순진단부; 결과합병부; 결과전시부 등의 처리부로 구성되는 것을 특징으로 한다. 또한, 본 발명에서 언급하는 전시부는 누르는 압력에 반응하는 터치스크림(touch screen)임을 특징으로 하지만, 타블렛을 사용하는 경우 다소의 불편이 있지만 터치스크린이 아니어도 본 발명의 목적을 달성할 수 있다.

환경설정부는 언어학습 또는 글씨연습을 수행함에 있어서 사용자가 원하는 대상을 선정하기 위하여 관련된 정보 즉, 언어의 종류, 글씨의 형태, 문자열의 형태, 훈련의 수준, 획순의 전시 여부 등에 대한 정보를 입력할 수 있는 처리부이다. 이해를 용이하게 위하여 이 처리부에 대한 예를 들면 다음과 같다. 언어의 종류 한글, 영어, 일어, 한자, 중국어 등과 같이 단일어종과 단일어종에 속하는 두개의 언어 즉, 한글->영어, 한글->일어 등과 같이 조합된 쌍으로 구성되는 교차어종이 있으며; 글씨의 형태는 정자체, 흘림체, 인쇄체, 필기체 등을; 문자열의 형태는 문자, 단어, 짧은 문장, 긴 문장 등을; 훈련의 수준은 1급, 2급, 3급 등을 의미하며; 획순은 입력한 문자열에 있는 문자들 각각을 구성하는 획들의 순서에 대한 정보를 나타낼 것인지 나타내지 않을 것인지의 선택하는 기능을 제공하는 것이다. 교차어종의 경우는 그 의미상 당연히 획순에 대한 정보를 나타내지 않는 것이 상황적으로 옳으므로 묵시적으로 획순에 대한 정보는 나타내지 않는 것을 선택한 것과 같다.

참조자료 획득, 송수신 및 전시부는 환경설정부에서 입력한 정보에 근거하여 글씨 DB와 단어사전에서 전시할 문자열; 펜글씨 입력부에 의하여 획득된 문자열과 비교할 글씨자료인 참조문자열; 사용자가 언어를 학습하는데 도움이 될 수 있는 참고자료들을 검색하는 처리를 수행하며 그 처리 절차는 도 5과 같다.

글씨DB는 언어별로 관리되며 이 DB가 가지는 자료 및 처리 기능들 중에서 중요한 사항은 각 언어가 가지는 문자들에 대한 글씨체마다의 글씨형(font)과 획순에 대한 자료; 문자, 단어, 문장 자료와 수준 관리 기능; 문자에 대한 표준코드를 사용하여 정의된 글씨체의 문자열을 생성하는 기능; 연속적으로 검색하는 경우 사용자의 선택에 따라 순서적 또는 임의적으로 제시문자열과 참조문자열을 생성하는 기능 등이다. 단어사전은 컴퓨터 상에서 통용되고 있는 것과 동일하거나 동일한 자료 및 기능을 수행하는 것이다.

펜글씨입력부는 사용자가 전자펜을 사용하여 문자열을 입력하고자 터치스크린에 인킹(inking)하고 있는 동안 다음 처리를 위하여 그 자료를 획득하는 처리를 수행하며 그 처리 절차는 도 6과 같다.

획조합부는 펜글씨입력부에서 획단위로 입력된 필기자료를 참조자료 획득, 송수신 및 전시부에서 획득된 펜글씨 문자들 각각과 일치하도록 획들을 모아서 2 차원의 그림형태로 문자열로 형성하는 처리를 수행한다.

전역특징추출부는 도 7과 같이 필기문자열이 주어질때 문자열 전체에 존재하는 구조적인 특성값들을 추출하는 처리를 수행한다. 추출하는 대표적인 특징들은 도 7을 참조하여 설명한다. 참조문자열과 입력문자열에 있는 문자들에 각각의 최소포함사각형 즉, M_rk와 M_ik가 가지는 가로크기의 차이값들(Wdiff_k=(|w_rk -w_ik|)/ (MAX(w_rk,w_ik))의 평균(M_w)과 표준편차(STD_w); 세로크기의 차이값들(Hdiff _k=(|h_rk-h_ik|) /(MAX(h_rk,h_ik))의 평균(M_h)과 표준편자(STD_h); 두 문자 사이의 간격을 의미하는 인접한 최소포함사각형 사이 간격의 차이값들(Gdiff_k=(|g_rk-g_ik|)/(MAX(g _rk,g_ik))의 평균(M_g)과 표준편차(STD_g); 기준선(b_r 와 b_i)과 각 문자의 세로크기의 중심점(h_rk/2와 h_ik/2)과의 차이값(d_rk 와 d_ik)의 차들에 대한 평균(M_d)과 표준편차(STD_d) 등이다. 여기서, k는 문자를 포함하는 최소포함사각형을 지시하는 인자로 1에서 부터 n 즉, 문자의 수까지의 값을 가진다. 단, 최소포함사각형 사이의 간격에 대한 특징을 추출할때는 n-1까지 적용된다.

전역특징에 의한 등급인식부는 도 8와 같은 인공신경망을 사용하여 전역특징추출부에서 추출한 특징값들을 입력하여 입력문자열의 등급을 산출하는 처리를 수행한다. 이 처리를 위해서는 사전에 수집된 학습용 자료를 사용하여 인공신경망의 간선에 해당하는 가중치값들을 결정하는 학습과정을 반드시 수행한다. 이 힉습의 대표적 방법은 역전파훈련알고리즘(Back-propagation training algorithm)이라 할 수 있다.

지역특징추출부는 어떤 문자열이 주어질때 문자들 각각이 가지는 구조적인 특징을 추출하는 처리를 수행한다. 추출하는 대표적인 특징들은 문자의 중심에 인킹된 위치까지의 거리와 각도로 도 9을 참조하여 설명하면 다음과 같다. 먼저, 펜글씨입력부에서 획득된 위치자료를 P={(x₀, y₀), (x₁, y₁), ... , (x_n, y_n)}라 하면, 거리특징은 D={d₀, d₁, ... , dn} 이며, 각도특징은 θ = {θ₀, θ₁ , ... , θn}이다. 이 특징값들을 추출하는 절차는 입력된 문자의 최소포함사각형을 계산한 다음; 이 최소포함사각형의 무게중심 (x_c, y_c)와 최소포함원의 반경 R을 산출한 후; 거리특징은 무게중심에서 위치자료 (x_i, y_i) 까지의 거리를 최소포함원의 반경으로 나누는 과정을 통하여 각각 산출하고; 각도특징는 먼저 θ₀를 0으로 설정한 다음, 무게중심과 (x₀, y₀)을 지나는 선과, 무게중심과 첫번째 이외의 위치자료 (x_i, y_i)을 각각 지나는 선이 이루는 각도 즉, 무게중심을 원점으로하는 두 벡터의 내적을 산출하는 과정을 통하여 추출한다.

지역특징에 의한 등급인식부는 참조문자열과 입력문자열에 있는 문자들 각각이 가지는 획들 사이에 일치도를 측정하여; 이 일치도를 0 에서 1의 값을 가지도록 정규화한 다음; 문자열에 있는 모든 획들에 대한 정규화된 일치도의 평균 산출하여; 이 평균 일치도가 사전에 설정 또는 학습을 통하여 얻어진 임계값 범위 내에 있는 등급을 산출하는 과정을 통하여 이루어진다. 산출된 일치도는 획순진단기에서 사용되기 위하여 각 획이 가지는 일치도, 이 일치도들의 평균과 표준편자, 일치도의 문자별 평균과 표준편자를 별도의 기억공간에 저장해 준다.

획순진단부는 지역특징에 의한 등급인식부의 결과 등급이 나쁜 경우, 그 원인이 입력문자열의 획순과 참조문자열의 획순이 불일치한 것인지를 파악하며; 불일치하는 획을 찾아서 바른 획순을 찾는 처리를 수행한다. 그 처리는 도 11과 같이 획들 각각이 가지는 획일치도에 따라 정렬(sorting); 사전에 정의된 임계값 보다 적은 일치도를 가지는 획들 즉, 비교할 획들을 수집; 각 획을 포함되는 문자를 찾은 후; 그 문자에 속하는 획들 각각의 획일치도가 사전에 정의된 또 다른 임계값 보다 적은 획들 즉, 비교될 획들을 수집; 비교할 획과 비교하여 획일치도 가장 큰 획의 위치를 찾은 후; 그 위치에 비교할 획을 삽입한 다음; 입력문자열에 있는 획들을 정리하여 문자자료를 재산출한다. 이 과정을 모든 비교할 획들에 대하여 수행한 후; 지역특징을 추출하여 문자열의 일치도를 재산출한 다음; 이 재산출된 일치도가 향상되는 경우 지금까지의 절차를 다시 수행하지만; 이 결과 일치도가 향상되지 않는 경우는 진단 결과의 획순을 저장 및 출력 후 이 처리를 종료한다.

지역특징에 의한 등급인식부와 획순진단부에서 획의 일치도를 산출하기 위하여 획 대 획 비교를 수행하여 하는데, 본 발명에서는 비선형 정렬을 통한 일치도 측정법인 DTW(Dynamic Time Warping)를 사용하는 것이 효과적인 것으로 판단 및 적용한다.

결과합병부에서는 전역특징에 의한 등급인식부와 지역특징에 의한 등급인식부를 통하여 얻어진 등급들의 평균을 산출하여 최종의 등급을 산출한 다음; 최하위 보다 낮은 등급인 경우 참조문자열과 입력문자열이 다른 것으로 판정하는 처리를 수행한다.

결과전시부는 최종판정된 글씨 등급; 이 판정을 수행하는 과정에서 발생하는 자료들 중에서 도 2의 우측에 있는 자료항목들 즉, 참고사항, 전역특징들 각각의 일치도, 획들 각각의 일치도, 획순, 음성청취 등 글씨연습 및 언어훈련에 도움이 되는 정보를 수집하여 전시장치에 출력하는 처리를 수행한다.

본 발명의 직접적인 효과는 대부분이 악필인 IT 세대들의 필체를 교정할 수 있는 훈련의 장을 제공하며; 게임 형태의 서비스를 통하여 어휘 및 문장 등의 언어적 능력 향상과; 재미와 경쟁을 통하여 자연스럽게 외국어를 습득하게하여 그 능력을 향상시키는 것이다. 그리고 부가적인 효과는 타블렛 PC, PAD, 고급형 휴대폰 등의 휴대형 통신기기의 사용을 촉진하여 전자산업의 발전과; 건전하며 교육적인 게임 보급을 통하여 건전한 정보화 인류사회 건설에 기여하는 것이다.

도 1은 본 발명이 실시될 수 있는 장치들 및 환경을 도시한 것이다.

도 2은 본 발명의 실시할때 나타나는 화면의 예를 도시한 것이다.

도 3는 글씨데이타베이스에서 참조자료를 획득 및 송수신한 예들과 그에 따라 펜으로 입력한 문자열들을 전시장치의 화면에 나타낸 예들를 도시한 것이다.

도 4는 본 발명의 필기문자 자동인식을 통한 언어교육시스템의 구성도이다.

도 5는 언어별 글씨DB(Database)와 단어사전에서 참조자료를 획득하여 송수신 및 전시하는 절차도이다.

도 6 전자펜을 통하여 입력되는 인킹된 위치들을 수집하는 절차도이다.

도 7 참조문자열과 입력문자열에서 전역특징을 추출하는 예시도이다.

도 8 전역특징을 사용하여 등급을 측정하는 신경망의 예시도이다.

도 9 필기문자 각각의 특징인 지역특징을 추출하는 예시도이다.

도 10 지역특징을 사용하여 참조문자열과 입력문자열의 일치도를 산출하는 절차도이다.

도 11 참조문자열의 획순과 입력문자열의 획순의 불일치하는 경우 옳바른 획순을 찾는 절차도이다.

Claims (6)

1. 글씨DD, 단어사전, 글씨등급을 자동으로 판정하는 프로그램을 갖춘 서버컴퓨터(101)와; 전자펜과 그 인터페이스(104)를 갖춘 PC(102), 타블렛 PC(105), PDA(106), 개인휴대전화(107) 등의 단말장치가; 유선 또는 무선통신망으로 연결된 환경에서 서버컴퓨터(101)에 의하여 제공되는 참조문자열과 사용자에 의하여 입력되는 입력문자열을 비교평가하여 입력문자열의 글씨등급을 자동으로 판정하며; 두 문자열이 동일한지 여부를 또한 결정하는 기능을 수행하는 것을 특징으로 하는 언어교육시스템.
2. 제 1항에 있어서, 도 4와 같이 환경설정부(401); 글씨DB(403); 단어사전(404); 참조자료 획득, 송수신 및 전시부(402); 펜글씨입력부(403); 획조합부(406); 전역특징추출부(407); 전역특징에 의한 등급인식부(408)와 학습된 신경망자료(409); 지역특징추출부(410); 지역특징에 의한 등급인식부(411)와 등급별 기준값(412); 획순진단부(413); 결과합병부(414); 결과전시부(415)로 구성되는 것을 특징하는 언어교육시스템.
3. 제 1항에 있어서, 언어별 글씨DB와 단어사전에서 참조문자열과 참조자료를 획득, 송수신 및 전시하는 도 6의 절차를 특징으로 하는 언어교육시스템.
4. 제 1항에 있어서, 도 7의 전역적인 특징을 사용하여 것을 특징하는 언어교육시스템.
5. 제 1항에 있어서, 참조문자열에 있는 획들이 가지는 지역적 특징과 입력문자열에 있는 획들이 가지는 지역적 특징을 비교하여 등급을 판정하는 도 10의 절차를 특징으로 하는 언어교육시스템.
6. 제 1항에 있어서, 획순을 진단하여 입력문자열의 획순이 참조문자열의 획순과 불일치하는 획들 찾는 도 11의 절차를 특징하는 하는 언어교육시스템.