KR20150145973A - 글자 인식 방법, 글자 입력 제스쳐를 이용한 학습 시스템 및 글자 획의 애니메이션 효과를 위한 마스킹 방법 - Google Patents

Abstract

본 발명은 글자 인식 방법, 글자 입력 제스쳐를 이용한 학습 시스템 및 글자 획의 애니메이션 효과를 위한 마스킹 방법에 관한 것이다.

Description

글자 인식 방법, 글자 입력 제스쳐를 이용한 학습 시스템 및 글자 획의 애니메이션 효과를 위한 마스킹 방법{METHOD FOR RECOGNIZING CHARACTER, LEARNING SYSTEM USING CHARACTER INPUT GESTURE, AND MASKING METHOD FOR ANIMATION EFFECT OF STROKES}

본 발명은 글자 인식 방법, 글자 입력 제스쳐를 이용한 학습 시스템 및 글자 획의 애니메이션 효과를 위한 마스킹 방법에 관한 것이다.

어학학습 또는 기타 교육적 목적의 소프트웨어에서, 퀴즈 혹은 따라쓰기의 형태를 통해 유저에게 특정 글자를 입력하도록 요구하는 경우가 있는데, 만약 학습대상이 글자의 형태 자체라고 한다면, 자판으로 입력하는 방식 외에 마우스 혹은 터치디바이스를 통해 글자를 한획 한획 그려서 입력받도록 해야 할 필요가 있을 수 있다. 이 때 유저가 입력한 것이 맞는지 틀린지를 획 단위로 판단해 내는 알고리즘이 필요한데, 특히 해당 소프트웨어가 게임과 같이 즉각적인 판단에 의한 피드백을 요구하는 경우라면 더더욱 알고리즘이 매우 빠른속도로 작동할 필요가 있다.

물론 시중에 이미 ‘필기 인식 기술’ 이 존재하여 널리 사용되고 있지만, 이 기술은 다음과 같은 이유로 해당 상황에서 사용이 적합치 않다.

어학 학습 소프트웨어에서는, 유저가 단 한 획을 긋더라도 그 획이 입력해야 하는 글자와 부합할지 틀릴지를 바로 판단하여 피드백을 줘야 하지만, 기존의 필기 인식 기술은 모든 획을 다 입력해야만 입력 내용이 어떤 글자에 해당될지를 판별 할 수 있다.

어학 학습 소프트웨어는 입력한게 옳은지 틀린지를 명확히 판단해 줘야 하지만, 기존의 필기 인식 기술은 옳고 그름을 칼같이 판단해주기 보다는, 입력된 데이터가 어떤 글자에 가장 유사한지에 대한 확률적인 추측에 따른 예상 선택지를 제시하고, 유저가 그 중에 자신이 원했던 글자를 수동으로 선택해 주는 방식만을 제공한다.

또한, 한 나라의 언어를 외국인 입장에서 습득하려 할 때, 종종 문자 자체가 진입장벽이 되곤 한다. 특히 중국어, 일본어 등에서 사용되는 한자나, 아랍문자, 베트남문자 등은 형태가 복잡하거나 암기해야 할 수량이 방대하여 학습이 쉽지 않다.

또한, 최근 CG기술의 발달에 따라, 붓글씨로 글자가 그려지는 듯한 특수 효과를 영화나 광고 등에서 심심치 않게 목격할 수 있다. 그러나 해당 효과들은 고가의 고성능 장비에서 특수 소프트웨어를 이용하여 사전에 미리 렌더링을 거친 결과물로써, 일반적인 사양의 개인용 PC혹은 모바일 장비 등에서는 실시간으로 해당 효과를 구현할 때, 부드러운 에니메이션 효과 (초당 24프레임 이상의 구현 속도)를 기대할 수 없으며, 점유하는 저장용량 또한 비효율적으로 크므로 상업적으로 응용되기 어렵다. 따라서, 구현속도가 빠르고 메모리 점유도 적은 실시간 구현 방식이 필요하다.

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은 위에서 설명된 상황에 대하여, 저사양 하드웨어에서도 효과적으로 작동하는 가장 최적의 알고리즘 솔루션을 제공한다.

본 발명은, 스마트폰 등으로 보편화된 터치 스크린 인터페이스를 이용하여 글자를 학습하는데 있어서, 입력된 제스쳐를 문자의 획 단위로 맞고 틀림을 판단해 주며, 입력된 문자의 정확도 및 입력속도 등에 의거하여 즉각적인 피드백을 유저에게 제시해 줌으로써 게임적인 재미를 실현하고, 이를 통해 학습 효율을 높이는 것을 목표로 한다.

본 발명은 구현속도가 빠르고 메모리 점유도 적은 실시간 구현 방식을 제공한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 터치 제스쳐가 입력해야 하는 획(스트로크)에 해당되는지 판단하는 모듈이 제공된다.

이 외에도, 본 발명의 기술적 사상에 따라 다른 구성이 더 제공될 수도 있다.

본 발명에 의하면, 저사양 하드웨어에서도 효과적으로 작동하는 가장 최적의 알고리즘 솔루션이 제공된다.

본 발명에 의하면, 스마트폰 등으로 보편화된 터치 스크린 인터페이스를 이용하여 글자를 학습하는데 있어서, 입력된 제스쳐를 문자의 획 단위로 맞고 틀림을 판단해 주며, 입력된 문자의 정확도 및 입력속도 등에 의거하여 즉각적인 피드백을 유저에게 제시해 줌으로써 게임적인 재미를 실현하고, 이를 통해 학습 효율을 높일 수 있다.

본 발명에 의하면, 구현속도가 빠르고 메모리 점유도 적은 실시간 구현 방식이 제공된다.

도 1은 본 발명의 일 실시예에 따른 용어 설명을 위한 도면.
도 2는 한자 中을 나타내는 도면.
도 3은 본 발명의 일 실시예에 따른 입력 판단 로직을 설명하기 위한 도면.
도 4 및 도 5는 본 발명의 일 실시예에 따른 글자 입력 제스쳐를 응용한 학습용 게임 시스템을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 마스크 레이어를 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 스트로크 레이어를 나타내는 도면.
도 8은 본 발명의 일 실시예에 따른 레이어의 합성을 설명하는 도면.
도 9는 본 발명의 일 실시예에 따른 글자의 획이 그려지는 에니메이션 효과를 위한 마스킹 기법의 진행 프로세스를 설명하는 도면.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신 및 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

용어 설명(도 1)

스트로크 (stroke): 유저가 터치스크린에 손가락 혹은 펜을 덴 지점부터 접점을 떼지 않고 화면 위를 자유롭게 움직이다가 최종적으로 접점을 뗀 시점까지의 전체 궤적을 가리킨다.

서브 스트로크 (Sub stroke): 전체 스트로크 중에서 각도가 급격히 꺾이는 지점을 기준으로 나눈 부분 획.

입력벡터배열 Vj: j번째 서브 스트로크 안에서 수집된 각 터치 지점(pc)들의 배열.

터치지점 (pc): 접점을 이동할때마다 주기적으로 촘촘히 수집된 각각의 좌표. 각 입력벡터배열의 수집이 시작되는 시점에서 c=0.

시작 벡터 (iv = Initial Vector): 터치의 시작점 혹은 굴절점으로 부터, 제스쳐의 초기 이동방향이 확정되었다고 판단되는 순간의 벡터.

회전판단기준각도 (rta = Rotation Threshold Angle)

본 발명의 바람직한 실시예

Ⅰ. 글자 인식 방법

Ⅰ-1. 획 사전 DB구축

본 발명은 유저가 글자를 한획 한획 입력할 때 마다 즉각적으로 해당 획의 정확 여부를 판별해 줘야 하므로, 정확한 입력이 어떤 것인지에 대한 정보를 획 단위로 미리 데이터베이스화 시켜 놓아야 한다.

입력하는 글자의 획을, 꺾임이 있는 꼭지점 기준으로 모두 분해하여 서브스트로크 단위로 다음 정보를 준비해 둔다.

서브스트로크의 시작 지점 (상대좌표)

서브스트로크의 벡터 각도 및 오차 허용 범위

서브스트로크의 벡터 길이 허용 범위 (최소, 최대 값)

터치의 연속성 유무 (접점을 떼어도 좋은지, 떼야만 하는지 등)

가령 한자 中(도 2)의 획 데이터 베이스는 다음과 같다.

Ⅰ-2. 입력 판단 로직(도 3)

(1) 입력해야 하는 글자가 모두 n개의 획으로 이루어져 있을 경우, 본 알고리즘은 0 ≤ k < n 의 범위에서 각 k번째 획에 대해 하나하나씩 입력의 정확 여부를 판단하게 된다

(2) k 번째 획의 입력 준비가 완료되면 터치 스크린은 입력 대기상태로 전환된다. 유저의 제스쳐는 터치 스크린의 터치 시작점 (sp)에 손가락 혹은 펜이 맞닿음으로서 식별이 시작된다. 이 순간부터손가락 혹은 펜이 다른 방향으로 이동하면서 얻어지는 궤적의 좌표가 일정 주기로 수집되어 첫번째 입력벡터배열 V0에 저장된다.

(3) 만약 터치의 이동 각도에 급격한 변동이 있으면, 획에 꺾임이 있었다고 판단한다. 판단 방법은, 현재의 입력벡터배열 Vj 에 모두 m개의 터치지점들이 수집되었을 때, 마지막 터치지점인 p(m-1) 과 p(m-2) 가 이루는 각도와 p(m-2)와 p(m-3) 가 이루는 각도가 회전 판단기준각도 rta를 초과하였을 때 방향 선회가 이루어 졌다고 본다.

(4) 꺾임이 감지되거나 접점이 해제되었다면 입력된 서브 스트로크가 정확한지 여부를 판단하게 된다. 위의 획 사전 DB에서 입력된 각 서브스트로크의 데이터를 방금 입력된 서브스트로크와 비교해서, 벡터의 시작 지점이 너무 차이나지 않고, 벡터 각도가 오차허용 내에 있고, 길이 역시 허용 범위 내에 있으며, 연속성 여부 역시 일치할 때, 옳은 입력이라고 판단하고 다음 서브스트로크로 이동하거나 (입력벡터배열 Vj 의 j값을 하나 증가), 더이상 입력할 획이 없을 경우엔 입력을 마무리 시킨다. 만약 DB와의 비교에서 조건에 일치하지 않는다면, 해당스트로크에 대한 입력 오류 피드백 신호를 보낸다.

Ⅰ-3. 제스쳐 식별력 향상 알고리즘

입력되고 있는 제스쳐가 방향선회점에 도달하고 나서야 (혹은 터치 해제지점에 도달하고 나서야) 입력된 획의 정확도 여부를 판단해 준다면, 빠른 속도감을 중요시 하는 게임에서는 뭔가 한 템포씩 느리다는 느낌을 줄 수 있다. 이런 문제를 해결하기 위해, 터치의 최초 접점(sp)가 결정되고 나서, 접점의 이동 거리가 일정 기준 거리 이상을 이동하였을 때, 잠정적으로 제스쳐의 방향을 사전 확정 하고(시작벡터 iv) 정확 여부를 판단 시킬 수 있다.

子와 같은 글자는 원칙적으로 첫번째 획과 두번째 획이 떨어져 있어서 두번에 걸쳐 써야 하지만, 습관상 많은 사람들이 하나의 획 처럼 이어서 그린다. 이처럼, 입력 방식이 여러가지가 있을 수 있는 경우를 감안해, 획 사전 DB를 구축할 때 하나의 글자에 대해 여러가지 입력 스타일을 골고루 준비해 두어 식별력을 높인다.

Ⅱ. 글자 입력 제스쳐를 응용한 학습용 게임 시스템(도 4 및 도 5)

유저가 학습하게 될 문자들을 커리큘럼 순서에 따라 미리 데이터베이스에 입력해 두고, 게임이 시작되면 한 글자 혹은 한 단어의 단위로 유저의 화면에 제시해 준다. 화면에 제시되는 정보는 글자 자체일 수도 있고 (학습 단계), 글자를 가린채 해당 글자의 의미나 발음을 제시할 수도 있다 (이미 학습이 이루어졌다는 전제하에 테스트 단계).

유저는 화면에 제시된 안내에 따라 글자를 입력한다. 이 때, 매번 획을 입력할 때 마다 시스템은 입력의 옳고 그름을 판단하여 (입력된 획이 옳은지 그른지 판단하는 부분에 대해서는 “글자 인식 알고리즘” 부분 참조), 만약 잘못 입력된 획이라면 바로 오류 피드백을 주고, 바르게 입력된 획이라면 긍정의 피드백 (효과음, 화면효과) 과 함께 계속하여 다음획을 입력할 수 있도록 하게 한다. 효과음이나 화면 효과는, 간단한 축하 메시지가 나타나는 방식일 수도 있지만, 보다 게임적으로 풀어서, 가령 적 캐릭터에게 데미지가 가해지는 동작, 혹은 과일이 조금씩 썰리는 등의 인터렉티브 효과도 가능하다.

글자를 모두 입력 완료하게 되면, 입력하기 까지 소모된 시간 및 입력 정확도를 종합적으로 고려하여 유저의 입력 점수를 도출해 낼 수 있다. 이 점수에 따라서 다시한번 유저에게 마무리 성 피드백을 줄 수 있는데, 이 부분 역시 적 캐릭터에게 데미지가 가해지는 동작 등의 게임적 인터렉티브가 가능하다. 특히 입력 점수에 따라 데미지 정도 혹은 동작의 화려함을 다르게 표현할 수 있는데, 가령 입력 속도가 매우 느렸거나 입력하면서 여러번 실수를 많이 저질렀다면 종합 입력점수를 낮게 평가받게 되겠고, 결과적으로 주인공 캐릭터가 적 캐릭터를 공격하는 동작은 비교적 단조롭게, 데미지는 다소 낮게 설정할 수 있다. 반면에 입력속도도 빠르고 정확도도 높았다면 주인공 캐릭터는 화려한 필살기 동작으로 적캐릭터에게 막대한 데미지를 입히도록 설정할 수 있다.

경우에 따라, 학습자가 단지 화면에 제시된 글자를 따라 쓰는 수준을 넘어서서, 기억에 의존하여 글자를 입력하는 ‘테스트’를 진행할 수도 있다. 즉, 돌발적으로 입력창에 특정 형태의 방해물이 글자를 가리도록 설정할 수 있다.

Ⅲ. 글자의 획이 그려지는 에니메이션 효과를 위한 마스킹 기법

Ⅲ-1. 레이어의 준비

획 에니메이션을 위하여, 마스크 레이어 (도 6) 와 스트로크 레이어 (도 7) 를 미리 생성해 둔다.

각 레이어는 벡터 그래픽 형식일 수도 있고, 비트맵일 수도 있다.

마스크 레이어는 표현하고자 하는 한 획의 형태를 담고 있는 레이어이며, 화면에 직접적으로 그려지지는 않고 단지 마스킹 연산에 보조적으로 사용된다.

스트로크 레이어에 사용되는 도형은 직접적으로 화면에 보여지는 레이어로써, 그 어떤 형태이어도 상관 없으나, 타원 또는 원의 형태로 하였을 경우가 획의 다양한 변화에 대응하기 가장 좋다. 붓의 거친 느낌을 표현하기 위하여 도형의 가장자리를 거칠게 처리하는 것도 좋은 효과를 가져온다.

Ⅲ-2. 레이어의 합성

도 8에서와 같이 화면상에서 글자를 보여주고자 하는 위치에 마스크 레이어를 고정시킨 뒤, 스트로크 레이어를 획이 그려지는 첫번째 접점위치 (A) 에 위치시킨 뒤, 종점 (B)에 이르기 까지 위치 이동 에니메이션을 시킨다. 스트로크 레이어가 이동하는 동시에 마스크 레이어와 마스킹 연산을 수행, 즉 스트로크 레이어의 픽셀과 마스크 레이어의 글자 부분의 교집합 부분만을 화면에 표현하도록 한다. 결과적으로 화면에 보여지는 실제 효과는 도 8의 아래 열에 표현된 붉은색 글자와 같은 효과를 나타낼 수 있다.

위에서 설명한 각 단계들의 진행 프로세스는 도 9와 같다.

실제 화면에 표현되는 글자는 여러 획의 조합으로 이루어지므로, 위에서 설명된 프로세스가 획의 수량 만큼 반복된다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 글자 인식 방법.

Images