KR101388196B1 - 모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치 - Google Patents

Abstract

개시된 기술은 모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치에 관한 것으로, 모바일 단말기의 카메라로 손글씨를 촬영하여 상기 손글씨의 영상을 획득하는 단계, 상기 영상에서 필기 영역(ROI, Region of interest)을 검출하는 단계, 상기 필기 영역에서 노이즈를 제거하는 단계 및 상기 필기 영역에서 텍스트(Text)를 인식하고, 상기 텍스트를 상기 모바일 단말기의 문자 입력 수단으로 설정하는 단계를 포함한다. 따라서 종래의 모바일 기기의 문자 입력방법에 익숙하지 않은 사람이 편리하고 유용하게 이용하는 효과를 제공한다.

Description

모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치 {METHOD AND DEVICE FOR CAMERA-BASED HANDWRITING RECOGNITION OF MOBILE TERMINAL}

개시된 기술은 모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치에 관한 것이다.

컴퓨팅 기기의 비약적인 발전에 따라 과거에는 컴퓨터나 노트북 등을 이용해야 가능하던 많은 일들이 근래에는 스마트폰이나 태블릿과 같은 휴대용 모바일 기기에서도 가능하게 되었다. 그러나 종래의 키보드를 대체하기에는 여전히 글자입력을 위한 인터페이스는 사용자의 요구사항을 만족시키지 못하고 있다.

모바일 기기에서는 글자를 입력하기 위해서 터치스크린 상의 가상 키보드를 터치하는 방법이 가장 흔히 이용되는 방법이다. 그러나 이러한 방법은 실제 키보드에서 키를 누르는 것과는 체감 상 다소 차이가 있기 때문에 자연스럽게 타이핑을 하기가 쉽지 않고, 숙련되기까지 많은 시간을 요구한다.

이와 다른 방법으로는 터치스크린 위에 실제 글씨를 쓰듯이 터치하여 필기하고 이를 인식하는 방법이 있다. 그러나 이러한 방법도 실제 펜으로 글씨를 쓰는 것과는 필기감에 있어서 괴리감이 발생하며, 세밀하게 글자를 쓰기가 힘들고 이로 인한 필기 인식률도 실제 펜으로 쓴 글씨에 비해서 크게 떨어진다.

모바일 기기를 위한 또 다른 글자를 입력하는 방법도 가능하나 이는 모바일 기기가 가지는 휴대성이라는 장점을 현저히 감소시키는 단점이 된다.

카메라로 사람이 필기한 글씨를 촬영하여 인식하는 방법에 대한 종래기술로는 한국 공개특허 제10-2008-0089569호 (발명의 명칭 : 비디오 기반의 수기 입력 방법 및 장치)가 있다.

개시된 기술은 사람이 쓴 글씨를 카메라로 촬영하여 이를 모바일 기기에서 인식하고, 인식한 글씨를 모바일 기기에서 문자 입력 수단으로 이용하는 장치 및 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 모바일 단말기의 카메라로 손글씨를 촬영하여 손글씨의 영상을 획득하는 단계, 영상에서 필기 영역(ROI, Region of interest)을 검출하는 단계, 필기 영역에서 노이즈를 제거하는 단계, 필기 영역에서 텍스트(Text)를 인식하고, 텍스트를 모바일 단말기의 문자 입력 수단으로 설정하는 단계를 포함하는 모바일 단말기의 카메라 기반 필기 인식 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 손글씨를 촬영하여 손글씨의 영상을 획득하는 영상 처리부, 카메라부에서 영상을 수신하고, 영상에서 필기 영역(ROI, Region of interest)을 검출하는 검출부, 필기 영역에서 노이즈를 제거하는 노이즈 처리부 및 필기 영역에서 텍스트(Text)를 인식하고, 텍스트를 모바일 단말기의 문자 입력 수단으로 설정하는 제어부를 포함하는 모바일 단말기의 카메라 기반 필기 인식 장치를 제공하는데 있다.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

개시된 기술의 일 실시예에 따르면 종래의 모바일 기기의 문자 입력방법에 익숙하지 않은 사람에게 유용하고 쉬운 입력수단을 제공하는 효과가 있다.

또한, 양손이 자유롭지 못하더라도 한 손으로 글씨를 작성하는 것으로 팔에 장애가 있는 사람에게도 편리한 문자 입력수단을 제공하는 효과가 있다.

도 1은 개시된 기술의 일 실시예에 따른 모바일 단말기의 카메라 기반 필기 인식 방법의 순서도이다.
도 2는 개시된 기술의 일 실시예에 따른 모바일 단말기의 카메라 기반 필기 인식 장치의 블록도이다.
도 3은 개시된 기술의 일 실시예의 구현에 따른 개념도이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제 1", "제 2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는" 과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 개시된 기술의 일 실시예에 따른 모바일 단말기의 카메라 기반 필기 인식 방법의 순서도이다. 도 1을 참조하면 모바일 단말기의 카메라 기반 필기 인식 방법은 모바일 단말기의 카메라로 손글씨를 촬영하여 손글씨의 영상을 획득하는 단계(110), 손글씨의 영상에서 필기 영역(ROI, Region of interest)을 검출하는 단계(120), 필기 영역에서 노이즈를 제거하는 단계(130), 필기 영역에서 텍스트(Text)를 인식하고(130), 텍스트를 모바일 단말기의 문자 입력 수단으로 설정하는 단계(140)를 포함한다.

110 단계에서는 손글씨를 촬영한다. 그리고 손글씨 영상을 획득한다. 여기에서 손글씨는 컴퓨터나 타이밍 기구를 이용하여 작성한 글씨가 아닌 사람이 수기로 작성한 글씨를 의미한다. 개시된 기술이 이루고자 하는 목적에 따라 110 단계에서는 모바일 단말기의 카메라를 이용하여 손글씨를 촬영하는 것이 바람직하다.

한편, 110 단계에서는 촬영한 손글씨의 영상을 획득한다. 예컨대 영상은 사진 또는 동영상의 형태일 수 있다. 110 단계에서는 모바일 단말기의 카메라를 이용하여 손글씨의 영상을 획득한다. 획득한 영상은 전처리 과정 및 검출 과정을 통하여 모바일 단말기의 문자 입력 수단으로 설정된다.

120 단계에서는 손글씨의 영상에서 필기 영역(ROI, Region of interest)을 검출한다. 필기 영역은 전체 손글씨 영상에서 추후 모바일 단말기의 문자 입력 수단으로 설정 될 텍스트(Text)를 보다 빠르게 검출하기 위한 것이다. 즉, 손글씨 영상에서 텍스트를 검출하기에 앞서 필기 영역을 먼저 검출하여 텍스트를 보다 빠르게 인식하도록 하는 것이다. 따라서, 모바일 기기에서 실시간에 가까운 텍스트 인식 속도를 제공하는 것이 가능하다.

130 단계에서는 필기 영역에서 노이즈를 제거한다. 통상적으로 현재 판매되고 있는 대다수의 스마트폰의 카메라는 고 해상도 및 고 화질을 제공하는 고성능의 촬영 수단이다. 따라서, 종이에 작성한 사람의 손글씨를 촬영하는데 있어서, 텍스트의 인식을 방해하는 요소인 장애물이나 이물질에 따란 오검출을 방지하기 위하여 노이즈를 제거한다. 일례로, 인식을 방해하는 장애물은 머리카락일 수 있다. 다른 일례로, 인식을 방해하는 이물질은 잡티 또는 먼지일 수도 있다. 130 단계예서는 이와 같이 텍스트를 검출하는데 발생하는 오류를 최소화하기 위해서 노이즈를 제거한다.

130 단계에서는 필기 영역에서 텍스트(Text)를 인식을 확인한다. 만약, 텍스트가 성공적으로 인식되었다면 이하의 140 단계를 진행한다. 그러나, 130 단계에서 텍스트를 성공적으로 인식하지 못하였으면, 다시 필기 영역을 검출하게 된다. 그리고 재 검출한 필기 영역의 노이즈를 제거하고 다시 텍스트를 인식한다. 따라서, 혹시라도 발생할 수 있는 텍스트 오인식을 방지하는 것이 가능하다.

140 단계에서는 텍스트를 모바일 단말기의 문자 입력 수단으로 설정한다. 앞서 110 내지 130 단계를 통하여 전처리 과정 및 노이즈 필터링을 거치면 140 단계에서는 앞서의 과정에 따라 성공적으로 인식한 텍스트를 모바일 단말기의 문자 입력 수단으로 설정한다. 여기에서 텍스트는 손으로 쓰여진 모든 종류의 글자를 포함한다. 일례로, 텍스트는 한글, 영어, 일본어 또는 중국어와 같이 언어일 수 있다. 다른 일례로, 텍스트는 숫자 또는 표식과 같은 기호일 수도 있다.

한편, 140 단계에서는 이와 같이 성공적으로 인식한 텍스트를 모바일 단말기의 문자 입력 수단으로 설정한다. 즉, 사용자가 종이에 수기로 손글씨를 쓰는 것을 인식해서, 모바일 단말기에 자동으로 타이핑된 글자로 입력되도록 설정한다. 여기에서 개시된 기술의 일 실시예는 이러한 과정을 수행하는 제어부를 포함하는 것이 바람직하다.

예컨대, 제어부는 모바일 단말기의 프로세서일 수 있다. 사용자가 종이에 수기로 '안녕하세요?'라고 적으면, 140 단계에서는 '안녕하세요' 라는 문자와 '?' 라는 기호를 모두 텍스트로 인식하여 제어부가 모바일 단말기의 화면에 '안녕하세요?' 라는 텍스트를 입력할 수 있다.

따라서, 모바일 단말기에서 제공하는 문자 입력 수단을 종이에 수기로 작성하는 손글씨로 대체하여 모바일 단말기의 문자 입력 수단에 익숙하지 않은 노인이나, 또는 모바일 단말기를 손으로 다루기 힘든 장애인들에게 보다 편리한 문자 작성 인터페이스를 제공하는 장점이 있다.

도 2는 개시된 기술의 일 실시예에 따른 모바일 단말기의 카메라 기반 필기 인식 장치의 블록도이다. 도 2를 참조하면 모바일 단말기의 카메라 기반 필기 인식 장치는 손글씨를 촬영하여 손글씨의 영상을 획득하는 영상 처리부(210), 카메라부에서 영상을 수신하고, 영상에서 필기 영역(ROI, Region of interest)을 검출하는 검출부(220), 필기 영역에서 노이즈를 제거하는 노이즈 처리부(230) 및 필기 영역에서 텍스트(Text)를 인식하고, 텍스트를 모바일 단말기의 문자 입력 수단으로 설정하는 제어부(240)를 포함한다.

영상 처리부(210)는 손글씨를 촬영한다. 그리고 촬영한 손글씨의 영상을 획득한다. 여기에서 손글씨는 컴퓨터나 타이밍 기구를 이용하여 작성한 글씨가 아닌 사람이 수기로 작성한 글씨를 의미한다. 앞서 도 1을 참조하여 설명한 바와 같이 개시된 기술이 이루고자 하는 목적에 따라 영상 처리부(210) 모바일 단말기의 카메라를 이용하는 것이 바람직하다. 예컨대, 영상 처리부(210)는 스마트폰의 카메라일 수 있다.

한편, 영상 처리부(210) 촬영한 손글씨의 영상을 획득한다. 영상은 사진 또는 동영상의 형태로 획득되는 것이 가능하다. 영상 처리부(210)가 획득한 영상은 전처리 과정 및 검출 과정을 통하여 모바일 단말기의 문자 입력 수단으로 설정된다.

검출부(220)는 손글씨의 영상에서 필기 영역(ROI)을 검출한다. 여기에서 ROI는 Region of interest의 약자로, 해상도를 낮추거나 이펙트를 적용시킨 부분만 확인할 때 이용하는 기술을 의미한다. 즉, 사용자가 원하는 특정 영역을 보게 해주는 기술이다. 개시된 기술에서의 ROI는 예컨대, 손글씨 영상에서 필기가 작성된 부분일 수 있다.

한편, 여기에서 필기 영역은 전체 손글씨 영상에서 추후 모바일 단말기의 문자 입력 수단으로 설정 될 텍스트(Text)를 보다 빠르게 검출하기 위한 것이다. 즉, 손글씨 영상에서 텍스트를 검출하기에 앞서 필기 영역을 먼저 검출하여 텍스트를 보다 빠르게 인식하도록 하는 것이다. 따라서, 모바일 기기에서 실시간에 가까운 텍스트 인식 속도를 제공하는 것이 가능하다.

노이즈 처리부(230)는 필기 영역에서 노이즈를 제거한다. 통상적으로 현재 판매되고 있는 대다수의 스마트폰의 카메라는 고 해상도 및 고 화질을 제공하는 고성능의 촬영 수단이다. 따라서, 종이에 작성한 사람의 손글씨를 촬영하는데 있어서, 텍스트의 인식을 방해하는 요소인 장애물이나 이물질까지 선명하게 촬영하여, 촬영된 영상에 다소 노이즈를 포함하게 된다.

따라서 노이즈 처리부(230)는 이러한 촬영에 따른 오검출을 방지하기 위하여 노이즈를 제거한다. 일례로, 인식을 방해하는 장애물은 머리카락일 수 있다. 다른 일례로, 인식을 방해하는 이물질은 잡티 또는 먼지일 수도 있다. 노이즈 처리부(230)는 이와 같이 텍스트를 검출하는데 발생하는 오류를 최소화하기 위해서 노이즈를 제거한다.

제어부(240)는 필기 영역에서 텍스트(Text)를 인식하고, 텍스트를 모바일 단말기의 문자 입력 수단으로 설정한다. 앞서 전처리 과정 및 노이즈 필터링을 거치면 제어부(240)는 텍스트를 인식한다. 여기에서 텍스트는 손으로 쓰여진 모든 종류의 글자를 포함한다. 일례로, 텍스트는 한글, 영어, 일본어 또는 중국어와 같이 언어일 수 있다. 다른 일례로, 텍스트는 숫자 또는 표식과 같은 기호일 수도 있다.

또한, 제어부(240)는 인식한 텍스트를 모바일 단말기의 문자 입력 수단으로 설정한다. 즉, 사용자가 종이에 수기로 손글씨를 쓰는 것을 인식해서, 모바일 단말기에 자동으로 타이핑된 글자로 입력되도록 설정한다. 예컨대, 제어부는 모바일 단말기의 프로세서일 수 있다. 사용자가 종이에 수기로 '반갑습니다!' 라고 적으면, 제어부(240)는 '반갑습니다' 라는 문자와 '!' 라는 기호를 모두 텍스트로 인식하여 모바일 단말기의 화면에 '반갑습니다!' 라는 텍스트를 동일하게 입력할 수 있다.

따라서, 모바일 단말기에서 제공하는 문자 입력 수단을 종이에 수기로 작성하는 손글씨로 대체하여 모바일 단말기의 문자 입력 수단에 익숙하지 않은 노인이나, 또는 모바일 단말기를 손으로 다루기 힘든 장애인들에게 보다 편리한 문자 작성 인터페이스를 제공하는 장점이 있다.

도 3의 a 및 b는 개시된 기술의 일 실시예에 따른 개념도이다. 먼저 도 3의 a를 참조하면 개시된 기술의 일 실시예는 종이에 수기로 작성한 손글씨를 스마트폰으로 인식하여 문자 입력 수단으로 이용 가능한 것을 알 수 있다. 일례로, 스마트폰을 통하여 상대방과 문자 메시지를 교환하는 경우, 스마트폰에서 제공하는 문자 입력 수단인 터치 키보드를 이용하는 대신, 개시된 기술의 일 실시예를 이용할 수 있다. 즉, 종이에 쓴 손글씨로 상대방에게 전송할 문자 메시지를 대체하는 것이 가능하다.

한편, 도 3의 b를 참조하면 개시된 기술의 일 실시예는 모바일 뿐만 아니라 데스크탑과 같은 PC에서도 구현이 가능하다. 만약, 사용자가 컴퓨터의 키보드를 이용하는데 지장이 있는 경우, 종이에 쓴 글씨를 컴퓨터로 인식하여 키보드를 타이핑하는 것을 대체할 수 있다. 따라서, 장애가 있는 사용자의 경우에도 유용하게 이용하는 장점이 있다.

개시된 기술의 실시예를 통한 피로도 모바일 단말기의 카메라 기반 필기 인식 방법 및 그 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허 청구 범위에 의해 정해져야 할 것이다.

110 : 손글씨 영상 획득 120 : 필기 영역 검출
130 : 노이즈 제거 140 : 텍스트 인식 확인
150 : 문자 입력 수단으로 설정
210 : 영상 처리부 220 : 검출부
230 : 노이즈 처리부 240 : 제어부

Claims (10)

1. 모바일 단말기의 카메라로 손글씨를 촬영하여 상기 손글씨의 영상을 획득하는 단계;
   상기 영상에서 필기 영역(ROI, Region of interest)을 검출하는 단계;
   상기 필기 영역에서 노이즈를 제거하는 단계;
   상기 필기 영역에서 텍스트(Text)를 인식하고, 상기 텍스트를 상기 모바일 단말기의 문자 입력 수단으로 설정하는 단계를 포함하되,
   상기 필기 영역을 검출하는 단계는,
   상기 영상에서 상기 필기 영역의 후보 영역을 먼저 검출하고, 상기 후보 영역으로부터 상기 필기 영역을 검출하고,
   상기 노이즈를 제거하는 단계는,
   상기 필기 영역에서 이물질 또는 장애물을 필터링하고,
   상기 문자 입력 수단으로 설정하는 단계는,
   상기 텍스트로 상기 모바일 단말기의 입력 인터페이스를 대체하는 모바일 단말기의 카메라 기반 필기 인식 방법.
2. 제 1 항에 있어서, 상기 모바일 단말기는,
   스마트폰을 포함하는 모바일 단말기의 카메라 기반 필기 인식 방법.
3. 삭제
4. 삭제
5. 삭제
6. 손글씨를 촬영하여 상기 손글씨의 영상을 획득하는 영상 처리부;
   상기 영상 처리부에서 상기 영상을 수신하고, 상기 영상에서 필기 영역(ROI, Region of interest)을 검출하는 검출부;
   상기 필기 영역에서 노이즈를 제거하는 노이즈 처리부; 및
   상기 필기 영역에서 텍스트(Text)를 인식하고, 상기 텍스트를 모바일 단말기의 문자 입력 수단으로 설정하는 제어부를 포함하되,
   상기 검출부는 상기 영상에서 상기 필기 영역의 후보 영역을 먼저 검출하고, 상기 후보 영역으로부터 상기 필기 영역을 검출하고,
   상기 노이즈 처리부는,
   상기 필기 영역에서 이물질 또는 장애물을 필터링하고,
   상기 제어부는,
   상기 텍스트로 상기 모바일 단말기의 입력 인터페이스를 대체하는 모바일 단말기의 카메라 기반 필기 인식 장치.
7. 제 6 항에 있어서, 상기 모바일 단말기는,
   스마트폰을 포함하는 모바일 단말기의 카메라 기반 필기 인식 장치.
8. 삭제
9. 삭제
10. 삭제

Images