KR101392981B1 - 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식방법은 적어도 하나의 카메라, 예를 들면 두 개의 카메라 또는 하나의 3D 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 방법에 있어서, 상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계를 포함하여 구성된다.

Description

가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치{METHOD FOR RECOGNIZING KEY INPUT ON A VIRTUAL KEYBOARD AND APPARATUS FOR THE SAME}

본 발명은 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치에 관한 것으로, 다양한 종류의 가상 키보드 상의 키 입력을 인식하는 방법에 관한 것이다.

종래의 물리적 키보드는 부피가 크고, 청소가 어렵다는 단점이 있기 때문에, 이에 대한 대안으로 평면에 키보드를 프로젝션하여 만든 가상 키보드가 존재한다. 그러나, 이러한 프로젝션 가상 키보드는 사용자 친화적이지 않아서 사용자의 적응이 쉽지 않고, 키보드의 종류와 형태가 한정되어 있어서 제공되는 키보드 모양에 사용자가 맞추어서 적응해야 하는 불편함이 있다. 또한, 이러한 키보드 들은 가상의 키보드를 만들기 위하여 고가의 하드웨어 자원과 사용자의 키보드 입력을 인지하기 위한 적외선 수신기를 필요로 한다.

또한, 태블릿 PC나 스마트폰 등에 적용되는 가상 키보드의 경우 화면의 거의 절반을 차지하면서 화면을 가리는 불편함이 있고, 2바이트 문자나 특수 문자, 숫자 등을 번갈아 입력해야 하는 경우 가상 키보드 상의 키 역시 번갈아 가면서 화면에 보여지기 때문에 키 입력이 불편한 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자 편의를 제공하고 다양한 종류의 가상 키보드에 적용 가능한 키 입력 인식 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 사용자 편의를 제공하고 다양한 종류의 가상 키보드에 적용 가능한 키 입력 인식 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명은, 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 방법에 있어서, 상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계를 포함하는 키 입력 인식방법을 제공한다.

여기서, 상기 추적하는 단계 이전에, 상기 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계를 더 포함하는 것을 특징으로 한다.

여기서, 상기 추적하는 단계 이전에, 상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 상기 수직 문턱값으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.

여기서, 상기 결정하는 단계는, 상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 한다.

여기서, 상기 판단하는 단계는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.

여기서, 상기 판단하는 단계는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.

여기서, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 단계를 더 포함하는 것을 특징으로 한다.

여기서, 상기 판단하는 단계에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 한다.

여기서, 상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명은, 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 장치에 있어서, 적어도 하나의 카메라, 상기 적어도 하나의 카메라를 이용하여, 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 사용자 도구 추적부 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 키값 인식부를 포함하는 키 입력 인식 장치를 제공한다.

여기서, 미리 정해진 패턴인식 방법을 이용하여 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 패턴인식부를 더 포함하는 것을 특징으로 한다.

여기서, 상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 상기 수직 문턱값으로 결정하는 문턱값 초기화부를 더 포함하는 것을 특징으로 한다.

여기서, 상기 문턱값 초기화부는, 상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 한다.

여기서, 상기 키값 인식부는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.

여기서, 상기 키값 인식부는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.

여기서, 상기 키값 인식부는, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 것을 특징으로 한다.

여기서, 상기 키값 인식부는 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 것을 특징으로 한다.

여기서, 상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따른 가상 키보드 상의 키 입력 인식 방법 및 장치를 이용할 경우에는 다양한 종류의 가상 키보드 상에 표시된 키를 카메라를 이용하여 패턴인식하고, 이에 따라 키를 타이핑하는 사용자의 움직임을 추적하여 입력된 키 값을 인식함으로써, 키보드 종류나 형태에 구애 받지 않고 사용자의 키 입력을 인식 할 수 있다. 특히, 본 발명에 따른 방법 및 장치가 태블릿 PC나 스마트폰 등에 적용되는 경우, 분리된 별도의 가상 키보드를 사용할 수 있기 때문에 종래에 PC나 스마트폰의 화면에 표시되는 가상 키보드로 인하여 화면이 가려지거나 2바이트 코드 다른 종류의 키를 입력 시 화면에 번갈아 가면서 보여주는 불편이 사라지게 된다. 또한, 태블릿 PC 등에 3D 촬영과 같은 기능이 추가되면서 자연스레 카메라가 두 개 이상 또는 3D 카메라가 부착되는 경우 추가적인 하드웨어 자원이 필요치 않다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정을 보여주는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 가상 키보드 상의 키를 인식하는 예를 예를 보여주는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 키 입력과 사용자 신호의 감지시간차이에 따른 처리과정을 보여주는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치의 구성을 보여주는 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하기 위한 각 단계를 보여주는 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정은 키 패턴인식 단계(S110), 문턱값 초기화 단계(S120), 키 입력 도구 움직임 추적 단계(S130), 키 입력 패턴비교 단계(S140), 사용자 신호 감지단계(S150), 문턱값 보정 단계(S160), 키 입력 확인 단계(S170) 및 확인 신호음 출력 단계(S180)를 포함하여 구성될 수 있다.

또한, 도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정은 적어도 하나의 카메라를 이용하여 수행되며, 각 단계는 다음과 같이 설명될 수 있다.

키 패턴인식 단계(S110)는 적어도 하나의 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계일 수 있다. 이하, 가상 키보드 상의 키 패턴인식 방법을 도면을 참조하여 설명한다. 이때, 카메라는 두 개의 카메라 또는 하나의 3D카메라를 이용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 가상 키보드 상의 키를 인식하는 예를 보여주는 개념도이다.

도 2를 참조하면 본 발명에 따른 가상 키보드(200) 내의 각 키의 위치들은 카메라를 이용하여 문자(, , 등)를 패턴인식하는 방법을 사용하여 파악될 수 있다. 예를 들면, 패턴인식 방법에 따라 ""을 탐색하는 경우, ""(210)을 탐색한 이후에 그 주변의 폐쇄된 영역(220)을 ""의 영역으로 볼 수 있다.

한편, 본 발명에 따른 가상 키보드는, 영상 추적 방법을 이용하여 인식하기 때문에, 종래의 프로젝션 키보드와 같이 레이저를 이용하여 프로젝션 키보드를 만들어내어 사용할 수도 있고, 사용자가 직접 키보드를 그려서도 사용할 수 있고, 종래의 물리적 키보드도 사용할 수 있다. 또, 물리적인 경계가 없기 때문에, 키의 크기나 위치를 임의로 바꿀 수 있다. 예를 들어, "Esc"키를 기존의 키보다 크게 만들거나, "Enter"키를 양쪽에 배치하는 것도 가능하다. 따라서 기존의 프로젝션 키보드와 같이 레이저로 키보드를 만들어내더라도 키보드를 만들어내는 레이저 하드웨어와 이를 인지하는 카메라 하드웨어의 위치가 상호 독립적으로 정해질 수 있어 디자인에 유리하다.

또 사용자 입력 패턴에 따라, 특정 키의 범위도 변경 가능하다. 그리고 키 입력을 원하지 않는 상황에서 손을 평면에 위치시키는 경우에도 전반적인 사용자들의 습관과 덧붙여 특정 사용자에 대한 데이터를 축적하여 이를 구별함으로써 사용자의 편의를 도울 수 있다.

문턱값 초기화 단계(S120)는 가상 키보드 상에 키 입력을 위한 사용자 도구가 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 수직 문턱값으로 결정하는 단계일 수 있다. 예를 들면, 사용자 도구가 사용자의 손이라면, 사용자의 손가락 두께 등에 따라 가상 키보드 상의 키보드가 터치될 때, 카메라에 의해 인지되는 손가락의 수직 좌표가 다를 수 있다.

따라서, 초기에 사용자가 몇 번 임의의 키를 타이핑하는 과정을 거치면서, 사용자의 손가락 끝이 가장 낮게 위치한 경우, 즉 가상 키보드로부터 수직좌표상 최저점을 수직 문턱값으로 설정할 수 있다. 향후, 설정된 수직 문턱값보다 낮은 곳에 손가락 끝이 위치하면 해당 위치의 키가 입력된 것으로 판단할 수 있다. 이 때, 카메라를 이용하여 입력을 인식하기 위해서는 그 전에 손가락 끝의 위치를 파악해야 하는데, 기존에 개발되어 있는 손의 색에 기반한 위치 찾기나 미리 지정된 영역에 손을 사용자가 위치시키는 방법 등을 사용할 수 있다.

키 입력 도구 움직임 추적 단계(S130)는 카메라를 이용하여 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 사용자 도구를 추적하게 된다. 이때, 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값, 예를 들면, 문턱값 초기화 단계(S120)에서 설정한 수직 문턱값보다 작거나 같을 때까지 추적할 수 있다.

키 입력 패턴비교 단계(S140)는 사용자의 타이핑 습관을 분석하여 미리 정의된 키 입력 패턴과 키 입력 도구 움직임 추적 단계(S130)에서 추적된 키 입력 영상을 비교하여 키 입력 중인지 여부를 구별하는 단계 일 수 있다. 이는 사용자들이 키 입력을 원하는 것은 아니지만 평면에 손을 위치시키는 경우를 구별해내기 위한 것이다.

예를 들면, 사용자가 타이핑을 쉬고 대기 상태일 때 편한 자세를 취할 수 있고, 타이핑은 더 진행되지 않는 경우가 있을 수 있다. 가장 쉬운 예로 양손 엄지를 제외한 여덟 손가락이 동시에 닿는 것을 대기 상태로 인식하는 방법과 대기 상태로 가는 키 등을 만드는 방법 등이 있다.

사용자 신호 감지단계(S150)는 선택에 따라서 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호, 즉 사용자로부터 유발된 사용자 신호를 감지하는 단계일 수 있다. 이때, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 그 차이가 미리 정해진 허용오차 이내인 경우 사용자 신호가 감지된 시간에 맞추어 수직 문턱값을 보정할 수 있다(S160).

즉, 가상 키보드 상의 키를 입력하는 사용자 도구(예를 들면, 사용자 손)에 대한 추적 영상인식의 정확성을 높이기 위하여 소리 및 진동과 같은 사용자부터의 신호를 감지하여, 영상 인식결과와 사용자 신호의 감지결과에 따른 시간 차이를 동기화하기 위하여 수직 문턱값을 수정하는 방법을 사용할 수 있다. 이하 도면을 참조하여 설명한다.

도 3은 본 발명의 일 실시예에 따른 키 입력과 사용자 신호의 감지시간 차이에 따른 처리과정을 보여주는 개념도이다.

도 3을 참조하면, 추적영상 신호(310)와 사용자 신호(320)로 입력된, 각각 세 가지 신호를 보여준다. 첫 번째는 영상 신호(311)와 사용자 신호(321)간의 감지시간 차이가 너무 크기 때문에 키가 입력된 것으로 판단하지 않는 경우이다. 두 번째는 영상 신호(313)와 사용자 신호(323)간의 감지시간 차이가 있기는 하지만, 허용될 수 있는 차이이므로 키가 입력된 것으로 판단할 수 있다. 또한, 이 경우, 신호간 도달 시간 차이를 조정하기 위하여 사용자 신호 감지시간에 맞추어 문턱 값을 수정할 수 있다(S150). 세 번째는 영상 신호(315)와 사용자 신호(315)간의 차이가 없으므로 키가 입력된 것으로 판단할 수 있다. 또한, 이 경우, 문턱값의 보정은 수행할 필요가 없다.

키 입력 확인 단계(S170)는 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계일 수 있다. 즉 최종적으로 추적된 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값보다 작은 위치의 수평 좌표 상의 위치를 도출하여, 도출된 위치에 대응되는 키 값이 입력된 것으로 판단할 수 있다. 이때, 도출된 위치에 대응되는 키 값은 키 패턴인식 단계(S110)에서 인식된 패턴에 따른 키의 위치를 참조하여 파악될 수 있다.

또는 사용자 신호 감지단계(S150)에서 약속된 사용자 신호를 감지한 경우, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 차이가 없거나, 그 차이가 미리 정해진 허용오차 이내라면 해당 수평 좌표상의 위치의 키 값이 입력된 것으로 판단할 수 있다.

확인 신호음 출력 단계(S180)는 키 입력 확인 단계(S170)에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 키의 입력을 확인하기 위한 신호를 발생시키는 단계일 수 있다. 즉, 사용자에게 키가 정상적으로 입력되었음을 확인할 수 있도록 진동이나 발광, 신호음 등의 피드백 신호를 줄 수 있다. 이러한 피드백 신호는 사용자가 종래의 키보드에서 키를 타이핑 하면서 느꼈던 감각을 재현할 수 있다.

도 4는 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치의 구성을 보여주는 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 가상 키보드(30) 상의 키 입력 인식장치(10)는 카메라(410), 패턴인식부(420), 문턱값 초기화부(430), 키값 인식부(440)를 포함하여 구성될 수 있다.

또한, 도 4를 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치(10)의 각 구성요소 및 구성요소간의 연결관계는 다음과 같이 설명될 수 있다.

카메라(410)는 가상 키보드(30) 상의 키 패턴을 인식하여 각 키의 위치를 확인하고, 사용자의 키 입력 동작을 추적하여 입력된 키의 위치를 인식하기 위하여 이용될 수 있다. 이때, 카메라(410)는 사용자의 입력을 인지할 듀얼 카메라가 이용될 수 있다.

패턴인식부(420)는 적어도 하나의 카메라(410)(예를 들면 두 개의 카메라 또는 하나의3D카메라)를 이용하여 미리 정해진 패턴인식 방법에 따라 가상 키보드(30)상의 각 키의 패턴에 따른 위치를 인식하게 된다.

문턱값 초기화부(430)는 가상 키보드(30) 상에 키 입력을 위한 사용자 도구가 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 수직 문턱값으로 결정할 수 있다.

키값 인식부(440)는 카메라(410)를 이용하여 가상 키보드(30) 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 사용자 도구를 추적하게 된다. 이때, 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값보다 작거나 같을 때까지 추적할 수 있다.

또한, 키값 인식부(440)는, 선택에 따라서 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호, 즉 사용자로부터 유발된 사용자 신호를 감지할 수 있다. 이때, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 동일하면 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하게 된다. 즉, "1"이 표시된 위치를 사용자가 타이핑한 경우, 해당 위치 값을 미리 인식한 패턴에 대응시켜 "1"이 입력된 것으로 판단하고, 이에 따른 처리를 하게 된다.

그러나 그 차이가 미리 정해진 허용오차를 벗어난 경우 해당 동작을 무시하고 키가 입력되지 않은 것으로 판단하게 된고, 허용오차 범위 이내인 경우, 사용자 신호가 감지된 시간에 맞추어 수직 문턱값을 보정하고 해당 수평 위치의 키가 입력된 것으로 판단하게 된다.

이때, 사용자 신호를 감지하기 위한 센서가 사용될 수 있고, 또한 아날로그 신호를 디지털 신호로 변환하여 측정하기 위하여 ADC가 이용될 수 있다. 또한 영상 신호와 사용자 신호의 차이를 측정하기 위하여 시간 축 상에서 두 신호의 최고점의 차이를 이용하는 방법이나 일정 주기마다 샘플링하여 두 신호가 발생한 사이 주기를 측정하는 방법, 위상 측정기를 이용하는 방법 등이 이용될 수 있다.

또한, 키값 인식부(440)는 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 키의 입력을 확인하기 위한 신호를 발생시킬 수 있다. 즉, 사용자에게 키가 정상적으로 입력되었음을 확인할 수 있도록 진동이나 발광, 신호음 등의 피드백 신호를 줄 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 키 입력 인식장치 20: 사용자
30: 가상 키보드 200: 가상 키보드
210: "ㅂ" 220: 폐쇄된 영역
310: 키 입력 추적 영상 신호 311, 313, 315: 영상 신호
320: 소리, 진동 등을 이용한 사용자 신호
321, 323, 325: 사용자 신호 410: 카메라
420: 패턴 인식부 430: 문턱값 초기화부
440: 키값 인식부 450: 데이터베이스

Claims (14)

1. 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 장치에 의해 수행되는 방법에 있어서,
   상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계;
   상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계; 및
   상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 단계를 포함하는 키 입력 인식 방법.
2. 청구항 1에 있어서,
   상기 추적하는 단계 이전에,
   상기 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
3. 청구항 1 또는 청구항 2에 있어서,
   상기 추적하는 단계 이전에,
   상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 상기 수직 문턱값으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
4. 청구항 3에 있어서,
   상기 결정하는 단계는,
   상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 하는 키 입력 인식 방법.
5. 청구항 1 또는 청구항 2에 있어서,
   상기 판단하는 단계는,
   상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 방법.
6. 청구항 1 또는 청구항 2에 있어서,
   상기 판단하는 단계에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우,
   상기 키의 입력을 확인하기 위한 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
7. 청구항 6에 있어서,
   상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 하는 키 입력 인식 방법.
8. 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 장치에 있어서,
   적어도 하나의 카메라;
   상기 적어도 하나의 카메라를 이용하여, 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 사용자 도구 추적부; 및
   상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 사용자 도구 추적부에서 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하고, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 키값 인식부를 포함하는 키 입력 인식 장치.
9. 청구항 8에 있어서,
   미리 정해진 패턴인식 방법을 이용하여 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 패턴 인식부를 더 포함하는 것을 특징으로 하는 키 입력 인식 장치.
10. 청구항 8 또는 청구항 9에 있어서,
    상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 상기 수직 문턱값으로 결정하는 문턱값 초기화부를 더 포함하는 것을 특징으로 하는 키 입력 인식 장치.
11. 청구항 10에 있어서,
    상기 문턱값 초기화부는,
    상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 하는 키 입력 인식 장치.
12. 청구항 8 또는 청구항 9에 있어서,
    상기 키값 인식부는,
    상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 장치.
13. 청구항 8 또는 청구항 9에 있어서,
    상기 키값 인식부는,
    사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 것을 특징으로 하는 키 입력 인식 장치.
14. 청구항 13에 있어서,
    상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 하는 키 입력 인식 장치.

Images