KR20150044286A - 증강현실을 이용한 키 입력 방법 및 장치 - Google Patents

Abstract

본 발명은 증강현실을 이용한 키 입력 방법 및 장치를 개시한다. 본 발명에 따르면, 증강현실을 이용한 키 입력 장치로서, 카메라를 통해 획득된 영상을 분석하여 마커 또는 손바닥이 존재하는지 여부 및 손가락의 마디를 분석하는 영상 분석부; 상기 획득된 영상에 마커 또는 손바닥이 존재하는 경우, 상기 손가락의 각 마디 또는 손바닥의 소정 영역에 복수의 가상 키를 포함하는 가상 키패드를 디스플레이하는 디스플레이부; 및 상기 가상 키패드가 디스플레이되는 상태에서 가상 키 선택을 위한 사용자의 손가락(키 선택 손가락)에 대한 영상 분석을 통해 상기 복수의 가상 키 중 하나에 대한 키 신호를 생성하는 키 신호 생성부를 포함하는 키 입력 장치가 제공된다.

Description

증강현실을 이용한 키 입력 방법 및 장치{METHOD AND APPARATUS FOR INPUTTING KEY USING AUGMENTED REALITY}

본 발명은 증강현실을 이용한 키 입력 방법 및 장치에 관한 것으로서, 보다 상세하게는 스마트 글래스와 같이 외부 키 입력 수단이 없는 장치에서 키 입력을 할 수 있도록 하는 방법 및 장치에 관한 것이다.

최근, 유무선 인터넷의 보급과 컴퓨터, 통신, 가전 등의 융합화 추세에 발 맞추어 사용자들이 자신에게 가장 익숙하고 편리한 방법으로 네트워크에 접속하여 다양한 정보들을 언제 어디서나 자유롭고 편리하게 교환할 수 있는 새로운 정보기기들의 개발이 점차 필요로 되고 있다.

특히, 전자기기의 발전이 가속화되면서 스마트폰이 단순히 통화 용도에서 인터넷 접속, 컨텐츠 데이터 다운로드와 같은 다양한 서비스를 위해 사용되고 있다.

나아가, 사용자의 편의를 극대화하기 위한 웨어러블 컴퓨터에 대한 연구 및 개발이 활발히 이루어지고 있다.

근래에는 사용자가 안경 또는 시계의 형태로 사용자의 몸에 장착되는 스마트 글래스 또는 스마트 워치의 등장으로 사용자의 편의성이 더욱 높아지고 있다.

그러나, 상기와 같은 웨어러블 컴퓨팅 장치는 키 입력 수단 없이 음성 인식을 통한 입력 방식만이 적용되기 때문에 사용자의 불편함이 존재하는 문제점이 있다.

이러한 불편함으로 인해 다양한 센서를 이용하여 사용자의 손 동작을 검출하여 키 입력에 활용하고자 하는 연구가 진행되고 있으나, 종래에는 너무 많은 수의 센서를 필요로 하거나 또는 프로젝터와 같은 부가적인 장비를 필요로 하기 때문에 제조 단가가 높아지고 조작의 복잡성이 증가하는 문제점이 있다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 물리적인 키패드가 없는 컴퓨팅 장치에서 사용자의 편리한 키 입력을 지원할 수 있는 방법 및 장치를 제안하고자 한다.

상기한 기술적 과제를 해결하기 위해 본 발명의 바람직한 일 실시예에 따르면, 증강현실을 이용한 키 입력 장치로서, 카메라를 통해 획득된 영상을 분석하여 마커 또는 손바닥이 존재하는지 여부 및 손가락의 마디를 분석하는 영상 분석부; 상기 획득된 영상에 마커 또는 손바닥이 존재하는 경우, 상기 손가락의 각 마디 또는 손바닥의 소정 영역에 복수의 가상 키를 포함하는 가상 키패드를 디스플레이하는 디스플레이부; 및 상기 가상 키패드가 디스플레이되는 상태에서 가상 키 선택을 위한 사용자의 손가락(키 선택 손가락)에 대한 영상 분석을 통해 상기 복수의 가상 키 중 하나에 대한 키 신호를 생성하는 키 신호 생성부를 포함하는 키 입력 장치가 제공된다.

상기 디스플레이부는 획득된 영상이 미리 설정된 시간 이상 존재하는 경우 상기 가상 키패드를 디스플레이할 수 있다.

상기 키 선택 손가락이 상기 가상 키패드가 디스플레이되는 손바닥을 누르는지 여부를 감지하는 센서부를 더 포함하되, 상기 키 신호 생성부는 상기 손바닥을 누르는 행위가 감지되는 시점에 상기 키 선택 손가락의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성할 수 있다.

상기 키 신호 생성부는 상기 가상 키패드가 디스플레이되는 상태에서 상기 키 선택 손가락이 미리 설정된 시간 이상 정지 상태로 있는 경우, 상기 키 선택 손가락의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성할 수 있다.

상기 키 신호 생성부는 상기 가상 키패드가 디스플레이되는 상태에서 상기 키 선택 손가락의 말단 부분에 부착된 마커의 인식을 통해 상기 말단 부분의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성할 수 있다.

상기 마커의 위치가 변경되는 경우, 상기 디스플레이부는 상기 마커의 이동 거리 및 방향에 따라 상기 가상 키패드의 위치를 변경하여 디스플레이할 수 있다.

본 발명에 따르면, 증강현실을 통해 사용자의 손바닥에 가상 키패드를 디스플레이하고, 사용자의 선택을 간단한 방식으로 인식하여 사용자의 편의성을 높일 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 키 입력 장치의 상세 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 가상 키패드가 디스플레이되는 상태를 도시한 도면.
도 3은 본 발명에 따른 키 입력 과정의 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 키 입력 장치의 상세 구성을 도시한 도면이다.

본 발명에 따른 키 입력 장치(100)는 물리적인 키패드를 구비하지 않는 스마트 글라스일 수 있다.

도 1에 도시된 바와 같이, 본 발명에 따른 키 입력 장치(100)는 영상 획득부(102), 영상 분석부(104), 디스플레이부(106), 키 신호 생성부(108), 센서부(110) 및 제어부(112)를 포함할 수 있다.

영상 획득부(102)는 키 입력 장치(100)에 장착된 카메라를 통해 촬영된 영상을 수신한다.

영상 획득부(102)는 카메라를 통해 촬영된 영상을 수신하며, 또한 본 발명에 따른 증강현실 기반 키 입력을 위한 사용자의 손에 관한 영상 또는 손에 부착된 마커와 같은 가상 객체 디스플레이를 위한 대상물에 대한 영상을 획득한다.

영상 분석부(104)는 획득된 영상에 손(바람직하게는 손바닥) 또는 마커 등이 존재하는 여부를 분석한다.

본 발명의 바람직한 일 실시예에 따르면, 획득된 영상에서 미리 설정된 시간 이상 동안 손바닥이 포함되는 경우, 이를 사용자의 가상 키패드 출력 요청으로 판단할 수 있으며, 디스플레이부(106)는 손바닥 영상 및 손바닥 소정 위치에 가상 키패드를 디스플레이한다.

도 2는 본 발명의 일 실시예에 따른 가상 키패드가 디스플레이되는 상태를 도시한 도면이다.

상기한 영상 분석부(104)는 손바닥 인식뿐만 아니라, 손가락의 각 마디를 구분할 수 있으며, 디스플레이부(106)는 도 2에 도시된 바와 같이, 인식된 각 마디에 복수의 가상 키를 포함하는 가상 키패드를 디스플레이한다.

손 모양 인식 및 마디 구분은 공지의 특징점 추출 알고리즘을 통해 이루어질 수 있다.

이때, 손가락 마디뿐만 아니라, 손바닥의 소정 영역, 바람직하게는 손가락과 인접한 영역에도 가상 키패드가 디스플레이될 수 있다.

본 발명에 따른 가상 키패드는 전화를 걸기 위한 키패드일 수 있으며, 손가락의 각 마디에는 0 내지 9의 숫자키, *와 #과 같은 특수문자키, 통화 또는 문자 모드 각각에서 통화(A) 또는 전송(A)과 지움(B) 띄움(C)와 같은 기능키가 배치될 수 있다.

상기에서는 손바닥 인식을 통해 손바닥에 가상 키패드를 디스플레이하는 것을 설명하였으나, 이에 한정됨이 없이 손바닥의 소정 영역에 마커 등을 부착하여 마커 인식을 통해 가상 키패드를 디스플레이할 수도 있다.

바람직하게, 마커는 반지 형태로 제공될 수 있으며 사용자가 증강현실을 이용한 가상 키패드를 디스플레이하고자 하는 경우 반지를 손가락이 끼고, 키 입력 장치(100)가 마커를 인식하는 경우 상기와 같이 가상 키패드가 출력될 수 있을 것이다.

키 신호 생성부(108)는 가상 키패드가 디스플레이되는 상태에서 사용자의 선택에 따른 키 신호를 생성한다.

본 발명에 따른 키 신호 생성부(108)는 영상 분석을 통해 키 신호를 생성할 수 있다.

도 2와 같이 가상 키패드가 디스플레이되는 상태에서 사용자는 가상 키패드가 디스플레이되는 손에 속하는 엄지 손가락 또는 반대 측 손가락을 이용하여 복수의 복수의 가상 키 중 하나를 선택할 수 있다.

이때, 영상 분석부(104)는 가상 키패드가 디스플레이되는 상태에서 가상 키 선택을 위한 사용자의 손가락(이하, 키 선택 손가락이라 함)이 미리 설정된 시간 이상 정지 상태로 있는 경우, 키 선택 손가락의 말단 부분의 위치와 일치하는 가상 키가 선택된 것으로 판단한다.

여기서, 손가락의 말단 부분은 손톱이 있는 위치로 정의될 수 있다.

바람직하게는 마커를 이용하여 가상 키의 선택을 판단할 수 있다.

예를 들어, 가상 키 선택을 위해 상기한 엄지 손가락 또는 반대 측 검지 손가락에 마커를 부착할 수 있으며, 영상 분석부(104)는 손가락에 부착된 마커 인식을 통해 사용자가 선택한 가상 키를 인식할 수 있다.

이때, 마커는 손가락의 손톱 위치에 부착될 수 있을 것이다.

한편, 본 발명의 다른 실시예에 따르면, 가상 키패드 선택에 있어서 증강현실뿐만 아니라 소정의 센서를 부가적으로 사용할 수 있다.

본 발명에 따른 센서부(110)는 압력 센서, 뇌파 센서 등을 포함할 수 있다.

센서부(110)의 압력 감지 또는 뇌파 감지에 의해 사용자의 키 선택 손가락이 손바닥을 누르는 행위가 존재하는 경우, 키 신호 생성부(108)는 누르는 행위가 감지된 시점에서의 키 선택 손가락의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성한다.

본 발명에 따른 키 입력 과정에 있어서, 손바닥이 초기 위치에서 변경되는 경우, 가상 키패드의 위치도 손바닥의 이동에 따라 변경되어야 한다.

손바닥의 미리 설정된 위치 이상으로 변경된 경우, 영상 분석부(104)를 통해 변경된 위치를 인식하여 가상 키패드를 이동시킬 수 있다.

바람직하게는 손바닥에 마커가 부착된 경우, 디스플레이부(106)는 초기 마커의 위치에 상응하게 가상 키패드를 디스플레이하고, 마커의 이동이 있는 경우, 마커의 이동 거리 및 방향만큼 가상 키패드를 이동시켜 디스플레이한다.

보다 상세하게, 마커의 초기 인식 과정에서 손가락 마디가 구분되고 각 마디 또는 손바닥에 디스플레이되는 복수의 가상 키패드 각각의 위치가 저장될 수 있으며, 마커가 이동하는 경우, 마커의 이동 방향 및 거리만큼 가상 키패드를 이동시킨다.

제어부(112)는 키 입력 장치(100)에 포함된 각 요소를 제어한다.

한편, 사용자의 손 모양 인식을 통해 가상 키패드를 디스플레이하는 경우 사용자의 손 움직임에 따라 손바닥이 정확히 인식되지 않는 경우가 발생할 수 있으며, 이러한 경우 영상 분석부(104)의 분석 결과에 따라 손바닥이 정확히 인식되지 않을 정도로 손 움직임이 있는 경우 키 입력 장치(100)는 소정 경고 메시지 또는 경고음을 출력할 수 있다.

도 3은 본 발명에 따른 키 입력 과정의 순서도이다.

도 3에서는 손바닥과 키 선택 손가락의 말단 부분에 각각 제1 마커 및 제2 마커가 부착된 것으로 가정한다.

도 3을 참조하면, 카메라를 통해 키 입력 장치(100)는 카메라를 통해 영상을 획득한다(단계 300).

단계 300에서 획득된 영상이 제1 마커가 부착된 손바닥 영상인 경우, 키 입력 장치(100)는 손바닥의 각 마디를 인식하고(단계 302), 손가락의 각 마디 또는 손바닥의 소정 영역에 복수의 가상 키패드를 디스플레이한다(단계 304).

키 입력 장치(100)는 제2 마커를 이용하여 키 선택 손가락의 말단 부분을 인식하며(단계 306), 키 선택 손가락 말단 부분에 위치하는 가상 키가 선택된 것으로 판단하고 선택된 가상 키에 상응하는 키 신호를 생성한다(단계 308).

단계 308에서 압력 감지 또는 뇌파 감지를 통해 키 선택 손가락의 누르는 행위 여부를 감지할 수 있으며, 누르는 행위가 감지된 시점에 키 선택 손가락 말단 부분에 위치하는 가상 키가 선택된 것으로 판단할 수 있다.

한편, 키 입력 장치(100)는 제1 마커의 추적을 통해 손바닥의 위치가 변경되어 있는지 여부를 판단한다(단계 310).

만일 손바닥이 소정 거리 이상 이동한 경우, 제1 마커의 변경된 위치를 이용하여 가상 키패드를 변경된 위치에 디스플레이한다(단계 312).

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

1. 증강현실을 이용한 키 입력 장치로서,
   카메라를 통해 획득된 영상을 분석하여 마커 또는 손바닥이 존재하는지 여부 및 손가락의 마디를 분석하는 영상 분석부;
   상기 획득된 영상에 마커 또는 손바닥이 존재하는 경우, 상기 손가락의 각 마디 또는 손바닥의 소정 영역에 복수의 가상 키를 포함하는 가상 키패드를 디스플레이하는 디스플레이부; 및
   상기 가상 키패드가 디스플레이되는 상태에서 가상 키 선택을 위한 사용자의 손가락(키 선택 손가락)에 대한 영상 분석을 통해 상기 복수의 가상 키 중 하나에 대한 키 신호를 생성하는 키 신호 생성부를 포함하는 키 입력 장치.
2. 제1항에 있어서,
   상기 디스플레이부는 획득된 영상이 미리 설정된 시간 이상 존재하는 경우 상기 가상 키패드를 디스플레이하는 키 입력 장치.
3. 제1항에 있어서,
   상기 키 선택 손가락이 상기 가상 키패드가 디스플레이되는 손바닥을 누르는지 여부를 감지하는 센서부를 더 포함하되,
   상기 키 신호 생성부는 상기 손바닥을 누르는 행위가 감지되는 시점에 상기 키 선택 손가락의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성하는 키 입력 장치.
4. 제1항에 있어서,
   상기 키 신호 생성부는 상기 가상 키패드가 디스플레이되는 상태에서 상기 키 선택 손가락이 미리 설정된 시간 이상 정지 상태로 있는 경우, 상기 키 선택 손가락의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성하는 키 입력 장치.
5. 제1항에 있어서,
   상기 키 신호 생성부는 상기 가상 키패드가 디스플레이되는 상태에서 상기 키 선택 손가락의 말단 부분에 부착된 마커의 인식을 통해 상기 말단 부분의 위치와 일치하는 가상 키에 상응하는 키 신호를 생성하는 키 입력 장치.
6. 제1항에 있어서,
   상기 마커의 위치가 변경되는 경우, 상기 디스플레이부는 상기 마커의 이동 거리 및 방향에 따라 상기 가상 키패드의 위치를 변경하여 디스플레이하는 키 입력 장치.

Images