KR101327963B1

KR101327963B1 - 깊이 값을 이용한 회전 인터페이스 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법

Info

Publication number: KR101327963B1
Application number: KR1020130101119A
Authority: KR
Inventors: 안양근; 정광모; 박영충; 최광순
Original assignee: 전자부품연구원
Priority date: 2013-08-26
Filing date: 2013-08-26
Publication date: 2013-11-13

Abstract

본 발명은 깊이 값을 이용한 문자 입력장치 및 이를 이용한 문자 입력방법에 관한 것이다. 이를 위한, 본 발명의 일면에 따른 깊이 값을 이용한 문자 입력장치는 주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하는 영상 처리부; 분리된 손 영역의 깊이 값 변화 및 엄지의 위치 변화를 인식하는 손동작 인식부; 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 제어부; 및 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부를 포함한다.

Description

깊이 값을 이용한 회전 인터페이스 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법{Character input apparatus based on rotating user interface using depth information of hand gesture and method thereof}

본 발명은 손동작 기반 문자 입력 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 손동작의 깊이 값 변화에 따라 자음 입력 모드와, 모음 입력 모드를 변경하여 제공하므로, 문자 입력의 편의성을 향상시킬 수 있는 깊이 값을 이용한 문자 입력장치 및 그 방법에 관한 것이다.

지난 수십년간, 전자 디바이스들의 사용은 흔한 일이 되었다. 특히, 전자 기술의 발전은 더욱 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 감소와 소비자 수요는 현대 사회에서 전자 디바이스들이 사실상 유비쿼터스 (ubiquitous) 하도록 전자 디바이스들의 사용을 확산시켰다. 전자 디바이스들의 사용이 확장되면서, 전자 디바이스들의 새롭고 향상된 피쳐들 (features) 에 대한 수요도 확장되었다. 더 구체적으로는, 더 신속하고, 더 효율적으로 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 추구된다.

많은 전자 디바이스들은 동작 중에 하나 이상의 인터페이스들을 사용한다. 예를 들면, 컴퓨터들은 상호작용을 위한 사용자 입력을 획득하기 위하여 종종 키보드 및 마우스를 사용한다. 다른 전자 디바이스들은 상호 작용을 위한 사용자 입력을 획득하기 위하여 터치스크린들 및/또는 터치패드들을 사용한다. 이러한 상호작용들 중 많은 상호작용들이 하드웨어 피스 (piece) 와의 직접적인 물리적 상호작용을 요구한다. 예를 들면, 사용자는 키보드를 통하여 텍스트 또는 커맨드들을 입력하기 위하여 키보드 상에서 타이핑 (type) 해야 한다. 또는, 사용자는 마우스를 통하여 컴퓨터와 상호작용하기 위하여 마우스 상의 하나 이상의 버튼들을 물리적으로 이동 및/또는 푸시 (push) 해야 한다.

일부의 경우들에서, 입력 또는 커맨드들을 컴퓨팅 디바이스에 제공하기 위하여 하드웨어 피스와 직접적인 상호 작용을 하는 것은 불편하거나 최적이 아닐 수도 있다. 예를 들면, 투영된 프레젠테이션 (projected presentation)을 제공하는 사용자가, 상호작용을 원할 때마다 컴퓨터로 되돌아가야 하는 것은 불편할 수도 있다. 더욱이, 프레젠테이션을 제공하는 동안 마우스 또는 완드 (wand) 와 같은 인터페이스 디바이스를 휴대하는 것은 사용자가 방향성 패드 (directional pad) 를 누름으로써 입력을 제공해야 하거나 사용자가 인터페이스 디바이스를 동작하는 방법에 익숙하지 않으면 불편할 수도 있다.

특히, 문자 입력 방식과 관련하여 현재까지 통용중인 한글 입력 시스템들은 음소 이하의 단위를 기본으로 하여 음소를 만들고 이를 조합하여 음절을 구성하는 방법과 자모의 구성을 위하여 2개의 별도의 확장키를 사용하는 방법 등을 주로 사용하고 있다. 그러나, 사용자가 그러한 한글 입력 방법에 숙달되기까지의 필요한 시간과 노력, 다타수 및 자모 색출의 어려움 등은 여전히 한글입력에 있어서 작업능률 저하의 원인이 되고 있다. 또한, 모든 키 내에 문자의 연속배열로 인하여 부득이하게 타자간 대기장애를 초래한다.

이러한 문제점들에 대한 그 동안의 개선 노력에도 불구하고 여전히 만족할 만한 성과를 얻지 못하고 있는 실정이다. 따라서, 입력속도를 높일 수 있는 더욱 편리하고 능률적인 한글입력 방법이 절실하게 요구되고 있다.

본 발명은 상술한 문제점을 해결하기 위하여, 깊이 카메라를 이용하여 사용자의 손동작을 인식하고, 인식된 손동작의 깊이 값 변화에 기초하여 자음 및 모음을 입력할 수 있는 모드를 변경할 수 있는 인터페이스를 제공하는 문자 입력장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 깊이 값을 이용한 문자 입력장치는 주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하는 영상 처리부와, 분리된 손 영역의 깊이 값 변화 및 엄지의 위치 변화를 인식하는 손동작 인식부와, 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 제어부와, 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부를 포함한다.

바람직한 실시예에 있어서, 상기 손동작 인식부는 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식한다.

다른 한편으로, 상기 손동작 인식부는 깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식한다.

여기서, 상기 제1 입력 모드는 자음을 입력하기 위한 인터페이스를 제공하고, 상기 제2 입력 모드는 모음을 입력하기 위한 인터페이스를 제공한다.

한편, 상기 입력 모드 인터페이스는 자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함할 수 있다. 이때, 상기 제1 레이어와 상기 제2 레이어 각각은 적어도 하나 이상의 텍스트 박스가 링 형상으로 배치된 제1 문자 패드와, 제2 문자 패드를 포함하는 것을 특징으로 한다.

다른 한편으로, 상기 입력 모드 인터페이스는 인식된 손 영역의 깊이 값 변화를 표시하는 게이지 인디게이터와, 상기 문자 패드에서 선택된 문자가 표시되는 문자표시 창(window)을 더 포함할 수 있다.

일 실시예로서, 상기 제1 문자 패드는 “ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ, ㅊ, ㅋ, ㅌ, ㅍ, ㅎ, ㄲ, ㄸ, ㅃ, ㅆ, ㅉ”이 표시된 텍스트 박스들을 포함하고, 상기 제2 문자 패드는 “ㅏ, ㅏ, ㅓ, ㅕ, ㅗ, ㅛ, ㅜ, ㅠ, ㅡ, ㅣ, ㅐ, ㅒ, ㅔ, ㅖ”가 표시된 텍스트 박스들을 포함할 수 있다.

바람직한 실시예로서, 상기 입력 모드 제어부는 상기 손동작 인식부에서 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식한 결과, 시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 시계 방향으로 회전시키고, 반시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 반시계 방향으로 회전시킨다.

전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 깊이 값을 이용한 문자 입력방법은 주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하고, 분리된 사용자의 손 영역에서 엄지의 위치 변화 및 상기 손 영역의 깊이 값 변화를 인식하는 단계와, 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스를 디스플레이 상에 제공하는 단계와, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 단계를 포함한다.

바람직한 실시예에 있어서, 상기 엄지의 위치 변화 및 상기 손 영역의 깊이 값 변화를 인식하는 단계는 깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식하는 단계와, 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 단계를 포함한다.

한편, 상기 제공하는 단계는 자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어가 포함된 상기 입력 모드 인터페이스를 상기 디스플레이 상에 표시하는 단계를 포함하되, 상기 제1 레이어와 상기 제2 레이어 각각은 적어도 하나 이상의 텍스트 박스가 링 형상으로 배치된 제1 문자 패드와, 제2 문자 패드를 포함하는 것을 특징으로 한다.

여기서, 상기 입력 모드 인터페이스는 인식된 손 영역의 깊이 값 변화를 표시하는 게이지 인디게이터와, 상기 문자 패드에서 선택된 문자가 표시되는 문자표시 창(window)을 더 포함할 수 있다.

다른 한편으로, 상기 제공하는 단계는 깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식한 결과, 시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 시계 방향으로 회전시키고, 반시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 반시계 방향으로 회전시키는 단계를 더 포함할 수 있다.

상술한 바와 같이 본 발명에 따르면, 원거리에서 사용자가 리모컨 등의 별도의 컨트롤 장치가 없어도 본인의 손 동작으로 기능을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리한 효과가 있다.

도 1은 본 발명의 실시예에 따른 손 동작의 깊이 값을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력장치의 블록 구성도.
도 3 및 도 4는 본 발명의 실시예에서 손 동작 영역의 깊이 값에 따라 달리 제공되는 입력 모드 인터페이스를 도시한 예시도.
도 5a 내지 도 5c는 본 발명의 실시예에서 손동작에 따라 제공되는 문자입력 인터페이스 기능의 일 예를 도시한 도면.
도 6은 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

한편, 본원에서 사용되는 용어 "무선 통신 디바이스" 는 일반적으로 기지국 또는 다른 전자 디바이스와 무선으로 통신할 수도 있는 전자 디바이스 (예를 들면, 액세스 단말, 클라이언트 단말, 클라이언트 스테이션 등) 를 지칭한다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입국, 사용자 장비 (UE), 원격지국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 하나 이상의 표준들 (예를 들면, 3세대 파트너십 프로젝트 (3GPP), Wi-Max, 미국 전기 전자 학회 (IEEE) 802.11 또는 Wi-Fi 등) 에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따른 다양한 명명법들로 설명된 무선 통신 디바이스들 (액세스 단말, 사용자 장비 (UE), 원격 단말 등)을 포함할 수도 있다.

도 1은 본 발명의 실시예에 따른 손 동작의 깊이 값을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 깊이 값을 이용한 문자 입력장치는 깊이 카메라를 구비한 무선 통신 디바이스에서 문자 입력 인터페이스를 제공하는데 사용될 수 있다. 예컨대, 사용자가 원거리에서 손 동작으로 특정 문자열을 입력하고, 선택된 문자열을 디스플레이 상에 표시한다.

사용자 손 동작에 대한 깊이 방향(깊이 카메라에 대한 방향)의 움직임이 상기 장치에서 추적되어 사용자 손 영역의 깊이 값 정보가 추정되고, 상기 깊이 값 정보에 따라 서로 다른 문자 입력 모드 인터페이스가 사용자에게 제공된다.

사용자는 상기 장치의 디스플레이 상에 제공되는 제1 또는 제2 문자 입력 모드 인터페이스에서 입력하고자 하는 문자를 손 동작으로 선택한다.

이하, 도 2 내지 도 6을 참조하여, 전술한 기능을 수행하는 깊이 값을 이용한 문자 입력장치를 구체적으로 설명한다. 도 2는 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력장치의 블록 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 깊이 값을 이용한 문자 입력장치는 영상 처리부(110), 손동작 인식부(120), 입력 모드 제어부(130), 및 문자 출력부(140)를 포함하여 구성된다.

영상 처리부(110)는 주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하여 추출한다.

영상 처리부(110)에는 단말에 탑재된 깊이 카메라에서 촬영된 영상 데이터가 입력된다. 깊이 카메라(Depth camera)는 장면 내의 객체와의 거리 정보를 생성한다. 일 예로, Time-of-Flight(TOF) 기술을 이용하는 카메라가 대표적이다. 깊이 카메라는 적외선 혹은 광 신호를 장면에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하여 깊이 영상으로 출력한다.

손동작 인식부(120)는 상기 영상 처리부(110)에서 분리된 손 영역의 동작을 인식한다. 예컨대, 분리된 손 영역의 깊이 값 변화 및 엄지의 위치 변화를 인식한다.

구체적으로, 상기 손동작 인식부(120)는 분리된 손 영역의 깊이 방향의 움직임을 추적하여, 특정 시점에서 손 영역의 깊이 값 정보를 생성한다. 일 실시예로서, 손동작 인식부(120)는 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식할 수 있다.

다른 한편, 상기 손동작 인식부(120)는 깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식한다.

전술한 바와 같이, 상기 손 영역의 깊이 값 정보는 서로 다른 문자 입력 모드를 제공하기 위한 정보로 이용되는데, 이하, 도 3을 참조하여 입력 모드 제어부(130)가 깊이 값 정보에 기초하여 입력 모드 인터페이스를 전환하여 출력하는 실시예를 살펴본다. 도 3은 본 발명의 실시예에서 손 동작 영역의 깊이 값에 따라 달리 제공되는 입력 모드 인터페이스를 도시한 예시도이다.

입력 모드 전환부(130)는 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 디스플레이 상에 출력되도록 제어한다.

예컨대, 깊이 카메라 정면에서 사용자가 팔을 굽힌 상태에서 깊이 카메라 방향으로 펴는 동작을 한다고 가정하면, 팔을 굽힌 상태에서 인식된 손 영역은 상기 기준거리보다 멀리 떨어져 있기 때문에 제1 깊이 값으로 인식된다.

반면, 팔을 편 상태에서 인식된 손 영역의 깊이 값은 상기 기준거리 이내의 값을 가지므로, 제2 깊이 값으로 인식될 것이다.

이와 같은, 손 영역의 깊이 값 변화에 기초하여, 상기 입력 모드 제어부(130)는 전환 가능한 문자 입력 인터페이스를 사용자에게 제공한다. 일 실시예로서, 상기 입력 모드 제어부(130)는 사용자가 팔을 굽힌 상태(제1 깊이 값으로 인식)인 경우에는 자음을 입력할 수 있는 제1 입력 모드 인터페이스를 제공하고, 사용자가 팔을 편 상태(제2 깊이 값으로 인식)인 경우에는 모음을 입력할 수 있는 제2 입력 모드 인터페이스를 제공할 수 있다.

여기서, 문자 입력을 위해 제공되는 인터페이스는 적어도 하나 이상의 레이어(layer)가 중첩된 형상으로 제공될 수 있다. 본 발명의 실시예에서 손동작에 따라 제공되는 문자입력 인터페이스 기능의 일 예가 도 5a 내지 도 5c에 도시된다. 각각의 손동작에 해당하는 문자입력 인터페이스 기능에 대해서는 후술한다.

한편, 도 3 및 도 4를 참조하면, 문자 입력을 위한 입력 모드 인터페이스는 2개의 레이어가 층을 이루어 표시된다. 여기서, 제1 레이어는 자음을 표시한 적어도 하나 이상의 텍스트 박스(키 레이어, 도 4 참조)로 구성되고, 제2 레이어는 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된다. 도 3의 좌측에는 상기 제1 레이어가 표시된 인터페이스가 도시되며, 우측에는 상기 제2 레이어가 표시된 인터페이스가 도시된다.

여기서, 좌측에 도시된 인터페이스는 상기 제1 입력 모드 인터페이스이고, 우측에 도시된 인터페이스는 상기 제2 입력 모드 인터페이스 일 수 있다. 반대로, 좌측의 인터페이스가 제2 입력 모드 인터페이스이고, 우측의 인터페이스가 제1 입력 모드 인터페이스일 수 있다. 구체적으로, 상기 제1 입력 모드 인터페이스가 제공될 때, 상기 제1 레이어는 활성화되고, 상기 제2 레이어는 비활성화되어, 상기 제1 레이어만이 디스플레이 상에 표시되고, 반대로 상기 제2 입력 모드 인터페이스가 제공될 때에는 상기 제2 레이어가 활성화되고, 상기 제1 레이어는 비활성화되어, 상기 제2 레이어만이 디스플레이 상에 표시될 수 있다.

예컨대, 상기 입력 모드 전환부(130)는 사용자가 팔을 굽힌 상태(제1 깊이 값으로 인식)인 경우에는 도 3의 좌측에 도시된 인터페이스를 제공하고, 사용자가 팔을 편 상태인 경우에는 우측에 도시된 인터페이스를 제공할 수 있다.

한편, 상기 제1 레이어는 자음 19개가 표시된 텍스트 박스가 링 형상으로 배치된 제1 문자 패드와, 링 형상의 제1 문자 패드 내부에 위치하는 고정 레이어를 포함한다.

상기 제2 레이어는 모음 12개, 특수키 3개가 표시된 텍스트 박스가 링 형상으로 배치된 제2 문자 패드와, 상기 제1 문자 패드 내부에 위치하는 고정 레이어를 포함한다.

상기 제1 문자 패드와, 상기 제2 문자 패드는 깊이 카메라 방향의 축(z축, 도 4 참조)을 기준으로 시계 방향, 또는 반 시계 방향으로 회전 가능하며, 각각의 문자 패드를 구성하는 자음, 또는 모음은 아래와 같다.

제1 문자 패드를 구성하는 자음

“ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ, ㅊ, ㅋ, ㅌ, ㅍ, ㅎ, ㄲ, ㄸ, ㅃ, ㅆ, ㅉ”

제2 문자 패드를 구성하는 모음

“ㅏ, ㅏ, ㅓ, ㅕ, ㅗ, ㅛ, ㅜ, ㅠ, ㅡ, ㅣ, ㅐ, ㅒ, ㅔ, ㅖ”

또한, 상기 입력 모드 인터페이스는 인식된 손 영역의 깊이 값 변화를 표시하는 게이지 인디게이터와, 상기 문자 패드에서 선택된 문자가 표시되는 문자표시 창(window)을 더 포함할 수 있다.

한편, 본 발명의 실시예에서는 손동작에 따라 제공되는 문자입력 인터페이스 기능이 달라지게 된다. 이에 대한 실시예들이 도 5a 내지 도 5c에 도시된다.

㉠ 입력 모드 전환: 손 영역의 깊이 값 변화를 이용

㉡ 문자 패드에서 문자 회전 탐색: 깊이 방향 축을 기준으로 엄지의 회전운동으로 발생하는 위치 변화를 이용

㉢ 문자 선택: 엄지의 깊이 값 변화를 이용

예컨대, 상기 입력 모드 제어부(130)는 상기 손동작 인식부(120)에서 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식한 결과, 시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 시계 방향으로 회전시키고, 반대로 반시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 반시계 방향으로 회전시킨다.

문자 출력부(140)는 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력한다.

이하, 도 3 및 도 6을 참조하여 본 발명의 실시예에 따라 “아”문자가 입력되는 과정을 살펴본다.

“아” 문자의 입력은 “ㅇ” ->”ㅏ” 순서로 이루어 진다. 깊이 카메라가 촬영한 깊이 영상 데이터가 입력되면(S10), 상기 깊이 영상 사용자의 손 영역이 분리되고, 분리된 사용자의 손 영역의 깊이 값 정보가 획득된다(S20). 획득된 깊이 값에 해당하는 입력 모드 인터페이스가 디스플레이 상에 출력된다(S30). 출력된 입력 모드 인터페이스는 도 3의 좌측에 도시된 바와 같다.

먼저, “o”을 입력하기 위해서는 자음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되어야 한다. 사용자는 상기와 같은 인터페이스를 불러오기 위해 약속된 손 동작의 깊이 값 정보를 장치에 제공해야 한다. 예컨대, 사용자는 깊이 카메라 앞에서 팔을 굽힌 상태를 유지한다.

자음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되면, 사용자는 팔을 굽힌 상태에서 문자 패드의 “ㅇ”을 탐색한다. 도 3의 도시된 인터페이스 상단에는 선택 대상이 되는 문자가 표시되는 문자표시 창(window)이 있으며, 사용자는 깊이 방향의 축을 기준으로 주먹을 쥐고 엄지를 수직 방향으로 펼친 상태에서 손을 시계방향 또는 반시계 방향으로 회전하여 “o”가 선택 영역에 위치하도록 한다.

예컨대, 선택 영역은 상기 문자표시 창 바로 아래에 위치할 수 있으며, 상기 선택 영역에 “o”가 위치하면, 문자표시 창에는 “o”가 표시된다.

이후, 사용자는 엄지를 굽혀 “o”를 선택한다. 선택된 문자는 링 형상의 문자 패드 내부에 위치하는 고정 레이어 상에 확대 표시된다(S40).

중성 부분을 입력하기 위해 사용자는 팔을 굽힌 상태에서 깊이 카메라 방향으로 팔을 편다. 사용자 손 영역의 깊이 값 변화에 따라 디스플레이 상에는 도 3의 우측에 도시된 바와 같은 인터페이스가 표시된다(입력모드 변경).

도시된 바와 같은, 모음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되면, 사용자는 팔을 편 상태에서 “ㅏ”가 표시된 텍스트 박스가 선택 영역에 위치하도록 깊이 방향의 축을 기준으로 주먹을 쥐고 엄지를 수직 방향으로 펼친 상태에서 손을 시계 방향 또는 반시계 방향으로 회전한다.

“ㅏ”가 선택 영역에 위치하기 전에 상기 선택 영역을 거치는 텍스트 박스에 기재된 문자들은 각각의 텍스트 박스가 선택 영역에 위치하는 시점에 문자표시 창에 표시된다. 마침내, 상기 선택 영역에 “ㅏ”가 위치하면, 문자표시 창에는 “ㅏ”가 표시된다.

이후, 사용자는 엄지를 굽혀 “ㅏ” 를 선택한다. 선택된 문자는 링 형상의 문자 패드 내부에 위치하는 고정 레이어 상에 확대 표시된다.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하는 영상 처리부;
분리된 손 영역의 깊이 값 변화 및 엄지의 위치 변화를 인식하는 손동작 인식부;
상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 제어부; 및
상기 손동작 인식부에서 엄지의 깊이 값 변화를 인식한 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부
를 포함하는 깊이 값을 이용한 문자 입력장치.
제1항에 있어서, 상기 손동작 인식부는,
상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 것
인 깊이 값을 이용한 문자 입력장치.
제1항에 있어서, 상기 손동작 인식부는,
깊이 카메라 방향의 축을 기준으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식하는 것
인 깊이 값을 이용한 문자 입력장치.
제1항에 있어서, 상기 입력 모드 인터페이스는,
자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함하되,
상기 제1 레이어와 상기 제2 레이어 각각은 적어도 하나 이상의 텍스트 박스가 링 형상으로 배치된 제1 문자 패드와, 제2 문자 패드를 포함하는 것
인 깊이 값을 이용한 문자 입력장치.
제4항에 있어서, 상기 입력 모드 인터페이스는,
인식된 손 영역의 깊이 값 변화를 표시하는 게이지 인디게이터와, 상기 문자 패드에서 선택된 문자가 표시되는 문자표시 창(window)을 더 포함하는 것
인 깊이 값을 이용한 문자 입력장치.
제4항에 있어서,
상기 제1 문자 패드는 “ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ, ㅊ, ㅋ, ㅌ, ㅍ, ㅎ, ㄲ, ㄸ, ㅃ, ㅆ, ㅉ”이 표시된 텍스트 박스들을 포함하고,
상기 제2 문자 패드는 “ㅏ, ㅏ, ㅓ, ㅕ, ㅗ, ㅛ, ㅜ, ㅠ, ㅡ, ㅣ, ㅐ, ㅒ, ㅔ, ㅖ”가 표시된 텍스트 박스들을 포함하는 것
인 깊이 값을 이용한 문자 입력장치.
제4항에 있어서, 상기 입력 모드 제어부는,
상기 손동작 인식부에서 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식한 결과, 시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 시계 방향으로 회전시키고, 반시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 반시계 방향으로 회전시키는 것
인 깊이 값을 이용한 문자 입력장치.
주먹을 쥔 상태에서 엄지가 수직 방향으로 펴진 손동작을 촬영한 깊이 영상에서 사용자의 손 영역을 분리하고, 분리된 사용자의 손 영역에서 엄지의 위치 변화 및 상기 손 영역의 깊이 값 변화를 인식하는 단계;
상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스를 디스플레이 상에 제공하는 단계; 및
상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 단계
를 포함하는 깊이 값을 이용한 문자 입력방법.
제8항에 있어서, 상기 엄지의 위치 변화 및 상기 손 영역의 깊이 값 변화를 인식하는 단계는,
깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식하는 단계와,
상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 단계를 포함하는 것
인 깊이 값을 이용한 문자 입력방법.
제8항에 있어서, 상기 엄지의 위치 변화 및 상기 손 영역의 깊이 값 변화를 인식하는 단계는,
깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식하고, 상기 엄지의 깊이 카메라 방향으로의 위치 변화를 인식하는 단계와,
상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 단계를 포함하는 것
인 깊이 값을 이용한 문자 입력방법.
제8항에 있어서, 상기 제공하는 단계는,
자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어가 포함된 상기 입력 모드 인터페이스를 상기 디스플레이 상에 표시하는 단계를 포함하되,
상기 제1 레이어와 상기 제2 레이어 각각은 적어도 하나 이상의 텍스트 박스가 링 형상으로 배치된 제1 문자 패드와, 제2 문자 패드를 포함하는 것
인 깊이 값을 이용한 문자 입력방법.
제11항에 있어서, 상기 입력 모드 인터페이스는,
인식된 손 영역의 깊이 값 변화를 표시하는 게이지 인디게이터와, 상기 문자 패드에서 선택된 문자가 표시되는 문자표시 창(window)을 더 포함하는 것
인 깊이 값을 이용한 문자 입력방법.
제11항에 있어서, 상기 제공하는 단계는,
깊이 카메라 방향을 축으로 엄지의 회전운동(시계 또는 반시계 방향)으로 발생하는 위치 변화를 인식한 결과, 시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 시계 방향으로 회전시키고, 반시계 방향의 위치 변화가 인식된 경우, 상기 제1 문자 패드 또는 상기 제2 문자 패드를 반시계 방향으로 회전시키는 단계를 더 포함하는 것
인 깊이 값을 이용한 문자 입력방법.