KR101350314B1 - 깊이 값을 이용한 문자 입력 장치 및 이를 이용한 문자 입력 방법 - Google Patents

Abstract

본 발명은 깊이 값을 이용한 문자 입력장치 및 이를 이용한 문자 입력방법에 관한 것이다. 이를 위한, 본 발명의 일면에 따른 깊이 값을 이용한 문자 입력장치는 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하는 영상 처리부; 분리된 손 영역의 깊이 값 변화를 인식하는 손동작 인식부; 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 전환부; 및 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부를 포함한다.

Description

깊이 값을 이용한 문자 입력 장치 및 이를 이용한 문자 입력 방법{Character input apparatus based on depth information of hand gesture and method thereof}

본 발명은 손동작 기반 문자 입력 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 손동작의 깊이 값 변화에 따라 자음 입력 모드와, 모음 입력 모드를 변경하여 제공하므로, 문자 입력의 편의성을 향상시킬 수 있는 깊이 값을 이용한 문자 입력장치 및 그 방법에 관한 것이다.

지난 수십년간, 전자 디바이스들의 사용은 흔한 일이 되었다. 특히, 전자 기술의 발전은 더욱 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 감소와 소비자 수요는 현대 사회에서 전자 디바이스들이 사실상 유비쿼터스 (ubiquitous) 하도록 전자 디바이스들의 사용을 확산시켰다. 전자 디바이스들의 사용이 확장되면서, 전자 디바이스들의 새롭고 향상된 피쳐들 (features) 에 대한 수요도 확장되었다. 더 구체적으로는, 더 신속하고, 더 효율적으로 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 추구된다.

많은 전자 디바이스들은 동작 중에 하나 이상의 인터페이스들을 사용한다. 예를 들면, 컴퓨터들은 상호작용을 위한 사용자 입력을 획득하기 위하여 종종 키보드 및 마우스를 사용한다. 다른 전자 디바이스들은 상호 작용을 위한 사용자 입력을 획득하기 위하여 터치스크린들 및/또는 터치패드들을 사용한다. 이러한 상호작용들 중 많은 상호작용들이 하드웨어 피스 (piece) 와의 직접적인 물리적 상호작용을 요구한다. 예를 들면, 사용자는 키보드를 통하여 텍스트 또는 커맨드들을 입력하기 위하여 키보드 상에서 타이핑 (type) 해야 한다. 또는, 사용자는 마우스를 통하여 컴퓨터와 상호작용하기 위하여 마우스 상의 하나 이상의 버튼들을 물리적으로 이동 및/또는 푸시 (push) 해야 한다.

일부의 경우들에서, 입력 또는 커맨드들을 컴퓨팅 디바이스에 제공하기 위하여 하드웨어 피스와 직접적인 상호 작용을 하는 것은 불편하거나 최적이 아닐 수도 있다. 예를 들면, 투영된 프레젠테이션 (projected presentation)을 제공하는 사용자가, 상호작용을 원할 때마다 컴퓨터로 되돌아가야 하는 것은 불편할 수도 있다. 더욱이, 프레젠테이션을 제공하는 동안 마우스 또는 완드 (wand) 와 같은 인터페이스 디바이스를 휴대하는 것은 사용자가 방향성 패드 (directional pad) 를 누름으로써 입력을 제공해야 하거나 사용자가 인터페이스 디바이스를 동작하는 방법에 익숙하지 않으면 불편할 수도 있다.

특히, 문자 입력 방식과 관련하여 현재까지 통용중인 한글 입력 시스템들은 음소 이하의 단위를 기본으로 하여 음소를 만들고 이를 조합하여 음절을 구성하는 방법과 자모의 구성을 위하여 2개의 별도의 확장키를 사용하는 방법 등을 주로 사용하고 있다. 그러나, 사용자가 그러한 한글 입력 방법에 숙달되기까지의 필요한 시간과 노력, 다타수 및 자모 색출의 어려움 등은 여전히 한글입력에 있어서 작업능률 저하의 원인이 되고 있다. 또한, 모든 키 내에 문자의 연속배열로 인하여 부득이하게 타자간 대기장애를 초래한다.

이러한 문제점들에 대한 그 동안의 개선 노력에도 불구하고 여전히 만족할 만한 성과를 얻지 못하고 있는 실정이다. 따라서, 입력속도를 높일 수 있는 더욱 편리하고 능률적인 한글입력 방법이 절실하게 요구되고 있다.

본 발명은 상술한 문제점을 해결하기 위하여, 깊이 카메라를 이용하여 사용자의 손동작을 인식하고, 인식된 손동작의 깊이 값 변화에 기초하여 자음 및 모음을 입력할 수 있는 모드를 변경할 수 있는 인터페이스를 제공하는 문자 입력장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 깊이 값을 이용한 문자 입력장치는 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하는 영상 처리부; 분리된 손 영역의 깊이 값 변화를 인식하는 손동작 인식부; 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 전환부; 및 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부를 포함한다.

바람직하게는, 상기 손동작 인식부는 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식한다.

일 실시예에 있어서, 상기 제1 입력 모드는 자음을 입력하기 위한 인터페이스를 제공하고, 상기 제2 입력 모드는 모음을 입력하기 위한 인터페이스를 제공한다.

여기서, 상기 입력 모드 인터페이스는 자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함하되, 상기 제1 레이어와, 상기 제2 레이어는 층(layer)을 이루어 표시되는 것을 특징으로 한다.

다른 한편으로, 상기 입력 모드 인터페이스는 상기 제1 입력 모드에서는 상기 제1 레이어를 전면에 표시하고, 상기 제2 입력 모드에서는 상기 제2 레이어를 전면에 표시할 수 있다.

이때, 상기 텍스트 박스는 기 설정된 기본 문자가 표시되는 기본 레이어와, 상기 기본 문자에서 파생되는 기 설정된 문자가 표시되는 적어도 하나 이상의 파생 레이어를 포함한다.

한편, 상기 입력 모드 전환부는 상기 기본 레이어가 전면에 표시된 텍스트 박스로 구성된 입력 모드 인터페이스를 출력하는 것이고, 어느 텍스트 박스의 위치에 상기 사용자의 손 영역이 인식되는 경우, 상기 기본 레이어와 상기 파생 레이어를 모두 출력한다.

전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 깊이 값을 이용한 문자 입력방법은 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하고, 분리된 사용자의 손 영역의 동작 및 깊이 값 변화를 인식하는 단계; 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스를 디스플레이 상에 제공하는 단계; 및 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 단계를 포함한다.

바람직하게는, 상기 깊이 값 변화를 인식하는 단계는 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 단계를 포함한다.

일 실시예로서, 상기 제공하는 단계는 자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함하되, 상기 제1 레이어와 상기 제2 레이어가 층(layer)을 이루어 표시되는 상기 입력 모드 인터페이스를 디스플레이 상에 표시하는 단계를 포함한다.

다른 실시예로서, 상기 제공하는 단계는 상기 제1 입력 모드에서는 상기 제1 레이어를 전면에 표시하고, 상기 제2 입력 모드에서는 상기 제2 레이어를 전면에 표시하는 단계를 포함한다. 여기서, 상기 텍스트 박스는 기 설정된 기본 문자가 표시되는 기본 레이어와, 상기 기본 문자에서 파생되는 기 설정된 문자가 표시되는 적어도 하나 이상의 파생 레이어를 포함할 수 있다.

이때, 상기 제공하는 단계는 상기 기본 레이어가 전면에 표시된 텍스트 박스로 구성된 입력 모드 인터페이스를 제공하되, 어느 텍스트 박스의 위치에 상기 사용자의 손 영역이 인식되는 경우, 상기 기본 레이어와 상기 파생 레이어를 모두 디스플레이 상에 표시하는 단계를 포함한다.

상술한 바와 같이 본 발명에 따르면, 원거리에서 사용자가 리모컨 등의 별도의 컨트롤 장치가 없어도 본인의 손 동작으로 기능을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리한 효과가 있다.

도 1은 본 발명의 실시예에 따른 손 동작의 깊이 값을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력장치의 블록 구성도.
도 3은 본 발명의 실시예에서 손 동작 영역의 깊이 값에 따라 달리 제공되는 입력 모드 인터페이스를 도시한 예시도.
도 4는 본 발명의 실시예에서 제공되는 입력 모드 인터페이스의 일 예를 도시한 예시도.
도 5는 본 발명의 실시예에 따라 자음 및 모음 텍스트 박스에서 제공되는 기본 레이어와 파생 레이어를 도시된 예시도.
도 6은 본 발명의 실시예에 따라 “튀” 문자 입력 시나리오를 도시한 예시도.
도 7은 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

한편, 본원에서 사용되는 용어 "무선 통신 디바이스" 는 일반적으로 기지국 또는 다른 전자 디바이스와 무선으로 통신할 수도 있는 전자 디바이스 (예를 들면, 액세스 단말, 클라이언트 단말, 클라이언트 스테이션 등) 를 지칭한다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입국, 사용자 장비 (UE), 원격지국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 하나 이상의 표준들 (예를 들면, 3세대 파트너십 프로젝트 (3GPP), Wi-Max, 미국 전기 전자 학회 (IEEE) 802.11 또는 Wi-Fi 등) 에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따른 다양한 명명법들로 설명된 무선 통신 디바이스들 (액세스 단말, 사용자 장비 (UE), 원격 단말 등)을 포함할 수도 있다.

도 1은 본 발명의 실시예에 따른 손 동작의 깊이 값을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 깊이 값을 이용한 문자 입력장치는 깊이 카메라를 구비한 무선 통신 디바이스에서 문자 입력 인터페이스를 제공하는데 사용될 수 있다. 예컨대, 사용자가 원거리에서 손 동작으로 특정 문자열을 입력하고, 선택된 문자열을 디스플레이 상에 표시한다.

사용자 손 동작에 대한 깊이 방향(깊이 카메라에 대한 방향)의 움직임이 상기 장치에서 추적되어 사용자 손 영역의 깊이 값 정보가 추정되고, 상기 깊이 값 정보에 따라 서로 다른 문자 입력 모드 인터페이스가 사용자에게 제공된다.

사용자는 상기 장치의 디스플레이 상에 제공되는 제1 또는 제2 문자 입력 모드 인터페이스에서 입력하고자 하는 문자를 손 동작으로 선택한다.

이하, 도 2 내지 도 6을 참조하여, 전술한 기능을 수행하는 깊이 값을 이용한 문자 입력장치를 구체적으로 설명한다. 도 2는 본 발명의 실시예에 따른 깊이 값을 이용한 문자 입력장치의 블록 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 깊이 값을 이용한 문자 입력장치는 영상 처리부(110), 손동작 인식부(120), 입력 모드 전환부(130), 및 문자 출력부(140)를 포함하여 구성된다.

영상 처리부(110)는 입력된 깊이 영상을 처리하여 사용자의 손이 촬영된 깊이 영상에서 상기 사용자의 손 영역을 분리하여 추출한다.

영상 처리부(110)에는 단말에 탑재된 깊이 카메라에서 촬영된 영상 데이터가 입력된다. 깊이 카메라(Depth camera)는 장면 내의 객체와의 거리 정보를 생성한다. 일 예로, Time-of-Flight(TOF) 기술을 이용하는 카메라가 대표적이다. 깊이 카메라는 적외선 혹은 광 신호를 장면에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하여 깊이 영상으로 출력한다.

손동작 인식부(120)는 상기 영상 처리부(110)에서 분리된 손 영역의 동작(이동 경로)을 인식한다. 예컨대, 손 영역의 수평 방향, 수직 방향, 대각선 방향의 동작을 인식한다. 또한, 분리된 손 영역에서 검지 및 엄지를 검출하고, 검출된 검지 및 엄지의 위치 변화를 인식한다.

또한, 손동작 인식부(120)는 분리된 손 영역의 깊이 방향의 움직임을 추적하여, 특정 시점에서 손 영역의 깊이 값 정보를 생성한다. 일 실시예로서, 손동작 인식부(120)는 상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식할 수 있다.

전술한 바와 같이, 상기 손 영역의 깊이 값 정보는 서로 다른 문자 입력 모드를 제공하기 위한 정보로 이용되는데, 이하, 도 3을 참조하여 입력 모드 전환부(130)가 깊이 값 정보에 기초하여 입력 모드 인터페이스를 전환하여 출력하는 실시예를 살펴본다. 도 3은 본 발명의 실시예에서 손 동작 영역의 깊이 값에 따라 달리 제공되는 입력 모드 인터페이스를 도시한 예시도이다.

입력 모드 전환부(130)는 상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 디스플레이 상에 출력되도록 제어한다.

예컨대, 깊이 카메라 정면에서 사용자가 팔을 굽힌 상태에서 깊이 카메라 방향으로 펴는 동작을 한다고 가정하면, 팔을 굽힌 상태에서 인식된 손 영역은 상기 기준거리보다 멀리 떨어져 있기 때문에 제1 깊이 값으로 인식된다.

반면, 팔을 편 상태에서 인식된 손 영역의 깊이 값은 상기 기준거리 이내의 값을 가지므로, 제2 깊이 값으로 인식될 것이다.

이와 같은, 손 영역의 깊이 값 변화에 기초하여, 상기 입력 모드 전환부(130)는 전환 가능한 문자 입력 인터페이스를 사용자에게 제공한다. 일 실시예로서, 상기 입력 모드 전환부(130)는 사용자가 팔을 굽힌 상태(제1 깊이 값으로 인식)인 경우에는 자음을 입력할 수 있는 제1 입력 모드 인터페이스를 제공하고, 사용자가 팔을 편 상태(제2 깊이 값으로 인식)인 경우에는 모음을 입력할 수 있는 제2 입력 모드 인터페이스를 제공할 수 있다(도 3 참조).

여기서, 문자 입력을 위해 제공되는 인터페이스는 적어도 하나 이상의 레이어(layer)가 중첩된 형상으로 제공될 수 있다. 본 발명의 실시예에 따른 문자 입력 인터페이스가 도 4에 도시된다.

도 4를 참조하면, 문자 입력을 위한 입력 모드 인터페이스는 2개의 레이어가 층을 이루어 표시된다. 여기서, 제1 레이어는 자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성되고, 제2 레이어는 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된다. 도 4의 좌측에는 상기 제1 레이어가 전면에 표시된 인터페이스가 도시되며, 우측에는 상기 제2 레이어가 전면에 표시된 인터페이스가 도시된다.

여기서, 좌측에 도시된 인터페이스는 상기 제1 입력 모드 인터페이스이고, 우측에 도시된 인터페이스는 상기 제2 입력 모드 인터페이스 일 수 있다. 반대로, 좌측의 인터페이스가 제2 입력 모드 인터페이스이고, 우측의 인터페이스가 제1 입력 모드 인터페이스일 수 있다.

예컨대, 상기 입력 모드 전환부(130)는 사용자가 팔을 굽힌 상태(제1 깊이 값으로 인식)인 경우에는 도 4의 좌측에 도시된 인터페이스를 제공하고, 사용자가 팔을 편 상태인 경우에는 우측에 도시된 인터페이스를 제공할 수 있다.

한편, 상기 제1 레이어는 자음 9개가 표시된 텍스트 박스로 구성되며, 상기 제2 레이어는 모음 6개, 특수키 3개가 표시된 텍스트 박스로 구성된다. 여기서, 상기 텍스트 박스는 기 설정된 기본 문자가 표시되는 기본 레이어와, 상기 기본 문자에서 파생되는 기 설정된 문자가 표시되는 적어도 하나 이상의 파생 레이어를 포함할 수 있다.

예컨대, 도 4에 도시된 “ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ”은 기본 레이어에 표시된 기본문자이고, 기본문자 각각에 대해, 또는 그 일부에 대한 파생문자가 표시된 파생 레이어가 쌍을 이루어 각 텍스트 박스를 구성할 수 있다.

도 5에는 본 발명의 실시예에 따라 자음 및 모음 텍스트 박스에서 제공되는 기본 레이어와 파생 레이어의 일 예가 도시된다.

도 5를 참조하면, 기본문자 'ㄱ'은 2개의 파생문자 'ㅋ'및 'ㄲ'를 거느리며, 'ㄱ'은 기본 레이어에, 'ㅋ' 및 'ㄲ'은 파생 레이어에 각각 표시되어, 기본문자 'ㄱ'에 대한 텍스트 박스는 1개의 기본 레이어와 2개의 파생 레이어로 구성되는 것을 알 수 있다.

구체적으로, 상기 제1 레이어는 “ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ”이 상기 기본 레이어에 표시된 텍스트 박스들을 포함하되, “ㄱ”이 표시된 텍스트 박스는 “ㅋ”, 및 “ㄲ”이 각각 표시된 파생 레이어들을 포함하고, “ㄴ”이 표시된 텍스트 박스는 “ㅌ”이 표시된 파생 레이어를 포함하고, “ㄷ”이 표시된 텍스트 박스는 “ㄸ”이 표시된 파생 레이어를 포함하고, “ㅁ”이 표시된 텍스트 박스는 “ㅍ”이 표시된 파생 레이어를 포함하고, “ㅂ”이 표시된 텍스트 박스는 “ㅃ”이 표시된 파생 레이어를 포함하고, “ㅅ”이 표시된 텍스트 박스는 “ㅆ”이 표시된 파생 레이어를 포함하고, “o”이 표시된 텍스트 박스는 “ㅎ”이 표시된 파생 레이어를 포함하고, “ㅈ”이 표시된 텍스트 박스는 “ㅉ”이 표시된 파생 레이어를 포함할 수 있다.

또한, 상기 제2 레이어는 “ㅗ, ㅏ, ㅡ, ㅜ, ㅓ, ㅣ”가 상기 기본 레이어에 표시된 텍스트 박스들을 포함하되, “ㅗ”가 표시된 텍스트 박스는 “ㅛ”가 표시된 파생 레이어를 포함하고, “ㅏ”가 표시된 텍스트 박스는 “ㅑ”가 표시된 파생 레이어를 포함하고, “ㅜ”가 표시된 텍스트 박스는 “ㅠ”가 표시된 파생 레이어를 포함하고, “ㅓ”가 표시된 텍스트 박스는 “ㅕ”가 표시된 파생 레이어를 포함할 수 있다.

여기서, 상기 입력 모드 전환부(130)는 상기 기본 레이어가 전면에 표시된 텍스트 박스로 구성된 입력 모드 인터페이스를 디스플레이 상에 출력하고, 어느 텍스트 박스의 위치에 상기 사용자의 손 영역이 인식되는 경우, 숨겨진 상기 파생 레이어를 상기 기본 레이어와 함께 디스플레이 상에 출력한다.

문자 출력부(140)는 상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력한다.

이하, 도 6 및 도 7을 참조하여 본 발명의 실시예에 따라 “튀”문자가 입력되는 과정을 살펴본다.

'튀' 문자의 입력은 'ㅌ' -> 'ㅜ'-> 'ㅣ' 순서로 이루어 진다. 깊이 카메라가 촬영한 깊이 영상 데이터가 입력되면(S10), 상기 깊이 영상 사용자의 손 영역이 분리되고, 분리된 사용자의 손 영역의 깊이 값 정보가 획득된다(S20). 획득된 깊이 값에 해당하는 입력 모드 인터페이스가 디스플레이 상에 출력된다(S30). 출력된 입력 모드 인터페이스는 도 6의 좌측 상단에 도시된 바와 같다.

먼저, 'ㅌ'을 입력하기 위해서는 자음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되어야 한다. 사용자는 상기와 같은 인터페이스를 불러오기 위해 약속된 손동작의 깊이 값 정보를 장치에 제공해야 한다. 예컨대, 사용자는 깊이 카메라 앞에서 팔을 굽힌 상태를 유지한다.

자음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되면, 사용자는 팔을 굽힌 상태에서 'ㄷ'이 표시된 텍스트 박스로 커서가 위치하도록 손을 이동시킨다. 인식된 손동작에 따라, 커서가 'ㄷ'이 표시된 텍스트 박스에 위치하게 되면, 숨겨진 파생 레이어에 표시된 'ㄸ' 및 'ㅌ'이 'ㄷ' 주변에 함께 표시된다.

사용자는 손을 이동시켜 'ㅌ'이 표시된 파생 레이어에 커서를 위치시키고, 이를 선택하는 입력을 제공한다. 특정 문자의 선택 입력은 다양한 방법으로 제공될 수 있다. 예컨대, 사용자는 엄지와 검지를 오므리는 동작을 통해 '클릭' 이벤트를 제공할 수 있으며, 이는 사용자와 장치 간에 사전에 정의된다.

'ㅌ'이 선택되면, 선택된 'ㅌ'은 입력되어, 상기 입력 모드 인터페이스의 별도의 영역으로 마련된 문자입력 창에 표시된다(S40).

중성 부분을 입력하기 위해 사용자는 팔을 굽힌 상태에서 깊이 카메라 방향으로 팔을 편다. 사용자 손 영역의 깊이 값 변화에 따라 디스플레이 상에는 도 6의 우측 상단에 도시된 바와 같은 인터페이스가 표시된다(입력모드 변경).

도시된 바와 같은, 모음이 표시된 텍스트 박스로 구성된 인터페이스가 제공되면, 사용자는 팔을 편 상태에서 'ㅜ'가 표시된 텍스트 박스로 커서가 위치하도록 손을 이동시키고, 이를 선택한다. 그 결과 문자 입력 창에는 '투'가 표시된다.

마지막으로, 종성을 입력하기 위해 팔을 편 상태에서 'ㅣ'가 표시된 텍스트 박스로 커서가 위치하도록 손을 이동시키고, 이를 선택한다. 그 결과, 문자 입력 창에는 '튀'가 표시된다.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

1. 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하는 영상 처리부;
   상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 손동작 인식부;
   상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스가 출력되도록 제어하는 입력 모드 전환부; 및
   상기 손동작 인식부의 손동작 인식 결과, 상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 문자 출력부
   를 포함하는 깊이 값을 이용한 문자 입력장치.
   
2. 삭제
3. 제1항에 있어서,
   상기 제1 입력 모드는 자음을 입력하기 위한 인터페이스를 제공하고, 상기 제2 입력 모드는 모음을 입력하기 위한 인터페이스를 제공하는 것
   인 깊이 값을 이용한 문자 입력장치.
   
4. 제1항에 있어서, 상기 입력 모드 인터페이스는,
   자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와, 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함하되,
   상기 제1 레이어와, 상기 제2 레이어는 층(layer)을 이루어 표시되는 것
   인 깊이 값을 이용한 문자 입력장치.
   
5. 제4항에 있어서, 상기 입력 모드 인터페이스는,
   상기 제1 입력 모드에서는 상기 제1 레이어를 전면에 표시하고, 상기 제2 입력 모드에서는 상기 제2 레이어를 전면에 표시하는 것
   인 깊이 값을 이용한 문자 입력장치.
   
6. 제4항에 있어서,
   상기 텍스트 박스는 기 설정된 기본 문자가 표시되는 기본 레이어와, 상기 기본 문자에서 파생되는 기 설정된 문자가 표시되는 적어도 하나 이상의 파생 레이어를 포함하는 것
   인 깊이 값을 이용한 문자 입력장치.
   
7. 제6항에 있어서,
   상기 입력 모드 전환부는 상기 기본 레이어가 전면에 표시된 텍스트 박스로 구성된 입력 모드 인터페이스를 출력하는 것이고, 어느 텍스트 박스의 위치에 상기 사용자의 손 영역이 인식되는 경우, 상기 기본 레이어와 상기 파생 레이어를 모두 출력하는 것
   인 깊이 값을 이용한 문자 입력장치.
   
8. 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하고, 분리된 사용자의 손 영역의 동작 및 깊이 값 변화를 인식하는 단계;
   상기 손 영역의 제1 깊이 값을 제1 입력 모드에 대응시키고, 상기 손 영역의 제2 깊이 값을 제2 입력 모드에 대응시켜, 상기 손 영역의 깊이 값 변화에 따라 해당하는 입력 모드 인터페이스를 디스플레이 상에 제공하는 단계; 및
   상기 입력 모드 인터페이스에서 선택된 문자를 출력하는 단계를 포함하되,
   상기 깊이 값 변화를 인식하는 단계는,
   상기 깊이 카메라에서 기 설정된 거리만큼 떨어진 기준거리보다 상기 분리된 손 영역의 깊이 값이 크면, 이를 제1 깊이 값으로 인식하고, 상기 기준거리보다 상기 분리된 손 영역의 깊이 값이 작으면, 이를 제2 깊이 값으로 인식하는 단계를 포함하는 것
   인 깊이 값을 이용한 문자 입력방법.
   
9. 삭제
10. 제8항에 있어서, 상기 제공하는 단계는,
    자음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제1 레이어와 모음을 표시한 적어도 하나 이상의 텍스트 박스로 구성된 제2 레이어를 포함하되, 상기 제1 레이어와 상기 제2 레이어가 층(layer)을 이루어 표시되는 상기 입력 모드 인터페이스를 디스플레이 상에 표시하는 단계를 포함하는 것
    인 깊이 값을 이용한 문자 입력방법.
    
11. 제10항에 있어서, 상기 제공하는 단계는,
    상기 제1 입력 모드에서는 상기 제1 레이어를 전면에 표시하고, 상기 제2 입력 모드에서는 상기 제2 레이어를 전면에 표시하는 단계를 포함하는 것
    인 깊이 값을 이용한 문자 입력방법.
    
12. 제10항에 있어서, 상기 텍스트 박스는,
    기 설정된 기본 문자가 표시되는 기본 레이어와, 상기 기본 문자에서 파생되는 기 설정된 문자가 표시되는 적어도 하나 이상의 파생 레이어를 포함하는 것
    인 깊이 값을 이용한 문자 입력방법.
    
13. 제12항에 있어서, 상기 제공하는 단계는,
    상기 기본 레이어가 전면에 표시된 텍스트 박스로 구성된 입력 모드 인터페이스를 제공하되, 어느 텍스트 박스의 위치에 상기 사용자의 손 영역이 인식되는 경우, 상기 기본 레이어와 상기 파생 레이어를 모두 디스플레이 상에 표시하는 단계를 포함하는 것
    인 깊이 값을 이용한 문자 입력방법.
    
14. 제6항에 있어서,
    상기 제1 레이어는 “ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅅ, ㅇ, ㅈ”이 상기 기본 레이어에 표시된 텍스트 박스들을 포함하되,
    “ㄱ”이 표시된 텍스트 박스는 “ㅋ”, 및 “ㄲ”이 각각 표시된 파생 레이어들을 포함하고, “ㄴ”이 표시된 텍스트 박스는 “ㅌ”이 표시된 파생 레이어를 포함하고, “ㄷ”이 표시된 텍스트 박스는 “ㄸ”이 표시된 파생 레이어를 포함하고, “ㅁ”이 표시된 텍스트 박스는 “ㅍ”이 표시된 파생 레이어를 포함하고, “ㅂ”이 표시된 텍스트 박스는 “ㅃ”이 표시된 파생 레이어를 포함하고, “ㅅ”이 표시된 텍스트 박스는 “ㅆ”이 표시된 파생 레이어를 포함하고, “o”이 표시된 텍스트 박스는 “ㅎ”이 표시된 파생 레이어를 포함하고, “ㅈ”이 표시된 텍스트 박스는 “ㅉ”이 표시된 파생 레이어를 포함하는 것
    인 깊이 값을 이용한 문자 입력장치.
    
15. 제6항에 있어서,
    상기 제2 레이어는 “ㅗ, ㅏ, ㅡ, ㅜ, ㅓ, ㅣ”가 상기 기본 레이어에 표시된 텍스트 박스들을 포함하되,
    “ㅗ”가 표시된 텍스트 박스는 “ㅛ”가 표시된 파생 레이어를 포함하고, “ㅏ”가 표시된 텍스트 박스는 “ㅑ”가 표시된 파생 레이어를 포함하고, “ㅜ”가 표시된 텍스트 박스는 “ㅠ”가 표시된 파생 레이어를 포함하고, “ㅓ”가 표시된 텍스트 박스는 “ㅕ”가 표시된 파생 레이어를 포함하는 것
    인 깊이 값을 이용한 문자 입력장치.
    

Images