KR20160011451A - Character input apparatus using virtual keyboard and hand gesture recognition and method thereof - Google Patents

Character input apparatus using virtual keyboard and hand gesture recognition and method thereof Download PDF

Info

Publication number
KR20160011451A
KR20160011451A KR1020140092544A KR20140092544A KR20160011451A KR 20160011451 A KR20160011451 A KR 20160011451A KR 1020140092544 A KR1020140092544 A KR 1020140092544A KR 20140092544 A KR20140092544 A KR 20140092544A KR 20160011451 A KR20160011451 A KR 20160011451A
Authority
KR
South Korea
Prior art keywords
character input
character
end point
change
virtual keyboard
Prior art date
Application number
KR1020140092544A
Other languages
Korean (ko)
Inventor
안양근
정광모
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140092544A priority Critical patent/KR20160011451A/en
Publication of KR20160011451A publication Critical patent/KR20160011451A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen

Abstract

Disclosed are a character input apparatus using a virtual keyboard and recognizing hand gesture, and a character input method using the same. To this end, according to an aspect of the present invention, the character input apparatus using the virtual keyboard and recognizing the hand gesture comprises: a coordinate detection portion which detects a three-dimensional coordinate value of an end point of a finger in a three-dimensional image in which a hand of a user is photographed; a hand gesture recognition portion which recognizes a change in a three-dimensional coordinate value of the end point of the finger in the three-dimensional image which is photographed in a close time domain; a virtual keyboard control portion which provides a virtual keyboard consisting of a plurality of character input layers having relative coordinate values based on a random point in a three-dimensional space, and activates the character input layer to be used for a character input based on a result in which the change in the three-dimensional coordinate value of the end point of the finger is recognized; and a character output portion which outputs a first character among characters included in the activated character input layer when a change in the three-dimensional coordinate value of an end point of a first finger is recognized as a result of recognizing hand gesture by the hand gesture recognition portion after the character input layer is activated, and outputs a second character different from the first character when a change in the three-dimensional coordinate value of an end point of a second finger different from the end point of the first finger is recognized.

Description

가상 키보드와 손동작 인식을 이용한 문자 입력장치 및 이를 이용한 문자 입력방법{Character input apparatus using virtual keyboard and hand gesture recognition and method thereof}Technical Field [0001] The present invention relates to a virtual keyboard and a hand gesture recognition apparatus, and more particularly,

본 발명은 문자 입력 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 가상 키보드와 손동작 인식을 이용한 문자 입력장치 및 이를 이용한 문자 입력방법에 관한 것이다.
The present invention relates to a character input device and a method thereof, and more particularly, to a character input device using a virtual keyboard and hand movement recognition, and a character input method using the same.

지난 수십년간, 전자 디바이스들의 사용은 흔한 일이 되었다. 특히, 전자 기술의 발전은 더욱 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 감소와 소비자 수요는 현대 사회에서 전자 디바이스들이 사실상 유비쿼터스 (ubiquitous) 하도록 전자 디바이스들의 사용을 확산시켰다. 전자 디바이스들의 사용이 확장되면서, 전자 디바이스들의 새롭고 향상된 피쳐들 (features) 에 대한 수요도 확장되었다. 더 구체적으로는, 더 신속하고, 더 효율적으로 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 추구된다.Over the past decades, the use of electronic devices has become commonplace. In particular, advances in electronic technology have reduced the cost of more complex and useful electronic devices. Cost reduction and consumer demand have widened the use of electronic devices to make electronic devices virtually ubiquitous in modern society. As the use of electronic devices has expanded, the demand for new and improved features of electronic devices has also expanded. More specifically, electronic devices that perform functions with faster, more efficient, or higher quality are often sought.

많은 전자 디바이스들은 동작 중에 하나 이상의 인터페이스들을 사용한다. 예를 들면, 컴퓨터들은 상호작용을 위한 사용자 입력을 획득하기 위하여 종종 키보드 및 마우스를 사용한다. 다른 전자 디바이스들은 상호 작용을 위한 사용자 입력을 획득하기 위하여 터치스크린들 및/또는 터치패드들을 사용한다. 이러한 상호작용들 중 많은 상호작용들이 하드웨어 피스 (piece) 와의 직접적인 물리적 상호작용을 요구한다. 예를 들면, 사용자는 키보드를 통하여 텍스트 또는 커맨드들을 입력하기 위하여 키보드 상에서 타이핑 (type) 해야 한다. 또는, 사용자는 마우스를 통하여 컴퓨터와 상호작용하기 위하여 마우스 상의 하나 이상의 버튼들을 물리적으로 이동 및/또는 푸시 (push) 해야 한다.Many electronic devices use one or more interfaces during operation. For example, computers often use a keyboard and a mouse to obtain user input for interaction. Other electronic devices use touch screens and / or touch pads to obtain user input for interaction. Many of these interactions require direct physical interactions with hardware pieces. For example, a user must type on the keyboard to enter text or commands via the keyboard. Alternatively, the user may physically move and / or push one or more buttons on the mouse to interact with the computer via the mouse.

일부의 경우들에서, 입력 또는 커맨드들을 컴퓨팅 디바이스에 제공하기 위하여 하드웨어 피스와 직접적인 상호 작용을 하는 것은 불편하거나 최적이 아닐 수도 있다. 예를 들면, 투영된 프레젠테이션 (projected presentation)을 제공하는 사용자가, 상호작용을 원할 때마다 컴퓨터로 되돌아가야 하는 것은 불편할 수도 있다. 더욱이, 프레젠테이션을 제공하는 동안 마우스 또는 완드 (wand) 와 같은 인터페이스 디바이스를 휴대하는 것은 사용자가 방향성 패드 (directional pad) 를 누름으로써 입력을 제공해야 하거나 사용자가 인터페이스 디바이스를 동작하는 방법에 익숙하지 않으면 불편할 수도 있다. In some cases, it may be inconvenient or non-optimal to have direct interaction with the hardware piece to provide input or commands to the computing device. For example, it may be inconvenient for a user providing a projected presentation to have to return to the computer whenever they want to interact. Moreover, carrying an interface device, such as a mouse or wand during presentation, may be uncomfortable if the user has to provide input by pressing a directional pad or is not familiar with how the user operates the interface device It is possible.

특히, 문자 입력 방식과 관련하여 현재까지 통용중인 한글 입력 시스템들은 음소 이하의 단위를 기본으로 하여 음소를 만들고 이를 조합하여 음절을 구성하는 방법과 자모의 구성을 위하여 2개의 별도의 확장키를 사용하는 방법 등을 주로 사용하고 있다. 그러나, 사용자가 그러한 한글 입력 방법에 숙달되기까지의 필요한 시간과 노력, 다타수 및 자모 색출의 어려움 등은 여전히 한글입력에 있어서 작업능률 저하의 원인이 되고 있다. 또한, 모든 키 내에 문자의 연속배열로 인하여 부득이하게 타자간 대기장애를 초래한다.In particular, Hangul input systems, which are currently in use in relation to the character input method, use phonemes based on units of phonemes and combine them to form syllables and use two separate extension keys Method and so on. However, the time and effort required for the user to master the Korean input method, the difficulty in detecting the number of strokes, and the extraction of the syllables still cause the decrease in the work efficiency in the input of the Hangul. Also, it causes inevitably an atmospheric disturbance due to the continuous arrangement of characters in every key.

이러한 문제점들에 대한 그 동안의 개선 노력에도 불구하고 여전히 만족할 만한 성과를 얻지 못하고 있는 실정이다. 따라서, 입력속도를 높일 수 있는 더욱 편리하고 능률적인 한글입력 방법이 절실하게 요구되고 있다.
Despite the efforts to improve these problems, they still do not achieve satisfactory results. Therefore, a more convenient and efficient method of inputting Korean characters that can increase the input speed is urgently required.

본 발명은 상술한 문제점을 해결하기 위하여, 사용자 손동작의 3차원 좌표 값 변화를 인식한 결과와, 사용자 손가락 끝점의 3차원 좌표 값과 임의의 좌표 값을 갖는 가상 키보드의 좌표 값을 매칭한 결과를 이용하여 문자 입력 인터페이스를 제공하는 문자 입력장치 및 그 방법을 제공하는 것을 목적으로 한다. In order to solve the above-described problems, the present invention provides a method of detecting a change in a three-dimensional coordinate value of a user's hand gesture, a result of matching a coordinate value of a virtual keyboard having a three- And a character input device for providing a character input interface by using the character input device.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력장치는 사용자 손이 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출하는 좌표 검출부; 인접한 시간 영역에서 촬영된 3차원 영상에서 상기 손가락 끝점의 3차원 좌표 값 변화를 인식하는 손동작 인식부; 3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드를 제공하고, 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화하는 가상 키보드 제어부; 및 상기 문자입력 레이어가 활성화된 후, 상기 손동작 인식부의 손동작 인식 결과, 제1 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 제1 문자를 출력하고, 상기 제1 손가락 끝점과 상이한 제2 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 제1 문자와는 상이한 제2 문자를 출력하는 문자 출력부를 포함한다.According to an aspect of the present invention, there is provided a character input apparatus using a virtual keyboard and a hand movement recognition apparatus, including a coordinate detection unit detecting a three-dimensional coordinate value of a finger end point in a three-dimensional image captured by a user's hand; A hand gesture recognition unit for recognizing a change in three-dimensional coordinate values of the finger end point in a three-dimensional image photographed in an adjacent time domain; There is provided a virtual keyboard comprising a plurality of character input layers having relative coordinate values relative to an arbitrary point in a three-dimensional space, the character input method comprising: inputting a character to be used for character input based on a recognized result of a change in three- A virtual keyboard control unit for activating a layer; And outputting a first character among the characters included in the activated character input layer when a change in the three-dimensional coordinate value of the first finger end point is recognized as a result of recognition of the hand gesture by the hand gesture recognition unit after the character input layer is activated, And a character output unit for outputting a second character different from the first character when a change in a three-dimensional coordinate value of the second finger end point different from the first finger end point is recognized.

바람직한 실시예에 있어서, 상기 가상 키보드 제어부는 인식된 상기 손가락 끝점의 3차원 좌표 값 변화가 기 설정된 제1 경로에 매칭되는 경우, 제1 문자입력 레이어를 활성화시키고, 인식된 상기 손가락 끝점의 3차원 좌표 값 변화가 상기 제1 경로와 상이한 기 설정된 제2 경로에 매칭되는 경우, 상기 제1 문자입력 레이어와는 상이한 제2 문자입력 레이어를 활성화시킨다.In a preferred embodiment, the virtual keyboard control unit activates the first character input layer when the recognized three-dimensional coordinate value change of the finger end is matched to the predetermined first path, And activates a second character input layer different from the first character input layer when a coordinate value change matches a predetermined second path different from the first path.

바람직한 실시예에 있어서, 상기 가상 키보드 제어부는 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어가 활성화되면, 상기 활성화된 문자입력 레이어에 제1 농도로 음영을 표시하고, 상기 문자 출력부에 의해 출력된 문자에는 상기 제1 농도와 상이한 제2 농도로 음영을 표시한다.In a preferred embodiment, when the character input layer to be used for character input is activated based on a recognition result of the change of the three-dimensional coordinate value of the finger end point, the virtual keyboard control unit controls the virtual character input unit And the character outputted by the character output unit displays a shadow at a second density different from the first density.

바람직한 실시예에 있어서, 상기 문자 출력부는 사용자 손을 기준으로 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상으로 인식되는 손가락 끝점에 대응되는 문자를 출력한다. In a preferred embodiment, the character output unit outputs a character corresponding to a finger end point at which a coordinate value change in a depth direction is recognized as a threshold value or more with reference to a user's hand.

바람직한 실시예에 있어서, 상기 문자 출력부는 상기 손동작 인식부의 손동작 인식 결과, 엄지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 가장 좌측에 위치한 문자를 출력하고, 중지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 가장 우측에 위치한 문자를 출력하고, 검지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 중간에 위치한 문자를 출력한다.In a preferred embodiment, the character output unit outputs a character positioned at the leftmost character among the characters included in the activated character input layer when recognizing the change of the three-dimensional coordinate value of the thumb end point, When the change of the three-dimensional coordinate value of the stop finger end point is recognized, the character positioned at the rightmost position is output, and when the change of the three-dimensional coordinate value of the index finger end point is recognized, the middle position character is output.

본 발명의 다른 면에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력방법은 사용자 손이 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출하는 단계; 인접한 시간 영역에서 촬영된 3차원 영상에서 상기 손가락 끝점의 3차원 좌표 값 변화를 인식하는 단계; 3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드에서, 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화하는 단계; 및 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 사용자 손을 기준으로 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상으로 인식되는 손가락 끝점에 대응되는 문자를 출력하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a method of inputting characters using a virtual keyboard and a hand gesture recognition method, comprising: detecting a three-dimensional coordinate value of a finger end point in a three- Recognizing a three-dimensional coordinate value change of the finger end point in a three-dimensional image photographed in an adjacent time domain; A virtual keyboard comprising a plurality of character input layers having relative coordinate values based on an arbitrary point in a three-dimensional space, characterized in that a character input layer to be used for character input is defined on the basis of a result of recognizing a change in three- Activating; And outputting a character corresponding to a finger end point at which a change in coordinate value in the depth direction is recognized as a threshold value or more based on a user's hand among the characters included in the activated character input layer.

상술한 바와 같이 본 발명에 따르면, 원거리에서 사용자가 리모컨 등의 별도의 컨트롤 장치가 없어도 본인의 손 동작으로 기능을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리한 효과가 있다.
As described above, according to the present invention, even if the user does not have a separate control device such as a remote controller at a remote location, the user can implement the function by hand operation, thereby avoiding an economic burden and convenient use.

도 1은 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따라 제공되는 가상 키보드와, 손동작 인식을 이용한 문자입력 인터페이스를 예시적으로 도시한 도면.
도 3a 내지 도 3c는 본 발명의 실시예에서 문자 입력을 위한 손동작을 예시적을 도시한 도면.
도 4는 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력장치를 도시한 블록 구성도.
도 5는 본 발명의 실시예에 따라 제공되는 가상 키보드를 예시적으로 도시한 도면.
도 6a 내지 도 6e는 본 발명의 실시예에 따른 사용자 손동작의 이동 경로에 따라 상기 가상 키보드에서 활성화되는 문자입력 레이어가 선택되는 과정을 예시적으로 도시한 도면.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 손가락 끝점의 3차원 좌표 값이 변화함에 따라 상기 문자입력 레이어에서 출력되는 문자가 선택되는 과정을 예시적으로 도시한 도면.
도 8은 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력방법을 도시한 순서도.
도 9는 본 발명의 실시예에 따라 “기” 문자 입력 시나리오를 예시적으로 도시한 도면.1 illustrates a system environment in which a virtual keyboard and a character input method using hand movement recognition are provided according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating a virtual keyboard provided according to an embodiment of the present invention and a character input interface using hand gesture recognition.
FIGS. 3A through 3C illustrate an example of a hand operation for inputting characters in an embodiment of the present invention; FIG.
4 is a block diagram illustrating a character input device using a virtual keyboard and hand gesture recognition according to an embodiment of the present invention.
5 illustrates an exemplary virtual keyboard provided in accordance with an embodiment of the present invention.
FIGS. 6A to 6E illustrate a process of selecting a character input layer activated in the virtual keyboard according to a movement path of a user's hand movement according to an embodiment of the present invention; FIG.
FIGS. 7A through 7C illustrate a process of selecting a character output from the character input layer as a three-dimensional coordinate value of a finger endpoint changes according to an embodiment of the present invention. FIG.
8 is a flowchart showing a character input method using a virtual keyboard and hand gesture recognition according to an embodiment of the present invention.
Figure 9 is an exemplary illustration of a " prior " character input scenario in accordance with an embodiment of the present invention;

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, like reference numerals refer to like elements throughout. In the drawings, like reference numerals are used to denote like elements, and in the description of the present invention, In the following description, a detailed description of the present invention will be omitted.

한편, 본원에서 사용되는 용어 "무선 통신 디바이스" 는 일반적으로 기지국 또는 다른 전자 디바이스와 무선으로 통신할 수도 있는 전자 디바이스 (예를 들면, 액세스 단말, 클라이언트 단말, 클라이언트 스테이션 등) 를 지칭한다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입국, 사용자 장비 (UE), 원격지국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 하나 이상의 표준들 (예를 들면, 3세대 파트너십 프로젝트 (3GPP), Wi-Max, 미국 전기 전자 학회 (IEEE) 802.11 또는 Wi-Fi 등) 에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따른 다양한 명명법들로 설명된 무선 통신 디바이스들 (액세스 단말, 사용자 장비 (UE), 원격 단말 등)을 포함할 수도 있다.The term "wireless communication device " as used herein, on the other hand, generally refers to an electronic device (e.g., an access terminal, a client terminal, a client station, etc.) that may communicate wirelessly with a base station or other electronic device. The wireless communication device may alternatively be referred to as a mobile device, a mobile station, a subscriber station, a user equipment (UE), a remote station, an access terminal, a mobile terminal, a terminal, a user terminal, Examples of wireless communication devices include laptop or desktop computers, cellular phones, smart phones, wireless modems, e-readers, tablet devices, gaming systems, and the like. The wireless communication devices may operate in accordance with one or more standards (e.g., 3GPP, Wi-Max, IEEE 802.11 or Wi-Fi, etc.). Thus, the generic term "wireless communication device" may include wireless communication devices (access terminal, user equipment (UE), remote terminal, etc.) described in various nomenclature according to industry standards.

도 1은 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력방법이 제공되는 시스템 환경을 도시한 도면이다.1 is a diagram illustrating a system environment in which a virtual keyboard and a character input method using hand movement recognition are provided according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력장치는 3차원 카메라를 구비한 무선 통신 디바이스에서 문자 입력 인터페이스를 제공하는데 사용될 수 있다. 예컨대, 사용자가 원거리에서 손 동작으로 특정 문자열을 선택하면, 상기 문자 입력장치는 선택된 문자열을 무선 통신 디바이스의 디스플레이 상에 표시한다. As shown in FIG. 1, a character input device using a virtual keyboard and hand gesture recognition according to an exemplary embodiment of the present invention can be used to provide a character input interface in a wireless communication device having a three-dimensional camera. For example, if the user selects a particular character string from a remote location by hand, the character input device displays the selected character string on the display of the wireless communication device.

여기서, 상기 3차원 카메라는 전방에 대한 좌안 영상과, 우안 영상을 촬영하는 스테레오 비전 기반의 카메라일 수 있으며, 또는 전방에 위치하는 객체에 대한 깊이 영상을 촬영하는 깊이 카메라일 수 있다. Here, the three-dimensional camera may be a stereo vision-based camera for capturing a left-eye image and a right-eye image with respect to the front, or a depth camera for photographing a depth image with respect to an object positioned ahead.

다른 한편으로, 상기 3차원 카메라는 전술한 스테레오 비전 기반의 카메라와, 깊이 카메라가 하나의 모듈로서 상보적으로 동작하도록 구현될 수 있으며, 촬영 영상의 3차원 좌표 정보를 획득하기 위한 어떠한 센서 장치도 사용될 수 있음은 자명하다.On the other hand, the three-dimensional camera can be implemented so that the stereo vision-based camera described above and the depth camera function complementarily as one module, and any sensor device for obtaining three-dimensional coordinate information of the photographed image It is obvious that it can be used.

상기 3차원 카메라에서 촬영된 3차원 영상으로부터 사용자 손 동작의 3차원 좌표 값의 변화는 추적되고, 상기 3차원 좌표 값의 변화와 본 발명에 따른 문자 입력장치에서 제공되는 가상 키보드의 매칭 결과에 따라 해당 문자가 출력되는 인터페이스가 사용자에게 제공된다. Dimensional coordinate of the user's hand movements is tracked from the three-dimensional image captured by the three-dimensional camera, and according to the change of the three-dimensional coordinate value and the matching result of the virtual keyboard provided by the character input device according to the present invention An interface for outputting the character is provided to the user.

도 2에는 본 발명의 실시예에 따라 제공되는 가상 키보드와, 손동작 인식을 이용한 문자입력 인터페이스가 예시적으로 도시된다.FIG. 2 illustrates an example of a virtual keyboard provided according to an embodiment of the present invention and a character input interface using hand gesture recognition.

도 2에서 가상 키보드(10)는 임의의 공간에서 사용자에게 제공된다. 상기 가상 키보드(10)는 자음 입력을 위한 레이어와 모음 입력을 위한 레이어로 구성될 수 있다.In Fig. 2, the virtual keyboard 10 is provided to the user in an arbitrary space. The virtual keyboard 10 may include a layer for consonant input and a layer for vowel input.

상기 가상 키보드(10)는 전술한 무선 통신 디바이스의 디스플레이 상에 표시되거나, 혹은 무선 통신 디바이스의 램프에서 발생되는 빛에 의해 영상이 투사되는 방식으로 임의의 공간(스크린) 상에 표시될 수도 있다.The virtual keyboard 10 may be displayed on the display of the wireless communication device described above, or may be displayed on any space (screen) in such a way that the image is projected by the light generated in the lamp of the wireless communication device.

사용자는 표시되는 가상 키보드(10)에서 입력할 문자를 선택하고자 할 때는 손을 해당 위치로 이동시키고, 손가락을 깊이 방향으로 가볍게 접었다 펴는 동작을 취한다.When a user wishes to select a character to be input in the virtual keyboard 10 to be displayed, the user moves his / her hand to the corresponding position, and takes a finger to slightly fold the keyboard in the depth direction.

본 발명에 따른 문자 입력장치는 3차원 카메라가 촬영한 3차원 영상에서 사용자 손가락 끝점의 좌표를 인식하고, 상기 손가락 끝점의 좌표 변화를 추적하여 해당하는 문자를 출력한다. The character input device according to the present invention recognizes the coordinates of the user's fingertip in a three-dimensional image captured by a three-dimensional camera, tracks the coordinate change of the fingertip, and outputs the corresponding character.

예컨대, 입력에 사용될 동작은 엄지, 검지, 중지 중 어느 하나의 손가락을 접었다 펴는 동작일 수 있으며, 도 3a에는 엄지가 깊이 방향으로 접힌 동작이, 도 3b에는 검지가 깊이 방향으로 접힌 동작이, 도 3c에는 중지가 깊이 방향으로 접힌 동작이 예시적으로 도시된다.For example, an operation to be used for inputting may be an operation of folding one of the thumb, index finger, and stop finger. In Fig. 3A, an operation in which the thumb is folded in the depth direction, 3c are illustratively shown in which the stop is folded in the depth direction.

이하, 도 4 내지 도 7를 참조하여, 전술한 기능을 수행하는 본 발명의 실시예에 따른 문자 입력장치를 구체적으로 설명한다. 도 4는 본 발명의 실시예에 따른 가상 키보드와 손동작 인식을 이용한 문자 입력장치를 도시한 블록 구성도이다.Hereinafter, a character input apparatus according to an embodiment of the present invention for performing the above-described functions will be described in detail with reference to FIG. 4 to FIG. 4 is a block diagram illustrating a character input apparatus using a virtual keyboard and hand gesture recognition according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 문자 입력장치는 좌표 검출부(110), 손동작 인식부(120), 가상 키보드 제어부(130), 및 문자 출력부(140)를 포함하여 구성된다. Referring to FIG. 4, the character input device according to the embodiment of the present invention includes a coordinate detection unit 110, a handgrip recognition unit 120, a virtual keyboard control unit 130, and a character output unit 140.

좌표 검출부(110)는 입력된 3차원 영상을 처리하여 사용자의 손이 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출한다. The coordinate detecting unit 110 processes the inputted three-dimensional image and detects the three-dimensional coordinate value of the finger end point in the captured three-dimensional image of the user's hand.

손동작 인식부(120)는 상기 좌표 검출부(110)에서 검출된 손가락 끝점의 3차원 좌표 값의 변화(예컨대, 이동 경로)를 인식한다. 예컨대, 인접한 시간 영역에서 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값은 수평 방향, 수직 방향, 깊이 방향으로 변경될 수 있다. The handwriting recognition unit 120 recognizes a change (e.g., a movement path) of the three-dimensional coordinate value of the finger end point detected by the coordinate detection unit 110. [ For example, in a three-dimensional image photographed in an adjacent time region, a three-dimensional coordinate value of a finger end point may be changed to a horizontal direction, a vertical direction, and a depth direction.

여기서, 수평 방향은 상기 단말의 디스플레이 혹은 가상 키보드가 표시된 가상의 스크린에 수평을 이루는 임의의 평면에서 가로 방향을 의미하고, 수직 방향은 상기 임의의 평면에서 세로 방향을 의미한다. 또한, 깊이 방향은 사람의 손을 기준으로 상기 단말의 디스플레이 혹은 가상 키보드가 표시된 가상의 스크린을 향하는 방향을 의미한다. 예컨대, 상기 임의의 평면에서 상기 단말의 디스플레이 혹은 가상 키보드가 표시된 가상의 스크린을 향하는 방향이 깊이 방향이 될 수 있다.Here, the horizontal direction means a horizontal direction in an arbitrary plane horizontal to a virtual screen on which the display or virtual keyboard of the terminal is displayed, and the vertical direction means a vertical direction in the arbitrary plane. In addition, the depth direction refers to a direction toward a virtual screen on which the display of the terminal or the virtual keyboard is displayed based on a human hand. For example, the depth direction may be a direction in which the display of the terminal or the virtual keyboard on the arbitrary plane faces the displayed virtual screen.

결국, 상기 손동작 인식부(120)는 손가락 끝점의 수평 방향의 이동, 수직 방향의 이동, 깊이 방향의 이동을 추적하고, 이를 문자 입력을 위한 인터페이스로 활용한다.As a result, the handgrip recognition unit 120 tracks the movement of the fingertip in the horizontal direction, the vertical direction, and the depth direction, and utilizes this as an interface for inputting characters.

한편, 본 발명의 실시예에서는 일부 손가락의 끝점만이 문자 입력을 위한 인터페이스로 활용될 수 있다. 이 경우, 상기 좌표 검출부(110) 및 상기 손동작 인식부(120)는 관심 대상이 되는 손가락 끝점의 좌표만을 검출하고, 그 동작을 인식할 수 있다. 예컨대, 엄지, 검지, 중지의 동작만이 문자 입력을 위한 인터페이스로 활용된다고 가정하면, 상기 좌표 검출부(110) 및 상기 손동작 인식부(120)는 엄지, 검지, 중지 손가락의 끝점의 3차원 좌표만을 검출하고, 인접한 시간 영역에서 촬영된 3차원 영상에서 해당 3차원 좌표 값의 변화를 추적한다.In the embodiment of the present invention, only the end points of some fingers can be utilized as an interface for inputting characters. In this case, the coordinate detection unit 110 and the handgrip recognition unit 120 can detect only the coordinates of the finger end point of interest and recognize the operation thereof. For example, assuming that only the operation of the thumb, the detection, and the stop is utilized as an interface for inputting characters, the coordinate detection unit 110 and the handgrip recognition unit 120 recognize only the three-dimensional coordinates of the end points of the thumb, And tracking the change of the corresponding three-dimensional coordinate value in the three-dimensional image photographed in the adjacent time region.

가상 키보드 제어부(130)는 3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드(10)를 제공한다.The virtual keyboard control unit 130 provides a virtual keyboard 10 composed of a plurality of character input layers having relative coordinate values based on an arbitrary point in a three-dimensional space.

또한, 상기 가상 키보드 제어부(130)는 상기 손동작 인식부(120)에서 인식된 손가락 끝점의 3차원 좌표 값 변화에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화한다. The virtual keyboard control unit 130 activates a character input layer to be used for character input based on a change in the three-dimensional coordinate value of the finger end point recognized by the handgrip recognition unit 120. [

이와 같이, 본 발명의 실시예에 따른 가상 키보드 제어부(130)는 인식된 손가락 끝점 3차원 좌표 값 변화에 기초하여 가상 키보드의 동작을 제어하는 것을 특징으로 한다. As described above, the virtual keyboard control unit 130 according to the embodiment of the present invention controls the operation of the virtual keyboard based on the recognized change of the three-dimensional coordinate value of the fingertip.

이하에서는 도 5를 참조하여, 먼저 본 발명의 실시예에 따른 가상 키보드를 설명하고, 그 이후에 도 6을 참조하여 상기 가상 키보드 제어부(130)에 가상 키보드의 동작이 어떻게 제어되는지를 설명한다. 도 5에는 본 발명의 실시예에 따라 제공되는 가상 키보드가 예시적으로 도시된다. Hereinafter, a virtual keyboard according to an embodiment of the present invention will be described with reference to FIG. 5, and the operation of a virtual keyboard will be described below with reference to FIG. 6 in the virtual keyboard controller 130. FIG. 5 illustrates an exemplary virtual keyboard provided in accordance with an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시예에 따른 가상 키보드(10)는 자음 입력을 위한 레이어(1,2,3)와 모음 입력을 위한 레이어(4,5)로 구성될 수 있다.Referring to FIG. 5, the virtual keyboard 10 according to the embodiment of the present invention may include layers 1, 2, and 3 for consonant input and layers 4 and 5 for vowel input.

자음 입력을 위한 레이어(1,2,3)는 3개로 구성되며, 각각의 레이어(1,2,3)는 일정 간격을 두고 세로 방향으로 배열된다. The layers (1,2,3) for consonant input are composed of three, and the layers (1,2,3) are arranged in the vertical direction at regular intervals.

각각의 레이어(1,2,3)는 3개의 키 패드로 구성되며, 각 레이어에서 3개의 키 패드는 일정 간격을 두고 가로 방향으로 배열된다. 각 키 패드에는 사용자에 의해 선택될 경우 출력되는 문자의 형상 또는 기능이 표시되며, 적어도 2개 이상의 문자가 각 키 패드에 표시될 수 있다.Each of the layers (1, 2, 3) is composed of three key pads, and three key pads in each layer are arranged in the horizontal direction at regular intervals. Each keypad displays the shape or function of the characters to be output when selected by the user, and at least two or more characters can be displayed on each keypad.

모음 입력을 위한 레이어(4,5)는 2개로 구성되며, 각각의 레이어(4,5)는 일정 간격을 두고 세로 방향으로 배열된다. The layers 4 and 5 for inputting vowels are composed of two, and the layers 4 and 5 are arranged in the vertical direction at regular intervals.

각각의 레이어(4,5)는 3개의 키 패드로 구성되며, 각 레이어에서 3개의 키 패드는 일정 간격을 두고 가로 방향으로 배열된다. Each of the layers (4, 5) is composed of three key pads, and three key pads in each layer are arranged in the horizontal direction at regular intervals.

전술한 바와 같은 구성을 가짐으로써, 본 발명의 실시예에 따른 가상 키보드(10)는 문자 입력 시 요구되는 사용자 손동작의 변화를 최소화할 수 있는 이점이 있다. 특히, 복자음 또는 복모음을 입력할 경우, 사용자의 손은 수평 방향 또는 수직 방향으로 이동할 필요가 없다. 즉, 동일 위치에서 깊이 방향으로 동작할 손가락만을 변경함으로써, 복자음 또는 복모음이 입력될 수 있다.With the above-described configuration, the virtual keyboard 10 according to the embodiment of the present invention has an advantage of minimizing a change in the user's hand movements required when inputting characters. In particular, when a loser or a double voice is input, the user's hand need not move in the horizontal direction or the vertical direction. That is, by changing only the fingers to be operated in the depth direction at the same position, a double-phoneme or a double voice can be inputted.

도 6a에는 사용자 손동작의 이동 경로(11,22,33,44,55)와, 이에 매칭되는 문자입력 레이어(1,2,3,4,5)가 예시적으로 도시된다.6A shows an exemplary movement path 11, 22, 33, 44, 55 of the user's hand gesture and a character input layer 1, 2, 3, 4, 5 matched therewith.

여기서, 상기 이동 경로(11,22,33,44,55)는 기 설정되고, 기 설정된 이동 경로와 매칭되는 문자입력 레이어(1,2,3,4,5)도 기 설정된다. Here, the movement paths 11, 22, 33, 44, and 55 are previously set, and the character input layers 1, 2, 3, 4, and 5 that match the predetermined movement path are also set.

상기 가상 키보드 제어부(130)는 전술한 바와 같은 기 설정된 매칭 규칙에 따라, 상기 손동작 인식부(120)에서 인식된 손가락 끝점의 3차원 좌표 값 변화와 매칭되는 문자입력 레이어를 결정하고, 결정된 문자입력 레이어를 활성화한다. The virtual keyboard control unit 130 determines a character input layer matched with the three-dimensional coordinate value change of the finger end point recognized by the hand gesture recognition unit 120 according to the predetermined matching rule as described above, Activate the layer.

예컨대, 손가락 끝점의 3차원 좌표 값 변화가 제1 경로(11)로 인식된다면, 상기 가상 키보드 제어부(130)는 제1 문자입력 레이어(1)를 활성화하고, 다른 예로, 제4 경로(44)로 인식된다면, 제4 문자입력 레이어(4)를 활성화할 것이다. For example, if the three-dimensional coordinate value change of the finger end point is recognized as the first path 11, the virtual keyboard control unit 130 activates the first character input layer 1 and, as another example, The fourth character input layer 4 will be activated.

여기서, 문자입력 레이어가 활성화된다는 것은 해당 레이어에 포함되어 있는 문자 중에서 어느 하나의 문자에 대한 선택 입력을 받기 위한 준비가 된 상태를 의미한다. Here, the activation of the character input layer means a state ready for receiving a selection input for any one of the characters included in the corresponding layer.

예컨대, 가상 키보드(10)의 문자입력 레이어(1,2,3,4,5)는 비활성화된 상태가 유지되며, 상기 손동작 인식부(120)에서 인식된 손가락 끝점의 3차원 좌표 값 변화에 매칭되는 어느 하나의 문자입력 레이어 만이 활성화된다.   For example, the character input layers 1, 2, 3, 4, and 5 of the virtual keyboard 10 are kept in an inactivated state, and are matched with changes in three-dimensional coordinate values of the finger end points recognized by the hand- Only one character input layer is activated.

한편, 활성화된 문자입력 레이어를 다른 문자입력 레이어와 구분하기 위해, 가상 키보드 제어부(130)는 활성화된 문자입력 레이어에 일정한 농도(이하, 제1 농도) 음영을 표시할 수 있다.In order to distinguish the activated character input layer from the other character input layers, the virtual keyboard control unit 130 may display a predetermined density (hereinafter referred to as a first density) in the activated character input layer.

도 6b에는 손가락 끝점의 3차원 좌표 값 변화가 제1 경로(11)로 인식된 결과, 자음 [ㄱ,ㄴ,ㄷ]을 입력하기 위한 제1 문자입력 레이어(1)가 활성화된 결과가 도시되고, 도 6c에는 손가락 끝점의 3차원 좌표 값 변화가 제2 경로(22)로 인식된 결과, 자음 [ㅂ,ㅅ,ㅈ]을 입력하기 위한 제2 문자입력 레이어(2)가 활성화된 결과가 도시되고, 도 6d에는 손가락 끝점의 3차원 좌표 값 변화가 제3 경로(33)로 인식된 결과, 자음 [ㅇ]을 입력하기 위한 제3 문자입력 레이어(3)가 활성화된 결과가 도시되고, 도 6e에는 손가락 끝점의 3차원 좌표 값 변화가 제4 경로(44)로 인식된 결과, 모음 [ㅣ,.,ㅡ]을 입력하기 위한 제4 문자입력 레이어(4)가 활성화된 결과가 도시된다.6B shows a result of activation of the first character input layer 1 for inputting the consonants [a, b, c] as a result of recognizing the change of the three-dimensional coordinate value of the finger end point as the first path 11 , Fig. 6C shows a result of activation of the second character input layer 2 for inputting the consonant [f, f, x] as a result of recognizing the change of the three-dimensional coordinate value of the finger end point as the second path 22, Fig. 6D shows the result of activation of the third character input layer 3 for inputting the consonant [o] as a result of recognition of the change in the three-dimensional coordinate value of the finger end point as the third path 33, 6e shows a result of activating the fourth character input layer 4 for inputting the vowel [l,., A] as a result that the change of the three-dimensional coordinate value of the finger end point is recognized as the fourth path 44. [

문자 출력부(140)는 문자입력 레이어가 활성화된 후, 상기 손동작 인식부(120)의 손동작 인식 결과, 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 기 설정된 규칙에 따라 상기 문자입력 레이어에 포함된 문자 중에서 해당 문자를 출력한다.After the character input layer is activated, the character output unit 140 recognizes the hand movement recognition result of the hand movement recognition unit 120 and the three-dimensional coordinate value change of the finger end point, And outputs the corresponding character among the characters.

예컨대, 문자 출력부(140)는 사용자 손을 기준으로 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상으로 인식되는 손가락 끝점에 대응되는 문자를 출력한다. For example, the character output unit 140 outputs a character corresponding to a finger end point at which a change in coordinate value in the depth direction is recognized as being equal to or greater than a predetermined threshold value with reference to the user's hand.

활성화된 문자입력 레이어에서 일부 손가락의 끝점 만이 문자입력을 위한 인터페이스로 활용될 수 있음은 앞서 살펴본 바와 같다. 예컨대, 엄지, 검지, 중지 끝점의 3차원 좌표 값의 변화가 문자입력을 위한 인터페이스로 활용될 수 있으며, 특히 깊이 방향의 좌표 값 변화만이 문자선택 및 출력을 위한 인터페이스로 사용될 수 있다.In the active text input layer, only the end points of some fingers can be used as an interface for text input. For example, the change of the three-dimensional coordinate value of the thumb, index finger, and stop end point can be utilized as an interface for inputting characters, and in particular, only a change in coordinate value in the depth direction can be used as an interface for character selection and output.

본 발명의 일 실시예로서, 상기 문자 출력부(140)는 상기 손동작 인식부(120)의 손동작 인식 결과, 엄지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 가장 좌측에 위치한 문자를 출력하고, 중지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 가장 우측에 위치한 문자를 출력하고, 검지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 중간에 위치한 문자를 출력할 수 있다. 이 때, 상기 가상 키보드 제어부(130)는 선택 또는 출력된 문자가 포함된 키 패드에 임의의 농도(이하, 제2 농도)로 음영을 표시할 수 있다. 여기서, 제2 농도는 활성화된 문자입력 레이어에 표시되는 제1 농도와는 다른 값을 가질 수 있다.In one embodiment of the present invention, when the character output unit 140 recognizes a change in the three-dimensional coordinate value of the thumb end point as a result of recognition of the hand gesture by the hand gesture recognition unit 120, When a change in the three-dimensional coordinate value of the stop finger end point is recognized, the character positioned at the rightmost end is output. When the change in the three-dimensional coordinate value of the index finger end point is recognized, Can be output. At this time, the virtual keyboard controller 130 may display a shadow at an arbitrary density (hereinafter referred to as a second density) on the key pad including the selected or outputted characters. Here, the second concentration may have a different value from the first concentration displayed on the activated character input layer.

도 7a에는 손동작 인식부(120)에서 엄지 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과, 활성화된 제1 문자입력 레이어(1)에 포함된 문자 중에서 가장 좌측에 위치한 ??이 선택 및 출력된 결과가 도시된다. 7A shows a result of recognizing the change of the three-dimensional coordinate value of the thumb end point in the handwriting recognition unit 120. As a result, when the character located at the leftmost of the characters included in the activated first character input layer 1 is selected and output The results are shown.

도 7b에는 손동작 인식부(120)에서 검지 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과, 활성화된 제1 문자입력 레이어(1)에 포함된 문자 중에서 중간에 위치한 ??이 선택 및 출력된 결과가 도시된다.7B shows a result of selecting and outputting a character positioned in the middle among the characters included in the activated first character input layer 1 as a result of recognizing the change in the three-dimensional coordinate value of the index finger end point by the handgrip recognition unit 120 Lt; / RTI >

도 7c에는 손동작 인식부(120)에서 중지 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과, 활성화된 제1 문자입력 레이어(1)에 포함된 문자 중에서 가장 우측에 위치한 ??이 선택 및 출력된 결과가 도시된다.7C shows a result of recognizing the change of the three-dimensional coordinate value of the stop finger end point in the handwriting recognition unit 120. As a result, the character " located at the rightmost " among the characters included in the activated first character input layer 1 is selected and output The results are shown.

이하, 도 8 및 도 9를을 참조하여 본 발명의 실시예에 따라 '기' 문자가 입력되는 과정을 살펴본다. Hereinafter, a process of inputting a 'period' character according to an embodiment of the present invention will be described with reference to FIG. 8 and FIG.

'기' 문자의 입력은 'ㄱ' -> 'ㅣ' 순서로 이루어 진다. 이를 입력하기 위해, 본 발명에 따른 문자입력 장치는 3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드(10)를 제공한다(S10). The input of 'period' character is done in order of 'ㄱ' -> 'ㅣ'. In order to input this, the character input device according to the present invention provides a virtual keyboard 10 composed of a plurality of character input layers having relative coordinate values based on an arbitrary point in a three-dimensional space (S10).

사용자는 제공된 가상 키보드(10) 상에서 사용할 문자입력 레이어를 결정하고, 이에 따라 미리 약속된 규칙대로 손을 이동시킨다. 3차원 카메라는 사용자의 손이 이동하는 것을 촬영하고, 인접한 시간 영역에서 촬영된 3차원 영상 문자입력 장치에 입력된다. The user determines a character input layer to be used on the provided virtual keyboard 10, and accordingly moves his / her hand in accordance with the predetermined rule. The three-dimensional camera captures the movement of the user's hand and is input to the three-dimensional image character input device photographed in the adjacent time region.

문자입력 장치는 입력된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출하고, 인접한 시간 영역에서 검출된 상기 손가락 끝점의 3차원 좌표 값 변화를 인식한다(S20).The character input device detects a three-dimensional coordinate value of the finger end point in the inputted three-dimensional image and recognizes a three-dimensional coordinate value change of the finger end point detected in the adjacent time area (S20).

이후, 문자입력 장치는 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화한다(S30).Thereafter, the character input device activates a character input layer to be used for character input based on the recognition result of the three-dimensional coordinate value change of the finger end point (S30).

그 결과, 'ㄱ'이 포함된 제1 문자입력 레이어(1)가 활성화되며, 이때 상기 제1 문자입력 레이어(1)에는 일정한 농도로 음영이 표시될 수 있다.As a result, the first character input layer 1 including 'a' is activated, and the first character input layer 1 may be displayed with a predetermined density.

한편, 상기 제1 문자입력 레이어(1)는 'ㄱ'을 입력하기 위한 키 패드와, 'ㄴ'을 입력하기 위한 키 패드와, 'ㄷ'을 입력하기 위한 키 패드로 구성되며, 각각의 키 패드는 일정 간격을 두고 수평 방향으로 배열된다. 사용자는 상기 제1 문자입력 레이어(1)에 포함되어 있는 복수의 문자 중에서 'ㄱ'을 선택하기 위해 엄지 손가락을 가볍게 접었다가 펴는 동작을 한다. The first character input layer 1 includes a keypad for inputting a letter 'A', a keypad for inputting 'C', and a keypad for inputting a 'C' The pads are arranged in a horizontal direction at regular intervals. The user performs an operation of slightly folding and straightening the thumb to select 'A' among the plurality of characters included in the first character input layer 1. [

문자입력 장치는 엄지 손가락을 접었다가 펴는 동작이 촬영된 3차원 영상을 분석하여, 사용자의 손가락 끝점 중에서 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상이 되는 것이 무엇인지를 검출한다(S40). The character input device analyzes the three-dimensional image of the thumb and the thumb, and detects whether the change in the coordinate value in the depth direction of the user's fingertip exceeds a preset threshold value at step S40.

그 결과, 엄지 손가락 끝점의 깊이 방향의 변화가 기 설정된 임계 값 이상인 것으로 인식되고, 기 설정된 규칙에 따라 상기 제1 문자입력 레이어(1)에 포함된 문자 중에서 가장 좌측에 위치한 'ㄱ'이 선택 및 출력된다. 이때, 선택된 'ㄱ'을 포함하고 있는 키 패드에는 일정한 농도로 음영이 표시될 수 있다(S50). As a result, it is recognized that the change in the depth direction of the thumb end point is equal to or greater than a predetermined threshold value, and according to a predetermined rule, 'A' located at the leftmost of the characters included in the first character input layer 1 is selected and . At this time, the keypad including the selected 'a' may be displayed with a predetermined density (S50).

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that the invention may be embodied in other specific forms. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents shall be construed as being included within the scope of the present invention.

Claims (6)

사용자 손이 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출하는 좌표 검출부;
인접한 시간 영역에서 촬영된 3차원 영상에서 상기 손가락 끝점의 3차원 좌표 값 변화를 인식하는 손동작 인식부;
3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드를 제공하고, 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화하는 가상 키보드 제어부; 및
상기 문자입력 레이어가 활성화된 후, 상기 손동작 인식부의 손동작 인식 결과, 제1 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 제1 문자를 출력하고, 상기 제1 손가락 끝점과 상이한 제2 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 제1 문자와는 상이한 제2 문자를 출력하는 문자 출력부
를 포함하는 가상 키보드와 손동작 인식을 이용한 문자 입력장치.
A coordinate detector for detecting three-dimensional coordinate values of a finger end point in a three-dimensional image of a user's hand;
A hand gesture recognition unit for recognizing a change in three-dimensional coordinate values of the finger end point in a three-dimensional image photographed in an adjacent time domain;
There is provided a virtual keyboard comprising a plurality of character input layers having relative coordinate values relative to an arbitrary point in a three-dimensional space, the character input method comprising: inputting a character to be used for character input based on a recognized result of a change in three- A virtual keyboard control unit for activating a layer; And
When a change in the three-dimensional coordinate value of the first finger end point is recognized as a recognition result of the gesture recognition operation of the gesture recognition unit after the activation of the character input layer, a first character among the characters included in the activated character input layer is output, When a change in the three-dimensional coordinate value of the second finger end point different from the first finger end point is recognized, the character output unit outputs a second character different from the first character,
And a character input device using handwriting recognition.
제1항에 있어서, 상기 가상 키보드 제어부는,
인식된 상기 손가락 끝점의 3차원 좌표 값 변화가 기 설정된 제1 경로에 매칭되는 경우, 제1 문자입력 레이어를 활성화시키고,
인식된 상기 손가락 끝점의 3차원 좌표 값 변화가 상기 제1 경로와 상이한 기 설정된 제2 경로에 매칭되는 경우, 상기 제1 문자입력 레이어와는 상이한 제2 문자입력 레이어를 활성화시키는 것
인 가상 키보드와 손동작 인식을 이용한 문자 입력장치.
The apparatus of claim 1, wherein the virtual keyboard control unit comprises:
Activating the first character input layer when the recognized three-dimensional coordinate value change of the finger end point matches the predetermined first path,
Activating a second character input layer different from the first character input layer when the recognized three-dimensional coordinate value change of the fingertip matches a predetermined second path different from the first path
A character input device using a virtual keyboard and handwriting recognition.
제1항에 있어서,
상기 가상 키보드 제어부는 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어가 활성화되면, 상기 활성화된 문자입력 레이어에 제1 농도로 음영을 표시하고,
상기 문자 출력부에 의해 출력된 문자에는 상기 제1 농도와 상이한 제2 농도로 음영을 표시하는 것
인 가상 키보드와 손동작 인식을 이용한 문자 입력장치.
The method according to claim 1,
Wherein the virtual keyboard controller displays a shadow of the first density on the activated character input layer when a character input layer to be used for character input is activated based on a recognition result of a change in three-
Wherein the characters output by the character output unit are displayed with a second density different from the first density
A character input device using a virtual keyboard and handwriting recognition.
제1항에 있어서, 상기 문자 출력부는,
사용자 손을 기준으로 상기 가상 키보드를 향한 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상으로 인식되는 손가락 끝점에 대응되는 문자를 출력하는 것
인 가상 키보드와 손동작 인식을 이용한 문자 입력장치.
The apparatus according to claim 1,
And outputting a character corresponding to a finger end point at which a change in coordinate value in the depth direction toward the virtual keyboard with respect to the user's hand is recognized as a predetermined threshold value or more
A character input device using a virtual keyboard and handwriting recognition.
제1항에 있어서, 상기 문자 출력부는,
상기 손동작 인식부의 손동작 인식 결과, 엄지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 상기 활성화된 문자입력 레이어에 포함된 문자 중에서 가장 좌측에 위치한 문자를 출력하고, 중지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 가장 우측에 위치한 문자를 출력하고, 검지 손가락 끝점의 3차원 좌표 값 변화가 인식되면, 중간에 위치한 문자를 출력하는 것
인 가상 키보드와 손동작 인식을 이용한 문자 입력장치.
The apparatus according to claim 1,
When a change in the three-dimensional coordinate value of the thumb end point is recognized as a result of recognition of the hand gesture by the hand gesture recognition unit, the leftmost character among the characters included in the activated character input layer is output, The character positioned at the rightmost position is output, and when the change of the three-dimensional coordinate value of the index finger end point is recognized, the character positioned at the middle position is output
A character input device using a virtual keyboard and handwriting recognition.
사용자 손이 촬영된 3차원 영상에서 손가락 끝점의 3차원 좌표 값을 검출하는 단계;
인접한 시간 영역에서 촬영된 3차원 영상에서 상기 손가락 끝점의 3차원 좌표 값 변화를 인식하는 단계;
3차원 공간 상에서 임의의 점을 기준으로 상대적인 좌표 값을 갖는 복수의 문자입력 레이어로 구성된 가상 키보드에서, 상기 손가락 끝점의 3차원 좌표 값 변화가 인식된 결과에 기초하여 문자입력에 사용될 문자입력 레이어를 활성화하는 단계; 및
상기 활성화된 문자입력 레이어에 포함된 문자 중에서 사용자 손을 기준으로 깊이 방향의 좌표 값 변화가 기 설정된 임계 값 이상으로 인식되는 손가락 끝점에 대응되는 문자를 출력하는 단계
를 포함하는 가상 키보드와 손동작 인식을 이용한 문자 입력방법.Detecting three-dimensional coordinate values of a finger end point in a three-dimensional image of a user's hand;
Recognizing a three-dimensional coordinate value change of the finger end point in a three-dimensional image photographed in an adjacent time domain;
A virtual keyboard comprising a plurality of character input layers having relative coordinate values based on an arbitrary point in a three-dimensional space, characterized in that a character input layer to be used for character input is defined on the basis of a result of recognizing a change in three- Activating; And
Outputting a character corresponding to a finger end point at which a change in coordinate value in the depth direction is recognized as being equal to or greater than a predetermined threshold value with respect to a user's hand among the characters included in the activated character input layer
And a character input method using a handwriting recognition method.
KR1020140092544A 2014-07-22 2014-07-22 Character input apparatus using virtual keyboard and hand gesture recognition and method thereof KR20160011451A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140092544A KR20160011451A (en) 2014-07-22 2014-07-22 Character input apparatus using virtual keyboard and hand gesture recognition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140092544A KR20160011451A (en) 2014-07-22 2014-07-22 Character input apparatus using virtual keyboard and hand gesture recognition and method thereof

Publications (1)

Publication Number Publication Date
KR20160011451A true KR20160011451A (en) 2016-02-01

Family

ID=55353993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140092544A KR20160011451A (en) 2014-07-22 2014-07-22 Character input apparatus using virtual keyboard and hand gesture recognition and method thereof

Country Status (1)

Country Link
KR (1) KR20160011451A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678880B1 (en) 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 Apparatus of providing virtyal keyboard and method contolling thereof
US11709593B2 (en) 2019-09-18 2023-07-25 Samsung Electronics Co., Ltd. Electronic apparatus for providing a virtual keyboard and controlling method thereof
US11941180B2 (en) 2021-09-06 2024-03-26 Samsung Electronics Co., Ltd Electronic device for obtaining user input through virtual keyboard and method of operating the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678880B1 (en) 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 Apparatus of providing virtyal keyboard and method contolling thereof
US9927869B2 (en) 2016-06-28 2018-03-27 Center Of Human-Centered Interaction For Coexistence Apparatus for outputting virtual keyboard and method of controlling the same
US11709593B2 (en) 2019-09-18 2023-07-25 Samsung Electronics Co., Ltd. Electronic apparatus for providing a virtual keyboard and controlling method thereof
US11941180B2 (en) 2021-09-06 2024-03-26 Samsung Electronics Co., Ltd Electronic device for obtaining user input through virtual keyboard and method of operating the same

Similar Documents

Publication Publication Date Title
US10514805B2 (en) Method and apparatus for data entry input
KR101472455B1 (en) User interface apparatus based on hand gesture and method thereof
US9069386B2 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US10268368B2 (en) Method and systems for touch input
CA3051912C (en) Gesture recognition devices and methods
EP2811386A1 (en) Method and apparatus of controlling an interface based on touch operations
JP6165485B2 (en) AR gesture user interface system for mobile terminals
US9430039B2 (en) Apparatus for controlling virtual mouse based on hand motion and method thereof
US10156938B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US10372223B2 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
KR20160011451A (en) Character input apparatus using virtual keyboard and hand gesture recognition and method thereof
US20150253918A1 (en) 3D Multi-Touch
KR101564089B1 (en) Presentation Execution system using Gesture recognition.
KR20140112316A (en) control apparatus method of smart device using motion recognition
US9430702B2 (en) Character input apparatus and method based on handwriting
CN107367966B (en) Man-machine interaction method and device
KR101350314B1 (en) Character input apparatus based on depth information of hand gesture and method thereof
KR101350313B1 (en) Character input apparatus based on hand gesture and method thereof
US10082882B2 (en) Data input apparatus and method therefor
KR101506197B1 (en) A gesture recognition input method using two hands
US10175825B2 (en) Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
KR101327963B1 (en) Character input apparatus based on rotating user interface using depth information of hand gesture and method thereof
KR20190069023A (en) Method of Providing Touchless Input Interface Based on Hand Recognition and The Apparatus Applied Thereto

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination