KR101350313B1 - Character input apparatus based on hand gesture and method thereof - Google Patents
Character input apparatus based on hand gesture and method thereof Download PDFInfo
- Publication number
- KR101350313B1 KR101350313B1 KR1020130095447A KR20130095447A KR101350313B1 KR 101350313 B1 KR101350313 B1 KR 101350313B1 KR 1020130095447 A KR1020130095447 A KR 1020130095447A KR 20130095447 A KR20130095447 A KR 20130095447A KR 101350313 B1 KR101350313 B1 KR 101350313B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- hand gesture
- trajectory
- area
- hand
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 손동작 기반 문자 입력 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 깊이 카메라를 이용하여 사용자의 손동작을 인식하고, 인식된 손동작 및 기 정의된 패턴에 기초하여 문자를 입력하는 장치 및 그 방법에 관한 것이다.The present invention relates to a hand gesture-based text input device and a method thereof, and more particularly, to an apparatus and method for recognizing a user's hand gesture using a depth camera and inputting a character based on a recognized hand gesture and a predetermined pattern. It is about.
지난 수십년간, 전자 디바이스들의 사용은 흔한 일이 되었다. 특히, 전자 기술의 발전은 더욱 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 감소와 소비자 수요는 현대 사회에서 전자 디바이스들이Over the past decades, the use of electronic devices has become commonplace. In particular, advances in electronic technology have reduced the cost of more complex and useful electronic devices. Cost reductions and consumer demand are increasing
사실상 유비쿼터스 (ubiquitous) 하도록 전자 디바이스들의 사용을 확산시켰다. 전자 디바이스들의 사용이 확장되면서, 전자 디바이스들의 새롭고 향상된 피쳐들 (features) 에 대한 수요도 확장되었다. 더 구체적으로는, 더 신속하고, 더 효율적으로 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 추구된다.In fact, it has spread the use of electronic devices to be ubiquitous. As the use of electronic devices has expanded, the demand for new and improved features of electronic devices has also expanded. More specifically, electronic devices that perform functions with faster, more efficient, or higher quality are often sought.
많은 전자 디바이스들은 동작 중에 하나 이상의 인터페이스들을 사용한다. 예를 들면, 컴퓨터들은 상호작용을 위한 사용자 입력을 획득하기 위하여 종종 키보드 및 마우스를 사용한다. 다른 전자 디바이스들은 상호 작용을 위한 사용자 입력을 획득하기 위하여 터치스크린들 및/또는 터치패드들을 사용한다. 이러한 상호작용들 중 많은 상호작용들이 하드웨어 피스 (piece) 와의 직접적인 물리적 상호작용을 요구한다. 예를 들면, 사용자는 키보드를 통하여 텍스트 또는 커맨드들을 입력하기 위하여 키보드 상에서 타이핑 (type) 해야 한다. 또는, 사용자는 마우스를 통하여 컴퓨터와 상호작용하기 위하여 마우스 상의 하나 이상의 버튼들을 물리적으로 이동 및/또는 푸시 (push) 해야 한다.Many electronic devices use one or more interfaces during operation. For example, computers often use a keyboard and a mouse to obtain user input for interaction. Other electronic devices use touch screens and / or touch pads to obtain user input for interaction. Many of these interactions require direct physical interactions with hardware pieces. For example, a user must type on the keyboard to enter text or commands via the keyboard. Alternatively, the user may physically move and / or push one or more buttons on the mouse to interact with the computer via the mouse.
일부의 경우들에서, 입력 또는 커맨드들을 컴퓨팅 디바이스에 제공하기 위하여 하드웨어 피스와 직접적인 상호 작용을 하는 것은 불편하거나 최적이 아닐 수도 있다. 예를 들면, 투영된 프레젠테이션 (projected presentation)을 제공하는 사용자가, 상호작용을 원할 때마다 컴퓨터로 되돌아가야 하는 것은 불편할 수도 있다. 더욱이, 프레젠테이션을 제공하는 동안 마우스 또는 완드 (wand) 와 같은 인터페이스 디바이스를 휴대하는 것은 사용자가 방향성 패드 (directional pad) 를 누름으로써 입력을 제공해야 하거나 사용자가 인터페이스 디바이스를 동작하는 방법에 익숙하지 않으면 불편할 수도 있다. In some cases, it may be inconvenient or non-optimal to have direct interaction with the hardware piece to provide input or commands to the computing device. For example, it may be inconvenient for a user providing a projected presentation to have to return to the computer whenever they want to interact. Moreover, carrying an interface device, such as a mouse or wand during presentation, may be uncomfortable if the user has to provide input by pressing a directional pad or is not familiar with how the user operates the interface device It is possible.
특히, 문자 입력 방식과 관련하여 현재까지 통용중인 한글 입력 시스템들은 음소 이하의 단위를 기본으로 하여 음소를 만들고 이를 조합하여 음절을 구성하는 방법과 자모의 구성을 위하여 2개의 별도의 확장키를 사용하는 방법 등을 주로 사용하고 있다. 그러나, 사용자가 그러한 한글 입력 방법에 숙달되기까지의 필요한 시간과 노력, 다타수 및 자모 색출의 어려움 등은 여전히 한글입력에 있어서 작업능률 저하의 원인이 되고 있다. 또한, 모든 키 내에 문자의 연속배열로 인하여 부득이하게 타자간 대기장애를 초래한다.In particular, the Hangul input systems currently in use in relation to the character input method make phonemes based on units below phonemes and use two separate extension keys to form syllables by combining them and to compose a letter. The method is mainly used. However, the time and effort required for the user to master the Hangul input method, the difficulty in finding the number of strokes and the Jamo, etc. still cause the deterioration of the work efficiency in the Hangul input. In addition, the continuous arrangement of characters in all keys inevitably leads to inter-waiting disturbances.
이러한 문제점들에 대한 그 동안의 개선 노력에도 불구하고 여전히 만족할 만한 성과를 얻지 못하고 있는 실정이다. 따라서, 입력속도를 높일 수 있는 더욱 편리하고 능률적인 한글입력 방법 및 그와 관련된 축소형 한글자판의 개발이 절실히 요구되고 있다.Despite efforts to improve these problems, the situation is still not satisfactory. Therefore, there is an urgent need for the development of a more convenient and efficient Hangul input method that can increase the input speed and a reduced Hangul keyboard related thereto.
본 발명은 상술한 문제점을 해결하기 위하여, 깊이 카메라를 이용하여 사용자의 손동작을 인식하고, 인식된 손동작에 기초하여 비접촉식으로 문자 패턴을 형성하며, 형성된 패턴에 해당하는 문자를 입력하는 장치 및 이를 이용한 문자 입력방법을 제공하는 것을 목적으로 한다.The present invention to solve the above problems, using a depth camera to recognize the user's hand gestures, form a character pattern in a non-contact manner based on the recognized hand gesture, and input the character corresponding to the formed pattern and using the same It is an object to provide a character input method.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 손 동작 기반 문자 입력장치는 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하는 영상 처리부, 분리된 손 영역의 수평 방향, 수직 방향, 대각선 방향의 동작을 인식하는 손동작 인식부, 디스플레이 상에 패턴 입력 영역을 표시하고, 상기 패턴 입력 영역 상에서 인식된 손동작의 궤적을 추적하여, 상기 인식된 손동작에 해당하는 패턴을 생성하는 패턴 생성부, 및 생성된 패턴을 기 설정된 패턴과 매칭하여, 이에 해당하는 문자를 입력하는 패턴 매칭부을 포함한다.According to an aspect of the present invention, there is provided a hand gesture-based character input apparatus according to an aspect of the present invention, an image processor which separates a user's hand region from an image captured by a depth camera, and a horizontal, vertical, and diagonal direction of the separated hand region. A hand gesture recognition unit recognizing a gesture of a handset, a pattern generation unit displaying a pattern input area on a display, tracking a trajectory of the hand gesture recognized on the pattern input area, and generating a pattern corresponding to the recognized hand gesture, and generating And a pattern matching unit that matches the pattern with a preset pattern and inputs a character corresponding thereto.
바람직하게는, 상기 패턴 입력 영역은 상기 디스플레이 상에서 상대적인 좌표 값을 갖는 적어도 하나 이상의 스팟(spot)을 포함하되, 상기 패턴 생성부는 인식된 손동작에 해당하는 궤적을 상기 패턴 입력 영역 상에서 표시할 수 있다.Preferably, the pattern input area includes at least one spot having a relative coordinate value on the display, and the pattern generator may display a trajectory corresponding to a recognized hand gesture on the pattern input area.
다른 한편으로, 상기 패턴 생성부는 인식된 손동작에 해당하는 궤적 상에 위치하는 적어도 하나 이상의 스팟이 상기 궤적 상에 있지 않는 스팟과 구분되도록 변형하여 표시한다.On the other hand, the pattern generation unit deforms and displays at least one or more spots located on the locus corresponding to the recognized hand gesture to be distinguished from spots not on the locus.
이때, 상기 패턴 생성부는 상기 궤적 상에 위치하는 적어도 하나 이상의 스팟의 크기 및 색상 중 어느 하나를 변형하여 표시할 수 있다.In this case, the pattern generation unit may display any one of the size and color of at least one or more spots located on the trajectory.
다른 한편으로, 상기 패턴 생성부는 상기 패턴 매칭부에서 패턴 매칭 결과, 해당하는 문자의 입력이 완료되면, 상기 디스플레이 상에 표시된 궤적을 삭제하는 한다.On the other hand, the pattern generation unit deletes the trajectory displayed on the display when input of the corresponding character is completed as a result of the pattern matching in the pattern matching unit.
바람직한 실시예에 있어서, 상기 패턴 입력 영역은 일정 간격으로 이격되어 가로 및 세로 방향으로 정렬되어 표시되는 적어도 하나 이상의 스팟(spot)을 포함하고, 자음 패턴이 생성되는 제1 영역과, 모음 패턴이 생성되는 제2 영역과, 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 구성될 수 있다.In an exemplary embodiment, the pattern input area includes at least one spot spaced apart at regular intervals and displayed in a horizontal and vertical direction, the first area in which a consonant pattern is generated, and a vowel pattern are generated. And a third area for providing a control interface required for text input.
이때, 상기 패턴 입력 영역은 상기 패턴 매칭부에서 패턴 매칭 결과 출력되는 문자를 표시하는 문자출력 영역을 포함할 수 있다. In this case, the pattern input area may include a character output area for displaying a character output as a result of the pattern matching from the pattern matching unit.
전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 손 동작 기반 문자 입력방법은 깊이 카메라로 촬영된 영상에서 사용자의 손 영역을 분리하고, 분리된 사용자의 손 영역의 동작을 인식하는 단계; 디스플레이 상에 패턴 입력 영역을 제공하고, 인식된 손 영역의 동작에 해당하는 궤적을 표시하는 단계; 및 상기 궤적을 기 설정된 패턴과 매칭하여, 이에 해당하는 문자를 입력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for inputting a hand motion based character according to another aspect of the present invention, comprising: separating a user's hand region from an image captured by a depth camera and recognizing a motion of the separated user's hand region; Providing a pattern input area on the display and displaying a trajectory corresponding to an operation of the recognized hand area; And matching the trajectory with a preset pattern and inputting a character corresponding thereto.
여기서, 상기 패턴 입력 영역은 상기 디스플레이 상에서 상대적인 좌표 값을 갖는 적어도 하나 이상의 스팟(spot)을 포함하는 것을 특징으로 한다.The pattern input area may include at least one spot having a relative coordinate value on the display.
일 실시예에 있어서, 상기 궤적을 표시하는 단계는 상기 궤적 상에 위치하는 적어도 하나 이상의 스팟이 상기 궤적 상에 있지 않는 스팟과 구분되도록 변형하여 표시하는 단계를 포함한다. In one embodiment, the displaying of the trajectory may include modifying and displaying the at least one spot located on the trajectory so as to be distinguished from a spot not on the trajectory.
이때, 상기 변형하여 표시하는 단계는 상기 궤적 상에 위치하는 적어도 하나 이상의 스팟의 크기 및 색상 중 어느 하나를 변형하여 표시하는 단계를 포함할 수 있다.In this case, the deforming and displaying may include modifying and displaying any one of sizes and colors of at least one or more spots located on the trajectory.
한편, 상기 패턴 매칭 결과, 해당하는 문자의 입력이 완료되면, 상기 디스플레이 상에 표시된 궤적을 삭제하는 단계를 더 포함할 수 있다. Meanwhile, when the input of the corresponding character is completed as a result of the pattern matching, the method may further include deleting the trajectory displayed on the display.
여기서, 상기 패턴 입력 영역은 일정 간격으로 이격되어 가로 및 세로 방향으로 정렬되어 표시되는 적어도 하나 이상의 스팟(spot)을 포함하고, 자음 패턴이 생성되는 제1 영역과, 모음 패턴이 생성되는 제2 영역과, 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 구성된다.Here, the pattern input area includes at least one spot spaced apart at regular intervals and arranged in horizontal and vertical directions, the first area in which a consonant pattern is generated, and the second area in which a vowel pattern is generated. And a third area for providing a control interface required for character input.
상술한 바와 같이 본 발명에 따르면, 원거리에서 사용자가 리모컨 등의 별도의 컨트롤 장치가 없어도 본인의 손 동작으로 기능을 구현할 수 있고, 이로 인해 경제적인 부담이 없으며, 사용하기 편리한 효과가 있다.As described above, according to the present invention, even if the user does not have a separate control device such as a remote controller at a remote location, the user can implement the function by hand operation, thereby avoiding an economic burden and convenient use.
도 1은 본 발명의 실시예에 따른 손 동작 기반 문자 입력방법이 제공되는 시스템 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따른 손 동작 기반 문자 입력장치의 블록 구성도.
도 3은 본 발명의 실시예에서 제공되는 패턴 입력 영역을 도시한 예시도.
도 4는 본 발명의 실시예에서 문자 입력에 사용되는 손동작 패턴을 도시한 예시도.
도 5a 및 도 5b는 본 발명의 실시예에서 ?? 및 ??이 입력되는 과정을 도시한 예시도.
도 6은 본 발명의 실시예에서 완성된 문자 ??이 입력되는 과정을 도시한 예시도.
도 7은 본 발명의 실시예에 따른 손동작 기반 문자 입력방법을 도시한 흐름도이다.1 is a diagram illustrating a system environment in which a hand gesture-based text input method is provided according to an exemplary embodiment of the present invention.
2 is a block diagram of a hand gesture-based character input apparatus according to an embodiment of the present invention.
3 is an exemplary view showing a pattern input area provided in an embodiment of the present invention.
4 is an exemplary view showing a hand gesture pattern used for character input in an embodiment of the present invention.
5A and 5B illustrate embodiments of the present invention. And exemplarily illustrating a process of inputting ??.
6 is an exemplary view illustrating a process of inputting a completed letter ?? in an embodiment of the present invention.
7 is a flowchart illustrating a hand gesture-based character input method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, like reference numerals refer to like elements throughout. In the drawings, like reference numerals are used to denote like elements, and in the description of the present invention, In the following description, a detailed description of the present invention will be omitted.
한편, 본원에서 사용되는 용어 "무선 통신 디바이스" 는 일반적으로 기지국 또는 다른 전자 디바이스와 무선으로 통신할 수도 있는 전자 디바이스 (예를 들면, 액세스 단말, 클라이언트 단말, 클라이언트 스테이션 등) 를 지칭한다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입국, 사용자 장비 (UE), 원격지국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 하나 이상의 표준들 (예를 들면, 3세대 파트너십 프로젝트 (3GPP), Wi-Max, 미국 전기 전자 학회 (IEEE) 802.11 또는 Wi-Fi 등) 에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따른 다양한 명명법들로 설명된 무선 통신 디바이스들 (액세스 단말, 사용자 장비 (UE), 원격 단말 등)을 포함할 수도 있다.The term "wireless communication device " as used herein, on the other hand, generally refers to an electronic device (e.g., an access terminal, a client terminal, a client station, etc.) that may communicate wirelessly with a base station or other electronic device. The wireless communication device may alternatively be referred to as a mobile device, a mobile station, a subscriber station, a user equipment (UE), a remote station, an access terminal, a mobile terminal, a terminal, a user terminal, Examples of wireless communication devices include laptop or desktop computers, cellular phones, smart phones, wireless modems, e-readers, tablet devices, gaming systems, and the like. The wireless communication devices may operate in accordance with one or more standards (e.g., 3GPP, Wi-Max, IEEE 802.11 or Wi-Fi, etc.). Thus, the generic term "wireless communication device" may include wireless communication devices (access terminal, user equipment (UE), remote terminal, etc.) described in various nomenclature according to industry standards.
도 1은 본 발명의 실시예에 따른 손동작 기반 문자 입력장치가 제공되는 시스템 환경을 도시한 도면이다. 1 is a diagram illustrating a system environment in which a hand gesture-based character input device is provided according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 손동작 기반 문자 입력장치는 깊이 카메라를 구비한 무선 통신 디바이스에서 문자 입력 인터페이스를 제공하는데 사용될 수 있다. 예컨대, 사용자가 원거리에서 손 동작으로 특정 문자열을 입력하고, 이를 인식하여 이에 매칭되는 문자열을 디스플레이 상에 표시한다. As shown in FIG. 1, a hand gesture-based character input apparatus according to an embodiment of the present invention may be used to provide a character input interface in a wireless communication device having a depth camera. For example, a user inputs a specific character string by a hand gesture at a distance, recognizes it, and displays a character string matching thereon on the display.
인식되는 사용자의 손 동작은 상기 장치에서 추적되어 그 궤적인 추정되고, 추정된 손 동작의 궤적은 디스플레이 상에서 표시되어 사용자는 자신의 손동작이 정확하게 인식되고 있는지 여부를 확인할 수 있다. 여기서, 손 동작의 궤적은 디스플레이 상의 특정 영역에서 표시되고, 그 특정 영역에서는 손 동작의 궤적뿐만 아니라, 상기 궤적에 매칭된 문자열 출력까지 표시되며, 문자열 삭제, 완성된 문자열 입력(enter) 등의 입력 인터페이스를 제공할 수 있다. The recognized user's hand gesture is tracked by the device to estimate its trajectory, and the estimated hand gesture's trajectory is displayed on the display so that the user can confirm whether his or her hand gesture is correctly recognized. Here, the trajectory of the hand motion is displayed in a specific area on the display, and in the specific area, not only the trajectory of the hand motion but also the string output matched to the trajectory is displayed, and the input of deleting a string or a completed string enter is performed. It can provide an interface.
이하, 도 2 내지 도 6을 참조하여, 전술한 기능을 수행하는 손 동작 기반 문자 입력장치를 구체적으로 설명한다. 도 2는 본 발명의 실시예에 따른 손 동작 기반 입력장치의 블록 구성도이다. Hereinafter, a hand gesture-based text input apparatus that performs the above-described function will be described in detail with reference to FIGS. 2 to 6. 2 is a block diagram of a hand gesture-based input device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 손 동작 기반 문자 입력장치는 영상 처리부(110), 손동작 인식부(120), 패턴 생성부(130), 및 패턴 매칭부(140)를 포함하여 구성된다. Referring to FIG. 2, a hand gesture-based character input device according to an embodiment of the present invention includes an
영상 처리부(110)는 입력된 깊이 영상을 처리하여 사용자의 손이 촬영된 깊이 영상에서 상기 사용자의 손 영역을 분리하여 추출한다.The
여기서, 영상 처리부(110)에는 단말에 탑재된 깊이 카메라에서 촬영된 영상 데이터가 입력된다. 깊이 카메라(Depth camera)는 장면 내의 객체와의 거리 정보를 생성한다. 일 예로, Time-of-Flight(TOF) 기술을 이용하는 카메라가 대표적이다. 깊이 카메라는 적외선 혹은 광 신호를 장면에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하여 깊이 영상으로 출력한다. Here, the
손동작 인식부(120)는 상기 영상 처리부(110)에서 분리된 손 영역의 동작(이동 경로)를 인식한다. 예컨대, 손 영역의 수평 방향, 수직 방향, 대각선 방향의 동작을 인식한다. The hand
패턴 생성부(130)는 본 발명에 따른 문자 입력장치가 제공되는 단말의 디스플레이 상에 패턴 입력 영역을 표시하고, 인식된 손동작의 궤적을 추적하여 상기 궤적에 해당하는 패턴을 상기 패턴 입력 영역 상에 생성한다.The
상기 패턴 입력 영역의 일 실시예는 도 3에 구체적으로 도시된다. 도 3은 본 발명의 실시예에서 제공되는 패턴 입력 영역을 도시한 예시도이다. An embodiment of the pattern input area is specifically illustrated in FIG. 3. 3 is an exemplary view showing a pattern input area provided in an embodiment of the present invention.
도 3을 참조하면, 상기 패턴 입력 영역은 상대적인 좌표 값을 갖는 적어도 하나 이상의 스팟(spot)으로 구성된다. 여기서, 각각의 스팟은 상대적인 좌표 값을 가지는데, 좌측 상단에 위치하는 스팟을 기준으로 하면 각 스팟에 상대적인 좌표 값을 설정하면 도 3에 도시된 바와 같다. 예컨대, 좌측 상단에 위치하는 스팟의 좌표 값이 (0, 0)이라면 우측에 위치하는 스팟의 좌표 값은(1, 0), 아래에 위치하는 스팟의 좌표 값은(0, 1)이 된다.Referring to FIG. 3, the pattern input area includes at least one spot having relative coordinate values. Here, each spot has a relative coordinate value, and when the coordinate value relative to each spot is set based on the spot located on the upper left side, it is as shown in FIG. 3. For example, if the coordinate value of the spot located on the upper left is (0, 0), the coordinate value of the spot located on the right is (1, 0), and the coordinate value of the spot located below is (0, 1).
도 3에서 각각의 스팟은 원형으로 형성되고, 일정한 간격을 가지면서 위/아래 방향으로 이격되어 위치하는 것으로 도시되었지만, 본 발명의 실시예가 이에 한정되는 것은 아니다. 설명의 편의를 위해, 도 3에 도시된 바를 참조하여 패턴 입력 영역의 구체 구성을 설명한다. In FIG. 3, each spot is formed in a circular shape and is spaced apart in the up / down direction at regular intervals, but embodiments of the present invention are not limited thereto. For convenience of description, the specific configuration of the pattern input area will be described with reference to FIG. 3.
전술한 바와 같이, 패턴 입력 영역을 구성하는 각각의 스팟은 위/아래 방향으로 일정한 간격을 두고 이격되어 위치한다. 가로 방향으로 4개의 스팟, 세로 방향으로 4개의 스팟 형태의 정방형의 구조를 가진다. As described above, each spot constituting the pattern input area is spaced apart at regular intervals in the up / down direction. It has a square structure of four spots in the horizontal direction and four spots in the vertical direction.
또한, 상기 패턴 입력 영역은 인식된 손 동작의 궤적이 표시되는 영역과 함께 패턴 매칭 결과 출력되는 문자를 표시하는 문자출력 영역을 더 포함할 수 있다. 예시적으로 도 3에서는 문자출력 영역이 궤적이 표시되는 영역의 상단에 위치하는 것으로 도시되었지만, 본 발명의 실시예가 이에 한정되는 것은 아니다.The pattern input area may further include a text output area for displaying a character output as a result of pattern matching together with an area in which a trace of the recognized hand motion is displayed. For example, in FIG. 3, the text output area is illustrated as being positioned above the area where the trajectory is displayed, but embodiments of the present invention are not limited thereto.
상기 패턴 입력 영역은 자음 패턴이 생성되는 제1 영역과, 모음 패턴이 생성되는 제2 영역과, 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 구성될 수 있다. The pattern input area may include a first area in which a consonant pattern is generated, a second area in which a vowel pattern is generated, and a third area in which a control interface required for text input is provided.
일 실시예로서, 상기 제1 영역은 좌측 (0, 1) 스팟부터 (1, 1) 스팟까지 4개의 스팟으로 구성되는 정방형의 영역이고, 상기 제1 영역을 제외한 나머지 영역이 모음 패턴을 생성할 수 있는 제2 영역으로 지정되는데, 상기 제2 영역 중에서 특정 좌표 값을 가지는 스팟을 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 지정할 수 있다. 예컨대, 도 3에 도시된 패턴 입력 영역 중에서 (2, 0)의 좌표 값을 가지는 스팟은 지우기(delete) 기능, (3, 0)의 좌표 값을 가지는 스팟은 띄어쓰기 기능, (3, 3)의 좌표 값을 가지는 스팟은 엔터(enter)의 기능을 가지는 인터페이스를 제공하도록 지정될 수 있다.In one embodiment, the first region is a square region consisting of four spots from the left (0, 1) spot to the (1, 1) spot, and the remaining regions except for the first region may generate a vowel pattern. The second area may be designated as a third area that provides a control interface required for text input. For example, a spot having a coordinate value of (2, 0) in the pattern input area illustrated in FIG. 3 is a delete function, a spot having a coordinate value of (3, 0) is a spacing function, and (3, 3) Spots with coordinate values may be designated to provide an interface with the function of an enter.
한편, 패턴 생성부(130)는 인식된 손동작의 궤적을 추적하여, 상기 궤적에 해당하는 패턴을 패턴 입력 영역 상에 표시하여 사용자로 하여금 자신의 손동작이 정확하게 인식되고 있는지 여부를 확인할 수 있게 한다. Meanwhile, the
도 5a 및 도 5b는 본 발명의 실시예에서 ？？ 및 ？？이 입력되는 과정을 도시한 예시도인데, 이를 참조하여 상기 패턴 생성부(130)가 인식된 손동작의 궤적을 상기 패턴 입력 영역 상에서 어떻게 표시하는지 여부를 살펴본다. 5A and 5B are exemplary diagrams illustrating a process of inputting? And? In an embodiment of the present invention. Referring to this, the traces of the hand motions recognized by the
이를 설명하기 앞서, 손 동작을 이용하여 문자 입력 인터페이스를 제공하기 위해서는 각 문자에 해당하는 손동작 패턴이 사전에 정의되어야 한다. 사용자는 약속된 패턴을 손동작으로 그리고, 본 발명에 따른 문자 입력장치는 이를 인식하여, 인식된 패턴에 해당하는 문자를 출력한다. 사전에 정의된 문자 패턴은 도 4에 도시된다. Before describing this, in order to provide a character input interface using a hand gesture, a hand gesture pattern corresponding to each character should be defined in advance. The user draws a promised pattern by hand, and the character input device according to the present invention recognizes it and outputs a character corresponding to the recognized pattern. Predefined character patterns are shown in FIG. 4.
도 4에 따르면, 기본적인 문자 입력을 위해서는 초성 19, 중성 21개를 표현할 수 있어야 한다. 구체적으로 초성 "ㄱ", "ㄲ", "ㄴ", "ㄷ", "ㄸ", "ㄹ", "ㅁ", "ㅂ", "ㅃ", "ㅅ", "ㅆ", "ㅇ", "ㅈ", "ㅉ", "ㅊ", "ㅋ", "ㅌ", "ㅍ", "ㅎ" 중에서, 쌍자음 (ㄲ,ㄸ,ㅃ,ㅆ,ㅉ) 5개를 제외한 14개의 패턴이 필요하고, According to FIG. 4, it is necessary to express the first 19 and the neutral 21 for basic character input. Specifically, consonants "ㄱ", "ㄲ", "ㄴ", "ㄷ", "ㄸ", "ㄹ", "ㅁ", "ㅂ", "ㅃ", "ㅅ", "ㅆ", "ㅇ" , 14 patterns, except for 5 consonants (ㄲ, ㄸ, ㅃ, ㅆ, ㅉ), among the "ㅈ", "ㅉ", "ㅊ", "ㅋ", "ㅌ", "ㅍ", "ㅎ" Need this,
중성 "ㅏ", "ㅐ", "ㅑ", "ㅒ", "ㅓ", "ㅔ", "ㅕ", "ㅖ", "ㅗ", "ㅘ", "ㅙ", "ㅚ", "ㅛ", "ㅜ", "ㅝ", "ㅞ", "ㅟ", "ㅠ", "ㅡ", "ㅢ", "ㅣ" 모음의 경우 "ㅏ"+"ㅣ" = "ㅐ"와 같이 문자를 생성한다면, 10개의 패턴으로 모든 중성을 생성할 수 있다. 따라서, 자음 14개, 둘 이상의 모음자가 모여 이루어진 이중모음(ㅐ,ㅔ,ㅒ,ㅖ,ㅘ,ㅝ,ㅢ,ㅚ,ㅟ,ㅙ,ㅞ을 제외한 모음 10개의 패턴으로 한글 표현이 가능하다(총24개 패턴).Neutral "ㅏ", "ㅐ", "ㅑ", "ㅒ", "ㅓ", "ㅔ", "ㅕ", "ㅖ", "ㅗ", "ㅘ", "ㅙ", "ㅚ", " For 모음 "," ㅜ "," ㅝ "," ㅞ "," ㅟ "," ㅠ "," ㅡ "," ㅢ "," ㅣ "collection, like" ㅏ "+" ㅣ "=" ㅐ " If you create a character, you can create all neutrals in 10 patterns. Therefore, Korean consonants can be expressed in 10 vowel patterns except 14 consonants and double vowels (ㅐ, 이상의, ㅒ, ㅖ, ㅐ, ㅝ, ㅢ, ㅚ, ㅟ, ㅙ, ㅞ). 24 patterns).
도 4 및 도 5a를 참조하면, ？？의 입력 패턴은 최대한 각 글자의 형태를 따라 제작된 것을 알 수 있다. 자음 패턴의 입력 영역은 좌측 상단에서부터 4개의 스팟으로 구성된 정방형 영역이고, 사용자의 손동작은 (0, 0) 좌표 값에 해당하는 스팟에서부터 시작하는 것으로 인식되며, 사용자의 손동작이 (1, 1) 좌표 값에 해당하는 스팟에서 인식된다면, 문자 입력 기능은 초기화 상태로 진입하며, 새로운 문자를 쓰기 위한 준비를 한다. Referring to Figs. 4 and 5A, it can be seen that the input pattern of? Is produced according to the shape of each letter as much as possible. The input area of the consonant pattern is a square area consisting of four spots from the upper left, and the user's hand gesture is recognized as starting from the spot corresponding to the (0, 0) coordinate value, and the user's hand gesture is the (1, 1) coordinate. If it is recognized at the spot corresponding to the value, the character input function enters the initialization state and prepares to write a new character.
또한, 사용자의 손동작 궤적(이동 경로)는 표시되며, 자음 또는 모음이 입력이 완료되면 그 궤적은 지워진다. 예컨대, 도 5a 및 도 5b에 도시된 바와 같이 상기 궤적 상에 위치하는 적어도 하나 이상의 스팟의 색상을 변경하여 해당 궤적을 표시할 수 있다. 다른 한편으로, 상기 궤적 상에 위치하는 스팟의 크기를 변경(확대 또는 축소)하여 해당 궤적을 표시할 수도 있다.In addition, the user's hand movement trajectory (movement path) is displayed, and the trajectory is erased when the consonant or vowel is completed. For example, as illustrated in FIGS. 5A and 5B, a color of at least one spot located on the trajectory may be changed to display a corresponding trajectory. On the other hand, the corresponding trajectory may be displayed by changing (zoom in or reducing) the size of the spot located on the trajectory.
도 6은 본 발명의 실시예에서 완성된 문자 '가'이 입력되는 과정을 도시한 예시도이다. 6 is an exemplary view illustrating a process of inputting a completed letter 'ga' in an embodiment of the present invention.
'가' 문자의 입력은 'ㄱ' -> 'ㅏ' 순서로 이루어진다. 사용자는 사전의 정의된 패턴을 손동작으로 그리며, 인식된 손동작은 패턴 입력 영역 상에 표시된다.The input of 'a' character is made in order of 'ㄱ'-> 'ㅏ'. The user draws a predefined pattern by hand gesture, and the recognized hand gesture is displayed on the pattern input area.
전술한 바와 같이, 사용자의 손동작은 좌측 상단의 (0, 0) 좌표 값에 해당하는 스팟에서부터 시작하는 것으로 인식되며, (1, 0) 스팟을 거쳐 (1, 1) 스팟까지 이동하는 궤적을 그린다. 이때, (0, 0) 스팟, (1, 0) 스팟, (1, 1) 스팟은 사용자의 손동작이 해당 스팟을 지나가는 순간 색상이 변경된다. 이와 동시에, 문자를 표시하는 문자출력 영역에는 'ㄱ'이 출력되며, 표시된 궤적은 삭제된다. 사용자는 자신의 손동작의 궤적과 그 결과 출력되는 문자를 확인할 수 있게 된다.As described above, the user's hand gesture is recognized as starting from the spot corresponding to the (0, 0) coordinate value in the upper left corner, and draws a trajectory moving through the (1, 0) spot to the (1, 1) spot. . In this case, the color of the spot (0, 0), the spot (1, 0), and the spot (1, 1) changes as soon as the user's hand passes the spot. At the same time, a letter is displayed in the letter output area displaying the letter, and the displayed trajectory is deleted. The user can check the trajectory of his hand gesture and the resulting text.
한편, (1, 1) 스팟에 사용자의 손동작이 인식되면, 문자 입력 기능은 초기화 상태로 진입하며, 새로운 문자를 쓰기 위한 준비를 한다. 이후, 사용자의 손동작이 (1, 1) 스팟에서 (2, 1) 스팟에 인식된다면, (2, 1) 스팟의 색상이 변경됨과 동시에, 또는 일정 시간 이후 완성된 문자 '가'가 문자출력 영역에 표시되며, 표시된 궤적은 삭제된다. On the other hand, when the user's hand gesture is recognized at the spot (1, 1), the character input function enters the initialization state and prepares for writing a new character. Then, if the user's hand gesture is recognized at the spot (2, 1) at the spot (1, 1), the color of the (2, 1) spot is changed at the same time or after a certain time, the completed character 'ga' is displayed in the character output area. Are displayed on the track, and the displayed trajectory is deleted.
패턴 매칭부(140)는 생성된 패턴을 기 설정된 패턴과 매칭하여, 이에 해당하는 문자를 출력한다.The
예컨대, 문자 입력을 위한 패턴은 도 4에 도시된 바와 같이 사전에 정의되며, 상기 패턴에 관련된 데이터는 본 발명에 따른 문자 입력장치 내부 메모리에 저장되거나, 또는 외부 저장매체에 저장될 수 있다. 상기 패턴에 관련된 데이터는 갱신 가능하며, 외부 저장 매체에 저장된 데이터를 다운로드하여 사용할 수 있다.For example, a pattern for character input is defined in advance as shown in FIG. 4, and the data related to the pattern may be stored in an internal memory of a character input apparatus according to the present invention, or may be stored in an external storage medium. Data related to the pattern can be updated, and data stored in an external storage medium can be downloaded and used.
전술한 손동작 기반 문자 입력장치가 구체적으로 어떻게 문자 입력 인터페이스를 제공하는지에 대해 도 7를 참조하여 설명하도록 한다. 도 7은 본 발명의 실시예에 따른 손동작 기반 문자 입력방법을 도시한 흐름도이다. A method of specifically providing a text input interface by the above-described gesture-based text input apparatus will be described with reference to FIG. 7. 7 is a flowchart illustrating a hand gesture-based character input method according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 실시예에 따른 손동작 기반 가상 마우스 제어방법은 손 동작 인식 단계(S10), 인식된 손 동작에 기초하여 패턴을 생성하는 단계(S20), 생성된 패턴에 매칭되는 문자를 출력하는 단계(S30)를 포함한다.Referring to FIG. 7, in the hand gesture-based virtual mouse control method according to an exemplary embodiment of the present invention, a hand gesture recognition step S10, a step of generating a pattern based on the recognized hand gesture S20, and matching the generated pattern Outputting a character (S30).
손동작에 기반하여 문자 입력하는 각 단계가 구체적으로 어떻게 구성되는지에 대해서는 앞서 설명하였으므로 그 구체적인 방법에 대해서는 생략하기로 한다. Since the steps of inputting characters in detail based on the hand gesture have been described above in detail, the detailed method will be omitted.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that the invention may be embodied in other specific forms. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
Claims (13)
분리된 손 영역의 수평 방향, 수직 방향, 대각선 방향의 동작을 인식하는 손동작 인식부;
디스플레이 상에 패턴 입력 영역을 표시하고, 상기 패턴 입력 영역 상에서 인식된 손동작의 궤적을 추적하여, 상기 인식된 손동작에 해당하는 패턴을 생성하는 패턴 생성부; 및
생성된 패턴을 기 설정된 패턴과 매칭하여, 이에 해당하는 문자를 출력하는 패턴 매칭부를 포함하되,
상기 패턴 입력 영역은,
일정 간격으로 이격되어 가로 및 세로 방향으로 정렬되어 표시되는 적어도 하나 이상의 스팟(spot)을 포함하고, 자음 패턴이 생성되는 제1 영역과, 모음 패턴이 생성되는 제2 영역과, 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 구성되는 것
인 손동작 기반 문자 입력장치.
An image processor which separates a user's hand region from an image captured by the depth camera;
A hand gesture recognition unit configured to recognize a motion in a horizontal direction, a vertical direction, and a diagonal direction of the separated hand region;
A pattern generator configured to display a pattern input area on a display, track a trace of a hand gesture recognized on the pattern input area, and generate a pattern corresponding to the recognized hand gesture; And
Including a pattern matching unit for matching the generated pattern with a predetermined pattern, and outputs the corresponding character,
The pattern input area,
A first area in which consonant patterns are generated, a second area in which a vowel pattern is generated, and a control necessary when inputting characters Consisting of a third area providing an interface
Hand gesture based character input device.
상기 패턴 입력 영역은 상기 디스플레이 상에서 상대적인 좌표 값을 갖는 적어도 하나 이상의 스팟(spot)을 포함하되,
상기 패턴 생성부는 인식된 손동작에 해당하는 궤적을 상기 패턴 입력 영역 상에서 표시하는 것
인 손동작 기반 문자 입력장치.
The method of claim 1,
The pattern input area includes at least one spot having relative coordinate values on the display,
The pattern generating unit displays a trajectory corresponding to the recognized hand gesture on the pattern input area.
Hand gesture based character input device.
인식된 손동작에 해당하는 궤적 상에 위치하는 적어도 하나 이상의 스팟이 상기 궤적 상에 있지 않는 스팟과 구분되도록 변형하여 표시하는 것
인 손동작 기반 문자 입력장치.
The method of claim 2, wherein the pattern generator,
Wherein at least one spot located on the trajectory corresponding to the recognized hand gesture is deformed to be distinguished from a spot not on the trajectory
Hand gesture based character input device.
상기 궤적 상에 위치하는 적어도 하나 이상의 스팟의 크기 및 색상 중 어느 하나를 변형하여 표시하는 것
인 손동작 기반 문자 입력장치.
The method of claim 3, wherein the pattern generator,
Modifying and displaying any one of sizes and colors of at least one spot located on the trajectory
Hand gesture based character input device.
상기 패턴 매칭부에서 패턴 매칭 결과, 해당하는 문자의 입력이 완료되면, 상기 디스플레이 상에 표시된 궤적을 삭제하는 것
인 손동작 기반 문자 입력장치.
The method of claim 2, wherein the pattern generator,
Deleting the trajectory displayed on the display when the input of the corresponding character is completed as a result of the pattern matching in the pattern matching unit;
Hand gesture based character input device.
상기 패턴 매칭부에서 패턴 매칭 결과 출력되는 문자를 표시하는 문자출력 영역을 더 포함하는 것
인 손동작 기반 문자 입력장치.
The method of claim 1, wherein the pattern input area,
The pattern matching unit further comprises a character output area for displaying a character output as a result of pattern matching.
Hand gesture based character input device.
디스플레이 상에 패턴 입력 영역을 제공하고, 인식된 손 영역의 동작에 해당하는 궤적을 표시하는 단계; 및
상기 궤적을 기 설정된 패턴과 매칭하여, 이에 해당하는 문자를 입력하는 단계를 포함하되,
상기 패턴 입력 영역은 상기 디스플레이 상에서 상대적인 좌표 값을 갖는 적어도 하나 이상의 스팟(spot)을 포함하는 것
인 손동작 기반 문자 입력방법.
Separating the user's hand region from the image captured by the depth camera and recognizing the motion of the separated user's hand region;
Providing a pattern input area on the display and displaying a trajectory corresponding to an operation of the recognized hand area; And
Matching the trajectory with a predetermined pattern and inputting a character corresponding thereto;
The pattern input area comprises at least one spot having relative coordinate values on the display
Hand gesture based character input method.
상기 궤적 상에 위치하는 적어도 하나 이상의 스팟이 상기 궤적 상에 있지 않는 스팟과 구분되도록 변형하여 표시하는 단계를 포함하는 것
인 손동작 기반 문자 입력방법.
The method of claim 8, wherein the displaying of the trajectory comprises:
And modifying and displaying the at least one spot located on the trajectory so as to be distinguished from a spot not on the trajectory.
Hand gesture based character input method.
상기 궤적 상에 위치하는 적어도 하나 이상의 스팟의 크기 및 색상 중 어느 하나를 변형하여 표시하는 단계를 포함하는 것
인 손동작 기반 문자 입력방법.
The method of claim 9, wherein the transforming and displaying is performed.
Modifying and displaying any one of a size and a color of at least one spot located on the trajectory;
Hand gesture based character input method.
패턴 매칭 결과, 해당하는 문자의 입력이 완료되면, 상기 디스플레이 상에 표시된 궤적을 삭제하는 단계
를 더 포함하는 손동작 기반 문자 입력방법. 9. The method of claim 8,
Deleting the trajectory displayed on the display when the input of the corresponding character is completed as a result of pattern matching;
Hand gesture-based character input method further comprising.
일정 간격으로 이격되어 가로 및 세로 방향으로 정렬되어 표시되는 적어도 하나 이상의 스팟(spot)을 포함하고,
자음 패턴이 생성되는 제1 영역과, 모음 패턴이 생성되는 제2 영역과, 문자 입력시 필요한 제어 인터페이스를 제공하는 제3 영역으로 구성되는 것
인 손동작 기반 문자 입력방법.
The method of claim 8, wherein the pattern input area,
At least one spot spaced apart at regular intervals and arranged horizontally and vertically,
A first region in which a consonant pattern is generated, a second region in which a vowel pattern is generated, and a third region which provides a control interface required for inputting a character
Hand gesture based character input method.
한글 초성 "ㄱ", "ㄲ", "ㄴ", "ㄷ", "ㄸ", "ㄹ", "ㅁ", "ㅂ", "ㅃ", "ㅅ", "ㅆ", "ㅇ", "ㅈ", "ㅉ", "ㅊ", "ㅋ", "ㅌ", "ㅍ", "ㅎ" 중에서, 쌍자음 (ㄲ,ㄸ,ㅃ,ㅆ,ㅉ) 5개를 제외한 14개의 패턴과, 한글 중성에서 둘 이상의 모음자가 모여 이루어진 이중모음(ㅐ,ㅔ,ㅒ,ㅖ,ㅘ,ㅝ,ㅢ,ㅚ,ㅟ,ㅙ,ㅞ) 11개를 제외한 10개의 패턴을 포함하는 것
인 손동작 기반 문자 입력방법.
The method of claim 1, wherein the predetermined pattern is
Hangul consonants "ㄱ", "ㄲ", "ㄴ", "ㄷ", "ㄸ", "ㄹ", "ㅁ", "ㅂ", "ㅃ", "ㅅ", "ㅆ", "ㅇ", Among the "ㅈ", "ㅉ", "ㅊ", "ㅋ", "ㅌ", "ㄷ", "ㅎ", 14 patterns except 5 consonants (음, ㄸ, ㅃ, ㅆ, ㅉ) , Containing 10 patterns except 11 double vowels (ㅐ, ㅔ, ㅒ, ㅖ, ㅘ, ㅝ, ㅢ, ㅚ, ㅟ, ㅙ, ㅞ) composed of two or more vowels
Hand gesture based character input method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130095447A KR101350313B1 (en) | 2013-08-12 | 2013-08-12 | Character input apparatus based on hand gesture and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130095447A KR101350313B1 (en) | 2013-08-12 | 2013-08-12 | Character input apparatus based on hand gesture and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101350313B1 true KR101350313B1 (en) | 2014-02-13 |
Family
ID=50269358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130095447A KR101350313B1 (en) | 2013-08-12 | 2013-08-12 | Character input apparatus based on hand gesture and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101350313B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060133428A (en) * | 2005-06-20 | 2006-12-26 | 삼성전자주식회사 | Method for implementing user interface using camera module and mobile communication terminal therefor |
| KR20130001176A (en) * | 2011-06-23 | 2013-01-03 | 오메크 인터렉티브, 리미티드 | System and method for close-range movement tracking |
-
2013
- 2013-08-12 KR KR1020130095447A patent/KR101350313B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060133428A (en) * | 2005-06-20 | 2006-12-26 | 삼성전자주식회사 | Method for implementing user interface using camera module and mobile communication terminal therefor |
| KR20130001176A (en) * | 2011-06-23 | 2013-01-03 | 오메크 인터렉티브, 리미티드 | System and method for close-range movement tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565437B2 (en) | Image processing device and method for moving gesture recognition using difference images | |
| US9069386B2 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
| US9430093B2 (en) | Monitoring interactions between two or more objects within an environment | |
| EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
| US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
| US20150026646A1 (en) | User interface apparatus based on hand gesture and method providing the same | |
| US10268368B2 (en) | Method and systems for touch input | |
| US20140123079A1 (en) | Drawing control method, apparatus, and mobile terminal | |
| US10275910B2 (en) | Ink space coordinate system for a digital ink stroke | |
| US20170047065A1 (en) | Voice-controllable image display device and voice control method for image display device | |
| JP6379880B2 (en) | System, method, and program enabling fine user interaction with projector-camera system or display-camera system | |
| CN109074224A (en) | For the method for insertion character and corresponding digital device in character string | |
| KR20160011451A (en) | Character input apparatus using virtual keyboard and hand gesture recognition and method thereof | |
| US20200242346A1 (en) | Preserving styles and ink effects in ink-to-text | |
| KR101373654B1 (en) | Character input terminal by recognization of divided drag region, server for downloading application program | |
| KR101564089B1 (en) | Presentation Execution system using Gesture recognition. | |
| US9430702B2 (en) | Character input apparatus and method based on handwriting | |
| KR101350313B1 (en) | Character input apparatus based on hand gesture and method thereof | |
| US20170085784A1 (en) | Method for image capturing and an electronic device using the method | |
| KR20140112316A (en) | control apparatus method of smart device using motion recognition | |
| EP3989051A1 (en) | Input device, input method, medium, and program | |
| CN107367966B (en) | Man-machine interaction method and device | |
| JP5812582B2 (en) | Information processing apparatus and information processing method | |
| JP2022138285A (en) | Display device, display method and program | |
| KR101350314B1 (en) | Character input apparatus based on depth information of hand gesture and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161229 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171207 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 7 |