KR101809278B1 - Apparatus and method of inputting characters by sensing motion of user - Google Patents
Apparatus and method of inputting characters by sensing motion of user Download PDFInfo
- Publication number
- KR101809278B1 KR101809278B1 KR1020110114966A KR20110114966A KR101809278B1 KR 101809278 B1 KR101809278 B1 KR 101809278B1 KR 1020110114966 A KR1020110114966 A KR 1020110114966A KR 20110114966 A KR20110114966 A KR 20110114966A KR 101809278 B1 KR101809278 B1 KR 101809278B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- user
- keyboard
- movement
- character
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
Abstract
본 발명은 사용자의 움직임을 감지하여 문자를 입력하는 장치 및 방법에 관한 것으로서, 사용자의 손가락 움직임을 감지하는 손가락 움직임 감지부, 상기 감지된 손가락 움직임에 대응하는 손가락 종류를 판별하는 손가락 종류 판별부, 상기 판별된 손가락 종류로 타이핑 가능한 적어도 하나 이상의 자판 정보를 결정하고, 상기 결정된 적어도 하나 이상의 자판 정보를 화면 상에 표시하도록 제어하는 자판 정보 표시 제어부, 및 상기 표시되는 적어도 하나 이상의 자판 정보에 대한 응답으로, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 자판 정보 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정하는 자판 결정부를 포함할 수 있다.The present invention relates to an apparatus and method for inputting a character by detecting a movement of a user. The apparatus includes a finger movement detecting unit for detecting movement of a user's finger, a finger type determining unit for determining a finger type corresponding to the detected finger movement, A keypad information display control unit for determining at least one keypad information that can be typed with the determined finger type and controlling to display the determined at least one keypad information on a screen, And a keyboard determining unit that detects the body movement of the user and determines an input keyboard corresponding to the sensed body movement from the displayed at least one keyboard layout information.
Description
본 발명은 사용자의 움직임을 감지하여 문자를 입력하는 장치 및 방법에 관한 것으로서, 데이터방송, IPTV, 스마트TV 등과 같은 디지털방송 환경에서 카메라를 이용한 손가락 및 동작 인식 기반의 문자입력과 관련된 기술적 사상을 개시한다.The present invention relates to an apparatus and method for inputting a character by sensing a movement of a user, and discloses a technical idea related to a character input based on a finger and a motion recognition using a camera in a digital broadcasting environment such as data broadcasting, IPTV, do.
디지털 방송환경, 예를 들어 데이터방송, IPTV, 스마트TV 등에서는 검색, 트위팅, 메일 작성 등과 같이 텍스트 문자입력 기능이 필요한 어플리케이션 널리 활용되고 있다.In digital broadcasting environments, for example, data broadcasting, IPTV, and smart TV, applications requiring text character input functions such as searching, tweeting, and mail writing are widely used.
그러나 문자입력 방식에 대한 사용자의 기대와는 달리 리모컨을 이용한 문자 입력방식은 너무나 어렵고 비효율적이고, 키보드 입력방식은 TV를 시청하는 공간이 주로 거실이기에 키보드를 놓을 공간이 없는 경우가 많아 이용의 제약이 따른다.However, unlike the user's expectation of the character input method, the character input method using the remote controller is too difficult and inefficient. In the keyboard input method, since the space for watching TV is mainly a living room, Follow.
또한 N스크린환경까지 고려해서 다양한 스마트폰 터치스크린, 근접센서, 가속도센서 등을 이용한 문자입력 장치들은 추가적인 비용 발생하기 때문에, 현실적으로 가정집에서 이용하기 어려운 실정이다.Furthermore, in consideration of the N-screen environment, the character input devices using various smartphone touch screens, proximity sensors, and acceleration sensors incur additional costs, so that it is practically difficult to use them at home.
이와 같이 아직까지 사용자 UI(User Interface)와 기술적인 한계로 인해서 현재의 리모콘 또는 키보드 등을 대체할 수 있는 정확하고 편리한 문자입력 장치가 필요한 실정이다.Thus, due to the user interface (UI) and technical limitations, there is a need for an accurate and convenient character input device capable of replacing the present remote controller or keyboard.
근래에도 원거리에서 문자를 입력하기 위한 다양한 기술이 사용되고 있으나, 현재의 기술수준으로는 2~3m 떨어진 TV 시청거리에서 카메라만 활용하여 문자 입력을 위한 손가락 움직임을 mm단위로 정확하게 인지하고 트래킹하는 것은 어려운 실정이다.Recently, a variety of techniques for inputting characters have been used at long distances. However, it is difficult to accurately recognize and track the finger movement for inputting characters by using only the camera at a distance of 2 to 3 meters from the TV viewing distance It is true.
본 발명의 일실시예에 따른 문자 입력 장치는 사용자의 손가락 움직임을 감지하는 손가락 움직임 감지부, 상기 감지된 손가락 움직임에 대응하는 손가락 종류를 판별하는 손가락 종류 판별부, 상기 판별된 손가락 종류로 타이핑 가능한 적어도 하나 이상의 자판 정보를 결정하고, 상기 결정된 적어도 하나 이상의 자판 정보를 화면 상에 표시하도록 제어하는 자판 정보 표시 제어부, 및 상기 표시되는 적어도 하나 이상의 자판 정보에 대한 응답으로, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 자판 정보 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정하는 자판 결정부를 포함할 수 있다.A character input device according to an embodiment of the present invention includes a finger movement detecting unit for detecting a finger movement of a user, a finger type determining unit for determining a finger type corresponding to the detected finger movement, A keypad information display control unit for determining at least one keypad information and displaying the determined at least one keypad information on a screen; and a control unit for detecting at least one of the user's body movements in response to the displayed at least one keypad information And a keyboard determining unit for determining an input keyboard corresponding to the sensed body movement from among the displayed at least one keyboard keyboard information.
본 발명의 일실시예에 따른 문자 입력 방법은 손가락 움직임 감지부에서 사용자의 손가락 움직임을 감지하는 단계, 손가락 종류 판별부에서 상기 감지된 손가락 움직임에 대응하는 손가락 종류를 판별하는 단계, 자판 정보 표시 제어부에서 상기 판별된 손가락 종류로 타이핑 가능한 적어도 하나 이상의 자판 정보를 결정하고, 상기 결정된 적어도 하나 이상의 자판 정보를 화면 상에 표시하도록 제어하는 단계, 및 자판 결정부에서, 상기 표시되는 적어도 하나 이상의 자판 정보에 대한 응답으로, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 자판 정보 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a character input method comprising the steps of sensing finger movements of a user in a finger movement detection unit, discriminating finger types corresponding to the detected finger movements in a finger type discrimination unit, Determining at least one or more pieces of keyboard information that can be typed with the discriminated finger type and controlling the display unit to display the determined at least one piece of keyboard information on a screen, Detecting a body movement of the user and determining an input character sheet corresponding to the sensed body movement from among the displayed at least one key board information.
본 발명의 일실시예에 따르면, 리모콘과 키보드 등과 같은 하드웨어 문자입력 장치를 이용하지 않고, 디지털방송 환경에 카메라를 이용하여 손가락과 손의 동작을 인식, 추적하여 TV 시청 시 원거리 제어가 가능하다.According to an embodiment of the present invention, the operation of a finger and a hand can be recognized and tracked by using a camera in a digital broadcasting environment without using a hardware character input device such as a remote controller and a keyboard, thereby enabling remote control when watching TV.
본 발명의 일실시예에 따르면, 일반적인 웹 캠 같은 카메라만 TV와 연결되어 있어 문자입력에 적합하지 인터페이스들에도 어플리케이션의 설치 만으로도, 손쉬운 문자입력이 가능하다.According to an embodiment of the present invention, since only a camera such as a general web cam is connected to a TV, it is possible to input characters easily even by installing an application on interfaces that are not suitable for inputting characters.
도 1은 본 발명의 일실시예에 따른 문자 입력 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 따른 문자 입력 장치가 적용된 실시예를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 문자 입력 장치가 제공하여 화면 상에 표시되는 키보드를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 문자 입력 방법을 설명하기 위한 흐름도이다.1 is a block diagram for explaining a character input apparatus according to an embodiment of the present invention.
2 is a diagram for explaining an embodiment to which a character input device according to an embodiment of the present invention is applied.
3 is a diagram illustrating a keyboard displayed on a screen provided by a character input device according to an embodiment of the present invention.
4 is a flowchart illustrating a character input method according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminologies used herein are terms used to properly represent preferred embodiments of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일실시예에 따른 문자 입력 장치(100)를 설명하기 위한 블록도이다.1 is a block diagram for explaining a character input apparatus 100 according to an embodiment of the present invention.
본 발명의 일실시예에 따른 문자 입력 장치(100)는 디지털방송 환경에 카메라를 이용하여 손가락과 손의 동작을 인식, 추적하여 사용자가 리모콘과 키보드 등과 같은 하드웨어 문자입력 장치를 이용하지 않고 TV를 시청하면서 원거리에서 편안하고 신속하게 문자를 입력할 수 있는 편의를 제공할 수 있다.The character input apparatus 100 according to an embodiment of the present invention recognizes and tracks the movements of fingers and hands using a camera in a digital broadcast environment so that a user can watch a TV without using a hardware character input device such as a remote controller and a keyboard So that it is possible to provide a comfortable and comfortable way to input characters at a remote place while watching.
구체적으로, 현재의 기술수준으로 문자 입력을 위한 손가락 움직임을 mm단위로 정확하게 인지하고 트래킹하는 것이 어려운 실정이며, 이러한 문제를 해결하고자, 본 발명에서는 손가락 인식기반에서 사용자의 손가락 또는 손 움직임에 대한 추가 정보를 이용하여 문자입력의 정확도, 신속성, 편의성을 높일 수 있다.Specifically, it is difficult to accurately recognize and track finger movements for inputting characters at the current skill level in mm units. In order to solve such a problem, the present invention proposes a method of detecting finger movements Information can be used to improve the accuracy, promptness, and convenience of inputting characters.
이를 위해, 본 발명의 일실시예에 따른 문자 입력 장치(100)는 손가락 움직임 감지부(110), 손가락 종류 판별부(120), 자판 정보 표시 제어부(130), 및 자판 결정부(140)를 포함할 수 있다.The character input apparatus 100 according to an embodiment of the present invention includes a finger movement sensing unit 110, a finger type determination unit 120, a keyboard information display control unit 130, and a
본 발명의 일실시예에 따른 손가락 움직임 감지부(110)는 사용자의 손가락 움직임을 감지할 수 있다.The finger movement detecting unit 110 according to an embodiment of the present invention can detect the movement of the user's finger.
예를 들어, 사용자의 손가락의 종류와 관계없이, 어떠한 손가락이라도 움직이기만 하면 본 발명의 일실시예에 따른 손가락 움직임 감지부(110)는 이러한 사용자의 손가락 움직임을 감지하여 비활성화 상태에서 활성화 상태로 상태 변경될 수 있다.For example, regardless of the type of the user's finger, if any finger is moved, the finger motion detecting unit 110 detects movement of the finger of the user according to the embodiment of the present invention, can be changed.
본 발명의 일실시예에 따른 문자 입력 장치(100)는 장치를 비활성화 상태에서 활성화 상태로 전환하기 위해, 손가락의 움직임을 감지하는 동작 대신에, 사용자의 두 손 동작을 감지하거나, 머리 움직임을 감지하는 등, 사용자의 입력의도를 다양한 형태로 수집할 수도 있다.The character input apparatus 100 according to an embodiment of the present invention detects the movement of the finger in order to switch the apparatus from the inactive state to the active state, The user's input intention can be collected in various forms.
구체적으로, 본 발명의 일실시예에 따른 문자 입력 장치(100)는 사용자의 시선이 검색창에 위치하거나, 사용자의 특정 움직임으로써 박수나 양 손바닥 펼치는 행위 등을 인식할 수 있다.Specifically, the character input device 100 according to an exemplary embodiment of the present invention can recognize a user's gaze in a search window, an applause or an unfolding of a palm as a user's specific movements.
본 발명의 일실시예에 따른 손가락 종류 판별부(120)는 상기 감지된 손가락 움직임에 대응하는 손가락 종류를 판별할 수 있다.The finger type discrimination unit 120 according to an embodiment of the present invention can discriminate a finger type corresponding to the detected finger movement.
손가락 움직임 감지부(110)가 움직임을 감지하여 'ready' 상태가 되면, 본 발명의 일실시예에 따른 손가락 종류 판별부(120)는 상기 움직임이 감지된 손가락이 어떠한 손가락인지 손가락 종류를 판별하게 된다.When the finger movement detecting unit 110 detects the movement and becomes a 'ready' state, the finger type determining unit 120 according to an embodiment of the present invention determines the type of finger do.
다시 말해, 본 발명의 일실시예에 따른 손가락 종류 판별부(120)는 사용자가 움직인 손가락이 왼손의 손가락인지 오른손의 손가락인지를 먼저 판별하고, 엄지 손가락, 검지 손가락, 중지 손가락, 약지 손가락, 소지 손가락 중에서 어떠한 손가락인지를 판별할 수 있다.In other words, the finger type discrimination unit 120 according to an embodiment of the present invention first discriminates whether the user's finger is a finger of the left hand or a finger of the right hand, and discriminates whether the thumb, the index finger, It is possible to determine which one of the fingers is the finger.
본 발명의 일실시예에 따른 자판 정보 표시 제어부(130)는 상기 판별된 손가락 종류로 타이핑 가능한 적어도 하나 이상의 자판 정보를 결정하고, 상기 결정된 적어도 하나 이상의 자판 정보를 화면 상에 표시하도록 제어할 수 있다.The keypad information display control unit 130 according to the embodiment of the present invention may determine at least one keypad information that can be typed with the discriminated finger type and control to display the determined at least one keypad information on the screen .
예를 들어, 사용자가 움직인 손가락이 왼손 검지 손가락인 경우, 왼손 검지손가락으로 타이핑이 가능한 자판은 R(ㄱ/ㄲ)', 'T(ㅅ/ㅆ)', 'F(ㄹ)', 'G(ㅎ)', 'V(ㅍ)', 및 'B(ㅠ)' 중에서 어느 하나일 수 있다.For example, if the finger the user moves is a left index finger, the keyboard that can be typed with the left index finger is R (a / ㄲ), T (ㅅ / ㅆ) G (he) ',' V ', and' B '.
따라서, 본 발명의 일실시예에 따른 손가락 종류 판별부(120)에서 사용자가 움직인 손가락의 종류가 '왼손 검지 손가락'이라고 판별하면, 본 발명의 일실시예에 따른 자판 정보 표시 제어부(130)는 상기 왼손 검지 손가락이 타이핑할 수 있는 R(ㄱ/ㄲ)', 'T(ㅅ/ㅆ)', 'F(ㄹ)', 'G(ㅎ)', 'V(ㅍ)', 및 'B(ㅠ)'를 상기 자판 정보로서 화면 상에 표시할 수 있다.Accordingly, if the type of the finger moved by the user in the finger type discrimination unit 120 according to the embodiment of the present invention is determined as 'left hand index finger', the keyboard information display control unit 130 according to the embodiment of the present invention, , 'F', 'G', 'V', and 'R' that the left index finger can type, B (?) Can be displayed on the screen as the keyboard information.
본 발명의 일실시예에 따른 자판 결정부(140)는 상기 표시되는 적어도 하나 이상의 자판 정보에 대한 응답으로, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 자판 정보 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정할 수 있다.The
예를 들어, 본 발명의 일실시예에 따른 자판 결정부(140)는 사용자의 손의 움직임에 대한 방향을 감지하여, 화면상에 표시되는 적어도 하나 이상의 자판 정보 중에서 특정 입력 자판을 결정할 수 있다.For example, the
보다 구체적으로, 상기 왼손 검지 손가락이 타이핑할 수 있는 R(ㄱ/ㄲ)', 'T(ㅅ/ㅆ)', 'F(ㄹ)', 'G(ㅎ)', 'V(ㅍ)', 및 'B(ㅠ)'가 상기 자판 정보로서 화면 상에 표시되고, 사용자의 손의 움직임이 오른쪽 위 방향으로 움직인다면, 본 발명의 일실시예에 따른 자판 결정부(140)는 오른쪽 위 방향에 위치한 'T(ㅅ/ㅆ)'을 입력 자판으로 결정할 수 있다.More specifically, the left-hand index finger can input R (t), T (t), F (t), G , And 'B' are displayed on the screen as the keyboard information, and the movement of the user's hand moves in the upper right direction, the
반대로, 사용자의 손의 움직임이 왼쪽 아래 방향으로 움직인다면, 본 발명의 일실시예에 따른 자판 결정부(140)는 왼쪽 아래 방향에 위치한 'V(ㅍ)'을 입력 자판으로 결정할 수 있다.On the contrary, if the movement of the user's hand moves in the left-down direction, the
즉, 본 발명의 일실시예에 따른 문자 입력 장치(100)는 우선 손가락의 종류를 식별하여, 선택 가능한 자판의 후보 군의 범위를 좁힌 다음에 손 등의 신체 움직임의 방향을 감지하여 최종적으로 입력하려는 자판을 결정할 수 있다.That is, the character input apparatus 100 according to an embodiment of the present invention first identifies the kind of the finger, narrows the range of the candidate group of the selectable keyboard, detects the direction of the body motion such as a hand, You can determine the keyboard you want.
결국, 본 발명의 일실시예에 따르면, 리모콘과 키보드 등과 같은 하드웨어 문자입력 장치를 이용하지 않고, 디지털방송 환경에 카메라를 이용하여 손가락과 손의 동작을 인식, 추적하여 TV 시청 시 원거리 제어가 가능하다.As a result, according to the embodiment of the present invention, it is possible to recognize and track the motion of a finger and a hand using a camera in a digital broadcasting environment without using a hardware character input device such as a remote controller and a keyboard, Do.
도 2는 본 발명의 일실시예에 따른 문자 입력 장치가 적용된 실시예를 설명하는 도면이다.2 is a diagram for explaining an embodiment to which a character input device according to an embodiment of the present invention is applied.
본 발명의 일실시예에 따른 문자 입력 장치는 모니터(210)에 인접하여 위치하는 카메라(220)를 이용하여, 사용자가 선정된 손 동작(230)을 통해서 검색창(250)에 특정 검색어를 입력하려는 입력의도를 파악할 수 있다.The character input apparatus according to an embodiment of the present invention may use a
예를 들어, 사용자가 모니터(210)를 향해 박수를 치면, 카메라(220)는 사용자의 박수 동작을 촬영할 수 있다.For example, if a user claps toward the
이에, 본 발명의 일실시예에 따른 문자 입력 장치는 상기 촬영된 사용자의 박수 동작에 반응하여, 검색어를 입력하려는 입력의도를 감지하여, 장치를 활성화시킬 수 있다.Accordingly, the character input device according to an embodiment of the present invention can activate the device by sensing the degree of input for inputting a search word in response to the applause of the photographed user.
다음으로, 사용자가 왼손 검지 손가락을 움직이는 손 동작(230)을 하면, 본 발명의 일실시예에 따른 문자 입력 장치는 왼손 검지 손가락을 이용하여 입력할 수 있는 자판 정보(240)를 모니터(210) 상에 표시할 수 있다.Next, when the user performs the
다음으로, 사용자가 손을 오른쪽 위로 움직이는 손 동작(230)을 하면, 본 발명의 일실시예에 따른 문자 입력 장치는 표시된 자판 정보(240) 중에서 사용자가 입력하려는 오른쪽 위의 자판 정보 'T(ㅅ/ㅆ)'를 입력할 수 있다.Next, when the user performs a hand operation (230) for moving his / her hand to the upper right, the character input device according to the embodiment of the present invention displays keypad information 'T' / ㅆ) '.
이때, 한글 입력키가 활성화되어 있다면, 본 발명의 일실시예에 따른 문자 입력 장치는 'ㅅ'을 검색어의 자음으로 입력할 수 있다.At this time, if the Hangul input key is activated, the character input device according to an embodiment of the present invention can input 'g' as a consonant of a search word.
다음으로, 사용자의 오른손 중지가 움직이는 경우, 본 발명의 일실시예에 따른 문자 입력 장치는 사용자의 오른손 중지로 입력할 수 있는 자판 정보를 모니터(210) 상에 표시할 수 있다.Next, when the right hand stop of the user moves, the character input device according to an embodiment of the present invention can display the keyboard information that can be input by the right hand stop of the user on the
이에, 본 발명의 일실시예에 따른 문자 입력 장치는 사용자의 입력의도를 감지하고, 사용자의 오른쪽 중지를 감지할 수 있다.Accordingly, the character input device according to an embodiment of the present invention can sense the input intention of the user and sense the right stop of the user.
이에, 본 발명의 일실시예에 따른 문자 입력 장치는 사용자의 오른쪽 중지 손가락으로 입력할 수 있는 자판 정보를 모니터(210) 상에 표시할 수 있다. Accordingly, the character input device according to the embodiment of the present invention can display the keyboard information that can be input with the right stop finger of the user on the
만약, 사용자의 손 움직임이 어느 방향으로 향하지 않고, 수직 방향으로만 움직인다면 본 발명의 일실시예에 따른 문자 입력 장치는 자판 정보 중에서 'K(ㅏ)'을 결정할 수 있다.If the user's hand moves in a vertical direction without moving in any direction, the character input device according to an embodiment of the present invention can determine 'K (a)' from the keyboard information.
한글 입력키가 활성화 되었다면, 본 발명의 일실시예에 따른 문자 입력 장치는 'ㅅ'에 이어 'ㅏ'를 입력 자판으로 결정하여, '사'를 입력 글자로 결정할 수 있다.If the Hangul input key is activated, the character input device according to an embodiment of the present invention may determine 'a' as an input character board and 's' as an input character.
이에, 본 발명의 일실시예에 따른 문자 입력 장치는 검색창(250)에 '사'자를 입력할 수 있다.Accordingly, the character input device according to the embodiment of the present invention can input 's' character in the
이런 원리를 이용하여 본 발명의 일실시예에 따른 문자 입력 장치는 손가락 인식시 사용자가 선택하고자 하는 문자열의 범위를 제한하여 카메라(220)를 이용한 손가락 인식기반 문자입력의 정확도를 높일 수 있다.Using this principle, the character input device according to the embodiment of the present invention can increase the accuracy of the finger-based character input using the
도 3은 본 발명의 일실시예에 따른 문자 입력 장치가 제공하여 화면 상에 표시되는 키보드를 설명하는 도면이다.3 is a diagram illustrating a keyboard displayed on a screen provided by a character input device according to an embodiment of the present invention.
도 3의 키보드(300)는 108키 방식이다. 본 발명의 일실시예에 따른 문자 입력 장치는 도 2의 도면부호 230과 같이, 사용자의 움직임을 감지하여 움직임이 감지된 손가락으로 입력할 수 있는 자판 정보만을 표시하지 않고, 키보드(300) 전체를 화면 상에 표시할 수도 있다.The
근래, 대부분의 사용자들이 키보드 자판의 배열을 숙지하고 있으나, 키보드 자판의 배열을 숙지하지 못하는 사용자들도 많다.In recent years, most users are aware of the arrangement of keyboard layouts, but many users do not understand the arrangement of keyboard layouts.
따라서, 도 3과 같이 키보드(300)의 형상을 화면 상에 표시하고, 그 중에서 움직임이 감지되는 사용자의 손가락으로 입력할 수 있는 자판 정보(310, 320)를 부각시켜 화면 상에 표시할 수도 있다.Accordingly, the shape of the
따라서, 키보드 전체의 문자열을 인지하지 못하는 사용자는 화면 상에 표시되는 전체 키보드를 확인하고, 전체 키보드 중에서 관련 문자열을 확인하여 해당 손가락을 통해서 타이핑할 수 있다.Accordingly, a user who can not recognize the entire character string of the keyboard can identify the entire keyboard displayed on the screen, identify the related character string from the entire keyboard, and type through the corresponding finger.
도 4는 본 발명의 일실시예에 따른 문자 입력 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a character input method according to an embodiment of the present invention.
본 발명의 일실시예에 따른 문자 입력 방법은 사용자의 손가락 움직임을 감지하고, 상기 감지된 손가락 움직임에 대응하는 손가락 종류를 판별하며, 상기 판별된 손가락 종류로 타이핑 가능한 적어도 하나 이상의 자판 정보를 결정하고, 상기 결정된 적어도 하나 이상의 자판 정보를 화면 상에 표시하도록 제어하며, 상기 표시되는 적어도 하나 이상의 자판 정보에 대한 응답으로, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 자판 정보 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정할 수 있다.A character input method according to an embodiment of the present invention detects finger movement of a user, discriminates finger types corresponding to the detected finger movements, determines at least one or more keyboard information that can be typed with the discriminated finger types A control unit for controlling the display unit to display the determined at least one key board information on a screen, detecting a body movement of the user in response to the displayed at least one key board information, An input keyboard corresponding to the body movement can be determined.
보다 구체적으로, 본 발명의 일실시예에 따른 문자 입력 방법은 검색을 위해 검색창에 사용자의 입력의도를 전달 받을 수 있다(단계 401). 즉, 사용자는 검색을 위해 입력의도를 TV에 전달할 수 있다.More specifically, a character input method according to an embodiment of the present invention may receive a user's input intention into a search window for searching (step 401). That is, the user can transmit the input intent to the TV for searching.
본 발명의 일실시예에 따른 문자 입력 방법은 카메라를 이용하여 사용자의 시선이 검색창에 위치하거나, 사용자의 특정 움직임으로써 박수, 양 손바닥 펼침 등의 행위를 인식한다(단계 402). 본 발명의 일실시예에 따른 문자 입력 방법은 상기 행위들을 인식하면, 문자 입력창에 커서를 깜빡이는 등의 동작을 통해서 손가락 인식을 위한 시스템 초기화 작업이 진행한다.In a character input method according to an embodiment of the present invention, a user's gaze is located in a search window using a camera, or a user perceives an action such as clapping and spreading of a palm as a specific movement (step 402). In the character input method according to an embodiment of the present invention, when recognizing the actions, a system initialization operation for finger recognition proceeds by, for example, blinking a cursor on a character input window.
다음으로, 본 발명의 일실시예에 따른 문자 입력 방법은 시스템 초기화 부담을 줄이고 손가락 인식 범위를 줄이기 위해서 양 손가락을 펼친 상태로 특정 공간에 위치하는 사용자의 동작을 감지할 수 있다(단계 403).Next, a character input method according to an embodiment of the present invention can detect an operation of a user located in a specific space in a state where both fingers are extended in order to reduce a system initialization burden and a finger recognition range (step 403).
본 발명의 일실시예에 따른 문자 입력 방법은 각 손가락 끝 위치를 파악하고, 해당 손가락 끝의 움직임을 트래킹할 수 있다(단계 404).In the character input method according to an embodiment of the present invention, the position of each fingertip can be grasped and the movement of the fingertip can be tracked (step 404).
본 발명의 일실시예에 따른 문자 입력 방법은 특정 손가락이 움직이거나 타이핑하는 동작을 하면 해당 손가락이 타이핑할 수 있는 문자키들을 TV 화면에 나타낼 수 있다(단계 405).In the character input method according to an embodiment of the present invention, when a specific finger moves or types, the character keys that the corresponding finger can type can be displayed on the TV screen (step 405).
이에, 본 발명의 일실시예에 따른 문자 입력 방법은 해당 손가락이 타이핑하는 동작을 유지한 채 타이핑하고자 하는 문자열의 위치를 보고 손을 상하좌우 움직임을 감지할 수 있다(단계 406). Accordingly, the character input method according to an embodiment of the present invention can detect the up, down, left, and right movements of the hand while viewing the position of the character string to be typed while maintaining the operation of typing the finger (step 406).
이때, 손의 움직임 방향에 따라서 해당 문자열이 활성화될 수 있다.At this time, the character string can be activated according to the direction of movement of the hand.
본 발명의 일실시예에 따른 문자 입력 방법은 원하는 문자열이 활성화 된 상태에서 타이핑 동작을 하고 있는 손가락을 펴면 해당 문자가 문자 입력창에 출력할 수 있다(단계 407).In a character input method according to an embodiment of the present invention, when a desired character string is activated and a finger performing a typing operation is expanded, the corresponding character can be output to the character input window (step 407).
만약, 사용자가 추가 입력을 하려는 경우, 본 발명의 일실시예에 따른 문자 입력 방법은 추가 입력을 판단하여(단계 408), 단계 405로 분기하여 입력하고자 하는 문자열을 입력할 수 있는 손가락의 움직임을 감지하여 해당 손가락이 타이핑할 수 있는 문자키들을 화면에 출력할 수 있다.If the user wishes to perform an additional input, the character input method according to an embodiment of the present invention judges an additional input (step 408), and branches to step 405 to determine the movement of a finger And outputs the character keys that the corresponding finger can type to the screen.
만약 추가 입력이 필요하지 않으면, 사용자는 카메라가 인지할 수 있는 특정공간에서 양손을 벗어나면 된다.If additional input is not required, the user must leave both hands in a specific space the camera can recognize.
본 발명의 일실시예에 따른 문자 입력 장치 및 방법을 이용하면, 일반적으로 손가락의 움직임만을 통해서 해당 문자를 선택하기 어려운 문제를 해결하여 해당 손가락이 타이핑할 수 있는 문자열 리스트와 손의 움직임(방향) 정보를 추가로 활용하여 사용자가 원하는 문자를 정확하게 선택하도록 할 수 있다.The character input device and method according to an embodiment of the present invention can solve the problem that it is difficult to select the corresponding character only through the movement of the finger, Information can be further utilized to allow the user to select the desired character precisely.
본 발명의 일실시예에 따른 문자 입력 장치 및 방법을 이용하면, 일반적인 웹 캠 같은 카메라만 TV와 연결되어 있어 문자입력에 적합하지 인터페이스들에도 어플리케이션의 설치 만으로도, 손쉬운 문자입력이 가능하다.With the character input device and method according to an embodiment of the present invention, since only a camera such as a general web cam is connected to a TV, it is possible to input characters easily even by installing an application on interfaces that are not suitable for character input.
다시 말해, 본 발명의 일실시예에 따른 문자 입력 장치 및 방법을 이용하면, 문자 입력 서비스를 제공하기 위해서, 리모콘, 키보드, 고가의 인식 센서나, 설치를 위한 공간 등의 제약에서 자유로울 수 있다.In other words, using the character input apparatus and method according to an embodiment of the present invention, it is possible to free from the restriction of a remote controller, a keyboard, an expensive recognition sensor, a space for installation, and the like in order to provide a character input service.
본 발명의 일실시예에 따른 문자 입력 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The character input method according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
100: 문자 입력 장치
110: 손가락 움직임 감지부
120: 손가락 종류 판별부
130: 자판 정보 표시 제어부
140: 자판 결정부100: character input device
110: finger motion detection unit
120: finger type discrimination unit
130: Keyboard information display control unit
140: keyboard determination unit
Claims (8)
상기 사용자의 손가락 중 아래로 움직인 손가락에 대응하는 손가락 종류를 판별하는 손가락 종류 판별부;
상기 판별된 손가락 종류 별로 타이핑 가능한 기준 자판 및 상기 기준 자판 주변에 배치된 주변 자판을 포함한 적어도 하나 이상의 입력 자판을 결정하고, 상기 결정된 적어도 하나 이상의 입력 자판을 화면 상에 표시하도록 제어하는 자판 정보 표시 제어부; 및
상기 화면 상에 적어도 하나 이상의 입력 자판이 표시된 경우, 상기 사용자의 신체 움직임을 감지하고, 상기 표시되는 적어도 하나 이상의 입력 자판 중에서 상기 감지된 신체 움직임에 대응하는 입력 자판을 결정하는 자판 결정부
를 포함하고,
상기 자판 결정부는,
상기 사용자의 손이 평면 상에서 움직이는 경우, 상기 사용자의 손이 움직인 방향을 감지하여 해당 방향에 배치된 주변 자판을 활성화하고, 상기 아래로 움직인 손가락이 다시 펴지는 순간 활성화된 주변 자판에 대응하는 문자를 문자 입력창에 출력하며,
상기 사용자의 손이 수직 방향으로 움직이는 경우, 기준 자판을 활성화하고, 상기 아래로 움직인 손가락이 다시 펴지는 순간 활성화된 기준 자판에 대응하는 문자를 문자 입력창에 출력하는 사용자의 움직임을 감지하여 문자를 입력하는 장치.A finger movement detecting unit for detecting a finger movement of a user and changing a state of a character input function in an inactive state to an active state;
A finger type discrimination unit for discriminating a finger type corresponding to a finger moving downward among the fingers of the user;
A keypad information display control unit for determining at least one input key board including a reference key board that can be typed for each of the discriminated finger types and a peripheral keyboard disposed around the reference key board and controlling the display of the determined at least one input key board on the screen, ; And
A keyboard determining unit for determining an input keyboard corresponding to the sensed body movement from at least one or more input keyboards displayed when at least one input keyboard is displayed on the screen,
Lt; / RTI >
The keyboard determining unit
Wherein when the user's hand moves on a plane, the direction of movement of the user's hand is sensed to activate the peripheral keyboard disposed in the corresponding direction, and when the user moves the downward finger again, Characters are output to the character input window,
When the user's hand moves in the vertical direction, the user activates the reference character plate, and when the user moves the downward finger again, .
상기 사용자의 손가락 중 아래로 움직인 손가락을 감지하는 단계;
상기 감지된 손가락으로 타이핑 가능한 기준 자판 및 상기 기준 자판 주변에 배치된 주변 자판을 포함한 적어도 하나의 입력 자판을 화면에 표시하는 단계; 및
상기 화면 상에 적어도 하나의 입력 자판이 표시된 경우, 상기 사용자의 손가락이 움직인 방향에 따라 결정된 입력 자판에 대응하는 문자를 문자 입력창에 출력하는 단계
를 포함하고,
상기 출력하는 단계는,
상기 사용자의 손가락이 평면 상에서 움직이는 경우, 상기 사용자의 손가락이 움직인 방향을 감지하여 해당 방향에 배치된 주변 자판을 활성화하고, 상기 아래로 움직인 손가락이 다시 펴지는 순간 활성화된 주변 자판에 대응하는 문자를 문자 입력창에 출력하고,
상기 사용자의 손가락이 수직 방향으로 움직이는 경우, 기준 자판을 활성화하고, 상기 아래로 움직인 손가락이 다시 펴지는 순간 활성화된 기준 자판에 대응하는 문자를 문자 입력창에 출력하는 사용자의 움직임을 감지하여 문자를 입력하는 방법.Initializing the system in response to a user's specific motion recognition;
Sensing a finger moving downward among the fingers of the user;
Displaying at least one input keyboard including a reference keyboard that can be typed with the detected finger and a peripheral keyboard disposed around the reference keyboard on a screen; And
When at least one input keyboard is displayed on the screen, outputting a character corresponding to the input keyboard determined according to the direction in which the user's finger is moved to the character input window
Lt; / RTI >
Wherein the outputting step comprises:
Wherein when the finger of the user moves on a plane, a direction of movement of the finger of the user is sensed to activate the peripheral keyboard disposed in the corresponding direction, and when the finger moves downward, Outputs a character to the character input window,
When the finger of the user moves in the vertical direction, the user activates the reference character plate, and when the user moves the downward finger again, Lt; / RTI >
상기 사용자의 특정 움직임은,
카메라를 이용하여 인식된 상기 사용자의 시선 위치 변경, 박수, 손바닥 펼침 중 적어도 하나를 포함하는 사용자의 움직임을 감지하여 문자를 입력하는 방법.5. The method of claim 4,
The specific movement of the user may be,
A method for detecting a movement of a user including at least one of changing a line of sight of a user, clapping, and palm unfolding, recognized by using a camera, and inputting a character.
상기 사용자의 손가락 중 아래로 움직인 손가락을 감지하는 단계는,
미리 지정된 공간 내에 위치하는 상기 사용자의 적어도 하나의 손가락 끝 위치를 인식하는 단계; 및
상기 적어도 하나의 손가락 끝의 움직임을 트래킹하는 단계
를 더 포함하는 사용자의 움직임을 감지하여 문자를 입력하는 방법.5. The method of claim 4,
The step of detecting a finger moving downward of the user's finger,
Recognizing at least one fingertip position of the user located within a predetermined space; And
Tracking the movement of the at least one fingertip
And detecting the movement of the user and inputting the character.
상기 적어도 하나의 입력 자판을 화면에 표시하는 단계는,
상기 감지된 손가락의 손가락 종류를 판별하고, 상기 판별된 손가락 종류에 따라 타이핑 가능한 적어도 하나의 문자키를 상기 화면 상에 표시하는 사용자의 움직임을 감지하여 문자를 입력하는 방법.
5. The method of claim 4,
Wherein the step of displaying the at least one input keyboard on the screen comprises:
Detecting a finger type of the detected finger and detecting a movement of a user displaying at least one character key that can be typed according to the discriminated finger type on the screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110114966A KR101809278B1 (en) | 2011-11-07 | 2011-11-07 | Apparatus and method of inputting characters by sensing motion of user |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110114966A KR101809278B1 (en) | 2011-11-07 | 2011-11-07 | Apparatus and method of inputting characters by sensing motion of user |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130049915A KR20130049915A (en) | 2013-05-15 |
| KR101809278B1 true KR101809278B1 (en) | 2017-12-15 |
Family
ID=48660472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110114966A KR101809278B1 (en) | 2011-11-07 | 2011-11-07 | Apparatus and method of inputting characters by sensing motion of user |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101809278B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220074066A (en) | 2020-11-27 | 2022-06-03 | 한림대학교 산학협력단 | Device for Recognition and Recognition Method of Input Language Through Machine Learning |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101671837B1 (en) | 2014-05-20 | 2016-11-16 | 주식회사 비주얼캠프 | Input device using eye-tracking |
| CN105868738B (en) * | 2016-05-03 | 2021-11-09 | 深圳市君康源智能科技有限公司 | Intelligent bracelet |
| KR101671839B1 (en) | 2016-09-01 | 2016-11-16 | 주식회사 비주얼캠프 | Input device using eye-tracking |
-
2011
- 2011-11-07 KR KR1020110114966A patent/KR101809278B1/en active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220074066A (en) | 2020-11-27 | 2022-06-03 | 한림대학교 산학협력단 | Device for Recognition and Recognition Method of Input Language Through Machine Learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130049915A (en) | 2013-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102483679B (en) | User interface methods providing searching functionality | |
| US8059101B2 (en) | Swipe gestures for touch screen keyboards | |
| AU2012267639B2 (en) | Method and apparatus for providing character input interface | |
| JP5323070B2 (en) | Virtual keypad system | |
| US10235034B2 (en) | Haptic feedback to abnormal computing events | |
| US8432301B2 (en) | Gesture-enabled keyboard and associated apparatus and computer-readable storage medium | |
| US20090073136A1 (en) | Inputting commands using relative coordinate-based touch input | |
| US20140108989A1 (en) | Character deletion during keyboard gesture | |
| US20150100911A1 (en) | Gesture responsive keyboard and interface | |
| KR102582541B1 (en) | Method and electronic apparatus for touch input via edge screen | |
| US20120188164A1 (en) | Gesture processing | |
| KR20160005013A (en) | Delay warp gaze interaction | |
| CN106104450B (en) | Method for selecting a part of a graphical user interface | |
| US8130198B2 (en) | Electronic device and method for operating application programs in the same | |
| US8970498B2 (en) | Touch-enabled input device | |
| US20130293477A1 (en) | Electronic apparatus and method for operating the same | |
| KR101809278B1 (en) | Apparatus and method of inputting characters by sensing motion of user | |
| KR20160097414A (en) | Input system of touch device for the blind and the input method thereof | |
| KR20100024471A (en) | A method and apparatus for inputting an initial phoneme, a medial vowel or a final phoneme of hangul at a time using a touch screen | |
| TW201308190A (en) | Hand-held device and method of inputting data | |
| WO2012054062A1 (en) | User interface for facilitating character input | |
| KR101658489B1 (en) | Method for controlling screen using pointing device | |
| US20150106764A1 (en) | Enhanced Input Selection | |
| WO2014106849A1 (en) | Method for motion path identification | |
| KR102138095B1 (en) | Voice command based virtual touch input apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| GRNT | Written decision to grant |