KR20160097410A - Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto - Google Patents
Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto Download PDFInfo
- Publication number
- KR20160097410A KR20160097410A KR1020150018480A KR20150018480A KR20160097410A KR 20160097410 A KR20160097410 A KR 20160097410A KR 1020150018480 A KR1020150018480 A KR 1020150018480A KR 20150018480 A KR20150018480 A KR 20150018480A KR 20160097410 A KR20160097410 A KR 20160097410A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- keyboard
- generating
- motion recognition
- hand
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
Description
본 발명은 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 적어도 하나 이상의 감지장치를 통해 객체의 비접촉 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어하는 방법에 있어서, 종래의 마우스와 키보드를 사용하는 형태의 객체 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어함으로써, 사용자가 비접촉식 입력 인터페이스를 사용하기 위해 별도의 제스처를 학습하거나 기억해야 하는 부담감없이 생동감 있는 사용자 상호작용을 제공할 수 있는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a contactless input interface through motion recognition, and more particularly, to a method for controlling a screen displayed on a user terminal by recognizing a contactless operation of an object through at least one or more sensing devices, By recognizing an object operation using a conventional mouse and a keyboard and controlling a screen displayed on a user terminal, it is possible to provide a lively user interaction without burdening a user to learn or memorize a separate gesture to use a contactless input interface And more particularly, to a method and apparatus for providing a non-contact type input interface through motion recognition.
최근 멀티미디어 컴퓨터, 홈 네트워크 등과 같은 새로운 형태의 컴퓨터 환경과 컴퓨터를 중심으로 한 통신환경이 대두되면서 컴퓨터가 제어하게 되는 주변기기가 급속히 증가하게 되었다.Recently, new types of computer environments such as multimedia computers, home networks, and the like have been emerging, and peripheral devices controlled by computers have rapidly increased.
이 중 마우스와 키보드는 거의 필수적으로 사용되고 있는 컴퓨터 주변장치의 하나로서, 키보드는 명령이 기반인 CLI 환경에서 컴퓨터를 조작하기 위한 수단이었으며, 이후 CLI에서 발전하여 시각적인 부분을 컴퓨터에 도입한 GUI 환경이 보급되면서 마우스가 새로운 입력장치로 자리를 잡게 되었다.Among them, the mouse and keyboard are one of the most used computer peripherals. The keyboard was the means to manipulate the computer in command-based CLI environment. The mouse became a new input device as it became popular.
이와 더불어 초고속 인터넷의 보급화에 따라 인터넷을 통한 동영상, 음악 등의 멀티미디어 파일의 공유 및 다운로드가 용이하며, 다운로드 받은 멀티미디어 파일을 대형화된 모니터로 감상하려는 사용자의 요구가 증가하고 있어, 이에 따라 컴퓨터 본체 및 모니터와 키보드 및 마우스 등의 입력장치 간에 거리를 두고 사용할 수 있는 무선 키보드 및 마우스에 대한 사용자의 요구가 증가하고 있으나, 잦은 배터리 교체로 인하여 실질적인 사용자는 많지 않은 실정이다.In addition, with the spread of the high-speed Internet, it is easy to share and download multimedia files such as videos and music through the Internet, and users are increasingly demanding to view downloaded multimedia files on a large-sized monitor. Users are increasingly demanding wireless keyboards and mice that can be used at distances between a monitor and input devices such as a keyboard and a mouse, but the number of users is small due to frequent battery replacement.
또한, 마우스와 키보드를 포함한 기존의 입력장치들은 각각의 시스템이 다르기 때문에 각각의 입력장치들을 번갈아가며 사용해야하는 번거로움이 존재한다. 예를 들어, 타이핑 도중 마우스를 이용하기 위해서는 한 손이 마우스로 옮겨가야만 마우스를 통한 커서의 제어가 가능해지며, 이에 따라 사용자는 손 동선이 길어지는 문제가 반복적으로 발생하게 되고, 이것이 누적되는 불편함이 존재한다. In addition, existing input devices including a mouse and a keyboard have different systems, and thus there is a need to use each input device alternately. For example, in order to use the mouse during typing, the cursor can be controlled through the mouse only when one hand is moved to the mouse. Accordingly, the user repeatedly generates a problem of lengthening the hand movement line, Lt; / RTI >
한편, 최근에는 다양한 유저 인터페이스 환경을 제공하기 위하여 한국공개특허 제2013-0074778호에 개시되어 있는 바와 같이, 디스플레이 모듈에 터치패드를 결합한 터치스크린이 스마트 디바이스에 채용되고 있으며, 이로 인하여 사용자는 디스플레이 모듈에 구현된 화면을 보면서 다양한 사용자 명령을 입력하거나 기능을 선택할 수 있게 되었다.Recently, as disclosed in Korean Patent Laid-Open Publication No. 2013-0074778, in order to provide various user interface environments, a touch screen incorporating a touch pad on a display module is employed in a smart device, It is possible to input various user commands or to select a function while viewing the screen implemented in FIG.
그러나, 종래의 터치스크린을 이용한 스마트 디바이스에서는 사용자가 단순히 스마트 디바이스의 화면에 디스플레이된 메뉴 또는 아이콘을 손가락으로 터치함으로서 상기 메뉴 또는 아이콘과 관련된 기능을 선택할 수 있을 뿐, 사용자의 동작에 따른 다양한 유저 인터페이스 환경을 제공하지 못하는 문제가 있다.However, in a smart device using a conventional touch screen, a user simply selects a menu or icon related to the icon or icon by touching a menu or icon displayed on the screen of the smart device, There is a problem that the environment can not be provided.
또한, 이러한 터치스크린은 손가락이나 터치팬 등을 통해 반드시 접촉해야지만 기기 조작이 가능해짐에 따라 잦은 터치로 인해 액정 손상이나, 특정 부분의 인식이 저하될 수 있다. 따라서, 사용자가 터치스크린을 접촉하지 않고도 원하는 기능을 실행시키기 위한 새로운 입력 방법이 구현될 필요성이 있다.In addition, such a touch screen must be in contact with a finger or a touch fan, but as the device becomes operable, frequent touches may deteriorate the liquid crystal damage or recognition of a specific portion. Accordingly, there is a need to implement a new input method for executing a desired function without the user touching the touch screen.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 적어도 하나 이상의 감지장치를 통해 객체의 비접촉 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어하는 방법에 있어서, 종래의 마우스와 키보드를 사용하는 형태의 객체 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어함으로써, 사용자가 비접촉식 입력 인터페이스를 사용하기 위해 별도의 제스처를 학습하거나 기억해야 하는 부담감없이 생동감 있는 사용자 상호작용을 제공할 수 있는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치를 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art. That is, an object of the present invention is to provide a method of controlling a screen displayed on a user terminal by recognizing a noncontact operation of an object through at least one sensing device, the method comprising: recognizing an object operation using a conventional mouse and a keyboard A method of providing a non-contact type input interface through motion recognition capable of providing a lively user interaction without burdening a user to learn or memorize a separate gesture to use a non-contact type input interface by controlling a screen displayed on the user terminal; And to provide such a device.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 표시부, 하나 이상의 감지 장치를 갖고, 상기 감지 장치를 통해 사용자의 비접촉 손동작을 감지하는 감지부, 상기 감지부로부터 감지된 비접촉 감지 신호들을 분석하여 비접촉 동작 인식 정보를 생성하는 동작 인식부 및 상기 생성된 비접촉 동작 인식 정보에 따라 제어된 화면을 상기 표시부에 디스플레이하는 제어부를 포함하여 구성되는 동작 인식을 통한 비접촉식 입력 인터페이스를 제공한다.Technical Solution In order to accomplish the above object, the present invention provides a touch sensing apparatus comprising a display unit, at least one sensing device, a sensing unit for sensing non-contact hand motions of a user through the sensing device, And a control unit for displaying the non-contact motion recognition information on the display unit according to the generated non-contact motion recognition information, and a non-contact type input interface through the motion recognition.
또한, 본 발명은 적어도 하나 이상의 감지장치를 통해 사용자 손동작을 3D 형태로 캡쳐하여 프레임 단위로 제공하는 단계, 상기 복수의 프레임들을 통해 사용자 손동작의 모양, 위치, 크기, 속도 및 각도 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성하는 단계, 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계 및 생성된 동작 제어 정보에 따른 화면 제어를 수행하는 단계를 포함하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법을 제공한다.Also, the present invention provides a method of capturing a user's hand gesture in a 3D form through at least one sensing device and providing the same in units of frames, analyzing the shape, position, size, speed and angle change of the user's hand gesture through the plurality of frames , Generating noncontact motion recognition information according to a change analysis, generating motion control information corresponding to the generated noncontact motion recognition information, and performing screen control according to the generated motion control information To provide a non-contact type input interface interface.
본 발명에 따른 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치는, 종래의 마우스와 키보드를 사용하는 형태의 객체 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어함으로써, 사용자가 비접촉식 입력 인터페이스를 사용하기 위해 별도의 제스처를 학습하거나 기억해야 하는 부담감없이 없어 사용이 직관적이고 간단하며, 자연스러운 사용자-단말기 인터렉션을 제공한다. 또한, 기존의 마우스와 키보드를 번갈아가며 사용하지 않고, 최소한의 입력장치로 사용자 단말기를 제어함에 따라 작업 능률을 향상시킬 수 있다.A method and apparatus for providing a non-contact type input interface through motion recognition according to the present invention recognize an object operation using a conventional mouse and a keyboard to control a screen displayed on a user terminal, To provide intuitive, simple, and natural user-to-device interaction without the burden of learning or memorizing separate gestures. In addition, it is possible to improve the work efficiency by controlling the user terminal with the minimum input device without using the conventional mouse and keyboard alternately.
도 1은 본 발명의 일실시예에 따른 동작 인식을 통한 비접촉식 입력 인터페이스의 개략적인 구성도.
도 2는 본 발명의 일실시예에 따라 사용자의 손동작의 예를 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 키보드 화면을 나타낸 도면.
도 4는 본 발명의 일실시에에 따른 키보드 셋업 화면을 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 통한 비접촉식 입력 인터페이 제공 방법을 순차적으로 도시한 순서도.
도 6 내지 도 8은 본 발명의 일실시예에 따라 사용자의 손동작의 예를 나타낸 도면.1 is a schematic configuration diagram of a non-contact type input interface through motion recognition according to an embodiment of the present invention;
2 illustrates an example of a user's hand gesture according to an embodiment of the present invention.
3 is a diagram illustrating a keyboard screen according to an embodiment of the present invention.
4 is a diagram illustrating a keyboard setup screen according to an embodiment of the present invention;
5 is a flowchart sequentially illustrating a method for providing a non-contact type input interface through operation recognition according to an exemplary embodiment of the present invention.
6 to 8 are views showing an example of a hand operation of a user according to an embodiment of the present invention;
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprising" or "having ", and the like, are intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 동작 인식을 통한 비접촉식 입력 인터페이스의 개략적인 구성도이다.1 is a schematic block diagram of a non-contact type input interface through operation recognition according to an embodiment of the present invention.
본 발명의 동작 인식을 통한 비접촉식 입력 인터페이스는, 예를 들어 스마트폰과 같은 모바일 기기 및 컴퓨터 등에 적용될 수 있으며, 감지부(110), 동작 인식부(120), 제어부(150), 표시부(130) 및 저장부(140)를 포함하여 구성될 수 있다. 또한, 동작 인식을 통한 비접촉식 입력 인터페이스는, 기존의 멀티터치 기능을 갖는 터치스크린을 장착한 모바일 기기 등에도 적용될 수 있다.The non-contact type input interface through the operation recognition of the present invention can be applied to a mobile device such as a smart phone, a computer, and the like, and includes a
먼저, 표시부(130)는 사용자에게 제공할 다양한 화면을 표시하며, 상기 제어부(150)로부터 수신된 화면 제어 신호에 따라 제어된 화면을 표시한다. 예를 들어, 도 2에 도시된 바와 같이, 사용자가 마우스를 쥐는 모양을 취한 후 검지 손가락으로 마우스를 클릭하는 모션을 취할 경우, 표시부(130)는 제어부(150)로부터 마우스 포인터를 통한 클릭 이벤트가 포함된 화면 제어 신호를 수신하여 해당 화면 페이지에서 마우스 포인터가 위치한 영역을 클릭하는 화면을 표시하며, 텍스트 입력이 가능한 어플리케이션이 실행될 경우 텍스트 입력을 위한 키보드 화면을 표시하고, 제어부(150)로부터 사용자가 비접촉으로 선택한 키보드의 키에 대응되는 텍스트가 입력되는 제어신호를 수신하여 해당 텍스트를 표시한다.First, the
감지부(110)는 비접촉식으로 입력 인터페이스를 수행하기 위해 손동작을 감지할 수 있는 적어도 하나 이상의 감지장치(다수의 센서(적외선 또는 초음파 센서), 센서 행렬 또는 카메라)를 포함하며, 감지장치들로부터 발생되는 비접촉 감지 신호를 획득하여 동작 인식부(120)로 전송한다. 여기서, 상기 비접촉 감지 신호는 측정된 상·하·좌·우·원근 결과 또는 가리기 정도, 가려진 시간 및 센서와 손과의 거리에 의한 센서의 반응 강도에 따른 신호일 수 있다. The
동작 인식부(120)는 상기 감지부(110)를 통해 획득한 비접촉 감지 신호를 기반으로 상기 대상객체의 모양, 위치, 크기, 속도 및 각도 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성한다. 이를 위해, 본 발명은 동작 인식부(120)의 대상객체의 모양을 인식하기 위한 모양정보 및 대상객체의 모양, 위치, 크기, 속도 및 각도 변화에 따른 비접촉 동작 인식 정보를 생성하기 위한 기 설정된 정보가 저장된 저장부(140)를 구비한다. The
본 발명의 실시예에서는 립모션(Leap Motion)을 이용하여 사용자의 손동작을 3D로 캡쳐하여 분석한 후, 분석 결과에 따른 비접촉 동작 인식 정보를 생성한다. 립모션을 이용한 제스쳐 인식 기술은, 손이나 도구를 이용한 사용자의 제스처를 센서 및 카메라를 통해 인식하여 위치나 속도, 각도 등의 정보를 Frame 단위로 제공하는 기술로서, 센서앞의 150도 반경 내에서 약 8ft3의 공간을 290FPS로 인식할 수 있으며, 약 100분의 1 밀리미터의 움직임도 감지 가능하다. 이러한, 립모션을 이용한 제스쳐 인식 기술은, 이미 넓게 쓰이고 있는 인식 기술로 여기에서는 그에 대한 상세한 설명은 생략하기로 한다.In the embodiment of the present invention, the hand motion of the user is captured and analyzed in 3D using Leap Motion, and the noncontact motion recognition information according to the analysis result is generated. Lip-motion gesture recognition technology is a technology that provides information such as position, speed, and angle in a frame unit by recognizing user's gesture using a hand or a tool through a sensor and a camera. Approximately 8 ft 3 of space can be recognized as 290 FPS, and motion of about a hundredth of a millimeter can be detected. Such a gesture recognition technique using lip motion is a widely used recognition technology, and a detailed description thereof will be omitted here.
제어부(150)는 동작 인식부(120)로부터 비접촉 동작 인식 정보를 전달받으면, 수신된 비접촉 동작 인식 정보에 포함된 내용에 따라 사용자가 원하는 화면 조작을 수행할 수 있도록 표시부(130)에 디스플레이된 화면을 제어한다. 즉, 제어부(150)는 비접촉 동작 인식 정보의 내용을 파악하여 동작 제어 정보를 생성하고, 생성된 동작 제어 정보에 따라 화면 제어 신호를 표시부(130)로 전송함으로써 표시부(130)에 디스플레이된 화면을 제어한다.When the non-contact operation recognition information is received from the
더불어, 제어부(150)는 텍스트 입력이 가능한 어플리케이션이 실행될 경우 도 3에 도시된 바와 같이, 표시부(130)를 통해 텍스트 입력을 위한 문자, 숫자, 기호, 그래픽 및 아이콘 중 적어도 하나 이상이 일정한 배열로 표시되는 키보드 화면을 제공하고, 동작 인식부(120)로부터 비접촉 동작 인식 정보를 전달받아, 상기 키보드 화면을 통한 비접촉 텍스트 입력을 수행한다.In addition, when an application capable of text entry is executed, at least one of characters, numbers, symbols, graphics, and icons for inputting text through the
예를 들어, 웹브라우저의 검색 입력창이 선택되거나 메모장과 같은 텍스트 입력 어플리케이션이 실행될 경우, 제어부(150)는 자동으로 화면의 일측에 텍스트 입력을 위한 키보드 화면을 디스플레이하며, 동작 인식부(120)는 대상객체의 모양, 위치, 크기, 속도 및 각도 변화를 통해 해당 키보드의 키가 터치되었음을 인식하고, 제어부(150)는 터치된 키보드의 키에 대응되는 텍스트가 표시부(130)를 통해 디스플레이되도록 제어한다. For example, when a search input window of a web browser is selected or a text input application such as a notepad is executed, the
본 발명의 실시예에서는 키보드 화면을 앞서 도시된 도 3과 같이, 기본적으로 쿼티 자판과 같게 배치하고, 왼쪽손은 Q, A, Z와 같이 묶어서 세로로 한 줄씩 왼쪽 새끼손가락부터 차례대로 할당했다. 반대로 오른손은 U, H, B와 같이 묶어서 세로로 한 줄씩 오른쪽 검지부터 차례대로 할당했다. 다만, T, Y, G는 본래 위치에 놓기에는 할당한 손가락이 부족하기 때문에 부득이하게 위치를 옮겨 배치하였다. 또한, 왼쪽 엄지에는 BSC(backspace) 키와 SPACE 키가, 오른쪽 엄지에는 Enter 키와 Shift 키를 할당하였다.In the embodiment of the present invention, the keyboard screen is basically arranged in the same manner as the QWERTY keyboard as shown in FIG. 3, and the left hand is divided into Q, A, On the contrary, the right hand is bundled like U, H, and B, and one line is assigned vertically from right to left. However, T, Y, and G are inevitably shifted from each other due to insufficient number of fingers allocated to the original position. In addition, BSC (backspace) key and SPACE key are assigned to the left thumb, and Enter key and Shift key are assigned to the right thumb.
또한, 제어부(150)는 사용자가 직접 자신이 원하는 형태로 자판을 배열하여 정의한 키보드를 사용할 수 있도록 도 4와 같이 키보드 셋업 화면을 제공할 수도 있다.
In addition, the
이하, 상술한 바와 같이 구성된 인터페이스를 이용하여 본 발명의 일실시예에 따른 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법에 대해 설명하기로 한다. Hereinafter, a method for providing a non-contact type input interface through operation recognition according to an embodiment of the present invention will be described using an interface configured as described above.
도 5는 본 발명의 일실시예에 따른 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법을 순차적으로 도시한 순서도이다.5 is a flowchart sequentially illustrating a method for providing a non-contact type input interface through operation recognition according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 먼저 감지부는 감지 장치를 통해 사용자의 비접촉 손동작을 감지한다(S510). 이때, 감지부는 사용자의 손동작을 3D 형태로 캡쳐하여 위치나 속도, 각도 등의 정보를 프레임 단위로 제공하며, 비접촉 동작 인식부는 상기 감지부를 통해 전송받은 복수의 프레임들을 통해 대상객체의 모양, 위치, 크기, 속도 및 각도 변화 분석을 수행하고(S520), 변화 분석에 따른 비접촉 동작 인식 정보를 생성한다(S530).As shown in FIG. 5, first, the sensing unit senses the non-contact hand operation of the user through the sensing device (S510). In this case, the sensing unit captures the user's hand motion in 3D form, and provides information such as position, speed, and angle on a frame basis. The non-contact motion recognition unit recognizes the shape, position and orientation of the target object through a plurality of frames, Size, speed and angle change analysis is performed (S520), and noncontact motion recognition information according to the change analysis is generated (S530).
특히, 본 발명은 종래의 마우스와 키보드를 사용하는 형태의 객체 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어함으로써, 사용자가 비접촉식 입력 인터페이스를 사용하기 위해 별도의 제스처를 학습할 필요가 없다.Particularly, the present invention does not require a user to learn a separate gesture in order to use a non-contact type input interface by recognizing an object operation using a conventional mouse and a keyboard and controlling a screen displayed on the user terminal.
예를 들어, 사용자가 앞서 도시된 도 2와 같이 마우스를 쥔 모션을 취할 경우, 손바닥 위치를 트랙킹하여 마우스 포인터를 이동시킨다. 이때, 마우스 포인터가 떨리는 현상이 발생될 수 있는데, 이는 감지부가 인식하는 가상 메트릭스는 3차원인 반면에 실제 마우스 포인터는 2차원 평면상에서 움직이기 때문이다. 본 발명에서는 이 문제를 해결하기 위하여 Z축 상의 벡터값을 무시하고 손바닥 위치를 트랙킹하여 제스처를 인식한다.For example, when the user takes a motion in which a mouse is held as shown in FIG. 2, the position of the palm is tracked to move the mouse pointer. At this time, the mouse pointer may vibrate because the virtual metrics recognized by the sensing unit are three-dimensional while the actual mouse pointer moves on the two-dimensional plane. In order to solve this problem, in the present invention, the gesture is recognized by tracking the position of the palm by ignoring the vector value on the Z axis.
마우스의 왼쪽 클릭 인식은 앞서 도시된 도 2와 같은 손동작에서 엄지손가락을 검지와 밀착시키는 동작을 취했을 때 마우스 클릭 이벤트를 발생시킨다. 이때, 손바닥을 기준으로 엄지의 포인터 부분과 검지의 세번째 마디(손가락이 손바닥과 만나는 지점)의 상대적인 X벡터 값을 각각 구하고, 두 벡터의 차를 통해 두 백터의 차가 4.0 이하인 경우 마우스를 클릭한 것으로 인지하며, 이 상태에서 다시 도 2와 같이 마우스를 쥔 모션으로 돌아올 경우 클릭하지 않는 상태로 되돌아간다.The left click recognition of the mouse generates a mouse click event when the thumb operation is performed in the hand operation shown in Fig. In this case, the relative X vector values of the thumb portion of the thumb and the third portion of the index finger (the point where the finger meets the palm) are obtained based on the palm of the hand, and when the difference between the two vectors is 4.0 or less, In this state, when returning to the motion with the mouse as shown in FIG. 2, the state returns to the state where the user does not click again.
마우스의 드래그 및 드롭 기능은 앞서 상술한 클릭 이벤트가 발생한 상태에서 손바닥을 움직일 경우 드래그 모션으로 인식한다. 이어서, 마우스 클릭을 해제하는 경우 드래그 이벤트가 종료되며 자동으로 드롭 상태가 된다.The drag and drop function of the mouse is recognized as a drag motion when the palm is moved in a state where the above-described click event occurs. Then, when releasing the mouse click, the drag event is ended and it is automatically dropped.
마우스의 오른쪽 클릭은 일반적인 마우스 구조상 오른쪽 버튼을 클릭하였을 때 발생하는 이벤트이다. 본 발명에서는 도 2에 도시된 손동작을 취한 상태에서 손을 디스플레이 쪽으로 적당이 빠르게 움직였다가 다시 원래대로 돌아오는 경우, 오른손의 Z 위치 벡터값의 변화량을 비교하여 마우스 오른쪽의 클릭 이벤트를 차례대로 발생시킨다. A right mouse click is an event that occurs when the right mouse button is clicked on a normal mouse structure. In the present invention, when the hand moves to the display side suitably quickly in the state where the hand operation shown in FIG. 2 is taken and then returns to the original position, the right mouse click event is sequentially generated .
휠 이벤트는 주먹을 쥐고 검지만 화면을 가리킨 상태에서 검지를 시계/반시계 방향으로 회전할경우 휠 이벤트를 발생시킨다. 이때, 검지가 시계 방향으로 회전하면 스크롤을 아래 방향으로, 반시계 방향으로 회전하면 위 방향으로 이동한다. 또한, 왼손의 경우 다섯개의 왼손가락 포인터의 X, Y, Z 벡터값이 왼손바닥 좌표와 5 이하의 차이를 보이면 주먹을 쥔 것으로 판단한다.The wheel event generates a wheel event when the index finger is rotated clockwise or counterclockwise while holding the fist and pointing at the index finger only. At this time, when the index finger rotates in the clockwise direction, the scroll is moved downward, and when the index finger rotates in the counterclockwise direction, it moves in the upward direction. Also, in the case of the left hand, if the X, Y, and Z vector values of the five left-handed melody pointers show a difference of 5 or less from the left-hand bottom coordinate,
키보드의 입력은 도 6에 도시된 바와 같이, 양손을 센서로부터 적당한 높이에 편하게 올려놓고 손가락을 움직여 입력한다. 양쪽 손바닥 중심으로부터 각 손가락 끝부분까지의 거리를 구하고 그 거리에 비례하여 각 포인터의 X, Y, Z 위치 백터값에 따라 그에 해당하는 키보드가 입력된다. 예를 들어 왼손바닥부터 왼쪽 새끼손가락 포인터까지 거리가 10cm라면 손바닥 중심의 위치 벡터 값에 비해 포인터의 위치 백터값이 얼마나 변하는지를 측정해 그 차이의 정도에 따라 키보드의 Z, A, Q가 각각 입력된다. 또한, 엄지의 경우 손 구조상 다른 손가락보다 수평적인 움직임이 수월한 점을 이용하여 Y 벡터값의 변화량이 X, Z 벡터 변화량보다 상대적으로 매우 크면 키보드의 T, G가 각각 입력된다. 이와 마찬가지로, 좌우에 해당하는 X 벡터값의 변화량에 따라 키보드의 T와 G의 좌우에 배치된 키보드가 알맞게 입력된다. 한편, 보통 새끼손가락은 약지와 함께 움직이는 경우가 존재하나, 약지 포인터만 단독으로 움직이는 경우에는 새끼손가락 포인터가 움직이지 않는다. 이 점을 이용하여 새끼손가락 포인터가 움직이는 경우에는 약지의 입력을 제한하여 입력 오동작을 방지한다. 더불어, 키보드 입력시 입력 오동작을 방지하기 위해 한쪽 손마다 동시에 입력 가능한 키를 3개 이하로 제한하는 것이 바람직하다.The input of the keyboard is as shown in Fig. 6, in which both hands are placed at an appropriate height from the sensor and the finger is moved and input. The distance from the center of both palms to each fingertip is obtained, and the corresponding keyboard is input according to the X, Y, Z position vector value of each pointer in proportion to the distance. For example, if the distance from the bottom of the left hand to the left little finger pointer is 10cm, the position vector value of the pointer changes according to the position vector value of the palm center. Depending on the degree of the difference, Z, A, do. In the case of the thumb, using the point where horizontal movement is easier than other fingers in the hand structure, if the change amount of the Y vector value is relatively larger than the X and Z vector variation amount, T and G of the keyboard are input respectively. Likewise, the keyboard disposed at the left and right of the T and G of the keyboard is appropriately input according to the amount of change of the X vector value corresponding to the left and right. On the other hand, there is a case where the little finger usually moves with the finger ring, but the finger finger pointer does not move when only the finger finger pointer moves alone. In this case, when the little finger pointer moves, the input of the ring finger is limited to prevent an input malfunction. In addition, in order to prevent an input malfunction when inputting a keyboard, it is preferable to limit the number of keys that can be simultaneously input to one hand to three or less.
본 발명의 실시예에서는 특정 손동작을 이용해 한/영 변환이 가능하도록 구현하였다. 도 7에 도시된 바와 같이, 키보드 입력을 위해 아래로 향하던 손바닥을 옆을 보게 세운 후 옆으로 이동하는 경우, 한/영 변환을 수행한다. 이때, 키보드 입력 이벤트가 발생하는 것을 방지하기 위해 수직으로 세운 손의 다섯 포인트의 X위치 벡터값의 차이가 서로 10이하일때 키보드 이벤트가 발생하지 않도록 예외처리하였다.In the embodiment of the present invention, it is possible to perform one-to-zero conversion using a specific hand gesture. As shown in FIG. 7, when the palm facing downward is moved to the side for keyboard input and then moved sideways, a one-to-zero conversion is performed. In this case, in order to prevent the keyboard input event from occurring, exception processing is performed so that the keyboard event does not occur when the X position vector values of five points of the vertical hand are 10 or less.
또한, 본 발명의 실시예에서는 특정 손동작을 이용해 키보드와 마우스의 활성/비활성 상태 변환이 가능하도록 구현하였다. 도 8에 도시된 바와 같이, 양손을 센서에 인식시키고 양손 모두 주먹을 쥐었다가 펴는 동작을 취하면, 키보드, 마우스 기능을 각각 활성, 비활성 상태로 변환한다. 이때, 양손의 손바닥을 기준으로 손가락이 각 손바닥 위치 좌표에 20 이하로 근접했을 경우에 주먹을 쥔 것으로 간주한다.In the embodiment of the present invention, the active / inactive state conversion of the keyboard and the mouse can be performed by using a specific hand gesture. As shown in FIG. 8, when both hands are recognized by the sensor and both hands are grasped and stretched, the keyboard and mouse functions are respectively converted into the active and inactive states. At this time, when the fingers approach to the palm position coordinate of each hand based on the palm of both hands, it is regarded as having a fist.
이와 같은 방식의 동작 인식을 통해 제어부는 그에 대응하는 동작 제어 정보를 생성하고(S540), 생성된 동작 제어 정보에 따른 화면 제어를 수행한다(S550).In operation S540, the control unit generates the corresponding operation control information through the operation recognition, and performs the screen control according to the generated operation control information in operation S550.
상술한 바와 같이, 종래의 마우스와 키보드를 사용하는 형태의 객체 동작을 인식하여 사용자 단말기에 디스플레이되는 화면을 제어함으로써, 사용자가 비접촉식 입력 인터페이스를 사용하기 위해 별도의 제스처를 학습하거나 기억해야 하는 부담감없이 없어 사용이 직관적이고 간단하며, 자연스러운 사용자-단말기 인터렉션을 제공한다. 또한, 기존의 마우스와 키보드를 번갈아가며 사용하지 않고, 최소한의 입력장치로 사용자 단말기를 제어함에 따라 작업 능률을 향상시킬 수 있다.As described above, by recognizing an object operation using a conventional mouse and a keyboard and controlling a screen displayed on the user terminal, it is possible to provide a user with a feeling of burden to learn or memorize a separate gesture to use a contactless input interface It provides intuitive, simple, and natural user-to-device interaction. In addition, it is possible to improve the work efficiency by controlling the user terminal with the minimum input device without using the conventional mouse and keyboard alternately.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, it is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. It will be obvious to those of ordinary skill in the art.
110 : 감지부
120 : 동작 인식부
130 : 표시부
140 : 저장부
150 : 제어부110: sensing unit 120: motion recognition unit
130: display unit 140:
150:
Claims (20)
표시부;
하나 이상의 감지 장치를 갖고, 상기 감지 장치를 통해 사용자의 비접촉 손동작을 감지하는 감지부;
상기 감지부로부터 감지된 비접촉 감지 신호들을 분석하여 비접촉 동작 인식 정보를 생성하는 동작 인식부; 및
상기 생성된 비접촉 동작 인식 정보에 따라 제어된 화면을 상기 표시부에 디스플레이하는 제어부;
를 포함하여 구성되는 동작 인식을 통한 비접촉식 입력 인터페이스.
An input interface for receiving input from a user,
A display section;
A sensing unit having at least one sensing device and sensing non-contact hand motions of the user through the sensing device;
An operation recognition unit for analyzing the non-contact sensing signals sensed by the sensing unit to generate non-contact motion recognition information; And
A controller for displaying a screen controlled according to the generated noncontact motion recognition information on the display unit;
A non-contact type input interface through motion recognition.
상기 감지 장치는,
적외선 센서 행렬, 초음파 센서 행렬 또는 카메라 중 적어도 하나 이상을 포함하거나 이들의 조합으로 구성된 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
The sensing device includes:
An infrared sensor matrix, an ultrasonic sensor matrix, or a camera, or a combination thereof.
상기 비접촉 감지 신호는,
상기 감지장치를 통해 측정된 상·하·좌·우·원근 결과 또는 가리기 정도, 가려진 시간 및 센서와 손과의 거리에 의한 센서의 반응 강도에 따른 신호를 포함하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
Wherein the noncontact sensing signal comprises:
And a signal according to the reaction intensity of the sensor based on the distance, the distance between the sensor and the hand, the degree of the result of the up / down / left / right / Contactless input interface.
상기 동작 인식부는,
상기 비접촉 감지 신호를 기반으로 사용자 손동작의 모양, 위치, 크기, 속도 및 각도 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
Wherein the motion recognition unit comprises:
Wherein the controller analyzes the change in shape, position, size, speed and angle of the user's hand movements based on the non-contact sensing signal, and generates non-contact motion recognition information according to the change analysis.
상기 사용자의 비접촉 손동작의 모양을 인식하기 위한 모양정보 및 사용자 손동작의 모양, 위치, 크기, 속도 및 각도 변화에 따른 비접촉 동작 인식 정보를 생성하기 위한 기 설정된 정보가 저장된 저장부를 더 포함하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
And a storage unit for storing predetermined information for generating noncontact motion recognition information according to shape information, position, size, velocity, and angle of the user's hand movement, the shape information for recognizing the shape of the non-contact hand movement of the user, Contactless input interface through motion recognition.
상기 제어부는,
텍스트 입력이 가능한 어플리케이션이 실행될 경우, 상기 표시부를 통해 텍스트 입력을 위한 키보드 화면을 제공하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
Wherein,
And a keyboard screen for inputting text is provided through the display unit when an application capable of text input is executed.
상기 제어부는,
사용자가 사용자의 손동작을 통해 키보드를 활성 상태로 변환할 경우, 상기 표시부를 통해 텍스트 입력을 위한 키보드 화면을 제공하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
The method according to claim 1,
Wherein,
Wherein the keyboard provides a keyboard screen for inputting text through the display unit when the user converts the keyboard into an active state through a hand operation of the user.
상기 제어부는,
동작 인식부를 통해 사용자가 양손 모두 주먹을 쥐었다가 펴는 동작을 인식할 경우, 키보드를 활성 상태로 변환하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
8. The method of claim 7,
Wherein,
Wherein the keyboard is switched to an active state when the user recognizes an unfolding operation by holding the fist with both hands by the operation recognition unit.
상기 제어부는,
사용자가 직접 자신이 원하는 형태로 자판을 배열하여 정의한 키보드를 사용할 수 있도록 키보드 셋업 화면을 제공하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스.
8. The method according to claim 6 or 7,
Wherein,
And a keyboard setup screen is provided so that the user can directly use the keyboard defined by arranging the keyboard in a desired form by himself / herself.
적어도 하나 이상의 감지장치를 통해 사용자 손동작을 3D 형태로 캡쳐하여 프레임 단위로 제공하는 단계;
상기 복수의 프레임들을 통해 사용자 손동작의 모양, 위치, 크기, 속도 및 각도 변화 분석을 수행하고, 변화 분석에 따른 비접촉 동작 인식 정보를 생성하는 단계;
생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계; 및
생성된 동작 제어 정보에 따른 화면 제어를 수행하는 단계;를 포함하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
A method for providing a non-contact type input interface using a non-contact type input interface through operation recognition comprising a sensing unit, an operation recognition unit, a display unit, a storage unit, and a control unit,
Capturing a user's hand gesture in a 3D form through at least one sensing device and providing it in units of frames;
Analyzing a change in shape, position, size, speed, and angle of a user's hand movement through the plurality of frames, and generating non-contact motion recognition information according to change analysis;
Generating operation control information corresponding to the generated noncontact motion recognition information; And
And performing screen control according to the generated operation control information.
상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
사용자가 손동작을 통해 마우스를 쥔 모션을 취할 경우, 사용자 손바닥 위치를 트랙킹하여 마우스 포인터를 이동시키는 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
Wherein the event generating unit generates an event for tracking the position of the user's palm and moving the mouse pointer when the user takes a motion of holding the mouse through a hand operation.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
사용자가 손동작을 통해 마우스를 쥔 모션에서 엄지손가락을 검지와 밀착시키는 동작을 취했을 때, 마우스 왼쪽 클릭 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
And generating a mouse left-click event when the user takes an action of bringing the thumb in close contact with the index finger in a motion of the mouse through a hand-operated operation.
상기 엄지손가락을 검지와 밀착시키는 동작에 대한 판단은,
상기 사용자의 손바닥을 기준으로 엄지의 포인터 부분과 검지의 세번째 마디(손가락이 손바닥과 만나는 지점)의 상대적인 X벡터 값을 각각 구하여, 두 벡터값의 차이가 미리 설정된 일정 기준값 이하인 경우 엄지손가락과 검지가 밀착되었다고 판단하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
13. The method of claim 12,
The determination as to whether the thumb is in close contact with the index finger,
The relative X vector values of the pointer portion of the thumb and the third node of the index finger (the point where the finger meets the palm of the hand) are respectively obtained based on the palm of the user, and when the difference between the two vector values is equal to or less than a predetermined reference value, And determining that the user is in close contact with the non-contact input interface.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
사용자가 손동작을 통해 마우스를 쥔 모션에서 엄지손가락을 검지와 밀착시킨 상태에서 손바닥을 움직일 경우 마우스 드래그 모션 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
Wherein the mouse drag motion event is generated when the user moves the palm while the thumb is in close contact with the index finger in the motion of the mouse through the hand gesture.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
사용자가 손동작을 통해 마우스를 쥔 모션에서 손을 앞으로 빠르게 움직였다가 다시 원래대로 돌아오는 경우, 마우스 오른쪽의 클릭 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
Wherein the right click event is generated when the user quickly moves his / her hand forward in a motion in which the user holds the mouse through the hand operation and then returns to the original state.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
사용자가 주먹을 쥐고 검지만 화면을 가리킨 상태에서 검지를 시계/반시계 방향으로 회전할 경우, 마우스 휠 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
Wherein the mouse wheel event is generated when the user rotates the index finger in a clockwise / counterclockwise direction with the fist held and the index finger pointing to the screen.
상기 검지가 시계방향으로 회전할 경우, 스크롤을 아래 방향으로 이동시키고, 상기 검지가 반시계방향으로 회전할 경우, 스크롤을 윗방향으로 이동시키는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
17. The method of claim 16,
And moving the scroll in a downward direction when the detector rotates in a clockwise direction and moving the scroll in an upward direction when the detector rotates in a counterclockwise direction.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
상기 화면에 키보드가 활성된 상태에서 사용자 양손의 손가락이 움직일 경우, 양쪽 손바닥 중심으로부터 각 손가락 끝부분까지의 거리를 구하고, 그 거리에 비례하여 각 포인터의 X, Y, Z 위치 백터값에 따라 그에 해당하는 키보드를 입력하는 이벤트를 발생하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
When a finger of the user's hands is moved in a state where the keyboard is activated on the screen, the distance from the center of both palms to each fingertip is obtained, and the distance is calculated in accordance with the X, Y, Z position vector values of the respective pointers And generating an event for inputting the corresponding keyboard.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
손바닥을 옆으로 세운 후 옆으로 이동하는 경우, 한/영 변환 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.
11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
And generating a one-to-zero conversion event when the palm is moved sideways and then moved sideways.
상기 상기 생성된 비접촉 동작 인식 정보에 대응하는 동작 제어 정보를 생성하는 단계에서는,
양손 모두 주먹을 쥐었다가 펴는 동작을 수행할 경우, 키보드 또는 마우스 기능의 활성/비활성 상태 변환 이벤트를 생성하는 것을 특징으로 하는 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법.11. The method of claim 10,
In the step of generating the operation control information corresponding to the generated noncontact motion recognition information,
Wherein the controller generates an active / inactive state conversion event of a keyboard or a mouse function when both hands hold a fist and perform a straightening operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150018480A KR20160097410A (en) | 2015-02-06 | 2015-02-06 | Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150018480A KR20160097410A (en) | 2015-02-06 | 2015-02-06 | Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160097410A true KR20160097410A (en) | 2016-08-18 |
Family
ID=56873954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150018480A KR20160097410A (en) | 2015-02-06 | 2015-02-06 | Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160097410A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190008971A (en) * | 2019-01-15 | 2019-01-25 | 재단법인 아산사회복지재단 | Medical non-contact interface system and method of controlling the same |
| KR20190014839A (en) * | 2017-08-04 | 2019-02-13 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | Contactless gesture recognition system and the method thereof |
| US10372230B2 (en) | 2016-10-31 | 2019-08-06 | Center For Integrated Smart Sensors Foundation | User interface device using transmission and reception of ultrasonic signals |
| RU195563U1 (en) * | 2019-02-15 | 2020-01-31 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского" | INTERACTIVE INFORMATION AND REFERENCE DEVICE |
| WO2020036235A1 (en) * | 2018-08-13 | 2020-02-20 | 정규민 | Method and apparatus for recognizing object and processing data using rgb sensor |
| US10963066B2 (en) | 2017-06-26 | 2021-03-30 | Seoul National University R&Db Foundation | Keyboard input system and keyboard input method using finger gesture recognition |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130074778A (en) | 2013-05-20 | 2013-07-04 | 노인철 | Enlarge keyboard and input method of smartphones and smart devices using capacitive touch screen |
-
2015
- 2015-02-06 KR KR1020150018480A patent/KR20160097410A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130074778A (en) | 2013-05-20 | 2013-07-04 | 노인철 | Enlarge keyboard and input method of smartphones and smart devices using capacitive touch screen |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10372230B2 (en) | 2016-10-31 | 2019-08-06 | Center For Integrated Smart Sensors Foundation | User interface device using transmission and reception of ultrasonic signals |
| US10963066B2 (en) | 2017-06-26 | 2021-03-30 | Seoul National University R&Db Foundation | Keyboard input system and keyboard input method using finger gesture recognition |
| KR20190014839A (en) * | 2017-08-04 | 2019-02-13 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | Contactless gesture recognition system and the method thereof |
| WO2020036235A1 (en) * | 2018-08-13 | 2020-02-20 | 정규민 | Method and apparatus for recognizing object and processing data using rgb sensor |
| KR20190008971A (en) * | 2019-01-15 | 2019-01-25 | 재단법인 아산사회복지재단 | Medical non-contact interface system and method of controlling the same |
| RU195563U1 (en) * | 2019-02-15 | 2020-01-31 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского" | INTERACTIVE INFORMATION AND REFERENCE DEVICE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8432301B2 (en) | Gesture-enabled keyboard and associated apparatus and computer-readable storage medium | |
| US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
| US8059101B2 (en) | Swipe gestures for touch screen keyboards | |
| US10331219B2 (en) | Identification and use of gestures in proximity to a sensor | |
| US8941600B2 (en) | Apparatus for providing touch feedback for user input to a touch sensitive surface | |
| KR101471267B1 (en) | Method and device for generating dynamically touch keyboard | |
| US20120127070A1 (en) | Control signal input device and method using posture recognition | |
| EP2628067B1 (en) | Apparatus and method for controlling motion-based user interface | |
| US20110060986A1 (en) | Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same | |
| US9857868B2 (en) | Method and system for ergonomic touch-free interface | |
| US20150220150A1 (en) | Virtual touch user interface system and methods | |
| US20080134078A1 (en) | Scrolling method and apparatus | |
| US20120105367A1 (en) | Methods of using tactile force sensing for intuitive user interface | |
| KR20160097410A (en) | Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto | |
| US20150220149A1 (en) | Systems and methods for a virtual grasping user interface | |
| US8462113B2 (en) | Method for executing mouse function of electronic device and electronic device thereof | |
| US20150100911A1 (en) | Gesture responsive keyboard and interface | |
| WO2010032268A2 (en) | System and method for controlling graphical objects | |
| US20140298275A1 (en) | Method for recognizing input gestures | |
| US20010033268A1 (en) | Handheld ergonomic mouse | |
| CN101377725A (en) | Hand-held electric device and control method thereof | |
| EP3433713B1 (en) | Selecting first digital input behavior based on presence of a second, concurrent, input | |
| CN103257724A (en) | Non-contact mouse and operation method thereof | |
| KR20200019426A (en) | Inferface method of smart touch pad and device therefor | |
| TWI439922B (en) | Handheld electronic apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |