KR100856919B1 - Method and Apparatus for user input based on gesture - Google Patents
Method and Apparatus for user input based on gesture Download PDFInfo
- Publication number
- KR100856919B1 KR100856919B1 KR1020060121051A KR20060121051A KR100856919B1 KR 100856919 B1 KR100856919 B1 KR 100856919B1 KR 1020060121051 A KR1020060121051 A KR 1020060121051A KR 20060121051 A KR20060121051 A KR 20060121051A KR 100856919 B1 KR100856919 B1 KR 100856919B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- electronic device
- pad
- sound
- pads
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 제스처 기반 사용자 입력 방법 및 장치에 관한 것으로 문자, 숫자, 기호 및 도형을 그리는 제스처 모두를 감지할 수 있도록 하기 위하여, 그림 제스처가 그려지는 제스처 패드와, 상기 그림 제스처가 그려질 때 발생되는 상기 제스처 패드의 상기 소리 또는 진동을 감지하는 제스처 감지부와, 복수개의 유효 제스처들 각각에 대응되는 기준 데이터를 매핑하여 저장하는 제스처 저장부와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부와, 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자장치에 통보하는 통신부를 포함하는 것을 특징으로 하며, 이에 의하여 그림 제스처를 통해 전자 기기의 특정 기능을 선택하고 실행되도록 할 뿐 만 아니라 문자, 숫자, 기호 및 도형도 직접 전자 기기로 입력할 수 있도록 한다. The present invention relates to a gesture-based user input method and apparatus, in order to be able to detect all gestures for drawing letters, numbers, symbols, and figures, a gesture pad on which a picture gesture is drawn, and a gesture pad generated when the picture gesture is drawn. A gesture detection unit for detecting the sound or vibration of the gesture pad, a gesture storage unit for mapping and storing reference data corresponding to each of a plurality of valid gestures, and extracting feature data by analyzing the sound or vibration, A gesture recognition unit obtaining the valid gesture corresponding to the feature data by comparing the feature data with a plurality of reference data mapped to each of the plurality of valid gestures, and obtaining the obtained valid gesture through the gesture recognition unit. It characterized in that it comprises a communication unit for notifying the electronic device, In addition to selecting and executing a specific function of an electronic device through a picture gesture, characters, numbers, symbols, and figures can be directly input to the electronic device.
제스처 패드, 그림 제스처, 전자 기기 제어 Gesture pad, figure gesture, electronic device control
Description
도1은 종래의 기술에 따른 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 장치의 구성을 도시한 도면,1 is a view showing the configuration of a wireless electronic device control apparatus using a finger and hand gesture according to the prior art,
도2는 본 발명의 바람직한 일 실시예에 따른 제스처 기반 사용자 입력 장치의 구성을 도시한 도면,2 is a block diagram of a gesture-based user input device according to an embodiment of the present invention;
도3A는 본 발명의 바람직한 일 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면,3A is a view showing different sounds or vibrations for a gesture pad and a picture gesture according to an embodiment of the present invention;
도3B는 본 발명의 바람직한 다른 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면,3B is a view showing different sounds or vibrations for a gesture pad and a picture gesture according to another exemplary embodiment of the present invention;
도4A는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면,4A illustrates a mapping relationship between a valid gesture and a function of an electronic device according to an embodiment of the present invention;
도4B는 본 발명의 다른 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면,4B is a view for explaining a mapping relationship between a valid gesture and a function of an electronic device according to another embodiment of the present invention;
도4C는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 버튼 정보간 매핑관계를 설명하기 위한 도면,4C is a view for explaining a mapping relationship between a valid gesture and button information of an electronic device according to an embodiment of the present invention;
도5는 본 발명의 일 실시예에 따른 제스처 기반 사용자 입력 방법을 설명하 기 위한 도면,5 is a view for explaining a gesture-based user input method according to an embodiment of the present invention;
도6은 본 발명의 제스처 기반 사용자 입력 장치의 일 실시예에 따른 구현예를 도시한 도면, 그리고 6 illustrates an embodiment according to an embodiment of a gesture-based user input device of the present invention; and
도7은 본 발명의 제스처 기반 사용자 입력 장치의 다른 실시예에 따른 구현예를 도시한 도면이다.7 is a diagram illustrating an implementation example according to another embodiment of the gesture-based user input device of the present invention.
본 발명은 제스처 기반 사용자 입력 장치에 관한 것으로, 특히 단순 제스처 뿐 만 아니라 사용자에게 의미가 있는 뭇자, 숫자, 기호, 또는 도형과 같은 그림 제스처를 감지할 수 있도록 하는 제스처 기반 사용자 입력 방법 및 장치에 관한 것이다. The present invention relates to a gesture-based user input device, and more particularly, to a gesture-based user input method and apparatus for detecting not only a simple gesture but also a picture gesture such as a figure, a number, a symbol, or a figure that is meaningful to a user. will be.
미국 특허 등록번호 7148879(등록일:2006년12월12일)는 도1의 구성 요소들을 구비하여 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 시스템, 방법 및 장치를 제안하고 있다. US Patent Registration No. 7148879 (registered date: December 12, 2006) proposes a wireless electronic device control system, method and apparatus using fingers and hand gestures with the components of FIG.
계속하여 도1을 참조하면, 생체 음향 센서(11)는 손가락 또는 손의 제스처에 따라 발생하는 생체 음향을 감지하고, 신호 증폭부(12)는 생체 음향을 소정 크기로 증폭하고, 디지털 프로세서(14)는 기 설정된 제스처 데이터와 현재에 생체 음향을 비교하고, 비교 결과에 따라 전자 기기의 특정 기능을 선택하도록 하는 제스처의 식별 정보를 획득하도록 한다. Subsequently, referring to FIG. 1, the
그러나 도1의 시스템을 통해 감지할 수 있는 제스처는 특정 손가락의 접촉 여부, 특정 손톱의 접촉 여부, 또는 접촉 횟수등과 같은 단순한 기준에 따라 구분된다. However, gestures that can be detected through the system of FIG. 1 are classified according to simple criteria such as whether a specific finger is in contact, whether a specific finger is in contact, or the number of times of contact.
이에 종래의 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 장치는 단순한 제스처 만을 감지하고 이들에 전자 기기의 기능들을 매핑하였으므로, 매우 복잡하고 다양한 기능을 가지는 전자 기기의 모든 기능을 매핑하는 데에는 한계가 있었다. Accordingly, since the conventional wireless electronic device control apparatus using finger and hand gestures detects only a simple gesture and maps functions of the electronic device to them, there is a limit in mapping all the functions of the electronic device having a very complex and various functions.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 문자, 숫자, 기호 및 도형을 그리는 제스처 모두를 감지할 수 있도록 하여, 감지가능한 제스처의 종류를 획기적으로 증대시켜 주는 제스처 기반 사용자 입력 방법 및 장치를 제공하는 것이다. An object of the present invention to solve the above problems is to provide a gesture-based user input method and apparatus that can detect all the gestures for drawing letters, numbers, symbols, and figures, thereby dramatically increasing the types of detectable gestures. To provide.
상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 장치는 그림 제스처가 그려지는 하나 이상의 제스처 패드와, 상기 제스처 패드에 그림 제스처가 그려질 때 발생되는 상기 소리 또는 진동을 감지하는 제스처 감지부와, 복수개의 유효 제스처들 각각에 대응되는 기준 데이터를 매핑하여 저장하는 제스처 저장부와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부 와, 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자기기에 통보하는 통신부를 구비한다. In order to achieve the above object, the gesture-based user input device of the present invention is one or more gesture pads for drawing a picture gesture, and gesture detection for detecting the sound or vibration generated when the picture gesture is drawn on the gesture pad And a gesture storage unit for mapping and storing reference data corresponding to each of the plurality of valid gestures, and extracting feature data by analyzing the sound or vibration, and mapping the feature data to each of the plurality of valid gestures. A gesture recognition unit for acquiring the valid gesture corresponding to the feature data and a communication unit for notifying the acquired valid gesture through the gesture recognition unit to the electronic device are compared with a plurality of reference data.
상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 장치를 이용하는 전자 장치는 그림 제스처가 그려질 때 발생되는 소리 또는 진동을 감지 및 분석하여 특징 데이터를 추출한 후, 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여 유효 제스처를 획득하는 제스처 인식 장치와, 상기 복수개의 유효 제스처들 각각에 복수개의 기능들 또는 복수개 버튼 정보들을 매핑한 후, 상기 제스처 인식 장치를 통해 획득된 상기 유효 제스처에 매핑된 기능을 수행하거나 상기 유효 제스처에 매핑된 버튼 정보를 사용자 입력 값으로 획득하여 입력하는 하나 이상의 전자 기기를 구비한다. In order to achieve the above object, an electronic device using the gesture-based user input device of the present invention extracts feature data by detecting and analyzing a sound or vibration generated when a picture gesture is drawn, and then, each of the plurality of effective gestures. A gesture recognition apparatus for obtaining a valid gesture by comparing the plurality of reference data mapped to the plurality of reference data; and mapping a plurality of functions or a plurality of button information to each of the plurality of valid gestures, and then obtained through the gesture recognition apparatus. At least one electronic device that performs a function mapped to the valid gesture or obtains and inputs button information mapped to the valid gesture as a user input value.
상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 방법은 하나 이상의 제스처 패드에 그림 제스처가 그려질 때에 발생하는 소리 또는 진동을 감지하는 감지 단계와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출한 후, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식 단계와, 상기 획득된 유효 제스처를 전자 기기로 통보하는 통보 단계를 구비한다.In order to achieve the above object, the gesture-based user input method of the present invention is a detection step of detecting a sound or vibration generated when a picture gesture is drawn on one or more gesture pads, and analyzing the sound or vibration feature data And extracting the feature data from the plurality of reference data mapped to each of the plurality of valid gestures, and obtaining a valid gesture corresponding to the feature data. A notification step of notifying the device.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings.
도2는 본 발명의 바람직한 일 실시예에 따른 제스처 기반 사용자 입력 장치의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of a gesture-based user input device according to an exemplary embodiment of the present invention.
도2에 도시된 바와 같이, 본 발명의 제스처 기반 사용자 입력 장치(20)는 제스처 패드(21), 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 구비한다.As shown in FIG. 2, the gesture-based
제스처 패드(21)는 제스처 감지 동작을 위한 특수한 소리 또는 진동을 발생시키는 고유 표면 패턴을 구비하여, 사용자가 다양한 형태의 그림 제스처를 그릴 수 있도록 한다. The
이때, 그림 제스처는 문자를 쓰기 위한 제스처, 숫자를 쓰기 위한 제스처, 기호를 그리기 위한 제스처, 또는 도형을 그리기 위한 제스처 등을 모두 포함한다. 그리고 제스처 패드(21)는 하나 이상으로 구현될 수 있으며, 전자 기기(30)의 사용자가 몸에 지니거나 착용할 수 있는 모든 대상과 사용자가 직접 접촉할 수 있는 주변의 모든 대상의 표면 일부 또는 전체에 존재할 수 있다. 또한 필요한 경우에는 마우스 패드와 같이 독립된 형태로써 존재할 수 도 있다. In this case, the picture gesture includes a gesture for writing a character, a gesture for writing a number, a gesture for drawing a symbol, a gesture for drawing a figure, and the like. In addition, the
제스처 감지부(22)는 사용자가 제스처 패드(21)에 그림 제스처를 그릴 때 발생하는 소리 또는 진동을 감지 및 획득하고, 제스처 인식부(24)가 인식할 수 있도 록 증폭한다. The
제스처 저장부(23)는 감지하고자 하는 유효 제스처들의 식별 정보들 각각에 기준 데이터를 매핑하여 저장한다. The
제스처 인식부(24)는 제스처 감지부(22)로부터 출력되는 소리 또는 진동을 분석하여 제스처 패드(21)에 그려진 그림 제스처의 특징 데이터를 추출한다. 그리고 제스처 저장부(23)를 검색하여 특징 데이터와 일치하는 값을 가지는 기준 데이터를 획득하고, 획득된 기준 데이터에 매핑된 제스처의 식별 정보를 획득한다. 즉, 제스처 감지부(22)로부터 출력되는 소리 또는 진동에 대응되는 유효 제스처를 인식한다. The
또한 제스처 인식부(24)는 사용자의 요청에 응답하여 별도의 설정 동작을 수행하여, 유효 제스처들 및 유효 제스처들 각각에 매핑되는 기준 데이터를 재설정 또는 변경할 수 있다. In addition, the
통신부(25)는 전자 기기(30)와의 유선 또는 무선으로 연결되어, 제스처 인식부(24)를 통해 인식된 제스처의 식별 정보를 전송한다. The
하나이상의 전자 기기(30)는 유효 제스처들의 식별 정보들 각각에 매핑되는 기능들 또는 버튼 정보들을 사전에 정의한다. 그리고 제스처 기반 사용자 입력 장치(20)로부터 유효 제스처의 식별 정보가 전송되면, 전송된 유효 제스처의 식별 정보에 매핑된 기능을 실질적으로 수행하거나 버튼 정보를 사용자 입력 값으로 획득하는 사용자 입력 동작을 수행하여 준다. The one or more electronic devices 30 define in advance functions or button information mapped to each of the identification information of the valid gestures. When the identification information of the valid gesture is transmitted from the gesture-based
도3A는 본 발명의 바람직한 일 실시예에 따른 제스처 패드와 그림 제스처별 로 상이한 소리 또는 진동을 도시한 도면이다. 3A illustrates different sounds or vibrations for a gesture pad and a picture gesture according to an exemplary embodiment of the present invention.
도3A의 제스처 패드는 하나의 패드(pad10)로 구현된 것으로, 패드(pad10)는 외부 잡음과 구별되는 소리 또는 진동을 발생할 수 있도록 격자패턴, 돌출패턴 및 굴곡 패턴 등과 같이 소리 또는 진동 발생 패턴이 형성된 표면을 가진다. The gesture pad of FIG. 3A is implemented by a
이에 사용자가 도 3A의 (a),(b),(c) 및 (d)에 도시된 바와 같이 동일한 패드(pad10)에 상이한 형태의 그림 제스처를 즉, 문자, 숫자, 기호, 또는 도형을 그리면, 패드(pad10)는 사용자에 의해 그려지는 그림 제스처에 대응되는 특수한 소리 또는 진동을 발생한다.Therefore, when the user draws different types of pictorial gestures, that is, letters, numbers, symbols, or figures on the
도3B는 본 발명의 바람직한 다른 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면이다. 3B is a diagram illustrating different sounds or vibrations for a gesture pad and a picture gesture according to another exemplary embodiment of the present invention.
도3B의 제스처 패드는 복수개의 상이한 패드들(pad21~pad24)로 구현된 것으로, 복수개의 상이한 패드들(pad21~pad24)은 서로 상이한 소리 또는 진동이 발생할 수 있도록 서로 상이한 소리 또는 진동 발생 패턴이 형성된 표면을 가지거나 서로 상이한 재질을 가진다. The gesture pad of FIG. 3B is implemented by a plurality of different pads pad21 to pad24, and the plurality of different pads pad21 to pad24 are formed with different sound or vibration generation patterns so that different sounds or vibrations can be generated. It has a surface or a different material from each other.
이에 사용자는 도 3B의 (a) 및 (b)에 도시된 바와 같이 하나의 패드(pad21,pad22)에만 그림 제스처를 그리거나, (c) 및 (d)에 도시된 바와 같이 두개 이상의 패드들(pad21,pad22)을 거치면서 그림 제스처를 그릴 수 있다. Accordingly, the user draws a picture gesture only on one pad pad21, pad22 as shown in (a) and (b) of FIG. 3B, or at least two pads (as shown in (c) and (d)). You can draw a picture gesture while going through pad21, pad22).
그러면 제스처 패드는 도3B의 (a) 및 (b)에 도시된 바와 같이 하나의 패 드(pad21,pad22)를 통해 그림 제스처에 대응되는 특수한 소리 또는 진동을 발생하거나, 도3B의 (c) 및 (d)에 도시된 바와 같이 두개의 패드들(pad21,pad22)을 통해 그림 제스처에 대응되는 특수한 소리 또는 진동들을 연달아 발생한다. Then, the gesture pad generates a special sound or vibration corresponding to the picture gesture through one pad (pad21, pad22) as shown in (a) and (b) of FIG. 3B, or (c) and As shown in (d), two pads pad21 and pad22 generate a series of special sounds or vibrations corresponding to the picture gesture.
따라서 도3B의 제스처 패드를 통해서는 도3A의 제스처 패드보다 다양한 종류의 그림 제스처들을 그릴 수 있다. Accordingly, the gesture pad of FIG. 3B may draw various kinds of picture gestures than the gesture pad of FIG. 3A.
도4A는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면이다. 4A illustrates a mapping relationship between a valid gesture and a function of an electronic device according to an embodiment of the present invention.
도4A에서는 도3A와 같이 구현되는 두개의 제스처 패드들(pad31,pad32)을 구비하고, 하나 이상의 기능을 가지는 복수개의 전자 기기들(31~34)을 구비한다고 가정한다. In FIG. 4A, it is assumed that two gesture pads pad31 and pad32 implemented as in FIG. 3A are provided, and a plurality of electronic devices 31 to 34 having one or more functions are provided.
계속하여 도4A를 참조하면, 제1 제스처 패드(pad31)를 통해 획득되는 복수개의 유효 제스처들(C11~C14)에는 복수개의 전자 기기들(31~34)을 각각 매핑하고, 제2 제스처 패드(pad32)를 통해 획득되는 복수개의 유효 제스처들(C21~C2n)에는 전자 기기(31~34)내 기능들(f11,f21~f22,f31~f3m,f41~f4n)을 각각 매핑한다. 4A, a plurality of electronic devices 31 to 34 are mapped to a plurality of valid gestures C11 to C14 obtained through the first gesture pad pad31, and a second gesture pad ( The functions f11, f21 to f22, f31 to f3m, and f41 to f4n in the electronic devices 31 to 34 are mapped to the plurality of valid gestures C21 to C2n obtained through the pad32, respectively.
이에 사용자는 제1 제스처 패드(pad31)에 복수개의 유효 제스처들 중 하나(C14)를 그려 하나의 전자 기기(34)를 선택하고, 제2 제스처 패드(pad32)상에 복수개의 유효 제스처들 중 하나(C21)를 그려 현재에 선택된 전자 기기(34)의 특정 기능(f41)을 선택할 수 있다. Accordingly, the user selects one electronic device 34 by drawing one of the plurality of valid gestures C14 on the first gesture pad pad31 and selects one of the plurality of valid gestures on the second gesture pad pad32. A specific function f41 of the currently selected electronic device 34 may be selected by drawing C21.
또한 경우에 따라서는 복수개의 제스처 패드들 및 유효 제스처들과 복수개의 전자 기기 및 기능간의 여러 가지 형태로 변형하여, 전자 기기 및 기능의 선택 방 법을 변형시켜 줄 수 있음은 물론 당연하다. In addition, in some cases, it is obvious that the method of selecting electronic devices and functions may be modified by modifying the plurality of gesture pads and effective gestures in various forms between the plurality of electronic devices and functions.
도4B는 본 발명의 다른 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면이다. 4B is a diagram for explaining a mapping relationship between a valid gesture and a function of an electronic device according to another embodiment of the present invention.
도4B에서는 도3B와 같이 복수개의 상이한 패드들로 구현되는 하나의 복합형 제스처 패드(pad40)를 구비하고, 복수개의 기능들(f51~f5n)을 가지는 전자 기기들(35)을 구비한다고 가정한다. In FIG. 4B, it is assumed that an
계속하여 도4B를 참조하면, 제스처 패드(pad40)내 상이한 패드들을 하나 또는 두개를 통해 획득되는 복수개의 유효 제스처들(c41~c4n)에 전자 기기(35)의 기능들(f51~f5n)을 각각 매핑한다.4B, the functions f51 to f5n of the
이에 사용자는 복합형 제스처 패드(pad40)에 복수개의 유효 제스처들(C31~C3n) 중 하나(C31)를 그려 전자 기기(35)의 특정 기능(f1)을 선택할 수 있다. Accordingly, the user may select one specific function f1 of the
또한 경우에 따라서는 도4A의 동작 원리를 이용하여 특정 패드를 통해 획득되는 복수개의 유효 제스처들에 복수개의 전자 기기들을 각각 매핑하고, 두개 이상의 패드들을 통해 획득되는 복수개의 유효 제스처들에 전자 기기내 복수개의 기능들 각각을 매핑할 수도 있다. 즉, 도4B의 제스처 패드(pad40)가 도4A의 복수개의 제스처 패드를 대체할 수도 있다. In some cases, the electronic device may be mapped to a plurality of valid gestures acquired through a specific pad using the operating principle of FIG. 4A, and the electronic devices may be mapped to a plurality of valid gestures obtained through two or more pads. Each of the plurality of functions may be mapped. That is, the gesture pad pad40 of FIG. 4B may replace the plurality of gesture pads of FIG. 4A.
도4C는 본 발명의 일 실시예에 따른 제스처와 전자 기기의 버튼 정보간의 매핑관계를 설명하기 위한 도면이다. 4C is a diagram for explaining a mapping relationship between a gesture and button information of an electronic device according to an embodiment of the present invention.
도4C에서는 도3A와 같이 구현되는 제스처 패드(pad50)를 구비하고, 유효 제 스처의 식별 정보들 각각에 복수개의 버튼 정보들을 매핑한 전자 기기(36)를 구비한다. In FIG. 4C, the
계속하여 도4C를 참조하면, 제스처 패드(pad50)에 쓰이는 복수개의 문자들(K,I,M,A,B)(또는 숫자, 기호, 도형) 각각에 해당 문자들(K,I,M,A,B)을 입력받기 위한 복수개의 버튼 정보들을 매핑한다. Subsequently, referring to FIG. 4C, each of the letters K, I, M, A, and B (or numbers, symbols, and figures) used in the
이에 사용자가 제스처 패드(pad50)에 복수개의 문자들(K,I,M,A,B)(또는 숫자, 기호, 도형)을 순차적으로 쓰면, 제스처 인식부(24)는 제스처 패드(pad50)에 쓰여진 문자에 대응되는 유효 제스처의 식별정보들은 순차적으로 획득하여 전자 기기(36)로 전송한다. 그러면 전자 기기(36)는 전송된 복수개의 유효 제스처의 식별 정보들 각각에 매핑된 버튼 정보들을 사용자 입력 값으로써 획득하여 사용자 입력 동작을 수행하고, 이와 동시에 현재에 입력된 문자들을 사용자가 인식할 수 있도록 디스플레이하여 준다. Accordingly, when the user sequentially writes a plurality of characters K, I, M, A, and B (or numbers, symbols, and figures) on the gesture pad pad50, the
기본적으로 모든 사람들은 강약, 빠르기, 방향 및 습관이 고유한 각자의 필체를 가지고 있으며, 이러한 특징은 펜이나 연필을 사용하지 않고 손가락을 사용하더라도 동일하게 반영되므로, 제스처 패드에 그려진 그림 제스처 즉, 문자, 숫자, 기호 및 도형이 인증된 사용자의 필체인지를 용이하게 감지할 수 있다. Basically, everyone has their own handwriting with unique strengths, speeds, directions, and habits, and these features are reflected equally even if you use your fingers without using a pen or pencil, so the picture gestures, or characters, drawn on the gesture pad It is easy to detect whether the numbers, symbols and figures are of the authenticated user.
이에 인증된 사용자의 필체에 해당하는 그림 제스처만을 유효 제스처로 인식할 수 있도록 사전에 설정함으로써, 전자 기기를 인증된 사용자만이 사용할 수 있도록 할 수 있다. 그리고 이러한 경우에는 제스처 패드에 그림 제스처의 흔적이 전혀 남지 않으므로 필체의 도용 가능성도 사전에 방지할 수 있다. The electronic device may be used only by the authenticated user by setting the picture gesture corresponding to the handwriting of the authenticated user as a valid gesture in advance. In this case, since there is no trace of the picture gesture on the gesture pad, the possibility of handwriting theft can be prevented in advance.
도5는 본 발명의 일 실시예에 따른 제스처 기반 사용자 입력 방법을 설명하기 위한 도면이다. 5 is a view for explaining a gesture-based user input method according to an embodiment of the present invention.
먼저, 사용자가 도3A 또는 도3B와 같이 구현되는 제스처 패드(21)상에 제스처를 그린다(S1).First, a user draws a gesture on the
그러면 제스처 패드(21)는 현재 사용자가 그리는 그림 제스처에 상응하는 소리 또는 진동을 발생하고, 제스처 감지부(22)는 제스처 패드(21)의 소리 또는 진동을 감지하여 제스처 인식부(24)로 전달한다(S2).Then, the
제스처 인식부(24)는 제스처 감지부(22)로부터 전달되는 소리 또는 진동을 분석하여 사용자가 그린 그림 제스처의 특징 데이터를 추출한 후(S3), 제스처 저장부(23)에 저장된 기준 데이터들을 검색하여 추출된 특징 데이터와 일치하는 기준 데이터가 존재하는지 확인한다(S4).The
단계S4의 확인결과, 추출된 특징 데이터와 일치하는 기준 데이터가 존재하면(S5), 제스처 인식부(24)는 기준 데이터에 매핑된 유효 제스처의 식별 정보를 획득한 후(S6), 획득된 유효 제스처 식별 정보를 전자장치(30)로 전달하여 준다(S7). As a result of checking in step S4, if there is reference data that matches the extracted feature data (S5), the
이에 전자 기기(30)는 유효 제스처의 식별 정보를 통해 현재의 사용자가 요청한 기능 또는 버튼 정보가 무엇인지를 확인하고, 해당 기능을 수행하거나 해당 버튼 정보를 입력하여 사용자가 필요로 하는 서비스를 제공한다. Accordingly, the electronic device 30 checks what function or button information is requested by the current user through identification information of the valid gesture, and performs a corresponding function or inputs the corresponding button information to provide a service required by the user. .
반면에 단계S4의 확인결과, 추출된 특징 데이터와 일치하는 기준 데이터가 없으면(S5), 제스처 인식부(24)는 사용자의 실수로 수행된 입력 동작 또는 무의미한 그림 제스처임을 확인하고 현재의 동작을 종료하여 준다(S8).On the other hand, if there is no reference data that matches the extracted feature data as a result of checking in step S4 (S5), the
도6은 본 발명의 제스처 기반 사용자 입력 장치의 일 실시예에 따른 구현예를 도시한 도면으로, 도6의 제스처 기반 사용자 입력 장치는 손목 밴드형으로 구현된다. FIG. 6 is a diagram illustrating an embodiment of the gesture-based user input device of the present invention, and the gesture-based user input device of FIG. 6 is implemented in a wrist band type.
계속하여 도6을 참조하면, 제스처 패드(21)는 작업대 표면(41)으로 구현되며, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(43)로 구현된 후 사용자의 손목에 착용되는 손목형 밴드(42)내에 구비된다. 즉, 제스처 기반 사용자 입력 장치는 손목형 밴드 장치로 구현된다.
계속하여 도6을 참조하면, 제스처 패드(21)는 작업대 표면(41)으로 구현되며, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(43)로 구현된 후 사용자의 손목에 착용되는 손목형 밴드(42)내에 구비된다. 즉, 제스처 기반 사용자 입력 장치는 손목형 밴드 장치로 구현된다. 6, the
6, the
바람직하게 제스처 패드(21)는 착탈 가능하도록 하여 사용자의 의복, 사용자의 책상 및 사용자 휴대기기등의 다양한 위치에 부착될 수 있도록 한다. Preferably, the
이에 사용자가 손목형 밴드(42)를 손목에 차고, 작업대 표면(41)에 그림 체스처를 그리면, 작업대 표면 즉, 제스처 패드(21)의 소리 또는 진동은 사용자의 몸을 매개로하여 집적 회로(43)내 제스처 감지부(22)로 전달된다. Accordingly, when the user puts the wrist-shaped
그러면 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 도5에 설명된 절차를 거쳐 현재 제스처 패드(21)상에 그려진 그림 제스처에 대응되는 유효 제스처의 식별 정보를 획득한 후, 외부의 전자 기기(40)로 제공하여 준다. The
이와 같은 본 발명의 제스처 기반 사용자 입력 장치는 제스처 패드(21)와 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 물리적으로 분리함으로써 적용 범위를 다양화시킨다. Such a gesture-based user input device of the present invention by physically separating the
예를 들어, 제스처 패드를 자동자의 운전대에 부착하는 경우, 사용자는 손가 락 하나만을 움직여 그림 제스처를 그릴 수 있기 때문에 운전 중에도 자동차 안의 와이퍼, 깜빡이, 경적과 같은 자동차 내부 장치의 제어 뿐 만 아니라 카오디오나 자신의 모바일 폰의 제어를 보다 안전하게 수행할 수 있다. For example, if a gesture pad is attached to the steering wheel of a car, the user can move only one finger to draw a picture gesture, so that the car audio as well as the controls of the car's internal devices such as wipers, blinkers, and horns in the car while driving I can control my mobile phone more securely.
즉, 라디오 특정 주파수에 매핑된 숫자를 제스처 패드에 그림으로써 해당 주파수로 직접 이동하거나, 모바일 폰의 버튼에 매핑된 숫자들을 제스처 패드에 그림으로써 해당 전화번호로의 전화 연결을 수행할 수 있도록 한다. That is, the number mapped to a specific radio frequency can be directly moved to the corresponding frequency by drawing on the gesture pad, or the number mapped to the button of the mobile phone can be drawn on the gesture pad so that the call can be connected to the corresponding phone number.
또한 본 발명의 제스처 패드는 별도의 전기 장치를 필요로 하지 않으므로, 제스처 패드 자체를 착탈 가능하도록 하여 사용자의 의복의 일부로 장식할 수도 있다. 이에 옷의 기능을 해지지 않으면서 세탁도 가능하도록 할 뿐 만 아니라, 사용자의 옷을 바꿔 입을 수 있도록 한다. In addition, since the gesture pad of the present invention does not require a separate electric device, the gesture pad itself may be detachable and may be decorated as part of the user's clothing. This not only enables the washing without functioning the clothes, but also allows users to change their clothes.
도7은 본 발명의 제스처 기반 사용자 입력 장치의 다른 구현예를 도시한 도면으로, 도7의 제스처 기반 사용자 입력 장치는 전자 기기와 일체형으로 구현된다. FIG. 7 illustrates another embodiment of the gesture-based user input device of the present invention. The gesture-based user input device of FIG. 7 is integrated with an electronic device.
계속하여 도7을 참조하면, 제스처 패드(21)는 전자 기기(50)의 표면(51)으로 구현되고, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(52)로 구현된 후 전자 기기(50)의 내부에 구비된다. 7, the
바람직하게 제스처 감지부(22)는 전자 기기의 표면(51)과 직접 연결되어, 전자 기기의 표면(51)으로 구현된 제스처 패드(21)의 소리 또는 진동을 보다 정확하게 감지할 수 있도록 한다.Preferably, the
이에 사용자가 전자 기기의 표면(51)상에 구현된 제스처 패드(21)에 그림 제스처를 그리면, 제스처 감지부(22)는 전자 기기의 표면(51)의 소리 또는 진동을 직 접 수신 및 감지한다. 그러면 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 도5에 설명된 절차를 거쳐 현재 제스처 패드(21)상에 그려진 그림 제스처에 대응되는 유효 제스처의 식별 정보를 획득한다. When the user draws a picture gesture on the
따라서 도7의 전자기기(50)는 복수개의 버튼들을 구비하는 사용자 입력 장치를 본 발명의 제스처 기반 사용자 입력 장치로 대체할 수 있다. 즉, 사용자 입력을 감지하고 통보하기 위한 복수개의 버튼들을 제스처 패드(21)로 대체하고, 제스처 패드(22)상에 그려지는 복수개의 제스처들을 사용자 입력 값으로 이용할 수 있다. Therefore, the
또한 이러한 경우에는 버튼이 아닌 사용자가 그린 그림 제스처를 통해 특정 기능이 선택하므로 사용자는 현재에 요청한 기능이 무엇인지를 보다 정확하게 인식할 수 있어, 전자 기기를 보다 정확하게 구동시킬 수 있게 된다. 이때 그림 제스처는 전자기기 제조사가 제스처 패드(22)를 포함한 전자 기기 표면에 그림 설명한 것을 보고 또는 대고 그리면 된다.In this case, the user selects a specific function through a picture gesture drawn by the user instead of a button, so that the user can more accurately recognize what function he / she is currently requesting, thereby driving the electronic device more accurately. In this case, the picture gesture may be viewed or drawn by the electronic device manufacturer as illustrated on the surface of the electronic device including the
상기의 설명에서는 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 제스처 패드(21)와 분리되는 하나의 집적 회로(52)로 구현하도록 하였으나, 이는 필요에 따라서 여러 가지 형태로 변형될 수 있음은 물론 당연하다. In the above description, the
예를 들어, 제스처 패드(21)와 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되는 제2 집적회로를 구비하는 제1형태, 제스처 패드와, 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되는 제2 집적회로를 구비하는 제2 형태, 그리고 제스처 패드와, 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되며 전자 기기의 내부에 위치되는 제2 집적회로를 구비하는 제3 형태 등으로 변형될 수 있다. For example, a first integrated circuit implemented by the
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those skilled in the art.
이와 같이 본 발명의 제스처 기반 사용자 입력 방법 및 장치는 문자, 숫자, 기호 및 도형을 가지는 그림 제스처를 감지하고 입력할 수 있도록 하여, 하나의 그림 제스처를 통해 전자 기기의 특정 기능을 선택하고 실행되도록 할 뿐 만 아니라 문자, 숫자, 기호 및 도형도 직접 전자 기기로 입력할 수 있도록 한다. As such, the gesture-based user input method and apparatus of the present invention enables to detect and input a picture gesture having letters, numbers, symbols, and shapes, and to select and execute a specific function of the electronic device through one picture gesture. In addition, letters, numbers, symbols, and figures can be directly input by the electronic device.
Claims (29)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060121051A KR100856919B1 (en) | 2006-12-01 | 2006-12-01 | Method and Apparatus for user input based on gesture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060121051A KR100856919B1 (en) | 2006-12-01 | 2006-12-01 | Method and Apparatus for user input based on gesture |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080050169A KR20080050169A (en) | 2008-06-05 |
KR100856919B1 true KR100856919B1 (en) | 2008-09-05 |
Family
ID=39805666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060121051A KR100856919B1 (en) | 2006-12-01 | 2006-12-01 | Method and Apparatus for user input based on gesture |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100856919B1 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101078820B1 (en) | 2010-02-09 | 2011-11-02 | 한국과학기술원 | Method for recognizing plane figure deformation and its device |
US20120304284A1 (en) * | 2011-05-24 | 2012-11-29 | Microsoft Corporation | Picture gesture authentication |
US8458485B2 (en) | 2009-06-17 | 2013-06-04 | Microsoft Corporation | Image-based unlock functionality on a computing device |
US8855855B2 (en) | 2012-11-09 | 2014-10-07 | Hyundai Motor Company | Vehicle control apparatus |
KR101500268B1 (en) * | 2014-04-04 | 2015-03-06 | 현대자동차주식회사 | Variable mounting sound wave touch pad |
DE102014223604A1 (en) | 2014-06-24 | 2015-12-24 | Hyundai Motor Company | System for controlling a sound wave based on a touch detection interface |
US9280963B1 (en) | 2014-08-14 | 2016-03-08 | Hyundai Motor Company | Pad generating rhythmic sound waves |
US9415733B2 (en) | 2013-06-24 | 2016-08-16 | Hyundai Motor Company | Vehicle manipulating system using sound waves |
US9846997B2 (en) | 2013-10-23 | 2017-12-19 | Hyundai Motor Company | Apparatus, method and system for checking rear lamp |
WO2019004574A1 (en) * | 2017-06-26 | 2019-01-03 | 삼성전자(주) | Display device, control method therefor and system |
USRE47518E1 (en) | 2005-03-08 | 2019-07-16 | Microsoft Technology Licensing, Llc | Image or pictographic based computer login systems and methods |
KR20220116936A (en) * | 2021-02-16 | 2022-08-23 | 서울과학기술대학교 산학협력단 | Device and method for detecting gesture based on sound machine learning |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2752757B1 (en) * | 2013-01-08 | 2022-04-06 | Elo Touch Solutions Inc. | Gesture event determination |
KR101650711B1 (en) * | 2013-10-12 | 2016-08-29 | 봉래 박 | Apparatus and method for inputting number character |
KR20150046997A (en) | 2013-10-23 | 2015-05-04 | 현대자동차주식회사 | Apparatus and Method for Recognize of Touch of User Terminal |
KR101480655B1 (en) | 2013-12-26 | 2015-01-09 | 현대자동차주식회사 | User interface apparatus using speaker and method thereof |
KR101553484B1 (en) * | 2014-09-04 | 2015-09-16 | 계명대학교 산학협력단 | Apparatus for detecting hand motion and method thereof |
KR101558810B1 (en) | 2014-09-22 | 2015-10-19 | 현대자동차주식회사 | Acoustic User Interface Apparatus and Method for Recognition of Touching and Scrubbing |
KR101673788B1 (en) * | 2015-07-03 | 2016-11-07 | 현대자동차주식회사 | Apparatus for perceiving user input |
KR102437106B1 (en) * | 2015-12-01 | 2022-08-26 | 삼성전자주식회사 | Device and method for using friction sound |
KR101784403B1 (en) * | 2016-04-05 | 2017-10-11 | 엘지전자 주식회사 | Touch sensing apparatus based on ultrasonic wave, cooking apparatus, and home appliance including the same |
US11461442B2 (en) | 2018-06-05 | 2022-10-04 | Rutgers, The State University Of New Jersey | Systems and methods for user input and authentication using vibration analysis |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010071217A (en) * | 1998-05-07 | 2001-07-28 | 추후제출 | Handwritten and voice control of vehicle components |
-
2006
- 2006-12-01 KR KR1020060121051A patent/KR100856919B1/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010071217A (en) * | 1998-05-07 | 2001-07-28 | 추후제출 | Handwritten and voice control of vehicle components |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE47518E1 (en) | 2005-03-08 | 2019-07-16 | Microsoft Technology Licensing, Llc | Image or pictographic based computer login systems and methods |
US8458485B2 (en) | 2009-06-17 | 2013-06-04 | Microsoft Corporation | Image-based unlock functionality on a computing device |
US9946891B2 (en) | 2009-06-17 | 2018-04-17 | Microsoft Technology Licensing, Llc | Image-based unlock functionality on a computing device |
US9355239B2 (en) | 2009-06-17 | 2016-05-31 | Microsoft Technology Licensing, Llc | Image-based unlock functionality on a computing device |
KR101078820B1 (en) | 2010-02-09 | 2011-11-02 | 한국과학기술원 | Method for recognizing plane figure deformation and its device |
US20120304284A1 (en) * | 2011-05-24 | 2012-11-29 | Microsoft Corporation | Picture gesture authentication |
US8650636B2 (en) * | 2011-05-24 | 2014-02-11 | Microsoft Corporation | Picture gesture authentication |
US8910253B2 (en) | 2011-05-24 | 2014-12-09 | Microsoft Corporation | Picture gesture authentication |
US8855855B2 (en) | 2012-11-09 | 2014-10-07 | Hyundai Motor Company | Vehicle control apparatus |
US9415733B2 (en) | 2013-06-24 | 2016-08-16 | Hyundai Motor Company | Vehicle manipulating system using sound waves |
US9846997B2 (en) | 2013-10-23 | 2017-12-19 | Hyundai Motor Company | Apparatus, method and system for checking rear lamp |
US9501177B2 (en) | 2014-04-04 | 2016-11-22 | Hyundai Motor Company | Variable mounting sound wave touch pad |
KR101500268B1 (en) * | 2014-04-04 | 2015-03-06 | 현대자동차주식회사 | Variable mounting sound wave touch pad |
US9465574B2 (en) | 2014-06-24 | 2016-10-11 | Hyundai Motor Company | System for controlling sound wave based touch recognition interface |
DE102014223604A1 (en) | 2014-06-24 | 2015-12-24 | Hyundai Motor Company | System for controlling a sound wave based on a touch detection interface |
US9280963B1 (en) | 2014-08-14 | 2016-03-08 | Hyundai Motor Company | Pad generating rhythmic sound waves |
WO2019004574A1 (en) * | 2017-06-26 | 2019-01-03 | 삼성전자(주) | Display device, control method therefor and system |
KR20220116936A (en) * | 2021-02-16 | 2022-08-23 | 서울과학기술대학교 산학협력단 | Device and method for detecting gesture based on sound machine learning |
KR102436970B1 (en) | 2021-02-16 | 2022-08-26 | 서울과학기술대학교 산학협력단 | Device and method for detecting gesture based on sound machine learning |
Also Published As
Publication number | Publication date |
---|---|
KR20080050169A (en) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100856919B1 (en) | Method and Apparatus for user input based on gesture | |
US10055563B2 (en) | Air writing and gesture system with interactive wearable device | |
JP4899806B2 (en) | Information input device | |
CN102906671B (en) | Gesture input device and gesture input method | |
CN103870804B (en) | Mobile device with face recognition function and the method for controlling the mobile device | |
KR101432878B1 (en) | Touch screen, related method of operation and system | |
JP6472196B2 (en) | Sensor signal processing circuit and sensor signal processing method | |
CN107329688B (en) | Fingerprint acquisition method and terminal | |
KR102437106B1 (en) | Device and method for using friction sound | |
WO2015171559A1 (en) | Enhanced user interface for a wearable electronic device | |
JP6965158B2 (en) | Electronic conferencing device and its control method, and digital pen | |
EP1523807A1 (en) | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof | |
KR20140098254A (en) | Combined radio-frequency identification and touch input for a touch screen | |
CN102135830A (en) | Touch screen triggering method and touch device | |
KR20160114634A (en) | Techniques for identifying rolling gestures on a device | |
JP2003298689A (en) | Cellular telephone | |
CN103984433B (en) | For controlling the method and apparatus for touching key operation | |
WO2018079001A1 (en) | Information processing device, information processing method, and program | |
KR20100062901A (en) | Method and device for searching course using touch pattern | |
CN106462379A (en) | Voice-controllable image display device and voice control method for image display device | |
CN111507146A (en) | Fingerprint identification device and method | |
CN104571521A (en) | Device and method of handwritten record | |
Kim et al. | Sonarid: Using sonar to identify fingers on a smartwatch | |
CN106845189A (en) | A kind of method and apparatus being unlocked based on fingerprint recognition | |
KR20150145729A (en) | Method for moving screen and selecting service through fingerprint input, wearable electronic device with fingerprint sensor and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |