KR100856919B1 - Method and Apparatus for user input based on gesture - Google Patents

Method and Apparatus for user input based on gesture Download PDF

Info

Publication number
KR100856919B1
KR100856919B1 KR1020060121051A KR20060121051A KR100856919B1 KR 100856919 B1 KR100856919 B1 KR 100856919B1 KR 1020060121051 A KR1020060121051 A KR 1020060121051A KR 20060121051 A KR20060121051 A KR 20060121051A KR 100856919 B1 KR100856919 B1 KR 100856919B1
Authority
KR
South Korea
Prior art keywords
gesture
electronic device
pad
sound
pads
Prior art date
Application number
KR1020060121051A
Other languages
Korean (ko)
Other versions
KR20080050169A (en
Inventor
김지은
손용기
이동우
선우존
조일연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060121051A priority Critical patent/KR100856919B1/en
Publication of KR20080050169A publication Critical patent/KR20080050169A/en
Application granted granted Critical
Publication of KR100856919B1 publication Critical patent/KR100856919B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 제스처 기반 사용자 입력 방법 및 장치에 관한 것으로 문자, 숫자, 기호 및 도형을 그리는 제스처 모두를 감지할 수 있도록 하기 위하여, 그림 제스처가 그려지는 제스처 패드와, 상기 그림 제스처가 그려질 때 발생되는 상기 제스처 패드의 상기 소리 또는 진동을 감지하는 제스처 감지부와, 복수개의 유효 제스처들 각각에 대응되는 기준 데이터를 매핑하여 저장하는 제스처 저장부와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부와, 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자장치에 통보하는 통신부를 포함하는 것을 특징으로 하며, 이에 의하여 그림 제스처를 통해 전자 기기의 특정 기능을 선택하고 실행되도록 할 뿐 만 아니라 문자, 숫자, 기호 및 도형도 직접 전자 기기로 입력할 수 있도록 한다. The present invention relates to a gesture-based user input method and apparatus, in order to be able to detect all gestures for drawing letters, numbers, symbols, and figures, a gesture pad on which a picture gesture is drawn, and a gesture pad generated when the picture gesture is drawn. A gesture detection unit for detecting the sound or vibration of the gesture pad, a gesture storage unit for mapping and storing reference data corresponding to each of a plurality of valid gestures, and extracting feature data by analyzing the sound or vibration, A gesture recognition unit obtaining the valid gesture corresponding to the feature data by comparing the feature data with a plurality of reference data mapped to each of the plurality of valid gestures, and obtaining the obtained valid gesture through the gesture recognition unit. It characterized in that it comprises a communication unit for notifying the electronic device, In addition to selecting and executing a specific function of an electronic device through a picture gesture, characters, numbers, symbols, and figures can be directly input to the electronic device.

제스처 패드, 그림 제스처, 전자 기기 제어 Gesture pad, figure gesture, electronic device control

Description

제스처 기반 사용자 입력 방법 및 장치{Method and Apparatus for user input based on gesture}Gesture-based user input method and device {Method and Apparatus for user input based on gesture}

도1은 종래의 기술에 따른 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 장치의 구성을 도시한 도면,1 is a view showing the configuration of a wireless electronic device control apparatus using a finger and hand gesture according to the prior art,

도2는 본 발명의 바람직한 일 실시예에 따른 제스처 기반 사용자 입력 장치의 구성을 도시한 도면,2 is a block diagram of a gesture-based user input device according to an embodiment of the present invention;

도3A는 본 발명의 바람직한 일 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면,3A is a view showing different sounds or vibrations for a gesture pad and a picture gesture according to an embodiment of the present invention;

도3B는 본 발명의 바람직한 다른 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면,3B is a view showing different sounds or vibrations for a gesture pad and a picture gesture according to another exemplary embodiment of the present invention;

도4A는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면,4A illustrates a mapping relationship between a valid gesture and a function of an electronic device according to an embodiment of the present invention;

도4B는 본 발명의 다른 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면,4B is a view for explaining a mapping relationship between a valid gesture and a function of an electronic device according to another embodiment of the present invention;

도4C는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 버튼 정보간 매핑관계를 설명하기 위한 도면,4C is a view for explaining a mapping relationship between a valid gesture and button information of an electronic device according to an embodiment of the present invention;

도5는 본 발명의 일 실시예에 따른 제스처 기반 사용자 입력 방법을 설명하 기 위한 도면,5 is a view for explaining a gesture-based user input method according to an embodiment of the present invention;

도6은 본 발명의 제스처 기반 사용자 입력 장치의 일 실시예에 따른 구현예를 도시한 도면, 그리고 6 illustrates an embodiment according to an embodiment of a gesture-based user input device of the present invention; and

도7은 본 발명의 제스처 기반 사용자 입력 장치의 다른 실시예에 따른 구현예를 도시한 도면이다.7 is a diagram illustrating an implementation example according to another embodiment of the gesture-based user input device of the present invention.

본 발명은 제스처 기반 사용자 입력 장치에 관한 것으로, 특히 단순 제스처 뿐 만 아니라 사용자에게 의미가 있는 뭇자, 숫자, 기호, 또는 도형과 같은 그림 제스처를 감지할 수 있도록 하는 제스처 기반 사용자 입력 방법 및 장치에 관한 것이다. The present invention relates to a gesture-based user input device, and more particularly, to a gesture-based user input method and apparatus for detecting not only a simple gesture but also a picture gesture such as a figure, a number, a symbol, or a figure that is meaningful to a user. will be.

미국 특허 등록번호 7148879(등록일:2006년12월12일)는 도1의 구성 요소들을 구비하여 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 시스템, 방법 및 장치를 제안하고 있다. US Patent Registration No. 7148879 (registered date: December 12, 2006) proposes a wireless electronic device control system, method and apparatus using fingers and hand gestures with the components of FIG.

계속하여 도1을 참조하면, 생체 음향 센서(11)는 손가락 또는 손의 제스처에 따라 발생하는 생체 음향을 감지하고, 신호 증폭부(12)는 생체 음향을 소정 크기로 증폭하고, 디지털 프로세서(14)는 기 설정된 제스처 데이터와 현재에 생체 음향을 비교하고, 비교 결과에 따라 전자 기기의 특정 기능을 선택하도록 하는 제스처의 식별 정보를 획득하도록 한다. Subsequently, referring to FIG. 1, the bioacoustic sensor 11 detects a bio-sound generated according to a gesture of a finger or a hand, the signal amplifier 12 amplifies the bio-acoustic sound to a predetermined size, and performs the digital processor 14. ) Compares the preset gesture data with the current bio-acoustic sound and acquires identification information of the gesture for selecting a specific function of the electronic device according to the comparison result.

그러나 도1의 시스템을 통해 감지할 수 있는 제스처는 특정 손가락의 접촉 여부, 특정 손톱의 접촉 여부, 또는 접촉 횟수등과 같은 단순한 기준에 따라 구분된다. However, gestures that can be detected through the system of FIG. 1 are classified according to simple criteria such as whether a specific finger is in contact, whether a specific finger is in contact, or the number of times of contact.

이에 종래의 손가락 및 손 제스처를 이용한 무선 전자 기기 제어 장치는 단순한 제스처 만을 감지하고 이들에 전자 기기의 기능들을 매핑하였으므로, 매우 복잡하고 다양한 기능을 가지는 전자 기기의 모든 기능을 매핑하는 데에는 한계가 있었다. Accordingly, since the conventional wireless electronic device control apparatus using finger and hand gestures detects only a simple gesture and maps functions of the electronic device to them, there is a limit in mapping all the functions of the electronic device having a very complex and various functions.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 문자, 숫자, 기호 및 도형을 그리는 제스처 모두를 감지할 수 있도록 하여, 감지가능한 제스처의 종류를 획기적으로 증대시켜 주는 제스처 기반 사용자 입력 방법 및 장치를 제공하는 것이다. An object of the present invention to solve the above problems is to provide a gesture-based user input method and apparatus that can detect all the gestures for drawing letters, numbers, symbols, and figures, thereby dramatically increasing the types of detectable gestures. To provide.

상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 장치는 그림 제스처가 그려지는 하나 이상의 제스처 패드와, 상기 제스처 패드에 그림 제스처가 그려질 때 발생되는 상기 소리 또는 진동을 감지하는 제스처 감지부와, 복수개의 유효 제스처들 각각에 대응되는 기준 데이터를 매핑하여 저장하는 제스처 저장부와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부 와, 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자기기에 통보하는 통신부를 구비한다. In order to achieve the above object, the gesture-based user input device of the present invention is one or more gesture pads for drawing a picture gesture, and gesture detection for detecting the sound or vibration generated when the picture gesture is drawn on the gesture pad And a gesture storage unit for mapping and storing reference data corresponding to each of the plurality of valid gestures, and extracting feature data by analyzing the sound or vibration, and mapping the feature data to each of the plurality of valid gestures. A gesture recognition unit for acquiring the valid gesture corresponding to the feature data and a communication unit for notifying the acquired valid gesture through the gesture recognition unit to the electronic device are compared with a plurality of reference data.

상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 장치를 이용하는 전자 장치는 그림 제스처가 그려질 때 발생되는 소리 또는 진동을 감지 및 분석하여 특징 데이터를 추출한 후, 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여 유효 제스처를 획득하는 제스처 인식 장치와, 상기 복수개의 유효 제스처들 각각에 복수개의 기능들 또는 복수개 버튼 정보들을 매핑한 후, 상기 제스처 인식 장치를 통해 획득된 상기 유효 제스처에 매핑된 기능을 수행하거나 상기 유효 제스처에 매핑된 버튼 정보를 사용자 입력 값으로 획득하여 입력하는 하나 이상의 전자 기기를 구비한다. In order to achieve the above object, an electronic device using the gesture-based user input device of the present invention extracts feature data by detecting and analyzing a sound or vibration generated when a picture gesture is drawn, and then, each of the plurality of effective gestures. A gesture recognition apparatus for obtaining a valid gesture by comparing the plurality of reference data mapped to the plurality of reference data; and mapping a plurality of functions or a plurality of button information to each of the plurality of valid gestures, and then obtained through the gesture recognition apparatus. At least one electronic device that performs a function mapped to the valid gesture or obtains and inputs button information mapped to the valid gesture as a user input value.

상기와 같은 목적을 달성하기 위하여, 본 발명의 제스처 기반 사용자 입력 방법은 하나 이상의 제스처 패드에 그림 제스처가 그려질 때에 발생하는 소리 또는 진동을 감지하는 감지 단계와, 상기 소리 또는 진동을 분석하여 특징 데이터를 추출한 후, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식 단계와, 상기 획득된 유효 제스처를 전자 기기로 통보하는 통보 단계를 구비한다.In order to achieve the above object, the gesture-based user input method of the present invention is a detection step of detecting a sound or vibration generated when a picture gesture is drawn on one or more gesture pads, and analyzing the sound or vibration feature data And extracting the feature data from the plurality of reference data mapped to each of the plurality of valid gestures, and obtaining a valid gesture corresponding to the feature data. A notification step of notifying the device.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings.

도2는 본 발명의 바람직한 일 실시예에 따른 제스처 기반 사용자 입력 장치의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of a gesture-based user input device according to an exemplary embodiment of the present invention.

도2에 도시된 바와 같이, 본 발명의 제스처 기반 사용자 입력 장치(20)는 제스처 패드(21), 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 구비한다.As shown in FIG. 2, the gesture-based user input device 20 of the present invention may include a gesture pad 21, a gesture detector 22, a gesture storage unit 23, a gesture recognition unit 24, and a communication unit 25. ).

제스처 패드(21)는 제스처 감지 동작을 위한 특수한 소리 또는 진동을 발생시키는 고유 표면 패턴을 구비하여, 사용자가 다양한 형태의 그림 제스처를 그릴 수 있도록 한다. The gesture pad 21 has a unique surface pattern for generating a special sound or vibration for the gesture sensing operation, allowing the user to draw various types of picture gestures.

이때, 그림 제스처는 문자를 쓰기 위한 제스처, 숫자를 쓰기 위한 제스처, 기호를 그리기 위한 제스처, 또는 도형을 그리기 위한 제스처 등을 모두 포함한다. 그리고 제스처 패드(21)는 하나 이상으로 구현될 수 있으며, 전자 기기(30)의 사용자가 몸에 지니거나 착용할 수 있는 모든 대상과 사용자가 직접 접촉할 수 있는 주변의 모든 대상의 표면 일부 또는 전체에 존재할 수 있다. 또한 필요한 경우에는 마우스 패드와 같이 독립된 형태로써 존재할 수 도 있다. In this case, the picture gesture includes a gesture for writing a character, a gesture for writing a number, a gesture for drawing a symbol, a gesture for drawing a figure, and the like. In addition, the gesture pad 21 may be implemented as one or more, and part or all of the surface of all objects that can be worn or worn by the user of the electronic device 30 and all objects that the user can directly contact. May exist in In addition, if necessary, it may exist as an independent form such as a mouse pad.

제스처 감지부(22)는 사용자가 제스처 패드(21)에 그림 제스처를 그릴 때 발생하는 소리 또는 진동을 감지 및 획득하고, 제스처 인식부(24)가 인식할 수 있도 록 증폭한다. The gesture detector 22 detects and acquires a sound or vibration generated when the user draws a picture gesture on the gesture pad 21, and amplifies the gesture recognizer 24 so that the gesture recognizer 24 can recognize it.

제스처 저장부(23)는 감지하고자 하는 유효 제스처들의 식별 정보들 각각에 기준 데이터를 매핑하여 저장한다. The gesture storage unit 23 maps and stores reference data on each of identification information of valid gestures to be detected.

제스처 인식부(24)는 제스처 감지부(22)로부터 출력되는 소리 또는 진동을 분석하여 제스처 패드(21)에 그려진 그림 제스처의 특징 데이터를 추출한다. 그리고 제스처 저장부(23)를 검색하여 특징 데이터와 일치하는 값을 가지는 기준 데이터를 획득하고, 획득된 기준 데이터에 매핑된 제스처의 식별 정보를 획득한다. 즉, 제스처 감지부(22)로부터 출력되는 소리 또는 진동에 대응되는 유효 제스처를 인식한다. The gesture recognition unit 24 extracts feature data of the picture gesture drawn on the gesture pad 21 by analyzing the sound or vibration output from the gesture detection unit 22. Then, the gesture storage unit 23 is searched to obtain reference data having a value that matches the feature data, and the identification information of the gesture mapped to the obtained reference data is obtained. That is, it recognizes the effective gesture corresponding to the sound or vibration output from the gesture detector 22.

또한 제스처 인식부(24)는 사용자의 요청에 응답하여 별도의 설정 동작을 수행하여, 유효 제스처들 및 유효 제스처들 각각에 매핑되는 기준 데이터를 재설정 또는 변경할 수 있다. In addition, the gesture recognition unit 24 may perform a separate setting operation in response to a user's request to reset or change the valid gestures and reference data mapped to each of the valid gestures.

통신부(25)는 전자 기기(30)와의 유선 또는 무선으로 연결되어, 제스처 인식부(24)를 통해 인식된 제스처의 식별 정보를 전송한다. The communication unit 25 is connected to the electronic device 30 by wire or wirelessly, and transmits identification information of the recognized gesture through the gesture recognition unit 24.

하나이상의 전자 기기(30)는 유효 제스처들의 식별 정보들 각각에 매핑되는 기능들 또는 버튼 정보들을 사전에 정의한다. 그리고 제스처 기반 사용자 입력 장치(20)로부터 유효 제스처의 식별 정보가 전송되면, 전송된 유효 제스처의 식별 정보에 매핑된 기능을 실질적으로 수행하거나 버튼 정보를 사용자 입력 값으로 획득하는 사용자 입력 동작을 수행하여 준다. The one or more electronic devices 30 define in advance functions or button information mapped to each of the identification information of the valid gestures. When the identification information of the valid gesture is transmitted from the gesture-based user input device 20, the user may perform a function substantially mapped to the transmitted identification information of the valid gesture or perform a user input operation of obtaining button information as a user input value. give.

도3A는 본 발명의 바람직한 일 실시예에 따른 제스처 패드와 그림 제스처별 로 상이한 소리 또는 진동을 도시한 도면이다. 3A illustrates different sounds or vibrations for a gesture pad and a picture gesture according to an exemplary embodiment of the present invention.

도3A의 제스처 패드는 하나의 패드(pad10)로 구현된 것으로, 패드(pad10)는 외부 잡음과 구별되는 소리 또는 진동을 발생할 수 있도록 격자패턴, 돌출패턴 및 굴곡 패턴 등과 같이 소리 또는 진동 발생 패턴이 형성된 표면을 가진다. The gesture pad of FIG. 3A is implemented by a single pad pad 10. The pad pad 10 may include a sound or vibration generating pattern such as a grid pattern, a protrusion pattern, and a bending pattern to generate a sound or vibration that is distinguished from external noise. Has a formed surface.

이에 사용자가 도 3A의 (a),(b),(c) 및 (d)에 도시된 바와 같이 동일한 패드(pad10)에 상이한 형태의 그림 제스처를 즉, 문자, 숫자, 기호, 또는 도형을 그리면, 패드(pad10)는 사용자에 의해 그려지는 그림 제스처에 대응되는 특수한 소리 또는 진동을 발생한다.Therefore, when the user draws different types of pictorial gestures, that is, letters, numbers, symbols, or figures on the same pad 10 as shown in (a), (b), (c) and (d) of FIG. The pad pad10 generates a special sound or vibration corresponding to the picture gesture drawn by the user.

도3B는 본 발명의 바람직한 다른 실시예에 따른 제스처 패드와 그림 제스처별로 상이한 소리 또는 진동을 도시한 도면이다. 3B is a diagram illustrating different sounds or vibrations for a gesture pad and a picture gesture according to another exemplary embodiment of the present invention.

도3B의 제스처 패드는 복수개의 상이한 패드들(pad21~pad24)로 구현된 것으로, 복수개의 상이한 패드들(pad21~pad24)은 서로 상이한 소리 또는 진동이 발생할 수 있도록 서로 상이한 소리 또는 진동 발생 패턴이 형성된 표면을 가지거나 서로 상이한 재질을 가진다. The gesture pad of FIG. 3B is implemented by a plurality of different pads pad21 to pad24, and the plurality of different pads pad21 to pad24 are formed with different sound or vibration generation patterns so that different sounds or vibrations can be generated. It has a surface or a different material from each other.

이에 사용자는 도 3B의 (a) 및 (b)에 도시된 바와 같이 하나의 패드(pad21,pad22)에만 그림 제스처를 그리거나, (c) 및 (d)에 도시된 바와 같이 두개 이상의 패드들(pad21,pad22)을 거치면서 그림 제스처를 그릴 수 있다. Accordingly, the user draws a picture gesture only on one pad pad21, pad22 as shown in (a) and (b) of FIG. 3B, or at least two pads (as shown in (c) and (d)). You can draw a picture gesture while going through pad21, pad22).

그러면 제스처 패드는 도3B의 (a) 및 (b)에 도시된 바와 같이 하나의 패 드(pad21,pad22)를 통해 그림 제스처에 대응되는 특수한 소리 또는 진동을 발생하거나, 도3B의 (c) 및 (d)에 도시된 바와 같이 두개의 패드들(pad21,pad22)을 통해 그림 제스처에 대응되는 특수한 소리 또는 진동들을 연달아 발생한다. Then, the gesture pad generates a special sound or vibration corresponding to the picture gesture through one pad (pad21, pad22) as shown in (a) and (b) of FIG. 3B, or (c) and As shown in (d), two pads pad21 and pad22 generate a series of special sounds or vibrations corresponding to the picture gesture.

따라서 도3B의 제스처 패드를 통해서는 도3A의 제스처 패드보다 다양한 종류의 그림 제스처들을 그릴 수 있다. Accordingly, the gesture pad of FIG. 3B may draw various kinds of picture gestures than the gesture pad of FIG. 3A.

도4A는 본 발명의 일 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면이다. 4A illustrates a mapping relationship between a valid gesture and a function of an electronic device according to an embodiment of the present invention.

도4A에서는 도3A와 같이 구현되는 두개의 제스처 패드들(pad31,pad32)을 구비하고, 하나 이상의 기능을 가지는 복수개의 전자 기기들(31~34)을 구비한다고 가정한다. In FIG. 4A, it is assumed that two gesture pads pad31 and pad32 implemented as in FIG. 3A are provided, and a plurality of electronic devices 31 to 34 having one or more functions are provided.

계속하여 도4A를 참조하면, 제1 제스처 패드(pad31)를 통해 획득되는 복수개의 유효 제스처들(C11~C14)에는 복수개의 전자 기기들(31~34)을 각각 매핑하고, 제2 제스처 패드(pad32)를 통해 획득되는 복수개의 유효 제스처들(C21~C2n)에는 전자 기기(31~34)내 기능들(f11,f21~f22,f31~f3m,f41~f4n)을 각각 매핑한다. 4A, a plurality of electronic devices 31 to 34 are mapped to a plurality of valid gestures C11 to C14 obtained through the first gesture pad pad31, and a second gesture pad ( The functions f11, f21 to f22, f31 to f3m, and f41 to f4n in the electronic devices 31 to 34 are mapped to the plurality of valid gestures C21 to C2n obtained through the pad32, respectively.

이에 사용자는 제1 제스처 패드(pad31)에 복수개의 유효 제스처들 중 하나(C14)를 그려 하나의 전자 기기(34)를 선택하고, 제2 제스처 패드(pad32)상에 복수개의 유효 제스처들 중 하나(C21)를 그려 현재에 선택된 전자 기기(34)의 특정 기능(f41)을 선택할 수 있다. Accordingly, the user selects one electronic device 34 by drawing one of the plurality of valid gestures C14 on the first gesture pad pad31 and selects one of the plurality of valid gestures on the second gesture pad pad32. A specific function f41 of the currently selected electronic device 34 may be selected by drawing C21.

또한 경우에 따라서는 복수개의 제스처 패드들 및 유효 제스처들과 복수개의 전자 기기 및 기능간의 여러 가지 형태로 변형하여, 전자 기기 및 기능의 선택 방 법을 변형시켜 줄 수 있음은 물론 당연하다. In addition, in some cases, it is obvious that the method of selecting electronic devices and functions may be modified by modifying the plurality of gesture pads and effective gestures in various forms between the plurality of electronic devices and functions.

도4B는 본 발명의 다른 실시예에 따른 유효 제스처와 전자 기기의 기능간 매핑관계를 설명하기 위한 도면이다. 4B is a diagram for explaining a mapping relationship between a valid gesture and a function of an electronic device according to another embodiment of the present invention.

도4B에서는 도3B와 같이 복수개의 상이한 패드들로 구현되는 하나의 복합형 제스처 패드(pad40)를 구비하고, 복수개의 기능들(f51~f5n)을 가지는 전자 기기들(35)을 구비한다고 가정한다. In FIG. 4B, it is assumed that an electronic device 35 having one compound gesture pad pad40 implemented as a plurality of different pads as shown in FIG. 3B and having a plurality of functions f51 to f5n is provided. .

계속하여 도4B를 참조하면, 제스처 패드(pad40)내 상이한 패드들을 하나 또는 두개를 통해 획득되는 복수개의 유효 제스처들(c41~c4n)에 전자 기기(35)의 기능들(f51~f5n)을 각각 매핑한다.4B, the functions f51 to f5n of the electronic device 35 are respectively applied to the plurality of valid gestures c41 to c4n obtained through one or two different pads in the gesture pad pad40. Map it.

이에 사용자는 복합형 제스처 패드(pad40)에 복수개의 유효 제스처들(C31~C3n) 중 하나(C31)를 그려 전자 기기(35)의 특정 기능(f1)을 선택할 수 있다. Accordingly, the user may select one specific function f1 of the electronic device 35 by drawing one C31 among the plurality of valid gestures C31 to C3n on the composite gesture pad pad40.

또한 경우에 따라서는 도4A의 동작 원리를 이용하여 특정 패드를 통해 획득되는 복수개의 유효 제스처들에 복수개의 전자 기기들을 각각 매핑하고, 두개 이상의 패드들을 통해 획득되는 복수개의 유효 제스처들에 전자 기기내 복수개의 기능들 각각을 매핑할 수도 있다. 즉, 도4B의 제스처 패드(pad40)가 도4A의 복수개의 제스처 패드를 대체할 수도 있다. In some cases, the electronic device may be mapped to a plurality of valid gestures acquired through a specific pad using the operating principle of FIG. 4A, and the electronic devices may be mapped to a plurality of valid gestures obtained through two or more pads. Each of the plurality of functions may be mapped. That is, the gesture pad pad40 of FIG. 4B may replace the plurality of gesture pads of FIG. 4A.

도4C는 본 발명의 일 실시예에 따른 제스처와 전자 기기의 버튼 정보간의 매핑관계를 설명하기 위한 도면이다. 4C is a diagram for explaining a mapping relationship between a gesture and button information of an electronic device according to an embodiment of the present invention.

도4C에서는 도3A와 같이 구현되는 제스처 패드(pad50)를 구비하고, 유효 제 스처의 식별 정보들 각각에 복수개의 버튼 정보들을 매핑한 전자 기기(36)를 구비한다. In FIG. 4C, the electronic device 36 includes a gesture pad 50 implemented as shown in FIG. 3A and maps a plurality of pieces of button information to each of identification information of an effective gesture.

계속하여 도4C를 참조하면, 제스처 패드(pad50)에 쓰이는 복수개의 문자들(K,I,M,A,B)(또는 숫자, 기호, 도형) 각각에 해당 문자들(K,I,M,A,B)을 입력받기 위한 복수개의 버튼 정보들을 매핑한다. Subsequently, referring to FIG. 4C, each of the letters K, I, M, A, and B (or numbers, symbols, and figures) used in the gesture pad 50 may correspond to the letters K, I, M, and the like. A, B) maps a plurality of button information for receiving the input.

이에 사용자가 제스처 패드(pad50)에 복수개의 문자들(K,I,M,A,B)(또는 숫자, 기호, 도형)을 순차적으로 쓰면, 제스처 인식부(24)는 제스처 패드(pad50)에 쓰여진 문자에 대응되는 유효 제스처의 식별정보들은 순차적으로 획득하여 전자 기기(36)로 전송한다. 그러면 전자 기기(36)는 전송된 복수개의 유효 제스처의 식별 정보들 각각에 매핑된 버튼 정보들을 사용자 입력 값으로써 획득하여 사용자 입력 동작을 수행하고, 이와 동시에 현재에 입력된 문자들을 사용자가 인식할 수 있도록 디스플레이하여 준다. Accordingly, when the user sequentially writes a plurality of characters K, I, M, A, and B (or numbers, symbols, and figures) on the gesture pad pad50, the gesture recognition unit 24 may write on the gesture pad pad50. Identification information of the valid gesture corresponding to the written character is sequentially obtained and transmitted to the electronic device 36. Then, the electronic device 36 obtains button information mapped to each of the identification information of the plurality of valid gestures transmitted as a user input value, performs a user input operation, and simultaneously recognizes the characters currently input. To display it.

기본적으로 모든 사람들은 강약, 빠르기, 방향 및 습관이 고유한 각자의 필체를 가지고 있으며, 이러한 특징은 펜이나 연필을 사용하지 않고 손가락을 사용하더라도 동일하게 반영되므로, 제스처 패드에 그려진 그림 제스처 즉, 문자, 숫자, 기호 및 도형이 인증된 사용자의 필체인지를 용이하게 감지할 수 있다. Basically, everyone has their own handwriting with unique strengths, speeds, directions, and habits, and these features are reflected equally even if you use your fingers without using a pen or pencil, so the picture gestures, or characters, drawn on the gesture pad It is easy to detect whether the numbers, symbols and figures are of the authenticated user.

이에 인증된 사용자의 필체에 해당하는 그림 제스처만을 유효 제스처로 인식할 수 있도록 사전에 설정함으로써, 전자 기기를 인증된 사용자만이 사용할 수 있도록 할 수 있다. 그리고 이러한 경우에는 제스처 패드에 그림 제스처의 흔적이 전혀 남지 않으므로 필체의 도용 가능성도 사전에 방지할 수 있다. The electronic device may be used only by the authenticated user by setting the picture gesture corresponding to the handwriting of the authenticated user as a valid gesture in advance. In this case, since there is no trace of the picture gesture on the gesture pad, the possibility of handwriting theft can be prevented in advance.

도5는 본 발명의 일 실시예에 따른 제스처 기반 사용자 입력 방법을 설명하기 위한 도면이다. 5 is a view for explaining a gesture-based user input method according to an embodiment of the present invention.

먼저, 사용자가 도3A 또는 도3B와 같이 구현되는 제스처 패드(21)상에 제스처를 그린다(S1).First, a user draws a gesture on the gesture pad 21 implemented as shown in FIG. 3A or 3B (S1).

그러면 제스처 패드(21)는 현재 사용자가 그리는 그림 제스처에 상응하는 소리 또는 진동을 발생하고, 제스처 감지부(22)는 제스처 패드(21)의 소리 또는 진동을 감지하여 제스처 인식부(24)로 전달한다(S2).Then, the gesture pad 21 generates a sound or vibration corresponding to the picture gesture currently drawn by the user, and the gesture detector 22 detects the sound or vibration of the gesture pad 21 and transmits the sound to the gesture recognizer 24. (S2).

제스처 인식부(24)는 제스처 감지부(22)로부터 전달되는 소리 또는 진동을 분석하여 사용자가 그린 그림 제스처의 특징 데이터를 추출한 후(S3), 제스처 저장부(23)에 저장된 기준 데이터들을 검색하여 추출된 특징 데이터와 일치하는 기준 데이터가 존재하는지 확인한다(S4).The gesture recognition unit 24 analyzes the sound or vibration transmitted from the gesture detecting unit 22 to extract feature data of the picture gesture drawn by the user (S3), and then retrieves reference data stored in the gesture storage unit 23. It is checked whether reference data that matches the extracted feature data exists (S4).

단계S4의 확인결과, 추출된 특징 데이터와 일치하는 기준 데이터가 존재하면(S5), 제스처 인식부(24)는 기준 데이터에 매핑된 유효 제스처의 식별 정보를 획득한 후(S6), 획득된 유효 제스처 식별 정보를 전자장치(30)로 전달하여 준다(S7). As a result of checking in step S4, if there is reference data that matches the extracted feature data (S5), the gesture recognition unit 24 obtains identification information of the valid gesture mapped to the reference data (S6), and obtains the validity. The gesture identification information is transmitted to the electronic device 30 (S7).

이에 전자 기기(30)는 유효 제스처의 식별 정보를 통해 현재의 사용자가 요청한 기능 또는 버튼 정보가 무엇인지를 확인하고, 해당 기능을 수행하거나 해당 버튼 정보를 입력하여 사용자가 필요로 하는 서비스를 제공한다.  Accordingly, the electronic device 30 checks what function or button information is requested by the current user through identification information of the valid gesture, and performs a corresponding function or inputs the corresponding button information to provide a service required by the user. .

반면에 단계S4의 확인결과, 추출된 특징 데이터와 일치하는 기준 데이터가 없으면(S5), 제스처 인식부(24)는 사용자의 실수로 수행된 입력 동작 또는 무의미한 그림 제스처임을 확인하고 현재의 동작을 종료하여 준다(S8).On the other hand, if there is no reference data that matches the extracted feature data as a result of checking in step S4 (S5), the gesture recognition unit 24 confirms that the input operation performed by a user's mistake or meaningless picture gesture ends the current operation (S8).

도6은 본 발명의 제스처 기반 사용자 입력 장치의 일 실시예에 따른 구현예를 도시한 도면으로, 도6의 제스처 기반 사용자 입력 장치는 손목 밴드형으로 구현된다. FIG. 6 is a diagram illustrating an embodiment of the gesture-based user input device of the present invention, and the gesture-based user input device of FIG. 6 is implemented in a wrist band type.

계속하여 도6을 참조하면, 제스처 패드(21)는 작업대 표면(41)으로 구현되며, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(43)로 구현된 후 사용자의 손목에 착용되는 손목형 밴드(42)내에 구비된다. 즉, 제스처 기반 사용자 입력 장치는 손목형 밴드 장치로 구현된다.
계속하여 도6을 참조하면, 제스처 패드(21)는 작업대 표면(41)으로 구현되며, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(43)로 구현된 후 사용자의 손목에 착용되는 손목형 밴드(42)내에 구비된다. 즉, 제스처 기반 사용자 입력 장치는 손목형 밴드 장치로 구현된다.
6, the gesture pad 21 is embodied as a work surface 41, and the gesture sensing unit 22, the gesture storage unit 23, the gesture recognition unit 24, and the communication unit 25 are one. It is provided in the wrist-like band 42 that is implemented in the integrated circuit 43 of the user is worn on the wrist. That is, the gesture-based user input device is implemented as a wrist band device.
6, the gesture pad 21 is embodied as a work surface 41, and the gesture sensing unit 22, the gesture storage unit 23, the gesture recognition unit 24, and the communication unit 25 are one. It is provided in the wrist-like band 42 that is implemented in the integrated circuit 43 of the user is worn on the wrist. That is, the gesture-based user input device is implemented as a wrist band device.

바람직하게 제스처 패드(21)는 착탈 가능하도록 하여 사용자의 의복, 사용자의 책상 및 사용자 휴대기기등의 다양한 위치에 부착될 수 있도록 한다. Preferably, the gesture pad 21 is detachable so that the gesture pad 21 can be attached to various positions such as a user's clothes, a user's desk, and a user's mobile device.

이에 사용자가 손목형 밴드(42)를 손목에 차고, 작업대 표면(41)에 그림 체스처를 그리면, 작업대 표면 즉, 제스처 패드(21)의 소리 또는 진동은 사용자의 몸을 매개로하여 집적 회로(43)내 제스처 감지부(22)로 전달된다. Accordingly, when the user puts the wrist-shaped band 42 on his wrist and draws a figure chess on the work surface 41, the sound or vibration of the work surface, that is, the gesture pad 21, is transmitted through the user's body. 43) to the gesture detection unit 22.

그러면 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 도5에 설명된 절차를 거쳐 현재 제스처 패드(21)상에 그려진 그림 제스처에 대응되는 유효 제스처의 식별 정보를 획득한 후, 외부의 전자 기기(40)로 제공하여 준다. The gesture detecting unit 22, the gesture storing unit 23, the gesture recognizing unit 24, and the communication unit 25 are then valid corresponding to the picture gestures drawn on the current gesture pad 21 through the procedure described in FIG. 5. After acquiring the identification information of the gesture, it is provided to the external electronic device 40.

이와 같은 본 발명의 제스처 기반 사용자 입력 장치는 제스처 패드(21)와 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 물리적으로 분리함으로써 적용 범위를 다양화시킨다. Such a gesture-based user input device of the present invention by physically separating the gesture pad 21 and the gesture detector 22, the gesture storage unit 23, the gesture recognition unit 24 and the communication unit 25 to the application range Diversify

예를 들어, 제스처 패드를 자동자의 운전대에 부착하는 경우, 사용자는 손가 락 하나만을 움직여 그림 제스처를 그릴 수 있기 때문에 운전 중에도 자동차 안의 와이퍼, 깜빡이, 경적과 같은 자동차 내부 장치의 제어 뿐 만 아니라 카오디오나 자신의 모바일 폰의 제어를 보다 안전하게 수행할 수 있다. For example, if a gesture pad is attached to the steering wheel of a car, the user can move only one finger to draw a picture gesture, so that the car audio as well as the controls of the car's internal devices such as wipers, blinkers, and horns in the car while driving I can control my mobile phone more securely.

즉, 라디오 특정 주파수에 매핑된 숫자를 제스처 패드에 그림으로써 해당 주파수로 직접 이동하거나, 모바일 폰의 버튼에 매핑된 숫자들을 제스처 패드에 그림으로써 해당 전화번호로의 전화 연결을 수행할 수 있도록 한다. That is, the number mapped to a specific radio frequency can be directly moved to the corresponding frequency by drawing on the gesture pad, or the number mapped to the button of the mobile phone can be drawn on the gesture pad so that the call can be connected to the corresponding phone number.

또한 본 발명의 제스처 패드는 별도의 전기 장치를 필요로 하지 않으므로, 제스처 패드 자체를 착탈 가능하도록 하여 사용자의 의복의 일부로 장식할 수도 있다. 이에 옷의 기능을 해지지 않으면서 세탁도 가능하도록 할 뿐 만 아니라, 사용자의 옷을 바꿔 입을 수 있도록 한다. In addition, since the gesture pad of the present invention does not require a separate electric device, the gesture pad itself may be detachable and may be decorated as part of the user's clothing. This not only enables the washing without functioning the clothes, but also allows users to change their clothes.

도7은 본 발명의 제스처 기반 사용자 입력 장치의 다른 구현예를 도시한 도면으로, 도7의 제스처 기반 사용자 입력 장치는 전자 기기와 일체형으로 구현된다. FIG. 7 illustrates another embodiment of the gesture-based user input device of the present invention. The gesture-based user input device of FIG. 7 is integrated with an electronic device.

계속하여 도7을 참조하면, 제스처 패드(21)는 전자 기기(50)의 표면(51)으로 구현되고, 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 하나의 집적 회로(52)로 구현된 후 전자 기기(50)의 내부에 구비된다. 7, the gesture pad 21 is implemented as a surface 51 of the electronic device 50, and includes a gesture detector 22, a gesture storage unit 23, a gesture recognition unit 24, and a communication unit. The 25 is implemented in one integrated circuit 52 and provided inside the electronic device 50.

바람직하게 제스처 감지부(22)는 전자 기기의 표면(51)과 직접 연결되어, 전자 기기의 표면(51)으로 구현된 제스처 패드(21)의 소리 또는 진동을 보다 정확하게 감지할 수 있도록 한다.Preferably, the gesture detector 22 is directly connected to the surface 51 of the electronic device to more accurately detect the sound or vibration of the gesture pad 21 implemented as the surface 51 of the electronic device.

이에 사용자가 전자 기기의 표면(51)상에 구현된 제스처 패드(21)에 그림 제스처를 그리면, 제스처 감지부(22)는 전자 기기의 표면(51)의 소리 또는 진동을 직 접 수신 및 감지한다. 그러면 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)는 도5에 설명된 절차를 거쳐 현재 제스처 패드(21)상에 그려진 그림 제스처에 대응되는 유효 제스처의 식별 정보를 획득한다. When the user draws a picture gesture on the gesture pad 21 implemented on the surface 51 of the electronic device, the gesture detector 22 directly receives and detects sound or vibration of the surface 51 of the electronic device. . The gesture detecting unit 22, the gesture storing unit 23, the gesture recognizing unit 24, and the communication unit 25 are then valid corresponding to the picture gestures drawn on the current gesture pad 21 through the procedure described in FIG. 5. Acquire identification information of the gesture.

따라서 도7의 전자기기(50)는 복수개의 버튼들을 구비하는 사용자 입력 장치를 본 발명의 제스처 기반 사용자 입력 장치로 대체할 수 있다. 즉, 사용자 입력을 감지하고 통보하기 위한 복수개의 버튼들을 제스처 패드(21)로 대체하고, 제스처 패드(22)상에 그려지는 복수개의 제스처들을 사용자 입력 값으로 이용할 수 있다. Therefore, the electronic device 50 of FIG. 7 may replace the user input device having a plurality of buttons with the gesture-based user input device of the present invention. That is, a plurality of buttons for detecting and notifying a user input may be replaced by the gesture pad 21, and a plurality of gestures drawn on the gesture pad 22 may be used as a user input value.

또한 이러한 경우에는 버튼이 아닌 사용자가 그린 그림 제스처를 통해 특정 기능이 선택하므로 사용자는 현재에 요청한 기능이 무엇인지를 보다 정확하게 인식할 수 있어, 전자 기기를 보다 정확하게 구동시킬 수 있게 된다. 이때 그림 제스처는 전자기기 제조사가 제스처 패드(22)를 포함한 전자 기기 표면에 그림 설명한 것을 보고 또는 대고 그리면 된다.In this case, the user selects a specific function through a picture gesture drawn by the user instead of a button, so that the user can more accurately recognize what function he / she is currently requesting, thereby driving the electronic device more accurately. In this case, the picture gesture may be viewed or drawn by the electronic device manufacturer as illustrated on the surface of the electronic device including the gesture pad 22.

상기의 설명에서는 제스처 감지부(22), 제스처 저장부(23), 제스처 인식부(24) 및 통신부(25)를 제스처 패드(21)와 분리되는 하나의 집적 회로(52)로 구현하도록 하였으나, 이는 필요에 따라서 여러 가지 형태로 변형될 수 있음은 물론 당연하다. In the above description, the gesture sensing unit 22, the gesture storage unit 23, the gesture recognition unit 24, and the communication unit 25 are implemented as one integrated circuit 52 separated from the gesture pad 21. Of course, this may be modified in various forms as necessary.

예를 들어, 제스처 패드(21)와 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되는 제2 집적회로를 구비하는 제1형태, 제스처 패드와, 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되는 제2 집적회로를 구비하는 제2 형태, 그리고 제스처 패드와, 제스처 감지부(22)와 통신부(25)로 구현되는 제1 집적회로와, 제스처 인식부(24)와 통신부(25)로 구현되며 전자 기기의 내부에 위치되는 제2 집적회로를 구비하는 제3 형태 등으로 변형될 수 있다. For example, a first integrated circuit implemented by the gesture pad 21, the gesture sensing unit 22, and the communication unit 25, and a second integrated circuit implemented by the gesture recognition unit 24 and the communication unit 25 are provided. The first aspect of the present invention includes a gesture pad, a first integrated circuit implemented by the gesture sensing unit 22 and the communication unit 25, and a second integrated circuit implemented by the gesture recognition unit 24 and the communication unit 25. The second form and the first integrated circuit implemented by the gesture pad, the gesture sensing unit 22 and the communication unit 25, the gesture recognition unit 24 and the communication unit 25 and is located inside the electronic device It may be modified into a third form including the second integrated circuit.

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those skilled in the art.

이와 같이 본 발명의 제스처 기반 사용자 입력 방법 및 장치는 문자, 숫자, 기호 및 도형을 가지는 그림 제스처를 감지하고 입력할 수 있도록 하여, 하나의 그림 제스처를 통해 전자 기기의 특정 기능을 선택하고 실행되도록 할 뿐 만 아니라 문자, 숫자, 기호 및 도형도 직접 전자 기기로 입력할 수 있도록 한다. As such, the gesture-based user input method and apparatus of the present invention enables to detect and input a picture gesture having letters, numbers, symbols, and shapes, and to select and execute a specific function of the electronic device through one picture gesture. In addition, letters, numbers, symbols, and figures can be directly input by the electronic device.

Claims (29)

소리 또는 진동 발생 패턴이 형성된 표면을 가지고, 상기 표면상에 그림 제스처가 그려질 수 있도록 하는 하나 이상의 제스처 패드;At least one gesture pad having a surface on which a sound or vibration generating pattern is formed, the drawing gesture being drawn on the surface; 상기 제스처 패드에 그림 제스처가 그려질 때 발생되는 소리 또는 진동을 감지하는 제스처 감지부;A gesture detector for detecting a sound or vibration generated when a picture gesture is drawn on the gesture pad; 복수개의 유효 제스처들 각각에 대응되는 기준 데이터를 매핑하여 저장하는 제스처 저장부;A gesture storage unit for mapping and storing reference data corresponding to each of the plurality of valid gestures; 상기 소리 또는 진동을 분석하여 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부; 및 The gesture recognition unit extracts feature data by analyzing the sound or vibration, and compares the feature data with a plurality of reference data mapped to each of a plurality of valid gestures to obtain the effective gesture corresponding to the feature data. ; And 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자기기에 통보하는 통신부를 구비하는 제스처 기반 사용자 입력 장치.And a communication unit for notifying the electronic device of the obtained effective gesture through the gesture recognition unit. 제1항에 있어서, 상기 그림 제스처는 The method of claim 1, wherein the picture gesture is 문자를 쓰기 위한 제스처, 숫자를 쓰기 위한 제스처, 기호를 그리기 위한 제스처, 및 도형을 그리기 위한 제스처 중 하나 인 것을 특징으로 하는 제스처 기반 사용자 입력 장치.A gesture-based user input device characterized in that it is one of a gesture for writing a character, a gesture for writing a number, a gesture for drawing a symbol, and a gesture for drawing a shape. 제1항에 있어서, 상기 하나 이상의 제스처 패드 각각은 The method of claim 1, wherein each of the one or more gesture pads is 외부 잡음과 구별되는 소리 또는 진동을 발생하기 위한 표면 형태와 재질을 가지는 패드를 하나 이상 구비하며, At least one pad having a surface shape and material for generating sound or vibration that is distinct from external noise, 서로 상이한 패드는 서로 상이한 소리 또는 진동 발생 패턴이 형성된 표면을 가지거나 서로 상이한 재질을 가지는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.The pads different from each other may have a surface on which different sound or vibration generation patterns are formed or different materials from each other. 제1항에 있어서, 상기 제스처 인식부는 The method of claim 1, wherein the gesture recognition unit 상기 제스처 패드와 상기 전자 기기가 하나이면, If the gesture pad and the electronic device are one, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.And analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for executing a specific function of the electronic device. 제1항에 있어서, 상기 제스처 인식부는 The method of claim 1, wherein the gesture recognition unit 상기 제스처 패드는 하나이고 상기 전자 기기가 복수개이면, If the gesture pad is one and there are a plurality of electronic devices, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.Analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Gesture-based user input device, characterized in that obtaining. 삭제delete 제1항에 있어서, 상기 제스처 인식부는 The method of claim 1, wherein the gesture recognition unit 상기 제스처 패드는 복수개이고 상기 전자 기기가 하나이면, If there are a plurality of gesture pads and there is only one electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.And analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for executing a specific function of the electronic device. 제1항에 있어서, 상기 제스처 인식부는 The method of claim 1, wherein the gesture recognition unit 상기 제스처 패드와 상기 전자 기기가 복수개이면, If there are a plurality of gesture pads and the electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.Analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Gesture-based user input device, characterized in that obtaining. 제1항에 있어서, 상기 하나 이상의 제스처 패드 각각은 The method of claim 1, wherein each of the one or more gesture pads is 탈부착이 가능한 형태로 구현되는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.A gesture-based user input device, characterized in that implemented in a removable form. 제1항에 있어서, The method of claim 1, 상기 제스처 감지부, 상기 제스처 저장부, 상기 제스처 인식부 및 상기 통신 부는 손목 밴드형 장치로 구현되고, 상기 제스처 패드는 상기 손목 밴드형 장치와 분리되도록 구현되며, The gesture sensing unit, the gesture storage unit, the gesture recognition unit and the communication unit is implemented as a wrist band type device, the gesture pad is implemented to be separated from the wrist band type device, 상기 제스처 감지부는 사용자의 몸을 통해 상기 제스처 패드의 소리 또는 진동을 감지하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.The gesture detecting unit detects a sound or vibration of the gesture pad through a user's body. 제1항에 있어서, The method of claim 1, 상기 제스처 감지부, 상기 제스처 저장부, 상기 제스처 인식부 및 상기 통신부는 상기 전자 기기의 내부 회로로써 구현되고, 상기 제스처 패드는 상기 전자 기기의 표면상에 구현되며, The gesture detecting unit, the gesture storage unit, the gesture recognition unit and the communication unit are implemented as internal circuitry of the electronic device, the gesture pad is implemented on the surface of the electronic device, 상기 제스처 감지부는 상기 전자 기기의 표면을 통해 상기 제스처 패드의 소리 또는 진동을 감지하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치.The gesture detecting unit detects a sound or vibration of the gesture pad through a surface of the electronic device. 소리 또는 진동 발생 패턴이 형성된 표면을 가지고, 상기 표면상에 그림 제스처가 그려질 수 있도록 하는 제스처 패드를 구비하고, 상기 제스처 패드상에 그림 제스처가 그려질 때 발생되는 소리 또는 진동을 감지 및 분석하여 특징 데이터를 추출한 후, 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여 유효 제스처를 획득하는 제스처 인식 장치; 및A gesture pad having a surface having a sound or vibration generation pattern formed thereon, the drawing pad being able to be drawn on the surface, and detecting and analyzing sound or vibration generated when the drawing gesture is drawn on the gesture pad; A gesture recognition apparatus for extracting feature data and obtaining a valid gesture by comparing the feature data with a plurality of reference data mapped to each of the plurality of valid gestures; And 상기 복수개의 유효 제스처들 각각에 복수개의 기능들 또는 복수개 버튼 정보들을 매핑한 후, 상기 제스처 인식 장치를 통해 획득된 상기 유효 제스처에 매핑된 기능을 수행하거나 상기 유효 제스처에 매핑된 버튼 정보를 사용자 입력 값으로 획득하여 입력하는 하나 이상의 전자 기기를 구비하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.After mapping a plurality of functions or a plurality of button information to each of the plurality of valid gestures, the user performs a function mapped to the valid gesture obtained through the gesture recognition apparatus or inputs the button information mapped to the valid gesture. An electronic device using a gesture-based user input device having one or more electronic devices that obtain and input values. 제12항에 있어서, 상기 그림 제스처는 The method of claim 12, wherein the picture gesture is 문자를 쓰기 위한 제스처, 숫자를 쓰기 위한 제스처, 기호를 그리기 위한 제스처, 및 도형을 그리기 위한 제스처 중 하나 인 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.An electronic device using a gesture-based user input device, which is one of a gesture for writing a character, a gesture for writing a number, a gesture for drawing a symbol, and a gesture for drawing a figure. 제13항에 있어서, 상기 제스처 인식 장치는 The apparatus of claim 13, wherein the gesture recognition apparatus 상기 그림 제스처가 그려지는 하나 이상의 제스처 패드;One or more gesture pads in which the picture gesture is drawn; 상기 제스처 패드에 상기 그림 제스처가 그려질 때 발생되는 상기 소리 또는 진동을 감지하는 제스처 감지부;A gesture detector configured to detect the sound or vibration generated when the figure gesture is drawn on the gesture pad; 상기 복수개의 유효 제스처들 각각에 대응되는 상기 기준 데이터를 매핑하여 저장하는 제스처 저장부;A gesture storage unit which maps and stores the reference data corresponding to each of the plurality of valid gestures; 상기 소리 또는 진동을 분석하여 상기 특징 데이터를 추출하고, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식부; 및 Gesture recognition for extracting the feature data by analyzing the sound or vibration, and comparing the feature data with a plurality of reference data mapped to each of a plurality of valid gestures to obtain the effective gesture corresponding to the feature data. part; And 상기 제스처 인식부를 통해 상기 획득된 유효 제스처를 전자기기에 통보하는 통신부를 구비하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.And a communication unit for notifying the electronic device of the obtained effective gesture through the gesture recognition unit. 제14항에 있어서, 상기 하나 이상의 제스처 패드 각각은 15. The method of claim 14, wherein each of the one or more gesture pads is 외부 잡음과 구별되는 소리 또는 진동을 발생하기 위한 표면 형태와 재질을 가지는 패드를 하나 이상 구비하며, At least one pad having a surface shape and material for generating sound or vibration that is distinct from external noise, 서로 상이한 패드는 서로 상이한 소리 또는 진동 발생 패턴이 형성된 표면을 가지거나 서로 상이한 재질을 가지는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.The electronic device using the gesture-based user input device, characterized in that different pads have surfaces on which different sound or vibration generation patterns are formed or different materials. 제14항에 있어서, 상기 제스처 인식부는 The method of claim 14, wherein the gesture recognition unit 상기 제스처 패드와 상기 전자 기기가 하나이면, If the gesture pad and the electronic device are one, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.And analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for executing a specific function of the electronic device. 제14항에 있어서, 상기 제스처 인식부는 The method of claim 14, wherein the gesture recognition unit 상기 제스처 패드는 하나이고 상기 전자 기기가 복수개이면, If the gesture pad is one and there are a plurality of electronic devices, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.Analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Electronic device using a gesture-based user input device, characterized in that obtaining. 삭제delete 제14항에 있어서, 상기 제스처 인식부는 The method of claim 14, wherein the gesture recognition unit 상기 제스처 패드는 복수개이고 상기 전자 기기가 하나이면, If there are a plurality of gesture pads and there is only one electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.And analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for executing a specific function of the electronic device. 제14항에 있어서, 상기 제스처 인식부는 The method of claim 14, wherein the gesture recognition unit 상기 제스처 패드와 상기 전자 기기가 복수개이면, If there are a plurality of gesture pads and the electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.Analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Electronic device using a gesture-based user input device, characterized in that obtaining. 제14항에 있어서, 상기 하나 이상의 제스처 패드 각각은 15. The method of claim 14, wherein each of the one or more gesture pads is 탈부착이 가능한 형태로 구현되는 것을 특징으로 하는 제스처 기반 사용자 입력 장치를 이용하는 전자 장치.Electronic device using a gesture-based user input device, characterized in that implemented in a removable form. 소리 또는 진동 발생 패턴이 형성된 표면을 가지는 제스처 패드상에 그림 제스처가 그려질 때에 발생하는 소리 또는 진동을 감지하는 감지 단계;Sensing a sound or vibration that occurs when a picture gesture is drawn on a gesture pad having a surface on which a sound or vibration generation pattern is formed; 상기 소리 또는 진동을 분석하여 특징 데이터를 추출한 후, 상기 특징 데이터를 복수개의 유효 제스처들 각각에 매핑된 복수개의 기준 데이터들과 비교하여, 상기 특징 데이터에 대응되는 상기 유효 제스처를 획득하는 제스처 인식 단계; 및 After extracting feature data by analyzing the sound or vibration, gesture recognition step of obtaining the effective gesture corresponding to the feature data by comparing the feature data with a plurality of reference data mapped to each of the plurality of effective gestures ; And 상기 획득된 유효 제스처를 전자 기기로 통보하는 통보 단계를 구비하는 제스처 기반 사용자 입력 방법.And a notification step of notifying the obtained valid gesture to the electronic device. 제22항에 있어서, 상기 그림 제스처는 The method of claim 22, wherein the picture gesture is 문자를 쓰기 위한 제스처, 숫자를 쓰기 위한 제스처, 기호를 그리기 위한 제스처, 및 도형을 그리기 위한 제스처 중 하나 인 것을 특징으로 하는 제스처 기반 사용자 입력 방법.A gesture-based user input method comprising one of a gesture for writing a character, a gesture for writing a number, a gesture for drawing a symbol, and a gesture for drawing a shape. 제22항에 있어서, 상기 하나 이상의 제스처 패드 각각은 The method of claim 22, wherein each of the one or more gesture pads is 외부 잡음과 구별되는 소리 또는 진동을 발생하기 위한 표면 형태와 재질을 가지는 패드를 하나 이상 구비하며, At least one pad having a surface shape and material for generating sound or vibration that is distinct from external noise, 서로 상이한 패드는 서로 상이한 소리 또는 진동 발생 패턴이 형성된 표면을 가지거나 서로 상이한 재질을 가지는 것을 특징으로 하는 제스처 기반 사용자 입력 방법.The pads different from each other have a surface on which different sound or vibration generation patterns are formed or different materials from each other. 제22항에 있어서, 상기 제스처 인식 단계는 The method of claim 22, wherein the gesture recognition step is 상기 제스처 패드와 상기 전자 기기가 하나이면, If the gesture pad and the electronic device are one, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 방법.And analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for executing a specific function of the electronic device. 제22항에 있어서, 상기 제스처 인식 단계는 The method of claim 22, wherein the gesture recognition step is 상기 제스처 패드는 하나이고 상기 전자 기기가 복수개이면, If the gesture pad is one and there are a plurality of electronic devices, 상기 하나의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 방법.Analyzing the sound or vibration generated by the one gesture pad to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Gesture-based user input method characterized in that obtaining. 삭제delete 제22항에 있어서, 상기 제스처 인식 단계는 The method of claim 22, wherein the gesture recognition step is 상기 제스처 패드는 복수개이고 상기 전자 기기가 하나이면, If there are a plurality of gesture pads and there is only one electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여 상기 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 방법.And analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for executing a specific function of the electronic device. 제22항에 있어서, 상기 제스처 인식 단계는 The method of claim 22, wherein the gesture recognition step is 상기 제스처 패드와 상기 전자 기기가 복수개이면, If there are a plurality of gesture pads and the electronic device, 상기 복수개의 제스처 패드에 의해 발생되는 상기 소리 또는 진동을 분석하여, 상기 복수개의 전자 기기들 중 하나를 선택하기 위한 상기 유효 제스처를 획득하거나 상기 선택된 전자 기기의 특정 기능을 실행시키기 위한 상기 유효 제스처를 획득하는 것을 특징으로 하는 제스처 기반 사용자 입력 방법.Analyzing the sound or vibration generated by the plurality of gesture pads to obtain the effective gesture for selecting one of the plurality of electronic devices or to execute the effective gesture for executing a specific function of the selected electronic device. Gesture-based user input method characterized in that obtaining.
KR1020060121051A 2006-12-01 2006-12-01 Method and Apparatus for user input based on gesture KR100856919B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060121051A KR100856919B1 (en) 2006-12-01 2006-12-01 Method and Apparatus for user input based on gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060121051A KR100856919B1 (en) 2006-12-01 2006-12-01 Method and Apparatus for user input based on gesture

Publications (2)

Publication Number Publication Date
KR20080050169A KR20080050169A (en) 2008-06-05
KR100856919B1 true KR100856919B1 (en) 2008-09-05

Family

ID=39805666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060121051A KR100856919B1 (en) 2006-12-01 2006-12-01 Method and Apparatus for user input based on gesture

Country Status (1)

Country Link
KR (1) KR100856919B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078820B1 (en) 2010-02-09 2011-11-02 한국과학기술원 Method for recognizing plane figure deformation and its device
US20120304284A1 (en) * 2011-05-24 2012-11-29 Microsoft Corporation Picture gesture authentication
US8458485B2 (en) 2009-06-17 2013-06-04 Microsoft Corporation Image-based unlock functionality on a computing device
US8855855B2 (en) 2012-11-09 2014-10-07 Hyundai Motor Company Vehicle control apparatus
KR101500268B1 (en) * 2014-04-04 2015-03-06 현대자동차주식회사 Variable mounting sound wave touch pad
DE102014223604A1 (en) 2014-06-24 2015-12-24 Hyundai Motor Company System for controlling a sound wave based on a touch detection interface
US9280963B1 (en) 2014-08-14 2016-03-08 Hyundai Motor Company Pad generating rhythmic sound waves
US9415733B2 (en) 2013-06-24 2016-08-16 Hyundai Motor Company Vehicle manipulating system using sound waves
US9846997B2 (en) 2013-10-23 2017-12-19 Hyundai Motor Company Apparatus, method and system for checking rear lamp
WO2019004574A1 (en) * 2017-06-26 2019-01-03 삼성전자(주) Display device, control method therefor and system
USRE47518E1 (en) 2005-03-08 2019-07-16 Microsoft Technology Licensing, Llc Image or pictographic based computer login systems and methods
KR20220116936A (en) * 2021-02-16 2022-08-23 서울과학기술대학교 산학협력단 Device and method for detecting gesture based on sound machine learning

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752757B1 (en) * 2013-01-08 2022-04-06 Elo Touch Solutions Inc. Gesture event determination
KR101650711B1 (en) * 2013-10-12 2016-08-29 봉래 박 Apparatus and method for inputting number character
KR20150046997A (en) 2013-10-23 2015-05-04 현대자동차주식회사 Apparatus and Method for Recognize of Touch of User Terminal
KR101480655B1 (en) 2013-12-26 2015-01-09 현대자동차주식회사 User interface apparatus using speaker and method thereof
KR101553484B1 (en) * 2014-09-04 2015-09-16 계명대학교 산학협력단 Apparatus for detecting hand motion and method thereof
KR101558810B1 (en) 2014-09-22 2015-10-19 현대자동차주식회사 Acoustic User Interface Apparatus and Method for Recognition of Touching and Scrubbing
KR101673788B1 (en) * 2015-07-03 2016-11-07 현대자동차주식회사 Apparatus for perceiving user input
KR102437106B1 (en) * 2015-12-01 2022-08-26 삼성전자주식회사 Device and method for using friction sound
KR101784403B1 (en) * 2016-04-05 2017-10-11 엘지전자 주식회사 Touch sensing apparatus based on ultrasonic wave, cooking apparatus, and home appliance including the same
US11461442B2 (en) 2018-06-05 2022-10-04 Rutgers, The State University Of New Jersey Systems and methods for user input and authentication using vibration analysis

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010071217A (en) * 1998-05-07 2001-07-28 추후제출 Handwritten and voice control of vehicle components

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010071217A (en) * 1998-05-07 2001-07-28 추후제출 Handwritten and voice control of vehicle components

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47518E1 (en) 2005-03-08 2019-07-16 Microsoft Technology Licensing, Llc Image or pictographic based computer login systems and methods
US8458485B2 (en) 2009-06-17 2013-06-04 Microsoft Corporation Image-based unlock functionality on a computing device
US9946891B2 (en) 2009-06-17 2018-04-17 Microsoft Technology Licensing, Llc Image-based unlock functionality on a computing device
US9355239B2 (en) 2009-06-17 2016-05-31 Microsoft Technology Licensing, Llc Image-based unlock functionality on a computing device
KR101078820B1 (en) 2010-02-09 2011-11-02 한국과학기술원 Method for recognizing plane figure deformation and its device
US20120304284A1 (en) * 2011-05-24 2012-11-29 Microsoft Corporation Picture gesture authentication
US8650636B2 (en) * 2011-05-24 2014-02-11 Microsoft Corporation Picture gesture authentication
US8910253B2 (en) 2011-05-24 2014-12-09 Microsoft Corporation Picture gesture authentication
US8855855B2 (en) 2012-11-09 2014-10-07 Hyundai Motor Company Vehicle control apparatus
US9415733B2 (en) 2013-06-24 2016-08-16 Hyundai Motor Company Vehicle manipulating system using sound waves
US9846997B2 (en) 2013-10-23 2017-12-19 Hyundai Motor Company Apparatus, method and system for checking rear lamp
US9501177B2 (en) 2014-04-04 2016-11-22 Hyundai Motor Company Variable mounting sound wave touch pad
KR101500268B1 (en) * 2014-04-04 2015-03-06 현대자동차주식회사 Variable mounting sound wave touch pad
US9465574B2 (en) 2014-06-24 2016-10-11 Hyundai Motor Company System for controlling sound wave based touch recognition interface
DE102014223604A1 (en) 2014-06-24 2015-12-24 Hyundai Motor Company System for controlling a sound wave based on a touch detection interface
US9280963B1 (en) 2014-08-14 2016-03-08 Hyundai Motor Company Pad generating rhythmic sound waves
WO2019004574A1 (en) * 2017-06-26 2019-01-03 삼성전자(주) Display device, control method therefor and system
KR20220116936A (en) * 2021-02-16 2022-08-23 서울과학기술대학교 산학협력단 Device and method for detecting gesture based on sound machine learning
KR102436970B1 (en) 2021-02-16 2022-08-26 서울과학기술대학교 산학협력단 Device and method for detecting gesture based on sound machine learning

Also Published As

Publication number Publication date
KR20080050169A (en) 2008-06-05

Similar Documents

Publication Publication Date Title
KR100856919B1 (en) Method and Apparatus for user input based on gesture
US10055563B2 (en) Air writing and gesture system with interactive wearable device
JP4899806B2 (en) Information input device
CN102906671B (en) Gesture input device and gesture input method
CN103870804B (en) Mobile device with face recognition function and the method for controlling the mobile device
KR101432878B1 (en) Touch screen, related method of operation and system
JP6472196B2 (en) Sensor signal processing circuit and sensor signal processing method
CN107329688B (en) Fingerprint acquisition method and terminal
KR102437106B1 (en) Device and method for using friction sound
WO2015171559A1 (en) Enhanced user interface for a wearable electronic device
JP6965158B2 (en) Electronic conferencing device and its control method, and digital pen
EP1523807A1 (en) Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof
KR20140098254A (en) Combined radio-frequency identification and touch input for a touch screen
CN102135830A (en) Touch screen triggering method and touch device
KR20160114634A (en) Techniques for identifying rolling gestures on a device
JP2003298689A (en) Cellular telephone
CN103984433B (en) For controlling the method and apparatus for touching key operation
WO2018079001A1 (en) Information processing device, information processing method, and program
KR20100062901A (en) Method and device for searching course using touch pattern
CN106462379A (en) Voice-controllable image display device and voice control method for image display device
CN111507146A (en) Fingerprint identification device and method
CN104571521A (en) Device and method of handwritten record
Kim et al. Sonarid: Using sonar to identify fingers on a smartwatch
CN106845189A (en) A kind of method and apparatus being unlocked based on fingerprint recognition
KR20150145729A (en) Method for moving screen and selecting service through fingerprint input, wearable electronic device with fingerprint sensor and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee