WO2016036197A1 - 손동작 인식 장치 및 그 방법 - Google Patents

손동작 인식 장치 및 그 방법 Download PDF

Info

Publication number
WO2016036197A1
WO2016036197A1 PCT/KR2015/009360 KR2015009360W WO2016036197A1 WO 2016036197 A1 WO2016036197 A1 WO 2016036197A1 KR 2015009360 W KR2015009360 W KR 2015009360W WO 2016036197 A1 WO2016036197 A1 WO 2016036197A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
motion
hand gesture
user
sensed
Prior art date
Application number
PCT/KR2015/009360
Other languages
English (en)
French (fr)
Inventor
성연식
김필영
손준혁
김지원
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Publication of WO2016036197A1 publication Critical patent/WO2016036197A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a hand gesture recognition apparatus and a method thereof, and more particularly, to a sensor and a method for recognizing a motion of a hand together with a friction sound such as a clapping sound according to a hand gesture.
  • the keyboard and mouse can be pulled out as the representative device of the input interface. If a keyboard and mouse are the injectors of a desktop computer, the touch screen input interface has come to the fore in mobile computing. Among them, the pen touch method of the MS Windows phone and the hand touch method of the Apple iPhone are the mainstream of the input method of a personal wireless terminal.
  • FIG. 1 illustrates screen control according to a hand gesture recognizing apparatus according to the related art.
  • the input interface device using the motion of the hand expresses the motion of the hand using an RGB camera that distinguishes colors and an IR camera that distinguishes depth.
  • the electronic map and various application programs can be controlled through the input interface using the motion of the hand.
  • an interface device capable of recognizing hand motion and human voice is used as an input device of a game machine.
  • a sound according to a hand gesture for example, a friction sound such as a clapping sound is additionally recognized in the motion of the hand, it may be possible to give certainty to the interface device.
  • the certainty as to whether or not an event occurs in the interface device is determined. I can guarantee it.
  • the accuracy may be limited.
  • the existing hand motion sensor it is difficult to distinguish between the hand motion that is stopped by clapping and the clap hand motion.
  • the sound generated by hand-to-hand contact or hand-to-object contact in the process of moving the hand may be an important element in the input interface.
  • a device for recognizing a hand gesture to generate a control signal the hand gesture recognition device, the sound analysis unit for analyzing the sound sensed from the sound sensor; A motion recognition unit for analyzing the motion and vibration of the user sensed from the motion sensor; A database unit for storing respective sound, motion, and vibration values corresponding to various hand gestures of a user; A hand gesture recognition unit recognizing a hand gesture of the user from the database by using the analyzed sound, motion and vibration; And a controller configured to generate a control signal corresponding to the recognized hand gesture.
  • the sound analyzer may analyze the frequency spectrum of the sensed sound to distinguish sounds generated by clapping, finger snaps, and hitting an object.
  • the sound analyzer may analyze the sensed sound only when a vibration of a threshold value or more is recognized by the motion recognition unit.
  • the sound analyzer may include a microphone for converting a sound into an electrical signal; An amplifier for amplifying the electrical signal to a constant level; A bandpass filter for filtering and outputting a signal component corresponding to a frequency band of the sound from the signal amplified to a predetermined level through the amplifier; An analog / digital converter for converting the signal component filtered by the bandpass filter into a digital signal; And analyzing the frequency spectrum of the digital signal to determine the sound according to the hand gesture.
  • a hand gesture recognition method using an apparatus for generating a control signal by recognizing a hand gesture may include analyzing a sound sensed by a sound sensor; Analyzing the motion and vibration of the user sensed from the motion sensor; Storing respective sound, motion, and vibration values corresponding to various hand gestures of the user; Recognizing a user's hand gesture from the stored sound, motion and vibration values using the analyzed sound, motion and vibration; And generating a control signal corresponding to the recognized hand gesture.
  • FIG. 1 illustrates screen control according to a hand gesture recognizing apparatus according to the related art.
  • FIG. 2 shows an example of a hand gesture in which sound is generated.
  • FIG. 3 is a view showing the configuration of a hand gesture recognition apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a configuration of a sound analyzer in FIG. 3.
  • FIG. 5 is a flowchart illustrating a hand gesture recognition method according to an embodiment of the present invention.
  • the hand gesture recognizing apparatus 100 recognizes a sound together with a motion of a hand and generates a control signal corresponding to the recognized motion and sound of the hand.
  • the sound may be limited to sounds that can be generated using the hand.
  • an apparatus for recognizing the motion of a voice and a hand has already been disclosed.
  • FIG. 2 shows an example of a hand gesture in which sound is generated.
  • sounds that can be generated by using a hand may be classified into three types.
  • (a) shows the clapping of the palm and the palm meet each other
  • (b) shows the finger snap action by the friction of the finger
  • the frictional sound generated in each case generally maintains a constant frequency range of the sound, and in the cases of (a) to (c), the frequency range depends on the difference in the sound generation method. Because of the difference, (a) to (c) can be distinguished from each other.
  • FIG. 3 is a view showing the configuration of the hand gesture recognition apparatus according to an embodiment of the present invention
  • Figure 4 is a view showing the configuration of the sound analysis unit in FIG.
  • the gesture recognition apparatus 100 may include a sound analyzer 110, a motion recognition unit 120, a database unit 130, a gesture recognition unit 140, and a controller 150. ).
  • the sound analyzer 110 includes an amplifier 111, a bandpass filter 112, an analog / digital converter 113, and a digital signal processor 114.
  • a sound sensor (not shown) receives a sound, converts the sound into an electrical signal, and transmits the sound to the sound analyzer 110.
  • the sound analyzer 110 amplifies the input electrical signal through the amplifier 111.
  • the amplified electrical signal is filtered through a bandpass filter in a predetermined frequency range.
  • the electric signal filtered to a certain range is converted into digital through the analog-to-digital converter 113.
  • the digital signal processor 114 analyzes the spectrum of the digitized electrical signal and compares it with the spectrum according to the type of sound of the previously stored database 130 to determine whether the electrical signal is due to clapping, finger snaps, or friction with an object. To judge.
  • the digital signal processor 114 may analyze the spectrum of the input electrical signal according to time and determine the number of occurrences of the sound, for example, the number of claps when the sound is continuously generated.
  • the sound analyzer 110 senses only when a vibration higher than a threshold value is recognized by the motion recognition unit 120 in order to distinguish between a sound generated by a hand gesture and other sounds through a sound sensor (not shown). Can analyze the sound.
  • the sound analyzer 110 may be operated only when the vibration above the threshold is recognized by the motion recognition unit 120 as described above.
  • the motion recognition unit 120 analyzes the motion and vibration of the user sensed from the motion sensor. That is, the motion recognition unit 120 may analyze what pattern the motion of the sensed user corresponds to by using the pattern of the motion previously stored in the database unit 130.
  • patterns of motions stored in the database unit 130 may be stored in a tree structure.
  • the motion recognition unit 120 may analyze a pattern of the hand gesture of the user by using an image representing the hand gesture of the user captured by the photographing apparatus (not shown). In addition, the motion recognition unit 120 may detect the joint of the user's hand in the image photographing the user's hand motion, and recognize the hand motion that changes according to the motion of the joint in different patterns. In this regard, since it corresponds to technical matters well known in the field of motion recognition apparatus, a detailed description thereof will be omitted.
  • the database unit 130 stores sound, motion, and vibration values corresponding to various hand gestures of the user. That is, the database unit 130 stores the frequency spectrum of the sound signal for each type of sound that may be generated by the hand gesture, and analyzes the sound by comparing the frequency spectrum of the input sound. In addition, the database unit 130 stores not only the database for the sound but also the pattern of motion and the threshold vibration value.
  • Hand gesture recognition unit 140 recognizes the user's hand gesture from the database unit 130 using the analyzed sound, motion and vibration. That is, the hand gesture recognition unit 140 recognizes the hand gesture complex using the sound analyzed by the sound analyzer 110 and the motion and vibration recognized by the motion recognition unit 120. For example, in the case where the sound is analyzed, the hand gesture recognition unit 140 may display a pattern most similar to the input hand motion together with information values about the type of sound, the time of occurrence of the sound, and the number of occurrences of the sound. In step 130), the corresponding information value can be output.
  • the hand gesture recognition unit 140 receives an image of a hand motion captured by the motion recognition unit 120 in real time, and maps a trajectory according to the hand motion on a virtual three-dimensional space to obtain an information value of the trajectory.
  • the information value includes information on the type of sound generated, the time of sound generation, and the number of times of sound generation.
  • the controller 150 generates a control signal corresponding to the recognized hand gesture.
  • the controller 150 generates a control signal corresponding to the information value transmitted from the hand gesture recognition unit 140.
  • the transmitted information value includes an information value for calculating a hand movement trajectory in a three-dimensional space, and an information value for the type of sound, the time of occurrence of the sound, and the number of occurrences of the sound.
  • the controller 150 may control the operation of the pointer in association with the movement of the hand on the computer screen by using the calculated information value of the trajectory.
  • the controller 150 may execute an event corresponding to a sound of a specific frequency band, execute an event at an occurrence time, or generate different control value signals according to the number of occurrences.
  • FIG. 5 is a flowchart illustrating a hand gesture recognition method according to an embodiment of the present invention.
  • the hand gesture recognition apparatus 100 is used as an interface device of a desktop computer such as a mouse or a keyboard
  • a desktop computer such as a mouse or a keyboard
  • the sound analyzer 110 analyzes the sound sensed by the sound sensor (S510).
  • the sound analyzer 110 When the user performs a finger snap by using the hand or during motion of the hand, the sound analyzer 110 amplifies, filters, and digitally converts the sound sensed by the sound sensor (not shown). Analyze the frequency spectrum of the converted signal through the sound according to the operation.
  • the sound of clapping, the sound of finger snaps, and the friction of the playing of the table correspond to sounds of different frequency bands, and thus can be distinguished from each other by using the frequency spectrum.
  • the sound analyzer 110 may analyze the number of finger snaps through the frequency spectrum.
  • the motion recognition unit 120 analyzes the motion and vibration of the user sensed from the motion sensor (S520).
  • the reason that the motion recognition unit 120 analyzes the presence or absence of vibration is because, when sound is generated by the hand motion, vibration of the threshold value or more is accompanied by the hand motion. Therefore, the vibration is analyzed so that a wrong input due to a sound other than the sound according to the hand gesture input to the sound sensor does not occur.
  • the motion recognition unit 120 analyzes a user's motion by using an image captured by a camera and an infrared camera according to a conventional technology. In this case, the analyzed motion of the hand may be represented using the information value of the corresponding numerical value.
  • Each sound, motion, and vibration value corresponding to various hand gestures of the user are previously stored in the database unit 130 (S530). That is, the frequency spectrum of various applause sounds that may occur due to hand gestures, sounds caused by finger snaps, and sounds that may occur when hitting a table or various objects may be stored. As described above, the threshold vibration value may be stored to determine whether the vibration is greater than or equal to the threshold value. In addition, an information value about a motion of the hand that distinguishes the motion of the hand according to the pattern using the tree structure may be stored.
  • Hand gesture recognition unit 140 recognizes the user's hand gesture from the database unit 130 using the analyzed sound, motion and vibration (S540). That is, the hand gesture recognition unit 140 compares the information value of the motion trajectory, the occurrence of the sound, the type of the sound, the number of sounds in the three-dimensional space with the value stored in the database 130 to perform the user's hand gesture. Recognize.
  • the controller 150 generates a control signal corresponding to the recognized hand gesture (S550). For example, according to the analyzed user's hand gesture, the controller 150 generates a control signal for moving the mouse point according to the user's hand gesture or performs a click command according to the generation of a finger snap sound. Can be generated. In addition, a control signal may be generated to input a number of the number of times or to perform a command corresponding to the number of times according to the number of occurrence of the finger snap sound.
  • the accuracy of the motion can be improved by using the motion of the hand and the additional sound.
  • various input patterns may be made in the interface device according to the presence or absence of sound and the number of occurrences of the sound, rather than using only motion recognition of the hand.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 손동작 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따른 손동작 인식 장치는, 소리 센서로부터 센싱된 소리를 분석하는 소리 분석부; 모션 센서로부터 센싱된 사용자의 모션 및 진동을 분석하는 모션 인식부; 사용자의 다양한 손동작에 대응하는 각각의 소리, 모션 및 진동 값을 저장하는 데이터베이스부; 상기 분석된 소리, 모션 및 진동을 이용하여 상기 데이터베이스부로부터 사용자의 손동작을 인식하는 손동작 인식부; 및 상기 인식된 손동작에 대응하는 제어 신호를 생성하는 제어부를 포함한다. 이와 같이 본 발명에 따르면, 손의 모션과 추가적인 소리를 이용하여 모션의 정확성을 높일 수 있다. 또한, 손의 모션 인식만을 이용하는 경우보다 소리의 유무 및 소리의 발생 횟수에 따라 인터페이스 장치에서 다양한 입력 패턴을 만들 수 있다.

Description

손동작 인식 장치 및 그 방법
본 발명은 손동작 인식 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 손동작에 따른 박수소리와 같은 마찰음과 손의 모션을 함께 인식하는 센서 및 그 방법에 관한 것이다.
입력 인터페이스의 대표 장치로 키보드와 마우스를 뽑을 수 있을 것이다. 키보드와 마우스를 데스크탑 컴퓨터의 주입력장치라고 한다면, 모바일 컴퓨팅에 와서 터치 스크린 입력 인터페이스가 대세를 이루었다. 그 중에서도 MS 윈도우폰의 펜 터치방식, 애플 아이폰의 손 터치방식은 개인용 무선 단말기의 입력방식의 주류를 이루고 있다.
그런데 이동성(Mobility)에서 파생된 모바일 기기가 진정한 이동성을 지니기 위해서 보다 편리한 유저 인터페이스 장치가 요구된다. 이와 관련하여 3D 자유 공간에서 사람의 손동작을 이용하는 입력 인터페이스는 최근 각광 받고 있는 분야이다.
도 1은 기존의 기술에 따른 손동작 인식 장치에 따른 화면 제어를 나타낸다.
손의 모션을 이용하는 입력 인터페이스 장치는 색상을 구분하는 RGB 카메라와 깊이를 구분하는 IR 카메라를 이용하여 손의 모션을 표현한다. 이러한 손의 모션을 이용하는 입력 인터페이스를 통하여 전자 지도, 각종 응용 프로그램을 제어할 수 있다.
또한, 손의 모션과 사람의 음성을 함께 인식할 수 있는 인터페이스 장치는 게임기의 입력 장치로 사용되고 있다. 그런데, 손동작에 따른 소리, 이를테면 박수 소리와 같은 마찰음이 손의 모션에 추가적으로 인식된다면 인터페이스 장치에 확실성을 부여할 수 있을 수 있다. 예를 들면, 박수를 치는 동작을 통하여 인터페이스 장치에서 특정 명령을 수행할 경우, 불확실한 손의 모션 보다는 사람마다 개인차가 없이 일정한 주파수를 갖는 박수 소리를 이용한다면 인터페이스 장치에서 이벤트 발생의 유무에 관한 확실성을 보장할 수 있다.
손의 모션만을 이용하는 경우에 그 정확성에 한계가 있을 수 있다. 예를 들면, 기존의 손 모션 센서에 의하면 박수를 치려다가 중단한 손동작과 박수를 친 손동작을 구분하기 어렵다. 이렇듯 손을 움직이는 과정에서 손과 손끼리 또는 손과 물체가 접촉하여 발생하는 소리는 입력 인터페이스에서 중요한 요소가 될 수 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제2013-0138519호(2013.12.19)에 기재되어 있다.
본 발명이 이루고자 하는 기술적 과제는 손동작에 따른 소리와 움직임을 인식하는 센서 및 그 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 하나의 실시예에 따르면, 손동작을 인식하여 제어 신호를 생성하는 장치에 있어서, 손동작 인식 장치는, 소리 센서로부터 센싱된 소리를 분석하는 소리 분석부; 모션 센서로부터 센싱된 사용자의 모션 및 진동을 분석하는 모션 인식부; 사용자의 다양한 손동작에 대응하는 각각의 소리, 모션 및 진동 값을 저장하는 데이터베이스부; 상기 분석된 소리, 모션 및 진동을 이용하여 상기 데이터베이스부로부터 사용자의 손동작을 인식하는 손동작 인식부; 및 상기 인식된 손동작에 대응하는 제어 신호를 생성하는 제어부를 포함한다.
또한, 상기 소리 분석부는, 상기 센싱된 소리의 주파수 스펙트럼을 분석하여 박수, 핑거 스냅 및 물체 타격시에 발생하는 소리를 구별할 수 있다.
또한, 상기 소리 분석부는, 상기 모션 인식부에서 임계값 이상의 진동이 인식되는 경우에만, 상기 센싱된 소리를 분석할 수 있다.
또한, 상기 소리 분석부는, 소리를 전기 신호로 변환하는 마이크로폰; 상기 전기 신호를 일정한 레벨로 증폭하는 증폭기; 상기 증폭기를 통해 일정한 레벨로 증폭된 신호로부터 상기 소리의 주파수 대역에 해당하는 신호 성분을 필터링하여 출력하는 대역통과 필터; 상기 대역통과 필터로 필터링된 신호 성분을 디지털 신호로 변환하는 아날로그/디지털 변환기; 및 상기 디지털 신호의 주파수 스펙트럼을 분석하여 손동작에 따른 소리를 판별할 수 있다.
본 발명의 하나의 실시예에 따르면, 손동작을 인식하여 제어 신호를 생성하는 장치를 이용한 손동작 인식 방법은, 소리 센서로부터 센싱된 소리를 분석하는 단계; 모션 센서로부터 센싱된 사용자의 모션 및 진동을 분석하는 단계; 사용자의 다양한 손동작에 대응하는 각각의 소리, 모션 및 진동 값을 저장하는 단계; 상기 분석된 소리, 모션 및 진동을 이용하여 상기 저장된 소리, 모션 및 진동 값으로부터 사용자의 손동작을 인식하는 단계; 및 상기 인식된 손동작에 대응하는 제어 신호를 생성하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 손의 모션과 추가적인 소리를 이용하여 모션의 정확성을 높일 수 있다. 또한, 손의 모션 인식만을 이용하는 경우보다 소리의 유무 및 소리의 발생 횟수에 따라 인터페이스 장치에서 다양한 입력 패턴을 만들 수 있다.
도 1은 기존의 기술에 따른 손동작 인식 장치에 따른 화면 제어를 나타낸다.
도 2는 소리가 발생되는 손동작의 예시를 나타낸다.
도 3은 본 발명의 실시예에 따른 손동작 인식 장치의 구성을 나타내는 도면이다.
도 4는 도 3에서 소리 분석부의 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 손동작 인식 방법의 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 도 2 내지 도 5를 참고하여 본 발명의 실시예에 대하여 상세히 설명하기로 한다.
본 발명의 실시예에 따른 손동작 인식 장치(100)는 손의 모션과 함께 소리를 인식하여 인식된 손의 모션 및 소리에 대응하는 제어 신호를 생성한다. 여기서, 소리는 손을 이용하여 발생할 수 있는 소리에 한정될 수 있다. 기존의 기술에 의할 경우, 음성과 손의 모션을 인식하는 장치는 이미 개시된 바 있다.
도 2는 소리가 발생되는 손동작의 예시를 나타낸다.
도 2에 나타낸 것처럼, 손을 이용하여 발생할 수 있는 소리는 크게 3 가지로 분류될 수 있다. 도 2에서, (a)는 손바닥과 손바닥이 마주쳐서 박수를 치는 동작을 나타내고, (b)는 손가락의 마찰에 의한 핑거 스냅 동작을 나타내고, (c)는 손바닥이 다른 물체, 이를 테면 탁자를 타격하는 동작을 나타낸다.
상기 도 2에서, 각각의 경우에 발생하는 마찰에 의한 소리는 일반적으로 그 소리의 주파수 범위가 일정한 범위를 유지하고 있으며, (a) 내지 (c)의 경우에 소리 생성 방법의 차이에 따라 주파수 범위도 차이가 있기 때문에, (a) 내지 (c)는 서로 구별될 수 있다.
도 3은 본 발명의 실시예에 따른 손동작 인식 장치의 구성을 나타내는 도면이고, 도 4는 도 3에서 소리 분석부의 구성을 나타내는 도면이다.
도 3에 나타낸 것처럼, 본 발명의 실시예에 따른 손동작 인식 장치(100)는 소리 분석부(110), 모션 인식부(120), 데이터베이스부(130), 손동작 인식부(140) 및 제어부(150)를 포함한다.
도 4에 나타낸 것처럼, 소리 분석부(110)는 증폭기(111), 대역통과 필터(112), 아날로그/디지털 변환기(113), 디지털 신호 처리기(114)를 포함한다.
소리 센서(미도시)는 소리를 입력 받고, 상기 소리를 전기신호로 변환하여 소리 분석부(110)로 전송한다.
소리 분석부(110)는 입력된 전기신호를 증폭기(111)를 통해 증폭한다. 그리고, 증폭된 전기 신호는 대역통과 필터를 통해 일정 주파수 범위로 필터링 된다. 일정한 범위로 필터링된 전기 신호는 아날로그/디지털 변환기(113)를 통해 디지털로 변환된다. 마지막으로 디지털 신호 처리기(114)는 디지털화된 전기 신호의 스펙트럼을 분석하여 기 저장된 데이터베이스부(130)의 소리의 유형에 따른 스펙트럼과 비교하여 전기 신호가 박수, 핑거 스냅 또는 물체와의 마찰에 의한 것인지 판단한다. 여기서, 디지털 신호 처리기(114)는 입력된 전기 신호의 스펙트럼을 시간에 따라 분석하여 소리가 연속되어 발생한 경우, 소리의 발생 횟수, 이를 테면 박수의 횟수를 판단할 수 있다.
또한, 소리 분석부(110)는 소리 센서(미도시)를 통해 소리 중에서 손동작에 따라 발생한 소리와 이외의 소리를 구별하기 위해서, 모션 인식부(120)에서 임계값 이상의 진동이 인식되는 경우에만 센싱된 소리를 분석할 수 있다. 박수, 핑거 스냅 또는 물체 타격과 같은 손동작에 의해 소리가 발생하는 경우, 손에서는 일정 정도의 진동이 발생한다. 따라서, 손동작에 의한 소리만을 분석하기 위해서, 소리 분석부(110)는 상기와 같이 모션 인식부(120)에서 임계값 이상의 진동이 인식되는 경우에만 작동될 수 있다.
모션 인식부(120)는 모션 센서로부터 센싱된 사용자의 모션 및 진동을 분석한다. 즉, 모션 인식부(120)는 데이터베이스부(130)에 기저장된 모션의 패턴을 이용하여 센싱된 사용자의 모션이 어떠한 패턴에 해당하는지 분석할 수 있다. 여기서, 데이터베이스부(130)에 저장된 모션의 패턴들은 트리구조로 저장될 수 있다.
모션 인식부(120)는 촬영 장치(미도시)를 통해 촬영된 사용자의 손동작을 나타내는 영상을 이용하여, 사용자의 손동작의 패턴을 분석할 수 있다. 또한, 모션 인식부(120)는 사용자의 손동작을 촬영한 영상에서 사용자 손의 관절을 검출하여, 관절의 운동에 따라 변하는 손동작을 서로 다른 패턴으로 인식할 수 있다. 이에 관해서는, 모션 인식 장치 분야에서 널리 알려진 기술적 사항에 해당하므로 자세한 설명은 생략하기로 한다.
데이터베이스부(130)는 사용자의 다양한 손동작에 대응하는 각각의 소리, 모션 및 진동 값을 저장한다. 즉, 데이터베이스부(130)는 손동작에 의해 발생할 수 있는 소리의 종류마다 해당 소리 신호가 갖는 주파수 스펙트럼을 저장하여, 입력되는 소리의 주파수 스펙트럼과의 비교를 통해 소리를 분석할 수 있도록 한다. 또한, 데이터베이스부(130)는 소리에 대한 데이터베이스뿐만 아니라 모션의 패턴 및 임계 진동 값을 저장한다.
손동작 인식부(140)는 분석된 소리, 모션 및 진동을 이용하여 상기 데이터베이스부(130)로부터 사용자의 손동작을 인식한다. 즉, 손동작 인식부(140)는 소리 분석부(110)에서 분석된 소리와 모션 인식부(120)에서 인식된 모션 및 진동을 이용하여 손동작을 복합적을 인식하게 된다. 예를 들면, 소리가 분석된 경우에 있어서, 손동작 인식부(140)는 소리의 종류, 소리의 발생 시간, 소리의 발생 횟수에 대한 정보 값과 함께 입력된 손 모션과 가장 유사한 패턴을 데이터베이스부(130)에서 찾아 해당 정보 값을 출력할 수 있다.
즉, 손동작 인식부(140)는 모션 인식부(120)에서 실시간 촬영되는 손의 동작에 관한 영상을 전달받아 손의 동작에 따른 궤적을 가상의 3차원 공간 상에 맵핑하여 그 궤적에 대한 정보 값을 출력할 수 있다. 여기서, 상기 정보 값에는 발생한 소리의 종류, 소리의 발생 시간, 소리의 발생 횟수에 대한 정보 값이 포함된다.
제어부(150)는 인식된 손동작에 대응하는 제어 신호를 생성한다. 여기서, 제어부(150)는 손동작 인식부(140)에서 전송된 정보 값에 해당하는 제어 신호를 생성하게 된다. 예를 들어, 전송된 정보 값에 3차원 공간에서 손이 움직이는 궤적을 계산한 정보 값과 소리의 발생에 따른 소리의 종류, 소리의 발생 시간, 소리의 발생 횟수에 대한 정보 값이 포함되어 있는 경우, 제어부(150)는 궤적을 계산한 정보 값을 이용하여 컴퓨터 화면 상에서 손의 움직임과 연동하여 포인터의 동작을 제어할 수 있다. 또한, 제어부(150)는 특정 주파수 대의 소리에 해당하는 이벤트를 실행하게 하거나, 발생 시간에 이벤트를 실행하게 하거나, 발생 횟수에 따라 서로 다른 제어 값 신호를 생성할 수 있다.
이하 본 발명의 실시예에 따른 손동작 인식 방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 손동작 인식 방법의 순서도이다.
설명의 편의상, 본 발명에 따른 손동작 인식 장치(100)를 마우스 또는 키보드와 같은 데스크탑 컴퓨터의 인터페이스 장치로 사용하는 경우를 예로 들어 설명한다.
먼저 소리 분석부(110)는 소리 센서로부터 센싱된 소리를 분석한다(S510).
사용자가 손의 모션 중 또는 정지된 손을 이용하여 핑거 스냅을 수행한 경우, 소리 분석부(110)는 소리 센서(미도시)로부터 센싱된 소리를 증폭하는 단계, 필터링하는 단계, 디지털 변환하는 단계를 통해 변환된 신호의 주파수 스펙트럼을 분석하여 어떠한 동작에 따른 소리인지 분석한다. 여기서, 박수 소리, 핑거 스냅에 의한 소리와 탁자를 치는 경우의 마찰음은 서로 다른 주파수 대의 소리에 해당되므로 주파수 스펙트럼을 이용하면 서로 구별 될 수 있다. 여기서, 소리 분석부(110)는 주파수 스펙트럼을 통해 핑거 스냅의 횟수를 분석할 수 있다.
모션 인식부(120)는 모션 센서로부터 센싱된 사용자의 모션 및 진동을 분석한다(S520).
모션 인식부(120)가 진동의 유무를 분석하는 이유는, 손동작에 의해 소리가 발생하는 경우, 임계값 이상의 진동이 손동작에 수반되기 때문이다. 따라서, 소리 센서에 입력되는 손동작에 따른 소리 이외의 소리로 인한 오입력이 발생하지 않도록 진동 여부를 분석하게 된다. 그리고 모션 인식부(120)는 기존의 기술에 따라 카메라와 적외선 카메라를 통해 촬영된 영상을 이용하여 사용자의 모션을 분석한다. 이 경우, 분석된 손의 모션은 해당되는 수치의 정보 값을 이용하여 나타낼 수 있다.
데이터베이스부(130)에 사용자의 다양한 손동작에 대응하는 각각의 소리, 모션 및 진동 값을 미리 저장한다(S530). 즉, 손동작에 따라 발생할 수 있는 여러가지 박수소리, 핑거 스냅에 의한 소리, 탁자 또는 여러 물체를 타격하는 경우에 발생할 수 있는 소리에 대한 주파수 스펙트럼이 저장될 수 있다. 그리고, 상술한 바와 같이 임계값 이상의 진동 여부를 알아내기 위해, 임계 진동값이 저장될 수 있다. 또한, 트리구조를 이용하여 손의 동작을 패턴에 따라 구별한 손의 모션에 대한 정보 값 등이 저장될 수 있다.
손동작 인식부(140)는 분석된 소리, 모션 및 진동을 이용하여 데이터베이스부(130)로부터 사용자의 손동작을 인식한다(S540). 즉, 손동작 인식부(140)는 3차원 공간에서의 모션의 궤적, 소리의 발생 여부, 소리의 종류, 소리의 횟수에 대한 정보 값과 데이터베이스부(130)에 저장된 값을 비교하여 사용자의 손동작을 인식한다.
제어부(150)는 인식된 손동작에 대응하는 제어 신호를 생성한다(S550). 예를 들면, 분석된 사용자의 손동작에 따라, 제어부(150)는 사용자의 손동작에 따른 궤적에 따라 마우스 포인트를 움직이게 하는 제어 신호를 생성하거나, 핑거 스냅 소리의 발생에 따라 클릭 명령을 수행하는 제어 신호를 생성할 수 있다. 또한, 핑거 스냅 소리의 발생 횟수에 따라 해당 횟수의 숫자를 입력하거나 횟수에 해당하는 명령을 수행하는 제어 신호를 생성할 수도 있다.
이와 같이 본 발명의 실시예에 따른 손동작 인식 장치 및 그 방법에 의하면, 손의 모션과 추가적인 소리를 이용하여 모션의 정확성을 높일 수 있다. 또한, 손의 모션 인식만을 이용하는 경우보다 소리의 유무 및 소리의 발생 횟수에 따라 인터페이스 장치에서 다양한 입력 패턴을 만들 수 있다.
이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (10)

  1. 손동작을 인식하여 제어 신호를 생성하는 장치에 있어서,
    소리 센서로부터 센싱된 소리를 분석하는 소리 분석부;
    모션 센서로부터 센싱된 사용자의 모션을 분석하는 모션 인식부;
    사용자의 다양한 손동작에 대응하는 각각의 소리, 모션을 저장하는 데이터베이스부;
    상기 분석된 소리, 모션 및 진동을 이용하여 상기 데이터베이스부로부터 사용자의 손동작을 인식하는 손동작 인식부; 및
    상기 인식된 손동작에 대응하는 제어 신호를 생성하는 제어부를 포함하는 손동작 인식 장치.
  2. 제1항에 있어서,
    상기 모션 인식부는,
    상기 모션 센서로부터 센싱된 사용자의 진동을 추가로 분석하고,
    상기 데이터베이스부는,
    사용자의 다양한 손동작에 대응하는 각각의 진동 값을 추가로 저장하고,
    상기 손동작 인식부는,
    상기 분석된 진동을 추가로 이용하여 상기 데이터베이스로부터 사용자의 손동작을 인식하는 손동작 인식 장치.
  3. 제1항에 있어서,
    상기 소리 분석부는,
    상기 센싱된 (1140)소리의 주파수 스펙트럼을 분석하여 박수, 핑거 스냅 및 물체 타격시에 발생하는 소리를 구별하는 손동작 인식 장치.
  4. 제2항에 있어서,
    상기 소리 분석부는,
    상기 모션 인식부에서 임계값 이상의 진동이 인식되는 경우에만, 상기 센싱된 소리를 분석하는 손동작 인식 장치.
  5. 제1항에 있어서,
    상기 소리 분석부는,
    상기 소리 센서에서 전송된 전기 신호를 일정한 레벨로 증폭하는 증폭기;
    상기 증폭기를 통해 일정한 레벨로 증폭된 신호로부터 상기 소리의 주파수 대역에 해당하는 신호 성분을 필터링하여 출력하는 대역통과 필터;
    상기 대역통과 필터로 필터링된 신호 성분을 디지털 신호로 변환하는 아날로그/디지털 변환기; 및
    상기 디지털 신호의 주파수 스펙트럼을 분석하여 손동작에 따른 소리를 판별하는 디지털 신호 처리기를 포함하는 손동작 인식 장치.
  6. 손동작을 인식하여 제어 신호를 생성하는 장치를 이용한 손동작 인식 방법에 있어서,
    소리 센서로부터 센싱된 소리를 분석하는 단계;
    모션 센서로부터 센싱된 사용자의 모션을 분석하는 단계;
    사용자의 다양한 손동작에 대응하는 각각의 소리, 모션을 데이터베이스에 저장하는 단계;
    상기 분석된 소리, 모션을 이용하여 상기 저장된 소리, 모션으로부터 사용자의 손동작을 인식하는 단계; 및
    상기 인식된 손동작에 대응하는 제어 신호를 생성하는 단계를 포함하는 손동작 인식 방법.
  7. 제6항에 있어서,
    상기 센싱된 사용자의 모션을 분석하는 단계는,
    상기 모션 센서로부터 센싱된 사용자의 진동을 추가로 분석하고,
    상기 소리, 모션을 저장하는 단계는,
    사용자의 다양한 손동작에 대응하는 각각의 진동 값을 추가로 저장하고,
    상기 손동작을 인식하는 단계는,
    상기 분석된 진동을 추가로 이용하여 상기 데이터베이스로부터 사용자의 손동작을 인식하는 손동작 인식 방법.
  8. 제6항에 있어서,
    상기 센싱된 소리를 분석하는 단계는,
    상기 센싱된 소리의 주파수 스펙트럼을 분석하여 박수, 핑거 스냅 및 물체 타격시에 발생하는 소리를 구별하는 손동작 인식 방법.
  9. 제7항에 있어서,
    상기 센싱된 소리를 분석하는 단계는,
    상기 모션 인식부에서 임계값 이상의 진동이 인식되는 경우에만, 상기 센싱된 소리를 분석하는 손동작 인식 방법.
  10. 제6항에 있어서,
    상기 센싱된 소리를 분석하는 단계는,
    소리를 전기 신호로 변환하는 단계;
    상기 전기 신호를 일정한 레벨로 증폭하는 단계;
    증폭기를 통해 일정한 레벨로 증폭된 신호로부터 상기 소리의 주파수 대역에 해당하는 신호 성분을 필터링하여 출력하는 단계;
    대역통과 필터로 필터링된 신호 성분을 디지털 신호로 변환하는 단계; 및
    상기 디지털 신호의 주파수 스펙트럼을 분석하여 손동작에 따른 소리를 판별하는 단계를 포함하는 손동작 인식 방법.
PCT/KR2015/009360 2014-09-04 2015-09-04 손동작 인식 장치 및 그 방법 WO2016036197A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140117698A KR101553484B1 (ko) 2014-09-04 2014-09-04 손동작 인식 장치 및 그 방법
KR10-2014-0117698 2014-09-04

Publications (1)

Publication Number Publication Date
WO2016036197A1 true WO2016036197A1 (ko) 2016-03-10

Family

ID=54248405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009360 WO2016036197A1 (ko) 2014-09-04 2015-09-04 손동작 인식 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101553484B1 (ko)
WO (1) WO2016036197A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107137092A (zh) * 2017-07-17 2017-09-08 中国科学院心理研究所 一种操作动作手势诱发检测系统及其方法
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN113820595A (zh) * 2021-06-28 2021-12-21 乐歌人体工学科技股份有限公司 一种敲击次数检测系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437106B1 (ko) 2015-12-01 2022-08-26 삼성전자주식회사 마찰음을 이용하는 장치 및 방법
KR20210087760A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 전자장치 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181773A1 (en) * 2001-03-28 2002-12-05 Nobuo Higaki Gesture recognition system
KR20050089440A (ko) * 2004-03-05 2005-09-08 이충호 소리를 분석하여 빛으로 변환하는 장치 및 그 방법
KR20080050169A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
WO2013096023A1 (en) * 2011-12-20 2013-06-27 Microsoft Corporation User control gesture detection
KR20130099708A (ko) * 2012-02-29 2013-09-06 고려대학교 산학협력단 입력 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181773A1 (en) * 2001-03-28 2002-12-05 Nobuo Higaki Gesture recognition system
KR20050089440A (ko) * 2004-03-05 2005-09-08 이충호 소리를 분석하여 빛으로 변환하는 장치 및 그 방법
KR20080050169A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
WO2013096023A1 (en) * 2011-12-20 2013-06-27 Microsoft Corporation User control gesture detection
KR20130099708A (ko) * 2012-02-29 2013-09-06 고려대학교 산학협력단 입력 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107137092A (zh) * 2017-07-17 2017-09-08 中国科学院心理研究所 一种操作动作手势诱发检测系统及其方法
CN107137092B (zh) * 2017-07-17 2024-03-08 中国科学院心理研究所 一种操作动作手势诱发检测系统及其方法
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN113820595A (zh) * 2021-06-28 2021-12-21 乐歌人体工学科技股份有限公司 一种敲击次数检测系统及方法

Also Published As

Publication number Publication date
KR101553484B1 (ko) 2015-09-16

Similar Documents

Publication Publication Date Title
WO2016036197A1 (ko) 손동작 인식 장치 및 그 방법
WO2018217060A1 (en) Method and wearable device for performing actions using body sensor array
WO2010126321A2 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
WO2014135023A1 (zh) 一种智能终端的人机交互方法及系统
WO2013009062A2 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US10564712B2 (en) Information processing device, information processing method, and program
EP2849035A1 (en) Information processing device, information processing method, and program
WO2016175579A1 (en) User interface control using impact gestures
US20120268359A1 (en) Control of electronic device using nerve analysis
US20190049558A1 (en) Hand Gesture Recognition System and Method
WO2017184274A1 (en) System and method for determining and modeling user expression within a head mounted display
TW201939260A (zh) 一種利用手勢模擬滑鼠操作的方法、裝置及終端
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
WO2019156412A1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
JP2012027515A (ja) 入力方法及び入力装置
CN110908513A (zh) 一种数据处理方法及电子设备
US20180329612A1 (en) Interfacing with a computing device
WO2014185753A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2017104970A1 (ko) 사용자의 자세나 자세의 변화에 기초하여 배뇨를 모니터링하기 위한 장치 내지 시스템, 배뇨를 모니터링하는 방법, 그리고 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체
CN106293064A (zh) 一种信息处理方法及设备
WO2014142586A1 (ko) 모션인식을 이용한 스마트 디바이스 제어 장치 및 방법
CN108491074B (zh) 电子装置、运动辅助方法及相关产品
CN109284783B (zh) 基于机器学习的大礼拜计数方法、装置、用户设备及介质
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
US10712831B2 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838160

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838160

Country of ref document: EP

Kind code of ref document: A1