WO2018151503A2 - 제스처 인식 방법 및 장치 - Google Patents

제스처 인식 방법 및 장치 Download PDF

Info

Publication number
WO2018151503A2
WO2018151503A2 PCT/KR2018/001886 KR2018001886W WO2018151503A2 WO 2018151503 A2 WO2018151503 A2 WO 2018151503A2 KR 2018001886 W KR2018001886 W KR 2018001886W WO 2018151503 A2 WO2018151503 A2 WO 2018151503A2
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
signal
database
recognizable
eigenvectors
Prior art date
Application number
PCT/KR2018/001886
Other languages
English (en)
French (fr)
Other versions
WO2018151503A3 (ko
Inventor
조성호
박준범
Original Assignee
(주)더블유알티랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)더블유알티랩 filed Critical (주)더블유알티랩
Priority to US16/486,191 priority Critical patent/US11080519B2/en
Publication of WO2018151503A2 publication Critical patent/WO2018151503A2/ko
Publication of WO2018151503A3 publication Critical patent/WO2018151503A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • the present invention relates to a gesture recognition method and apparatus.
  • Gesture recognition mainly recognizes gestures through images taken using a camera. However, when using the camera, if the camera's field of view is disturbed by strong or no light or smoke or fog, gesture recognition will not be performed properly. Will be created.
  • the present invention provides a gesture recognition method and apparatus using a single radar.
  • a gesture recognition method is provided that is an inner product of the eigenvector and the recognizable gesture-specific signal.
  • the eigenvectors stored in the database are obtained by obtaining a covariance matrix of signal matrices of signals of all recognizable gestures, and then obtaining eigenvalues and eigenvectors of the covariance matrix.
  • the eigenvectors stored in the database are characterized by extracting only a certain number of eigenvectors obtained from the covariance matrix in order of eigenvalues.
  • the feature values stored in the database are input to a neural network, and the neural network learns a method of determining a gesture by machine learning.
  • the calculated inner value is input to the neural network. And determine a gesture.
  • a) storing a unique vector and a feature value per recognizable gesture in a database; (b) receiving a signal for determining a gesture from the radar device; (c) calculating a dot product of the signal to determine the gesture and the eigenvector; And (d) comparing the calculated inner product with a feature value of the database to determine a gesture, wherein the eigenvectors are extracted from signals of all recognizable gestures.
  • a gesture recognition method is provided that is an inner product of the eigenvector and the recognizable gesture-specific signal.
  • the eigenvectors stored in the database are obtained by obtaining a covariance matrix of signal matrices of signals of all recognizable gestures, and then obtaining eigenvalues and eigenvectors of the covariance matrix.
  • the eigenvectors stored in the database are characterized by extracting only a certain number of eigenvectors obtained from the covariance matrix in order of eigenvalues.
  • the feature values stored in the database are input to a neural network, and the neural network learns a method of determining a gesture by machine learning.
  • the calculated inner value is input to the neural network. And determine a gesture.
  • a database including a database in which eigenvectors and recognizable gesture-specific feature values are registered with respect to a signal input from a radar and a signal from which background information is removed; An input unit to receive a signal for determining a gesture from the radar device; A filter unit to remove background information from a signal to determine the gesture; A calculator configured to calculate a dot product of the eigenvector and the signal from which the signal to determine the gesture and the background information are removed; And a gesture determination unit that determines a gesture by comparing the calculated inner product value with a feature value of the database, wherein the eigenvector is extracted from signals of all recognizable gestures, and the recognizable feature value of each gesture is unique.
  • a gesture recognition apparatus is provided, which is a product of a vector and a signal for each gesture that can be recognized.
  • the eigenvectors stored in the database are obtained by obtaining a covariance matrix of signal matrices of signals of all recognizable gestures, and then obtaining eigenvalues and eigenvectors of the covariance matrix.
  • the eigenvectors stored in the database are characterized by extracting only a certain number of eigenvectors obtained from the covariance matrix in order of eigenvalues.
  • the gesture determination unit is a neural network, the feature value is input to the gesture determination unit, the gesture determination unit learns how to determine a gesture by machine learning, and the gesture determination unit receives the calculated inner product value. It is characterized by determining the gesture.
  • the present invention reduces costs by using a single radar, and has the advantage of recognizing a gesture even in an environment in which the camera cannot operate.
  • FIG. 1 is a flowchart illustrating a gesture recognition method according to a passage of time according to an embodiment of the present invention.
  • FIG. 2 illustrates a signal obtained by removing background information from an input signal and an input signal in a gesture recognition method according to an exemplary embodiment of the present invention.
  • Figure 3 illustrates the results of the product of the eigenvector and each signal matrix.
  • FIG. 4 is a structural diagram of a gesture recognition apparatus according to an exemplary embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • embodiments of the present invention will be described in detail with reference to the accompanying drawings.
  • the present invention can recognize a gesture using a single radar device, and learn neural networks by inputting signals of a gesture to be recognized in advance. This technique is called machine learning, and the neural network recognizes the user's gesture based on the learning.
  • the radar device used in the present invention may be an Impulse-Radio Ultra Wide Band (IR-UWB) radar (hereinafter referred to as "UWB radar”) device.
  • IR-UWB Impulse-Radio Ultra Wide Band
  • 'UWB Ultra Wide Band
  • 'UWB Ultra Wide Band
  • a frequency band of 500 MHz or more, or a broadband frequency of 25% or more which is defined as a specific bandwidth, which is a bandwidth of a signal compared to a center frequency. It has various advantages such as strong immunity to noise and coexistence with other devices that share frequency.
  • UWB radar combines this UWB technology with radar and transmits very short duration impulse signals with broadband characteristics in the frequency domain to receive signals reflected from objects and people and recognize surrounding conditions. .
  • FIG. 1 is a flowchart illustrating a gesture recognition method according to a passage of time according to an embodiment of the present invention.
  • a gesture recognition method includes storing eigenvectors and feature values (S110); Receiving a signal for determining a gesture (S120); Removing background information of the signal (S130); Computing the inner product (S140) and determining the gesture (S150).
  • information to be learned in a neural network may be input, calculated, and stored in a database.
  • radar signals of gestures to be learned to be recognizable may be input from the radar device.
  • Radar signals measured by repeating each gesture by a predetermined frame time may be input from the radar device.
  • the input signal and the signal from which the background information is removed from the input signal may be considered together.
  • FIG. 2 illustrates a signal obtained by removing background information from an input signal and an input signal in a gesture recognition method according to an exemplary embodiment of the present invention.
  • the input signal represents information according to a distance away from the radar device. Therefore, by subtracting a signal without a gesture from the input signal, a signal from which background information has been removed can be obtained.
  • the gesture recognition method may consider only signals within a specific distance range from the radar apparatus, as shown by a dotted box in FIG. 1. Such an area may vary depending on an area where a gesture to be recognized is performed.
  • the radar signals of the gestures to be learned to be recognizable in order to calculate the eigenvectors and the feature values can be represented by one signal matrix.
  • the signal matrix may arrange each signal in one row, and arrange the signal values of each signal in each row. For example, if there are five signals and ten signal values in each signal, the signals can be represented by a signal matrix in a (5 ⁇ 10) dimension.
  • the signal values of each frame of the signal corresponding to each gesture are arranged in one row, and the signal values according to the distance from the radar are arranged in each column so that all radar signals of the gestures to be learned are recognized in one column. It can be represented as. For example, if the number of gestures to be recognized is six, and the number of frames of the input signal for each gesture is 2200, the signal matrix has 13200 rows, and if the signal value according to the area to recognize the gesture is 81, The matrix can have 81 columns. Therefore, according to the exemplary condition, the radar signal of the motions to be learned to be recognizable may be represented by a signal matrix Y having a (13200 ⁇ 81) dimension.
  • Equation 1 C is the covariance matrix of the signal matrix Y, and n is the number of columns of the signal matrix Y. Meanwhile, Can be obtained using the following equation.
  • Equation 2 m is the number of rows of the signal matrix Y, Y ' a is a matrix obtained by subtracting the average value of the a column of the signal matrix Y to each value of the matrix consisting of the a column of the signal matrix Y, Y' ia is the signal matrix It is the value which subtracted the average value of the a column of the signal matrix Y from the value of the i row a column element of Y.
  • the covariance matrix C of the (81x81) dimension can be obtained.
  • Equation 3 I is a unit matrix, ⁇ is an eigenvalue of the matrix C, and x is an eigenvector according to the eigenvalue ⁇ of the matrix C.
  • Equation 3 the eigenvalue ⁇ for which Equation 3 holds can be obtained.
  • Equation 4 Is a matrix Is a polynomial.
  • Equation 3 can be used to calculate the eigenvector x for each ⁇ . If the signal matrix Y is composed of n columns, there may be up to n eigenvalues and n eigenvectors according to the eigenvalues.
  • the gesture recognition method may use only an eigenvector that is easier to distinguish each gesture in a signal matrix including the respective gestures among the eigenvectors obtained in Equation 3.
  • This eigenvector may be determined according to the magnitude of the eigenvalue corresponding to each eigenvector.
  • the eigenvectors that can distinguish each signal better have a greater magnitude of the eigenvalues, and the eigenvectors with smaller magnitudes of the eigenvalues may have difficulty in distinguishing each motion of the gesture because of small differences in the values of the signals. That is, by using eigenvectors having a large eigenvalue, it may be easy to distinguish input gestures.
  • the gesture recognition method may extract and use only a certain number of obtained eigenvectors in order of eigenvalues.
  • the gesture recognition method according to an exemplary embodiment of the present invention may extract and store only eight eigenvectors in order of eigenvalues in a database.
  • Figure 3 illustrates the results of the product of the eigenvector and each signal matrix.
  • FIG. 3 (a) shows the values of the eigenvectors with large eigenvalues and the respective gestures
  • FIG. 3 (b) shows the values of the eigenvectors with relatively small eigenvalues and each gesture.
  • Figure 3 since the eigenvectors with small eigenvalues are relatively difficult to determine each gesture, it is advantageous to use eigenvectors with large eigenvalues.
  • the obtained inner product can be stored as a feature value of each gesture in the database.
  • the eigenvector of recognizable gestures and the feature value of each gesture are stored in the database.
  • the stored feature values of the gestures are input to a neural network, and the neural network can learn how to determine each gesture through a machine learning process.
  • the process of obtaining and learning the eigenvector and the feature value may be performed on both the input radar signal and the signal from which the background information is removed.
  • Receiving a signal to determine the gesture is a step of receiving a signal to determine the gesture through the radar device.
  • Signal information according to distance may be input for each frame through a single radar device.
  • Removing the background information of the signal is a step of removing the background information of the input signal.
  • a signal without background information may be obtained by subtracting a signal having no gesture from the input signal.
  • Computing the dot product is a step of calculating the dot product of the signal to determine the gesture and the eigenvector stored in the database.
  • the signal to determine the gesture may be represented by a signal matrix, and in step S110 to have the same column as the signal matrix of the learned signal, that is, using only the signal in the same distance region as the learned signal to the signal matrix. Can be represented.
  • the number of rows in the signal matrix that is, the number of frames of the signal is not limited.
  • the inner product value of each eigenvector calculated in step S140 is input to the neural network, and the neural network determines whether the gesture of the signal input in step S120 corresponds to the gesture learned in step S110. Can be judged.
  • the gesture that has not been learned may be regarded as noise.
  • the gesture recognition method according to an exemplary embodiment of the present invention described above may be performed by the gesture recognition apparatus according to an exemplary embodiment of the present invention.
  • FIG. 4 is a structural diagram of a gesture recognition apparatus according to an exemplary embodiment of the present invention.
  • the gesture recognition apparatus may include a database 410, an input unit 420, a filter unit 430, an operation unit 440, and a gesture determination unit 450. have.
  • the database 410 stores the eigenvectors calculated in step S110 and feature values for each gesture.
  • the input unit 420 may receive input from the radar apparatus 500 to radar signals of gestures to be recognized in operation S110 and to determine a gesture in operation S120.
  • the filter unit 430 may perform a task of removing background information on the signals received from the input unit 420. Referring to FIG. 2, the filter unit 430 may obtain a signal from which background information is removed by subtracting a signal having no gesture from an input signal.
  • the operation unit 440 may perform the eigenvector and feature value calculation in step S110 and the dot product calculation in step S140. Each calculation process has already been described above and will be omitted.
  • the gesture determination unit 450 may be a neural network that can be learned by machine learning.
  • the gesture determination unit 450 may be learned by machine learning to determine the gesture by receiving the feature values of the database 410.
  • the gesture determination unit 450 may determine which of the learned gestures the gesture of the signal to determine the gesture corresponds to. If the gesture of the signal to determine the gesture does not correspond to any of the learned gestures, the gesture is determined.
  • the signal to be judged can be regarded as noise.
  • gestures can be recognized even in an environment in which a camera cannot operate, and a single radar can be used to reduce costs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 방법 및 장치가 개시된다. 개시된 방법은 (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계; (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및 (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 한다..

Description

제스처 인식 방법 및 장치
본 발명은 제스처 인식 방법 및 장치에 관한 것이다.
제스처 인식은 주로 카메라를 이용하여 촬영되는 이미지를 통해 제스처를 인식하였다. 그러나 카메라를 사용하는 방법은, 빛이 강하거나 없을 경우, 또는 연기나 안개에 의해 카메라의 시야가 방해받을 경우 제스처 인식을 제대로 할 수 없게 되며, 카메라에 의해 사용자의 사생활이 침해받을 수 있는 위험이 생기게 된다.
또한, 제스처 인식에 레이더를 사용하는 경우, 3차원 공간의 제스처 인식을 하기 위해서는 다수의 레이더가 필요하여 비용이 너무 비싼 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 단일 레이더를 이용하는 제스처 인식 방법 및 장치를 제공한다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따르면, (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계; (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및 (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법이 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 (e)단계는, 상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, (a)고유벡터 및 인식 가능한 제스처별 특징값을 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호와 상기 고유벡터의 내적을 연산하는 단계; 및 (d)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법이 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 (e)단계는, 상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 한다.
또한, 본 발명의 또다른 실시예에 따르면, 고유벡터 및 인식 가능한 제스처별 특징값이 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 등록되어 있는 데이터베이스; 레이더 장치로부터 제스처를 판단할 신호를 입력 받는 입력부; 상기 제스처를 판단할 신호에서 배경 정보를 제거하는 필터부; 상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호와 상기 고유벡터의 내적을 각각 연산하는 연산부; 및 상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 제스처 판단부를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 장치가 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 제스처 판단부는 뉴럴 네트워크이며, 상기 특징값은 상기 제스처 판단부에 입력되고, 상기 제스처 판단부는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 제스처 판단부는 상기 연산된 내적값을 입력받아 제스처를 판단하는 것을 특징으로 한다.
본 발명은 단일 레이더를 사용하여 비용이 절감되며, 카메라가 작동할 수 없는 환경에서도 제스처를 인식할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법을 시간의 흐름에 따라 나타낸 순서도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법에서 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 예시한 것이다.
도 3은 고유벡터와 각 신호 행렬을 내적한 결과를 예시한 것이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치의 구조도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 단일 레이더 장치를 이용하여 제스처를 인식하며, 인식할 제스처의 신호들을 미리 입력하여 뉴럴 네트워크(Neural Network)를 학습시킬 수 있다. 이러한 기법을 머신러닝(Machine Learning)이라고 하며, 뉴럴 네트워크는 학습된 것을 바탕으로 사용자의 제스처를 인식하게 된다.
본 발명에 사용되는 레이더 장치는 IR-UWB(Impulse-Radio Ultra Wide Band) 레이더(이하 ‘UWB 레이더’라 칭함) 장치일 수 있다.
여기서 ‘UWB(Ultra Wide Band)’란 500MHz 이상의 주파수 대역을 사용하거나 중심 주파수 대비 신호의 대역폭인 비대역폭으로 정의되는 수치가 25% 이상인 광대역 주파수를 사용하는 라디오 기술로서 높은 거리 분해능, 투과성, 협대역 잡음에 대한 강한 면역성 및 주파수를 공유하는 타 기기와의 공존성과 같은 다양한 장점을 가지고 있다.
UWB 레이더는 이러한 UWB 기술을 레이더에 접목한 것으로서, 주파수 영역에서의 광대역 특성을 갖는 매우 짧은 지속 시간의 임펄스 신호를 송신하여 사물 및 사람으로부터 반사되어 돌아오는 신호를 수신해 주변 상황을 인지할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법을 시간의 흐름에 따라 나타낸 순서도이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 고유벡터 및 특징값을 저장하는 단계(S110); 제스처를 판단할 신호를 입력받는 단계(S120); 신호의 배경 정보를 제거하는 단계(S130); 내적값을 연산하는 단계(S140) 및 제스처를 판단하는 단계(S150)를 포함한다.
고유벡터 및 특징값을 저장하는 단계(S110)에서는 뉴럴 네트워크(Neural Network)에 학습될 정보들이 입력되고 연산되어 데이터베이스에 저장될 수 있다.
먼저, 인식 가능하도록 학습될 제스처들의 레이더 신호가 레이더 장치로부터 입력될 수 있다. 각 제스처를 정해진 프레임 시간만큼 반복하여 측정한 레이더 신호들이 레이더 장치로부터 입력될 수 있다.
또한, 본 발명에서는 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 함께 고려할 수 있다.
도 2는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법에서 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 예시한 것이다.
도 2를 참조하면, 입력된 신호는 레이더 장치와 떨어진 거리에 따른 정보를 나타낸다. 그러므로 입력된 신호에서 제스처가 없는 상태의 신호를 차감하면 배경 정보가 제거된 신호를 얻을 수 있게 된다.
또한, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 도 1에 점선 박스로 도시된 것과 같이 레이더 장치로부터 특정한 거리 영역 내의 신호만 고려할 수 있다. 이러한 영역은 인식하고자 하는 제스처가 수행되어지는 영역에 따라 다를 수 있다.
이제, 고유벡터 및 특징값을 산출하기 위해 인식 가능하도록 학습될 제스처들의 레이더 신호를 하나의 신호 행렬로 나타낼 수 있다. 신호 행렬은, 각 신호들을 하나의 행으로 정렬하고, 각 행에는 각 신호의 신호값을 배열하여 나타낼 수 있다. 일례로, 5개의 신호와 각 신호에 10개의 신호값이 존재한다면, 그 신호들은 (5×10) 차원의 신호 행렬로 나타낼 수 있게 된다.
그러므로, 각 제스처에 해당하는 신호의 각 프레임의 신호값들을 하나의 행으로 정렬하며, 레이더와의 거리에 따른 신호값을 각 열에 배열하여 인식 가능하도록 학습될 제스처들의 모든 레이더 신호를 하나의 신호 행렬로 나타낼 수 있다. 일례로, 인식하고자 하는 제스처의 수가 6가지이고, 각 제스처당 입력된 신호의 프레임 수가 2200이라면, 신호 행렬은 13200개의 행을 가지며, 제스처를 인식할 영역에 따른 신호값을 81개 사용한다면, 신호 행렬은 81개의 열을 가질 수 있다. 그러므로, 예시한 조건에 따르면 인식 가능하도록 학습될 모션들의 레이더 신호는 (13200×81) 차원의 신호 행렬 Y로 나타낼 수 있다.
이제, 데이터베이스에 저장할 고유벡터를 생성하기 위해, 신호 행렬 Y의 공분산 행렬을 구할 수 있다. (m×n) 차원 신호 행렬의 공분산 행렬을 구하는 방법은 하기 수학식과 같다.
Figure PCTKR2018001886-appb-M000001
수학식 1에서, C는 신호 행렬 Y의 공분산 행렬이며, n은 신호 행렬 Y의 열 수이다. 한편,
Figure PCTKR2018001886-appb-I000001
는 하기 수학식을 이용하여 구할 수 있다.
Figure PCTKR2018001886-appb-M000002
수학식 2에서, m은 신호 행렬 Y의 행 수이고, Y'a는 신호 행렬 Y의 a열로 이루어진 행렬의 각 값들에 신호 행렬 Y의 a열의 평균값을 차감한 행렬이며, Y'ia는 신호 행렬 Y의 i행 a열 원소의 값에 신호 행렬 Y의 a열의 평균값을 차감한 값이다.
수학식 1 및 수학식 2에 의해 (13200×81) 차원의 신호 행렬 Y의 공분산 행렬을 계산하면, (81×81) 차원의 공분산 행렬 C를 얻을 수 있다.
이제 공분산 행렬 C의 고유값 및 고유벡터를 하기 수학식을 이용하여 계산할 수 있다.
Figure PCTKR2018001886-appb-M000003
수학식 3에서, I는 단위행렬이고, λ는 행렬 C의 고유값이며, x는 행렬 C의 고유값λ에 따른 고유벡터이다.
하기 수학식을 이용하여 수학식 3이 성립하기 위한 고유값 λ를 구할 수 있다.
Figure PCTKR2018001886-appb-M000004
수학식 4에서,
Figure PCTKR2018001886-appb-I000002
는 행렬
Figure PCTKR2018001886-appb-I000003
의 특성 다항식이다.
수학식 4를 만족하는 고유값 λ를 구한 후, 수학식 3을 이용하면 각 λ에 따른 고유벡터 x를 계산해낼 수 있다. 신호 행렬 Y가 n개의 열로 구성된 경우, 고유값과 고유값에 따른 고유벡터는 n개 까지 존재할 수 있다.
본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 수학식 3에서 구해진 고유벡터 중 각 제스처들을 포함하는 신호 행렬에서 각 제스처를 구별하기 더 용이한 고유벡터만을 사용할 수 있다. 이러한 고유벡터는 각 고유벡터에 해당하는 고유값의 크기에 따라 결정될 수 있다. 각 신호들을 더욱 잘 구별해 낼 수 있는 고유벡터는 고유값의 크기가 크며, 고유값의 크기가 작은 고유벡터는 각 신호별 값의 차이가 적어 제스처의 각 동작들을 구별해 내기가 어려울 수 있다. 즉, 고유값이 큰 고유벡터들을 사용하면, 입력된 제스처들을 구별해내기가 용이할 수 있다.
따라서, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하여 사용할 수 있다. 일례로, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 고유값이 큰 순서대로 8개의 고유벡터만을 추출하여 데이터베이스에 저장할 수 있다.
도 3은 고유벡터와 각 신호 행렬을 내적한 결과를 예시한 것이다.
도 3의 (a)는 상대적으로 고유값이 큰 고유벡터와 각 제스처를 내적한 값이며, 도 3의 (b)는 상대적으로 고유값이 작은 고유벡터와 각 제스처를 내적한 값이다. 도 3에서 볼 수 있듯이, 고유값이 작은 고유벡터는 상대적으로 각 제스처를 판단해 내기 어려우므로, 고유값이 큰 고유벡터를 이용하는 것이 유리하다.
이제, 입력된 신호들의 각 제스처별 신호 행렬로 변환하여 저장된 고유벡터들과 내적 연산을 한 후, 구해진 내적값을 각 제스처의 특징값으로 데이터베이스에 저장할 수 있다.
전술한 과정들에 의해 데이터베이스에는 인식 가능한 제스처들의 고유벡터와 각 제스처들의 특징값이 저장되게 된다. 저장된 각 제스처들의 특징값은 뉴럴 네트워크(Neural Network)에 입력되어 머신러닝(Machine Learning) 과정을 통해 뉴럴 네트워크(Neural Network)는 각 제스처들을 판단해 내는 방법을 학습할 수 있다.
이러한 고유벡터 및 특징값을 구하고 학습하는 과정은 입력된 레이더 신호 및 배경 정보가 제거된 신호 모두에 대해 수행될 수 있다.
제스처를 판단할 신호를 입력받는 단계(S120)는 레이더 장치를 통해 제스처를 판단할 신호를 입력받는 단계이다. 단일 레이더 장치를 통해 거리에 따른 신호정보가 프레임별로 입력될 수 있다.
신호의 배경 정보를 제거하는 단계(S130)는 입력된 신호의 배경 정보를 제거하는 단계이다. S110단계에서 상술한 바와 같이, 입력된 신호에서 제스처가 없는 상태의 신호를 차감하여 배경 정보가 제거된 신호를 얻을 수 있다.
내적값을 연산하는 단계(S140)는 제스처를 판단할 신호와 데이터베이스에 저장된 고유벡터의 내적값을 연산하는 단계이다. S110단계에서 상술하였듯이, 제스처를 판단할 신호를 신호 행렬로 나타낼 수 있으며, S110단계에서 학습된 신호의 신호 행렬과 같은 열을 갖도록, 즉 학습된 신호와 동일한 거리 영역의 신호만을 사용하여 신호 행렬로 나타낼 수 있다. 한편, 신호 행렬의 행 수, 즉 신호의 프레임의 수는 제한되지 않는다.
이제 제스처를 판단할 신호와 S110단계에서 저장된 고유벡터의 내적값을 연산할 수 있다.
제스처를 판단하는 단계(S150)는 S140단계에서 연산된 각 고유벡터별 내적값이 뉴럴 네트워크에 입력되어 S120단계에서 입력된 신호의 제스처가 S110단계에서 학습한 제스처 중 어떠한 제스처에 해당되는지를 뉴럴 네트워크가 판단해 낼 수 있다.
또한, 뉴럴 네트워크에서 학습되지 않은 제스처가 입력될 경우, 그 결과값들에 각각 절대값을 취한 후 합하면, 일정한 값 이상이 나오게 되며, 이를 기준으로 학습되지 않은 제스처는 노이즈로 간주할 수 있다.
전술한 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치에 의해 수행되어질 수 있다.
도 4는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치의 구조도이다.
도 4를 참조하면, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치는 데이터베이스(410), 입력부(420), 필터부(430), 연산부(440), 제스처 판단부(450)를 포함할 수 있다.
데이터베이스(410)에는 S110단계에서 연산된 고유벡터 및 각 제스처별 특징값이 저장된다.
입력부(420)는 레이더 장치(500)로부터 S110단계에서 인식 가능하도록 학습될 제스처들의 레이더 신호 및 S120단계에서 제스처를 판단할 신호를 입력받을 수 있다.
필터부(430)는 입력부(420)에서 입력받은 신호들에 대하여 배경 정보를 제거하는 작업을 수행할 수 있다. 도 2를 참조하여, 필터부(430)는 입력된 신호에서 제스처가 없는 상태의 신호를 차감하여 배경 정보가 제거된 신호를 얻을 수 있다.
연산부(440)는 S110단계의 고유벡터 및 특징값 연산 및 S140단계의 내적값 연산을 수행할 수 있다. 각 연산 과정은 이미 상술하였으므로 생략한다.
제스처 판단부(450)는 머신 러닝으로 학습 가능한 뉴럴 네트워크일 수 있다. 제스처 판단부(450)는 데이터베이스(410)의 특징값들을 입력받아 제스처를 판단해 낼 수 있도록 머신 러닝에 의해 학습될 수 있다. 제스처 판단부(450)는 제스처를 판단할 신호의 제스처가 학습된 제스처 중 어떠한 제스처에 해당하는지를 판단해 내게 되며, 제스처를 판단할 신호의 제스처가 학습된 제스처 중 어떠한 제스처에도 해당되지 않으면, 제스처를 판단할 신호를 노이즈로 간주할 수 있다.
상술한 바와 같이, 본 발명은 레이더 장치를 사용하여 제스처를 인식하므로 카메라가 작동할 수 없는 환경에서도 제스처를 인식할 수 있으며, 단일 레이더를 사용하여 비용이 절감되는 장점이 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 데이터베이스에 저장하는 단계;
    (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계;
    (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계;
    (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및
    (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법.
  2. 제1항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 방법.
  3. 제2항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 방법.
  4. 제3항에 있어서,
    상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 (e)단계는,
    상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 하는 제스처 인식 방법.
  5. (a)고유벡터 및 인식 가능한 제스처별 특징값을 데이터베이스에 저장하는 단계;
    (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계;
    (c)상기 제스처를 판단할 신호와 상기 고유벡터의 내적을 연산하는 단계; 및
    (d)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법.
  6. 제5항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 방법.
  7. 제6항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 방법.
  8. 제7항에 있어서,
    상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 (e)단계는,
    상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 하는 제스처 인식 방법.
  9. 고유벡터 및 인식 가능한 제스처별 특징값이 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 등록되어 있는 데이터베이스;
    레이더 장치로부터 제스처를 판단할 신호를 입력 받는 입력부;
    상기 제스처를 판단할 신호에서 배경 정보를 제거하는 필터부;
    상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호와 상기 고유벡터의 내적을 각각 연산하는 연산부; 및
    상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 제스처 판단부를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 장치.
  10. 제9항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 장치.
  11. 제10항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 장치.
  12. 제11항에 있어서,
    상기 제스처 판단부는 뉴럴 네트워크이며,
    상기 특징값은 상기 제스처 판단부에 입력되고,
    상기 제스처 판단부는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 제스처 판단부는 상기 연산된 내적값을 입력받아 제스처를 판단하는 것을 특징으로 하는 제스처 인식 장치.
PCT/KR2018/001886 2017-02-16 2018-02-13 제스처 인식 방법 및 장치 WO2018151503A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/486,191 US11080519B2 (en) 2017-02-16 2018-02-13 Method and apparatus for gesture recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170021074A KR101883228B1 (ko) 2017-02-16 2017-02-16 제스처 인식 방법 및 장치
KR10-2017-0021074 2017-02-16

Publications (2)

Publication Number Publication Date
WO2018151503A2 true WO2018151503A2 (ko) 2018-08-23
WO2018151503A3 WO2018151503A3 (ko) 2018-10-11

Family

ID=63048357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001886 WO2018151503A2 (ko) 2017-02-16 2018-02-13 제스처 인식 방법 및 장치

Country Status (3)

Country Link
US (1) US11080519B2 (ko)
KR (1) KR101883228B1 (ko)
WO (1) WO2018151503A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN111507361A (zh) * 2019-01-30 2020-08-07 富士通株式会社 基于微波雷达的动作识别装置、方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192051B1 (ko) * 2019-04-16 2020-12-16 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법
KR102254331B1 (ko) * 2019-07-04 2021-05-20 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
KR102495377B1 (ko) * 2020-11-03 2023-02-06 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
CN112835046B (zh) * 2021-01-07 2024-03-29 航天新气象科技有限公司 基于bp环境感知的风廓线雷达自适应探测方法及系统
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8223589B2 (en) * 2010-10-28 2012-07-17 Hon Hai Precision Industry Co., Ltd. Gesture recognition apparatus and method
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
CN102968642B (zh) * 2012-11-07 2018-06-08 百度在线网络技术（北京）有限公司 一种可训练的基于手势轨迹特征值的手势识别方法和装置
US20140266860A1 (en) * 2013-03-14 2014-09-18 Gaddi BLUMROSEN Method and system for activity detection and classification
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10235994B2 (en) * 2016-03-04 2019-03-19 Microsoft Technology Licensing, Llc Modular deep learning model
US20180088671A1 (en) * 2016-09-27 2018-03-29 National Kaohsiung University Of Applied Sciences 3D Hand Gesture Image Recognition Method and System Thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507361A (zh) * 2019-01-30 2020-08-07 富士通株式会社 基于微波雷达的动作识别装置、方法及系统
CN111507361B (zh) * 2019-01-30 2023-11-21 富士通株式会社 基于微波雷达的动作识别装置、方法及系统
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN110443167B (zh) * 2019-07-23 2022-05-17 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置

Also Published As

Publication number Publication date
US11080519B2 (en) 2021-08-03
KR101883228B1 (ko) 2018-07-30
WO2018151503A3 (ko) 2018-10-11
US20200242342A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2018151503A2 (ko) 제스처 인식 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2021002681A1 (ko) 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2021107650A1 (en) Jointly learning visual motion and confidence from local patches in event cameras
WO2021002733A1 (ko) 공중 제스쳐 인식 장치 및 방법
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2018111011A1 (ko) 이동 객체 탐지 시스템 및 방법
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2021145502A1 (ko) 얼굴 및 스트레스 인식 장치 및 방법
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2013187587A1 (ko) 데이터 샘플링 방법 및 장치
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
WO2017003240A1 (ko) 영상 변환 장치 및 그 영상 변환 방법
WO2020204610A1 (ko) 딥러닝 기반 컬러링 방법, 시스템 및 프로그램
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754831

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18754831

Country of ref document: EP

Kind code of ref document: A2