KR101883228B1 - 제스처 인식 방법 및 장치 - Google Patents

제스처 인식 방법 및 장치 Download PDF

Info

Publication number
KR101883228B1
KR101883228B1 KR1020170021074A KR20170021074A KR101883228B1 KR 101883228 B1 KR101883228 B1 KR 101883228B1 KR 1020170021074 A KR1020170021074 A KR 1020170021074A KR 20170021074 A KR20170021074 A KR 20170021074A KR 101883228 B1 KR101883228 B1 KR 101883228B1
Authority
KR
South Korea
Prior art keywords
gesture
signal
eigenvectors
recognizable
database
Prior art date
Application number
KR1020170021074A
Other languages
English (en)
Inventor
조성호
박준범
Original Assignee
(주)더블유알티랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)더블유알티랩 filed Critical (주)더블유알티랩
Priority to KR1020170021074A priority Critical patent/KR101883228B1/ko
Priority to US16/486,191 priority patent/US11080519B2/en
Priority to PCT/KR2018/001886 priority patent/WO2018151503A2/ko
Application granted granted Critical
Publication of KR101883228B1 publication Critical patent/KR101883228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 방법 및 장치가 개시된다. 개시된 방법은 (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계; (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및 (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 한다. 개시된 방법에 따르면, 단일 레이더 장치를 사용하여 비용이 절감되며, 카메라가 작동할 수 없는 환경에서도 제스처를 인식할 수 있는 장점이 있다.

Description

제스처 인식 방법 및 장치{Method and Apparatus for Gesture Recognition}
본 발명은 제스처 인식 방법 및 장치에 관한 것이다.
제스처 인식은 주로 카메라를 이용하여 촬영되는 이미지를 통해 제스처를 인식하였다. 그러나 카메라를 사용하는 방법은, 빛이 강하거나 없을 경우, 또는 연기나 안개에 의해 카메라의 시야가 방해받을 경우 제스처 인식을 제대로 할 수 없게 되며, 카메라에 의해 사용자의 사생활이 침해받을 수 있는 위험이 생기게 된다.
또한, 제스처 인식에 레이더를 사용하는 경우, 3차원 공간의 제스처 인식을 하기 위해서는 다수의 레이더가 필요하여 비용이 너무 비싼 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 단일 레이더를 이용하는 제스처 인식 방법 및 장치를 제공한다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따르면, (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계; (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및 (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법이 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 (e)단계는, 상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, (a)고유벡터 및 인식 가능한 제스처별 특징값을 데이터베이스에 저장하는 단계; (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계; (c)상기 제스처를 판단할 신호와 상기 고유벡터의 내적을 연산하는 단계; 및 (d)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법이 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 (e)단계는, 상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 한다.
또한, 본 발명의 또다른 실시예에 따르면, 고유벡터 및 인식 가능한 제스처별 특징값이 레이더에서 입력된 신호 및 배경 정보가 제거된 신호에 대하여 등록되어 있는 데이터베이스; 레이더 장치로부터 제스처를 판단할 신호를 입력 받는 입력부; 상기 제스처를 판단할 신호에서 배경 정보를 제거하는 필터부; 상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호와 상기 고유벡터의 내적을 각각 연산하는 연산부; 및 상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 제스처 판단부를 포함하되, 상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 장치가 제공된다.
상기 데이터베이스에 저장되는 고유벡터는, 인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 한다.
상기 데이터베이스에 저장되는 고유벡터는, 상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 한다.
상기 제스처 판단부는 뉴럴 네트워크이며, 상기 특징값은 상기 제스처 판단부에 입력되고, 상기 제스처 판단부는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며, 상기 제스처 판단부는 상기 연산된 내적값을 입력받아 제스처를 판단하는 것을 특징으로 한다.
본 발명은 단일 레이더를 사용하여 비용이 절감되며, 카메라가 작동할 수 없는 환경에서도 제스처를 인식할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법을 시간의 흐름에 따라 나타낸 순서도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법에서 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 예시한 것이다.
도 3은 고유벡터와 각 신호 행렬을 내적한 결과를 예시한 것이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치의 구조도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 단일 레이더 장치를 이용하여 제스처를 인식하며, 인식할 제스처의 신호들을 미리 입력하여 뉴럴 네트워크(Neural Network)를 학습시킬 수 있다. 이러한 기법을 머신러닝(Machine Learning)이라고 하며, 뉴럴 네트워크는 학습된 것을 바탕으로 사용자의 제스처를 인식하게 된다.
본 발명에 사용되는 레이더 장치는 IR-UWB(Impulse-Radio Ultra Wide Band) 레이더(이하 ‘UWB 레이더’라 칭함) 장치일 수 있다.
여기서 ‘UWB(Ultra Wide Band)’란 500MHz 이상의 주파수 대역을 사용하거나 중심 주파수 대비 신호의 대역폭인 비대역폭으로 정의되는 수치가 25% 이상인 광대역 주파수를 사용하는 라디오 기술로서 높은 거리 분해능, 투과성, 협대역 잡음에 대한 강한 면역성 및 주파수를 공유하는 타 기기와의 공존성과 같은 다양한 장점을 가지고 있다.
UWB 레이더는 이러한 UWB 기술을 레이더에 접목한 것으로서, 주파수 영역에서의 광대역 특성을 갖는 매우 짧은 지속 시간의 임펄스 신호를 송신하여 사물 및 사람으로부터 반사되어 돌아오는 신호를 수신해 주변 상황을 인지할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법을 시간의 흐름에 따라 나타낸 순서도이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 고유벡터 및 특징값을 저장하는 단계(S110); 제스처를 판단할 신호를 입력받는 단계(S120); 신호의 배경 정보를 제거하는 단계(S130); 내적값을 연산하는 단계(S140) 및 제스처를 판단하는 단계(S150)를 포함한다.
고유벡터 및 특징값을 저장하는 단계(S110)에서는 뉴럴 네트워크(Neural Network)에 학습될 정보들이 입력되고 연산되어 데이터베이스에 저장될 수 있다.
먼저, 인식 가능하도록 학습될 제스처들의 레이더 신호가 레이더 장치로부터 입력될 수 있다. 각 제스처를 정해진 프레임 시간만큼 반복하여 측정한 레이더 신호들이 레이더 장치로부터 입력될 수 있다.
또한, 본 발명에서는 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 함께 고려할 수 있다.
도 2는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법에서 입력된 신호 및 입력된 신호에서 배경 정보를 제거한 신호를 예시한 것이다.
도 2를 참조하면, 입력된 신호는 레이더 장치와 떨어진 거리에 따른 정보를 나타낸다. 그러므로 입력된 신호에서 제스처가 없는 상태의 신호를 차감하면 배경 정보가 제거된 신호를 얻을 수 있게 된다.
또한, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 도 1에 붉은 사각형으로 도시된 것과 같이 레이더 장치로부터 특정한 거리 영역 내의 신호만 고려할 수 있다. 이러한 영역은 인식하고자 하는 제스처가 수행되어지는 영역에 따라 다를 수 있다.
이제, 고유벡터 및 특징값을 산출하기 위해 인식 가능하도록 학습될 제스처들의 레이더 신호를 하나의 신호 행렬로 나타낼 수 있다. 신호 행렬은, 각 신호들을 하나의 행으로 정렬하고, 각 행에는 각 신호의 신호값을 배열하여 나타낼 수 있다. 일례로, 5개의 신호와 각 신호에 10개의 신호값이 존재한다면, 그 신호들은 (5×10) 차원의 신호 행렬로 나타낼 수 있게 된다.
그러므로, 각 제스처에 해당하는 신호의 각 프레임의 신호값들을 하나의 행으로 정렬하며, 레이더와의 거리에 따른 신호값을 각 열에 배열하여 인식 가능하도록 학습될 제스처들의 모든 레이더 신호를 하나의 신호 행렬로 나타낼 수 있다. 일례로, 인식하고자 하는 제스처의 수가 6가지이고, 각 제스처당 입력된 신호의 프레임 수가 2200이라면, 신호 행렬은 13200개의 행을 가지며, 제스처를 인식할 영역에 따른 신호값을 81개 사용한다면, 신호 행렬은 81개의 열을 가질 수 있다. 그러므로, 예시한 조건에 따르면 인식 가능하도록 학습될 모션들의 레이더 신호는 (13200×81) 차원의 신호 행렬 Y로 나타낼 수 있다.
이제, 데이터베이스에 저장할 고유벡터를 생성하기 위해, 신호 행렬 Y의 공분산 행렬을 구할 수 있다. (m×n) 차원 신호 행렬의 공분산 행렬을 구하는 방법은 하기 수학식과 같다.
Figure 112017016174753-pat00001
수학식 1에서, C는 신호 행렬 Y의 공분산 행렬이며, n은 신호 행렬 Y의 열 수이다. 한편,
Figure 112017016174753-pat00002
는 하기 수학식을 이용하여 구할 수 있다.
Figure 112017016174753-pat00003
수학식 2에서, m은 신호 행렬 Y의 행 수이고,
Figure 112017016174753-pat00004
는 신호 행렬 Y의 a열로 이루어진 행렬의 각 값들에 신호 행렬 Y의 a열의 평균값을 차감한 행렬이며,
Figure 112017016174753-pat00005
는 신호 행렬 Y의 i행 a열 원소의 값에 신호 행렬 Y의 a열의 평균값을 차감한 값이다.
수학식 1 및 수학식 2에 의해 (13200×81) 차원의 신호 행렬 Y의 공분산 행렬을 계산하면, (81×81) 차원의 공분산 행렬 C를 얻을 수 있다.
이제 공분산 행렬 C의 고유값 및 고유벡터를 하기 수학식을 이용하여 계산할 수 있다.
Figure 112017016174753-pat00006
수학식 3에서, I는 단위행렬이고, λ는 행렬 C의 고유값이며, x는 행렬 C의 고유값λ에 따른 고유벡터이다.
하기 수학식을 이용하여 수학식 3이 성립하기 위한 고유값 λ를 구할 수 있다.
Figure 112017016174753-pat00007
수학식 4에서,
Figure 112017016174753-pat00008
는 행렬
Figure 112017016174753-pat00009
의 특성 다항식이다.
수학식 4를 만족하는 고유값 λ를 구한 후, 수학식 3을 이용하면 각 λ에 따른 고유벡터 x를 계산해낼 수 있다. 신호 행렬 Y가 n개의 열로 구성된 경우, 고유값과 고유값에 따른 고유벡터는 n개 까지 존재할 수 있다.
본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 수학식 3에서 구해진 고유벡터 중 각 제스처들을 포함하는 신호 행렬에서 각 제스처를 구별하기 더 용이한 고유벡터만을 사용할 수 있다. 이러한 고유벡터는 각 고유벡터에 해당하는 고유값의 크기에 따라 결정될 수 있다. 각 신호들을 더욱 잘 구별해 낼 수 있는 고유벡터는 고유값의 크기가 크며, 고유값의 크기가 작은 고유벡터는 각 신호별 값의 차이가 적어 제스처의 각 동작들을 구별해 내기가 어려울 수 있다. 즉, 고유값이 큰 고유벡터들을 사용하면, 입력된 제스처들을 구별해내기가 용이할 수 있다.
따라서, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하여 사용할 수 있다. 일례로, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은 고유값이 큰 순서대로 8개의 고유벡터만을 추출하여 데이터베이스에 저장할 수 있다.
도 3은 고유벡터와 각 신호 행렬을 내적한 결과를 예시한 것이다.
도 3의 (a)는 상대적으로 고유값이 큰 고유벡터와 각 제스처를 내적한 값이며, 도 3의 (b)는 상대적으로 고유값이 작은 고유벡터와 각 제스처를 내적한 값이다. 도 3에서 볼 수 있듯이, 고유값이 작은 고유벡터는 상대적으로 각 제스처를 판단해 내기 어려우므로, 고유값이 큰 고유벡터를 이용하는 것이 유리하다.
이제, 입력된 신호들의 각 제스처별 신호 행렬로 변환하여 저장된 고유벡터들과 내적 연산을 한 후, 구해진 내적값을 각 제스처의 특징값으로 데이터베이스에 저장할 수 있다.
전술한 과정들에 의해 데이터베이스에는 인식 가능한 제스처들의 고유벡터와 각 제스처들의 특징값이 저장되게 된다. 저장된 각 제스처들의 특징값은 뉴럴 네트워크(Neural Network)에 입력되어 머신러닝(Machine Learning) 과정을 통해 뉴럴 네트워크(Neural Network)는 각 제스처들을 판단해 내는 방법을 학습할 수 있다.
이러한 고유벡터 및 특징값을 구하고 학습하는 과정은 입력된 레이더 신호 및 배경 정보가 제거된 신호 모두에 대해 수행될 수 있다.
제스처를 판단할 신호를 입력받는 단계(S120)는 레이더 장치를 통해 제스처를 판단할 신호를 입력받는 단계이다. 단일 레이더 장치를 통해 거리에 따른 신호정보가 프레임별로 입력될 수 있다.
신호의 배경 정보를 제거하는 단계(S130)는 입력된 신호의 배경 정보를 제거하는 단계이다. S110단계에서 상술한 바와 같이, 입력된 신호에서 제스처가 없는 상태의 신호를 차감하여 배경 정보가 제거된 신호를 얻을 수 있다.
내적값을 연산하는 단계(S140)는 제스처를 판단할 신호와 데이터베이스에 저장된 고유벡터의 내적값을 연산하는 단계이다. S110단계에서 상술하였듯이, 제스처를 판단할 신호를 신호 행렬로 나타낼 수 있으며, S110단계에서 학습된 신호의 신호 행렬과 같은 열을 갖도록, 즉 학습된 신호와 동일한 거리 영역의 신호만을 사용하여 신호 행렬로 나타낼 수 있다. 한편, 신호 행렬의 행 수, 즉 신호의 프레임의 수는 제한되지 않는다.
이제 제스처를 판단할 신호와 S110단계에서 저장된 고유벡터의 내적값을 연산할 수 있다.
제스처를 판단하는 단계(S150)는 S140단계에서 연산된 각 고유벡터별 내적값이 뉴럴 네트워크에 입력되어 S120단계에서 입력된 신호의 제스처가 S110단계에서 학습한 제스처 중 어떠한 제스처에 해당되는지를 뉴럴 네트워크가 판단해 낼 수 있다.
또한, 뉴럴 네트워크에서 학습되지 않은 제스처가 입력될 경우, 그 결과값들에 각각 절대값을 취한 후 합하면, 일정한 값 이상이 나오게 되며, 이를 기준으로 학습되지 않은 제스처는 노이즈로 간주할 수 있다.
전술한 본 발명의 바람직한 일 실시예에 따른 제스처 인식 방법은, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치에 의해 수행되어질 수 있다.
도 4는 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치의 구조도이다.
도 4를 참조하면, 본 발명의 바람직한 일 실시예에 따른 제스처 인식 장치는 데이터베이스(410), 입력부(420), 필터부(430), 연산부(440), 제스처 판단부(450)를 포함할 수 있다.
데이터베이스(410)에는 S110단계에서 연산된 고유벡터 및 각 제스처별 특징값이 저장된다.
입력부(420)는 레이더 장치(500)로부터 S110단계에서 인식 가능하도록 학습될 제스처들의 레이더 신호 및 S120단계에서 제스처를 판단할 신호를 입력받을 수 있다.
필터부(430)는 입력부(420)에서 입력받은 신호들에 대하여 배경 정보를 제거하는 작업을 수행할 수 있다. 도 2를 참조하여, 필터부(430)는 입력된 신호에서 제스처가 없는 상태의 신호를 차감하여 배경 정보가 제거된 신호를 얻을 수 있다.
연산부(440)는 S110단계의 고유벡터 및 특징값 연산 및 S140단계의 내적값 연산을 수행할 수 있다. 각 연산 과정은 이미 상술하였으므로 생략한다.
제스처 판단부(450)는 머신 러닝으로 학습 가능한 뉴럴 네트워크일 수 있다. 제스처 판단부(450)는 데이터베이스(410)의 특징값들을 입력받아 제스처를 판단해 낼 수 있도록 머신 러닝에 의해 학습될 수 있다. 제스처 판단부(450)는 제스처를 판단할 신호의 제스처가 학습된 제스처 중 어떠한 제스처에 해당하는지를 판단해 내게 되며, 제스처를 판단할 신호의 제스처가 학습된 제스처 중 어떠한 제스처에도 해당되지 않으면, 제스처를 판단할 신호를 노이즈로 간주할 수 있다.
상술한 바와 같이, 본 발명은 레이더 장치를 사용하여 제스처를 인식하므로 카메라가 작동할 수 없는 환경에서도 제스처를 인식할 수 있으며, 단일 레이더를 사용하여 비용이 절감되는 장점이 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
410: 데이터베이스
420: 입력부
430: 필터부
440: 연산부
450: 제스처 판단부

Claims (12)

  1. (a)고유벡터 및 인식 가능한 제스처별 특징값을 레이더에서 입력된 신호 및 배경 정보가 제거된 신호 각각에 대하여 데이터베이스에 저장하는 단계;
    (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계;
    (c)상기 제스처를 판단할 신호에서 배경 정보를 제거하는 단계;
    (d)상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호의 신호 행렬과 상기 고유벡터의 내적값을 각각 연산하는 단계; 및
    (e)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법.
  2. 제1항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 방법.
  3. 제2항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 방법.
  4. 제3항에 있어서,
    상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 (e)단계는,
    상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 하는 제스처 인식 방법.
  5. (a)고유벡터 및 인식 가능한 제스처별 특징값을 데이터베이스에 저장하는 단계;
    (b)레이더 장치로부터 제스처를 판단할 신호를 입력받는 단계;
    (c)상기 제스처를 판단할 신호와 상기 고유벡터의 내적을 연산하는 단계; 및
    (d)상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 단계를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 방법.
  6. 제5항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 방법.
  7. 제6항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 방법.
  8. 제7항에 있어서,
    상기 데이터베이스에 저장되는 특징값들은 뉴럴 네트워크에 입력되고, 상기 뉴럴 네트워크는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 (d)단계는,
    상기 뉴럴 네트워크에 상기 연산된 내적값이 입력되어 제스처를 판단하는 것을 특징으로 하는 제스처 인식 방법.
  9. 고유벡터 및 인식 가능한 제스처별 특징값이 레이더에서 입력된 신호 및 배경 정보가 제거된 신호 각각에 대하여 등록되어 있는 데이터베이스;
    레이더 장치로부터 제스처를 판단할 신호를 입력 받는 입력부;
    상기 제스처를 판단할 신호에서 배경 정보를 제거하는 필터부;
    상기 제스처를 판단할 신호 및 배경 정보가 제거된 신호와 상기 고유벡터의 내적을 각각 연산하는 연산부; 및
    상기 연산된 내적값을 상기 데이터 베이스의 특징값과 비교하여 제스처를 판단하는 제스처 판단부를 포함하되,
    상기 고유벡터는 인식 가능한 모든 제스처의 신호에서 추출되며, 상기 인식 가능한 제스처별 특징값은 상기 고유벡터와 상기 인식 가능한 제스처별 신호의 내적값인 것을 특징으로 하는 제스처 인식 장치.
  10. 제9항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    인식 가능한 모든 제스처의 신호들의 신호 행렬의 공분산 행렬을 구한 후, 상기 공분산 행렬의 고유값 및 고유벡터들을 구하여 추출되는 것을 특징으로 하는 제스처 인식 장치.
  11. 제10항에 있어서,
    상기 데이터베이스에 저장되는 고유벡터는,
    상기 공분산 행렬에서 구해진 고유벡터들을 고유값이 큰 순서대로 임의의 개수만큼만 추출하는 것을 특징으로 하는 제스처 인식 장치.
  12. 제11항에 있어서,
    상기 제스처 판단부는 뉴럴 네트워크이며,
    상기 특징값은 상기 제스처 판단부에 입력되고,
    상기 제스처 판단부는 머신 러닝에 의해 제스처를 판단해 내는 방법을 학습하며,
    상기 제스처 판단부는 상기 연산된 내적값을 입력받아 제스처를 판단하는 것을 특징으로 하는 제스처 인식 장치.
KR1020170021074A 2017-02-16 2017-02-16 제스처 인식 방법 및 장치 KR101883228B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170021074A KR101883228B1 (ko) 2017-02-16 2017-02-16 제스처 인식 방법 및 장치
US16/486,191 US11080519B2 (en) 2017-02-16 2018-02-13 Method and apparatus for gesture recognition
PCT/KR2018/001886 WO2018151503A2 (ko) 2017-02-16 2018-02-13 제스처 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170021074A KR101883228B1 (ko) 2017-02-16 2017-02-16 제스처 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101883228B1 true KR101883228B1 (ko) 2018-07-30

Family

ID=63048357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170021074A KR101883228B1 (ko) 2017-02-16 2017-02-16 제스처 인식 방법 및 장치

Country Status (3)

Country Link
US (1) US11080519B2 (ko)
KR (1) KR101883228B1 (ko)
WO (1) WO2018151503A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200121513A (ko) * 2019-04-16 2020-10-26 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법
WO2021002733A1 (ko) * 2019-07-04 2021-01-07 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507361B (zh) * 2019-01-30 2023-11-21 富士通株式会社 基于微波雷达的动作识别装置、方法及系统
CN110443167B (zh) * 2019-07-23 2022-05-17 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN112835046B (zh) * 2021-01-07 2024-03-29 航天新气象科技有限公司 基于bp环境感知的风廓线雷达自适应探测方法及系统
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8223589B2 (en) * 2010-10-28 2012-07-17 Hon Hai Precision Industry Co., Ltd. Gesture recognition apparatus and method
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
CN102968642B (zh) * 2012-11-07 2018-06-08 百度在线网络技术（北京）有限公司 一种可训练的基于手势轨迹特征值的手势识别方法和装置
US20140266860A1 (en) * 2013-03-14 2014-09-18 Gaddi BLUMROSEN Method and system for activity detection and classification
US10235994B2 (en) * 2016-03-04 2019-03-19 Microsoft Technology Licensing, Llc Modular deep learning model
US20180088671A1 (en) * 2016-09-27 2018-03-29 National Kaohsiung University Of Applied Sciences 3D Hand Gesture Image Recognition Method and System Thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200121513A (ko) * 2019-04-16 2020-10-26 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법
KR102192051B1 (ko) * 2019-04-16 2020-12-16 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법
WO2021002733A1 (ko) * 2019-07-04 2021-01-07 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
KR20210004360A (ko) * 2019-07-04 2021-01-13 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
KR102254331B1 (ko) 2019-07-04 2021-05-20 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
WO2022097894A1 (ko) * 2020-11-03 2022-05-12 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
KR102495377B1 (ko) 2020-11-03 2023-02-06 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법

Also Published As

Publication number Publication date
WO2018151503A2 (ko) 2018-08-23
US11080519B2 (en) 2021-08-03
WO2018151503A3 (ko) 2018-10-11
US20200242342A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
KR101883228B1 (ko) 제스처 인식 방법 및 장치
CN106658590B (zh) 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现
CN107749143B (zh) 一种基于WiFi信号的穿墙室内人员跌倒探测系统及方法
US9008365B2 (en) Systems and methods for pedestrian detection in images
JP7150292B2 (ja) 行動認識システム、及び行動認識方法
Arshad et al. Leveraging transfer learning in multiple human activity recognition using WiFi signal
US10440296B2 (en) Method for processing an asynchronous signal
WO2015136714A1 (ja) 画像識別装置、画像センサ、画像識別方法
Cao et al. Wi-Wri: Fine-grained writing recognition using Wi-Fi signals
Avola et al. Person re-identification through Wi-Fi extracted radio biometric signatures
CN111783853A (zh) 一种基于可解释性的检测并恢复神经网络对抗样本方法
Aziz et al. Bengali Sign Language Recognition using dynamic skin calibration and geometric hashing
Mousavi et al. Digital image segmentation using rule-base classifier
CN110334609B (zh) 一种智能实时体感捕捉方法
KR20190050551A (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
Gupta et al. Posture recognition for safe driving
CN110660187B (zh) 一种基于边缘计算的森林火警监测系统
Gada et al. Object recognition for the visually impaired
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP6992900B2 (ja) 情報処理装置、制御方法、及びプログラム
CN106295298B (zh) 人脸和手机数据伴随系统及方法
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템
CN109271902A (zh) 复杂背景下基于时域经验模态分解的红外弱小目标检测方法
KR20150120805A (ko) 거리 영상에서 사람을 검출하는 방법 및 시스템
Alpatov et al. Object tracking in the video sequence based on the automatic selection of the appropriate coordinate estimation method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant