KR20190091132A - 레이더를 이용한 제스처 인식 장치 및 방법 - Google Patents

레이더를 이용한 제스처 인식 장치 및 방법 Download PDF

Info

Publication number
KR20190091132A
KR20190091132A KR1020180010200A KR20180010200A KR20190091132A KR 20190091132 A KR20190091132 A KR 20190091132A KR 1020180010200 A KR1020180010200 A KR 1020180010200A KR 20180010200 A KR20180010200 A KR 20180010200A KR 20190091132 A KR20190091132 A KR 20190091132A
Authority
KR
South Korea
Prior art keywords
gesture
signal
variance
maximum value
frequency
Prior art date
Application number
KR1020180010200A
Other languages
English (en)
Other versions
KR102116604B1 (ko
Inventor
조성호
파힘칸
최정우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020180010200A priority Critical patent/KR102116604B1/ko
Priority to US16/964,687 priority patent/US11474613B2/en
Priority to PCT/KR2019/001115 priority patent/WO2019147076A1/ko
Publication of KR20190091132A publication Critical patent/KR20190091132A/ko
Application granted granted Critical
Publication of KR102116604B1 publication Critical patent/KR102116604B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G01S13/5244—Adaptive clutter cancellation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G01S2007/356—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Abstract

레이더를 이용한 제스처 인식 장치 및 방법이 개시된다. 개시된 장치는, 사용자의 제스처에 의해 반사되는 레이더 신호를 수신하는 신호 수신부; 상기 신호 수신부에서 수신된 신호로부터 클러터를 제거하는 클러터 제거부; 상기 클러터가 제거된 반사 신호로부터 신호 크기의 분산을 획득하는 신호 크기 분산 획득부; 상기 클러터가 제거된 반사 신호를 구성하는 패스트 타임 신호들의 최대값에 상응하는 ToA(Time of Arrival)를 획득하고, 획득한 최대값에 상응하는 ToA들의 분산을 획득하는 최대값 ToA 분산 획득부; 상기 클러터가 제거된 반사 신호의 주파수를 연산하는 주파수 획득부; 미리 설정된 다수의 레퍼런스 제스처들의 레퍼런스 특징 정보를 저장하는 레퍼런스 데이터베이스; 및 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 레퍼런스 데이터베이스에 저장된 레퍼런스 특징 정보를 이용하여 상기 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지를 판단하는 제스처 인식부를 포함한다. 개시된 장치 및 방법에 의하면, 사용자와 레이더 센서와의 거리 및 방향 변화에 강인한 성능으로 제스처를 인식할 수 있는 장점이 있다.

Description

레이더를 이용한 제스처 인식 장치 및 방법{Apparatus and Method for Detecting Gesture Using Radar}
본 발명은 제스처 인식 장치 및 방법에 관한 것으로서, 더욱 상세하게는 레이더를 이용한 레이더를 이용한 제스처 인식 장치 및 방법에 관한 것이다.
근래에 자동차는 다양한 기능을 제공하는 스마트카의 형태로 제작되며, 이러한 스마트카는 다양한 기능을 활용하기 위해 많은 종류의 인터페이스를 요구하나, 운전 환경에서 적절한 인터페이스 입력을 제공하는 것은 쉽지 않은 일이며 안전에 중요한 영향을 미치기도 한다.
이러한 이유로 손의 제스처를 인식하는 연구가 다방면으로 이루어졌다. 대표적인 제스처 인식 방법은 카메라로 제스처를 포착하여 인식하는 방법과 데이터 글로브( Glove)와 같은 착용형 장치를 이용하는 방법이다.
카메라를 이용한 제스처 인식은 손과 카메라가 항상 LoS(Line of Sight) 관계에 있어야 하고 조명이 어두운 환경에서는 적절한 제스처 인식이 이루어지기 어려운 문제점이 있었다. 특히, 운전 중에는 항상 밝은 조명이 제공될 수 없으므로 운전자의 제스처 인식에는 부적절한 측면이 있다.
또한, 착용형 장치를 이용하는 제스처 인식은 조명 등과 같은 제약 조건은 없으나 많은 비용이 소요되고 적절한 제스처 인식이 이루어지도록 하기 위해 사용자들이 복잡한 트레이닝 과정을 거쳐야 하는 문제가 있었다.
한편, 레이더를 이용하여 제스처를 인식하는 연구도 이루어졌으나, 레이더를 이용한 제스처 인식은 레이더 센서와 사용자간의 거리 및 레이더 센서와 사용자간의 방향에 따라 인식 성능에 큰 편차가 발생하는 문제점이 있어서 그 신뢰도를 담보할 수 없는 문제가 있었다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 사용자와 레이더 센서와의 거리 및 방향 변화에 강인한 레이더를 이용한 제스처 인식 장치 및 방법을 제공한다.
또한, 본 발명은 조명 및 환경 변화에 대응할 수 있고 운전자에게 효과적으로 적용될 수 있는 제스처 인식 장치 및 방법을 제공한다.
상기한 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 사용자의 제스처에 의해 반사되는 레이더 신호를 수신하는 신호 수신부; 상기 신호 수신부에서 수신된 신호로부터 클러터를 제거하는 클러터 제거부; 상기 클러터가 제거된 반사 신호로부터 신호 크기의 분산을 획득하는 신호 크기 분산 획득부; 상기 클러터가 제거된 반사 신호를 구성하는 패스트 타임 신호들의 최대값에 상응하는 ToA(Time of Arrival)를 획득하고, 획득한 최대값에 상응하는 ToA들의 분산을 획득하는 최대값 ToA 분산 획득부; 상기 클러터가 제거된 반사 신호의 주파수를 연산하는 주파수 획득부; 미리 설정된 다수의 레퍼런스 제스처들의 레퍼런스 특징 정보를 저장하는 레퍼런스 데이터베이스; 및 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 레퍼런스 데이터베이스에 저장된 레퍼런스 특징 정보를 이용하여 상기 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지를 판단하는 제스처 인식부를 포함하는 레이더를 이용한 제스처 인식 장치가 제공된다.
상기 제스처 인식 장치는 상기 클러터가 제거된 반사 신호의 주기성을 의도하여 의도된 제스처인지 여부를 판단하는 피팅부를 더 포함한다.
상기 주파수 획득부는 상기 최대값 ToA 분산에 기초하여 상기 사용자의 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 여부를 판단한다.
상기 사용자의 제스처가 움직임이 작은 제스처로 판단되는 경우, 상기 주파수 획득부는 상기 클러터가 제거된 반사 신호에 대해 FFT를 수행하여 주파수를 연산한다.
상기 사용자의 제스처가 움직임이 큰 제스처로 판단되는 경우, 상기 주파수 획득부는 각 패스트 타임 신호의 상기 최대값에 상응하는 ToA들로부터 상기 최대값에 상응하는 ToA들의 평균을 차감한 신호에 대한 FFT를 수행하여 주파수를 연산한다.
상기 피팅부는 움직임이 작은 제스처는 정현파 피팅을 통해 주기성을 가진 신호인지 여부를 판단하고 움직임이 큰 제스처는 R-square 피팅을 통해 주기성을 가진 신호인지 여부를 판단한다.
상기 레퍼런스 특징 정보는 상기 레퍼런스 제스처별 신호 크기 분산, 최대값 ToA 분산 및 주파수에 대한 K-means 클러스터링 정보를 포함한다.
상기 제스처 인식부는 상기 사용자의 제스처로부터 획득하는 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 각 레퍼런스 제스처별 클러스터 중심과의 K-means 공간에서의 거리 정보를 이용하여 제스처를 인식한다.
상기 제스처 인식부는 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수를 정규화한 후 제스처 인식을 수행한다.
본 발명의 다른 측면에 따르면, 사용자의 제스처에 의해 반사되는 레이더 신호를 수신하는 단계(a); 상기 단계(a)에서 수신된 신호로부터 클러터를 제거하는 단계(b); 상기 클러터가 제거된 반사 신호로부터 신호 크기 분산을 획득하는 단계(c); 상기 클러터가 제거된 반사 신호를 구성하는 패스트 타임 신호들의 최대값에 상응하는 ToA(Time of Arrival)를 획득하고, 획득한 최대값에 상응하는 ToA들의 분산인 최대값 ToA 분산을 획득하는 단게(d); 상기 클러터가 제거된 반사 신호의 주파수를 연산하여 획득하는 단계(e); 및 미리 설정된 다수의 레퍼런스 제스처들의 레퍼런스 특징 정보와 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수를 이용하여 상기 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지를 판단하는 단계(f)를 포함하는 레이더를 이용한 제스처 인식 방법이 제공된다.
본 발명에 의하면, 사용자와 레이더 센서와의 거리 및 방향 변화에 강인한 성능으로 제스처를 인식할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치의 동작 구조를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위해 필요한 레퍼런스 데이터베이스를 구축하는 방법을 도시한 순서도.
도 3은 본 발명의 일 실시예에 따라 획득하는 신호 크기의 히스토그램 확률 밀도 함수의 일례를 나타낸 도면.
도 4은 작은 움직임을 가진 제스처에 대한 패스트 타임 신호 및 슬로우 타임 신호를 도시한 도면.
도 5는 큰 움직임의 제스처에 대한 패스트 타임 신호 및 슬로우 타임 신호를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 제스처 감지 장치의 구조를 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 레이더를 이용한 제스처 인식 방법의 전체적인 흐름을 도시한 순서도.
도 8은 큰 움직임의 제스처에 대해 ToA에 기반하여 주파수 정보를 획득하는 방법을 나타낸 순서도.
도 9는 본 발명의 일 실시예에 따라 생성되는 레퍼런스 특징 정보가 K-means 클러스터의 형태로 표현된 일례를 나타낸 도면.
도 10은 정현파 피팅 방식의 일례를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치의 동작 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 제스처 인식 장치는 사용자의 제스처에 상응하는 반사 신호를 수신하고, 수신된 반사 신호를 분석하여 사용자의 제스처를 인식한다.
이때, 인식하고자 하는 제스처 동작(이하 "레퍼런스 제스처"라 함)은 미리 정해져 있으며, 본 발명의 제스처 인식 장치는 사용자의 제스처가 미리 정해진 다수의 레퍼런스 제스처 중 어떠한 제스처에 해당되는지 여부를 인식한다.
예를 들어, 손가락을 좌우로 흔드는 NO 표시 동작, 엄지 손가락을 세우고 좌우로 흔드는 Best 표시 동작, 손가락으로 동그라미 표시를 만드는 OK 표시 동작 등이 레퍼런스 동작이 될 수 있다.
본 발명은 레퍼런스 제스처별로 특징 정보를 추출하여 레퍼런스 데이터베이스에 저장하며, 구축된 레퍼런스 데이터베이스의 정보와 추후 사용자의 제스처를 비교하여 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지 여부를 판단한다.
따라서, 본 발명의 실시를 위해 레퍼런스 데이터베이스가 먼저 구축되어야 하며, 레퍼런스 데이터베이스가 구축되면 사용자의 제스처를 인지하는 동작을 수행한다.
본 명세서에서는 레퍼런스 데이터베이스를 구축하는 과정을 먼저 설명하고, 레퍼런스 데이터베이스의 정보를 이용하여 사용자의 제스처를 인식하는 과정에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식을 위해 필요한 레퍼런스 데이터베이스를 구축하는 방법을 도시한 순서도이다.
도 2를 참조하면, 우선 레퍼런스 제스처별로 다수의 레이더 반사 신호를 수신한다(단계 200). 각 레퍼런스 제스처별로 정확한 특징 정보를 추출할 수 있도록 각 레퍼런스 제스처별로 다수의 레이더 반사 신호를 수신하는 것이 바람직하다. 또한, 보다 정확한 특징 정보의 추출을 위해 하나의 레퍼런스 제스처를 다양한 거리 및 방향으로부터 수신하는 것이 바람직하다.
레이더 반사 신호는 샘플 타임 간격으로 계속적으로 수신되며, 하나의 샘플 타임에 송신되어 수신되는 신호를 패스트 타임 신호라고 하고, 패스트 타임 신호에서 특정 지점(거리)을 연결한 신호를 슬로우 타임 신호라고 한다.
본 발명에서는 레이더 반사 신호는 Wmn 매트릭스의 형태로 표현하며, 여기서 m은 슬로우 타임을 나타내는 인덱스이고, n은 패스트 타임을 나타내는 인덱스이다. m의 개수는 슬로우 타임의 길이를 나타내고 n의 개수는 패스트 타임의 길이를 나타낸다. m은 반사 신호의 수집을 위해 몇번의 샘플 신호를 수신하는지와 연관되며, n은 샘플 시간 간격에 상응하고 이는 레이더의 감지 거리와 연관되어 있다.
한편, 반사 신호에 대한 전처리가 이루어지는 것이 바람직하며, 전처리에 대해서는 별도의 도면을 참조하여 추후 설명하기로 한다.
발명의 배경이 되는 기술에서 설명한 바와 같이, 기존의 레이더를 이용한 제스처 인식에 대한 문제점은 레이더 센서와 사용자와의 거리 및 방향에 따라 수신 신호 정보가 판이하게 달라져서 원하는 거리 및 각도로 레이더 신호를 수신하지 않을 경우 정확한 제스처 인식이 어렵다는 점이다.
본 발명은 이와 같은 종래의 문제를 해결하기 위해 레이더 센서와 사용자와의 거리 및 방향에 강인한 제스처 인식 방법을 제안하며, 이를 위해 거리 및 방향에 대해 강인한 특징 정보를 제안한다.
각 제스처별로 레이더 반사 신호가 수신되면, 각 제스처별로 특징 정보를 추출하는데, 본 발명에서 제안하는 거리 및 방향에 강인한 특징 정보는 신호 크기의 분산, 최대값 ToA의 분산 및 제스처의 주파수이다.
같은 제스처라고 할지라도 레이더 센서와 사용자와의 거리와 레이더 센서와 사용자와의 위치 관계에 따라 레이더 수신 신호는 판이한 양상을 보이며, 이는 레이더 센서의 다양한 장점에도 불구하고 레이더 센서가 범용적인 제스처 인식 센서로 사용되지 않은 주요한 원인이 되었다.
본원발명의 발명자는 다양한 시도를 통해 신호 크기의 분산, 최대값 ToA의 분산 및 제스처 주파수에 의해 특징을 표현할 경우 방향 및 거리의 변환에도 불구하고 각 제스처별 특징이 정확히 나타날 수 있다는 점을 알아냈으며, 본 발명은 위 특징 정보를 이용하여 레퍼런스 데이터베이스를 구축하도록 한다.
레퍼런스 제스처별 레이더 반사 신호를 수신한 후, 레이더 반사 신호로부터 본 발명에서 사용하는 특징 정보 중 하나인 신호 크기의 분산을 각 레이더 제스처별로 획득한다(단계 202).
앞서 설명한 바와 같이, 레이더 반사 신호는 매트릭스의 형태로 표현되며, 매트릭스를 구성하는 다수의 신호에 대한 신호 크기에 대한 분산을 획득한다. 신호 크기의 분산은 수신 신호로부터 신호 크기의 평균을 구하고, 구한 평균과 획득한 수신 신호들의 편차를 연산하여 획득할 수 있을 것이다.
한편, 분산 획득 시 미리 설정된 크기 이하의 신호들은 분산 연산에서 배제하는 것이 바람직하다.
도 3은 본 발명의 일 실시예에 따라 획득하는 신호 크기의 히스토그램 확률 밀도 함수의 일례를 나타낸 도면이다.
도 3에 도시된 확률 밀도 함수는 특정 레이더 반사 신호에 대한 빈도에 기초하여 확률 밀도 함수를 나타낸 것이며, 이때 분산은 도 3에 도시된 확률 밀도 함수에서 "Sigma"로 표시된 값일 수 있다.
또한, 레이더 반사 신호로부터 최대값 ToA의 분산을 각 레퍼런스 제스처별로 획득한다(단계 204).
여기서 ToA(Time of Arrival)은 특정 지점으로부터의 도달 시간을 의미하며, 이는 패스트 타임 신호의 인덱스인 n으로 정의할 수 있다. 패스트 타임 신호에서 n이 크다는 것은 레이더 반사 신호의 도달 시간이 크다는 것을 의미하며, 이는 레이더 방사체로부터 멀리 떨어져 있다는 것을 의미한다.
최대값 ToA가 의미하는 것은 하나의 패스트 타임 신호에서 가장 큰 신호 크기를 가지는 패스트 타임 인덱스를 의미한다. 예를 들어, 패스트 타임 인덱스가 1 내지 30이 있으며, 패스트 타임 인덱스 15에서 신호에 대한 최대값이 검출될 경우 최대값 ToA는 15로 설정할 수 있다.
샘플 시간 간격으로 다수의 패스트 타임 신호를 수신하므로 각 패스트 타임 신호의 최대값은 상이하며, 이에 따라 최대값이 나타나는 패스트 타임 인덱스 역시 상이하다.
최대값 ToA의 분산은 다수의 패스트 신호에서 최대값이 나타나는 ToA값들의 분산을 의미하며, 이를 연산을 통해 획득하는 것이다. 최대값 ToA의 분산은 패스트 타임들의 최대값 ToA들의 평균을 획득한 후 평균과 최대값 ToA들의 편차를 이용하여 연산한다.
한편, 최대값 ToA는 레이더 반사 신호에 대한 포락선 검출을 수행하는 것이 바람직하다. 레이더 신호는 매우 높은 주파수의 신호이므로 포락선 검출이 된 신호에 대해 최대값을 검출할 때 더욱 정확하게 최대값 및 최대값이 나타나는 ToA를 검출할 수 있다.
또한, 레이더 반사 신호로부터 각 레퍼런스 제스처별로 주파수 정보를 획득한다(단계 206).
본 발명의 바람직한 실시예에 대해서는 제스처의 움직임을 큰 움직임과 작은 움직임으로 구분하여 주파수 정보를 획득한다. 일반적으로 레이더 반사 신호에 대한 주파수 정보는 시간 도메인의 레이더 반사 신호에 대해 FFT(Fast Fourier Transform)와 같은 퓨리에 변환을 이용하여 획득한다.
본 발명의 발명자에 연구에 따르면 작은 움직임의 제스처에 대해서는 FFT를 이용하여 적절한 주파수 정보를 획득할 수 있다. 그러나, 상대적으로 큰 움직임의 제스처에 대해서는 FFT를 통해 적절한 움직임을 획득할 수 없는 문제가 있었다.
도 4 및 도 5는 큰 움직임의 제스처에 대해 FFT로 적절한 주파수 정보를 획득할 수 없는 이유를 설명하기 위한 도면이다.
도 4은 작은 움직임을 가진 제스처에 대한 패스트 타임 신호 및 슬로우 타임 신호를 도시한 도면이고, 도 5는 큰 움직임의 제스처에 대한 패스트 타임 신호 및 슬로우 타임 신호를 도시한 도면이다.
도 4를 참조하면, 작은 움직임의 제스처는 슬로우 타임에서 비교적 정현파에 가까운 형태를 가지는 것을 확인할 수 있다. 그러나, 도 5를 참조하면, 큰 움직임의 제스처는 슬로우 타임에서 정현파와는 다른 형태를 가지는 것을 확인할 수 있으며, 도 5와 같은 신호로부터 주파수 정보를 획득하는 것은 적절하지 않다.
따라서, 본 발명은 작은 움직임의 제스처에 대해서는 기존의 FFT를 이용하여 주파수 정보를 획득하나, 큰 움직임의 제스처에 대해서는 ToA에 기반하여 주파수 정보를 획득한다.
여기서, 작음 움직임과 큰 움직임은 단계 204에서 획득하는 최대값 ToA 분산을 이용하여 판단한다. 레퍼런스 데이터베이스를 구축하는 단계에서는 레퍼런스 제스처가 미리 설정되어 있기 때문에 작은 움직임의 레퍼런스 제스처에 대해서는 FFT를 이용하여 주파수 정보를 획득하고, 큰 움직임의 레퍼런스 제스처에 대해서는 ToA에 기반하여 주파수 정보를 획득한다.
FFT에 의한 주파수 정보 획득은 레이더 반사 신호를 FFT에 의해 주파수 영역 신호로 변환하고, 주파수 영역 신호에서 피크값에 해당하는 주파수를 주파수 정보로 획득한다.
도 8은 큰 움직임의 제스처에 대해 ToA에 기반하여 주파수 정보를 획득하는 방법을 나타낸 순서도이다.
도 8을 참조하면, 각 패스트 타임별로 최대값에 상응하는 ToA를 획득한다(단계 800). 이는 앞서 설명한 최대값 ToA 분산을 구할 때 최대값에 상응하는 ToA를 검출하는 동작과 동일하다.
각 패스트 타임별 최대값에 상응하는 ToA들의 평균을 구하고, 최대값에 상응하는 ToA들로부터 계산된 평균을 차감한다(단계 802).
단계 802에서 평균이 차감된 ToA 신호를 FFT를 이용하여 주파수 영역 신호로 변환한다(단계 804).
단계 804에서 주파수 영역으로 변환된 신호에서 피크값에 상응하는 주파수를 제스처의 주파수로 판단한다(단계 806).
단계 200 내지 단계 206의 세 종류의 특징 정보 획득은 다수의 테스트 제스처에 대해 이루어지며, 획득한 특징 정보에 대한 정규화를 수행한다(단계 208).
특징 정보의 정규화는 각 특징 정보별로 이루어지고, 각 특징 정보가 0 ~ 1의 범위를 가지도록 정규화가 이루어진다.
예를 들어, 제1 레퍼런스 제스처의 신호 크기 분산으로 1,000개의 신호 크기 분산이 획득되었다고 가정한다. 이때, 정규화는 획득한 신호 크기 분산 정보 중 가장 큰 값을 분모로 하여 이루어진다. 즉, 획득한 분산 정보를 가장 큰 분산 정보로 나누는 것이다. 이는 다른 특징 정보인 최대값 ToA 분산 정보 및 주파수 정보에 대해서도 동일하다.
정규화가 이루어지면, 정규화된 특징 정보를 이용하여 각 레퍼런스 제스처별로 레퍼런스 특징 정보를 생성하여 레퍼런스 데이터베이스에 저장한다(단계 210).
레퍼런스 특징 정보는 다양한 형태를 가질 수 있을 것이다. 획득한 특징 정보들의 평균값이 레퍼런스 특징 정보로 사용될 수도 있을 것이다. 또는 이와 달리 획득한 특징 정보들의 확률 밀도 함수가 레퍼런스 특징 정보로 사용될 수도 있을 것이다. 또한, 획득한 특징 정보들에 대한 K-means 클러스터링에 따른 클러스터를 레퍼런스 특징 정보로 사용할 수도 있을 것이다.
도 9는 본 발명의 일 실시예에 따라 생성되는 레퍼런스 특징 정보가 K-means 클러스터의 형태로 표현된 일례를 나타낸 도면이다.
도 9를 참조하면, 정규화된 ToA 분산, 정규화된 신호 크기 분산 및 정규화된 주파수에 대해 각 레퍼런스 제스처(Gesture 1, Gesture 2, Gesture 3, Gesture 4, Gesture 5)별로 클러스터가 형성되는 것을 확인할 수 있다.
한편, 도 9에 도시된 K-means 클러스터링과는 달리 수집한 특징 정보의 ToA를 추가적인 입력으로 하여 K-means 클러스터를 형성할 수도 있을 것이다. 이는 거리에 따라 보다 강인하게 제스처를 인식하도록 하기 위함이다.
확률 밀도 함수, 클러스터링, 평균값 이외에도 다양한 형태로 레퍼런스 특징 정보를 저장할 수 있다는 점은 당업자에게 있어 자명할 것이다.
추후 이루어지는 제스처 감지는 레이더 반사 신호로부터 특징 정보를 추출하고, 추출된 특징 정보와 레퍼런스 특징 정보와의 비교를 통해 이루어진다.
도 6은 본 발명의 일 실시예에 따른 제스처 감지 장치의 구조를 도시한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 제스처 감지 장치는 반사 신호 수신부(600), 클러터 제거부(610), 피팅부(620), 신호 크기 분산 획득부(630), 최대값 ToA 분산 획득부(640), 주파수 획득부(650), 제스처 인식부(660) 및 레퍼런스 데이터베이스(670)를 포함한다.
반사 신호 수신부(600)는 샘플 타임 간격으로 복수개가 송신된 레이더 신호에 상응하는 반사되는 반사 신호를 수신한다.
클러터 제거부(610)는 수신된 반사 신호로부터 클러터 성분을 제거하는 기능을 한다. 클러터는 수신 신호에서 원하는 정보를 획득하는데 방해가 되는 성분으로서 예를 들어 배경 등에 의해 발생하는 신호 성분이다. 클러터 성분을 발생시키는 오브젝트는 정적이기 때문에 이전 신호에도 포함되어 있으며, 이전 신호를 이용하여 클러터 성분을 제거한다. 클러터 제거 방법은 널리 알려져 있으며, 알려진 어떠한 방법에 의해 클러터를 제거하여도 무방하다.
본 발명의 일 실시예에 따르면, 루프백 필터를 이용하여 클러터를 제거할 수 있으며, 루프백 필터를 이용한 클러터 제거는 다음의 수학식 1과 같이 표현될 수 있다.
Figure pat00001
위 수학식에서 α는 가중치 상수이며, ck (t)는 k번째 수신 신호에서의 클러터 성분을 의미하고, rk(t)는 k번째 수신 신호(반사되어 수신한 신호)를 의미하며, yk(t)는 수신 신호로부터 클러터를 제거한 신호를 의미한다.
도 2의 레퍼런스 데이터베이스 구축 방법에서는 설명하지 않았으나, 이러한 클러터 제거는 레퍼런스 데이터베이스 구축 과정에서도 수행되며, 레이더 반사 신호는 실질적으로 수신 신호로부터 클러터가 제거된 신호를 의미한다.
앞서 설명한 바와 같이, 클러터가 제거된 신호는 사이즈 m X n의 매트릭스 형태를 가지며, 다수의 패스트 타임 신호로 이루어진다.
피팅부(620)는 수신된 반사 신호에 상응하는 제스처가 특정 인터페이싱을 위해 의도된 제스처(의도된 레퍼런스 제스처)인지 아니면 의미 없는 제스처인지 여부를 판단한다.
사용자의 제스처는 특정 인터페이싱을 의해 의도된 레퍼런스 제스처일 수도 있으며, 아니면 아무런 의도가 없는 제스처일 수도 있다. 피팅부(620)는 사용자의 제스처가 의도된 제스처인지 여부를 판단하며, 이는 제스처의 주기성을 통해 판단한다. 인터페이싱을 위한 제스처는 일반적으로 주기성을 가지므로 제스처의 주기성 여부를 통해 의도된 제스처인지 여부를 판단하는 것이다.
본 발명의 바람직한 실시예에 따르면, 두 개의 서로 다른 피팅을 이용하여 주기성이 있는 신호인지 여부를 판단한다.
제1 피팅 방식은 정현파(Sinusoidal Wave) 피팅 방식으로서 레이더 반사 신호가 정현파와 어느 정도 매칭되는지 여부를 판단하는 것이다.
도 10은 정현파 피팅 방식의 일례를 나타낸 도면이다.
도 10을 참조하면, 레이더 반사 신호(Received Signal)와 피팅을 위한 정현파 신호(Sinusoidal Signal)를 비교하여 어느 정도 매칭되는지 여부를 판단하게 되며, 매칭율이 높을수록 주기성이 높은 신호라고 판단하고 소정의 임계값 이상의 매칭율을 보이는 신호를 의도된 제스처에 대한 신호라고 판단한다.
한편, 큰 움직임의 제스처에 대해서는 정현파 피팅 방식으로 주기성 여부를 판단하기 어렵다. 이를 위해 본 발명은 제2 피팅 방식으로 R-square 값을 이용한다.
R-square 값은 다음의 수학식 2와 같이 정의된다.
Figure pat00002
위 수학식 2에서,
Figure pat00003
는 레이더 반사 신호 yi에 대해 피팅 알고리즘에 따라 예측된 신호이며,
Figure pat00004
는 레이더 반사 신호 yi의 평균을 의미한다. 피팅 알고리즘에 따른 예측은 알려진 기술이므로 이에 대한 상세한 설명은 생략한다.
수학식 2의 R-square 값이 높을수록 주기성이 높다는 것을 의미하며, 소정의 임계값 이상의 R-square 값이 산출될 경우 의도된 제스처라고 판단한다.
사용자의 제스처가 큰 움직임의 제스처인지 아니면 작은 움직임의 제스처인지 여부를 사전에 알 수는 없으므로 제1 피팅 방식 및 제2 피팅 방식을 모두 적용해본 후 어느 하나가 임계값 이상일 경우 의도된 제스처라고 판단할 수 있다.
신호 크기 분산 획득부(630)는 레이더 반사 신호(클러터가 제거된 신호)로부터 신호 크기에 대한 분산을 획득한다. 앞서 설명한 바와 같이, 신호 크기에 대한 평균을 계산하고, 각 신호로부터 평균을 차감한 편차 정보를 이용하여 신호 크기에 대한 분산을 연산한다.
최대값 ToA 분산 획득부(640)는 레이더 반사 신호(클러터가 제거된 신호)의 각 패스트 타임 신호에서 최대값에 상응하는 ToA값의 분산을 획득한다. 앞서 설명한 바와 같이, 각 패스트 타임 신호에서 최대값의 상응하는 ToA값의 평균을 연산하고, 각 최대값에 상응하는 ToA값에서 평균을 차감한 편차 정보를 이용하여 최대값 ToA의 분산을 연산한다.
주파수 획득부(650)는 레이더 반사 신호(클러터가 제거된 신호)에 대한 주파수를 획득한다. 레퍼런스 데이터베이스를 구축하는 단계에서는 레이더 반사 신호에 상응하는 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 사전에 알고 있으므로 FFT에 의한 주파수 획득과 ToA에 기반한 주파수 획득을 선택적으로 적용할 수 있다.
그러나, 사용자의 제스처를 인식할 때에는 사용자의 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 여부를 사전에 확인할 수 없다.
사용자의 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 여부를 판단하기 위해 최대값 ToA 분산 정보를 이용한다. 최대값 ToA 분산이 미리 설정된 임계값 이상일 경우 움직임이 큰 제스처로 판단한다. 그러나, 최대값 ToA 분산이 미리 설정된 임계값 이하일 경우 움직임이 작은 제스처로 판단한다.
움직임이 작은 제스처라고 판단될 경우, 레이더 반사 신호에 대한 FFT를 수행한 후 피크값에 상응하는 주파수를 사용자 제스처의 주파수로 결정한다.
반면에 움직임이 큰 제스처라고 판단될 경우, 도 8에 도시된 바와 같은 방식으로 사용자 제스처의 주파수를 결정한다.
사용자 제스처에 대한 신호 크기 분산, 최대값 ToA 분산 및 주파수가 결정되면, 제스처 인식부(660)는 위 특징 정보들을 이용하여 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지 여부를 판단한다.
제스처 인식부(660)는 레이더 반사 신호로부터 추출되는 특징 정보(신호 크기 분산, 최대값 ToA 분산 및 주파수)와 레퍼런스 데이터베이스의 레퍼런스 특징 정보를 이용하여 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지 여부를 판단한다.
제스쳐 인식부(660)는 특징 정보(신호 크기 분산, 최대값 ToA 분산 및 주파수)를 정규화한 후 제스쳐 인식을 수행하는데 이때 정규화에 사용하는 정규화 상수는 레퍼런스 특징 정보를 생성할 때 사용한 정규화 상수와 동일한 상수를 사용하는 것이 바람직하다.
레퍼런스 특징 정보가 레퍼런스 데이터베이스에 K-means 클러스터의 형태로 저장되어 있을 경우, 제스처 인식부(660)는 추출되는 특징 정보가 각 레퍼런스 제스처에 대한 클러스터 중 어떠한 클러스터에 가까운지 여부를 연산하여 사용자의 제스처를 인식할 수 있을 것이다. 구체적으로, 추출된 특징 정보와 각 레퍼런스 제스처에 대한 클러스터 중심간의 K-means 공간에서의 유클리디안 거리를 연산하고 유클리디안 거리가 가장 가까운 클러스터에 상응하는 레퍼런스 제스처를 사용자의 제스처로 판단한다.
레퍼런스 데이터베이스의 레퍼런스 특징 정보가 다른 형태의 정보인 경우에도, 제스처 인식부(660)는 추출된 특징 정보와 레퍼런스 데이터베이스의 레퍼런스 특징 정보의 유사도 비교를 통해 사용자의 제스처를 인식하도록 동작한다.
도 7은 본 발명의 일 실시예에 따른 레이더를 이용한 제스처 인식 방법의 전체적인 흐름을 도시한 순서도이다.
도 7을 참조하면, 사용자에 제스처에 대한 레이더 신호를 수신하고 수신된 신호에서 클러터를 제거한다(단계 700).
클러터가 제거된 레이더 반사 신호가 의도된 제스처에 대한 신호인지 아니면 인터페이싱 의도와는 무관한 제스처에 대한 신호인지 여부를 피팅을 통해 판단한다(단계 702). 여기서 피팅은 주기성을 가지는 신호인지 여부를 판단하기 위한 피팅이며, 앞서 설명한 바와 같이 작은 움직임의 제스처를 위한 정편파 피팅과 큰 움직임의 제스처를 위한 R-square 피팅을 수행하고, 두 개의 피팅 중 어느 하나가 임계값 이상일 경우 의도된 제스처라고 판단한다.
클러터가 제거된 레이더 반사 신호로부터 신호 크기에 대한 분산을 획득한다(단계 704). 레이더 반사 신호 크기의 평균값을 연산한 후 연산된 평균값을 이용하여 신호 크기에 대한 분산을 획득한다.
클러터가 제거된 레이더 반사 신호로부터 최대값 ToA 분산을 획득한다(단계 706). 레이더 반사 신호를 구성하는 다수의 패스트 타임 신호 각각에서 최대값에 상응하는 ToA를 획득하고, 획득한 ToA들의 분산을 연산한다.
클러터가 제거된 레이더 반사 신호로부터 주파수를 획득한다(단계 708). 제스처의 움직임 정도에 따라 서로 다른 방식에 의해 주파수를 획득한다. 제스처의 움직임 정도는 앞서 획득하는 최대값 ToA 분산에 의해 결정한다. 최대값 ToA 분산이 미리 설정된 임계값보다 작을 경우 일반적인 FFT 연산에 의해 주파수를 획득한다. 최대값 ToA 분산이 미리 설정된 임계값보다 클 경우 도 4에 도시된 바와 같은 방식으로 사용자 제스처의 주파수를 결정한다.
신호 크기 분산, 최대값 ToA 분산 및 주파수가 특징 정보로 획득되면, 획득한 특징 정보 및 레퍼런스 데이터베이스의 정보를 이용하여 사용자의 제스처를 인식한다(단계 710). 획득한 특징 정보와 레퍼런스 데이터베이스의 레퍼런스 특징 정보와의 유사도 연산을 통해 사용자의 제스처가 어떠한 레퍼런스 데이터에 해당되는지 여부를 판단한다. 앞서 설명한 바와 같이, 신호 크기 분산, 최대값 ToA 분산 및 주파수에 대한 정규화를 수행한 후 제스처를 인식하는 것이 바람직하다.
이상에서 설명한 본 발명의 제스처 인식 장치 및 방법은 다양한 용도의 제스처 인식에 활용될 수 있으며 특히 항상 밝은 조명이 제공될 수 없는 환경에 있는 운전자의 제스처 인식에 효율적으로 활용될 수 있을 것이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 사용자의 제스처에 의해 반사되는 레이더 신호를 수신하는 신호 수신부;
    상기 신호 수신부에서 수신된 신호로부터 클러터를 제거하는 클러터 제거부;
    상기 클러터가 제거된 반사 신호로부터 신호 크기의 분산을 획득하는 신호 크기 분산 획득부;
    상기 클러터가 제거된 반사 신호를 구성하는 패스트 타임 신호들의 최대값에 상응하는 ToA(Time of Arrival)를 획득하고, 획득한 최대값에 상응하는 ToA들의 분산을 획득하는 최대값 ToA 분산 획득부;
    상기 클러터가 제거된 반사 신호의 주파수를 연산하는 주파수 획득부;
    미리 설정된 다수의 레퍼런스 제스처들의 레퍼런스 특징 정보를 저장하는 레퍼런스 데이터베이스; 및
    상기 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 레퍼런스 데이터베이스에 저장된 레퍼런스 특징 정보를 이용하여 상기 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지를 판단하는 제스처 인식부를 포함하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 클러터가 제거된 반사 신호의 주기성을 의도하여 의도된 제스처인지 여부를 판단하는 피팅부를 더 포함하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  3. 제1항에 있어서,
    상기 주파수 획득부는 상기 최대값 ToA 분산에 기초하여 상기 사용자의 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 여부를 판단하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  4. 제3항에 있어서,
    상기 사용자의 제스처가 움직임이 작은 제스처로 판단되는 경우, 상기 주파수 획득부는 상기 클러터가 제거된 반사 신호에 대해 FFT를 수행하여 주파수를 연산하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  5. 제3항에 있어서,
    상기 사용자의 제스처가 움직임이 큰 제스처로 판단되는 경우, 상기 주파수 획득부는 각 패스트 타임 신호의 상기 최대값에 상응하는 ToA들로부터 상기 최대값에 상응하는 ToA들의 평균을 차감한 신호에 대한 FFT를 수행하여 주파수를 연산하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  6. 제3항에 있어서,
    상기 피팅부는 움직임이 작은 제스처는 정현파 피팅을 통해 주기성을 가진 신호인지 여부를 판단하고 움직임이 큰 제스처는 R-square 피팅을 통해 주기성을 가진 신호인지 여부를 판단하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  7. 제1항에 있어서,
    상기 레퍼런스 특징 정보는 상기 레퍼런스 제스처별 신호 크기 분산, 최대값 ToA 분산 및 주파수에 대한 K-means 클러스터링 정보인 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  8. 제7항에 있어서,
    상기 제스처 인식부는 상기 사용자의 제스처로부터 획득하는 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 각 레퍼런스 제스처별 클러스터 중심과의 K-means 공간에서의 거리 정보를 이용하여 제스처를 인식하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 장치.
  9. 제1항에 있어서,
    상기 제스처 인식부는 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수를 정규화한 후 제스처 인식을 수행하는 것을 특징으로 하는 제스처 인식 장치.
  10. 사용자의 제스처에 의해 반사되는 레이더 신호를 수신하는 단계(a);
    상기 단계(a)에서 수신된 신호로부터 클러터를 제거하는 단계(b);
    상기 클러터가 제거된 반사 신호로부터 신호 크기 분산을 획득하는 단계(c);
    상기 클러터가 제거된 반사 신호를 구성하는 패스트 타임 신호들의 최대값에 상응하는 ToA(Time of Arrival)를 획득하고, 획득한 최대값에 상응하는 ToA들의 분산인 최대값 ToA 분산을 획득하는 단게(d);
    상기 클러터가 제거된 반사 신호의 주파수를 연산하여 획득하는 단계(e); 및
    미리 설정된 다수의 레퍼런스 제스처들의 레퍼런스 특징 정보와 상기 신호 크기 분산, 최대값 ToA 분산 및 주파수를 이용하여 상기 사용자의 제스처가 어떠한 레퍼런스 제스처에 해당되는지를 판단하는 단계(f)를 포함하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.
  11. 제10항에 있어서,
    상기 단계(e)는 상기 최대값 ToA 분산에 기초하여 상기 사용자의 제스처가 움직임이 큰 제스처인지 아니면 움직임이 작은 제스처인지 여부를 판단하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.
  12. 제10항에 있어서,
    상기 사용자의 제스처가 움직임이 작은 제스처로 판단되는 경우, 상기 단계(e)는 상기 클러터가 제거된 반사 신호에 대해 FFT를 수행하여 주파수를 연산하고, 상기 사용자의 제스처가 움직임이 큰 제스처로 판단되는 경우, 상기 주파수 획득부는 각 패스트 타임 신호의 상기 최대값에 상응하는 ToA들로부터 상기 최대값에 상응하는 ToA들의 평균을 차감한 신호에 대한 FFT를 수행하여 주파수를 연산하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.
  13. 제10항에 있어서,
    상기 레퍼런스 특징 정보는 상기 레퍼런스 제스처별 신호 크기 분산, 최대값 ToA 분산 및 주파수에 대한 K-means 클러스터링 정보인 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.
  14. 제13항에 있어서,
    상기 단계(f)는 상기 사용자의 제스처로부터 획득하는 신호 크기 분산, 최대값 ToA 분산 및 주파수와 상기 각 레퍼런스 제스처별 클러스터 중심과의 K-means 공간에서의 거리 정보를 이용하여 제스처를 인식하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.
  15. 제10항에 있어서,
    상기 획득한 신호 크기 분산, 최대값 ToA 분산 및 주파수를 정규화하는 단계를 더 포함하는 것을 특징으로 하는 레이더를 이용한 제스처 인식 방법.

KR1020180010200A 2018-01-26 2018-01-26 레이더를 이용한 제스처 인식 장치 및 방법 KR102116604B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180010200A KR102116604B1 (ko) 2018-01-26 2018-01-26 레이더를 이용한 제스처 인식 장치 및 방법
US16/964,687 US11474613B2 (en) 2018-01-26 2019-01-25 Gesture recognition device and method using radar
PCT/KR2019/001115 WO2019147076A1 (ko) 2018-01-26 2019-01-25 레이더를 이용한 제스처 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180010200A KR102116604B1 (ko) 2018-01-26 2018-01-26 레이더를 이용한 제스처 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190091132A true KR20190091132A (ko) 2019-08-05
KR102116604B1 KR102116604B1 (ko) 2020-05-28

Family

ID=67395050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010200A KR102116604B1 (ko) 2018-01-26 2018-01-26 레이더를 이용한 제스처 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US11474613B2 (ko)
KR (1) KR102116604B1 (ko)
WO (1) WO2019147076A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050797A (zh) * 2021-03-26 2021-06-29 深圳市华杰智通科技有限公司 一种通过毫米波雷达实现手势识别的方法
CN113721219B (zh) * 2021-10-08 2023-07-04 中国电子科技集团公司第三十八研究所 一种基于多参数聚类的雷达信号分选方法和系统
CN116482680B (zh) * 2023-06-19 2023-08-25 精华隆智慧感知科技（深圳）股份有限公司 一种身体干扰识别方法、装置、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040642A (ko) * 2011-10-14 2013-04-24 삼성테크윈 주식회사 레이다 센서 및 이를 이용한 물체 검출 방법
KR20150114868A (ko) * 2014-04-02 2015-10-13 삼성전자주식회사 패턴 인식을 위한 제스처를 선별하는 방법 및 장치
KR101788784B1 (ko) * 2016-06-22 2017-10-19 주식회사 에스원 Uwb 센서를 이용해 제스처를 인식하는 방법 및 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7830297B1 (en) * 2007-12-20 2010-11-09 Itt Manufacturing Enterprises, Inc. System and method for detecting and de-interleaving radar emitters using snapshots of varying lengths
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US8660300B2 (en) * 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US8854249B2 (en) * 2010-08-26 2014-10-07 Lawrence Livermore National Security, Llc Spatially assisted down-track median filter for GPR image post-processing
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8223589B2 (en) * 2010-10-28 2012-07-17 Hon Hai Precision Industry Co., Ltd. Gesture recognition apparatus and method
US20120200486A1 (en) * 2011-02-09 2012-08-09 Texas Instruments Incorporated Infrared gesture recognition device and method
US8890684B2 (en) * 2011-06-17 2014-11-18 Checkpoint Systems, Inc. Background object sensor
US9551758B2 (en) * 2012-12-27 2017-01-24 Duracell U.S. Operations, Inc. Remote sensing of remaining battery capacity using on-battery circuitry
US9494675B2 (en) * 2013-04-17 2016-11-15 Applied Signals Intelligence, Inc. System and method for nonlinear radar
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
KR20150121949A (ko) * 2014-04-22 2015-10-30 삼성전자주식회사 제스처를 인식하는 방법 및 장치
US10845463B2 (en) * 2015-07-17 2020-11-24 Origin Wireless, Inc. Method, apparatus, and system for wireless object scanning
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10092192B2 (en) * 2014-12-24 2018-10-09 Bahman LASHKARI Methods for generating multiple mismatched coded excitation signals
EP3289434A1 (en) * 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10928499B2 (en) * 2016-01-26 2021-02-23 Novelic D.O.O. Millimeter-wave radar sensor system for gesture and movement analysis
WO2018146633A1 (en) * 2017-02-10 2018-08-16 Uhnder, Inc. Programmable code generation for radar sensing systems
US10488939B2 (en) * 2017-04-20 2019-11-26 Microsoft Technology Licensing, Llc Gesture recognition
EP3727145B1 (en) * 2017-12-22 2024-01-24 ResMed Sensor Technologies Limited Apparatus, system, and method for physiological sensing in vehicles
WO2019195327A1 (en) * 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
KR102661487B1 (ko) * 2018-05-04 2024-04-26 구글 엘엘씨 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출
KR102194320B1 (ko) * 2018-11-30 2020-12-22 이화여자대학교 산학협력단 레이더 영상 재구성 기반 객체 추적 장치 및 방법
US11609305B2 (en) * 2019-12-27 2023-03-21 Intel Corporation Online radar phase calibration through static environment measurements

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040642A (ko) * 2011-10-14 2013-04-24 삼성테크윈 주식회사 레이다 센서 및 이를 이용한 물체 검출 방법
KR20150114868A (ko) * 2014-04-02 2015-10-13 삼성전자주식회사 패턴 인식을 위한 제스처를 선별하는 방법 및 장치
KR101788784B1 (ko) * 2016-06-22 2017-10-19 주식회사 에스원 Uwb 센서를 이용해 제스처를 인식하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
WO2022097894A1 (ko) * 2020-11-03 2022-05-12 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102116604B1 (ko) 2020-05-28
US11474613B2 (en) 2022-10-18
WO2019147076A1 (ko) 2019-08-01
US20200348761A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US10592736B2 (en) Method and system for CSI-based fine-grained gesture recognition
KR102116604B1 (ko) 레이더를 이용한 제스처 인식 장치 및 방법
US10871548B2 (en) Systems and methods for transient acoustic event detection, classification, and localization
CN105844216B (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
KR101157073B1 (ko) 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
CN108182418B (zh) 一种基于多维声波特征的键击识别方法
CN101770566B (zh) 快速三维人耳识别方法
US11630518B2 (en) Ultrasound based air-writing system and method
CN105973449B (zh) 一种光纤振源识别方法、装置及系统
Fernandez-Lopez et al. Optimizing resources on smartphone gait recognition
AU2013204156B2 (en) Classification apparatus and program
Chen et al. Air writing via receiver array-based ultrasonic source localization
CN112137620B (zh) 一种基于超宽带雷达的人体微弱呼吸信号检测方法
CN113064483A (zh) 一种手势识别方法以及相关装置
JP2019074478A (ja) 識別装置、識別方法およびプログラム
CN108932468B (zh) 一种适用于心理学的面部识别方法
Lee et al. Digit recognition in air-writing using single millimeter-wave band radar system
CN114397963A (zh) 一种手势识别方法、装置、电子设备及存储介质
CN108549076B (zh) 一种基于速度节奏图的多种类无人机场景识别方法
CN111880146B (zh) 声源定向方法和装置及存储介质
CN110458118B (zh) 基于信道状态信息的简单手语识别方法
CN108845679B (zh) 远距离用户触控屏上全键盘输入获取方法
CN110287514A (zh) 基于振动信号处理的超高速碰撞源智能定位方法
CN111259726B (zh) 在线笔迹认证中一种笔画动态特征的提取及认证方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right