KR102107685B1 - 신호 검출 및 인식을 위한 장치 및 방법 - Google Patents

신호 검출 및 인식을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102107685B1
KR102107685B1 KR1020190126370A KR20190126370A KR102107685B1 KR 102107685 B1 KR102107685 B1 KR 102107685B1 KR 1020190126370 A KR1020190126370 A KR 1020190126370A KR 20190126370 A KR20190126370 A KR 20190126370A KR 102107685 B1 KR102107685 B1 KR 102107685B1
Authority
KR
South Korea
Prior art keywords
signal
radar
gesture
user
reflected
Prior art date
Application number
KR1020190126370A
Other languages
English (en)
Inventor
김형민
김한준
윤재준
이효련
박종희
Original Assignee
주식회사 에이치랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치랩 filed Critical 주식회사 에이치랩
Priority to KR1020190126370A priority Critical patent/KR102107685B1/ko
Priority to US16/707,200 priority patent/US10775483B1/en
Application granted granted Critical
Publication of KR102107685B1 publication Critical patent/KR102107685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/872—Combinations of primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

레이더 기반 휴먼 모션 인식에 대해 개시한다. 레이더 기반 휴먼 모션 인식 장치는 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 제1 레이더와, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더와, 상기 제1 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제1 반사 신호 및 상기 제2 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제2 반사 신호를 수신하는 안테나부 및 상기 제2 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하는 제어부를 포함한다.

Description

신호 검출 및 인식을 위한 장치 및 방법{METHOD AND APPARUTUS FOR SIGNAL DETECTING AND RECOGNITION}
기술분야는 신호 검출 및 인식을 위한 방법 및 장치에 관한 것이다.
레이더 기반의 휴먼 모션 인식은 환경에서 실시간으로 사용자의 핸드 제스처를 검출 및 인식하고, 핸드 제스처를 통해 디바이스를 제어할 수 있는 기술로 각광받고 있다.
레이더 기반의 휴먼 모션 인식은 광학 방식의 제스처 인식에 비해 정확하며 소형으로 구현 가능하고 비용면에서 유리한 것으로 알려져 있다. 또한, 레이더 기반의 휴먼 모션 인식은 영상을 통한 제스처 인식에 비해 처리해야할 데이터 양이 상대적으로 적고, 개인 정보 보호에 유리한 면이 있다.
최근 레이더 센서가 장착된 웨어러블 디바이스를 통해 손동작이나 팔의 움직임을 감지하는 방식이나, 광대역 대역폭을 지원하는 FMCW(Frequency Modulated Continuous Wave)를 이용한 모션 인식 기술이 제안되고 있다.
그러나, 레이더 센서가 장착된 웨어러블 디바이스를 이용한 제스처 인식은 웨어러블 디바이스에서 레이더를 송신하고 유저의 맞은편에 위치한 고정 디바이스에서 반사 신호를 수신하기 때문에 제스처의 인식이나 제공 가능한 서비스가 제한될 수 있다.
FMCW 등의 광대역 연속 파 레이더(Continuous wave Radar) 신호를 이용하는 방식은 반복적인 학습을 통해 휴먼 액션에 의한 제스처를 인식하는 방식이다. 그러나, 광대역 연속 파 레이더 신호를 이용하는 방식은 손동작이나 팔의 움직임을 인식하는데 한계가 있다.
멀티 레이더 기반 디바이스 주변 상황 인식 및 다양한 휴먼 모션 인식이 가능한 방법 및 장치를 제공하고자 한다.
유저의 움직임과 레이더 신호의 상호 작용에 의해 발생하는 반사파를 이용하여 움직임 방향 및 제스처 인식이 가능한 방법 및 장치를 제공하고자 한다.
복수의 레이더 또는 단일 레이더의 파라미터 조정을 통해 멀티 레이더 송신 프레임을 구성하고, 멀티 레이더 송신 프레임을 통해 멀티 레이더 필드를 제공함으로써, 다양한 휴먼 모션 인식이 가능한 방법 및 장치를 제공하고자 한다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 방법은 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 단계와, 상기 오브젝트에 의해 발생하는 상기 제1 레이더 신호의 반사 신호를 수신하는 단계와, 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계와, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하는 단계와, 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는 단계와, 상기 벡터 값 및 상기 특성 값을 서버로 전송하는 단계 및 상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신하는 단계를 포함한다.
상기 특성값을 추출하는 단계는, 상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정소)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출하는 단계 및 상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는 단계를 포함할 수 있다.
상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계에서 수행되는 제1 신호처리는 수신된 제1 반사 신호에 윈도우 함수와 고속 푸리에 변환을 통해 거리 정보를 추출하는 거리-처리(range-processing)와, 상대적으로 높은 반사율을 갖는 클러터의 신호크기를 억제하는 에코 억제 처리(echo suppression processing) 및 위치 감지를 위한 포인트 정보를 추출하는 도플러 처리를 포함하고, 상기 벡터 값을 추출하는 단계에서 수행되는 제1 신호처리는 상기 에코 억제 처리의 수행 없이 상기 도플러 처리를 수행할 수 있다.
상기 제2 신호처리는 3차원 스펙트럼 생성을 위한 디지털 빔포밍 처리(digital beamforming processing)을 포함할 수 있다.
상기 특성 값은 미세 도플러 신호의 패턴 정보 또는 상기 제2 반사 신호에 대한 적어도 하나의 디지털 신호 처리를 수행한 결과 값의 패턴 정보를 포함할 수 있다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 방법은 상기 벡터 값 및 상기 특성 값에 기초하여 로컬 제스처 정보를 결정하고, 상기 서버로부터 수신된 제스처 정보와 비교하는 단계; 및
상기 로컬 제스처 정보와 상기 서버로부터 수신된 제스처 정보가 일치하면 상기 로컬 제스처 정보를 어플리케이션 또는 구동 시스템으로 전달하는 단계를 더 포함할 수 있다.
상기 벡터 값 및 상기 특성 값을 서버로 전송하는 단계는 현재 위치 정보를 확인하고, 상기 현재 위치 정보와 함께 상기 벡터 값 및 상기 특성 값을 서버로 전송하는 것을 포함할 수 있다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 방법은 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 단계와, 상기 오브젝트에 의해 발생하는 상기 제1 레이더 신호의 반사 신호를 수신하는 단계와, 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계와, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면, 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 제스처 인식을 위한 제2 레이더 신호를 송신하는 단계와, 상기 오브젝트에 의해 발생하는 상기 제2 레이더 신호의 반사 신호를 수신하는 단계와, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하는 단계 및 상기 상황 정보를 어플리케이션 또는 구동 시스템으로 전달하는 단계를 포함한다.
상기 제1 레이더 신호는 펄스 신호를 이용하는 펄스 레이더 신호이고, 상기 제2 레이더 신호는 시간에 대해 연속적으로 출력되는 연속파 레이더(Continuous wave Radar) 신호일 수 있다.
상기 제2 레이더 신호를 송신하는 단계는 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하는 것을 포함할 수 있다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치는 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 제1 레이더와, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더와, 상기 제1 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제1 반사 신호 및 상기 제2 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제2 반사 신호를 수신하는 안테나부와, 상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 생성하고, 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부 및 상기 벡터 값 및 상기 특성 값을 서버로 전송하고, 상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신하는 통신부를 포함한다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치는, 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 제1 레이더와, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더와, 상기 제1 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제1 반사 신호 및 상기 제2 레이더 신호에 의해 상기 오브젝트로부터 반사되는 제2 반사 신호를 수신하는 안테나부 및 상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 제스처 인식을 위한 제2 레이더 신호를 송신하고, 상기 제2 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하고, 상기 상황 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부를 포함한다.
상기 제어부는 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 출력하도록 상기 제1 레이더 및 상기 제2 레이더를 제어할 수 있다.
일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치는, 레이더 신호를 송신하는 레이더와, 오브젝트로부터 반사되는 반사 신호를 수신하는 안테나부 및 제1 시간 구간에서 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하도록 상기 레이더에 대한 파라미터를 설정하고, 상기 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 제2 시간 구간에서 제스처 인식을 위한 제2 레이더 신호를 송신하도록 상기 레이더에 대한 파라미터를 조정하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하고, 상기 상황 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부를 포함한다.
멀티 레이더 기반 디바이스 주변 상황 인식 및 다양한 휴먼 모션 인식이 가능한 방법 및 장치를 제공될 수 있다.
유저의 움직임과 레이더 신호의 상호 작용에 의해 발생하는 반사파를 이용하여 움직임 방향 및 제스처 인식이 가능한 방법 및 장치를 제공될 수 있다.
복수의 레이더 또는 단일 레이더의 파라미터 조정을 통해 멀티 레이더 송신 프레임을 구성하고, 멀티 레이더 송신 프레임을 통해 멀티 레이더 필드를 제공함으로써, 다양한 휴먼 모션 인식이 가능하다.
도 1은 본 발명의 일 실시예에 따른 레이더 기반 레이더 기반 휴먼 모션 인식 서비스 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모션 인식 장치의 기본적인 동작 원리를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치의 구성을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 펄스 레이더의 송수신 개념을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 FMCW 레이더 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치의 구성을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 레이더 기반 휴먼 모션 인식 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명은 다른 실시예에 따른 레이더 기반 휴먼 모션 인식 방법을 설명하기 위한 흐름도이다.
도 9은 본 발명의 일 실시예에 따른 멀티 레이더 송신 프레임을 설명하기 위한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 레이더 기반 레이더 기반 휴먼 모션 인식 서비스 시스템을 나타내는 도면이다.
도 1을 참조하면, 레이더 기반 휴먼 모션 인식 서비스 시스템은 제스처 인식 서비스를 제공하기 위한 장치(120) 및 서버/클라우드(130)을 포함한다.
본 명세서에서 휴먼 모션 인식은 제스처 인식을 포함하고 사람의 각종 움직임 및 움직임 방향, 움직임 속도를 포함하는 상위 개념을 의미한다. 다만, 설명의 편의를 위해 제스처 인식은 휴먼 모션 인식과 동일한 의미로 사용될 수 있다.
제스처 인식 서비스를 제공하기 위한 장치(120)는 레이더 센서(121)의 제스처 인식 영역(211)에서 사용자(110)의 제스처를 인식할 수 있다.
이때, 제스처 인식 영역(211)은 사용자(110)의 손 또는 팔의 움직임을 감지하는 영역일 수 있다. 따라서, 사용자 입장에서 제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111)으로 인식할 수 있다.
제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111) 보다 크거나 작은 공간일 수 있다. 다만, 본 명세서에서 설명의 편의를 위해 제스처 인식 영역(211)은 손 또는 팔을 움직임이는 공간(111)과 동일한 개념으로 설명하기로 한다.
서버/클라우드(130)는 네트워크를 통해 장치(120)와 연결되는 클라우드 시스템 또는 서비스를 제공하기 위한 서버 시스템일 수 있다.
장치(120)는 제스처 인식을 위해 수집되는 모든 데이터를 서버/클라우드(130)로 전송할 수 있다.
서버/클라우드(130)는 장치(120)로부터 수집되는 데이터에 기초하여 기계 학습을 통해 제스처 인식 성능을 개선할 수 있다.
제스처 인식을 위한 학습 과정은 레이더 센서의 최적화를 위한 레이더 센서 설정 정보를 장치(120)로 전송하고, 장치(120)로부터 설정 완료 신호를 수신하는 과정, 학습을 위한 데이터를 장치(120)로부터 수신하는 과정, 학습 모델의 파라미터를 결정하는 과정을 포함할 수 있다.
이때, 레이더 센서의 최적화는 데이터 슬라이스의 조정, 칩 시그널의 Frame Sequence 조정, 아날로그 디지털 컨버팅을 위한 샘플 레이트 조정 등을 포함할 수 있다.
학습 모델의 파라미터를 결정하는 과정은 Sampling data quantity, Sampling data interval 조정, 최적화 알고리즘 조정 등을 포함할 수 있다.
또한, 서버/클라우드(130)는 장치(120)로부터 제어 신호를 수신하고, 제어 신호에 따른 동작을 수행하는 다른 장치로 제어 신호를 전달할 수도 있다.
한편, 제스처 인식 서비스를 제공하기 위한 장치(120)는 레이더 센서가 장착된 다양한 형태의 디바이스 일 수 있다. 예를 들어, 장치(120)는 제스처 인식 기반의 UX/UI를 제공하는 스마트폰, 텔레비전, 컴퓨터, 자동차, 도어 폰, 게임 컨트롤러 일 수 있다. 또한, 장치(120)는 USB 등의 커넥터를 통해 스마트 폰과 연결되는 형태로 구성될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 모션 인식 장치의 기본적인 동작 원리를 설명하기 위한 예시도이다.
도 2를 참조하면, 일 실시예에 따른 휴먼 모션 인식 장치(220)는 레이더 신호를 송신하고 송신된 레이더 신호는 오브젝트(210)과의 상호 작용으로 인해 반사 신호를 발생시킨다.
이때, 송신된 레이더 신호는 'emitted wave', 또는 'emitted radar signal' 또는 'transmitted radar signal'과 같이 표현될 수 있다. 설명의 편의를 위해 본 명세서에서 송신된 레이더 신호는 'emitted radar signal'로 표현하기로 한다.
이때, 반사 신호는 'reflected wave' 또는 'reflected signal'과 같이 표현될 수 있다. 설명의 편의를 위해 본 명세서에서 반사 신호는 'reflected signal'로 표현하기로 한다.
오브젝트(210)는 휴먼 바디일 수 있고, 사물일 수도 있다. 다만, 일 실시예에서 오브젝트(210)는 주로 제스처 또는 모션 인식(recognition)의 대상이 되는 사용자 또는 사람이라 가정한다.
휴먼 모션 인식 장치(220)는 복수의 레이더 또는 하나의 레이더에 대한 파라미터 조정을 통해 상황 감지 및 제스처 인식을 수행할 수 있다.
예를 들어, 휴먼 모션 인식 장치(220)는 오브젝트(210)의 접근이나 존재를 감지하기 위 제1 레이더를 송신하고, 제1 레이더의 반사 신호를 신호 처리하여 오브젝트(210)의 위치 검출(position detection)을 수행할 수 있다.
오브젝트(210)의 위치를 파악하기 위한 제1 레이더 신호는 기 설정된 주파수 대역을 사용할 수 있다. 여기서, 휴먼 모션 인식 장치(220)는 오브젝트(210)까지의 포인트 정보를 검출하기 적합한 변조 주기, 송신 전력, 신호 처리를 위한 샘플링 레이트 등의 파라미터를 설정할 수 있다.
휴먼 모션 인식 장치(220)는 오브젝트(210)가 기 설정된 제스처 인식 영역(211)에 도달하였는지 여부를 판단할 수 있다.
휴먼 모션 인식 장치(220)는 오브젝트(210)가 기 설정된 제스처 인식 영역(211) 내에 있는 것으로 판단하면, 제스처 인식을 위한 제2 레이더를 송신할 수 있다.
휴먼 모션 인식 장치(220)는 오브젝트(210)의 핸드 제스처(213)를 인식하기 위해 레이더의 파라미터를 조정할 수 있다.
제2 레이더 신호는 제1 레이더 신호와 동일한 주파수 대역일 수 있고, 제1 레이더 신호에 비해 더 빠른 변조 주기, 탐지 속도, 속도 해상도로 설정될 수 있다. 또한, 제2 레이더 신호의 반사 신호를 처리하는 신호 처리는 제1 레이더 신호의 반사 신호 처리를 위한 신호 처리에 비해 더 빠른 샘플링 레이트로 처리될 수 있고, 더 복잡한 과정을 거쳐 신호 처리될 수도 있다.
여기서, '신호 처리'는 수신 신호에서 원하는 정보를 얻기 위한 다양한 알고리즘을 적용하는 과정을 의미한다.
오브젝트의 위치 검출 또는 감지를 위한 신호 처리의 결과를 통해 거리, 속도, 각도 정보가 획득될 수 있다.
예를 들어, 수신 신호에 윈도우 함수와 고속 푸리에 변환을 수행하는 거리-처리(range-processing), 도플러 처리, 에코 신호 억제 처리, 빔스캔 또는 디지털 빔포밍 등을 포함할 수 있다.
휴먼 모션 인식 장치(220)는 하나의 레이더 또는 복수의 레이더를 구비할 수 있다.
휴먼 모션 인식 장치(220)는 짧은 펄스폭 구간동안 송신이 이루어지고 다음 펄스의 송신 전까지 수신이 이루어지는 펄스 레이더 및 시간에 따라 선형적으로 주파수가 변조된 연속파를 송신하는 레이더 중 적어도 어느 하나를 구비할 수 있다.
휴먼 모션 인식 장치(220)는 신호 처리된 반사 신호의 패턴, 특성 정보 등을 기 학습된 후 저장되어 있는 데이터와 비교함으로써, 제스처 인식을 수행할 수 있다.
휴먼 모션 인식 장치(220)는 스마트 폰, 게임 컨트롤러, 도어 폰, 텔레비전 및 개인용 컴퓨터에 내장되거나, 커넥터를 통해 스마트 디바이스와 연결될 수 있다. 또한, 휴먼 모션 인식 장치(220)는 네트워크를 통해 스마트 폰, 게임 컨트롤러, 도어 폰, 텔레비전 및 개인용 컴퓨터 등의 디바이스와 연결될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치의 구성을 설명하기 위한 도면이다.
도 3을 참조하면, 휴먼 모션 인식 장치(300)는 레이더(310), 안테나부(320), 제어부(330)를 포함할 수 있다. 휴먼 모션 인식 장치(300)는 통신부(340)를 더 포함할 수 있다.
레이더(310)는 레이더 신호를 송신한다.
안테나부(320)는 송신된 레이더 신호에 대해 오브젝트로부터 반사된 신호를 수신한다. 이때, 안테나부(320)는 모노 펄스 안테나, 위상 배열 안테나, 또는 다채널 수신기 구조의 배열 안테나로 구성될 수 있다.
제어부(330)는 적어도 하나의 프로세서를 포함할 수 있다. 이때 제어부(330)는 명령어(instructions) 또는 프로그램이 기록된 적어도 하나의 컴퓨터 인식 가능 스토리지(one or more computer - readable storage media)와 연결될 수 있다.
따라서, 제어부(330)는 제1 시간 구간에서 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신하도록 상기 레이더(310)에 대한 파라미터를 설정하고, 상기 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
또한, 제어부(330)는 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 제2 시간 구간에서 제스처 인식을 위한 제2 레이더 신호를 송신하도록 상기 레이더(310)에 대한 파라미터를 조정하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하고, 상기 상황 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성될 수 있다.
이때, 상황정보는 현재 실행중인 어플리케이션에 의해 결정될 수 있다.
예를 들어, 현재 실행중인 어플리케이션이 제스처 인식을 통한 유저 인터페이스를 제공하는 경우 상황 정보는 제스처 인식일 수 있다. 또한, 현재 활성화되어 있는 센서 모듈이 있는 경우 상황 정보는 센서 모듈에 대한 제어 정보일 수 있다. 이때 제어 정보는 제스처 인식으로 생성되고, 인식된 제스처에 대응하는 제어 신호 일 수 있다.
통신부(340)는 외부 서버 또는 디바이스와 유무선 네트워크를 통해 데이터를 송수신 할 수 있다.
도 4는 일 실시예에 따른 펄스 레이더의 송수신 개념을 설명하기 위한 도면이다.
펄스 레이더는 짧은 펄스폭 구간동안 송신이 이루어지고 다음 펄스의 송신 전까지 수신이 이루어지며, 높은 거리 해상도가 요구되는 경우에 사용될 수 있다.
펄스폭
Figure 112019103926421-pat00001
과 거리 해상도는 수학식 1의 관계가 성립한다.
[수학식]
Figure 112019103926421-pat00002
여기서, c는 레이더, 즉 빛의 속도를 나타낸다.
수학식 1을 참조하면, 거리해상도 10cm를 구현하기 위해서는 0.67ns 정도의 펄스폭이 필요하고, 1.5GHz 이상의 주파수 대역이 필요하다.
분해능과 탐지거리 향상을 위해 LFM(Linear Frequency Modulation), PCM(Phase
Coded Modulation)과 같은 변조된 펄스 파형을 사용하는 펄스 압축 방식이 적용될 수 있다.
도 5는 일 실시예에 따른 FMCW 레이더 개념을 설명하기 위한 도면이다.
FMCW 레이더는 시간에 따라 선형적으로 주파수 변조된 연속파를 송신한다.
도 5에서 B는 변조 주파수 대역폭, fc는 중심주파수, T는 주기, Beat Freq.는 비트(beat) 신호의 주파수를 의미한다.
비트(beat) 신호는 물체로부터 반사된 수신신호(RX)와 송신 신호를 서로 곱하여 주파수의 합 성분은 버리고 차 성분을 구한 결과값이다.
비트 신호의 주파수 fb는
Figure 112019103926421-pat00003
이고, Up-chirp(주파수가 선형적으로 증가하는 구간)에 의한 비트 주파수를 fbu, Down-Chirp(주파수가 선형적으로 감소 하는 구간)에 의한 비트 주파수를 fbd라 하면, 타겟까지의 거리 R, 타겟의 상대속도 υ은 수학식 2 및 3과 같이 정의될 수 있다.
[수학식 2]
Figure 112019103926421-pat00004
[수학식 3]
Figure 112019103926421-pat00005
도 6은 본 발명의 다른 일 실시예에 따른 레이더 기반 휴먼 모션 인식 장치의 구성을 설명하기 위한 도면이다.
도 6을 참조하면, 휴먼 모션 인식 장치(600)는 레이더부(610), 안테나부(620), 제어부(630)를 포함한다. 휴먼 모션 인식 장치(600)는 통신부(640)을 더 포함할 수 있다.
레이더부(610)는 복수의 레이더들(611, 613, 615)을 포함한다.
복수의 레이더들(611, 613, 615) 각각은 동일한 주파수 대역으로 동작하거나 서로 다른 주파수 대역을 동작할 수 있다.
제1 레이더(611)는 오브젝트의 위치 또는 제1 상황을 파악하기 위한 제1 레이더 신호를 송신한다.
제2 레이더(613)는 제스처 인식 또는 제2 상황을 파악하기 위한 제2 레이더 신호를 송신한다.
이때, 제1 상황은 사물의 존재, 유저의 접근, 사물의 움직임 또는 유저의 움직임이 발생했음을 나타낸다. 제2 상황은 제스처 인식, 연결된 센서의 제어 등 현재 실행 중인 어플리케이션 또는 동작 모드에 따라 인식되는 상황일 수 있다.
상기 제1 레이더 신호는 펄스 신호를 이용하는 펄스 레이더 신호이고, 상기 제2 레이더 신호는 시간에 대해 연속적으로 출력되는 연속파 레이더(Continuous wave Radar) 신호일 수 있다.
안테나부(620)는 제1 레이더 신호에 의해 오브젝트로부터 반사되는 제1 반사 신호 및 제2 레이더 신호에 의해 오브젝트로부터 반사되는 제2 반사 신호를 수신한다.
안테나부(620)는 모노 펄스 안테나, 위상 배열 안테나, 또는 다채널 수신기 구조의 배열 안테나로 구성될 수 있다.
제어부(630)는 도 7 또는 도 8에 도시된 방법을 수행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
따라서, 제어부(630)는 상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면, 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 생성하고, 상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정소)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출하고, 상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하도록 구성될 수 있다.
또한, 제어부(630)는 상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출하고, 상기 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 제스처 인식을 위한 제2 레이더 신호를 송신하고, 상기 제2 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정하고, 상기 상황 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성될 수 있다.
제어부(630)는 상기 오브젝트의 위치가 제스처 인식 영역 내에 있으면 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 출력하도록 상기 제1 레이더(611) 및 상기 제2 레이더(613)를 제어할 수 있다.
통신부(640)는 근거리 유무선 통신 및 원거리 유무선 통신을 수행하기 위한 회로를 포함할 수 있다.
통신부(640)는 상기 벡터 값 및 상기 특성 값을 서버로 전송하고, 상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신한다.
도 7은 본 발명의 일 실시예에 따른 레이더 기반 휴먼 모션 인식 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 방법은 도 3에 도시된 장치 또는 도 6에 도시된 장치에 의해 수행될 수 있다.
710단계에서 장치는, 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신한다.
720단계에서 장치는, 오브젝트에 의해 발생하는 상기 제1 레이더 신호의 반사 신호를 수신하고, 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 위치를 검출한다.
730단계에서 장치는, 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 진입했는지 혹은 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단한다.
기 설정된 제스처 인식 영역 내에 오브젝트가 존재하지 않는 경우 장치는 710단계부터 다시 수행할 수 있다.
한편, 오브젝트의 위치가 제스처 인식 영역 내에 있으면, 740단계에서 장치는 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 제스처 인식을 위한 제2 레이더 신호를 송신한다.
이때, 현재 동작 모드는 현재 실행중인 어플리케이션이 제스처 인식을 지원하는 경우 제스처 인식 모드로 결정될 수 있다.
750단계에서 장치는 오브젝트에 의해 발생하는 상기 제2 레이더 신호의 반사 신호를 수신하고, 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 상황 정보를 결정한다.
이때, 상황 정보는 오브젝트의 액션 또는 움직임에 대응하는 인식된 제스처 정보일 수 있다. 또한 상황 정보는 인식된 제스처에 대응하여 어플리케이션을 동작하도록 하는 제어 신호일 수도 있다. 예를 들어, 유저가 손을 좌에서 우로 움직이고, 인식된 제스처가 손을 좌에서 우로 움직이는 제스처인 경우 '손을 좌에서 우로 움직인 것'은 인식된 제스처 정보이고, 유저의 제스처에 따라 '현재 디스플레이 된 화면을 좌 또는 우로 넘기는 것'은 제어 정보이다.
760단계에서 장치는 상황 정보를 어플리케이션 또는 구동 시스템으로 전달한다. 이때, 구동 시스템은 장치의 센서, 디스플레이, 조명 등일 수 있다. 또한 구동 시스템은 외부 서버일 수 있고, 이때 상황 정보는 통신부를 통해 외부 서버로 전달될 수 있다.
한편, 740단계에서 장치는 제2 레이더 신호를 송신하기 위해 단계는 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신할 수 있다.
또한, 750단계에서 장치는 기 학습되어 저장된 데이터와 신호 처리된 데이터를 비교하여 제스처를 인식할 수 있다.
또한, 750 단계에서 장치는 도 8에 도시된 840 단계 및 850 단계를 수행하고, 벡터 값 및 특성 값을 이용하여 오브젝트의 제스처를 인식할 수 있다.
예를 들어, 유저의 반복된 입력에 의해 특정 제스처에 대한 벡터 값 및 특성 값이 저장되어 있는 경우 장치는 저장되어 있는 정보와 비교를 통해 제스처를 인식할 수 있다.
만일, 저장되어 있는 정보와 일치하는 벡터 값 및 특성 값이 없는 경우 장치는 제스처 인식 실패를 알리거나 서버로 보고할 수 있다.
도 8은 본 발명은 다른 실시예에 따른 레이더 기반 휴먼 모션 인식 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 방법은 도 3 또는 도 6에 도시된 장치에 의해 수행될 수 있다.
810단계에서 장치는, 오브젝트의 위치를 파악하기 위한 제1 레이더 신호를 송신한다.
820단계에서 장치는, 오브젝트에 의해 발생하는 제1 레이더 신호의 반사 신호를 수신하고, 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 오브젝트의 위치를 검출한다.
830단계에서 장치는, 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 진입했는지 혹은 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단한다.
기 설정된 제스처 인식 영역 내에 오브젝트가 존재하지 않는 경우 장치는 810단계부터 다시 수행할 수 있다.
오브젝트의 위치가 제스처 인식 영역 내에 있으면, 840단계에서 장치는 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신한다.
840단계에서 장치는 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출한다.
또한, 840단계에서 장치는 상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정소)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 오브젝트의 움직임 방향에 대한 벡터 값을 추출한다.
따라서, 장치는 N번째 주기에서 측정된 위치와 N + k번째 주기에서 측정된 위치를 비교하여 제스처가 어느 위치에서 시작하여 어느 위치로 진행되는 것인지를 파악할 수 있다.
850단계에서 장치는, 상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출한다.
이때, 특성 값은 미세 도플러 신호의 패턴 정보 또는 상기 제2 반사 신호에 대한 적어도 하나의 디지털 신호 처리를 수행한 결과 값의 패턴 정보를 포함할 수 있다.
860단계에서 장치는 상기 벡터 값 및 상기 특성 값을 서버로 전송한다.
벡터 값 및 특성 값을 서버로 전송하는 이유는 서버에서 제스처를 인식하도록 하기 위함이다. 즉, 장치에서 신호 처리를 수행하고, 신호 처리 결과를 서버로 전송하면, 서버는 학습된 데이터와 장치로부터 수신된 데이터를 비교하여 제스처 인식을 수행할 수 있다.
이때, 장치는 현재 위치 정보를 확인하고, 상기 현재 위치 정보와 함께 상기 벡터 값 및 상기 특성 값을 서버로 전송할 수 있다. 현재 위치 정보에 따라 인식된 제스처에 대응하는 제어 정보가 다른 경우 서버는 장치의 현재 위치 정보를 고려하여 제어 정보를 생성하고, 장치로 전송할 수 있다.
870단계에서 장치는 서버로부터 결과를 수신한다.
보다 구체적으로 장치는 상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신한다.
이때, 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보는 해당 벡터 값 및 특성 값이 '손을 쥐었다 펴는 것', '손을 흔드는 것', 또는 '손가락을 어떻게 움직였다는 것'에 대한 정보일 수 있다.
이때, 제스처 정보에 대응하는 제어 정보는 인식된 제스처가 '특정 센서를 동작 시키는 것', '특정 화면을 팝업 시키는 것' 또는 '데이터 전송' 등과 같은 어플리케이션의 동작을 제어하기 위한 정보일 수 있다.
이때, 제스처 정보와 관련된 외부 디바이스에 대한 정보는 인식된 제스처에 의해 장치 이외의 다른 디바이스를 동작 시켰다는 정보 또는 인식된 제스처에 의해 다른 디바이스로 정보를 전송했다는 알림 등일 수 있다.
도 8에 도시된 실시예에서, 제1 레이더 신호의 반사 신호에 대한 처리는 수행 단계에 따라 다른 알고리즘이 적용될 수 있다.
예를 들어, 오브젝트의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계에서 수행되는 제1 신호처리는 수신된 제1 반사 신호에 윈도우 함수와 고속 푸리에 변환을 통해 거리 정보를 추출하는 거리-처리(range-processing)와, 상대적으로 높은 반사율을 갖는 클러터의 신호크기를 억제하는 에코 억제 처리(echo suppression processing) 및 위치 감지를 위한 포인트 정보를 추출하는 도플러 처리를 포함할 수 있다.
에코 억제 처리는 휴먼 바디에서 가장 큰 클러터인 바디(body)에 의한 반사 신호를 억제하는 프로세싱이다. 도플러 처리 전에 에코 억제 처리를 수행함으로써, 단순히 사람이 접근하는 경우와 제스처 입력을 위해 팔을 뻗는 동작이 구분될 수 있다.
그리고, 벡터 값을 추출하는 단계에서 수행되는 제1 신호처리는 상기 에코 억제 처리의 수행 없이 상기 도플러 처리를 수행하는 것일 수 있다. 제스처 인식 영역 내에는 바디로 인한 영향이 감소할 수 있고, 제스처 인식은 제2 신호처리를 통해 수행되므로 벡터 값을 추출하는 단계에서 수행되는 제1 신호처리는 상기 에코 억제 처리의 수행 없이 진행될 수도 있다.
제2 신호 처리는 신호 처리된 결과와 기 저장된 데이터를 비교하기 위한 것이므로, 제1 신호 처리에 비해 일부 절차가 생략되거나 혹은 더 많은 프로세싱이 적용될 수도 있다.
예를 들어, 제2 신호처리는 3차원 스펙트럼 생성을 위한 디지털 빔포밍 처리(digital beamforming processing)을 포함할 수 있고, 디지털 빔포밍 처리는 도플러 처리 이후에 수행될 수 있다.
제2 신호 처리에서 특성 값의 종류는 적용되는 프로세싱의 종류에 따라 달라 질 수 있다. 디지털 빔포밍 등의 프로세싱이 적용되는 경우 기 학습된 데이터와 비교하는 연산이 감소할 수 있고, 디지털 빔포밍이 수행되지 않는 경우 기 학습된 데이터와 비교하는 연산이 증가할 수도 있다.
따라서, 제2 신호 처리에서 어떤 프로세싱을 적용할 것인지는 제스처 인식에 허용되는 시간, 서버의 성능, 학습된 데이터의 수준 등에 의해 적응적으로 결정될 수 있다.
도 8에 도시되지 않았지만, 장치는 상기 벡터 값 및 상기 특성 값에 기초하여 로컬 제스처 정보를 결정하고, 상기 서버로부터 수신된 제스처 정보와 비교하는 단계 및 상기 로컬 제스처 정보와 상기 서버로부터 수신된 제스처 정보가 일치하면 상기 로컬 제스처 정보를 어플리케이션 또는 구동 시스템으로 전달하는 단계를 더 포함할 수 있다.
이때, 로컬 제스처 정보는 장치에 학습된 데이터가 저장되어 있는 경우 수행될 수 있다.
만일, 로컬 제스처 정보와 서버로부터 수신된 제스처 정보가 일치하지 않는 경우 장치는 멀티 레이더 송신 프레임의 구조를 변경하거나 레이더의 파라미터를 조정할 수 있다.
도 9은 본 발명의 일 실시예에 따른 멀티 레이더 송신 프레임을 설명하기 위한 도면이다.
도 9를 참조하면, 참조부호 910은 멀티 레이더 송신 프레임의 기본적인 구조를 나타낸다.
N은 멀티 레이더 송신 프레임의 주기 인덱스이고, '# N+k'는 N+k 번째 주기를 나타낸다.
기본적인 멀티 레이더 송신 프레임의 구조(910)를 참고하면, 각각의 주기는 제1 레이더를 송신하는 제1 레이더 송신 인터벌(911)과 제2 레이더를 송시하는 제2 레이더 송신 인터벌(913)을 포함한다.
참조 부호 920은 움직임 벡터를 측정할 필요가 없는 경우의 멀티 레이더 송신 프레임을 나타낸다.
어플리케이션에 따라 제스처가 어떤 방향에서 어떤 방향으로 진행된 것인지 판단할 필요가 없는 경우가 있을 수 있다.
예를 들어, 제스처 인식 영역 내에서 손가락을 돌리는 제스처의 경우 손가락을 시계 방향으로 돌리거나 반 시계 반향으로 돌리는 경우 모두 동일한 동작을 수행하는 입력으로 받아들일 수 있다. 따라서, 움직임 방향에 대한 벡터 값을 측정할 필요가 없는 경우 제1 레이더 송신 인터벌(921)은 제1 레이더 송신 인터벌(911)과 동일하게 설정되고, 제2 레이더 송신 인터벌(923)은 제2 레이더 송신 인터벌(913) 보다 훨씬 긴 간격으로 설정될 수 있다.
참조 부호 930은 움직임 방향에 대한 벡터 값을 보다 정밀하게 측정할 필요가 있는 경우의 멀티 레이더 송신 프레임 구조를 나타낸다.
예를 들어, 도 8의 설명에서, 로컬 제스처 정보와 서버로부터 수신된 제스처 정보가 일치하지 않는 경우 장치는 참조부호 910의 멀티 레이더 송신 프레임을 참조부호 930의 구조로 시분할 제어를 수행할 수 있다.
참조부호 930을 참조하면, 하나의 송신 프레임은 두 개 이상의 제1 레이더 송신 인터벌(931, 935)과 제2 레이더 송신 인터벌(933)로 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 사용자의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 단계;
    상기 사용자에 의해 발생하는 상기 제1 레이더 신호의 반사 신호를 수신하는 단계;
    수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 위치를 검출하고, 상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계;
    상기 사용자의 위치가 제스처 인식 영역 내에 있으면, 상기 제1 레이더 신호와 레이더 파라미터가 다르며 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 사용자의 제스처 진행 방향 및 제스처 종류를 인식하기 위하여 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하는 단계;
    상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 제스처 움직임 방향에 대한 벡터 값을 추출하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는 단계;
    상기 벡터 값 및 상기 특성 값을 서버로 전송하는 단계; 및
    상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신하는 단계를 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  2. 제1항에 있어서,
    상기 특성값을 추출하는 단계는,
    상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정수)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 제스처 움직임 방향에 대한 벡터 값을 추출하는 단계; 및
    상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는 단계를 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  3. 제2항에 있어서,
    상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계에서 수행되는 제1 신호처리는 수신된 제1 반사 신호에 윈도우 함수와 고속 푸리에 변환을 통해 거리 정보를 추출하는 거리-처리(range-processing)와, 기 설정된 값 이상의 반사율을 갖는 클러터의 신호크기를 억제하는 에코 억제 처리(echo suppression processing) 및 위치 감지를 위한 포인트 정보를 추출하는 도플러 처리를 포함하고,
    상기 벡터 값을 추출하는 단계에서 수행되는 제1 신호처리는 상기 에코 억제 처리의 수행 없이 상기 도플러 처리를 수행하는 것을 특징으로 하고,
    상기 제2 신호처리는 3차원 스펙트럼 생성을 위한 디지털 빔포밍 처리(digital beamforming processing)을 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  4. 제2항에 있어서,
    상기 특성 값은 미세 도플러 신호의 패턴 정보 또는 상기 제2 레이더 신호의 반사 신호에 대한 적어도 하나의 디지털 신호 처리를 수행한 결과 값의 패턴 정보를 포함하는,
    레이더 기반 휴먼 모션 인식 방법.
  5. 제2항에 있어서,
    상기 벡터 값 및 상기 특성 값에 기초하여 로컬 제스처 정보를 결정하고, 상기 서버로부터 수신된 제스처 정보와 비교하는 단계; 및
    상기 로컬 제스처 정보와 상기 서버로부터 수신된 제스처 정보가 일치하면 상기 로컬 제스처 정보를 어플리케이션 또는 구동 시스템으로 전달하는 단계를 더 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  6. 제2항에 있어서,
    상기 벡터 값 및 상기 특성 값을 서버로 전송하는 단계는 현재 위치 정보를 확인하고, 상기 현재 위치 정보와 함께 상기 벡터 값 및 상기 특성 값을 서버로 전송하는 것을 특징으로 하는
    레이더 기반 휴먼 모션 인식 방법.
  7. 사용자의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 단계;
    상기 사용자에 의해 발생하는 상기 제1 레이더 신호의 반사 신호를 수신하는 단계;
    수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 위치를 검출하고, 상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하는 단계;
    상기 사용자의 위치가 제스처 인식 영역 내에 있으면, 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 상기 제1 레이더 신호와 레이더 파라미터가 다르며 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 사용자의 제스처 진행 방향 및 제스처 종류를 인식하기 위하여 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하는 단계;
    상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호 및 상기 사용자에 의해 발생하는 상기 제2 레이더 신호의 반사 신호를 수신하는 단계;
    상기 제1 레이더 신호의 반사 신호에 대한 제1 신호처리 및 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 사용자의 제스처 인식 정보를 결정하는 단계; 및
    상기 사용자의 제스처 인식 정보를 어플리케이션 또는 구동 시스템으로 전달하는 단계를 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  8. 제7항에 있어서,
    상기 제1 레이더 신호는 펄스 신호를 이용하는 펄스 레이더 신호이고, 상기 제2 레이더 신호는 시간에 대해 연속적으로 출력되는 연속파 레이더(Continuous wave Radar) 신호인
    레이더 기반 휴먼 모션 인식 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 사용자의 제스처 인식 정보를 결정하는 단계는,
    상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정수)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 제스처 움직임 방향에 대한 벡터 값을 추출하는 단계;
    상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는 단계; 및
    상기 벡터 값 및 상기 특성 값을 이용하여 상기 사용자의 제스처를 인식하는 단계를 포함하는
    레이더 기반 휴먼 모션 인식 방법.
  11. 삭제
  12. 사용자의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 제1 레이더;
    제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더;
    상기 제1 레이더 신호에 의해 상기 사용자로부터 반사되는 제1 반사 신호 및 상기 제2 레이더 신호에 의해 상기 사용자로부터 반사되는 제2 반사 신호를 수신하는 안테나부;
    상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 위치를 검출하고, 상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 사용자의 위치가 제스처 인식 영역 내에 있으면, 상기 제1 레이더 신호와 레이더 파라미터가 다르며 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 사용자의 제스처 진행 방향 및 제스처 종류를 인식하기 위하여 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 생성하고, 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 제스처 움직임 방향에 대한 벡터 값을 추출하고, 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부; 및
    상기 벡터 값 및 상기 특성 값을 서버로 전송하고, 상기 서버로부터 상기 벡터 값 및 상기 특성 값에 기초하여 결정된 제스처 정보, 상기 제스처 정보에 대응하는 제어 정보 및 상기 제스처 정보와 관련된 외부 디바이스에 대한 정보 중 적어도 어느 하나를 수신하는 통신부를 포함하는
    레이더 기반 휴먼 모션 인식 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 멀티 레이더 송신 프레임의 N번째(N은 0보다 큰 정수) 주기에서 수신된 제1 레이더 신호의 반사 신호와 상기 멀티 레이더 송신 프레임의 N + k(k는 0보다 큰 정수)번째 주기에서 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 제스처 움직임 방향에 대한 벡터 값을 추출하고, 상기 멀티 레이더 송신 프레임의 N번째 주기부터 N + k번째 주기 동안 수신된 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리를 수행하고, 상기 제2 신호 처리에 기초하여 상기 제2 레이더 신호의 반사 신호에 대한 특성 값을 추출하는
    레이더 기반 휴먼 모션 인식 장치.
  14. 제12항에 있어서,
    상기 특성 값은 미세 도플러 신호의 패턴 정보 또는 상기 제2 반사 신호에 대한 적어도 하나의 디지털 신호 처리를 수행한 결과 값의 패턴 정보를 포함하는,
    레이더 기반 휴먼 모션 인식 장치.
  15. 사용자의 위치를 파악하기 위한 제1 레이더 신호를 송신하는 제1 레이더;
    제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더;
    상기 제1 레이더 신호에 의해 상기 사용자로부터 반사되는 제1 반사 신호 및 상기 제2 레이더 신호에 의해 상기 사용자로부터 반사되는 제2 반사 신호를 수신하는 안테나부; 및
    상기 제1 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 위치를 검출하고, 상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 사용자의 위치가 제스처 인식 영역 내에 있으면 현재 동작 모드를 결정하고, 상기 현재 동작 모드가 제스처 인식 모드인 경우 상기 제1 레이더 신호와 레이더 파라미터가 다르며 제스처 인식을 위한 제2 레이더 신호를 송신하는 제2 레이더를 활성화하고, 상기 사용자의 제스처 진행 방향 및 제스처 종류를 인식하기 위하여 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하고, 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리 및 상기 제2 반사 신호에 대한 제2 신호처리에 기초하여 사용자의 제스처 인식 정보를 결정하고, 상기 사용자의 제스처 인식 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부를 포함하는
    레이더 기반 휴먼 모션 인식 장치.
  16. 제15항에 있어서,
    상기 제1 레이더 신호는 펄스 신호를 이용하는 펄스 레이더 신호이고, 상기 제2 레이더 신호는 시간에 대해 연속적으로 출력되는 연속파 레이더(Continuous wave Radar) 신호인
    레이더 기반 휴먼 모션 인식 장치.
  17. 삭제
  18. 레이더 신호를 송신하는 레이더;
    사용자로부터 반사되는 반사 신호를 수신하는 안테나부; 및
    제1 시간 구간에서 사용자의 위치를 파악하기 위한 제1 레이더 신호를 송신하도록 상기 레이더에 대한 파라미터를 설정하고, 상기 제1 레이더 신호의 반사 신호에 대한 제1 신호처리에 기초하여 상기 사용자의 위치를 검출하고, 상기 사용자의 위치가 기 설정된 제스처 인식 영역 내에 있는지를 판단하고, 상기 사용자의 위치가 제스처 인식 영역 내에 있으면 제2 시간 구간에서 상기 제1 레이더 신호와 레이더 파라미터가 다르며 제스처 인식을 위한 제2 레이더 신호를 송신하도록 상기 레이더에 대한 파라미터를 조정하고, 상기 제2 시간 구간에서 상기 사용자의 제스처 진행 방향 및 제스처 종류를 인식하기 위하여 상기 제1 레이더 신호와 상기 제2 레이더 신호를 시분할적으로 송신하는 멀티 레이더 송신 프레임을 송신하고, 상기 멀티 레이더 송신 프레임을 송신한 후 수신된 제1 레이더 신호의 반사 신호에 대한 제1 신호처리 및 상기 제2 레이더 신호의 반사 신호에 대한 제2 신호처리에 기초하여 사용자의 제스처 인식 정보를 결정하고, 상기 사용자의 제스처 인식 정보를 어플리케이션 또는 구동 시스템으로 전달하도록 구성된 적어도 하나의 프로세서를 포함하는 제어부를 포함하는
    레이더 기반 휴먼 모션 인식 장치.
KR1020190126370A 2019-10-11 2019-10-11 신호 검출 및 인식을 위한 장치 및 방법 KR102107685B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190126370A KR102107685B1 (ko) 2019-10-11 2019-10-11 신호 검출 및 인식을 위한 장치 및 방법
US16/707,200 US10775483B1 (en) 2019-10-11 2019-12-09 Apparatus for detecting and recognizing signals and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190126370A KR102107685B1 (ko) 2019-10-11 2019-10-11 신호 검출 및 인식을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102107685B1 true KR102107685B1 (ko) 2020-05-07

Family

ID=70733572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126370A KR102107685B1 (ko) 2019-10-11 2019-10-11 신호 검출 및 인식을 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US10775483B1 (ko)
KR (1) KR102107685B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219087B1 (ko) * 2020-09-02 2021-02-23 세종대학교산학협력단 Fmcw 레이더를 이용한 실내 상황 인식 시스템 및 방법
CN112949447A (zh) * 2021-02-25 2021-06-11 北京京东方技术开发有限公司 手势识别方法、系统、装置、设备和介质
CN113085870A (zh) * 2021-04-02 2021-07-09 淮南联合大学 一种基于毫米波雷达的手势识别系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612365B (zh) * 2020-12-25 2023-02-17 深圳大学 手势识别方法、装置、电子设备和存储介质
WO2022145502A1 (ko) * 2020-12-28 2022-07-07 주식회사 비트센싱 복수의 모드에 기초하여 객체를 감지하는 레이더 장치 및 방법
CN113567987B (zh) * 2021-04-30 2023-07-28 华为技术有限公司 一种雷达系统及终端设备
EP4325249A1 (en) 2021-04-30 2024-02-21 Huawei Technologies Co., Ltd. Radar system and terminal device
CN113296092B (zh) * 2021-05-24 2023-01-20 北京环境特性研究所 基于多源信息融合的雷达探测方法、装置及存储介质
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
CN113625625A (zh) * 2021-07-30 2021-11-09 珠海格力电器股份有限公司 智能晾衣架控制方法、系统、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170007447A (ko) * 2014-08-07 2017-01-18 구글 인코포레이티드 레이더-기반 제스처 감지 및 데이터 송신
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식
KR101744692B1 (ko) * 2015-12-10 2017-06-08 현대오트론 주식회사 다중 레이더를 이용한 오브젝트 감지 장치 및 그 방법
KR20180101171A (ko) * 2017-03-02 2018-09-12 삼성전자주식회사 제스처를 인식하기 위한 방법 및 그 전자 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR102327044B1 (ko) * 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
US10514770B2 (en) * 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170007447A (ko) * 2014-08-07 2017-01-18 구글 인코포레이티드 레이더-기반 제스처 감지 및 데이터 송신
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식
KR20180049263A (ko) * 2014-08-07 2018-05-10 구글 엘엘씨 레이더-기반 제스처 감지 및 데이터 송신
KR101744692B1 (ko) * 2015-12-10 2017-06-08 현대오트론 주식회사 다중 레이더를 이용한 오브젝트 감지 장치 및 그 방법
KR20180101171A (ko) * 2017-03-02 2018-09-12 삼성전자주식회사 제스처를 인식하기 위한 방법 및 그 전자 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Moeness G. Amin 외 2명. Hand gesture recognition based on radar micro-Doppler signature envelopes. IEEE Radar Conference. 2019.04., page 1-6* *
Wen Cai 외 2명. Clutter suppression for airborne FDA-MIMO radar using multi-waveform adaptive processing and auxiliary channel STAP. Signal Processing. vol.154, no.1, 2019.01., page 280-293* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219087B1 (ko) * 2020-09-02 2021-02-23 세종대학교산학협력단 Fmcw 레이더를 이용한 실내 상황 인식 시스템 및 방법
CN112949447A (zh) * 2021-02-25 2021-06-11 北京京东方技术开发有限公司 手势识别方法、系统、装置、设备和介质
CN113085870A (zh) * 2021-04-02 2021-07-09 淮南联合大学 一种基于毫米波雷达的手势识别系统
CN113085870B (zh) * 2021-04-02 2024-02-06 淮南联合大学 一种基于毫米波雷达的手势识别系统

Also Published As

Publication number Publication date
US10775483B1 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
KR102107685B1 (ko) 신호 검출 및 인식을 위한 장치 및 방법
US11573311B2 (en) Smart-device-based radar system performing angular estimation using machine learning
Lien et al. Soli: Ubiquitous gesture sensing with millimeter wave radar
KR102578944B1 (ko) 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법
US11460538B2 (en) Detecting a frame-of-reference change in a smart-device-based radar system
CN107430189B (zh) 使用调频连续波雷达的手势辨识
KR102510402B1 (ko) 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
CN112567256B (zh) 使用相干多视雷达处理检测用户手势的基于智能电话的雷达系统
CN111656217A (zh) 用于虚拟孔径雷达跟踪的系统和方法
KR102516367B1 (ko) 레이더 데이터를 처리하는 장치 및 방법
CN111695420A (zh) 一种手势识别方法以及相关装置
KR20200144862A (ko) 레이더의 해상도 향상 방법 및 장치
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
CN113454481A (zh) 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统
US20220326367A1 (en) Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network
CN111722706A (zh) 基于雷达网络的空中书写字符识别的方法和系统
Mao et al. DeepRange: Acoustic ranging via deep learning
KR20210082946A (ko) 레이더 신호 처리 장치 및 방법
Ninos et al. Real-time macro gesture recognition using efficient empirical feature extraction with millimeter-wave technology
JP6822492B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US11639985B2 (en) Three-dimensional feature extraction from frequency modulated continuous wave radar signals
KR20220066796A (ko) 레이더 신호 처리 방법 및 장치
KR20210066693A (ko) 주변 환경을 탐색하는 전자 장치 및 그 동작 방법
TWI786493B (zh) 具有機器學習加速器的手勢收集以及辨識系統
KR102444198B1 (ko) 레이더 시스템에서 클러터를 제거하기 위한 장치 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant