KR102495377B1 - 펄스 레이더에 기반한 동작 인식 장치 및 방법 - Google Patents

펄스 레이더에 기반한 동작 인식 장치 및 방법 Download PDF

Info

Publication number
KR102495377B1
KR102495377B1 KR1020200145405A KR20200145405A KR102495377B1 KR 102495377 B1 KR102495377 B1 KR 102495377B1 KR 1020200145405 A KR1020200145405 A KR 1020200145405A KR 20200145405 A KR20200145405 A KR 20200145405A KR 102495377 B1 KR102495377 B1 KR 102495377B1
Authority
KR
South Korea
Prior art keywords
micro
target
radar
frame
area
Prior art date
Application number
KR1020200145405A
Other languages
English (en)
Other versions
KR20220059806A (ko
Inventor
조희섭
박영진
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200145405A priority Critical patent/KR102495377B1/ko
Priority to US18/030,347 priority patent/US20230377167A1/en
Priority to PCT/KR2021/012155 priority patent/WO2022097894A1/ko
Publication of KR20220059806A publication Critical patent/KR20220059806A/ko
Application granted granted Critical
Publication of KR102495377B1 publication Critical patent/KR102495377B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/062—Cathode-ray tube displays or other two dimensional or three-dimensional displays in which different colours are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

본 개시의 일 실시 예에 따른 동작 인식 방법은 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받는 단계, 복수의 상기 프레임 신호 중 제1 영역보다 움직임이 많은 제2 영역의 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 생성하는 단계, 마이크로 영역 향상 프레임 셋의 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하는 단계 및 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하는 단계를 포함할 수 있다.

Description

펄스 레이더에 기반한 동작 인식 장치 및 방법{APPARATUS AND METHOD FOR MOTION RECOGNITION BASED ON PULSE RADAR}
본 개시는 펄스 레이더에 기반하여 동작을 인식하는 장치 및 방법에 관한 것이다.
종래 레이더 장치를 이용하여 사람의 동작을 인식하는 기술이 존재한다. 종래의 레이더 장치를 이용한 동작 인식 기술 중 마이크로-도플러 기법은 사람의 동작에 따라 팔, 다리, 몸통, 머리 등에서 발생하는 도플러 값이 다르게 변화하는 특징에 기반하여 동작을 인식한다.
하지만, 마이크로-도플러 기법을 포함한 CW(연속 웨이브: Continuous Wave) 레이더 기반 동작 인식 기술은 타겟까지의 거리 측정이 불가능한 한계를 가지고 있다.
자세히 설명하면, CW 레이더 기반 동작 인식 기술은 사람의 특정 신체 부위가 움직일 때 발생하는 레이더와의 거리 변화에 대한 정보를 활용하는 것이 아니라 사람의 움직임이 일어나는 신체 부위의 속도 변화에 의한 도플러 편이(doppler shift frequency) 만을 관찰 대상으로 삼고, 시간에 따른 도플러 편이의 변화에 기반하여 사람의 동작을 인식하고 있다. CW 레이더 기반 동작 인식 기술의 전제인 도플러 편이의 변화에 기반한 동작 인식은 마치 레이더 전방의 서로 다른 거리의 공간들이 안테나로부터 일정한 거리에 위치한 하나의 동일한 평면에 모든 타겟이 존재하며, 타겟의 모든 움직임이 하나의 동일한 평면에서 이루어지는 것으로 전제하는 것과 마찬가지이다.
즉, 실제로는 사람의 동작은 3차원 공간에서 레이더와의 거리가 변화하면서(신체의 일부를 움직이는 경우에도 해당 신체 일부와 레이더 사이의 거리는 변화한다) 발생함에도 불구하고, CW 레이더 기반 동작 인식 기술은 사람의 다양한 신체의 움직임이 하나의 평면상에서 발생하는 것과 유사한 도플러 편이에 기반하여 동작을 인식하는 기술적 한계가 있다.
따라서, 사람의 움직임에 의한 거리 변화 등에 관한 정보를 추가적으로 반영하여 사람의 동작을 정확하게 인식할 수 있는 기술이 필요하다.
선행기술: 한국 등록특허공보 제 10-2021531호(2019.09.06. 등록)
본 개시의 일 실시 예는 펄스 레이더 신호에 기반하여 타겟의 동작을 인식하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 타겟으로부터 반사된 펄스 레이더 신호에서 타겟의 다양한 동작으로부터 발생하는 마이크로 영역(micro-ranege)의 신호를 보강하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 타겟으로부터 반사된 펄스 레이더 신호를 영상화하여 타겟의 다양한 동작으로부터 발생하는 마이크로 영역(micro-range)의 신호를 보강하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 타겟으로부터 반사된 펄스 레이더 신호를 영상화하고 머신 러닝 기반의 학습 모델에 기반하여 타겟의 다양한 동작을 인식하는 장치 및 방법을 제공한다.
본 개시의 일 실시 예는 타겟으로부터 반사된 펄스 레이더 신호에 기반하여 타겟의 동작을 인식하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 타겟으로부터 반사된 펄스 레이더 신호에서 타겟의 다양한 동작으로부터 발생하는 마이크로 영역(micro-ranege)의 신호를 보강하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 타겟으로부터 반사된 펄스 레이더 신호를 영상화하여 타겟의 다양한 동작으로부터 발생하는 마이크로 영역의 신호를 보강하는 장치 및 방법을 제공한다.
본 개시의 일 실시 예에 따른 동작 인식 장치의 동작 방법은 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받는 단계, 복수의 상기 프레임 신호 중 제1 영역보다 움직임이 많은 제2 영역의 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 생성하는 단계, 마이크로 영역 향상 프레임 셋의 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하는 단계 및 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 동작 인식 장치의 동작 방법은 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 프레임 셋을 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받는 단계, 레이더 영상 중 타겟의 적어도 일 부분의 움직임으로 인해 타겟의 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 레이더 영상 중 마이크로 영역의 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하는 단계 및 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 동작 인식 장치는 적어도 하나의 프로세서, 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받고, 복수의 프레임 신호 중 제1 영역보다 움직임이 많은 제2 영역의 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 마이크로 영역 향상 프레임 셋을 생성하고, 마이크로 영역 향상 프레임 셋의 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하도록 야기하는 코드를 저장할 수 있다.
본 개시의 일 실시 예에 따른 동작 인식 장치의 메모리는 프로세서를 통해 실행될 때 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받고, 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 프레임 셋을 생성하고, 프레임 셋 중 타겟의 적어도 일 부분의 움직임으로 인해 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 프레임 셋 중 마이크로 영역의 성분을 강화한 마이크로 영역 향상 프레임 셋을 생성하고, 마이크로 영역 향상 프레임 셋의 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하도록 야기하는 코드를 저장할 수 있다.
본 개시의 일 실시 예에 따른 동작 인식 장치의 메모리는 프로세서를 통해 실행될 때 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 마이크로 영역 향상 프레임 셋을 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받고, 레이더 영상 중 타겟의 적어도 일 부분의 움직임으로 인해 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 마이크로 영역의 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하도록 야기하는 코드를 저장할 수 있다.
본 개시의 일 실시 예에 따른 동작 인식 장치의 메모리는 프로세서를 통해 실행될 때 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 마이크로 영역 향상 프레임 셋을 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받고, 레이더 영상 중 제1 영역보다 컬럼(column) 간 픽셀 값의 변화가 큰 제2 영역을 결정하고, 레이더 영상 중 제2 영역의 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단하도록 야기하는 코드를 저장할 수 있다.
본 개시의 실시 예에 따른 동작 인식 장치 및 동작 인식 방법은 펄스 레이더 신호에 기반하여 타겟의 동작을 인식할 수 있다.
본 개시의 다른 실시 예는 타겟의 구성 요소로부터 펄스 레이더 수신 장치의 거리 신호의 변화에 기반하여 타겟의 다양한 동작을 정확하게 판단할 수 있다.
본 개시의 다른 실시 예는 타겟의 움직임의 많고 적음에 기반하여 레이더 신호에서 타겟의 움직임이 많은 영역을 보강하여 타겟의 다양한 동작을 정확하게 판단할 수 있다.
본 개시의 다른 실시 예는 레이더 신호를 영상으로 변화하고 머신 러닝 기반의 학습 모델을 적용하여 타겟의 다양한 동작을 정확하게 판단할 수 있고, 미리 학습된 학습 모델을 재학습하여 이용할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 동작 인식 방법을 수행하거나 동작 인식 장치가 구동하기 위한 환경을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 동작 인식 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 머신 러닝에 기반한 학습 모델을 적용한 동작 인식을 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 동작 인식 방법을 설명하기 위한 순서도이다.
도 5는 본 개시의 일 실시 예에 따른 프레임 신호 및 프레임 신호의 포락선을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 프레임 셋 및 레이더 영상을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 레이더 신호, 앙상블 평균 및 마이크로 영역 향상 레이더 영상을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 마이크로 영역 향상 프레임 셋을 생성하는 방법을 설명하기 위한 순서도이다.
도 9는 본 개시의 일 실시 예에 따른 마이크로 영역 향상 프레임 셋을 생성하는 방법을 설명하기 위한 순서도이다.
도 10은 본 개시의 다른 실시 예에 따른 동작 인식 방법을 설명하기 위한 순서도이다.
도 11은 본 개시의 일 실시 예에 따른 마이크로 영역 향상 레이더 영상을 생성하는 방법을 설명하기 위한 순서도이다.
도 12는 본 개시의 일 실시 예에 따른 레이더 영상에 기반한 레이더 영상 및 마이크로 영역 향상 레이더 영상을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 레이더 영상에 기반한 매크로 영역, 마이크로 영역 및 평균 컬럼을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1을 참조하여 본 개시의 일 실시 예에 따른 동작 인식 방법을 수행하거나 동작 인식 장치를 구동하기 위한 환경을 설명한다.
도 1 (a)를 참조하면, 본 개시의 실시 예에 따른 동작 인식 방법을 수행하거나 동작 인식 장치를 구동하기 위한 환경은 동작 인식 장치(100) 및 레이더 장치(200)를 포함할 수 있다.
레이더 장치(200)는 펄스 레이더 신호를 타겟(300)으로 송신하고, 타겟(300)에서 반사된 펄스 레이더 신호를 수신할 수 있다. 펄스 레이더 신호는 UWB(Ultra-Wide Band) 펄스 레이더 신호일 수 있다.
수신된 펄스 레이더 신호는 도 6의 신호의 세기가 변하는 신호(610)일 수 있고 통상 이를 프레임(frame) 신호 또는 서브 펄스(sub-pulse) 신호라고 부를 수 있다. 프레임 신호는 일정한 시간 간격으로 전송된 펄스 레이더 신호가 반사되어 일정한 시간 간격으로 수신된 신호(반사된 신호를 일정한 시간 간격으로 분리한 신호)이다. 도 6과 같은 프레임 신호의 Y축은 신호의 세기를 의미하는 진폭 값이고 X축(샘플러 인덱스 축)은 타겟과의 거리와 관련된 인덱스 값일 수 있다.
동작 인식 장치(100)는 레이더 장치(200)로부터 복수의 프레임 신호를 전송 받고, 복수의 프레임 신호의 각 성분에서 타겟의 구성 요소, 사람인 경우 팔이나 머리 등에서 반사된 진폭이 작은 마이크로 영역(micro-range)의 성분을 강화한 마이크로 영역 향상 프레임 셋을 생성할 수 있다.
본 명세서에서는 프레임 신호를 미리 설정된 시간 간격으로 스택(stack)하여 형성된 신호 셋을 프레임 셋이라 부른다.
동작 인식 장치(100)는 유선 또는 무선 네트워크를 통해서 레이더 장치(200)로부터 프레임 신호를 전송 받거나 장치간의 시리얼 또는 패러럴 연결을 통해서 프레임 신호를 전송 받을 수 있다.
동작 인식 장치(100)는 마이크로 영역(micro-range)의 성분을 강화한 마이크로 영역 향상 프레임 셋에 기반하여 이를 영상화한 마이크로 영역 향상 레이더 영상을 생성하고, 이를 머신 러닝 기반의 학습 모델에 입력하여 타겟(300)의 동작을 판단할 수 있다.
도 1 (b)를 참조하면, 본 개시의 실시 예에 따른 동작 인식 방법을 수행하거나 동작 인식 장치를 구동하기 위한 환경은 레이더 모듈(201)을 포함한 동작 인식 장치(101)로서 구현될 수 있다. 동작 인식 장치(101)는 레이더 모듈(201)을 구동하여 타겟(301)으로 펄스 레이더 신호를 송신하고 타겟(301)으로부터 반사된 레이더 신호를 프레임 신호로 저장하고, 프레임 신호에 기반하여 마이크로 영역의 성분을 강화한 마이크로 영역 향상 프레임 셋을 생성하고, 이를 영상화한 마이크로 영역 향상 레이더 영상을 러닝 기반의 학습 모델에 입력하여 타겟(301)의 동작을 판단할 수 있다.
아래에서는 편의상 동작 인식 장치(100)와 레이더 장치(200)가 별도로 구현된 실시 예에 따라 설명하지만, 통상의 기술자는 레이더 모듈을 포함한 동작 인식 장치로 본 발명을 구현 가능하다는 것을 알 수 있다.
도 2를 참조하여 본 개시의 일 실시 예에 따른 동작 인식 장치의 구성을 설명한다.
동작 인식 장치는 레이더 장치(200)가 별도로 구현되는 경우 레이더 장치(200)로부터 프레임 신호를 전송 받기 위한 통신부(110)를 포함할 수 있다.
통신부(110)는 외부 장치와 데이터를 송수신하기 위한 통신 모듈(111)을 포함할 수 있고, 통신 모듈(111)은 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 동작 인식 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
동작 인식 장치는 서버 장치 형태로 구현되거나 랩탑 컴퓨터, 개인용 컴퓨터, 태블릿 컴퓨터 등 프로세서 및 메모리를 포함한 형태로 구현될 수 있고, 프로세서를 구동하여 신호 처리가 가능한 컴퓨팅 장치이면 특별히 그 종류를 한정하지 않는다.
동작 인식 장치(100)는 사용자에게 데이터 처리 과정 또는 동작을 인식한 결과를 표시하거나 사용자로부터 입력을 받거나 사용자가 제어할 수 있는 인터페이스부(120)를 포함할 수 있다. 인터페이스부(120)는 터치식 또는 기계식 버튼(121), 디스플레이(122) 또는 광 출력이 가능한 LED 또는 음성 출력이 가능한 스피커(123)를 포함할 수 있다.
동작 인식 장치(100)는 도 1을 참조하여 설명한 것처럼, 레이더 신호를 송신 또는 수신하는 레이더부(140)를 포함하여 구현될 수 있고, 이 경우 레이더 신호를 송신(Tx) 또는 수신(Rx)하기 위한 적어도 하나 이상의 안테나(142)를 포함할 수 있고, 레이더 신호를 송신하기 위한 앰프(amplifier), 믹서(mixer) 등의 구성 요소와 수신된 레이더 신호를 처리하기 위한 펄스 레이더 처리부(141)를 포함할 수 있다. 레이더 신호를 송신 또는 수신하기 위한 하드웨어 또는 소프트웨어 구성은 통상의 기술자에게 알려진 사항이므로 본 명세서에서는 자세한 설명을 생략한다.
동작 인식 장치(100)는 수신한 프레임 신호 및 프레임 셋, 마이크로 영역 향상 프레임 셋, 마이크로 영역 향상 레이더 영상 등의 중간 데이터들을 저장하거나 마이크로 영역 향상 레이더 영상에 적용하여 동작을 인식 가능한 머신 러닝 기반의 훈련된 학습 모델을 저장하는 메모리(130)를 포함할 수 있다.
동작 인식 장치(100)는 도2에 도시되지 않았지만, 다양한 종류의 외부 기기와의 통로 역할을 수행하는 별개의 인터페이스로서 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 동작 인식 장치(100)는 레이더 장치(200)로부터 수신한 복수의 프레임 신호에 기반하여 타겟의 움직임이 많은 영역의 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 마이크로 영역 향상 프레임 셋을 시간 축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단할 수 있다.
다른 실시 예에서, 동작 인식 장치(100)는 별도의 장치로부터 레이더 프레임 신호를 입력 받아 미리 설정된 시간 간격으로 스택하여 프레임 셋을 생성하고 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향으로 조망하여 레이더 영상을 생성하거나, 별도의 장치로부터 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향으로 조망한 레이더 영상을 입력 받아, 타겟의 적어도 일 부분의 움직임으로 인해 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역의 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하고, 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 타겟의 동작을 판단할 수 있다.
즉, 동작 인식 장치(100)는 프레임 신호 또는 프레임 신호에 기반하여 생성된 레이더 영상에 기반하여 타겟의 동작이 많은 영역(마이크로 영역)의 성분을 보강하고 타겟의 동작이 적은 영역(매크로 영역)의 성분을 저감시킨 후, 마이크로 영역 향상 레이더 영상을 학습 모델에 입력하여 타겟의 동작을 판단할 수 있다.
도 3을 참조하여 본 개시의 일 실시 예에 따른 타겟의 동작을 인식 가능한 머신 러닝 기반의 학습 모델을 설명한다.
머신 러닝 기반의 학습 모델은 학습 모델은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector)구조의 인공 신경망을 포함할 수 있다.
인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.
인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리(130)에 저장될 수 있다.
학습 모델은 마이크로 영역 향상 레이더 영상(131)을 입력 받아 복수의 컨벌루션(convolution) 레이어 및 풀링(pooling) 레이어를 통해 추출된 특징들에 기반하여 최종 출력 레이어(133)에서 동작을 판단(분류, classification)할 수 있다. 최종 출력 레이어는 복수의 동작일 수 있는 확률 값을 출력할 수 있다.
동작 인식 장치의 학습 모델은 서로 다른 동작으로부터 생성된 마이크로 영역 향상 레이더 영상을 각각 해당 영상에 대한 타겟의 동작으로 레이블링(labeling)한 훈련 데이터로 훈련된 학습 모델일 수 있다.
본 명세서에서는 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 부른다.
또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 부른다.
동작 인식 장치의 동작을 인식하는 학습 모델은 동작 인식 장치에서 훈련되거나 별도의 장치에서 마이크로 영역 향상 레이더 영상을 각각 해당 영상에 대한 타겟의 동작으로 레이블링한 훈련 데이터로 훈련된 학습 모델을 전송 받아 사용할 수 있다.
일 실시 예에서 동작 인식 장치의 동작을 인식하는 학습 모델은 인공 신경망은 모델의 구성, 활성 함수(Activation Function), 손실 함수(Loss Function) 또는 비용 함수(Cost Function), 학습 알고리즘, 최적화 알고리즘 등에 의해 그 구조가 특정되며, 학습 전에 하이퍼파라미터(Hyperparameter)가 미리 설정되고, 이후에 동작 인식 장치 또는 별도의 학습 장치의 학습을 통해 모델 파라미터(Model Parameter)가 설정되어 내용이 특정될 수 있다.
다른 실시 예에서, 동작 인식 장치의 동작을 인식하는 학습 모델은 컬러 영상에 기반하여 미리 학습된(pre-trained) 제1 학습 모델을 동작 인식 장치 또는 별도의 학습 장치에서 마이크로 영역 향상 레이더 영상을 각각 해당 영상에 대한 타겟의 동작으로 레이블링한 훈련 데이터로 재학습(re-train)한 학습 모델일 수 있다. 이 경우, 제1 학습 모델의 입력 레이어로부터 미리 설정된 숫자의 레이어들의 파라미터를 고정하고, 파라미터가 고정된 레이어 이외의 레이어들을 훈련 데이터로 재학습한 학습 모델이고, 파라미터가 고정된 레이어들의 비율은 상기 제1 학습 모델의 종류에 기반하여 결정될 수 있다.
예를 들어, 특정 인공 신경망 구조(architecture)를 구축하고 컬러 영상을 훈련 데이터로 하여 훈련되어 임의의 값으로 초기화된 파라미터 값(가중치, 바이어스 등)을 가지고 있는 학습 모델로서 Resnetl8, Resnetl0l. Inception Resnet V2 등의 학습 모델의 일부 레이어들의 파라미터를 고정(freezing)하고 나머지 레이어들을 학습함으로써 동작 인식 정확도는 유지하면서 학습에 소요되는 시간을 단축할 수 있다.
이 때, 동작을 인식하는 학습 모델을 훈련하는 학습 장치는 미리 훈련된 학습 모델의 종류에 따라 고정되는 레이어 개수를 다르게 설정할 수 있다.
일 실시 예에서, 동작을 인식하는 학습 모델은 Resenet 18, Inception-Resnet-V2를 재학습 시키는 경우 전체 레이어들을 재학습시킨 학습 모델이고, Resnet101을 재학습 시키는 경우 입력층으로부터 19.6%에 해당하는 수의 레이어들을 고정하고 나머지 레이어들을 재학습 시킨 학습 모델일 수 있다. 이는 마이크로 영역 향상 레이더들에 기반하여 미리 훈련된 각 학습 모델의 고정 레이어 개수를 달리하면서 정확도를 획득한 아래의 실험 데이터에 기반한다.
Figure 112020117328840-pat00001
Figure 112020117328840-pat00002
Figure 112020117328840-pat00003
<표 1>은 미리 학습된 Resenet18, <표 2>는 미리 학습된 Resnet101, <표 3>은 미리 학습된 Inception-Resnet-V2를 각각 마이크로 영역 향상 레이더 영상으로 고정 레이어의 수를 달리하면서 정확도를 측정한 실험 데이터들이다.
도 4를 참조하여 본 개시의 일 실시 예에 따른 동작 인식 장치의 동작 인식 방법을 설명한다.
동작 인식 장치는 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받을 수 있다(S110).
프레임 신호는 일정한 시간 간격으로 전송된 펄스 레이더 신호가 반사된 신호를 일정한 시간 간격으로 분리한 신호(610)로서, 프레임 신호의 Y축은 신호의 세기를 의미하는 진폭 값이고 X축은 타겟과의 거리와 관련된 인덱스 값일 수 있다. 본 명세서에서는 프레임 신호의 인덱스에 따른 각 최고 진폭 값을 접하는 포락선(envelope) 곡선(620)으로부터 각 인덱스에 따라 진폭 값을 결정한 신호를 포락선 프레임 신호라고 명칭 한다. 즉, 프레임 신호의 펄스 피크(peaks)의 포락선을 추출하여 포락선 프레임 셋을 구성할 수 있다. 또한 각 프레임 신호 또는 포락선 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 것을 각각 프레임 셋 또는 포락선 프레임 셋으로 명칭 한다.
예를 들어, 도 7을 참조하면 타겟(300)으로부터 반사된 레이더 신호에 기반한 복수의 프레임 신호(741, 743, 745, 747, 749)를 가로축을 시간축(720)으로 하고 세로축을 인덱스 축(730)으로 하여 프레임 셋을 생성할 수 있다.
동작 인식 장치는 복수의 프레임 신호 중에서 움직임이 많은 영역을 결정하고, 움직임이 많은 영역의 성분을 강화하여 마이크로 영역 향상 프레임 신호를 생성하고, 마이크로 영역 향상 프레임 신호를 미리 설정된 시간 간격으로 스택하여 마이크로 영역 향상 프레임 셋을 생성할 수 있다(S120).
예를 들어, 도 7을 참조하면 타겟(300)의 움직임에 따라 타겟(300)의 구성 요소에 반사되어 레이더 장치(200)에서 수신되는 레이더 신호들의 프레임 신호(741, 743, 745, 747, 749)는 타겟(300)의 구성 요소들과 레이더 장치(200)와의 거리가 변화함에 따라 서로 다른 시간의 동일한 인덱스축(730)에서 진폭 값이 변화할 수 있다.
도 8을 참조하면, 도 8(a)는 복수의 프레임 신호(741, 743, 745, 747, 749)가 미리 설정된 시간 간격으로 스택된 프레임 셋(740)을 시간축(720)에 수직한 방향(700)에서 조망하고 프레임 신호의 진폭 크기에 기반하여 컬러 값으로 맵핑한 프레임 셋의 레이더 영상이다.
예를 들어, 프레임 레이더 영상의 제1 영역(811, 813)보다 제2 영역(812)은 타겟(300)의 움직임에 따라 타겟(300)의 구성 요소, 예를 들어 타겟(300)의 구성 요소 중 반사 면적이 작은 영역으로서 타겟(300)이 사람인 경우 머리, 팔 또는 다리 중 적어도 어느 하나의 움직임으로부터 펄스 레이더 신호가 반사되어 타겟(300)과 레이더 장치(200) 사이의 거리가 변화하여 서로 다른 시간축(814)의 인덱스축(815)의 동일한 지점에서 변화가 많은 것을 확인할 수 있다. 이 경우, 동작 인식 장치는 움직임이 많은 영역(micro-range)(812)의 성분을 강화하여 도 8(c)와 같은 마이크로 영역 향상 프레임 신호를 생성할 수 있다.
도 5를 참조하여, 동작 인식 장치가 마이크로 영역 향상 프레임 셋을 생성하는 방법을 자세히 설명한다.
일 실시 예에서, 동작 인식 장치는 서로 다른 시간에 수신된 레이더 신호에 기반한 복수의 프레임 신호(741, 743, 745, 747, 749)가 미리 설정된 시간 간격으로 시간축(720)에 따라 스택하여 프레임 셋(740)을 생성할 수 있다(S131).
일 실시 예에서, 동작 인식 장치는 프레임 셋(740)에서 움직임이 적은 영역을 결정할 수 있다(S132).
예를 들어, 도 8을 참조하면(도 8은 설명상 도 8(a)의 프레임 레이더 영상, 도 8(b)의 앙상블 평균 레이더 영상으로 설명하지만, 통상의 기술자는 영상이 아닌 각 프레임 신호별로 처리할 수 있음을 명심해야 한다), 복수의 프레임 신호(741, 743, 745, 747, 749)의 인덱스 축(815)의 동일한 지점의 변화를 스캔하여 변화가 큰(움직임이 많은) 영역(812) 및 변화가 적은(움직임이 적은) 영역(811, 813)을 결정할 수 있다. 이 때, 타겟이 위치하고 있는 것으로 판단한 인덱스 축(815)의 동일한 지점의 변화를 스캔하거나, 시간축(814)의 값을 변화해 가면서(즉, 시간축(814)에 따라) 복수의 프레임 신호(741, 743, 745, 747, 749)의 진폭 값의 변화를 스캔할 수 있다. 인접한 프레임 신호의 상관 계수를 산출하거나, 복수의 프레임 신호(741, 743, 745, 747, 749)의 인덱스 축(815)의 동일한 지점의 변화가 미리 설정된 기준 이상으로 변화하는 시간 영역에 해당하는 프레임 신호들로 구성된 영역(812)을 변화가 큰(움직임이 많은) 영역으로 결정하고, 그 외 영역을 변화가 적은(움직임이 적은) 영역으로 결정할 수 있다. 이외에도 다양한 통계적 또는 산술적 방법으로 변화가 큰(움직임이 많은) 영역을 판단할 수 있음이 통상의 기술자에게 자명하다.
동작 인식 장치는 프레임 셋(740)에서 움직임이 적은 영역의 성분을 저감시키고 움직임이 많은 영역의 성분을 강화할 수 있다(S133).
일 실시 예에서, 동작 인식 장치는 움직임이 적은 영역에 포함된 프레임 신호들을 결정하고, 전체 프레임 셋에서 움직임이 적은 영역(831, 833)의 성분을 저감시킬 수 있다.
예를 들어, 도 8(b)를 참조하면, 프레임 신호들의 각 포락선으로부터 생성된 포락선 프레임 신호를 결정하고, 각 포락선 프레임 신호를 시간축에 따라 스택하여 포락선 프레임 셋을 생성할 수 있다(S133a). 일 실시 예에서, 동작 인식 장치는 프레임 신호의 양의 값을 갖는 성분만을 대상으로 포락선 프레임 신호를 생성할 수 있다. 포락선 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하고 포락선 프레임 신호들의 진폭 값에 기반하여 컬러 값에 맵핑한 포락선 프레임 영상은 도 8(b)와 같을 수 있다.
이후, 동작 인식 장치는 변화가 적은(움직임이 적은) 영역 (821, 823)에 관련된 포락선 프레임 신호들의 앙상블 평균(ensemble mean)을 산출하고(S133b), 포락선 프레임 셋에 포함된 복수의 각 포락선 프레임 신호에서 앙상블 평균을 감산하여 움직임이 적은 영역의 성분을 저감시킨 복수의 매크로 영역 저감 프레임 신호로 형성된 매크로 영역 저감 포락선 프레임 셋을 생성할 수 있다(S133c). 동작 인식 장치는 매크로 영역 저감 프레임 신호를 프레임 신호에 합산하여 프레임 신호를 보강할 수 있다(S133d). 예를 들어, 복수의 매크로 영역 저감 프레임 신호의 진폭 크기의 값이 양의 값을 갖는 성분과 복수의 프레임 신호의 진폭 크기의 값이 양의 값을 갖는 성분을 합산하여 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 마이크로 영역 향상 프레임 신호를 시간축에 따라 스택하여 마이크로 영역 향상 프레임 셋을 생성할 수 있다. 도 8(c)는 마이크로 영역 향상 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하고 포락선 마이크로 영역 향상 신호들의 진폭 값에 기반하여 컬러 값에 맵핑한 결과이다. 도 8(a)의 프레임 셋에 비하여 움직임이 많은 영역(832)의 성분이 보강(움직임이 많은 영역(832)의 프레임 신호의 기여도를 강화)되고, 움직임이 적은 영역(831, 833)의 성분이 저감되었음을 확인할 수 있다.
일 실시 예에서, 포락선 프레임 신호 및 프레임 신호의 시간축 방향의 데이터를 10 Hz 미만의 성분을 통과시키는 저역 필터(Low Pass Filter:LPF) 처리한 결과를 이용할 수 있고, 이는 시간축의 각 데이터 값 사이의 불연속성에 의한 고주파수 잡음을 제거할 수 있다.
앞에서 설명한 것처럼, 일 실시 예에서, 포락선 프레임 신호 및 프레임 신호들은 진폭 값이 양의 값과 음의 값을 모두 갖는 양극성의 신호이고 양의 부분과 음의 부분이 대칭을 이루고 있기 때문에, 선택적으로 양의 값만을 이용할 수 있다. 대칭성으로 인해 양의 값만을 사용해도 정보의 손실이 발생하지 않고, 프레임 셋, 마이크로 영역 향상 프레임 셋 등 여러 프레임 셋을 영상화할 때 전체를 사용하는 것보다 절반의 데이터로 전체 영역을 표현할 수 있는 효과가 있다.
동작 인식 장치는 마이크로 영역 향상 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직인 방향으로 조망하여 마이크로 영역 향상 레이더 영상을 생성할 수 있다(S130).
일 실시 예에서, 동작 인식 장치는 마이크로 영역 향상 프레임에 포함된 마이크로 영역 향상 프레임 신호의 진폭 값을 미리 설정된 범위로 정규화 처리 하고, 정규화된 진폭 값을 미리 설정된 컬러 맵에 기반하여 맵핑함으로써 컬러화된 마이크로 영역 향상 레이더 영상을 생성할 수 있다. 따라서, 컬러 영상으로 미리 학습된 학습 모델을 재 훈련시키는 경우에도 적합한 입력 영상으로 마이크로 영역 향상 레이더 영상을 이용할 수 있으며, 회색조 영상보다 각 픽셀별로 대비적인 정보를 활용할 수 있어 학습 모델의 동작 인식 정확성을 향상시킬 수 있다.
동작 인식 장치는 마이크로 영역 향상 레이더 영상을 서로 다른 동작으로부터 생성된 마이크로 영역 향상 레이더 영상을 각각 그에 따른 동작으로 레이블링한 훈련 데이터로 훈련된 학습 모델에 입력하여 타겟의 동작을 판단할 수 있다(S140). 학습 모델은 앞서 자세히 설명하였으므로 다른 설명은 생략한다.
도 4 내지 도 9를 참조하여 설명한 본 개시의 일 실시 예에 따른 동작 인식 장치의 동작 인식 방법은 앞선 단계의 데이터를 후속 단계에서 사용하는 것이 아닌 경우, 각 단계는 서로 순서를 바꾸어 구현될 수 있음이 통상의 기술자에게는 자명하다.
도 10 내지 도 13을 참조하여 본 개시의 다른 실시 예에 따른 동작 인식 장치의 동작 인식 방법을 설명한다.
동작 인식 장치는 별도의 장치로부터 레이더 프레임 신호를 입력 받아 미리 설정된 시간 간격으로 스택하여 프레임 셋을 생성하고 프레임 셋을 시간 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향으로 조망하여 레이더 영상을 생성하거나, 별도의 장치로부터 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향으로 조망한 레이더 영상을 입력 받을 수 있다(S210).
레이더 영상은 프레임 신호의 진폭 크기에 기반하여 픽셀 값을 맵핑한 2차원 영상일 수 있고, 일 실시 예에서, 프레임 신호의 포락선 중 양의 값을 갖는 포락선의 진폭 크기에 기반하여 컬러 값으로 맵핑된 값을 픽셀 값으로 가질 수 있다.
즉, 앞에서 설명한 실시 예와 다르게 동작 인식 장치는 영상에 기반하여 타겟의 동작이 많은 마이크로 영역의 성분을 강화하고, 타겟의 동작이 적은 매크로 영역의 성분을 저감시킬 수 있다.
동작 인식 장치는 레이더 영상에서 타겟의 일 부분, 타겟이 사람인 경우 타겟의 구성요소, 즉 머리, 팔 또는 다리 중 적어도 어느 하나의 움직임으로 인해 펄스 레이더 신호가 반사되어 타겟과 레이더 장치 사이의 거리가 변화가 반영된 마이크로 영역을 결정하고, 레이더 영상 중 마이크로 영역의 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성할 수 있다(S220).
도 11 내지 도 13을 참조하여 마이크로 영역 향상 레이더 영상을 생성하는 방법을 자세히 설명한다.
동작 인식 장치는 도 12(a)와 같은 레이더 영상에서 타겟의 동작(움직임)이 많은 마이크로 영역을 결정할 수 있다(S221).
일 실시 예에서, 도 12(a)의 레이더 영상의 동일한 로우(row)의 픽셀 값의 변화를 스캔하여 변화가 큰(움직임이 많은) 영역(1212) 및 변화가 적은(움직임이 적은) 영역(1211, 1213)을 결정할 수 있다. 이 때, 타겟이 위치하고 있는 것으로 판단한 로우(1214)의 픽셀 값의 변화를 스캔하거나, 로우를 변화해 가면서(1214) 복수의 컬럼의 픽셀 값의 변화를 스캔할 수 있다.
도 13을 참조하면, 일 실시 예에서 인접한 컬럼(예를 들어, 1311 및 1312, 1323 및 1324, 1331 및 1332)의 픽셀 값에 기반하여 상관 계수를 산출하거나, 각 컬럼(1311~1332)의 동일한 로우에서의 픽셀 값의 변화가 미리 설정된 기준 이상으로 변화하는 컬럼들로 구성된 영역(1320)을 변화가 큰(움직임이 많은) 마이크로 영역으로 결정하고, 그 외 영역을 변화가 적은(움직임이 적은) 매크로 영역으로 결정할 수 있다. 이외에도 다양한 통계적 또는 산술적 방법으로 변화가 큰(움직임이 많은) 영역을 판단할 수 있음이 통상의 기술자에게 자명하다.
동작 인식 장치는 컬럼 간 픽셀 값의 변화가 작은(즉, 타겟의 움직임이 많은) 매크로 영역의 복수의 컬럼들에 대하여 동일한 로우의 픽셀 값을 통계적 또는 산술적 평균하여 평균 컬럼을 생성하고(S222), 레이더 영상의 각 컬럼의 픽셀 값에서 평균 컬럼의 픽셀 값을 통계적 또는 산술적으로 감산하여 매크로 영역 저감 영상을 생성할 수 있다(S223). 이후, 생성된 매크로 영역 저감 영상을 레이더 영상에 통계적 또는 산술적으로 보강하여 마이크로 영역 향상 레이더 영상을 생성할 수 있다(S224)
동작 인식 장치는 마이크로 영역 향상 레이더 영상을 서로 다른 동작으로부터 생성된 마이크로 영역 향상 레이더 영상을 각각 그에 따른 동작으로 레이블링한 훈련 데이터로 훈련된 학습 모델에 입력하여 타겟의 동작을 판단할 수 있다(S230).
도 14 및 도 15를 참조하여 본 개시의 다른 실시 예에 따른 동작 인식 장치의 마이크로 영역을 결정하는 방법을 설명한다.
일 실시 예 에서, 동작 인식 장치는 도 14와 같은 프레임 셋으로부터 생성한 포락선 프레임 셋을 시간축 및 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향으로 조망한 도 15 (a)와 같은 레이더 영상을 생성할 수 있다. 레이더 영상은 포락선 프레임 신호의 진폭 값을 그레이 레벨에 맵핑한 회색조 영상일 수 있다. 동작 인식 장치는 레이더 영상을 바이너리 영상으로 변환한 후, 몰폴로지(morphology) 연산 중 침식(다일레이션, dilation) 처리 또는 이와 유사한 처리를 수행하여 작은 흰색 영역을 제거할 수 있다(도 15(b)). 동작 인식 장치는 침식 처리된 바이너리 영상에서 일정 크기 이상의 흰색 영역(1520)을 움직임이 많은 마이크로 영역으로 결정할 수 있다.
도 14 및 도 16을 참조하여 본 개시의 다른 실시 예에 따른 동작 인식 장치의 마이크로 영역을 결정하는 방법을 설명한다.
일 실시 예 에서, 동작 인식 장치는 도 14와 같은 프레임 셋으로부터 생성한 포락선 프레임 셋의 각 프레임 신호에서 가장 큰 진폭 값을 갖는 최대 진폭 인덱스 번호(1610)를 검색할 수 있다. 동작 인식 장치는 모든 프레임 신호의 최대 진폭 인덱스 번호의 변화(예를 들어, 번호의 진폭 변화)를 모니터링하여 변화가 미리 설정된 범위를 넘는 부분(1630, 1640)을 움직임이 많은 마이크로 영역으로 결정할 수 있다. 이 때, 동작 인식 장치는 최대 진폭 인덱스 번호의 흐름을 저역 필터링 처리(1650)한 후 번호의 변화를 모니터링할 수도 있다.
도 14 내지 도 16을 참조하여 설명한 동작 인식 장치의 마이크로 영역을 결정하는 방법은 동작 인식 장치가 프레임 신호 또는 프레임 신호에 기반하여 생성된 레이더 영상에 기반하여 타겟의 동작이 많은 영역(마이크로 영역)의 성분을 보강하고 타겟의 동작이 적은 영역(매크로 영역)의 성분을 저감할 때 모두 사용될 수 있고, 그 외의 방법으로도 레이더 신호 또는 레이더 영상에 기반하여 타겟의 동작이 많은 영역(마이크로 영역) 및 타겟의 동작이 적은 영역(매크로 영역)을 판단할 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 동작 인식 장치의 프로세서를 포함할 수도 있다.
한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
100: 동작 인식 장치
101: 동작 인식 장치
200: 레이더 장치
201: 레이더 모듈
610: 프레임 신호
620: 포락선 곡선
741, 743, 745, 747, 749: 프레임 신호
740: 프레임 셋

Claims (22)

  1. 타겟으로 레이더 펄스를 송신한 후, 서로 다른 시간에 상기 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받는 단계로서, 상기 프레임 신호는 상기 타겟으로부터 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 축에 기반하여 표현되고,;
    복수의 상기 프레임 신호 중 제1 영역보다 움직임이 많은 제2 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 상기 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 생성하는 단계;
    상기 마이크로 영역 향상 프레임 셋의 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 상기 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하는 단계로서, 상기 마이크로 영역 향상 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고,; 및
    상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  2. 제1 항에 있어서,
    상기 마이크로 영역 향상 프레임 셋을 생성하는 단계는,
    상기 제1 영역과 관련성이 높은 복수의 제1 프레임 신호의 포락선에 대한 앙상블 평균(ensemble mean)에 기반하여, 상기 마이크로 영역 향상 프레임 셋을 생성하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  3. 제1 항에 있어서,
    상기 제2 영역은 상기 타겟의 구성 요소 중 반사 면적이 작은 영역으로부터 반사된 상기 레이더 펄스의 적어도 일 부분이 포함된 영역이고, 상기 타겟은 인체이고, 상기 제2 영역은 상기 타겟의 머리, 팔 또는 다리 중 적어도 어느 하나의 움직임으로부터 반사된 상기 레이더 펄스의 적어도 일 부분이 포함된 영역인
    동작 인식 장치의 동작 방법.
  4. 제1 항에 있어서,
    상기 마이크로 영역 향상 레이더 영상은 상기 타겟으로부터 반사된 시간과 관련된 상기 시간 축 및 상기 타겟까지의 거리와 관련된 상기 인덱스 축을 영상 축으로 갖고, 상기 마이크로 영역 향상 프레임 신호의 진폭 크기의 값과 관련된 픽셀 값을 갖는 2차원 영상인,
    동작 인식 장치의 동작 방법.
  5. 제4 항에 있어서,
    상기 마이크로 영역 향상 레이더 영상의 상기 픽셀 값은 상기 마이크로 영역 향상 프레임 신호의 상기 진폭 크기에 기반하여 컬러 값으로 맵핑된 값인,
    동작 인식 장치의 동작 방법.
  6. 제1 항에 있어서,
    상기 학습 모델은 서로 다른 동작으로부터 생성된 상기 마이크로 영역 향상 레이더 영상을 각각 상기 동작으로 레이블링한 훈련 데이터로 훈련된 학습 모델인,
    동작 인식 장치의 동작 방법.
  7. 제6 항에 있어서,
    상기 학습 모델은 컬러 영상에 기반하여 미리 학습된(pre-trained) 제1 학습 모델을 상기 훈련 데이터로 재학습(re-train)한 학습 모델인,
    동작 인식 장치의 동작 방법.
  8. 제7 항에 있어서,
    상기 학습 모델은 상기 제1 학습 모델의 입력 레이어로부터 미리 설정된 숫자의 레이어들의 파라미터를 고정하고, 상기 파라미터가 고정된 레이어 이외의 레이어들을 상기 훈련 데이터로 재학습한 학습 모델이고, 상기 파라미터가 고정된 레이어들의 비율은 상기 제1 학습 모델의 종류에 기반하여 결정된,
    동작 인식 장치의 동작 방법.
  9. 제2 항에 있어서,
    상기 제1 프레임 신호의 포락선에 대한 앙상블 평균에 기반하여 상기 마이크로 영역 향상 프레임 신호를 생성하는 단계는,
    복수의 상기 프레임 신호가 미리 설정된 시간 간격으로 스택하여 형성된 프레임 셋을 생성하는 단계;
    복수의 상기 프레임 신호 중 상기 제2 영역보다 움직임이 적은 상기 제1 영역과 관련성이 높은 복수의 상기 제1 프레임 신호를 결정하는 단계; 및
    상기 프레임 셋에서 복수의 상기 제1 프레임 신호에 기반한 성분의 적어도 일부를 저감시키고 복수의 상기 제2 영역에 포함된 제2 프레임 신호에 기반한 성분의 적어도 일부를 강화하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  10. 제9 항에 있어서,
    상기 프레임 셋에서 복수의 상기 제1 프레임 신호에 기반한 성분의 적어도 일부를 저감시키고 복수의 상기 제2 프레임 신호에 기반한 성분의 적어도 일부를 강화하는 단계는,
    상기 프레임 셋의 복수의 상기 프레임 신호의 포락선(envelope)인 복수의 포락선 프레임 신호로 형성된 포락선 프레임 셋을 생성하는 단계;
    복수의 상기 제1 프레임 신호의 포락선에 대한 앙상블 평균을 산출하는 단계;
    상기 포락선 프레임 셋에 포함된 복수의 상기 포락선 프레임 신호에서 상기 앙상블 평균을 감산한 복수의 매크로 영역 저감 프레임 신호로 형성된 매크로 영역 저감 포락선 프레임 셋을 생성하는 단계; 및
    복수의 상기 매크로 영역 저감 프레임 신호의 성분에 기반하여 상기 프레임 셋에 포함된 상기 제2 프레임 신호에 기반한 성분의 적어도 일부를 보강하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  11. 제10 항에 있어서,
    상기 제2 프레임 신호에 기반한 성분의 적어도 일부를 보강하는 단계는,
    복수의 상기 매크로 영역 저감 프레임 신호의 진폭 크기의 값이 양의 값을 갖는 성분과 상기 프레임 셋에 포함된 복수의 상기 프레임 신호의 진폭 크기의 값이 양의 값을 갖는 성분을 합산하여 복수의 상기 마이크로 영역 향상 프레임 신호가 포함된 상기 마이크로 영역 향상 프레임 셋을 생성하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  12. 제11 항에 있어서,
    상기 마이크로 영역 향상 레이더 영상을 생성하는 단계는,
    복수의 상기 마이크로 영역 향상 프레임 신호의 진폭 값을 미리 설정된 범위로 정규화 처리 하고, 정규화된 진폭 값을 미리 설정된 컬러 맵에 기반하여 맵핑하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  13. 타겟에 송신된 레이더 펄스가 서로 다른 시간에 상기 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 프레임 셋을 상기 프레임 셋의 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받는 단계로서, 상기 프레임 신호는 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 상기 인덱스 축에 기반하고, 상기 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고,;
    상기 레이더 영상 중 상기 타겟의 적어도 일 부분의 움직임으로 인해 상기 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 상기 레이더 영상 중 상기 마이크로 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하는 단계; 및
    상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  14. 제13 항에 있어서,
    상기 레이더 영상은
    상기 프레임 신호의 진폭 크기에 기반한 픽셀 값을 갖는 2차원 영상이고, 상기 레이더 영상의 픽셀 값은 상기 프레임 신호의 포락선(envelope) 중 진폭 크기의 값이 양의 값을 갖는 상기 포락선의 진폭 크기의 값에 기반하여 컬러 값으로 맵핑된 값인,
    동작 인식 장치의 동작 방법.
  15. 제13 항에 있어서,
    상기 마이크로 영역 향상 레이더 영상을 생성하는 단계는,
    제1 영역보다 컬럼(column) 간 픽셀 값의 변화가 큰 제2 영역이 포함되지 않은 복수의 컬럼의 동일한 로우(row)의 픽셀 값의 평균으로 형성된 평균 컬럼의 픽셀 값에 기반하여 상기 마이크로 영역 향상 레이더 영상을 생성하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  16. 제15 항에 있어서,
    상기 평균 컬럼의 픽셀 값에 기반하여 상기 마이크로 영역 향상 레이더 영상을 생성하는 단계는,
    상기 레이더 영상 중 상기 제1 영역보다 컬럼 간 픽셀 값의 변화가 큰 상기 제2 영역을 결정하는 단계;
    상기 제2 영역이 포함되지 않은 복수의 컬럼의 동일한 로우의 픽셀 값의 평균으로 형성된 평균 컬럼을 생성하는 단계; 및
    상기 레이더 영상의 픽셀 값에서 상기 평균 컬럼의 픽셀 값을 감산하여 매크로 영역 저감 영상을 생성하는 단계;
    상기 매크로 영역 저감 영상과 상기 레이더 영상을 결합하여 상기 마이크로 영역 향상 레이더 영상을 생성하는 단계를 포함하는,
    동작 인식 장치의 동작 방법.
  17. 적어도 하나의 프로세서;
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받고, 상기 프레임 신호는 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 축에 기반하여 표현되고, 복수의 상기 프레임 신호 중 제1 영역보다 움직임이 많은 제2 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 복수의 마이크로 영역 향상 프레임 신호를 생성하고, 복수의 상기 마이크로 영역 향상 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 생성하고, 상기 마이크로 영역 향상 프레임 셋의 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 상기 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하고, 상기 마이크로 영역 향상 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고, 상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하도록 야기하는 코드를 저장하는,
    동작 인식 장치.
  18. 제17 항에 있어서,
    상기 마이크로 영역 향상 레이더 영상은 상기 타겟으로부터 반사된 시간과 관련된 시간 축 및 상기 타겟까지의 거리와 관련된 인덱스 축을 영상 축으로 갖고, 상기 마이크로 영역 향상 프레임 신호의 진폭 크기의 값과 관련된 픽셀 값을 갖는 2차원 영상인,
    동작 인식 장치.
  19. 제17 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제2 영역보다 움직임이 적은 상기 제1 영역과 관련성이 높은 복수의 제1 프레임 신호의 포락선에 대한 앙상블 평균(ensemble mean)에 기반하여 상기 마이크로 영역 향상 프레임 신호를 생성하도록 야기하는 코드를 더 저장하는,
    동작 인식 장치.
  20. 적어도 하나의 프로세서;
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호를 입력 받고, 상기 프레임 신호는 상기 타겟으로부터 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 축에 기반하여 표현되고, 복수의 상기 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 프레임 셋을 생성하고, 상기 프레임 셋 중 상기 타겟의 적어도 일 부분의 움직임으로 인해 상기 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 상기 프레임 셋 중 상기 마이크로 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 마이크로 영역 향상 프레임 셋을 생성하고, 상기 마이크로 영역 향상 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고, 상기 마이크로 영역 향상 프레임 셋의 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 상기 마이크로 영역 향상 프레임 셋을 조망하는 영상인 마이크로 영역 향상 레이더 영상을 생성하고, 상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하도록 야기하는 코드를 저장하는,
    동작 인식 장치.
  21. 적어도 하나의 프로세서;
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받고, 상기 프레임 신호는 상기 타겟으로부터 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 축에 기반하여 표현되고, 상기 레이더 영상 중 상기 타겟의 적어도 일 부분의 움직임으로 인해 상기 일 부분과 수신 안테나의 거리 변화가 반영된 마이크로 영역을 결정하고, 상기 마이크로 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하고, 상기 마이크로 영역 향상 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고, 상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하도록 야기하는 코드를 저장하는,
    동작 인식 장치.
  22. 적어도 하나의 프로세서;
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 서로 다른 시간에 타겟으로부터 반사된 레이더 펄스에 기반한 복수의 프레임 신호가 미리 설정된 시간 간격으로 스택(stack)하여 형성된 마이크로 영역 향상 프레임 셋을 시간 축 및 상기 타겟까지의 거리를 의미하는 인덱스 축에 수직한 방향에서 조망하는 영상인 레이더 영상을 입력 받고, 상기 프레임 신호는 상기 타겟으로부터 반사된 레이더 펄스의 세기를 나타내는 축 및 상기 타겟과의 거리를 나타내는 축에 기반하여 표현되고, 상기 레이더 영상 중 제1 영역보다 컬럼(column) 간 픽셀 값의 변화가 큰 제2 영역을 결정하고, 상기 레이더 영상 중 상기 제2 영역의 레이더 펄스의 세기와 관련된 성분을 강화한 마이크로 영역 향상 레이더 영상을 생성하고, 상기 마이크로 영역 향상 레이더 영상의 픽셀 값은 상기 타겟으로부터 반사된 레이더 펄스의 세기에 기반하고, 상기 마이크로 영역 향상 레이더 영상을 머신 러닝 기반의 학습 모델에 입력하여 상기 타겟의 동작을 판단하도록 야기하는 코드를 저장하는,
    동작 인식 장치.
KR1020200145405A 2020-11-03 2020-11-03 펄스 레이더에 기반한 동작 인식 장치 및 방법 KR102495377B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200145405A KR102495377B1 (ko) 2020-11-03 2020-11-03 펄스 레이더에 기반한 동작 인식 장치 및 방법
US18/030,347 US20230377167A1 (en) 2020-11-03 2021-09-07 Apparatus and method for motion recognition based on pulse radar
PCT/KR2021/012155 WO2022097894A1 (ko) 2020-11-03 2021-09-07 펄스 레이더에 기반한 동작 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200145405A KR102495377B1 (ko) 2020-11-03 2020-11-03 펄스 레이더에 기반한 동작 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220059806A KR20220059806A (ko) 2022-05-10
KR102495377B1 true KR102495377B1 (ko) 2023-02-06

Family

ID=81458036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145405A KR102495377B1 (ko) 2020-11-03 2020-11-03 펄스 레이더에 기반한 동작 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US20230377167A1 (ko)
KR (1) KR102495377B1 (ko)
WO (1) WO2022097894A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883228B1 (ko) 2017-02-16 2018-07-30 (주)더블유알티랩 제스처 인식 방법 및 장치
KR101988182B1 (ko) 2018-11-02 2019-06-11 세종대학교산학협력단 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법
KR102021531B1 (ko) * 2019-03-28 2019-11-04 세종대학교 산학협력단 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
US20210240274A1 (en) 2020-01-30 2021-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for interpreting gestures

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116604B1 (ko) * 2018-01-26 2020-05-28 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
KR102140045B1 (ko) * 2019-01-10 2020-07-31 세종대학교 산학협력단 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법
EP3716020B1 (en) * 2019-03-29 2023-03-01 Tata Consultancy Services Limited Systems and methods for three dimensional (3d) reconstruction of human gestures from radar based measurements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883228B1 (ko) 2017-02-16 2018-07-30 (주)더블유알티랩 제스처 인식 방법 및 장치
KR101988182B1 (ko) 2018-11-02 2019-06-11 세종대학교산학협력단 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법
KR102021531B1 (ko) * 2019-03-28 2019-11-04 세종대학교 산학협력단 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
US20210240274A1 (en) 2020-01-30 2021-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for interpreting gestures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O. R. Fogle 외 1명. Micro-range/micro-Doppler decomposition of human radar signatures. IEEE Transactions on Aerospace and Electronic Systems. vol.48, no.4, 2012.10.*

Also Published As

Publication number Publication date
US20230377167A1 (en) 2023-11-23
WO2022097894A1 (ko) 2022-05-12
KR20220059806A (ko) 2022-05-10

Similar Documents

Publication Publication Date Title
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
US10210418B2 (en) Object detection system and object detection method
CN109188414A (zh) 一种基于毫米波雷达的手势运动探测方法
US9064182B2 (en) Image recognition device, image recognition method, and image recognition program
US11244188B2 (en) Dense and discriminative neural network architectures for improved object detection and instance segmentation
US11567580B2 (en) Adaptive thresholding and noise reduction for radar data
CN110570433A (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
Aydogdu et al. Multi-modal cross learning for improved people counting using short-range FMCW radar
US20220108545A1 (en) Method and device for high-speed image recognition using 3d cnn
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
Yang et al. HCNN-PSI: A hybrid CNN with partial semantic information for space target recognition
US20230012372A1 (en) Methods and systems for generating three dimensional (3d) models of objects
CN111784624A (zh) 目标检测方法、装置、设备及计算机可读存储介质
Liu et al. Radar emitter signal detection with convolutional neural network
Zhang et al. Temporal-range-doppler features interpretation and recognition of hand gestures using MmW FMCW radar sensors
KR102495377B1 (ko) 펄스 레이더에 기반한 동작 인식 장치 및 방법
Lee et al. PMNet: Robust pathloss map prediction via supervised learning
US20220261641A1 (en) Conversion device, conversion method, program, and information recording medium
Yang et al. A lightweight multi-scale neural network for indoor human activity recognition based on macro and micro-doppler features
CN116740342A (zh) 改进YOLO v8的毫米波图像目标检测与识别方法
US20240013521A1 (en) Sequence processing for a dataset with frame dropping
CN113657293B (zh) 活体检测方法、装置、电子设备、介质及程序产品
CN113902044A (zh) 一种基于轻量级yolov3的图像目标提取方法
Luo et al. EdgeActNet: Edge Intelligence-enabled Human Activity Recognition using Radar Point Cloud
CN111931593A (zh) 一种基于深度神经网络和时频图像序列的弱目标检测方法

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant