KR20230029330A

KR20230029330A - 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법

Info

Publication number: KR20230029330A
Application number: KR1020210111693A
Authority: KR
Inventors: 이성주; 김나래; 백성민
Original assignee: 세종대학교산학협력단
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2023-03-03
Also published as: KR102625707B1

Abstract

본 발명은 FSK 레이다를 이용하여 손동작을 인식하는 방법 및 장치에 관한 것으로서, 손동작으로부터 반사되는 레이다 수신신호를 기준거리에 따라 보정하는 전처리를 수행하고 그로부터 도출한 스펙트로그램을 기계학습하여 손동작 인식모델을 생성하고, 전처리된 레이다 수신신호로부터 손동작을 인식하는 방법 및 시스템을 제공한다.

Description

마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법{A signal processing method for spectrogram extraction from micro doppler radar}

본 발명은 레이다 신호의 스펙트로그램을 이용한 손동작(hand gesture) 인식을 위한 스펙토그램 추출방법에 관한 것이다.

종래에 레이다 신호의 스펙트로그램을 추출하여 손동작 인식을 수행하고자 하는 시도가 있었다.

대한민국 등록특허 10-1952552과 같은 경우, 종래의 스펙트로그램 추출 방식이 대상체의 실시간 위치를 반영하지 못한 문제를 해결하기 위하여, 실시간으로 레이더 신호로부터 스펙트로그램을 추출하는 방식을 제안하였다.

하지만, 종래기술들은 스펙트로그램의 변화의 정도가 크지 않아 특히, 거리가 멀어질 수록 스펙트로그램의 변화의 정도가 크기 않아 인식률이 낮아지는 문제가 있었다.

대한민국 등록특허 10-1952552

본 발명은 상기와 같은 종래기술의 문제점을 해결하여, 대상체의 변화정도를 충실하게 반영하는 스펙트로그램을 추출하는 방법을 제공하여, 효과적인 손동작 인식이 가능하도록 하고자 한다. 이를 위하여 본 발명은 손동작에 대한 레이다 수신신호를 전처리하여 스펙트로그램을 추출하고 이를 기계학습하여 손동작 인식모델을 생성하는 방법 및 시스템을 제공한다.

상기 해결과제 달성을 위해 본 발명은, 수신데이터의 전처리를 통하여 손동작을 인식하는 장치로서, 손동작에 대한 레이다 수신신호를 입력받아 디지털 신호로 변환하는 아날로그 신호처리부; 상기 아날로그 신호처리부의 출력신호로부터 거리정보 신호를 생성하는 거리추정부; 거리추정부의 거리정보 신호 출력을 전처리하는 전처리부; 상기 전처리부의 출력신호에 대하여 스펙트로그램을 생성하는 스펙트로그램 생성부; 상기 스펙트로그램 생성부에서 출력된 스펙트로그램으로부터 손동작을 인식하는 손동작 인식모델부;를 포함하여 구성되는 손동작 인식장치를 제공한다. 이 때, 상기 손동작 인식모델부는, 상기 전처리부에서 전처리된 거리정보 신호로부터 생성된 스펙트로그램을 학습데이터로 포함하여 학습한 기계학습모델이다.

또한, 상기 전처리부에서 수행하는 전처리는, 상기 거리추정부의 출력신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 것이며, 또한, 전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 아래 수식 1을 만족하도록 전처리하는 것;을 특징으로 한다.

(수식 1)

(R_ref는 기준거리, V_ref는 기준거리에서의 수신신호의 전압값, R_result는 측정된 거리, V_result는 측정된 전압값)

본 발명은 또한, 실제 거리변화를 알고 있는 일련의 손동작에 대하여 레이다로 측정하여 수신신호를 획득하는 단계;상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따라 보정하는 전처리를 수행하는 전처리 단계; 상기 전처리 단계를 거친 수신신호 데이터로부터 스펙트로그램을 생성하는 스펙트로그램 생성단계; 상기 생성한 스펙트로그램을 기계학습모델에 입력하여 손동작을 학습하여 손동작 인식모델을 생성하는 손동작 학습 및 인식모델 생성단계;를 포함하여 구성되는 손동작 인식모델 생성방법을 제공하며, 이때, 상기 전처리는 상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것;을 특징으로 하며, 또한, 전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 상술한 수식 1을 만족하도록 전처리하는 것을 특징으로 한다.

본 발명은 또한, 일련의 손동작에 대하여 레이다로 측정하여 수신신호를 획득하는 단계; 상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따라 보정하는 전처리를 수행하는 전처리 단계; 상기 전처리 단계를 거친 수신신호 데이터로부터 스펙트로그램을 생성하는 스펙트로그램 생성단계; 상기 생성한 스펙트로그램을 손동작 인식모델에 입력하여 손동작을 인식하는 손동작 인식단계;를 포함하여 구성되며, 상기 손동작 인식모델은, 상기 전처리부에서 전처리된 거리정보 신호로부터 생성된 스펙트로그램을 학습데이터로 포함하여 학습한 기계학습모델인 것;을 특징으로 하는 손동작 인식방법을 제공한다. 이때, 상기 전처리단계에서 수행하는 전처리는, 상기 거리추정부의 출력신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것;을 특징으로 하며, 상기 전처리는, 또한, 전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 상기 수식 1을 만족하도록 전처리하는 것;을 특징으로 한다.

본 발명은 레이다 수신신호로부터 대상체의 변동을 효과적으로 반영하는 스펙트로그램을 추출하도록 함으로써, 스펙트로그램을 이용하여 효과적인 손동작 인식이 가능하도록 한다.

도 1은 본 발명에 따른 손동작 인식 시스템의 블럭도이다.
도 2는 본 발명에 따른 스펙트로그램 추출방법의 순서도이다.
도 3은 종래기술과 본 발명의 스펙트로그램 추출방법의 차이에 따른 스펙트로그램의 차이를 보이는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.

이하, 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.

1. 본 발명에 따른 손동작 인식의 절차 및 시스템

도 1에 본 발명의 FSK 레이더를 이용한 손동작(hand gesture) 인식 시스템(100)의 블록도를 보인다.

본 발명은 알고있는 손동작에 대한 레이다 수신신호를 전처리하여 스펙트로그램을 생성하고, 이를 기계학습하여 손동작 인식모델을 생성하고, 이후에 인식하고자 하는 손동작에 대한 레이다 수신신호를 상기 전처리와 동일한 방식으로 전처리하여 획득한 스펙트로그램을 상기 생성한 손동작 인식모델에 입력하여 손동작을 인식하는 방법 및 시스템을 제공한다.

FSK 레이다(111)를 이용한 손동작 인식 시스템도 기존 도플러 레이더를 사용한 손동작 인식 시스템과 같이 아날로그 신호처리부(110), 디지털 신호처리부(120), 소프트웨어 처리부(130)로 나뉜다.

아날로그 신호처리부(110)는 FSK 레이다(111)에서 손동작을 측정한 아날로그 신호를 수신하고 디지털 신호로 변환한다. 아날로그디지털컨버터(ADC)는 수신신호의 전압크기를 출력한다.

다음으로 디지털 신호처리부(120)는 수신 샘플을 데이터 패키징(122) 과정을 통해 수집하여 DRAM에 저장한다. 이때, 사전검출(pre-detection) 과정을 수행할 수 있는데, 지속적으로 FFT를 필요로 하는 프레임 검출 방법을 수행하기에는 전력 문제가 있을 수 있기 때문이다. 전력 문제에 제한이 적을 경우 사전검출 과정은 생략 가능하다. DPRAM(122)에 저장한 데이터는 사전검출블럭(123)에서 검출트리거 신호가 뜨면 거리추정(range estimation) 블록(124)으로 데이터를 전달한다.

이후, 거리추정 블럭에서 측정된 거리 정보를 전처리(pre-processing) 블럭(125)에서 전처리하여 거리 정보를 반영하고, 이 신호를 DPRAM에 저정한다. 전처리는 후술하는 것처럼 기준신호에 대한 상대적인 비율을 반영한다.

다음으로, SFTF 모듈(127)은 신호검출(detection) 블럭(128)에서 트리거된 신호가 들어오면 DPRAM에서 데이터를 출력하여 단시간퓨리에변환(STFT: Short-time Fourier Transform)를 수행한다. 하나의 프레임에 해당하는 STFT가 완료되면 이를 스펙트로그램(spectrogram)으로 출력한다.

다음으로, 소프트웨어처리부(130)은 스펙트로그램을 이용하여 하드웨어 가속기 또는 그래픽 처리 장치(GPU)를 사용하여 기계 학습을 수행한다. 기계 학습을 통해 생성된 기계 학습 모델을 사용하여 스펙트로그램에 따라 손동작 움직임을 인식한다. 본 발명의 실시예에서는 기계 학습으로 CNN 모델을 사용하였다. 본 발명에서는 CNN 학습의 성능을 높이기 위하여 학습데이터로 사용되는 스펙트로그램의 사전 전처리(pre-processing) 를 진행한다.

2. 본 발명에 따른 스펙트로그램의 전처리(pre-processing)

거리추정(range estimation) 블록에서의 거리추정 단계를 통해 거리정보가 추출되면 전처리(pre-processing) 블럭에서, 상기 추정된 거리정보를 적용하여 데이터를 처리한다. 이때, 레이더에서 수신 안테나로 되돌아 오는 수신전력 P_r 은 아래 수학식 1로 결정된다.

(P_t는 송신 전력, G_t는 송신 안테나의 이득, A_r은 수신 안테나의 유효 개구 면적, σ는 목표물의 산란 계수, F는 패턴 전자 인자, R_t는 송신기에서 목표물까지의 거리, R_r은 목표물에서 수신기까지의 거리)

한편, 본 발명의 실시예에서는 송신기와 수신기가 동일한 위치에 배치되었으므로, R_t=R_r이며,P_t, G_t, A_r, σ, F는 거리와 상수값이므로, 수학식 1에서 상수값을 δ로 치환하면, 수신전력 P_r은 아래 수학식 2에서 보이는 것과 같이 거리의 네 제곱에 반비례한다.

한편, 평균 수신전력(P_avg)은 수학식 3의 전단과 같이 주어지는데, 저항값(registance)을 1로 가정하면, 평균 수신전력 P_avg은 수학식 3의 후단과 같이 구할 수 있다.

이때, 스펙트로그램의 전처리를 위하여 보정의 기준으로 삼은 기준거리를 R_ref,측정된 거리를 R_result라 하면, 보정의 기준으로 삼은 기준거리에서의 보완된 전압값 P_ref는, 수학식 2와 수학식 3에 의해서, 아래 수학식 4, 5와 같이 표현될 수 있다.

이때, ADC에서 출력되는 신호는 전압신호이므로, V_resut는 전처리 전의 거리정보를 가지고 있는 거리정보신호, V_ref 는 보정후의 거리정보신호라 할 수 있다.

즉, 본 발명의 전처리블럭은 입력되는 수신신호의 전압측정값 V_result에 대하여 상기 수학식 5에서 정의된 것과 같이 V_ref로 보정하여 STFT 블럭으로 출력하는 전처리를 수행한다. 본 발명의 전처리는, 거리추정부의 출력신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것이다.

3. 본 발명에 손동작 인식모델의 학습 및 생성

이와 같은 기술원리를 적용하여, 본 발명에서는 도 2에서 설명하는 것과 같은 절차에 따라 FSK 레이다로부터 취득한 신호에 대하여 본 발명에 따른 전처리를 수행하고, 전처리를 수행한 신호에 대하여 STFT를 취하여 생성한 스펙트로그램으로부터 손동작 인식모델을 학습하여 생성한다.

(1) 학습데이터 생성단계(S10)

학습데이터세트로는 실제 거리의 변화를 알고 있는 손동작의 일련의 세트를 레이다로 측정하는 절차로부터 마련된다. 실제 일련의 손동작의 세트에 대하여 상술한 본 발명의 전처리 결과 데이터에 대하여 STFT를 수행하여 전처리된 데이터에 대한 스펙트로그램을 출력한다.

도 3의 (a)는 90cm 거리에서 위에서 아래로 내리는 손동작에 대한 종래기술의 스펙트로그램이고, 도 3의 (b)는 본 발명에 따른 전처리과정을 진행한 스펙트로그램이다.

본 발명의 소프트웨어 처리부(130)에서는 이와 같은 본 발명에 따른 전처리된 수신데이터에 대한 스펙트로그램과 상기 일련의 손동작 세트의 실제 거리를 학습데이터로 사용한다. 전처리블력(125)에서 상기 전처리를 수행한다.

(2) 학습데이터의 학습 및 손동작 인식모델 생성(S20)

상기 본 발명의 전처리 방법에 따라 전처리된 수신데이터로부터 생성된 스펙트로그램과 알고있는 손동작에 대하여 기계학습모델의 학습을 진행하고 손동작 인식모델(HRM: Hand Gesture Recognition Model)을 생성한다. 본 발명의 실시예에서는 CNN 신경망을 기계학습모델로 사용하였다.

(3) 손동작 인식모델을 활용한 손동작 인식(S30)

인식하고자 하는 손동작에 대하여 레이다로 신호를 측정하고, 그 수신데이터를 상술한 전처리 방법에 따라 전처리하여 스펙트로그램을 생성하고, 이를 상기 생성한 손동작 인식모델에 입력하여 손동작 인식결과를 산출하는 단계이다.

10 전처리 모듈
20 손동작 인식모델
110 아날로그 신호처리부
120 디지털 신호처리부
130 소프트웨어 처리부
HRM 손동작 인식모델

Claims

수신데이터의 전처리를 통하여 손동작을 인식하는 장치로서,
손동작에 대한 레이다 수신신호를 입력받아 디지털 신호로 변환하는 아날로그 신호처리부;
상기 아날로그 신호처리부의 출력신호로부터 거리정보 신호를 생성하는 거리추정부;
거리추정부의 거리정보 신호 출력을 전처리하는 전처리부;
상기 전처리부의 출력신호에 대하여 스펙트로그램을 생성하는 스펙트로그램 생성부;
상기 스펙트로그램 생성부에서 출력된 스펙트로그램으로부터 손동작을 인식하는 손동작 인식모델부;
를 포함하여 구성되며,
상기 손동작 인식모델부는,
상기 전처리부에서 전처리된 거리정보 신호로부터 생성된 스펙트로그램을 학습데이터로 포함하여 학습한 기계학습모델인 것;
을 특징으로 하는 손동작 인식장치.
제1항에 있어서,
상기 전처리부에서 수행하는 전처리는,
상기 거리추정부의 출력신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것;
을 특징으로 하는 손동작 인식장치.
제2항에 있어서,
상기 전처리는,
전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 아래 수식 1을 만족하도록 전처리하는 것;
을 특징으로 하는 손동작 인식장치.
(수식 1)

(R_ref는 기준거리, V_ref는 기준거리에서의 수신신호의 전압값, R_result는 측정된 거리, V_result는 측정된 전압값)
실제 거리변화를 알고 있는 일련의 손동작에 대하여 레이다로 측정하여 수신신호를 획득하는 단계;
상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따라 보정하는 전처리를 수행하는 전처리 단계;
상기 전처리 단계를 거친 수신신호 데이터로부터 스펙트로그램을 생성하는 스펙트로그램 생성단계;
상기 생성한 스펙트로그램을 기계학습모델에 입력하여 손동작을 학습하여 손동작 인식모델을 생성하는 손동작 학습 및 인식모델 생성단계;
를 포함하여 구성되는 손동작 인식모델 생성방법.
제4항에 있어서,
상기 전처리단계에서 수행하는 전처리는,
상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것;
을 특징으로 하는 손동작 인식모델 생성방법.
제5항에 있어서,
상기 전처리는,
전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 아래 수식 1을 만족하도록 전처리하는 것;
을 특징으로 하는 손동작 인식모델 생성방법.
(수식 1)

(R_ref는 기준거리, V_ref는 기준거리에서의 수신신호의 전압값, R_result는 측정된 거리, V_result는 측정된 전압값)
일련의 손동작에 대하여 레이다로 측정하여 수신신호를 획득하는 단계;
상기 수신신호에 대하여 기준거리에 대한 상대적 거리에 따라 보정하는 전처리를 수행하는 전처리 단계;
상기 전처리 단계를 거친 수신신호 데이터로부터 스펙트로그램을 생성하는 스펙트로그램 생성단계;
상기 생성한 스펙트로그램을 손동작 인식모델에 입력하여 손동작을 인식하는 손동작 인식단계;
를 포함하여 구성되며,
상기 손동작 인식모델은,
상기 전처리부에서 전처리된 거리정보 신호로부터 생성된 스펙트로그램을 학습데이터로 포함하여 학습한 기계학습모델인 것;
을 특징으로 하는 손동작 인식모델 생성방법.
제7항에 있어서,
상기 전처리단계에서 수행하는 전처리는,
상기 거리추정부의 출력신호에 대하여 기준거리에 대한 상대적 거리에 따른 신호출력을 보정하는 전처리인 것;
을 특징으로 하는 손동작 인식방법.
제8항에 있어서,
상기 전처리는,
전처리 전의 거리정보신호 V_resut와 보정후 거리정보신호 V_ref가 아래 수식 1을 만족하도록 전처리하는 것;
을 특징으로 하는 손동작 인식방법.
(수식 1)

(R_ref는 기준거리, V_ref는 기준거리에서의 수신신호의 전압값, R_result는 측정된 거리, V_result는 측정된 전압값)