KR20210146666A

KR20210146666A - 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법

Info

Publication number: KR20210146666A
Application number: KR1020200063766A
Authority: KR
Inventors: 정윤호; 최영웅
Original assignee: 한국항공대학교산학협력단
Priority date: 2020-05-27
Filing date: 2020-05-27
Publication date: 2021-12-06
Also published as: KR102356347B1

Abstract

본 발명은 저복잡도의 특징점 추출기를 통해서 도플러 레이더의 단위 도플러 프로파일에서 특징점을 추출한 후 이를 신경망을 통해 학습시킴으로써 머신 러닝 알고리즘의 복잡도와 메모리 요구량을 낮출 수 있도록 한 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법에 관한 것으로, 레이다 스펙트로그램의 단위 도플러 프로파일에서 낮은 연산 부하로 추출 가능한 복수의 특징점을 추출함으로서 메모리 요구량을 줄이고 연산 복잡도를 낮추며 하드웨어 구현 면적을 크게 줄여 경량화 및 저비용을 달성할 수 있는 효과가 있다.

Description

특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법{Security surveillance radar systems using feature base neural network learning and security surveillance method thereof}

본 발명은 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법에 관한 것으로, 특히 저복잡도의 특징점 추출기를 통해서 도플러 레이더의 단위 도플러 프로파일에서 특징점을 추출한 후 이를 신경망을 통해 학습시킴으로써 머신 러닝 알고리즘의 복잡도와 메모리 요구량을 낮출 수 있도록 한 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법에 관한 것이다.

사물에 대한 인지와 구분을 통해 신뢰성을 높인 보안 감시 시스템에 대한 관심이 높아지면서 다양한 센서를 이용한 보안 감시 시스템에 대한 연구가 활발하에 진행되고 있다. 이러한 다양한 센서들은 예컨대 자동문 시스템 등에 사용되는 적외선의 변화량을 감지하는 PIR(pyroelectric infrared) 센서, 차량 출입 통제 시스템에 사용되는 루프코일 센서와 차량 후방감지 시스템 등에 사용되는 초음파 센서가 대표적이다. 하지만, 이러한 센서들은 온도와 바람과 같은 외부환경에 의한 오작동률이 높고, 탐지거리가 짧은 단점을 가진다. 특히, 루프 코일 센서의 경우 사용하기 위해 직접 도로에 매설해야하기 때문에 설치 및 유지 보수 시 차로가 통제되며, 도로 파손에 의한 훼손 우려도 존재한다는 단점이 있다.

이와 다르게, 전자기파를 사용하여 표적을 탐지하는 레이다 센서는 주변 환경에 영향을 적게 받기 때문에 오작동률이 낮고, 밝기와 상관없이 야간에도 사용이 가능하며, 탐지거리가 길고 표적의 미세한 변화까지도 측정이 가능하다는 장점이 있으며, 장애물을 투과하여 표적을 탐지할 수도 있다.

이러한 레이다 센서 자체에 대한 비용이 낮아지면서 그 도입에 활발해지고 있으며, 감시 사이트에 레이다 센서를 고정하거나 이동식으로 활용하거나 혹은 차량과 같은 이동체에 적용하는 등 다양한 활용이 가능하여 레이더 센서를 활용한 보안 감시 시스템에 대한 관심도 높아지고 있는 추세이다.

나아가 레이다를 이용한 감시 시스템에서는 표적 물체를 검출하는 것뿐만 아니라 사람의 다양한 동작이나, 사람과 동물 또는 다른 물체들을 분류하는 표적 물체 인식에 대한 연구도 최근 활발히 진행되고 있다.

레이다를 이용하여 표적 물체를 분류하는 최근의 연구 결과를 살펴보면, 대부분 레이다 센서를 통해 수집한 데이터를 단시간 푸리에 변환(short-time Fourier transform, STFT)하여 표적 물체의 스펙트로그램(spectrogram)을 얻고, 이러한 단시간 푸리에 변환을 통해 얻어진 스펙트로그램의 표적 물체별 특징을 구분하여 서로 다른 타겟을 분류하는 방식을 이용한다.

이러한 스펙트로그램의 표적 물체별 특징을 고정적으로 한정하여 분류하는 방식은 그 신뢰성이 낮기 때문에 다양한 머신 러닝 방식으로 표적 물체별 스펙트로그램 이미지를 학습시키고 이렇게 학습된 분류기를 활용하여 표적 물체를 분류하게 된다.

하지만, 레이다로 수신 받은 신호를 가공하여 생성된 스펙트로그램 이미지를 그대로 머신 러닝 알고리즘의 입력으로 사용한다면 머신 러닝 알고리즘의 복잡도가 커지며, 메모리 요구량이 커진다는 단점이 존재한다.

예를 들어, 한국 등록특허 제10-1952552호, 스펙트로그램 추출을 위한 레이더 신호 처리 장치 및 그 방법의 경우 대상물에 대해 측정된 레이다 신호를 STFT 처리하여 스펙트로그램 이미지를 생성하고 이를 머신 러닝을 통해 학습시키는 구성이 개시되어 있다. 나아가, 머신 러닝의 입력에서의 동작 인식 및 분류 성능을 높이기 위하여 스펙트로그램 생성 시 최대 강도의 신호가 스펙트로그램 이미지의 중심 위치에 존재하도록 머신 러닝의 입력 데이터를 생성하도록 하는 방식을 적용하고 있다. 하지만 이러한 방식 역시 전체 이미지를 학습시켜야 하므로 필요 메모리가 과다하고 연산이 복잡하여 레이다 보안 감시 시스템의 비용을 높이고 전력 소모를 증가시키며 실시간성을 낮추는 문제가 있다.

이러한 문제점을 해결하기 위해서 스펙트로그램에서 다양한 매개변수 만을 추출하여 분류를 진행하도록 함으로써 분류 알고리즘의 복잡도와 메모리 사용량을 줄이는 방법이 소개되었다. 이와 같이 매개변수를 추출하는 과정을 특징점 추출 (feature extraction)이라고 하며, 특징점 추출 기법에 따라 시스템의 복잡도와 성능이 결정된다.

하지만, 레이다로 수집한 데이터에서 특징점을 추출하여 표적 분류를 진행한 기존 연구들을 살펴보면 사람, 동물, 자건거, 차 등을 비교적 높은 확률(70~85%)로 분류한 연구들이 있으나 이러한 연구들에서 제시된 특징점 추출 기법들은 모두 스펙트로그램 이미지 전체를 대상으로 통계 처리 방식으로 특징점을 추출하고 있어 요구 메모리 용량이 크고 통계처리를 위해 복잡한 계산과 고속 푸리에 변환 연산이 필요하여 연산부 구성이 복잡해지는 문제가 있다. 예를 들어, 종래 특징점 추출 방식 중 하나를 살펴보면, 팔과 다리의 동작에 대한 주파수를 연산하여 이를 특징점으로 추출하는데 이를 위해서는 연산 복잡도가 높은 푸리에 변환 관련 연산이 필수적으로 요구된다. 종래의 다른 방식에서는 타겟 스트라이드(stride)를 연산하여 특징점을 추출하는데 이를 위해서는 나눗셈 연산기가 요구된다.

구체적 예시로서, 17회 국제 레이다 심포지움(17th International Radar Symposium (IRS)), pp.1-5, 2016에서 에스. 보루클랜드 외(S. Bjorklund, T. Johansson and H. Petersson)가 개시한 '마이크로 도플러 레이더를 이용한 주변 보호에서의 표적 분류(Target classification in perimeter protection with a micro-Doppler radar)'의 내용을 보면 사람, 동물 그리고 이외의 사물을 분류하는데 있어서 스펙트로그램에서 통계 처리를 진행한 뒤 추출한 특징점을 머신 러닝 알고리즘의 입력으로 사용한다. 하지만 해당 논문의 특징점 추출 방법은 스펙트로그램 이미지 전체에서 특징점을 추출하기 때문에 이미지 전체에 대한 계산과 고속 푸리에 변환이 요구되어 계산이 복잡하고 과다한 메모리 사용량이 요구되는 문제가 있다.

따라서, 낮은 연산복잡도와 적은 메모리를 요구하지만 이를 활용하더라도 분류 성능은 전체 스펙트로그램을 학습시키는 방식과 유사하도록 유지하는 새로운 방식의 특징점 추출 방법 및 이를 이용한 레이다 시스템에 대한 요구가 높아지고 있는 실정이다.

한국 등록특허 제10-1952552호 [스펙트로그램 추출을 위한 레이더 신호 처리 장치 및 그 방법]

마이크로 도플러 레이더를 이용한 주변 보호에서의 표적 분류(Target classification in perimeter protection with a micro-Doppler radar), 에스. 보루클랜드 외(S. Bjorklund, T. Johansson and H. Petersson), 17회 국제 레이더 심포지움(17th International Radar Symposium (IRS)), pp.1-5, 2016

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 레이다 스펙트로그램 전체에 대한 통계처리를 요구하는 프레임 단위의 특징점을 배제하고, 단위 도플러 프로파일(단위 FFT 윈도우)에서 추출 가능한 복수의 특징점을 추출함으로서 메모리 요구량을 줄이고 연산 복잡도를 낮춘 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법을 제공하는 것이다.

본 발명 실시예들의 다른 목적은 스펙트로그램 단위의 통계처리가 요구되는 특징점을 사용하지 않고 매 시간 입력되는 윈도우 단위의 통계처리를 통해 4가지의 특징점을 추출하되 분류 성능을 유지하는 선에서 고속 푸리에 변환이나 나눗셈 연산을 배제하거나 근사화함으로써 메모리 요구량을 낮추고 연산 복잡도를 낮추어 하드웨어 면적을 기존 대비 크게 줄이도록 한 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법을 제공하는 것이다.

본 발명 실시예들의 다른 목적은 매 시간 입력되는 윈도우 단위의 도플러 프로파일에서 몸통 주파수(torso frequency)와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수(micro-Doppler frequency)를 기반으로 특징점 4가지를 추출하고 이를 신경망에 학습시킴으로써 차. 자전거, 사람, 전동 킥보드를 명확하게 구분할 수 있도록 한 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법을 제공하는 것이다.

이러한 본 발명의 목적을 달성하기 위한 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템은, 도플러 레이다 신호에 대한 스펙트로그램으로부터 특징점을 추출하는 특징점 추출 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템으로서, 상기 특징점 추출 프로세서는 수신되는 스펙트로그램을 FFT 윈도우 크기에 맞추어 지연시키는 컬럼 버퍼와; 스펙트로그램의 컬럼을 카운트하는 컬럼 카운터와; 윈도우 내에서 스펙트로그램의 피크 도플러 주파수와 피크 값을 검출하여 각각 그 위치를 저장하는 피크 주파수 레지스터 및 피크 값 레지스터와; 상기 피크 주파수 레지스터와 피크 값 레지스터에 저장된 값들과 컬럼 버퍼로 지연된 스펙트로그램을 이용하여 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하여, 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점 및 속도 변화 대역폭 특징점으로 출력하는 특징점 추출부를 포함한다.

일례로서, 특징점 추출부는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 라인 분산 산출부를 포함하며, 상기 라인 분산 산출부에서 산출된 라인 분산 특징점을 더 출력할 수 있다.

일례로서, 특징점 추출부는 상기 피크 주파수 레지스터에 저장된 피크 주파수를 활용하여 단위 시간 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 몸통 주파수 산출부를 포함할 수 있다.

일례로서, 특징점 추출부는 매 단위 시간마다 측정되는 몸통 주파수를 이전 단위 시간에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 몸통 주파수 대역 산출부를 포함할 수 있다.

일례로서, 특징점 추출부는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 계산하는 속도 변화 대역 산출부를 포함할 수 있다. 나아가 속도 변화 대역 산출부는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화할 수 있다.

본 발명의 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템은 전자기파를 통해 표적을 탐지하고 그 결과를 디지털 신호로 변환하여 출력하는 도플러 레이다와; 상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 윈도우 단위의 단시간 푸리에 변환(STFT)하여 표적 물체의 스펙트로그램을 얻고, 연속적으로 입력되는 스펙트로그램에서 FFT 윈도우 단위로 도플러 주파수 중 몸통 주파수, 상기 몸통 주파수의 대역폭, 상기 몸통 주파수와 몸통 주파수 주변의 마이크로 도플러 주파수를 포함한 속도 변화 대역폭 및 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도에 대한 FFT 윈도우 단위 분산값을 특징점으로 산출한 후 해당 특징점 정보를 기반으로 머신 러닝을 수행함으로써 탐지된 표적을 종류 별로 분류하는 보안 감시용 레이다 신호 처리부를 포함한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템은, 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 프로세서를 포함한다

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템은, 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 프로세서와; 표적 물체에 대한 스펙트로그램에서 추출된 특징점을 기반으로 RCE 신경망을 학습시키고, 학습된 RCE 신경망을 통해 추출된 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 프로세서를 포함한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템은, 자전거와 킥보드를 포함하는 표적 물체 접근에 따른 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 윈도우 단위로 미리 설정된 하나 이상의 특징점을 추출한 후 표적 물체에 따른 특징점을 입력으로 하여 머신 러닝 방식의 분류기를 학습시키고, 학습된 분류기를 통해 표적 물체를 분류하는 보안 감시용 레이다 신호 처리부를 포함하되, 상기 자전거와 킥보드를 구분하기 위하여 스펙트로그램에 포함된 미세 도플러 주파수가 단위 윈도우에서 진폭이 가장 큰 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구한 라인 분산값을 특징점 중 하나로 산출한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법은, 도플러 레이다 신호에 대한 스펙트로그램으로부터 특징점을 추출하는 특징점 추출 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법으로서, 상기 특징점 추출 프로세서가 내부 컬럼 버퍼를 통해 수신되는 스펙트로그램을 FFT 윈도우 크기에 맞추어 지연시키는 단계와; 상기 특징점 추출 프로세서가 내부 컬럼 카운터로 스펙트로그램의 컬럼을 카운트하는 단계와; 상기 특징점 추출 프로세서가 윈도우 내에서 스펙트로그램의 피크 도플러 주파수와 피크 값을 검출하여 각각 그 위치를 저장하는 내부에 구성된 피크 주파수 레지스터 및 피크 값 레지스터에 저장하는 단계와; 상기 특징점 추출 프로세서가 상기 피크 주파수 레지스터와 피크 값 레지스터에 저장된 값들과 컬럼 버퍼로 지연된 스펙트로그램을 이용하여 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하여 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점 및 속도 변화 대역폭 특징점으로 출력하는 특징점 출력 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법은 도플러 레이다가 전자기파를 통해 표적을 탐지하고 그 결과를 디지털 신호로 변환하여 출력하는 단계와; 보안 감시용 레이다 신호 처리부가 상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 윈도우 단위의 단시간 푸리에 변환(STFT)하여 표적 물체의 스펙트로그램을 얻고, 연속적으로 입력되는 스펙트로그램에서 FFT 윈도우 단위로 도플러 주파수 중 몸통 주파수, 상기 몸통 주파수의 대역폭, 상기 몸통 주파수와 몸통 주파수 주변의 마이크로 도플러 주파수를 포함한 속도 변화 대역폭 및 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 산출한 라인 분산값을 각각 특징점으로 산출한 후 해당 특징점 정보를 기반으로 머신 러닝을 수행함으로써 탐지된 표적을 종류 별로 분류하는 처리 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법은, 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받는 단계와;

입력된 스펙트로그램에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 단계를 포함한다

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법은, 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 단계와; 표적 물체에 대한 스펙트로그램에서 추출된 특징점을 기반으로 RCE 신경망을 학습시키고, 학습된 RCE 신경망을 통해 추출된 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법은, 자전거와 킥보드를 포함하는 표적 물체 접근에 따른 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 윈도우 단위로 미리 설정된 하나 이상의 특징점을 추출한 후 표적 물체에 따른 특징점을 입력으로 하여 머신 러닝 방식의 분류기를 학습시키고, 학습된 분류기를 통해 표적 물체를 분류하는 보안 감시용 레이다 신호 처리 단계를 포함하되, 상기 자전거와 킥보드를 구분하기 위하여 스펙트로그램에 포함된 미세 도플러 주파수가 단위 윈도우에서 진폭이 가장 큰 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구한 라인 분산값을 특징점 중 하나로 산출하는 단계를 더 포함한다.

본 발명의 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템 및 그 보안 감시 방법은 레이다 스펙트로그램의 단위 도플러 프로파일에서 낮은 연산 부하로 추출 가능한 복수의 특징점을 추출함으로서 메모리 요구량을 줄이고 연산 복잡도를 낮추며 하드웨어 구현 면적을 크게 줄여 경량화 및 저비용을 달성할 수 있는 효과가 있다.

또한, 단위 도플러 프로파일에서 고속 푸리에 변환이나 나눗셈 연산을 배제하거나 근사화한 연산 방식으로 4가지 특징점을 추출하는 것 만으로 사람, 차, 자전거 그리고 전동 킥보드를 높은 분류 정확도로 분류할 수 있는 경량화된 저복잡도의 레이다 보안 감시 시스템을 제공하는 효과가 있다.

나아가, 매 시간 입력되는 윈도우 단위의 도플러 프로파일에서 몸통 주파수(torso frequency)와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수(micro-Doppler frequency)를 기반으로 특징점 4가지를 추출하고 이를 신경망에 학습시킴으로써 머신 러닝의 입력 차원을 낮추어 머신 러닝 알고리즘을 단순화 할 수 있으므로 레이다 보안 감시 시스템의 실시간성, 신뢰성, 연산 부하에 따른 전력 소모를 개선하고, 하드웨어 면적 감소에 따른 비용을 절감할 수 있는 효과가 있다.

도 1은 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 구성도.
도 2는 객체별 도플러 레이다의 스펙트로그램의 예시도.
도 3은 본 발명의 실시예에 적용된 RCE 신경망 구성도.
도 4는 본 발명의 실시예에 따른 특징점 1 내지 3의 설명을 위한 스펙트로그램의 예시도.
도 5는 본 발명의 실시예에 따른 특징점 4의 설명을 위한 스펙트로그램과 STFT 결과 예시도.
도 6은 본 발명의 실시예에 따른 특징점 추출 프로세서의 구성도.
도 7은 본 발명의 실시예에 따른 특징점 추출 프로세서의 동작 타이밍도.
도 8은 본 발명의 실시예에 따른 특징점 추출 프로세서와 선행 기술의 구현 결과 비교표.
도 9는 본 발명의 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 객체 분류 성능을 보인 표.
도 10은 본 발명의 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 동작 과정을 보인 순서도.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하, 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.

도 1은 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 구성도로서, 도시된 바와 같이 전자기파를 통해 표적을 탐지하고 그 결과를 디지털 신호로 변환하여 출력하는 도플러 레이다(10)와, 도플러 레이다(10)의 출력 신호를 수신하여 연속되는 신호를 윈도우 단위의 단시간 푸리에 변환(short-time Fourier transform, STFT)하여 표적 물체의 스펙트로그램(spectrogram)을 얻고, 해당 스펙트로그램에서 본 발명 실시예에 따른 4가지 특징점 정보를 생성하며, 해당 특징점 정보를 기반으로 머신 러닝을 수행함으로써 탐지된 표적을 특정 클래스(예컨대 본 발명의 실시예에서는 사람, 자동차, 자건저, 전동 킥보드)로 분류하는 보안 감시용 레이다 신호 처리부(20)를 포함한다.

여기서, 도플러 레이다(10)가 제공하는 디지털 신호는 표적 물체로부터 얻어지는 움직임에 대한 변화 속도에 대한 정보로서, 물체의 몸통 뿐만 아니라 몸통 주변 움직임(예컨대 사람의 경우 팔과 다리의 움직임)에 대한 속도 정보가 포함된다.

보안 감시용 레이다 신호 처리부(20)는 도플러 레이다(10)로부터 수신된 표적 물체의 움직임 정보, 즉 시간 변화에 따른 도플러 주파수(속도)의 변화를 분석하기 위해서 단시간 푸리에 변환(STFT)을 수행하여 스펙트로그램을 추출하는 레이다 신호처리 프로세서(Radar signal processor: RSP)(100)와, 이러한 레이다 신호처리 프로세서(100)가 제공하는 스펙트로그램(FFT_magnitude) 및 FFT 변환 발생 신호(EN_FFT)를 기반으로 본 발명의 실시예에 따른 방식으로 복수의 특징점을 추출하되 스펙트로그램 이미지 전체를 대상으로 통계처리를 수행할 경우 요구되는 과다한 메모리 용량을 줄이기 위해서 FFT 윈도우 단위로 입력되는 결과를 대상으로 특징점들을 추출하도록 함과 아울러 복잡한 연산 구성을 배제하면서도 분류 품질을 유지할 수 있는 특징점을 추출하도록 하여 메모리 요구량과 연산 복잡도를 감소시킨 특징점 추출 프로세서(Feature extraction processor: FEP)(200)와, 특징점 추출 프로세서(200)에서 추출한 특징점 정보(Feature)와 특징점 정보의 유효를 나타내는 신호(EN_Feature)를 수신하여 표적 물체에 대한 특성을 학습하고 이러한 학습을 기반으로 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과(Class)와 분류 결과 유효 신호(EN)를 출력하되, 학습과 분류를 위한 머신 러닝을 위해 낮은 복잡도를 가지는 RCE(Restricted Coulomb Energy) 신경망을 적용한 신경망 분류 프로세서(RCE-Neural Network processor)(300)를 포함한다.

이와 같이, 본원 발명은 도플러 레이다(10)가 감지한 표적 물체에 대한 도플러 주파수 변화를 수신한 레이다 신호처리 프로세서(100)가 STFT를 수행하여 스펙트로그램을 출력하면, 특징점 추출 프로세서(200)가 FFT 윈도우 단위로 수신되는 스펙트로그램에서 특징점들을 저복잡도 연산만으로 추출하고, 이렇게 입력 차원이 줄어든 특징점을 기반으로 신경망 분류 프로세서(300)가 학습 및 분류함으로서 구현 면적을 줄이고 연산복잡도를 줄인 경량화된 보안 감시용 레이다 신호 처리부(20)를 제공할 수 있다.

이와 같이 제안된 보안 감시용 레이다 신호 처리부(20)에서 중요한 역할을 수행하는 특징점 추출 프로세서(200)를 좀 더 상세히 설명하기 위해서 본원 발명에서 사용하는 도플러 레이다의 특성부터 살펴보도록 한다.

다양한 레이다 중에서 본원 발명의 실시예에서 이용하는 도플러 레이다(10)는 도플러 효과를 이용하여 움직이는 표적 물체의 속도를 측정한다. 레이다의 정면을 향해서 표적 물체가 다가오면 수신 받은 신호의 주파수는 송신 신호보다 높은 주파수로 변하게 되며, 이를 도플러 효과라고 한다. 다음의 수학식1과 같이 수신 받은 신호의 주파수(f_received)와 송신한 신호의 주파수(f_transmit)의 차이로 계산되는 결과를 도플러 주파수(f_doppler) 라고 한다.

도플러 주파수를 이용해 표적 물체가 레이다를 향해 방사방향으로 움직일 때 표적 물체의 시선속도(radial velocity) v를 다음의 수학식2와 같이 계산할 수 있으며, 여기서 c는 신호의 전파속도이다.

레이다 신호를 해석하기 위해서는 수신 된 레이다 신호에 윈도우 함수를 적용하여 단시간 신호(short-time signal)로 분할하는 과정이 요구된다. 따라서, STFT를 이용하면 분할된 단시간 신호에 대해서 푸리에 변환을 주기적으로 실행해 표적 물체의 시간변화에 따른 도플러 주파수의 변화를 분석할 수 있다. STFT는 다음의 수학식3으로 표현할 수 있으며, w는 윈도우의 함수이고, τ는 윈도우 함수의 지연시간이다.

스펙트로그램은 STFT의 결과인 함수 X를 절대 값으로 표현한 함수이다.

분류 알고리즘이 적용되는 신경망 분류 프로세서(300)의 복잡도를 낮추기 위해서는 입력 데이터의 차원을 낮추는 과정이 필요하다. 스펙트로그램에서 특징점을 추출하여 데이터의 차원을 낮춘다면 분류 알고리즘의 복잡도를 낮출 수 있으며, 메모리 요구량도 낮출 수 있다. 또한, 특징점 추출 기법에 따라 시스템의 복잡도 및 성능이 결정되기 때문에, 적절한 특징점 추출 기법을 선택하는 것은 중요하다.

이하, 도 2 내지 도 7을 기반으로 본 발명의 실시예에 따라 사람, 자동차, 킥보드, 자전거를 높은 분류 정확도로 분류할 수 있도록 하는 특징점 추출 프로세서(200)의 구성을 설명한다. 물론 본 발명에서는 사람, 자동차, 킥보드, 자전거에 대한 표적 물체 분류를 실시예로서 설명하지만 그 외에 사람이 아닌 동물, 드론, 오토바이, 차량 종류를 포함하는 다양한 표적 물체에 대해서도 동일한 방식을 적용하여 분류할 수 있으므로 제시된 실시예의 표적 물체로 그 대상이 한정되지 않는다.

도 2는 객체별 도플러 레이다의 스펙트로그램의 예시도로서, 도시된 바와 같이 분류의 대상이 되는 표적 물체로서 사람(도 2a), 자동차(도 2b), 킥보드(도 2c), 자전거(도 2d)에 대한 전형적인 스펙트로그램을 보인 것이다. 도시된 바와 같이 이러한 상이한 표적 물체별로 상이한 몸통 주파수 (torso frequency)와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수 (micro-Doppler frequency)가 존재한다.

본 발명의 실시예에서 특징점 추출 프로세서(200)는 스펙트로그램의 몸통 주파수와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수를 기반으로 특징점을 추출한다. 도 2에 도시된 바와 같이 표적 물체의 몸통 속도는 몸통 주파수로 표현되며, 몸통 주변의 팔과 다리 같은 부분의 속도는 미세 도플러로 표현되며 표적 물체별 특징이 두드러지게 드러난다.

이렇게 특징점 추출 프로세서(200)가 표적 물체별로 상이한 몸통 주파수와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수를 기반으로 특징점을 추출할 경우, 신경망 분류 프로세서(300)는 입력 차원이 줄어든 특징점 만을 대상으로 학습 및 분류를 수행하므로 저복잡도의 신경망을 이용할 수 있다.

본 발명의 실시예에서는 도 3과 같은 RCE 신경망(310)을 이용한다. 도시된 바와 같이 RCE 신경망(310)은 입력층(311), 은닉층(312), 출력층(313)으로 구성된다. 입력층(311)은 특징점 추출 프로세서(200)가 제공하는 입력을 수신하며, 은닉층(312)은 결정 경계를 형성하는 중심점과 반경을 갖고 있는 뉴런들로 구성 되어있다. 각 뉴런은 구 모양의 활성화 영역을 형성하고 있다. 은닉층(312)의 뉴런은 입력된 특징 값과 뉴런의 중심점 사이의 거리를 구하여 활성화 영역을 기준으로 학습 및 분류를 진행한다. 출력층(313)은 입력 받은 특징점과 가장 유사한 표적 물체의 종류(Class)를 출력한다

1982년 최초 제안된 RCE 신경망의 경우 학습은 입력된 특징 벡터에 따라 필요시 뉴런을 생성하는 방식으로 진행되며, 학습이 완료되면 각 뉴런은 입력되는 특징 데이터와의 거리 정보를 연산하고 임계값과 비교하여 활성화 여부를 판단한다. 임계값보다 작은 거리 정보를 갖는 뉴런이 활성화되면 보유하고 있는 라벨 값을 출력함으로써 분류가 수행된다. 이후 가우시안, 쿨롱 에너지(coulomb energy)등 거리 정보를 활용한 다양한 모델 기반 학습 알고리즘이 적용된 RCE 신경망 (traditional- RCE, TR-RCE)이 제시 되었고, 학습 과정에서 활성화되는 뉴런들의 충돌 여부에 따라 각 뉴런의 반경을 조절하는 DDA(Dynamic Decay Adjustment) 알고리즘이 적용된 RCE 신경망 (DDA-RCE)이 제안되었다. DDA-RCE는 입력되는 특징 데이터가 서로 다른 라벨을 갖는 2개 이상의 뉴런을 동시에 활성화시키는 경우 입력된 특징 데이터와 다른 라벨을 갖는 뉴런의 반경을 감소시킨다. 이에 따라 다양한 반경을 갖는 뉴런을 통해 우수한 분류 성능을 지원 가능하다. 다른 방식으로, 2001년 학습 과정에서 각 뉴런 별로 활성화된 수를 측정 및 파라미터로 저장하여 뉴런의 신뢰도를 추정하는 기법을 적용한 RCE 신경망이 제안되었다. 추정된 신뢰도를 분류 과정에 반영하여 분류 성능을 향상시킬 수 있다. 더불어 2005년, 학습의 전체적 반복(iteration) 마다 학습 반경을 점차 감소시키는 방식을 적용하고 학습 과정에서 추정된 신뢰도를 기반으로 불필요하게 학습 된 뉴런을 제거하는 HPL(Hierarchical Prototype Learning) 알고리즘을 적용한 RCE 신경망이 제안되었다. HPL 기반 RCE 신경망은 2001년 제안된 RCE 신경망에 비해 다양한 크기의 반경을 갖는 뉴런들을 생성하고 불필요한 뉴런을 제거하여 비교적 양호한 분류 성능을 나타냈다. 이후, 2011년 HPL 알고리즘의 학습 속도를 개선하기 위해 불필요한 거리 정보 계산 과정을 줄이는 기법이 제안되기도 하였다.

이와 같이 본원 발명의 RCE 신경망(310)은 기본적인 RCE 알고리즘을 이용할 수 있으나 후속 개발된 다양한 RCE 기반 변형 신경망을 이용할 수도 있다.

다만, 본원 발명의 실시예에서는 단순한 RCE 신경망 알고리즘만을 이용하여 하드웨어를 구성한 후 구현 면적과 분류 성능을 측정한다. 필요에 따라 다른 종류의 RCE 기반 알고리즘을 적용할 경우 성능과 구현 면적 및 복잡도는 트레이드 오프될 수 있다.

이제, 본 발명의 실시예에 따른 특징점 추출 프로세서(200)가 표적 물체별로 상이한 몸통 주파수와 몸통 주파수 주변으로 측정되는 미세 도플러 주파수를 기반으로 특징점을 추출하는 구체적인 구성을 살펴본다.

본 발명의 실시예에 따른 특징점 추출 프로세서(200)는 표적 물체의 몸통 주파수(Torso frequency, 특징점 1), 몸통 주파수의 변화폭(Torso bandwidth, 특징점 2), 몸통주파수와 미세 도플러 주파수를 포함한 전체 속도 변화 대역폭(Bandwidth, 특징점 3) 및 도플러 주파수의 분산(Line variance, 특징점 4)의 4가지 특징점을 추출한다.

도 4는 본 발명의 실시예에 따른 특징점 1 내지 3의 설명을 위한 스펙트로그램의 예시도로서, 도시된 바와 같이 사람의 움직임에 따른 스펙트로그램의 몸통 주파수, 몸통 주파수의 변화폭 및 몸통 주파수와 미세 도플러 주파수를 포함한 전체 주파수의 변화폭을 확인할 수 있다. 이는 사람 몸통의 통상적인 움직임과 사람이 움직일 경우 팔과 다리의 움직임에 대한 특성이 포함되는 특징이 되며, 이는 다른 표적 물체와는 상이한 패턴을 가진다.

도 5는 본 발명의 실시예에 따른 특징점 4의 설명을 위한 스펙트로그램과 SFFT 결과 예시도로서, 도시된 바와 같이 자전거의 미세 도플러 주파수와 킥보드의 미세 도플러 주파수는 그 변화 속도 특성이 서로 다르며 이러한 선형 분산값을 통해서 비슷한 몸통 주파수(변화 속도)를 가지는 표적 물체의 미세 도플러 주파수 특성(팔 다리의 움직임 변화 속도) 차이를 구분할 수 있다.

이러한 4가지 특징점을 통해 움직임의 전체적인 특징, 표적 물체 고유의 미세 움직임(팔다리, 바퀴 등)에 대한 특징을 구분할 수 있으며 이러한 패턴을 학습하도록 함으로써 낮은 연산 부하로도 높은 분류 정확도를 기대할 수 있도록 한다.

먼저 몸통 주파수(특징 1)를 산출하기 위한 과정을 살펴보면 다음과 같다.

차와 전동 킥보드는 엔진 동력을 이용한 바퀴의 회전운동으로 이동하기 때문에 사람과 자전거에 비해 빠른 속도를 낼 수 있다. 자전거는 사람의 적은 힘으로 큰 힘을 낼 수 있는 구동계와 바퀴의 관성 운동으로 이동하기 때문에 사람보다 빠른 속도를 낼 수 있다. 즉, 차가 가장 빠르며 사람의 속도가 가장 느리다고 볼 수 있다. 따라서, 표적 물체는 속도가 빠를수록 절대 값이 큰 도플러 주파수를 가지므로, 스펙트로그램에서 매시간 진폭이 가장 큰 도플러 주파수가 표적 물체의 큰 비중을 차지하는 몸통의 도플러 주파수(torso frequency)이다. 이는 다음의 수학식 4와 같이 표현 가능하며, S는 스펙트로그램의 함수이다.

제안된 몸통 주파수(torso frequency)를 특징점으로 사용하기 위해서 아래의 수학식 5와 같이 NT초 동안 측정된 매 단위 시간마다의 몸통 주파수의 평균값을 구하였으며, NT는 데이터 측정 시간, f*는 도플러 주파수 축의 좌표 값이다.

몸통 주파수 대역폭(특징 2)을 산출하기 위한 과정을 살펴보면 다음과 같다.

표적 물체가 레이다 정면을 향해 접근하다가 레이다에 근접하게 되면 표적 물체는 정지한 상태로 존재할 것이다. 이러한 정지하기 위한 운동 과정에서 표적 물체 속도의 감소가 발생한다. 시작 속도가 비교적 빠른 차의 경우 속도의 변화 폭이 크고, 시작 속도가 비교적 느린 사람의 경우에는 속도의 변화 폭이 작다. 그림 1을 보면 표적 물체의 몸통 속도가 시간이 지날수록 0에 가까워지는 것을 확인 할 수 있으며, 최고 속도는 차가 가장 큰 값을 나타내고, 사람의 최고 속도가 가장 작은 값을 나타내는 것을 확인 할 수 있다. 또한, 몸통 주파수 대역폭(Torso bandwidth)을 특징점으로 사용하기 위해서 매 단위 시간마다 측정되는 몸통 주파수를 이전 단위 시간에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후, 수학식 6과 같이 차이를 구한다.

전체 속도 변화 대역폭(특징 3)을 산출하기 위한 과정은 다음과 같다.

사람의 움직임은 팔과 다리 운동이, 자전거는 사람의 다리 운동이 수반된다. 이러한 팔과 다리에 의해 발생하는 운동은 미세 도플러 주파수를 생성한다. 본 발명의 실시예에 따른 전체 속도 변화 대역폭(Bandwidth)은 몸통 주파수와 미세 도플러 주파수를 포함한 속도의 변화폭을 의미한다. 또한, 미세도플러 주파수를 측정하기 위해서는 몸통 주파수주변으로 위쪽 포락선과 아래쪽 포락선 총 2개의 포락선을 구해야한다. 전체 속도 변화 대역폭은 다음의 수학식7에 표현된 바와 같이 위쪽 포락선의 최댓값과 아래쪽 포락선의 최솟값의 차이로 구해진다.

2개의 포락선을 구하는 과정은 몸통 주파수를 기준으로 위쪽과 아래쪽으로 신호의 크기가 몸통 주파수의 37.5% 이상이 되는 지점을 찾는다. 37.5%의 수치는 실험적으로 구해진 수치이며, 하드웨어 구현에 있어 이진수로 표현이 쉬운 값으로 결정된 수치이다. 즉, 실험을 통해서 하드웨어 구현이 용이한 근사치를 이용함으로써 분류 성능을 유지하면서 연산 복잡도를 낮출 수 있게 된다.

표적 물체가 사람인 경우 포락선이 몸통 주파수 주변으로 명확하게 구해지는 반면에 바퀴가 있는 표적 물체의 경우 바퀴의 원운동에 의한 속도가 스펙트로그램에 표현된다. 이로 인해, 몸통 주파수 주변으로 명확하게 포락선이 구해지지 않는 특징을 보인다. 도 2를 보면 바퀴의 반사 면적이 존재하는 표적 물체의 경우 포락선이 가끔씩 몸통 주파수의 2배가 되는 지점에 잡히는 것을 확인 할 수 있는데, 이는 바퀴의 원운동에 의해 발생하는 현상이다. 이러한 현상으로 인하여 바퀴가 존재하는 표적 물체의 대역폭은 사람의 대역폭 보다 비교적으로 큰 값을 갖는다.

라인 분산(특징 4)을 산출하기 위한 과정은 다음과 같다.

미세 도플러 주파수가 비교적 큰 값으로 발생하는 사람과 자전거, 미세 도플러 주파수가 비교적 작은 값으로 발생하는 차, 전동 킥보드의 차이점은 FFT 윈도우 단위로 입력되는 스펙트로그램의 분산으로 확인할 수 있다. 분산은 미세 도플러 주파수가 몸통 주파수를 주변으로 얼마나 퍼져있는가를 나타내는 지표이다. 따라서 사람과 자전거의 경우 몸통 주파수 주변으로 미세 도플러 주파수가 퍼져있기 때문에 높은 분산 값을 갖고, 전동 킥보드와 차는 반대로 작은 분산 값을 갖는다. 그림 4는 자전거와 전동킥보드의 스펙트로그램에서 하나의 단위 시간 동안의 푸리에 변환 결과를 2차원 그래프로 표현한 것이다. 도 5를 통해 자전거의 미세 도플러 주파수가 전동킥보드의 미세 도플러 주파수보다 더 넓게 퍼져있는 것을 확인 할 수 있다. 따라서, 해당 특징을 사용하면 속도와 속도의 변화폭이 비슷한 값으로 측정되는 전동킥보드와 자전거를 서로 분류할 확률이 높아진다.

스펙트로그램 전체에 대한 분산을 특징으로 사용한다면, 스펙트로그램 전체를 메모리에 저장해야하기 때문에 메모리 사용량이 증가한다. 또한, 데이터양의 증가로 인하여 데이터 처리 시간도 증가하는 현상이 발생한다. 따라서, 본 발명의 실시예에서는 아래의 수학식 8과 9를 통해 스펙트로그램 전체가 아닌 FFT 윈도우 단위 스펙트로그램 데이터의 분산 값을 구하였다. 여기서, NF는 고속 푸리에 변환 포인트 수를 의미한다.

최종적으로 수학식10과 같이 NT초 동안 구한 분산 값들의 평균값을 구해서 특징으로 사용한다.

앞서 살펴본 특징점 추출 방식을 구현하기 위한 특징점 추출 프로세서(200)의 구성을 도 6에 나타내었다.

도시된 바와 같이 레이다 신호처리 프로세서(100)로부터 수신되는 스펙트로그램을 수신하여 특징점을 추출하고 그 결과를 신경망 분류 프로세서(300)로 출력하는 것으로, 그 구성을 살펴보면, 수신되는 연속적인 스펙트로그램(FFT_magnitude)을 FFT 윈도우 단위로 구분하여 해당 윈도우에서 몸통 주파수(특징 1), 몸통 주파수 대역폭(특징 2), 전체 속도 변화 대역폭(특징 3) 및 단위 도플러 주파수의 분산인 라인 분산(특징 4)을 산출하여 특징 정보로서 출력하도록 구성된다.

이를 위해서, 수신되는 스펙트로그램을 FFT 윈도우 크기에 맞추어 지연시키는 컬럼 버퍼(201)와, 스펙트로그램의 도플러 주파수 최대값이나 최대 크기값의 위치 확인을 위해 스펙트로그램의 컬럼을 카운트하는 컬럼 카운터(202)와, 윈도우 내에서 스펙트로그램의 피크 도플러 주파수를 검출하여 그 컬럼 위치와 함께 저장하는 피크 주파수 레지스터(203)와, 윈도우 내에서 스펙트로그램의 피크 도플러 값(피크 도플러 진폭)을 그 컬럼 위치와 함께 저장하는 피크 값 레지스터(204)와, 스펙트로그램에서 매시간 진폭이 가장 큰 도플러 주파수가 몸통의 도플러 주파수(torso frequency)이므로 피크 주파수 레지스터(203)에 저장된 피크 주파수를 활용하여 단위 시간 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출(수학식 5)하는 몸통 주파수 산출부(210)와, 매 단위 시간마다 측정되는 몸통 주파수를 이전 단위 시간에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출(수학식 6)하는 몸통 주파수 대역 산출부(220)와, 몸통 주파수 주변으로 위쪽 포락선과 아래쪽 포락선 총 2개의 포락선의 최대값과 최솟값의 차이를 구하되(수학식 7), 연산량 감소를 위하여 몸통 주파수를 기준으로 위쪽과 아래쪽으로 신호의 크기가 몸통 주파수의 37.5% 이상이 되는 지점을 찾는데 이를 위해서 피크값 레지스터(204)에 저장된 값과 몸통 주파수 산출부(210)에서 산출한 몸통 주파수를 이용하는 속도 변화 대역 산출부(230)와, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여(수학식 10) 라인 분산 특징점으로 산출하는 라인 분산 산출부(240) 및 특징점 추출이 완료되면 특징점 값을 출력하도록 하는 먹스(205)를 포함한다.

여기서, 몸통 주파수 산출부(210)와 몸통 주파수 대역 산출부(220)는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산한다.

위에서, 속도 변화 대역 산출부(230)는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산한다. 본 발명의 실시예에서는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 특징으로 사용하도록 근사화할 수 있으며, 본 발명의 실시예에서는 이러한 근사화를 이용함에도 불구하고 표적 물체들에 대한 평균 분류 결과 정확도가 93.4%로 검증되었다.

도 7은 본 발명의 실시예에 따른 특징점 추출 프로세서의 동작 타이밍도이다. n-point FFT 결과(도시된 예는 256-pont FFT)가 시간 축에서 순차적으로 입력되기 때문에 n개 중 가장 큰 값이 몇 번째 데이터인지 알아야 한다. 따라서, 스펙트로그램 한 줄의 데이터를 모두 읽어야 피크 값(피크 진폭)과 피크 주파수를 파악할 수 있다. 이를 위해서 스펙트로그램을 FFT 윈도우 크기에 맞추어 한 줄 지연시키는 컬럼 버퍼(예를 들어 16x256 FIFO(first input first output)), 카운트를 진행하는 컬럼 카운터, n개 중 가장 큰 값이 몇 번째에 있는지를 찾아 이를 저장하기 위한 피크 값 레지스터와 피크 주파수 레지스터를 이용한다.

도시된 바와 같이 순차적으로 입력되는 스펙트로그램 데이터(FFT_magnitude)의 1줄이 지연되며 해당 지연 동안 피크 값과 피크 주파수가 선별되고, 버퍼에서 지연된 출력데이터는 같은 타이밍에 출력되므로 이를 기준으로 특징점 추출을 진행한다. 예컨대 고속 푸리에 변환 포인트 수가 256 포인트이고, 입력 신호가 윈도우 함수로 59개의 단시간 신호로 분할되었을 경우에 4개의 특징으로 구성된 특징 벡터가 출력되기 위해서는 총 15,540 cycle이 소요 된다.

도 8은 본 발명의 실시예에 따른 특징점 추출 프로세서와 선행 기술의 구현 결과 비교표이다. 도 6에 도시된 구성에 따른 특징점 추출 프로세서(200)를 Verilog HDL을 이용하여 RTL 설계 후 Xilinx Zynq-7000 FPGA를 이용하여 구현하고 스펙트로그램 전체 이미지를 직접 학습시키는 방식의 선행 기술과 대비한 결과 도 8의 표와 같이 슬라이스는 58.3%가 감소되었고 메모리 요구량은 98.3%가 감소되었다. 슬라이스의 경우 본 발명의 실시예는 추가적인 FFT 블록을 사용하지 않기 때문에 감소되었고, 메모리 요구량은 스펙트로그램 전체를 저장하는 대신 FFT 윈도우 단위 스펙트로그램만을 저장하여 크게 감소되었음을 확인할 수 있다. 이러한 두 경우 모두 객체 분류 성능은 큰 차이가 없었다.

도 9는 본 발명의 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 객체 분류 성능을 보인 표로서, 레이다를 향해 오는 차, 자전거, 사람 그리고 전동 킥보드의 데이터를 각각 120개씩 총 480개 확보하였고, 수집한 데이터를 바탕으로 표적 물체 분류는 RCE 신경망 알고리즘을 사용하는 낮은 연산량의 신경망 분류 프로세서를 이용하였다. 또한, 5겹 교차 검증으로 성능 평가를 진행하였으며, 이 경우 도 9에 나타낸 것과 같이 평균 분류 결과 정확도가 93.4%인 것을 확인하였다.

도 10은 본 발명의 실시예에 따른 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 동작 과정을 보인 순서도이다.

도시된 바와 같이 도플러 레이다로부터 수신되는 도플러 주파수에 대한 디지털 값을 레이다 신호처리 프로세서가 STFT를 수행하여 스펙트로그램을 제공하면, 특징점 추출 프로세서가 FFT 윈도우 단위로 수신되는 스펙트로그램으로부터 피크 값과 주파수 정보를 확보한다. 이때 스펙트로그램은 컬럼 버퍼에 의해 단위 시간만큼 지연된다.

지연된 스펙트로그램 정보와 해당 윈도우에서의 피크 값과 피크 주파수를 이용하여 몸통 주파수 평균값(특징 1), 몸통 주파수 대역폭(특징 2), 전체 속도 변화 대역폭(특징 3) 및 단위 도플러 주파수의 분산인 라인 분산 값 평균(특징 4)을 산출한다.

이와 같은 과정은 하나의 스펙트로그램 이미지(분할된 단위 시간 신호에 대한 n-point FFT 수행 결과)에 대해서 수행된 후 그 결과로서 4종류의 특징점 정보를 신경망 분류 프로세서에 전달하며, 신경망 분류 프로세서는 RCE 신경망 알고리즘을 통해서 표적 물체별 특징점 정보를 학습하며, 학습이 완료되면 입력되는 특징점 정보를 기반으로 표적 물체의 종류를 분류한다.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

10: 도플러 레이다 20: 보안 감시용 레이다 신호 처리부
100: 레이다 신호처리 프로세서 200: 특징점 추출 프로세서
201: 컬럼 버퍼 202: 컬럼 카운터
203: 피크 주파수 레지스터 204: 피크 값 레지스터
205: 먹스 210: 몸통 주파수 산출부
220: 몸통 주파수 대역 산출부 230: 속도 변화 대역 산출부
240: 라인 분산 산출부 300: 신경망 분류 프로세서

Claims

도플러 레이다 신호에 대한 스펙트로그램으로부터 특징점을 추출하는 특징점 추출 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템으로서,
상기 특징점 추출 프로세서는 수신되는 스펙트로그램을 FFT 윈도우 크기에 맞추어 지연시키는 컬럼 버퍼와;
스펙트로그램의 컬럼을 카운트하는 컬럼 카운터와;
윈도우 내에서 스펙트로그램의 피크 도플러 주파수와 피크 값을 검출하여 각각 그 위치를 저장하는 피크 주파수 레지스터 및 피크 값 레지스터와;
상기 피크 주파수 레지스터와 피크 값 레지스터에 저장된 값들과 컬럼 버퍼로 지연된 스펙트로그램을 이용하여 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하여, 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점 및 속도 변화 대역폭 특징점으로 출력하는 특징점 추출부를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 1에 있어서, 상기 특징점 추출부는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 라인 분산 산출부를 포함하며, 상기 라인 분산 산출부에서 산출된 라인 분산 특징점을 더 출력하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 1에 있어서, 상기 특징점 추출부는 상기 피크 주파수 레지스터에 저장된 피크 주파수를 활용하여 단위 시간 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 몸통 주파수 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 1에 있어서, 상기 특징점 추출부는 매 단위 시간마다 측정되는 몸통 주파수를 이전 단위 시간에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 몸통 주파수 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 1에 있어서, 상기 특징점 추출부는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 계산하는 속도 변화 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 5에 있어서, 상기 속도 변화 대역 산출부는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
전자기파를 통해 표적을 탐지하고 그 결과를 디지털 신호로 변환하여 출력하는 도플러 레이다와;
상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 윈도우 단위의 단시간 푸리에 변환(STFT)하여 표적 물체의 스펙트로그램을 얻고, 연속적으로 입력되는 스펙트로그램에서 FFT 윈도우 단위로 도플러 주파수 중 몸통 주파수, 상기 몸통 주파수의 대역폭, 상기 몸통 주파수와 몸통 주파수 주변의 마이크로 도플러 주파수를 포함한 속도 변화 대역폭 및 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도에 대한 FFT 윈도우 단위 분산값을 특징점으로 산출한 후 해당 특징점 정보를 기반으로 머신 러닝을 수행함으로써 탐지된 표적을 종류 별로 분류하는 보안 감시용 레이다 신호 처리부를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 7에 있어서, 상기 보안 감시용 레이다 신호 처리부는 상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 단시간 신호로 분할하고 분할된 단시간 신호에 따른 윈도우 단위로 단시간 푸리에 변환(STFT)하여 표적 물체의 스펙트로그램을 출력하는 레이다 신호처리 프로세서를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 7에 있어서, 상기 보안 감시용 레이다 신호 처리부는 연속적으로 입력되는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점, 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 프로세서를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 7에 있어서, 상기 보안 감시용 레이다 신호 처리부는 스펙트로그램에서 추출된 특징점을 기반으로 RCE(Restricted Coulomb Energy) 신경망을 통해 표적 물체에 대한 특성을 학습하고, 학습된 RCE 신경망을 통해 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 프로세서를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 10에 있어서, 상기 신경망 분류 프로세서는 표적 물체를 사람, 자전거, 차, 킥보드 중 하나로 분류하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 9에 있어서, 상기 특징점 추출 프로세서는 단위 윈도우에서 피크 도플러 주파수를 검출한 후 단위 윈도우의 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 몸통 주파수 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 9에 있어서, 상기 특징점 추출 프로세서는 매 단위 윈도우마다 측정되는 몸통 주파수를 이전 단위 윈도우에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 몸통 주파수 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 9에 있어서, 상기 특징점 추출 프로세서는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭 특징점으로 산출하는 속도 변화 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 14에 있어서, 상기 속도 변화 대역 산출부는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 9에 있어서, 상기 특징점 추출 프로세서는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구하고 단위 시간에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 라인 분산 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 17에 있어서, 상기 특징점 추출 프로세서는 단위 윈도우에서 피크 도플러 주파수를 검출한 후 단위 윈도우의 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 몸통 주파수 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 17에 있어서, 상기 특징점 추출 프로세서는 매 단위 윈도우마다 측정되는 몸통 주파수를 이전 단위 윈도우에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 몸통 주파수 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 17에 있어서, 상기 특징점 추출 프로세서는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 속도 변화 대역 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
청구항 17에 있어서, 상기 특징점 추출 프로세서는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구하고 단위 시간에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 라인 분산 산출부를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 프로세서와;
표적 물체에 대한 스펙트로그램에서 추출된 특징점을 기반으로 RCE 신경망을 학습시키고, 학습된 RCE 신경망을 통해 추출된 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
자전거와 킥보드를 포함하는 표적 물체 접근에 따른 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 윈도우 단위로 미리 설정된 하나 이상의 특징점을 추출한 후 표적 물체에 따른 특징점을 입력으로 하여 머신 러닝 방식의 분류기를 학습시키고, 학습된 분류기를 통해 표적 물체를 분류하는 보안 감시용 레이다 신호 처리부를 포함하되,
상기 자전거와 킥보드를 구분하기 위하여 스펙트로그램에 포함된 미세 도플러 주파수가 단위 윈도우에서 진폭이 가장 큰 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구한 라인 분산값을 특징점 중 하나로 산출하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템.
도플러 레이다 신호에 대한 스펙트로그램으로부터 특징점을 추출하는 특징점 추출 프로세서를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법으로서,
상기 특징점 추출 프로세서가 내부 컬럼 버퍼를 통해 수신되는 스펙트로그램을 FFT 윈도우 크기에 맞추어 지연시키는 단계와;
상기 특징점 추출 프로세서가 내부 컬럼 카운터로 스펙트로그램의 컬럼을 카운트하는 단계와;
상기 특징점 추출 프로세서가 윈도우 내에서 스펙트로그램의 피크 도플러 주파수와 피크 값을 검출하여 각각 그 위치를 저장하는 내부에 구성된 피크 주파수 레지스터 및 피크 값 레지스터에 저장하는 단계와;
상기 특징점 추출 프로세서가 상기 피크 주파수 레지스터와 피크 값 레지스터에 저장된 값들과 컬럼 버퍼로 지연된 스펙트로그램을 이용하여 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하여 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점 및 속도 변화 대역폭 특징점으로 출력하는 특징점 출력 단계를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 24에 있어서, 상기 특징점 출력 단계는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 구하고 단위 윈도우에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하고, 산출된 라인 분산 특징점을 더 출력하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 24에 있어서, 상기 특징점 출력 단계는 상기 피크 주파수 레지스터에 저장된 피크 주파수를 활용하여 단위 시간 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 24에 있어서, 상기 특징점 출력 단계는 매 단위 시간마다 측정되는 몸통 주파수를 이전 단위 시간에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 24에 있어서, 상기 특징점 출력 단계는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭 특징점으로 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 28에 있어서, 상기 특징점 출력 단계는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
도플러 레이다가 전자기파를 통해 표적을 탐지하고 그 결과를 디지털 신호로 변환하여 출력하는 단계와;
보안 감시용 레이다 신호 처리부가 상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 윈도우 단위의 단시간 푸리에 변환(STFT)하여 표적 물체의 스펙트로그램을 얻고, 연속적으로 입력되는 스펙트로그램에서 FFT 윈도우 단위로 도플러 주파수 중 몸통 주파수, 상기 몸통 주파수의 대역폭, 상기 몸통 주파수와 몸통 주파수 주변의 마이크로 도플러 주파수를 포함한 속도 변화 대역폭 및 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 FFT 윈도우 단위로 산출한 라인 분산값을 각각 특징점으로 산출한 후 해당 특징점 정보를 기반으로 머신 러닝을 수행함으로써 탐지된 표적을 종류 별로 분류하는 처리 단계를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 30에 있어서, 상기 처리 단계는 상기 도플러 레이다의 출력 신호를 수신하여 연속되는 신호를 단시간 신호로 분할하고 분할된 단시간 신호에 따른 윈도우 단위로 단시간 푸리에 변환하여 표적 물체의 스펙트로그램을 출력하는 레이다 신호처리 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 30에 있어서, 상기 처리 단계는 연속적으로 입력되는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 30에 있어서, 상기 처리 단계는 스펙트로그램에서 추출된 특징점을 기반으로 RCE 신경망을 통해 표적 물체에 대한 특성을 학습하고, 학습된 RCE 신경망을 통해 추출된 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 33에 있어서, 상기 신경망 분류 단계는 표적 물체를 사람, 자전거, 차, 킥보드 중 하나로 분류하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 32에 있어서, 상기 처리 단계는 단위 윈도우에서 피크 도플러 주파수를 검출한 후 단위 윈도우의 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 32에 있어서, 상기 처리 단계는 매 단위 윈도우마다 측정되는 몸통 주파수를 이전 단위 윈도우에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 32에 있어서, 상기 처리 단계는 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 계산하여 속도 변화 대역 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 37에 있어서, 상기 속도 변화 대역 특징점을 산출하는 단계는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 32에 있어서, 상기 처리 단계는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구하고 단위 시간에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받는 단계와;
입력된 스펙트로그램에서 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 단계를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 40에 있어서, 상기 특징점 추출 단계는 단위 윈도우에서 피크 도플러 주파수를 검출한 후 단위 윈도우의 몸통 주파수의 평균값을 구하여 몸통 주파수 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 40에 있어서, 상기 특징점 추출 단계는 매 단위 윈도우마다 측정되는 몸통 주파수를 이전 단위 윈도우에서의 몸통 주파수와 비교하여 데이터 수집 시간 동안의 몸통 주파수의 최댓값과 최솟값을 각각 산출한 후 그 차이를 몸통 주파수 대역 특징점으로 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 40에 있어서, 상기 특징점 추출 단계는 스펙트로그램 열중 가장 큰 값을 갖는 데이터의 37.5%에 해당하는 주파수를 속도 변화 대역폭 특징점으로 근사화하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
청구항 40에 있어서, 상기 특징점 추출 단계는 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구하고 단위 시간에 대한 분산값 평균을 구하여 라인 분산 특징점을 산출하는 단계를 포함하는 것을 특징으로 하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 표적 물체의 몸통 주파수의 변화를 윈도우 단위로 관찰하여 몸통 주파수의 평균값과 몸통 주파수의 대역폭을 계산하고, 스펙트로그램 이미지에서 표적 물체의 몸통 주파수와 마이크로 도플러의 변화를 윈도우 단위로 관찰하여 몸통 주파수와 마이크로 도플러 주파수를 포함한 주파수의 변화폭을 속도 변화 대역폭으로 계산하며, 미세 도플러 주파수가 몸통 주파수 주변으로 분산된 정도를 FFT 윈도우 단위로 스펙트로그램 데이터의 분산값을 구하고 단위 시간에 대한 분산값 평균을 구하여, 각각 몸통 주파수 특징점과 몸통 주파수의 대역폭 특징점, 속도 변화 대역폭 특징점 및 라인 분산 특징점으로 출력하는 특징점 추출 단계와;
표적 물체에 대한 스펙트로그램에서 추출된 특징점을 기반으로 RCE 신경망을 학습시키고, 학습된 RCE 신경망을 통해 추출된 특징점 정보를 기반으로 표적 물체를 분류하여 분류 결과를 출력하는 신경망 분류 단계를 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.
자전거와 킥보드를 포함하는 표적 물체 접근에 따른 도플러 레이더의 연속 신호를 단시간 신호로 분할하여 STFT 변환한 스펙트로그램을 FFT 윈도우 단위로 입력받고, 윈도우 단위로 미리 설정된 하나 이상의 특징점을 추출한 후 표적 물체에 따른 특징점을 입력으로 하여 머신 러닝 방식의 분류기를 학습시키고, 학습된 분류기를 통해 표적 물체를 분류하는 보안 감시용 레이다 신호 처리 단계를 포함하되,
상기 자전거와 킥보드를 구분하기 위하여 스펙트로그램에 포함된 미세 도플러 주파수가 단위 윈도우에서 진폭이 가장 큰 몸통 주파수 주변으로 분산된 분산값을 윈도우 단위로 구한 라인 분산값을 특징점 중 하나로 산출하는 단계를 더 포함하는 특징점 기반 신경망 학습을 이용한 보안 감시용 레이다 시스템의 보안 감시 방법.