KR20210001846A - Auto Mobility Devices Including Radar Systems With Deep Learning - Google Patents

Auto Mobility Devices Including Radar Systems With Deep Learning Download PDF

Info

Publication number
KR20210001846A
KR20210001846A KR1020190149540A KR20190149540A KR20210001846A KR 20210001846 A KR20210001846 A KR 20210001846A KR 1020190149540 A KR1020190149540 A KR 1020190149540A KR 20190149540 A KR20190149540 A KR 20190149540A KR 20210001846 A KR20210001846 A KR 20210001846A
Authority
KR
South Korea
Prior art keywords
index
fourier transform
radar
data
radar signal
Prior art date
Application number
KR1020190149540A
Other languages
Korean (ko)
Inventor
김백현
성은택
송원영
정우현
Original Assignee
주식회사 에이유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이유 filed Critical 주식회사 에이유
Publication of KR20210001846A publication Critical patent/KR20210001846A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

Provided is an auto mobility device which includes a radar system using deep learning. The radar system includes: a radar front end stage which acquires an FMCW digital radar signal; a radar signal processing stage which generates 3D window data; a deep learning stage which calculates the probability of target existence; and a bio-signal and number of people detection stage. The radar signal processing stage calculates data cubes based on the result of the 3D Fourier transform, generates range-angle maps, and performs a clutter removal algorithm.

Description

딥러닝을 이용한 레이더 시스템을 포함하는 오토 모빌리티 장치{Auto Mobility Devices Including Radar Systems With Deep Learning}Auto Mobility Devices Including Radar Systems With Deep Learning

본 특허는 딥러닝을 이용한 레이터 시스템을 포함하는 오토 모빌리티 장치에 대한 것이다. This patent relates to an auto mobility device including a radar system using deep learning.

레이더 기술은 비행기 군용에서 사용되었으며 최근에 자동차용으로도 사용되고 있다. 딥러닝 기술은 영상처리, 의료, 로봇 기술 등에서 다양하게 활용되고 있는 기술이다. 기존의 레이더 기술은 주변 물체를 감지한 후 물체의 거리, 이동속도 등을 감지는 하고 있지만, 감지된 물체가 사람인지 물체인지 구분하는 능력은 갖추고 있지 않다.Radar technology has been used in the military of airplanes and is also used in automobiles recently. Deep learning technology is a technology that is widely used in image processing, medical care, and robot technology. Existing radar technology detects surrounding objects and then detects the distance and moving speed of the object, but does not have the ability to distinguish whether the detected object is a person or an object.

현재 탐지된 물체가 생명체인지를 판별하는데 초음파 센서가 이용 중이다. 하지만 초음파 센서는 정확도가 너무 낮기 때문에 다른 센서의 개발이 요구되는 실정이다. 딥러닝은 현재 많은 분야에서 각광 받는 분야이며, 의료, 산업, 자율 주행, 방산 등에서 많이 사용되고 있다. 특히 딥러닝의 경우 학습 가능한 데이터의 숫자만 확보할 경우 판단 정확도가 매우 높아 최근 머신 러닝보다 많이 사용되고 있다.Currently, ultrasonic sensors are being used to determine whether the detected object is a living thing. However, since the accuracy of the ultrasonic sensor is too low, the development of other sensors is required. Deep learning is currently in the spotlight in many fields, and is widely used in medical, industrial, autonomous driving, and defense industries. In particular, in the case of deep learning, when only the number of learnable data is secured, the judgment accuracy is very high, and it is used more than recent machine learning.

본 발명의 목적은 차량 혹은 특정 공간에서 사람의 유무 및 인원 수를 실시간으로 모니터링하여 차량 및 건물 등 특정 공간에서 사람이 방치되어 발생할 수 있는 모든 가능한 문제들을 미연에 방지하는 것이다.An object of the present invention is to monitor the presence or absence of people and the number of people in a vehicle or a specific space in real time to prevent all possible problems that may occur due to a person being left unattended in a specific space such as a vehicle or a building.

본 발명의 일 실시예에 따른 오토 모빌리티 장치는 딥러닝을 이용한 레이더 시스템을 포함한다. 상기 레이더 시스템은 FMCW 디지털 레이더 신호를 획득하는 레이더 프론트 엔드 단, 3차원 윈도우 데이터를 생성하는 레이더 신호처리 단, 타겟 존재 확률을 계산하는 딥러닝 단, 및 생체 신호 및 인원 수 검출 단을 포함한다. 상기 레이더 신호처리 단은 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하고, 거리-각 맵(range-angle map)들을 생성하고, 클러터 제거 알고리즘을 수행한다.An auto mobility device according to an embodiment of the present invention includes a radar system using deep learning. The radar system includes a radar front end for obtaining an FMCW digital radar signal, a radar signal processing stage for generating 3D window data, a deep learning stage for calculating a target existence probability, and a biosignal and number of people detection stage. The radar signal processing stage calculates data cubes based on the result of the third-order Fourier transform, generates range-angle maps, and performs a clutter removal algorithm.

일반적인 레이더 신호처리 기술으로만 사람 유무, 인원 수와 같은 정보를 검출하기 위해서는 매우 복잡한 알고리즘이 필요하게 된다. 또한 레이더 센서의 감지 시간이 많이 소요될 수 있으며 오탐지율이 높다.A very complex algorithm is required to detect information such as the presence of people and the number of people only with general radar signal processing technology. In addition, it may take a long time to detect the radar sensor and the false detection rate is high.

본 발명과 같이 레이더 신호처리와 딥러닝 기술을 융합시키게 되면 전체 알고리즘의 복잡도를 크게 낮출 수 있다. 따라서 레이더 센서의 감지 시간을 크게 줄일 수 있다. 또한 오탐지율을 크게 낮출 수 있다. 전체 알고리즘이 간단해지게 되면 하드웨어에 요구되는 성능을 낮출 수 있다. 이는 하드웨어의 단가 절감으로도 이어질 수 있다.If the radar signal processing and deep learning technology are combined as in the present invention, the complexity of the entire algorithm can be greatly reduced. Therefore, the detection time of the radar sensor can be greatly reduced. It can also greatly reduce the false positive rate. If the overall algorithm is simplified, the performance required by the hardware can be lowered. This can lead to a reduction in hardware cost.

도 1은 일 실시 예에 따른 레이더 신호 처리 방법의 구성을 도시한 흐름도이다.
도 2는 3차 고속 푸리에 변환을 통해 데이터 큐브를 산출하는 방법을 도시한 것이다.
도 3은 클러터 제거 알고리즘을 도시한 것이다.
도 4는 합성곱 신경회로망을 통해 사람의 위치와 인원수를 결정하는 흐름을 도시한 것이다.
도 5는 본 발명의 실시 예에 따른 레이더 시스템을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 생체 신호 검출 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시 예에 따른 사람 유무, 인원 수 검출 방법을 나타내는 순서도이다.1 is a flowchart illustrating a configuration of a radar signal processing method according to an exemplary embodiment.
2 illustrates a method of calculating a data cube through a third-order fast Fourier transform.
3 shows a clutter removal algorithm.
4 shows a flow of determining the location and number of people through a convolutional neural network.
5 is a diagram illustrating a radar system according to an embodiment of the present invention.
6 is a flowchart illustrating a method of detecting a biosignal according to an embodiment of the present invention.
7 is a flowchart illustrating a method of detecting the presence or absence of persons and the number of persons according to an embodiment of the present invention.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 본 특허는 아래 도면들을 참조하여 레이더와 신호처리 기술, 딥러닝 기술을 이용해서 물체 인식의 정확도 및 레이더 신호처리 결과를 최대치로 올리는 방법에 대해서 기술한다.In the following, embodiments of the present invention will be described clearly and in detail to the extent that those skilled in the art can easily implement the present invention. This patent describes a method of increasing the accuracy of object recognition and the radar signal processing result to the maximum value using radar, signal processing technology, and deep learning technology with reference to the drawings below.

본 명세서에서 언급되는 단(terminal), 유닛(unit), 블록(block), ~기(~or, ~er)는 하드웨어, 소프트웨어, 및 그것들의 조합으로 구성될 수 있다. 하드웨어는 CPU(central processing unit), GPU(graphics processing unit), VPU(vision processing unit), 및 NPU(neural processing unit), DSP(digital signal processor), SoC(system on chip), FPGA(field programmable gate array array), 및 ASIC(application specific Integrated Circuit)일 수 있다. 소프트웨어는 기계어, 펌웨어(firmware), 임베디드 코드(embedded code), 및 응용 소프트웨어일 수 있다. 본 명세서에서 언급되는 단(terminal), 유닛(unit), 블록(block), ~기(~or, ~er)는 실질적으로 동등한 의미로 사용될수 있으며, 경우에 따라 서로 혼용되어 사용될 수 있다.The terminal, unit, block, and ~or, ~er mentioned in the present specification may be composed of hardware, software, and combinations thereof. The hardware includes a central processing unit (CPU), graphics processing unit (GPU), vision processing unit (VPU), and neural processing unit (NPU), digital signal processor (DSP), system on chip (SoC), field programmable gate (FPGA). array array), and an application specific integrated circuit (ASIC). The software may be machine language, firmware, embedded code, and application software. The term (terminal), unit (unit), block (block), ~ group (~or, ~er) mentioned in the present specification may be used in a substantially equivalent meaning, and may be used interchangeably in some cases.

도 1은 일 실시 예에 따른 레이더 신호 처리 방법의 구성을 도시한 흐름도이다. 안테나에서 수신된 레이더 신호는 증폭, 주파수 합성 및 필터링되고 디지털로 샘플링되어 제안된 발명에 따른 FMCW(Frequency-Modulated Continuous-Wave) 디지털 레이더 신호로 공급된다. 1 is a flowchart illustrating a configuration of a radar signal processing method according to an exemplary embodiment. The radar signal received from the antenna is amplified, frequency synthesized, filtered, digitally sampled, and supplied as a frequency-modulated continuous-wave (FMCW) digital radar signal according to the proposed invention.

도 2는 M개의 수신단, C개의 첩(chirp), 하나의 첩 당 N개 샘플링(sampling)를 통해 얻어진 FMCW 레이더 로우 데이터(raw data)를 3차 고속 푸리에(fast fourier transform; FFT) 변환을 통해 데이터 큐브(data cube)를 산출하는(구하는, 획득하는, 또는 생성하는) 방법을 도시한 것이다.FIG. 2 shows FMCW radar raw data obtained through M receiving ends, C chirps, and N sampling per chirp through a third-order fast Fourier transform (FFT) transform. It shows a method of calculating (obtaining, obtaining, or generating) a data cube.

도 3은 클러터 제거 알고리즘을 도시한 것이다. 도시한 바와 같이 데이터 큐브에서 각각의 첩에 대해서 생성된 거리-각 맵(range-angle map)을 첩 주기의 시간 축 상에서 서로 감산하는(빼주는) 방식으로 클러터 제거 알고리즘을 수행한다. 거리-각 맵에서 타겟이 사람인 경우 첩 주기의 시간 축 상에서 신호의 세기가 달라지고, 타겟이 사물인 경우 첩 주기의 시간 축 상에서 신호의 세기가 일정하게 유지되는 점을 이용하여 각각의 첩에 대해 생성되는 거리-각 맵을 시간 축 상에서 서로 빼주게 되면 타켓이 사람인 부분은 남게 되고(유지되고), 타겟이 사물인 부분은 서로 상쇄되어 사라지게 된다. 이를 이용하여 사람과 사물을 구분할 수 있다.3 shows a clutter removal algorithm. As shown, the clutter removal algorithm is performed by subtracting (subtracting) from the distance-angle maps generated for each chirp in the data cube from each other on the time axis of the chirp period. Distance-In each map, when the target is a person, the strength of the signal varies on the time axis of the chirp period, and when the target is an object, the strength of the signal is kept constant on the time axis of the chirp period. When the generated distance-each map is subtracted from each other on the time axis, the part where the target is a person remains (maintains), and the part where the target is an object cancels out each other and disappears. This can be used to distinguish people from objects.

도 3에 도시된 것과 같이 클러터 제거 알고리즘을 적용한 데이터 큐브에서 신호의 세기가 큰 인덱스를 사람이 존재하는 위치로 가정할 수 있다. 따라서 해당 인덱스 주변을 관심 거리 인덱스(range index) 및 관심 각 인덱스(angle index)로 정의한다. 해당하는 데이터로 구성되는 2차원 데이터로부터 첩 주기의 시간 축 상에서 누적한 3차원 데이터를 추출한다.As shown in FIG. 3, in the data cube to which the clutter removal algorithm is applied, an index having a large signal strength may be assumed as a location where a person exists. Therefore, the periphery of the index is defined as a range index and angle index. From the two-dimensional data composed of the corresponding data, three-dimensional data accumulated on the time axis of the chirp period is extracted.

도 4는 추출된 관심 거리 및 각 인덱스를 입력으로 받아 합성곱 신경회로망을 통해 사람의 위치와 인원수를 결정하는 흐름을 도시한 것이다. 각각의 거리 및 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선정한다.4 illustrates a flow of determining the location and number of people through a convolutional neural network by receiving the extracted distance of interest and each index as inputs. A distance at which a target exists and each index are selected from each distance and target existence probabilities of each index.

본 명세서의 일 실시 예에 따르면, 도 1 내지 도 4를 참조하여 설명된 본 발명에 따른 레이더 신호 처리 방법을 컴퓨터에 실행시키기 위한 명령으로 이루어지는 프로그램을 저장한 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.According to an embodiment of the present specification, a computer-readable recording medium storing a program comprising commands for executing the radar signal processing method according to the present invention described with reference to FIGS. 1 to 4 may be provided. .

도 5는 본 발명의 실시 예에 따른 전체 시스템 구조를 나타내는 도면이다. 레이더 시스템(100)은 레이더 프론트 엔드 단(110), 레이더 신호처리 단(120), 딥러닝 단(130), 생체 신호 및 인원 수 검출 단(140)을 포함할 수 있다.5 is a diagram illustrating an overall system structure according to an embodiment of the present invention. The radar system 100 may include a radar front end stage 110, a radar signal processing stage 120, a deep learning stage 130, and a bio-signal and number of people detection stage 140.

레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. 레이더 프론트 엔드 단(110)은 전파 신호를 송출하고 수신할 수 있다. 레이더 프론트 엔드 단(110)은 M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득할(구할) 수 있다(M, C, N은 1 이상의 정수).The radar front end stage 110 may detect radar raw data. The radar front-end end 110 may transmit and receive radio signals. The radar front-end end 110 may acquire (require) an FMCW digital radar signal through N sampling per one of the C chirps included in the M receiving ends (M, C, N is an integer greater than or equal to 1).

레이더 신호처리 단(120)은 딥러닝에 적합한 형태로 로우 데이터(raw data)를 전처리할 수 있다. 레이더 신호처리 단(120)은 수집된 신호를 1차적으로 가공할 수 있다. 레이더 신호처리 단(120)은 딥러닝 학습 모델을 형성하기 위한 형태로 가공된 데이터를 저장할 수 있다. 레이더 신호처리 단(120)은 로우 데이터에 기초하여 신호의 위상을 검출할 수 있다. The radar signal processing stage 120 may pre-process raw data in a form suitable for deep learning. The radar signal processing stage 120 may primarily process the collected signals. The radar signal processing stage 120 may store processed data in a form for forming a deep learning learning model. The radar signal processing stage 120 may detect a phase of a signal based on raw data.

레이더 신호처리 단(120)은 관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성할 수 있다. 다른 실시 예에서, 레이더 프론트 엔드 단(110)도 관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성할 수 있다.The radar signal processing stage 120 accumulates two-dimensional data consisting of data corresponding to a range index, an angle index, a peripheral distance index, and each neighboring index on the time axis of the chirping period. You can create dimensional window data. In another embodiment, the radar front-end end 110 also includes two-dimensional data consisting of data corresponding to a range index, an angle index, a peripheral distance index, and each peripheral index, and It is possible to generate 3D window data by accumulating on the axis.

레이더 신호처리 단(120)은 FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행할 수 있다. 레이더 신호처리 단(120)은 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산할 수 있다. 레이더 신호처리 단(120)은 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성할 수 있다. 레이더 신호처리 단(120)은 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행할 수 있다.The radar signal processing stage 120 may perform third-order Fourier transform on the FMCW digital radar signal. The radar signal processing stage 120 may calculate data cubes based on the result of the third-order Fourier transform. The radar signal processing stage 120 may generate range-angle maps for each chirp in the data cubes. The radar signal processing stage 120 may perform a clutter removal algorithm by subtracting the distance-each maps from each other on the time axis of the chirp period.

레이더 신호처리 단(120)은 FMCW 디지털 레이더 신호를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하는 제 1 푸리에 변환, 제 1 푸리에 변환의 결과를 M개의 수신단으로부터 수집하여 수신 안테나 거리 단위로 푸리에 변환하고 그리고 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 제 2 푸리에 변환, 및 제 2 푸리에 변환의 결과를 C개의 첩 동안 수집하여 첩 주기 단위로 푸리에 변환하여 첩 인덱스(chirp index)별 계수 값인 시간별 데이터를 생성하는 제 3 푸리에 변환을 수행할 수 있다. 다른 실시 예에서, 제 1 내지 제 3 푸리에 변환 중 적어도 하나는 딥러닝 단(130)에 의해 (대신) 수행될 수도 있다.The radar signal processing stage 120 receives the results of the first Fourier transform and the first Fourier transform for generating distance data, which is a coefficient value for each range index by Fourier transforming the FMCW digital radar signal in units of sampling period. The second Fourier transform that collects and generates Fourier transforms in units of the distance of the receiving antennas, and generates each data that is a coefficient value for each angle index, and the results of the second Fourier transforms are collected for C chirps and a Fourier transform is performed in units of chirp periods. Thus, a third Fourier transform may be performed to generate time-based data that is a coefficient value for each chirp index. In another embodiment, at least one of the first to third Fourier transforms may be performed (instead of) by the deep learning stage 130.

딥러닝 단(130)은 전처리된 로우 데이터에 기초하여 사람이 있을 때와 사물이 있을 때 레이더에 들어오는 신호가 서로 다른 특성을 이용하여 딥러닝을 적용할 수 있다. 딥러닝 단(130)은 검출된 위상을 딥러닝을 이용하여 가공할 수 있다. 딥러닝 단(130)은 딥러닝 학습을 통해 사람 유무, 인원 수, 생체신호 검출 및 판단 알고리즘을 형성할 수 있다. 딥러닝 단(130)은 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산할(구할, 도출할, 또는 획득할) 수 있다.The deep learning stage 130 may apply deep learning by using different characteristics of signals entering the radar when there is a person and when there is an object based on the preprocessed raw data. The deep learning stage 130 may process the detected phase using deep learning. The deep learning stage 130 may form an algorithm for detecting and determining the presence or absence of a person, the number of persons, and a bio-signal through deep learning learning. The deep learning stage 130 may input 3D window data into a convolutional neural network to calculate (require, derive, or obtain) a distance of interest and a target existence probability of each index.

다른 실시 예에서, 딥러닝 단(130)은, FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행할 수 있고, 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산할 수 있고, 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성할 수 있고, 그리고/또는 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행할 수 있다.In another embodiment, the deep learning stage 130 may perform a third-order Fourier transform on an FMCW digital radar signal, calculate data cubes based on a result of the third-order Fourier transform, and It is possible to generate range-angle maps for each chirp in cubes, and/or perform a clutter removal algorithm by subtracting the distance-angle maps from each other on the time axis of the chirp period. I can.

일 실시 예에서, 레이더 신호처리 단(120) 또는 딥러닝 단(130)은 각각의 첩들에 대해 생성되는 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산함으로써, 타켓이 사람인 부분은 유지하고 그리고 타겟이 사물인 부분은 서로 상쇄시킬 수 있다. 레이더 신호처리 단(120)에 의해 생성되는 거리-각 맵들에서, i) 타겟이 사람인 경우, 첩 주기의 시간 축 상에서 신호의 세기가 달라지고, 그리고 ii) 타겟이 사물인 경우 첩 주기의 시간 축 상에서 신호의 세기가 일정하게 유지될 수 있다.In one embodiment, the radar signal processing stage 120 or the deep learning stage 130 subtracts the distance-each maps generated for each chirp on the time axis of the chirp period, thereby maintaining the part where the target is human, and The parts where the target is an object can cancel each other out. Distance generated by the radar signal processing stage 120-In each of the maps, i) when the target is a person, the strength of the signal varies on the time axis of the chirp period, and ii) when the target is an object, the time axis of the chirp period The intensity of the signal in the phase can be kept constant.

생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 생체 신호, 사람의 유무, 및 인원 수를 검출하고 판별할 수 있다. 생체 신호 및 인원 수 검출 단(140)은 각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택할 수 있다.The biosignal and number of people detection unit 140 may detect and determine the biosignal, the presence or absence of a person, and the number of people based on the deep learning application result. The biosignal and number of people detection stage 140 may select a distance at which a target exists and each index from each distance index and target existence probabilities of each index.

일 실시 예에서, 레이더 시스템(100)은 합성곱 신경회로망을 포함할 수 있다. 레이더 시스템(100)에 포함된 합성곱 신경회로망은 클러터를 제거한 데이터 큐브를 입력으로 받아 사람이 존재하는 위치의 인덱스 값이 큰 점, 첩 주기 시간에 따라 사람이 존재하는 위치의 인덱스 값이 변하는 점, 및/또는 차량 등 특정 공간에서 사람이 존재할 수 있는 위치가 제한되어 있어서 자리별로 거리 및 각 인덱스를 미리 지정할 수 있는 점을 이용하여 사람이 존재하는 위치와 인원수를 구할 수 있고, 위치별로 들어오는 파워의 값을 학습을 통해 각각의 위치마다 문턱 파워를 구함으로써 사람 유무와 인원수를 잘 검출할 수 있다.In one embodiment, the radar system 100 may include a convolutional neural network. The convolutional neural network included in the radar system 100 receives a clutter-removed data cube as an input, and the index value of the location where the person exists is large, and the index value of the location where the person exists is changed according to the period time. Since the location where a person can exist in a specific space such as a point and/or a vehicle is limited, the location and the number of people can be calculated using the point where the distance and each index can be pre-designated for each seat. By learning the power value and calculating the threshold power at each location, the presence or absence of a person and the number of people can be well detected.

레이더 시스템(100) 및 레이더 시스템(100)의 각 구성요소들(110, 120, 130, 및/또는 140)은 AND, OR, XOR, NOR, 래치, 플립플롭 등과 같은 논리소자들, 및 그것들의 조합으로 구현될 수 있고 또는 전용 회로(예컨대, FPGA(Field Programmable Gate Arrays), ASICs(Application Specific Integrated Circuits) 등)를 포함하여 구현되거나, 또는 SoC(System on Chip)로 구현될 수 있다.The radar system 100 and each of the components 110, 120, 130, and/or 140 of the radar system 100 are logical elements such as AND, OR, XOR, NOR, latch, flip-flop, and the like, and It may be implemented as a combination, or may be implemented by including dedicated circuits (eg, Field Programmable Gate Arrays (FPGAs), Application Specific Integrated Circuits (ASICs), etc.), or as a System on Chip (SoC).

도 6은 본 발명의 실시 예에 따른 생체 신호 검출 방법을 나타내는 순서도이다. 도 6은 도 5를 참조하여 설명될 것이다.6 is a flowchart illustrating a method of detecting a biosignal according to an embodiment of the present invention. 6 will be described with reference to FIG. 5.

S110 단계에서, 레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. S120 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 1차 및 2차 고속 푸리에 변환(fast fourier transform; FFT)을 수행할 수 있다. S130 단계에서, 레이더 신호처리 단(120)은 고속 푸리에 변환 결과에 CFAR(Constant False Alarm Rate) 알고리즘을 적용할 수 있다. S140 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 기초하여 신호의 위상을 검출할 수 있다. S150 단계에서, 딥러닝 단(130)은 검출된 위상을 딥러닝을 이용하여 가공할 수 있다. S160 단계에서, 생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 생체 신호를 검출할 수 있다.In step S110, the radar front end 110 may detect radar raw data. In step S120, the radar signal processing stage 120 may perform first and second fast Fourier transforms (FFT) on the raw data. In step S130, the radar signal processing stage 120 may apply a CFAR (Constant False Alarm Rate) algorithm to the result of the fast Fourier transform. In step S140, the radar signal processing stage 120 may detect the phase of the signal based on the raw data. In step S150, the deep learning stage 130 may process the detected phase using deep learning. In step S160, the bio-signal and the number of people detecting stage 140 may detect the bio-signal based on the deep learning application result.

도 7은 본 발명의 실시 예에 따른 사람 유무, 인원 수 검출 방법을 나타내는 순서도이다. 도 7은 도 5를 참조하여 설명될 것이다.7 is a flowchart illustrating a method of detecting the presence or absence of persons and the number of persons according to an embodiment of the present invention. 7 will be described with reference to FIG. 5.

S210 단계에서, 레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. S220 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 1차 및 2차 고속 푸리에 변환(fast fourier transform; FFT)을 수행할 수 있다. S230 단계에서, 레이더 신호처리 단(120)은 고속 푸리에 변환 결과에 CFAR(Constant False Alarm Rate) 알고리즘을 적용할 수 있다. S240 단계에서, 딥러닝 단(130)은 전처리된 로우 데이터에 기초하여 사람이 있을 때와 사물이 있을 때 레이더에 들어오는 신호가 서로 다른 특성을 이용하여 딥러닝을 적용할 수 있다. S250 단계에서, 생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 사람의 유무, 및 인원 수를 검출하고 판별할 수 있다.In step S210, the radar front end 110 may detect radar raw data. In step S220, the radar signal processing stage 120 may perform first and second fast Fourier transforms (FFT) on the raw data. In step S230, the radar signal processing stage 120 may apply a CFAR (Constant False Alarm Rate) algorithm to the result of the fast Fourier transform. In step S240, the deep learning stage 130 may apply deep learning by using different characteristics of signals entering the radar when there is a person and when there is an object based on the preprocessed raw data. In step S250, the bio-signal and the number of people detection unit 140 may detect and determine the presence or absence of a person and the number of people based on the deep learning application result.

본 발명은 딥러닝을 이용한 사람 감지 및 인원 수 검출 레이더 신호 처리 방법을 제안한 것이다. 본 발명의 목적은 실시간으로 사람의 유무 및 인원 수 모니터링을 통하여 다양한 응용 분야에서 사고 예방 및 안전 관리에 사용되는 것이다. 본 발명에서는 클러서 제거 알고리즘을 제안하여 사람과 사물을 구분하였고, 딥러닝 기반의 합성곱 신경회로망(Convolution Neural Network, CNN)을 이용하여 최종 사람의 유무와 위치를 판단하였다. 일반적인 레이더 신호처리 기술로만 위와 같은 동작을 하기 위해서는 매우 복잡한 알고리즘이 필요하게 되지만 본 발명과 같이 레이더 신호처리와 딥러닝 기술을 융합시키게 되면 알고리즘의 복잡도를 크게 낮출 수 있다. 이를 통해 레이더 센서의 오탐지율 개선 및 하드웨어 단가 절감을 이루고자 한다.The present invention proposes a radar signal processing method for detecting people and detecting the number of people using deep learning. An object of the present invention is to be used for accident prevention and safety management in various application fields by monitoring the presence or absence of people and the number of people in real time. In the present invention, a clutter removal algorithm was proposed to distinguish people from objects, and the presence and location of the final person was determined using a deep learning-based convolution neural network (CNN). In order to perform the above operation only with a general radar signal processing technology, a very complex algorithm is required, but if the radar signal processing and deep learning technology are fused as in the present invention, the complexity of the algorithm can be greatly reduced. Through this, we aim to improve the false detection rate of radar sensors and reduce hardware cost.

본 발명에 따른 모니터링 시스템은 딥러닝 기반의 모델 학습을 통해 다양한 상황에서도 낮은 오탐지율을 보일 수 있다. 더욱이, 본 발명에 따른 모니터링 시스템은, 한 개의 센서로 한 개의 어플리케이션이 적용되는 시스템과 달리, 딥러닝을 통해서 졸음, 음주, 갑작스러운 운전자의 변화 등 여러 상황을 동시에 감지할 수 있다. 이 외의 응용 분야로써, 본 발명에 따른 모니터링 시스템은 재난 구조 현장, 실내용 네비게이션, 자율 주행 센서, 사람/자세 인식 시스템 등의 산업 분야에서도 응용될 수 있다.The monitoring system according to the present invention can show a low false positive rate even in various situations through model learning based on deep learning. Moreover, unlike a system in which one application is applied with one sensor, the monitoring system according to the present invention can simultaneously detect various situations such as drowsiness, drinking alcohol, and sudden change of driver through deep learning. As other application fields, the monitoring system according to the present invention can be applied to industrial fields such as disaster relief sites, indoor navigation, autonomous driving sensors, and people/posture recognition systems.

본 발명에 따른 일 실시예에는 자동차, 오토바이, 배, 또는 비행기들과 같은 오토 모빌리티 장치에 적용될 수 있다.An embodiment according to the present invention may be applied to an auto mobility device such as a car, a motorcycle, a ship, or an airplane.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.The contents described above are specific examples for carrying out the present invention. The present invention will include not only the embodiments described above, but also embodiments that can be changed in design or easily changed. In addition, the present invention will include technologies that can be easily modified and implemented in the future using the above-described embodiments.

100: 레이더 시스템
110: 레이더 프론트 엔드 단
120: 레이더 신호처리 단
130: 딥러닝 단
140: 생체 신호 및 인원 수 검출 단100: radar system
110: radar front end end
120: radar signal processing stage
130: deep learning stage
140: biosignal and number of people detection stage

Claims (2)

딥러닝을 이용한 레이더 시스템을 포함하며, 상기 레이더 시스템은,
M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 레이더 프론트 엔드 단(M, C, N은 1 이상의 정수);
관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 레이더 신호처리 단;
상기 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 상기 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 딥러닝 단; 및
각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 생체 신호 및 인원 수 검출 단을 포함하고,
상기 레이더 신호처리 단은:
상기 FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고, 상기 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하고,
상기 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하며,
상기 거리-각 맵들을 상기 첩 주기의 상기 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행하는 오토 모빌리티 장치.It includes a radar system using deep learning, the radar system,
A radar front end (M, C, N is an integer greater than or equal to 1) for acquiring an FMCW digital radar signal through N sampling per one of the C chirps included in the M receiving ends;
A radar signal that generates 3D window data by accumulating 2D data consisting of data corresponding to the range index and angle index and the surrounding distance index and each surrounding index on the time axis of the chirp period Treatment stage;
A deep learning stage for inputting the 3D window data into a convolutional neural network to calculate the distance of interest and a target existence probability of each index; And
And a bio-signal and number of people detecting stage for selecting the distance at which the target exists and each index from the respective distance indexes and target existence probabilities of each index,
The radar signal processing stage is:
Performing a third-order Fourier transform on the FMCW digital radar signal, calculating data cubes based on the result of the third-order Fourier transform,
Generate distance-angle maps for each of the chirps in the data cubes,
An auto mobility device that performs a clutter removal algorithm by subtracting the distance-each maps from each other on the time axis of the chirp period. 제 1 항에 있어서,
상기 레이더 신호처리 단은:
상기 FMCW 디지털 레이더 신호를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하는 제 1 푸리에 변환;
상기 제 1 푸리에 변환의 결과를 상기 M개의 수신단으로부터 수집하여 수신 안테나 거리 단위로 푸리에 변환하고 그리고 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 제 2 푸리에 변환; 및
상기 제 2 푸리에 변환의 결과를 상기 C개의 첩 동안 수집하여 첩 주기 단위로 푸리에 변환하여 첩 인덱스(chirp index)별 계수 값인 시간별 데이터를 생성하는 제 3 푸리에 변환을 수행하는 오토 모빌리티 장치.The method of claim 1,
The radar signal processing stage is:
A first Fourier transform for generating distance data, which is a coefficient value for each range index, by Fourier transforming the FMCW digital radar signal in units of a sampling period;
A second Fourier transform for collecting the results of the first Fourier transform from the M receiving terminals, performing a Fourier transform in units of receive antenna distances, and generating each data that is a coefficient value for each angle index; And
An auto mobility device for performing a third Fourier transform that collects the results of the second Fourier transform during the C chirps and performs a Fourier transform in units of chirp periods to generate time-wise data that is a coefficient value for each chirp index.
KR1020190149540A 2019-06-27 2019-11-20 Auto Mobility Devices Including Radar Systems With Deep Learning KR20210001846A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190076734 2019-06-27
KR20190076734 2019-06-27

Publications (1)

Publication Number Publication Date
KR20210001846A true KR20210001846A (en) 2021-01-07

Family

ID=74126775

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190144252A KR20210001840A (en) 2019-06-27 2019-11-12 Radar signal processing and radar system for occupant detection and people counting using deep learning
KR1020190149540A KR20210001846A (en) 2019-06-27 2019-11-20 Auto Mobility Devices Including Radar Systems With Deep Learning

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190144252A KR20210001840A (en) 2019-06-27 2019-11-12 Radar signal processing and radar system for occupant detection and people counting using deep learning

Country Status (1)

Country Link
KR (2) KR20210001840A (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11536801B1 (en) * 2021-10-27 2022-12-27 Aurora Operations, Inc. Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (FMCW) chirps
WO2023080018A1 (en) * 2021-11-04 2023-05-11 オムロン株式会社 Biological information processing device, biological information processing method, and program
KR20230130365A (en) * 2022-03-03 2023-09-12 주식회사 에이유 Signal processing method and radar system for detecting people

Also Published As

Publication number Publication date
KR20210001840A (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US20210041555A1 (en) System and method for camera radar fusion
KR20210001846A (en) Auto Mobility Devices Including Radar Systems With Deep Learning
CN107144839B (en) Detecting long objects by sensor fusion
CN113015922B (en) Detection method, detection device and storage medium
US9812008B2 (en) Vehicle detection and tracking based on wheels using radar and vision
EP3589968A1 (en) Systems and methods for detection of a target sound
CN109891262A (en) Object detection device
CN109597065B (en) False alarm suppression method and device for through-wall radar detection
KR102194320B1 (en) Apparatus and Method for Tracking Object based on Radar Image Reconstruction
EP3373193B1 (en) Method and system for artificial intelligence based advanced driver assistance
US9162643B2 (en) Device and method for the detection of persons
CN111497741A (en) Collision early warning method and device
CN112313536B (en) Object state acquisition method, movable platform and storage medium
KR20220052526A (en) Radar signal processing for people counting and localization in vehicle using doppler effect and cfar for each range
WO2020262772A1 (en) Radar signal processing method and radar system for human detection and number-of-people detection using deep learning
CN112740302A (en) Monitoring device for vehicle
US20200257942A1 (en) Method and device for determining a driving behavior
CN113740855B (en) Space occupation identification method and device, millimeter wave radar and storage medium
RU2514154C1 (en) Method for recognition of false targets caused by self-generated noise of mobile carrier
Yan et al. Clustering statistic Hough transform based estimation method for motion elements of multiple underwater targets
JP7312275B2 (en) Information processing device, sensing device, moving object, information processing method, and information processing system
CN117730264A (en) Laser radar anti-interference method and device, readable storage medium and terminal equipment
CN110691985B (en) System for enhanced object tracking
US20200333455A1 (en) Joint radon transform association
Lee et al. IR-UWB radar based near-field intentional eyelid movement sensing under fixed head and body motions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal