KR102397104B1

KR102397104B1 - Method of Detecting and Localizing People inside Vehicle Using Impulse Radio Ultra-Wideband Radar

Info

Publication number: KR102397104B1
Application number: KR1020200115338A
Authority: KR
Inventors: 김성철; 임소희; 정재훈
Original assignee: 서울대학교 산학협력단
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2022-05-12
Also published as: KR20220033211A

Abstract

임펄스 무선 초광대역 레이더를 이용한 차량 내 사람 감지 및 위치 확인 방법이 개시된다. IR-UWB 레이더를 차량 내 룸미러에 장착하여 각 좌석에 사람이 앉아 있는지 여부를 확인하고자 한다. 다양한 조합의 좌석 배치에 대해 IR-UWB 레이더 송출하고 반사 신호를 수신한다. 차내 사람의 위치에 따라 수신 신호의 파형이 변화한다. 그 수신된 신호들의 기계학습 혹은 딥러닝 모델을 사용하여 분류한다. 기계학습 시, 수신 신호의 통계적 특성을 나타내는 특징을 추출하여 분류 기준으로 사용한다. 각 특징의 중요성을 판단하고, 특징의 수를 줄이기 위해 근방 성분 분석 알고리즘을 사용한다. 다음 차내 사람들의 다양한 배치를 분류하기 위해 의사결정 트리를 기본 분류자로 사용 앙상블 학습을 사용한다. 기계학습 혹은 딥러닝을 통해 확보된 분류 모델에 실시간 레이더 수신신호를 입력하면, 차량 내 사람이 존재하는지 여부, 어느 좌석에 위치하는 지 등을 추정할 수 있다. 만약 운전자가 차에서 내렸으나 차 안에 여전히 아이가 남아있는 경우, 이를 감지하여 운전자에게 경고 메시지를 줌으로써 아이가 혼자 차 안에 갇히는 사고를 방지할 수 있다. Disclosed is a method for detecting and positioning a person in a vehicle using an impulse wireless ultra-wideband radar. An IR-UWB radar is installed in the rearview mirror of a vehicle to check whether or not a person is sitting in each seat. It transmits IR-UWB radar and receives reflected signals for various combinations of seating arrangements. The waveform of the received signal changes depending on the position of the person in the vehicle. The received signals are classified using machine learning or deep learning models. In machine learning, features representing the statistical characteristics of the received signal are extracted and used as a classification criterion. To determine the importance of each feature, and to reduce the number of features, a neighborhood component analysis algorithm is used. We then use ensemble learning using a decision tree as the default classifier to classify different batches of people in the car. By inputting the real-time radar reception signal to the classification model obtained through machine learning or deep learning, it is possible to estimate whether or not there is a person in the vehicle and in which seat they are located. If the driver gets out of the car and there is still a child in the car, it can detect this and give a warning message to the driver to prevent the child from being trapped in the car alone.

Description

{Method of Detecting and Localizing People inside Vehicle Using Impulse Radio Ultra-Wideband Radar}

본 발명은 차량 내 상황을 모니터링 하는 기술에 관한 것으로서, 보다 상세하게는 임펄스 무선 초광대역(Impulse Radio Ultra-Wideband: IR-UWB) 레이더를 이용하여 차량 내 사람의 수 및 위치를 추정하는 기술에 관한 것이다. The present invention relates to a technology for monitoring a situation in a vehicle, and more particularly, to a technology for estimating the number and location of people in a vehicle using an Impulse Radio Ultra-Wideband (IR-UWB) radar will be.

매년 몇몇 어린이와 애완동물이 차 안에 갇혀 혼자 고립된 후 열사병과 고열 질환으로 사망하고 사고가 자주 발생한다. 여름철 밀폐된 차 안은 온도가 급격히 상승한다. 기온이 너무 높으면 차내의 생명이 위험해진다. 따라서 어린이나 애완동물이 차 안에 보호자 없이 남겨지면, 운전자는 그 상황을 인식하고 비극을 막기 위해 신속하게 경고를 받아야 한다. 열사병에 의한 사망을 피하기 위해 스마트 폰 애플리케이션과 여러 센서 (온도, 모션, GPS, 초음파 센서 등)를 결합에 대한 몇 가지 연구(아래 비특허문헌 1 및 2 참조)가 진행되고 있다. 그러나 이러한 방법은 센서를 신체에 부착해야하며 여러 센서를 통합해야 한다는 단점이 존재한다. 예컨대, 문이나 안전벨트 등에 위치한 센서와 압력 센서, 얼굴 인식 센서 등과 같은 차량 내 센서를 이용하여 차량 내 사람이 있는지를 감지한다. 또한 움직임 센서를 활용하여 차량 내 움직임을 감지하며, 온도 센서를 통해 차량 내 온도를 추정한다. 다수의 센서들을 이용하면 각각의 센서로부터 얻은 정보를 융합해야하기 때문에 복잡도가 상대적으로 높다.Every year, several children and pets die from heat stroke and high fever after being trapped in a car and isolated on their own, and accidents occur frequently. In summer, the temperature inside a closed car rises rapidly. If the temperature is too high, the life inside the car is at risk. So if a child or pet is left unaccompanied in the car, the driver must be aware of the situation and get a prompt warning to prevent a tragedy. In order to avoid death due to heat stroke, several studies (refer to Non-Patent Documents 1 and 2 below) on combining a smartphone application and various sensors (temperature, motion, GPS, ultrasonic sensor, etc.) are in progress. However, this method has disadvantages in that the sensor must be attached to the body and multiple sensors must be integrated. For example, the presence of a person in the vehicle is sensed using sensors located on the door or seat belt, and in-vehicle sensors such as a pressure sensor and a face recognition sensor. In addition, it detects movement in the vehicle by using a motion sensor, and estimates the temperature in the vehicle through a temperature sensor. When multiple sensors are used, the complexity is relatively high because information obtained from each sensor needs to be fused.

사람에 대한 모니터링은 카메라, 초음파, 적외선, 라이더 센서 등의 단일 비접촉 수동 센서를 사용하여 수행할 수 있다. 특히 레이더는 환경의 변화에 강인하며 높은 검출 성능 (거리 분해능)을 갖추고 있기 때문에 다른 센서보다 우수하면서도 개인의 사생활을 침해하지 않는다는 장점을 가진다. 레이더 시스템을 기반으로 인체 감지를 다루는 기술로서, 임펄스 무선 초광대역 (IR-UWB) 레이더는 나노초 단위의 지속 시간을 가지는 매우 짧은 펄스를 사용하여 저 전력과 높은 거리 분해능을 제공한다. IR-UWB 레이더는 제스처 인식, 인원수 계산, 음성 인식 등에 이용될 수 있으며, 사람의 움직임을 감지하여 생체 신호를 모니터링하기 위한 용도로 이용될 수 있다. Human monitoring can be accomplished using a single non-contact passive sensor, such as a camera, ultrasonic, infrared, or lidar sensor. In particular, radar has the advantage of not infringing on personal privacy while being superior to other sensors because it is robust to changes in the environment and has high detection performance (distance resolution). As a technology dealing with human body detection based on a radar system, impulse radio ultra-wideband (IR-UWB) radar uses very short pulses with a duration on the order of nanoseconds to provide low power and high distance resolution. The IR-UWB radar may be used for gesture recognition, number of people counting, voice recognition, etc., and may be used for monitoring bio-signals by detecting human movement.

그런데 IR-UWB 레이더를 이용한 대부분의 응용은 생체 신호를 측정하고 사람의 존재를 감지하거나 야외에서 사람을 감지하고 추적하는 것에 초점이 맞춰져 있다. IR-UWB를 이용하여 차량 내에 사람의 위치와 수를 검출해내는 위한 기술로 제안된 것은 아직 알려져 있지 않다.However, most applications using IR-UWB radar are focused on measuring biosignals and detecting the presence of people or detecting and tracking people outdoors. A proposed technology for detecting the location and number of people in a vehicle using IR-UWB is not yet known.

(1) M. F. Abulkhair, A. Aldahiri, H. Alkhatabi, H. Alonezi, L. Mulla, and S.Razzaq, "Sensor based hyperthermia alert car application," International Journal of Applied Information Systems, vol. 5, no. 2, pp. 44-55, May 2016. (1) M. F. Abulkhair, A. Aldahiri, H. Alkhatabi, H. Alonezi, L. Mulla, and S. Razzaq, “Sensor based hyperthermia alert car application,” International Journal of Applied Information Systems, vol. 5, no. 2, pp. 44-55, May 2016. (2) J. P. S. Barrera, G. M. Sandoval, G. C. Ortiz, R. N. Gonzalez, and E. R. Aguilar, "A multi-agent system to avoid heatstroke in young children left in baby car seats inside vehicles," the International Conference on Computational Science and Computational Intelligence, pp. 245-248, March 2014.(2) J. P. S. Barrera, G. M. Sandoval, G. C. Ortiz, R. N. Gonzalez, and E. R. Aguilar, "A multi-agent system to avoid heatstroke in young children left in baby car seats inside vehicles," the International Conference on Computational Science and Computational Intelligence, pp. 245-248, March 2014. (3) N. Hafner, I. Mostafanezhad, V. M. Lubecke, O. Boric-Lubecke, and A. Host-Madsen, "Non-contact cardiopulmonary sensing with a baby monitor," the 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 2300-2302, August 2007. (3) N. Hafner, I. Mostafanezhad, V. M. Lubecke, O. Boric-Lubecke, and A. Host-Madsen, “Non-contact cardiopulmonary sensing with a baby monitor,” the 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 2300-2302, August 2007. (4) A. R. Diewald, J. Landwehr, D. Tatarinov, P. D. M. Cola, C. Watgen, C. Mica, M. Lu-Dac, P. Larsen, O. Gomez, and T. Goniva, "RF-based child occupation detection in the vehicle interior," the 17th International Radar Symposium (IRS), pp. 1-4, May 2016.(4) A. R. Diewald, J. Landwehr, D. Tatarinov, P. D. M. Cola, C. Watgen, C. Mica, M. Lu-Dac, P. Larsen, O. Gomez, and T. Goniva, “RF-based child occupation. detection in the vehicle interior," the 17th International Radar Symposium (IRS), pp. 1-4, May 2016.

본 발명의 일 목적은 IR-UWB 레이더를 이용하여 차량 내의 존재하는 사람을 감지하고 그 사람의 위치를 효과적으로 추정할 수 있는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION One object of the present invention is to provide a method for detecting a person existing in a vehicle using an IR-UWB radar and effectively estimating the location of the person.

본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above problems, and may be variously expanded without departing from the spirit and scope of the present invention.

상기 본 발명의 일 목적을 실현하기 위한 실시예들에 따른 레이더 장치를 이용한 차량내 사람 감지 방법은, 차량 내 소정 위치에 설치된 레이더 장치를 이용하여 레이더 신호를 송출하고 상기 차량 내의 각 좌석 타겟에서 반사된 레이더 신호를 수신하는 테스트를 차량 내 좌석별 사람의 존재 여부에 따라 생길 수 있는 2^P 가지 시나리오(단, P는 차량 내 좌석의 개수) 각각에 대하여 복수 회 수행하여 다수의 테스트 수신신호를 확보하는 단계; 상기 연산처리장치에서, 상기 다수의 테스트 수신신호를 샘플링하고 그 샘플링된 테스트 수신신호에 포함된 직류성분 제거 처리 및 노이즈 성분 억제를 위한 필터링 처리를 포함하는 전처리를 수행하는 단계; 상기 2^P 가지 시나리오 별로 다수의 전처리된 테스트 신호들의 통계적 특성을 나타내는 매개변수들의 특징 데이터를 추출하는 단계; 상기 매개변수들의 특징 데이터를 학습 데이터로 삼아 기계학습을 수행하여 임의의 입력 데이터를 상기 2^P 가지 시나리오에 대응하는 클래스들 중 어느 한 가지로 분류할 수 있는 분류 모델을 생성하는 단계; 상기 레이더 장치가 레이더 신호를 송출하여 상기 차량 내 각 좌석 타겟에서 반사된 레이더 신호를 실시간으로 수신하는 단계; 상기 연산처리장치에서, 상기 수신된 레이더 신호를 샘플링하고 그 샘플링된 레이더 신호에 포함된 직류성분 제거 처리 및 노이즈 성분 억제를 위한 필터링 처리를 포함하는 전처리를 수행하는 단계; 및 상기 연산처리장치에서, 전처리된 레이더 신호의 통계적 특성을 나타내는 특징을 추출하여 상기 분류 모델에 입력하여 상기 2^P 개의 시나리오에 대응하는 클래스들 중 해당하는 클래스로 분류하는 것에 의해 상기 차량 내 사람의 위치를 실시간으로 추정하는 단계를 포함한다. In the method for detecting a person in a vehicle using a radar device according to embodiments for realizing an object of the present invention, a radar signal is transmitted using a radar device installed at a predetermined position in the vehicle and reflected from each seat target in the vehicle A number of test reception signals are secured by performing the test for receiving the radar signal multiple times for each of the 2 ^P scenarios (where P is the number of seats in the vehicle) that can occur depending on the presence or absence of a person for each seat in the vehicle to do; performing, in the arithmetic processing device, preprocessing including sampling the plurality of test received signals and filtering processing for suppressing a DC component and a noise component included in the sampled test received signals; extracting characteristic data of parameters representing statistical characteristics of a plurality of preprocessed test signals for each of the 2 ^P scenarios; generating a classification model capable of classifying arbitrary input data into any one of classes corresponding to the 2 ^P scenarios by performing machine learning using the feature data of the parameters as learning data; receiving, by the radar device, a radar signal reflected from each seat target in the vehicle in real time by transmitting a radar signal; performing, in the arithmetic processing device, preprocessing including sampling the received radar signal and filtering processing for suppressing a DC component and a noise component included in the sampled radar signal; and by extracting, in the arithmetic processing device, a feature representing the statistical characteristics of the preprocessed radar signal and inputting it to the classification model, classifying it into a corresponding class among the classes corresponding to the ^2P scenarios. estimating the position in real time.

예시적인 실시예에 있어서, 상기 분류 모델을 생성하는 단계는 추출된 전체 특징 데이터 중 중복되거나 또는 비슷한 특징 데이터를 걸러내고 남은 특징 데이터를 선별하여 상기 학습데이터로 제공하는 단계를 포함할 수 있다.In an exemplary embodiment, the generating of the classification model may include filtering out duplicate or similar feature data from all extracted feature data, selecting the remaining feature data, and providing the selected feature data as the training data.

예시적인 실시예에 있어서, 상기 특징 데이터의 선별은 이웃 성분 분석 알고리즘에 따라 산출되는 상기 전체 특징 데이터들 간의 거리에 기초하여 이루어질 수 있다.In an exemplary embodiment, the selection of the feature data may be performed based on a distance between the entire feature data calculated according to a neighbor component analysis algorithm.

예시적인 실시예에 있어서, 상기 매개변수들은 평균(mean), 분산(variance), 분산 계수(coefficient of variance), 첨도(kurtosis), 비대칭도(skewness), 신호의 최대값, 그리고 신호에서의 최대값 인수를 포함할 수 있다.In an exemplary embodiment, the parameters include mean, variance, coefficient of variance, kurtosis, skewness, maximum value of signal, and maximum value in signal. It can contain value arguments.

예시적인 실시예에 있어서, 상기 분류 모델을 생성하는 단계는 의사결정 트리들의 앙상블 학습을 위한 배깅(bagging) 알고리즘에 따라 상기 선별된 특징 데이터 전체를 복수의 학습 데이터 세트로 분할하는 단계; 의사결정 트리 알고리즘을 기반으로 하는 복수의 분류자가 상기 분할된 학습 데이터 세트를 각각 병렬로 학습하는 단계; 그리고 각 분류자에서의 예측 결과를 모아서 평균하거나 또는 투표하여 클래스 분류 결과를 결정하는 단계를 포함할 수 있다.In an exemplary embodiment, the generating of the classification model comprises: dividing the entire selected feature data into a plurality of training data sets according to a bagging algorithm for ensemble learning of decision trees; A plurality of classifiers based on a decision tree algorithm learning each of the divided training data set in parallel; And it may include the step of determining the class classification result by collecting or averaging the prediction results from each classifier or voting.

예시적인 실시예에 있어서, 상기 분류 모델을 생성하는 단계는 분할된 복수의 학습 데이터 세트 중 일부 세트를 사용하여 분류자를 학습시키고, 나머지 세트를 사용하여 학습된 분류자의 성능을 검증하는 다중겹 교차검증 단계를 더 포함할 수 있다.In an exemplary embodiment, the generating of the classification model includes training a classifier using some sets of a plurality of divided training data sets, and multi-fold cross-validation of verifying the performance of the trained classifier using the remaining sets. It may include further steps.

예시적인 실시예에 있어서, 분류에 사용되는 특징 데이터의 가지 수와 분류자의 수는 각각 7개와 50개일 수 있다.In an exemplary embodiment, the number of branches and the number of classifiers of the feature data used for classification may be 7 and 50, respectively.

예시적인 실시예에 있어서, 상기 레이더 장치는 임펄스 무선 초광대역(Impulse Radio Ultra-Wideband: IR-UWB) 레이더 신호를 상기 차량 내 좌석 타겟들을 향해 송출하고 좌석 타겟들에서 반사된 레이더 신호를 수신하도록 구성된 IR-UWB 레이더 장치일 수 있다.In an exemplary embodiment, the radar device is configured to transmit an Impulse Radio Ultra-Wideband (IR-UWB) radar signal towards and receive a radar signal reflected from the seat targets in the vehicle. It may be an IR-UWB radar device.

상기 본 발명의 일 목적을 실현하기 위한 실시예들에 따른 레이더 장치를 이용한 차량내 사람 감지 방법은, 차량 내 소정 위치에 설치된 레이더 장치를 이용하여 레이더 신호를 송출하고 상기 차량 내의 각 좌석 타겟에서 반사된 레이더 신호를 수신하는 테스트를 차량 내 좌석별 사람의 존재 여부에 따라 생길 수 있는 2^P 가지 시나리오(단, P는 차량 내 좌석의 개수) 각각에 대하여 복수 회 수행하여 다수의 테스트 수신신호를 확보하는 단계; 상기 연산처리장치에서, 상기 다수의 테스트 수신신호를 샘플링하고 그 샘플링된 테스트 수신신호에 포함된 직류성분 제거 처리 및 노이즈 성분 억제를 위한 필터링 처리를 포함하는 전처리를 수행하는 단계; 상기 2^P 가지 시나리오 별로 다수의 전처리된 테스트 신호들을 학습 데이터로 삼아 심층 신경망을 기반으로 하는 딥러닝을 수행하여 임의의 입력 데이터를 상기 2^P 가지 시나리오에 대응하는 클래스들 중 어느 한 가지로 분류할 수 있는 분류 모델을 생성하는 단계; 상기 레이더 장치가 레이더 신호를 송출하여 상기 차량 내 각 좌석 타겟에서 반사된 레이더 신호를 실시간으로 수신하는 단계; 상기 연산처리장치에서, 수신된 레이더 신호를 샘플링하고 그 샘플링된 레이더 신호에 포함된 직류성분 제거 처리 및 노이즈 성분 억제를 위한 필터링 처리를 포함하는 전처리를 수행하는 단계; 및 상기 연산처리장치에서, 전처리된 레이더 신호를 상기 분류 모델에 입력하여 상기 2^P 개의 시나리오에 대응하는 클래스들 중 해당하는 클래스로 분류하는 것에 의해 상기 차량 내 사람의 위치를 실시간으로 추정하는 단계를 포함한다.In the method for detecting a person in a vehicle using a radar device according to embodiments for realizing an object of the present invention, a radar signal is transmitted using a radar device installed at a predetermined position in the vehicle and reflected from each seat target in the vehicle A number of test reception signals are secured by performing the test for receiving the radar signal multiple times for each of the 2 ^P scenarios (where P is the number of seats in the vehicle) that can occur depending on the presence or absence of a person for each seat in the vehicle to do; performing, in the arithmetic processing device, preprocessing including sampling the plurality of test received signals and filtering processing for suppressing a DC component and a noise component included in the sampled test received signals; By performing deep learning based on a deep neural network using a plurality of preprocessed test signals for each of the ^2P scenarios as training data, arbitrary input data can be classified into any one of the classes corresponding to the ^2P scenarios. generating a possible classification model; receiving, by the radar device, a radar signal reflected from each seat target in the vehicle in real time by transmitting a radar signal; performing, in the arithmetic processing device, a pre-processing including sampling a received radar signal and filtering processing for suppressing a DC component included in the sampled radar signal and a noise component; and estimating the position of a person in the vehicle in real time by inputting the preprocessed radar signal into the classification model in the arithmetic processing device and classifying it into a corresponding class among the classes corresponding to the ^2P scenarios. include

예시적인 실시예에 있어서, 상기 딥러닝은 입력층, 다중 은닉층, 출력층을 포함하는 다층 퍼셉트론(Multi-Layer Perceptron: MLP) 네트워크를 기반으로 순방향 전파와 역방향 전파의 반복된 프로세스를 통해 수행될 수 있다.In an exemplary embodiment, the deep learning is based on a multi-layer perceptron (MLP) network including an input layer, multiple hidden layers, and an output layer. It can be performed through an iterative process of forward propagation and backward propagation. .

본 발명의 예시적인 실시예들에 따르면, 차량 내부에 센서를 장착한 뒤 차량 내 상황을 실시간으로 모니터링할 수 있다. 이 기술을 활용하면, 운전자의 부주의로 인해 차 안에 갇혀 방치되는 아이나 애완동물을 실시간으로 감지할 수 있으므로, 그런 위험한 상황에 처한 아이 등이 무더위 등으로 사망하는 사고를 방지할 수 있다. 여러 센서 가운데 IR-UWB 센서는 개인의 사생활을 침해하지 않으면서 미세한 움직임을 감지할 수 있기 때문에 실내용 센서로 적합하다. According to exemplary embodiments of the present invention, after mounting a sensor inside the vehicle, it is possible to monitor the situation in the vehicle in real time. By using this technology, it is possible to detect in real time a child or pet left unattended in a vehicle due to the driver's carelessness, thereby preventing accidents in which children in such a dangerous situation die from heat or the like. Among the many sensors, the IR-UWB sensor is suitable as an indoor sensor because it can detect minute movements without invading an individual's privacy.

하나의 IR-UWB 레이더 센서를 이용한 기술이므로, 여러 센서로부터의 정보를 융합한 기존 기술에 비해 복잡도가 상대적으로 낮다. 또한 취득한 데이터를 이용하여 분류자를 미리 학습시켜 놓음으로써, 새로운 데이터가 들어오면 이를 새로 학습시킬 필요 없이 사전에 학습된 분류 모델에 적용할 수 있다. 그러므로 본 기술은 최종 판단까지 소요되는 시간이 짧아 실생활에 적용성이 높다. Since it is a technology using one IR-UWB radar sensor, the complexity is relatively low compared to the existing technology that converges information from several sensors. In addition, by pre-training a classifier using the acquired data, when new data comes in, it can be applied to the pre-learned classification model without the need to re-learn it. Therefore, the time required for final judgment is short, so this technology has high applicability in real life.

본 발명의 예시적인 실시예들에 따른 방법은 90% 이상의 분류 정확도를 가지면서 차량 내 사람의 위치를 인식할 수 있다. 상기 방법에 따르면, 실시간 적용에 적합하게 하기 위해, 분류에 사용되는 특징과 분류자의 적절한 수가 도출될 수 있다. 상기 방법은 IR-UWB 레이더 센서가 하나만 필요하고, 센서를 인체에 장착 필요가 없는 패시브 타입의 인식 방법이기 때문에, 차량의 사람을 감시하기 위한 간단하고 효율적인 방법이다.The method according to exemplary embodiments of the present invention may recognize the location of a person in a vehicle with a classification accuracy of 90% or more. According to the method, an appropriate number of features and classifiers used for classification can be derived, in order to be suitable for real-time application. Since the method is a passive type recognition method that requires only one IR-UWB radar sensor and does not need to mount the sensor on the human body, it is a simple and efficient method for monitoring a person in a vehicle.

도 1은 본 발명의 예시적인 실시예에 따른 차량 내 사람 감지 및 위치 추정을 할 수 있는 방법의 수행절차를 나타낸 흐름도이다.
도 2는 본 발명의 예시적인 실시예에 따라 차량 내 사람 감지 및 위치 확인용 IR-UWB 레이더 장치가 차량 내 백미러 위치에 설치된 상태를 도시한다.
도 3은 본 발명의 예시적인 실시예에 따른 차량 내 사람 감지 및 위치 추정시스템의 신호처리에 관여하는 구성을 나타내는 블록도이다.
도 4는 본 발명의 예시적인 실시예에 따라 송신신호와 상호상관 처리되기 전과 후의 수신신호를 예시적으로 보여준다.
도 5는 5개의 좌석을 갖는 차량 내 사람의 수와 위치에 따른 32가지 경우의 테스트 시나리오 각각에서의 상호상관 처리된 신호를 예시적으로 나타낸다.
도 6은 도 1에 도시된 방법의 단계 S300과 S400의 세부적인 실행절차를 나타내는 흐름도이다.
도 7은 본 발명의 예시적인 실시예에 따라 하나의 클래스의 상호상관 처리된 신호를 두 구간으로 나누어 특징을 추출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 예시적인 실시예에 따라 특징들을 분류하기 위한 의사결정 트리를 이용한 배깅 알고리즘의 블록도이다.
도 9는 본 발명의 예시적인 실시예에 따라 배깅 알고리즘을 이용한 특징 분류 시 분류자의 개수 및 특징의 개수와 분류의 정확도 간의 상관관계를 나타난다.
도 10은 본 발명의 예시적인 다른 실시예에 따라 딥러닝 알고리즘을 이용하여 차량 내 사람 감지 및 위치 확인을 할 수 있는 방법의 수행절차를 나타낸 흐름도이다.
도 11은 본 발명의 예시적인 다른 실시예에 따라 딥러닝 알고리즘을 이용한 데이터 분류 시 은닉층의 노드 수에 따른 분류 정확도를 나타낸다.
도 12는 본 발명의 예시적인 다른 실시예에 따라 딥러닝 알고리즘을 이용한 데이터 분류 시 은닉층의 수에 따른 분류 정확도를 나타낸다.
도 13은 본 발명의 예시적인 다른 실시예에 따라 딥러닝 알고리즘을 이용한 데이터 분류 시 은닉층의 노드 수 및 은닉층의 수에 따른 분류 정확도를 나타낸다.1 is a flowchart illustrating a procedure of a method for detecting and estimating a person in a vehicle according to an exemplary embodiment of the present invention.
FIG. 2 shows a state in which an IR-UWB radar device for detecting and positioning a person in a vehicle is installed at a rearview mirror position in a vehicle according to an exemplary embodiment of the present invention.
3 is a block diagram showing a configuration involved in signal processing of a system for detecting and estimating a person in a vehicle according to an exemplary embodiment of the present invention.
4 exemplarily shows a received signal before and after cross-correlation processing with a transmitted signal according to an exemplary embodiment of the present invention.
Fig. 5 exemplarily shows the cross-correlation processed signal in each of the 32 case test scenarios according to the number and location of people in a vehicle with 5 seats.
6 is a flowchart illustrating detailed execution procedures of steps S300 and S400 of the method shown in FIG. 1 .
7 is a diagram for explaining a method of extracting features by dividing a cross-correlation-processed signal of one class into two sections according to an exemplary embodiment of the present invention.
8 is a block diagram of a bagging algorithm using a decision tree for classifying features according to an exemplary embodiment of the present invention.
9 shows the correlation between the number of classifiers and the number of features and classification accuracy when feature classification using a bagging algorithm according to an exemplary embodiment of the present invention.
10 is a flowchart illustrating a method for detecting and positioning a person in a vehicle using a deep learning algorithm according to another exemplary embodiment of the present invention.
11 illustrates classification accuracy according to the number of nodes in a hidden layer when data is classified using a deep learning algorithm according to another exemplary embodiment of the present invention.
12 shows classification accuracy according to the number of hidden layers when classifying data using a deep learning algorithm according to another exemplary embodiment of the present invention.
13 shows the classification accuracy according to the number of nodes and the number of hidden layers in data classification using a deep learning algorithm according to another exemplary embodiment of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것이다. 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다. 즉, 본 발명은 다양한 변경을 가할 수 있고, 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. With respect to the embodiments of the present invention disclosed in the text, specific structural and functional descriptions are merely exemplified for the purpose of describing the embodiments of the present invention. Embodiments of the present invention may be embodied in various forms, and should not be construed as being limited to the embodiments described herein. That is, since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or a combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. Also, terms such as first and second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

도 1은 본 발명의 예시적인 실시예에 따른 차량 내 사람 감지 및 위치 확인을 할 수 있는 방법의 수행절차를 나타낸 흐름도이다.1 is a flowchart illustrating a procedure of a method for detecting and positioning a person in a vehicle according to an exemplary embodiment of the present invention.

IR-UWB 레이더는 물체의 미묘한 움직임 감지에 뛰어 나기 때문에, 차량의 위치와 인원의 추정에 응용할 수 있다. 도 1을 참조하면, 차량 내 사람 감지 및 위치 확인용 IR-UWB 레이더 장치(110)를 차량 내에 적절한 위치에 설치하고, 그 IR-UWB 레이더 장치(110)를 작동시킬 수 있다. 그에 따라, IR-UWB 레이더 장치(110)는 펄스 형태의 레이더 신호를 송신한 뒤, 타겟에서 반사된 원시 레이더 신호를 수신할 수 있다(S100 단계). Since IR-UWB radar is excellent at detecting subtle movements of objects, it can be applied to the estimation of vehicle location and personnel. Referring to FIG. 1 , the IR-UWB radar device 110 for detecting and positioning a person in a vehicle may be installed at an appropriate location in the vehicle, and the IR-UWB radar device 110 may be operated. Accordingly, the IR-UWB radar device 110 may transmit the radar signal in the form of a pulse and then receive the raw radar signal reflected from the target (step S100 ).

도 2는 예시적인 실시예에 따라 IR-UWB 레이더 장치(110)가 차량(60) 내 설치된 상태를 예시한다.2 illustrates a state in which the IR-UWB radar device 110 is installed in the vehicle 60 according to an exemplary embodiment.

도 2를 참조하면, IR-UWB 레이더 장치(110)는 예시된 것처럼 차량(60) 내 백미러 위치에 설치될 수 있다. 백미러 위치는 일반적으로 승용차 내부 공간의 맨 앞 중앙에 위치한다. 그러므로 그 위치에 설치된 IR-UWB 레이더 장치(110)는 앞좌석(50-1, 50-2)과 뒷좌석(50-3, 50-4, 50-5)을 동시에 모니터링 하는 데 유리할 수 있다. 하지만, IR-UWB 레이더 장치(110)는 차량 내 다른 위치에도 설치될 수 있음은 물론이다. Referring to FIG. 2 , the IR-UWB radar device 110 may be installed at a rearview mirror position in the vehicle 60 as illustrated. The rearview mirror position is usually located in the front center of the passenger car interior space. Therefore, the IR-UWB radar device 110 installed at the position may be advantageous for simultaneously monitoring the front seats 50-1 and 50-2 and the rear seats 50-3, 50-4, and 50-5. However, it goes without saying that the IR-UWB radar device 110 may be installed at other locations within the vehicle.

차량(60)에 설치한 예에서, IR-UWB 레이더 장치(110)에서 차량 바닥까지의 수직 거리는 약 1 m 전후이며, 레이더 장치(110)에서 후방 양쪽 시트까지 대각선 거리는 약 1.4~1.8 m 정도이다. 프레임의 수는 2로 설정되어, 0~2 m 간격을 측정할 수 있다. 또한 앞좌석과 뒷좌석에는 1에서 5까지의 번호가 매겨져 있다. In the example installed in the vehicle 60, the vertical distance from the IR-UWB radar device 110 to the vehicle floor is about 1 m, and the diagonal distance from the radar device 110 to both rear seats is about 1.4 to 1.8 m. . The number of frames is set to 2, so 0~2 m intervals can be measured. The front and rear seats are also numbered from 1 to 5.

IR-UWB 레이더 장치(110)는 타겟에서 반사되어 되돌아온 그 원시 수신 신호에 대하여 소정의 전처리를 수행할 수 있다 (S200 단계). The IR-UWB radar device 110 may perform a predetermined pre-processing on the original received signal reflected from the target and returned (step S200 ).

도 3은 예시적인 실시예에 따라 차량 내 사람 감지 및 위치 추정을 위한 시스템(100)의 구성을 나타낸다. Fig. 3 shows the configuration of a system 100 for detecting and estimating a person in a vehicle according to an exemplary embodiment.

도 3을 참조하면, 상기 시스템(100)은 IR-UWB 레이더 장치(110)를 포함할 수 있다. IR-UWB 레이더 장치(110)는 송신부(112), 수신부(114), 그리고 레이더 신호처리부(115)를 포함할 수 있다. 송신부(112)는 송신 안테나를 포함하며, IR-UWB 레이더 신호를 송출하도록 구성될 수 있다. 수신부(114)는 수신 안테나를 포함하며, 송신신호가 타겟(50)에서 반사되어 돌아오는 원시 수신신호를 수신하도록 구성될 수 있다. 레이더 신호처리부(115)는 레이더 신호의 송신과 수신에 필요한 신호 처리를 수행하도록 구성될 수 있다. Referring to FIG. 3 , the system 100 may include an IR-UWB radar device 110 . The IR-UWB radar device 110 may include a transmitter 112 , a receiver 114 , and a radar signal processor 115 . The transmitter 112 includes a transmit antenna and may be configured to transmit an IR-UWB radar signal. The receiving unit 114 may include a receiving antenna, and may be configured to receive an original received signal in which a transmitted signal is reflected from the target 50 and returned. The radar signal processing unit 115 may be configured to perform signal processing necessary for transmission and reception of a radar signal.

일예로, IR-UWB 레이더 장치(110)에서 송출하는 레이더 신호의 중심 주파수와 대역폭은 각각 6.8 GHz와 2.3 GHz일 수 있다. 또한, 그 레이더 신호의 펄스 반 주파수 및 안테나 이득은 각각 100 MHz 및 6.0 dBi일 수 있다. 송신부(112)의 송신 안테나와 수신부(114)의 수신 안테나에는 방사 패턴을 좁혀 안테나 이득을 증가시키기 위한 유전체 렌즈가 장착될 수 있다. 안테나 이득은 예컨대 약 6.7dBi까지 증가시킬 수 있다.For example, the center frequency and bandwidth of the radar signal transmitted from the IR-UWB radar device 110 may be 6.8 GHz and 2.3 GHz, respectively. Also, the pulse half frequency and antenna gain of the radar signal may be 100 MHz and 6.0 dBi, respectively. A dielectric lens for increasing the antenna gain by narrowing the radiation pattern may be mounted on the transmitting antenna of the transmitting unit 112 and the receiving antenna of the receiving unit 114 . The antenna gain can be increased to, for example, about 6.7 dBi.

레이더 신호처리부(115)는 후술하는 레이더 신호의 송수신을 수행하는 데 관련된 신호처리를 수행할 수 있다. 즉, 레이더 회로부(115)는 송신신호를 생성하여 송신 안테나(112)를 송출되도록 하는 신호처리와, 수신 안테나(114)를 통해 수신되는 아날로그 신호를 샘플링하여 디지털 신호로 변환하는 신호처리 등을 수행할 수 있다.The radar signal processing unit 115 may perform signal processing related to transmission/reception of a radar signal, which will be described later. That is, the radar circuit unit 115 performs signal processing for generating a transmission signal to transmit the transmission antenna 112 , and signal processing for sampling an analog signal received through the reception antenna 114 and converting it into a digital signal. can do.

레이더 신호처리부(115)는 주파수 영역에서 넓은 대역폭을 차지하는 좁은 펄스신호 시퀀스를 보낼 수 있다. IR-UWB 레이더 장치(110)는 짧은 펄스를 사용하여 향상된 범위 분해능을 제공할 수 있고, 넓은 주파수 스펙트럼을 사용하여 외부 협대역 노이즈에 대한 내성을 제공할 수 있는 장점을 가진다. IR-UWB 레이더 장치(110)에서, 송신부(112)의 송신 안테나를 통해 송출되는 레이더 신호 즉, 송신신호는 다음과 같이 쓸 수 있다.The radar signal processing unit 115 may transmit a narrow pulse signal sequence occupying a wide bandwidth in the frequency domain. The IR-UWB radar device 110 has the advantage of being able to provide improved range resolution by using a short pulse and to provide immunity to external narrowband noise by using a wide frequency spectrum. In the IR-UWB radar device 110 , the radar signal transmitted through the transmission antenna of the transmitter 112 , that is, the transmission signal can be written as follows.

......(1)

......(One)

여기서, x(t)는 펄스 신호의 복소 엔벌로프이고, f_c는 반송파 주파수이다. where x(t) is the complex envelope of the pulse signal, and f _c is the carrier frequency.

IR-UWB 레이더 장치(110)가 송출하는 송신신호가 IR-UWB 레이더 장치(110)의 시야각 내의 타겟(50)에 입사되고, 그 신호의 일부는 후방으로 반사된다. 그 반사된 신호는 IR-UWB 레이더 장치(110) 쪽으로 진행하여 수신부(114)의 수신 안테나에 의해 수신될 수 있다. 송신 신호의 강도는 경로 손실, 안테나 게인, 타겟의 레이더 단면적 등에 의해 감쇠한다. 또한, 타겟(50)까지의 거리로 인한 시간 지연이 수신 신호에 반영된다. 따라서 수신 신호는 다음과 같이 나타낼 수 있다.A transmission signal transmitted by the IR-UWB radar device 110 is incident on the target 50 within the viewing angle of the IR-UWB radar device 110, and a portion of the signal is reflected backward. The reflected signal may travel toward the IR-UWB radar device 110 and be received by a receiving antenna of the receiving unit 114 . The strength of the transmitted signal is attenuated by path loss, antenna gain, and radar cross-section of the target. In addition, a time delay due to the distance to the target 50 is reflected in the received signal. Therefore, the received signal can be expressed as follows.

......(2)

여기서, s(t)와 n₀(t)은 채널의 송신신호와 노이즈를 나타내며, a_m과 τ_m은 m 번째 경로에서 발생하는 감쇠 계수와 시간 지연을 각각 나타내며, M은 경로의 수이다. Here, s(t) and n ₀ (t) represent the transmission signal and noise of the channel, a _m and τ _m represent the attenuation coefficient and time delay occurring in the m-th path, respectively, and M is the number of paths.

IR-UWB 레이더 장치(110)는 그 수신신호를 이용하여 차량 내 사람의 존재와 위치를 탐지할 수 있다. 정확한 탐지를 위해, 그 수신신호에 대하여 다음과 같은 몇 가지 전처리를 수행할 수 있다. 이를 위해, 예시적인 실시예에서, IR-UWB 레이더 장치(110)는 전 처리부(120)를 포함할 수 있다. 전 처리부(120)는 직류 성분 제거부(122), 대역 통과 필터(124), 상호상관 처리부(130)를 포함할 수 있다. The IR-UWB radar device 110 may detect the presence and location of a person in the vehicle by using the received signal. For accurate detection, the following preprocessing may be performed on the received signal. To this end, in an exemplary embodiment, the IR-UWB radar device 110 may include a pre-processor 120 . The pre-processing unit 120 may include a DC component removing unit 122 , a band-pass filter 124 , and a cross-correlation processing unit 130 .

먼저, 직류 성분 제거부(122)는 수신 신호에 포함된 직류 성분을 제거하기 위한 처리를 수행할 수 있다. 이를 위해 수신신호를 샘플링하여 디지털 신호로 변환할 수 있다. 변환된 디지털 수신신호는 다음과 같이 표현될 수 있다.First, the DC component removing unit 122 may perform a process for removing the DC component included in the received signal. To this end, the received signal may be sampled and converted into a digital signal. The converted digital reception signal can be expressed as follows.

...... (3)

여기서, T_s는 샘플링 주기이며, N은 샘플의 수이다. 펄스의 듀레이션이 매우 좁아서 실시간 샘플링을 구현하기가 쉽지 않는 점을 고려하여, 다수의 샘플러를 사용하여 수신 신호에 대한 병렬 샘플링이 수행될 수 있다. 그 다수의 샘플러의 결과를 조합하여 디지털 신호를 얻을 수 있다. Here, T _s is the sampling period, and N is the number of samples. Considering that it is not easy to implement real-time sampling because the duration of the pulse is very narrow, parallel sampling of the received signal may be performed using a plurality of samplers. A digital signal can be obtained by combining the results of the multiple samplers.

예를 들어, IR-UWB 레이더 장치(110)에서, 인접한 샘플들 사이의 시간 간격은 26 ps일 수 있고, 이것은 4 mm의 거리 분해능을 지원한다. 따라서 1 m의 범위를 표시하려면 256 샘플이 필요하다. 256 샘플 세트를 하나의 프레임으로 정의할 수 있다. 각 프레임의 수에 따라 관측 범위가 결정된다. 또한 한 세트의 프레임들을 스캔(scan)으로 정의할 수 있다. 프레임 수를 nf라 하면, 각 스캔에서 256 x nf 개의 샘플이 얻어지며 (즉, N = 256 x nf) nf m의 범위가 관찰될 수 있다.For example, in the IR-UWB radar device 110, the time interval between adjacent samples may be 26 ps, which supports a distance resolution of 4 mm. Thus, 256 samples are needed to represent a range of 1 m. A set of 256 samples can be defined as one frame. The number of each frame determines the observation range. Also, a set of frames may be defined as a scan. If the number of frames is nf, 256 x nf samples are obtained in each scan (ie, N = 256 x nf), and a range of nf m can be observed.

식 (3)의 샘플 신호는 처리되지 않은 IR-UWB 레이더 장치(100)의 원시 수신신호이다. 의미 있는 타겟에서 반사된 원시 수신신호를 추출하고, 그 원시 수신신호에 대하여 클러터 신호를 억제하기 위한 추가적인 신호 처리를 수행할 수 있다. 직류성분 제거부(122)는 원시 수신신호 r(t)에 포함된 직류성분을 제거할 수 있다. 그 원시 수신신호 r(t)에서 그 원시 수신신호 r(t)의 평균값을 빼서 그 원시 수신신호의 직류 (DC) 성분을 제거할 수 있다. 수신 신호에 포함된 평균값을 직류 성분(DC)으로 볼 수 있기 때문이다. The sample signal of Equation (3) is the raw received signal of the unprocessed IR-UWB radar device 100 . It is possible to extract the raw received signal reflected from the meaningful target, and perform additional signal processing for suppressing the clutter signal on the raw received signal. The DC component removing unit 122 may remove the DC component included in the original received signal r(t). The direct current (DC) component of the original received signal can be removed by subtracting the average value of the original received signal r(t) from the original received signal r(t). This is because the average value included in the received signal can be viewed as a direct current component (DC).

다음으로, 직류 성분 제거부(122)에서 직류 성분이 제거된 수신신호는 대역 통과 필터(124)에 제공될 수 있다. 대역 통과 필터(124)는 제공받은 그 수신신호로부터 저주파 노이즈 등의 불필요한 신호 성분을 제거할 수 있다. 필터링된 신호는 다음과 같이 나타낼 수 있다.Next, the received signal from which the DC component is removed by the DC component removing unit 122 may be provided to the band pass filter 124 . The band-pass filter 124 may remove unnecessary signal components such as low-frequency noise from the received signal. The filtered signal can be expressed as follows.

......(4)

여기서, B(·)는 대역 통과 필터(124)의 출력을 나타낸다. Here, B(·) represents the output of the band-pass filter 124 .

대역 통과 필터(124)에서 필터링된 수신신호는 통과 대역에 노이즈 성분이 잔류할 수도 있다. 상호 상관 처리부(130)는 그 잔류 노이즈 성분을 억제하기 위해, 필터링된 수신신호를 송신 신호 s(t)와 상호상관 처리를 할 수 있다. 타겟으로부터 반사된 수신신호를 송신신호 s(t)와 상호상관 처리를 함으로써, 그 수신신호는 더욱 뚜렷해지고 노이즈가 감소될 수 있다. The received signal filtered by the band pass filter 124 may have a noise component remaining in the pass band. The cross-correlation processing unit 130 may cross-correlate the filtered received signal with the transmitted signal s(t) in order to suppress the residual noise component. By subjecting the received signal reflected from the target to cross-correlation processing with the transmission signal s(t), the received signal can be made clearer and noise can be reduced.

상호 상관 처리부(130)에서, 수신신호와 송신신호의 상호 상관 신호 p[n]은 다음과 같이 표시될 수 있다.In the cross-correlation processing unit 130, the cross-correlation signal p[n] of the received signal and the transmitted signal may be expressed as follows.

......(5)

여기서, 합계는 j의 모든 가능한 값에 대해 실행되고, N_t는 송신 신호 s(t)의 샘플 수이다.Here, summing is performed over all possible values of j, and N _t is the number of samples of the transmitted signal s(t).

상호상관 처리 후 신호의 길이는 원래 신호보다 길어진다. 즉, N에서 N + Nt - 1로 신호의 길이가 길어질 수 있다. 원래 신호의 길이와 일치하도록 신호를 잘라낼 수 있다.After cross-correlation processing, the length of the signal becomes longer than that of the original signal. That is, the length of the signal may be increased from N to N + Nt - 1. The signal can be trimmed to match the length of the original signal.

상호상관 처리 후 잘라낸 신호는 다음과 같이 주어진다.After cross-correlation, the truncated signal is given as follows.

......(6)

여기서, [·]는 가장 가까운 정수로 절사하는 연산자이다. Here, [·] is an operator that truncates to the nearest integer.

수신신호에 대해 송신신호의 상호 상관을 적용한 효과가 도 4에 예시되어 있다. 상호 상관 처리를 거친 신호(160)는 타겟(50)에서 신호의 진폭이 커질 수 있다. 그 때문에, 타겟 영역에서의 신호 진폭과 비 타겟 영역에서의 신호 진폭 간의 차이가 강화되어 두 영역 간의 경계가 더욱 명확해진다. 따라서 본 발명의 실시예에서는 상호상관 처리된 신호

를 특징 추출 및 분류에 주로 사용한다.The effect of applying the cross-correlation of the transmitted signal to the received signal is illustrated in FIG. 4 . In the signal 160 that has undergone cross-correlation processing, the amplitude of the signal at the target 50 may increase. For that reason, the difference between the signal amplitude in the target region and the signal amplitude in the non-target region is strengthened, and the boundary between the two regions becomes clearer. Therefore, in the embodiment of the present invention, the cross-correlation-processed signal

is mainly used for feature extraction and classification.

도 2와 같은 차량 내 환경에서, 차량 내 다섯 개의 좌석(50-1, 50-2, ... , 50-5)에 사람의 존재 여부에 따라 32 가지의 경우가 가능할 수 있다. 그 32가지 시나리오 각각에 대하여 테스트할 수 있다. 32 가지의 테스트 시나리오는 클래스 E1에서 클래스 E32까지의 레이블이 지정될 수 있다. 32 가지의 테스트 시나리오에 각각 대응하는 각 클래스별 사람의 위치를 표 1에 정리되어 있다. 표 1에서, "O"와 "X"는 사람이 해당 좌석에 있는 경우와 없는 경우를 각각 나타낸다. In the in-vehicle environment as shown in FIG. 2 , 32 cases may be possible depending on the presence or absence of a person in the five seats 50-1, 50-2, ..., 50-5 in the vehicle. You can test against each of those 32 scenarios. Thirty-two test scenarios can be labeled from class E1 to class E32. Table 1 shows the positions of people in each class corresponding to each of the 32 test scenarios. In Table 1, "O" and "X" indicate a case in which a person is in the corresponding seat and a case in which there is no person, respectively.

본 발명의 예시적인 실시예에 따르면, 각 클래스별 상호상관 처리 등의 전처리(샘플링, 직류성분 및 노이즈 제거, 상호상관 처리 등)를 거친 신호(이하, '전처리 신호'라 함)

를 다량 수집하여 기계 학습용 입력 데이터로 사용하고, 그 기계 학습을 통해 분류 모델을 생성할 수 있다(S300 단계). 그리고 레이더 장치(110)에서 실시간으로 수신되는 신호를 그 분류 모델에 의거하여 분류함으로써 차량내 사람의 위치를 추정할 수 있다(S400 단계).According to an exemplary embodiment of the present invention, a signal (hereinafter referred to as a 'pre-processing signal') that has undergone pre-processing such as cross-correlation processing for each class (sampling, DC component and noise removal, cross-correlation processing, etc.)

can be collected and used as input data for machine learning, and a classification model can be created through the machine learning (step S300). In addition, the position of a person in the vehicle may be estimated by classifying the signal received in real time from the radar device 110 based on the classification model (step S400 ).

분류 모델 생성과 그것을 이용하여 차량 내 사람 위치를 추정하기 위해, IR-UWB 레이더 장치(110)는 사람 탐지 및 위치 추정부(140)를 더 포함할 수 있다. 사람 탐지 및 위치 추정부(140)에서는, 충분히 많이 수집된 각 클래스별 전 처리 신호

의 특징을 추출할 수 있다. 추출된 특징들을 전부 학습 데이터로 사용하는 대신, 적합한 특징 데이터를 선별하여 차원을 줄일 수 있다. 사람 탐지 및 위치 추정부(140)는 그 선택된 특징 데이터를 입력 데이터로 삼아 기계 학습을 수행하여 분류 모델을 생성할 수 있다. 생성된 분류 모델은 사람 탐지 및 위치 추정부(140)에 구현될 수 있다. 이후, IR-UWB 레이더 장치(110)에서 실시간으로 수신하는 원시 수신신호를 위에서 설명한 소정의 전처리를 하여 사람 탐지 및 위치 추정부(140)의 입력 데이터로 제공되면, 사람 탐지 및 위치 추정부(140)는 그 입력 데이터의 특징을 추출하여 그 분류 모델에 기초하여 해당 클래스로 분류할 수 있다. 그 특징의 클래스 분류 결과로부터 차량 내 사람을 감지하고 위치를 추정할 수 있다. In order to generate the classification model and estimate the location of a person in the vehicle using the classification model, the IR-UWB radar apparatus 110 may further include a person detection and location estimation unit 140 . In the person detection and location estimation unit 140, a sufficiently large number of pre-processed signals for each class are collected.

features can be extracted. Instead of using all the extracted features as training data, the dimension can be reduced by selecting suitable feature data. The person detection and location estimation unit 140 may generate a classification model by performing machine learning using the selected feature data as input data. The generated classification model may be implemented in the person detection and location estimation unit 140 . Thereafter, when the raw received signal received in real time from the IR-UWB radar device 110 is provided as input data of the person detection and location estimation unit 140 by performing the predetermined pre-processing described above, the person detection and location estimation unit 140 ) can be classified into a corresponding class based on the classification model by extracting the characteristics of the input data. From the class classification result of the feature, it is possible to detect a person in the vehicle and estimate the location.

이하에서는 분류 모델의 생성과 그 모델을 이용한 차량 내 사람의 감지 및 위치 추정을 좀 더 구체적으로 설명한다. Hereinafter, generation of a classification model and detection and location estimation of a person in a vehicle using the model will be described in more detail.

IR-UWB 레이더 장치(110)에서, 분석 모델을 구축하기 위해 32가지 클래스에 대하여 테스트를 수행하여 충분히 많은 양의 원시 수신신호를 수집할 수 있다. 테스트 시나리오에서 취득되는 레이더 신호는 참가자에 따라 다를 수 있다. 이것은 사람마다 신체 특성이 다르기 때문이다. 따라서 참가자와 앉아 순서를 바꿔 가며 여러 번 측정을 실시할 수 있다. 모든 클래스의 측정의 총수는 240이었다. 하나의 측정은 500 개 이상의 검사로 구성되어 있기 때문에 총 120,000 이상의 원시 수신신호가 수집될 수 있다. In the IR-UWB radar device 110, a sufficiently large amount of raw received signals can be collected by performing tests on 32 classes to build an analysis model. The radar signal acquired in the test scenario may vary depending on the participant. This is because each person has different body characteristics. Therefore, it is possible to take measurements several times in alternating order of sitting with the participant. The total number of measurements in all classes was 240. Since one measurement consists of more than 500 tests, a total of more than 120,000 raw received signals can be collected.

도 5는 5개의 좌석을 갖는 차량 내 사람의 수와 위치에 따른 32가지 경우의 테스트 시나리오 각각의 처리 신호를 예시적으로 나타낸다. 여기서, 각 클래스의 신호 파형은 각 테스트 시나리오별 전처리 신호

를 나타낸다. 도 5를 참조하면, 32개 클래스의 각 전처리 신호 파형은 사람의 위치에 따라 다른 경향을 나타낸다. 따라서 수신된 레이더 신호의 특징을 분석함으로써 주어진 32개의 클래스를 분류할 수 있음을 알 수 있다. 예컨대, 클래스 E2와 E4 또는 클래스 E5와 E7의 신호 파형은 사람들이 IR-UWB 레이더 장치(110)에서 같은 거리에 앉아 있기 때문에 이론적으로는 동일해야 한다. 그러나 이러한 대칭 클래스는 약간 다른 신호 파형을 보여준다. 이것은 송신부(112)의 송신안테나와 수신부(114)의 수신안테나 사이가 약 15 cm 정도 이격되어 있어, 실제 측정은 대칭적으로 이루어지지 않기 때문이다. 따라서 하나의 IR-UWB 레이더 장치(110)를 사용하더라도, 왼쪽 좌석(50-2, 50-5)에 앉아있는 사람과 오른쪽 좌석(50-1, 50-3)에 앉아있는 사람을 구별할 수 있다.5 exemplarily shows the processing signal of each of the test scenarios in 32 cases according to the number and location of people in a vehicle having 5 seats. Here, the signal waveform of each class is the preprocessed signal for each test scenario.

indicates Referring to FIG. 5 , each of the preprocessed signal waveforms of 32 classes shows different trends depending on the location of the person. Therefore, it can be seen that the given 32 classes can be classified by analyzing the characteristics of the received radar signal. For example, the signal waveforms of classes E2 and E4 or classes E5 and E7 should theoretically be the same since people are sitting at the same distance from the IR-UWB radar device 110 . However, these symmetric classes show slightly different signal waveforms. This is because the transmitting antenna of the transmitting unit 112 and the receiving antenna of the receiving unit 114 are spaced apart by about 15 cm, so the actual measurement is not symmetrical. Therefore, even if one IR-UWB radar device 110 is used, it is possible to distinguish the person sitting on the left seat (50-2, 50-5) from the person sitting on the right seat (50-1, 50-3). there is.

전 처리부(120)와 사람 탐지 및 위치 추정부(140)는 디지털 신호를 처리하는 수단이므로 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 처리 장치와, 그 처리 장치에서 실행될 수 있는 프로그램의 조합으로 구현될 수 있다. 그 프로그램은 후술하는 예시적인 실시예에 따른 방법이 제시하는 알고리즘에 따라 구현된 것일 수 있다. 상기 프로그램은 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Since the preprocessor 120 and the person detection and location estimation unit 140 are means for processing digital signals, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable (FPA) array), a programmable logic unit (PLU), a microprocessor, or a combination of a processing unit capable of executing and responding to instructions, and a program executable in the processing unit. The program may be implemented according to an algorithm presented by a method according to an exemplary embodiment to be described later. The program may be stored in one or more computer-readable recording media. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

도 6의 흐름도는 단계 S300과 S400의 세부적인 실행절차를 나타낸다.The flowchart of FIG. 6 shows detailed execution procedures of steps S300 and S400.

수신된 IR-UWB 레이더 신호는 차내에 앉아있는 사람의 위치에 따라 크게 다르다. 따라서 수신된 레이더 파형의 분포를 특정하여 차량 내 사람의 위치와 수를 추정할 수 있다. 신호 분포의 통계적 특성을 나타내는 매개 변수를 추출하는 방법을 사용한다. 이것은 각 분포의 패턴을 인식하기 위한 기준으로 사용할 수 있다. The received IR-UWB radar signal varies greatly depending on the position of the person sitting in the vehicle. Therefore, it is possible to estimate the location and number of people in the vehicle by specifying the distribution of the received radar waveform. A method is used to extract parameters representing the statistical characteristics of the signal distribution. This can be used as a criterion for recognizing the pattern of each distribution.

도 6을 참조하면, 먼저 각 클래스별 전처리 신호

의 특징 추출할 수 있다(S310 단계). 다양한 클래스에서 받은 전처리 신호

를 분석하기 위해, 신호의 통계적 특성을 나타내는 매개 변수를 선택할 수 있다. 일반적으로, 평균(mean), 분산(variance), 분산 계수(coefficient of variance), 첨도(kurtosis), 비대칭도(skewness) 등이 자주 사용되는 매개 변수이다. 분산은 데이터의 평균 주위에 데이터가 얼마나 주위에 얼마나 퍼져 있는지를 나타내는 척도이며, 분산계수는 데이터의 평균 주위에 데이터의 분산을 나타내는 표준 척도이고, 상대 표준 편차로 알려져 있다. 첨도는 데이터가 평균 주위에 얼마나 집중하고 있는지를 나타내는 척도이며, 비대칭도는 데이터의 비대칭성을 나타내는 척도이다. 이러한 매개 변수 이외에, 신호의 최대값(maximum value)과 신호에서의 최대값 인수(argument of maximum value) (argmax 등)를 사용할 수 있다. 이러한 평균, 분산, 분산 계수, 첨도, 비대칭도, 신호의 최대값, 그리고 신호에서의 최대값 인수는 신호의 특성(signal characteristics)을 나타내는 특징(features)으로 사용될 수 있다.Referring to FIG. 6 , first, preprocessing signals for each class

can be extracted (step S310). Preprocessing signals from various classes

In order to analyze the signal, parameters representing the statistical properties of the signal can be selected. In general, mean, variance, coefficient of variance, kurtosis, skewness, etc. are frequently used parameters. The variance is a measure of how spread out the data is around the mean of the data, and the coefficient of variance is a standard measure of the variance of the data around the mean of the data, known as the relative standard deviation. The kurtosis is a measure of how concentrated the data is around the mean, and the skewness is a measure of the asymmetry of the data. In addition to these parameters, the maximum value of the signal and the argument of maximum value in the signal (argmax, etc.) can be used. These mean, variance, variance coefficient, kurtosis, asymmetry, maximum value of the signal, and maximum value factor in the signal may be used as features representing the signal characteristics.

차량 내 룸 미러에 설치된 IR-UWB 레이더 장치(110)와 콘솔 박스(55) 사이의 거리는 대략 1m 정도이고, 룸미러에서 뒷자석(50-4)까지의 거리는 대략 1.6m 정도이다. 앞좌석(50-1, 50-2)의 사람의 위치에 따른 신호의 변화는 신호의 0m ~ 1m 부분에 의해 반영되고, 뒷좌석(50-3, 50-4, 50-5)의 사람의 위치에 따른 신호의 변화는 1m ~ 2m 부분에 의해 반영된다. 따라서 도 7에 예시된 것처럼 각 클래스의 전 처리된 신호의 전체 구간을 0m ~ 1m 사이의 제1 구간(210)과 1m ~ 2m 사이의 제2 구간(220)을 나눠서 각 구간별로 권장 매개 변수를 추출할 수 있다. 예컨대 상기 7가지의 특징을 제1 및 제2 구간(210, 220) 각각에서 추출하여, 두 구간에서 모두 14개의 특징을 추출할 수 있다.The distance between the IR-UWB radar device 110 installed in the rearview mirror of the vehicle and the console box 55 is approximately 1 m, and the distance from the rear seat mirror to the rear seat 50 - 4 is approximately 1.6 m. The signal change according to the position of the person in the front seat (50-1, 50-2) is reflected by the 0m ~ 1m part of the signal, and the position of the person in the rear seat (50-3, 50-4, 50-5) The change of signal according to is reflected by the 1m ~ 2m part. Therefore, as illustrated in FIG. 7, the entire section of the pre-processed signal of each class is divided into a first section 210 between 0m and 1m and a second section 220 between 1m and 2m to obtain recommended parameters for each section. can be extracted. For example, by extracting the seven features from each of the first and second sections 210 and 220 , 14 features can be extracted from both sections.

i 번째 구간의 매개 변수는 다음과 같이 나타낼 수 있다.The parameters of the i-th section can be expressed as follows.

......(7)

여기서

및

는 각각 평균, 분산, 분산 계수, 첨도, 비대칭도, 신호의 최대값 및 신호에서의 최대값 인수를 각각 나타낸다. 전체 신호가 두 구간(210, 220)으로 분할되므로, 각 스캔으로부터 총 7 x 2 = 14 개의 매개 변수가 추출될 수 있다. 따라서 특징 벡터는 다음과 같이 나타낼 수 있다.here

and

denotes the mean, variance, coefficient of variance, kurtosis, skewness, maximum value of signal and maximum value factor in signal, respectively. Since the entire signal is divided into two sections 210 and 220 , a total of 7 x 2 = 14 parameters can be extracted from each scan. Therefore, the feature vector can be expressed as follows.

......(8)

여기서, N_f는 특징(features)의 수를 나타내고, 본 테스트에서는 예컨대 14이다. 예컨대 32 클래스들이 14개의 특징을 사용하여 분류할 필요가 있기 때문에, 차원은 상대적으로 크다. 따라서 의미 있는 기능만 사용하도록 특징들의 수를 줄일 수도 있다.Here, N _f represents the number of features, and in this test, it is 14, for example. The dimension is relatively large, for example, because 32 classes need to be classified using 14 features. Therefore, it is possible to reduce the number of features so that only meaningful functions are used.

특징 벡터들이 확보되면, 그 확보된 특징 벡터들을 전부 분류 알고리즘에 따라 학습하기 전에 각 특징의 중요성을 조사하여 적합한 특징들을 선별하는 작업을 수행할 수 있다(S320 단계). 중복 특징 또는 비슷한 특징들은 분류 정확도에 영향을 주지 않고 복잡성만 증가시킬 뿐이기 때문에 이러한 특징들은 걸러내어 학습할 데이터의 차원을 줄이는 것이 유리할 수 있다. L개의 샘플로 된 학습 데이터 세트는 다음과 같이 나타낼 수 있다.When the feature vectors are secured, before learning all of the secured feature vectors according to the classification algorithm, the importance of each feature is investigated to select suitable features (step S320 ). Since redundant or similar features do not affect classification accuracy and only increase complexity, it may be advantageous to filter out these features to reduce the dimensionality of the data to be trained. A training data set of L samples can be expressed as

......(9)

여기서 f_l은 l 번째 샘플의 N_f 차원의 특징 벡터이다.

은 l 번째 샘플의 클래스 레이블이다. where f _l is the N _f -dimensional feature vector of the l-th sample.

is the class label of the lth sample.

적합한 특징 선별 방법들 중에서, 특징들의 차원을 줄이고 실행 속도를 높이기 위해 이웃 성분 분석 (neighborhood component analysis: NCA) 알고리즘이 사용될 수 있다. NCA 알고리즘은 분류 문제를 해결하여 특징 가중치(feature weights)를 찾는다. 특징 벡터는 N_f-차원 공간에서 점으로 생각할 수 있고, NCA 알고리즘은 서로 가까운 특징 벡터들은 같은 클래스에 속할 가능성이 높은 것으로 추정한다. 따라서 NCA 알고리즘은 모든 특징 벡터들 간의 거리를 계산한다. 근접 척도는 주로 K-최근접 알고리즘(K-nearest neighborhood algorithm)에 사용되는 마하라노비스 거리(Mahalanobis distance)에 의해 결정될 수 있다. 2 개의 특징 벡터 f_l와 f_r 사이의 마하라노비스 거리는 다음과 같이 나타낼 수 있다.Among suitable feature selection methods, a neighborhood component analysis (NCA) algorithm may be used to reduce the dimension of features and increase the execution speed. The NCA algorithm finds feature weights by solving the classification problem. A feature vector can be thought of as a point in an N _f -dimensional space, and the NCA algorithm estimates that feature vectors that are close to each other are highly likely to belong to the same class. Therefore, the NCA algorithm calculates the distance between all feature vectors. The proximity scale can be determined by Mahalanobis distance, which is mainly used in the K-nearest neighborhood algorithm. The Mahalanobis distance between two feature vectors f _l and f _r can be expressed as

......(10)

여기서 w_q는 q 번째 특징의 가중치이다. f_l의 케이스 레이블을 예측하기 위해, NCA 알고리즘은 기준점(reference point) f_r을 선택하고 f_l을 f_r의 레이블로 지정할 수 있다. 두 지점이 서로 가까운 경우 f_r를 기준점으로 선택할 f_l의 확률이 높아진다. 따라서 아래의 커널 함수

가 짧은 거리에서 높은 확률을 갖도록 채용될 수 있다. 그러면 케이스 레이블 f_l이 f_r을 그 기준점으로 선택할 확률은 다음과 같이 나타낼 수 있다.where w _q is the weight of the q-th feature. To predict the case label of f _l , the NCA algorithm can choose a reference point f _r and designate f _l as the label of f _r . When two points are close to each other, the probability of f _l choosing f _r as a reference point increases. So the kernel function below

can be employed to have a high probability at a short distance. Then, the probability that the case label f _l chooses f _r as its reference point can be expressed as

......(11)

여기서 분모는 정규화 인자로서 기능하여, 모든 r에 대한 P_l,r의 합계는 1이 되고, P_l,r은 확률로 간주될 수 있다. 또한 NCA 알고리즘은 예측 과정에서 자신을 제외하는 리브-원-아웃 알고리즘(leave-one-out algorithm)이기 때문에 f_l이 기준점으로 f_l를 선택하는 확률은 제로이다. 기준점 f_r이 f_l와 같은 클래스 레이블을 가지는 경우, f_l 의 클래스 레이블은 정확하게 추정된다. 따라서 f_l이 정확하게 분류될 확률은 다음과 같이 나타낼 수 있다.Here, the denominator functions as a regularization factor, so that the sum of P _l,r for all r becomes 1, and P _l,r can be regarded as a probability. Also, since the NCA algorithm is a leave-one-out algorithm that excludes itself from the prediction process, the probability that f _l selects f _l as a reference point is zero. If the reference point f _r has the same class label as f _l , the class label of f _l is accurately estimated. Therefore, the probability that f _l is correctly classified can be expressed as follows.

......(12)

정확한 분류의 평균 리브-원-아웃 확률은 모든 샘플에 대하여 P_l(l = 1, 2, ..., L)의 평균이다. 그 결과, 과적합을 막기 위한 정규화 항을 가지는 목적 함수는 다음과 같이 나타낼 수 있다.The average leave-one-out probability of the correct classification is the average of P _l (l = 1, 2, ..., L) for all samples. As a result, the objective function having a regularization term to prevent overfitting can be expressed as follows.

......(13)

여기서, λ는 양의 값을 갖는 정규화 매개 변수이다. 목적 함수를 최대화하는 인수 ω는 올바른 분류의 평균 리브-원-아웃 확률을 극대화하고 각 특징의 중요성을 나타낸다. 따라서 이러한 가중치 벡터에 의거하여 적합한 특징을 선택할 수 있다.where λ is a normalization parameter with a positive value. The factor ω maximizing the objective function maximizes the average leave-one-out probability of the correct classification and represents the importance of each feature. Therefore, an appropriate feature can be selected based on such a weight vector.

적합한 특징들의 선택이 완료되면, 그 선택된 특징들을 학습용 입력데이터로 사용하여 기계 학습하는 것을 통해 분류 모델 즉, 분류자(classifier)를 생성할 수 있다(S330 단계). 데이터 분류를 위해 일반적으로 의사결정 트리(decision tree), 서포트 벡터 머신 (support vector machine: SVM) 등과 같은 기계 학습 알고리즘이 일반적으로 사용된다. 또한 단일 분류자를 사용하는 대신 여러 의사결정 트리 등의 여러 분류자를 사용하여 더 좋은 일반화 성능을 얻을 수 있다. When selection of suitable features is completed, a classification model, that is, a classifier, may be generated through machine learning using the selected features as input data for learning (step S330 ). Machine learning algorithms such as decision trees and support vector machines (SVMs) are generally used for data classification. Also, better generalization performance can be achieved by using multiple classifiers, such as multiple decision trees, instead of using a single classifier.

또한 단일 의사결정 트리를 사용하여 알고리즘의 성능은 불안정하다. 사람들의 다양한 배치를 분류하기 위한 기본 분류자로 의사결정 트리를 사용한 앙상블 학습을 사용할 수 있다. 앙상블 학습법은 여러 약한 분류자를 결합하여 하나의 강한 분류자로 만들 수 있다. 약한 분류자는 참 분류자와 약하게 상관되어 있고, 강한 분류자는 참 분류자에 강하게 상관되어 있다. 앙상블 학습은 신뢰성과 정확성을 향상시킴으로써 단일 모델을 사용하는 것보다 더 좋은 분류 결과를 얻을 수 있다.Also, using a single decision tree, the performance of the algorithm is unstable. Ensemble learning using decision trees can be used as a basic classifier for classifying different batches of people. The ensemble learning method can combine several weak classifiers into one strong classifier. Weak classifiers are weakly correlated with true classifiers, and strong classifiers are strongly correlated with true classifiers. Ensemble learning can achieve better classification results than using a single model by improving reliability and accuracy.

앙상블 학습에서 가장 일반적으로 사용되는 알고리즘은 부스팅(boosting) 알고리즘 또는 배깅 알고리즘이다. 부스팅 알고리즘은 약한 분류자를 강력한 분류자로 순차적으로 변환시킬 수 있다. 대조적으로, 부트스트랩 집약(bootstrap aggregating)이라고도 불리는 배깅 알고리즘은 여러 분류자를 독립적으로 학습한다. 전체 데이터를 대체하는 식으로 샘플링하여 여러 학습 세트를 생성하고, 각 분류자는 병렬로 학습될 수 있다. 그런 다음 각 분류자에서의 예측 결과를 모아서, 평균하거나 또는 투표하여 최종 출력이 결정된다. 배깅 알고리즘을 사용하면 데이터의 분산이 감소하기 때문에 부스팅 알고리즘보다 과적합 문제에 대해 더 강할 수 있다. The most commonly used algorithm in ensemble learning is a boosting algorithm or a bagging algorithm. A boosting algorithm can sequentially transform a weak classifier into a strong classifier. In contrast, bagging algorithms, also called bootstrap aggregating, train multiple classifiers independently. Multiple training sets are created by sampling the entire data substitutively, and each classifier can be trained in parallel. Then, the prediction results from each classifier are aggregated, averaged or voted to determine the final output. The bagging algorithm can be more robust against overfitting problems than the boosting algorithm because the variance of the data is reduced.

분류 모델을 생성하기 위한 실제 테스트에서, IR-UWB 레이더 장치(110)의 12,000 개 이상의 원시 수신신호를 전처리를 하여 32 가지 테스트 시나리오에서 총 120,000 이상의 전처리된 수신신호를 얻었다. 의도하지 않은 바이어스들이 막기 위해 그 처리된 수신신호의 약 30%를 무작위로 선택하였다. 그 결과, 34,749 개의 전처리된 신호가 선택되었고, 각 전처리된 신호에서 14 개의 특징들을 추출하였다. 그 추출된 특징들을 분류 모델 생성을 위한 학습용 입력데이터로 사용하였다. 그 입력 데이터 세트는 34,749개의 14 차원 특징 벡터들로 구성되었다. In the actual test for generating the classification model, more than 12,000 raw received signals of the IR-UWB radar device 110 were pre-processed to obtain a total of more than 120,000 pre-processed received signals in 32 test scenarios. About 30% of the processed received signal was randomly selected to prevent unintended biases. As a result, 34,749 preprocessed signals were selected, and 14 features were extracted from each preprocessed signal. The extracted features were used as input data for learning to generate a classification model. The input data set consisted of 34,749 14-dimensional feature vectors.

예시적인 실시예에서, 학습용 입력 데이터의 분류를 위해 의사결정 트리 알고리즘을 기본적인 분류자로 사용할 수 있다. 의사결정 트리 알고리즘은 빠르고 간단하기 때문이다. 또한, 의사결정 트리들의 앙상블 학습을 위해 배깅 알고리즘을 사용할 수 있다. 도 8은 본 발명의 예시적인 실시예에 따라 특징들을 분류하기 위한 의사결정 트리를 갖는 배깅 알고리즘의 블록도이다. In an exemplary embodiment, a decision tree algorithm may be used as a basic classifier for classification of input data for training. This is because the decision tree algorithm is fast and simple. Also, a bagging algorithm can be used for ensemble learning of decision trees. 8 is a block diagram of a bagging algorithm with a decision tree for classifying features according to an exemplary embodiment of the present invention.

도 8을 참조하면, 입력 데이터 세트(230)는 여러 개의 학습 데이터 세트(230-1, 230-2, ..., 230-N)로 분할될 수 있고, 각 학습 데이터 세트(230-1, 230-2, ..., 230-N)는 자신의 의사결정 트리(240-1, 240-2, ..., 240-N)를 학습할 수 있다. 각 의사결정 트리(240-1, 240-2, ..., 240-N)로부터의 예측 결과(270)는 그 개별 예측 결과들(250-1, 250-2, ..., 250-N)을 평균화(260)함으로써 결합될 수 있다. 이를 통해 1에서 32까지의 출력 레이블을 얻을 수 있다. Referring to FIG. 8 , the input data set 230 may be divided into several training data sets 230-1, 230-2, ..., 230-N, and each training data set 230-1, 230-2, ..., 230-N) can learn its own decision tree (240-1, 240-2, ..., 240-N). The prediction result 270 from each decision tree 240-1, 240-2, ..., 240-N is the respective prediction result 250-1, 250-2, ..., 250-N. ) can be combined by averaging 260 . This will give you output labels from 1 to 32.

또한 이와 같이 개별 의사결정 트리를 학습하는 경우, 다중겹 교차검증을 통해 학습된 분류 모델의 성능을 검증할 수 있다. 데이터를 분류함에 있어서 5배 교차 검증(five-fold cross-validation)을 사용하여 데이터의 과적합 문제를 방지할 수 있다. 학습 데이터 세트(230)는 동일한 크기의 5 개의 부분 집합으로 무작위로 분할될 수 있다. 그런 다음, 5 개의 부분집합 중 4 개를 사용하여 분류자를 교육하고, 나머지 부분 집합을 사용하여 학습된 분류자의 성능을 검증할 수 있다. 이 프로세스는 각 부분 집합이 검증에 사용될 때까지 5 회 반복될 수 있다. 이와 같은 다중겹 교차검증에 의해 계산된 분류 정확도가 평균화될 수 있다. In addition, when learning individual decision trees in this way, the performance of the learned classification model can be verified through multi-fold cross-validation. In classifying the data, the problem of overfitting the data can be prevented by using five-fold cross-validation. The training data set 230 may be randomly divided into 5 subsets of the same size. Then, we can train the classifier using 4 of the 5 subsets and verify the performance of the trained classifier using the remaining subsets. This process can be repeated 5 times until each subset is used for validation. Classification accuracy calculated by such multi-fold cross-validation may be averaged.

앞서 NCA 알고리즘을 이용한 특징 선택에서 언급하였듯이, 특징 벡터의 14개의 매개 변수 중에서 분류에 중요한 매개 변수는 NCA 알고리즘에 의해 식별될 수 있다. 각 매개 변수의 가중치가 표 2에 정리되어 있다. 중요도가 높은 순으로 기술된 매개 변수는

과

이다. 여기서 가중치가 1보다 큰 매개 변수만 고려할 수 있다. 즉, 분류를 위해 가장 중요한 매개 변수는 최대값 인수이며, 그 다음으로는 분산, 분산 계수 및 최대값의 순이다.As mentioned earlier in the feature selection using the NCA algorithm, the parameters important for classification among the 14 parameters of the feature vector can be identified by the NCA algorithm. The weights of each parameter are summarized in Table 2. The parameters listed in order of importance are:

class

am. Here, only parameters with weight greater than 1 can be considered. That is, the most important parameter for classification is the maximum value factor, followed by variance, variance coefficient, and maximum value.

한편, 2 개의 중요한 요소가 분류의 성능에 큰 영향을 미친다. 하나는 분류자의 수(즉, 의사결정 트리의 수)이고 다른 하나는 특징의 수이다. 계산 비용은 주로 분류자의 수와 기본 분류자의 복잡성에 따라 달라질 수 있다. 예시적인 실시예에 따른 방법을 실시간 응용 프로그램에서 사용하려면 적절한 수의 분류자와 특징을 선택하여 계산 비용을 절감해야 한다. 먼저 분류자의 수를 10에서 100으로 늘리고, 분류 정확도에 미치는 영향을 조사하였다. On the other hand, two important factors greatly affect the performance of classification. One is the number of classifiers (ie, the number of decision trees) and the other is the number of features. The computational cost can depend mainly on the number of classifiers and the complexity of the underlying classifier. In order to use the method according to the exemplary embodiment in a real-time application, it is necessary to select an appropriate number of classifiers and features to reduce the computational cost. First, the number of classifiers was increased from 10 to 100, and the effect on classification accuracy was investigated.

도 9는 분류자의 개수 및 특징의 개수와 분류의 정확도 간의 상관관계를 나타낸다. 도 9에서 알 수 있듯이, 분류자의 수가 많을수록 분류 결과가 더 정확하다. 그러나 분류자가 50 개를 넘어가면, 입력으로 사용되는 특징의 개수에 관계없이 눈에 띄는 성능 향상이 없다. 따라서 분류자의 개수는 50으로 설정된다.9 shows the correlation between the number of classifiers and the number of features and the accuracy of classification. As can be seen from FIG. 9 , the more the number of classifiers is, the more accurate the classification result is. However, beyond 50 classifiers, there is no noticeable performance improvement regardless of the number of features used as inputs. Therefore, the number of classifiers is set to 50.

다음으로, 분류에 사용하는 특징의 적절한 가지 수를 결정하기 위해, 분류자의 수를 50으로 유지하면서 특징의 가지 수를 변경하여 분류 정확도를 확인할 수 있다. 우선, 4 개의 가장 중요한 특징을 분류 입력으로 사용하였다. 그런 다음, 특징의 가지 수가 5, 6, 7 및 14일 때의 성능도 평가하였다. 도 9는 특징의 가지 수가 4, 5, 6, 7, 14일 때, 분류 정확도가 각각 81.22 %, 87.40 %, 91.31 %, 91.9 % 및 93.16 %임을 보여준다. 예상대로, 모델의 학습에 더 많은 특징들이 사용되면 분류의 정확도가 향상되는 경향이 있음을 확인할 수 있었다. 그러나 분류 정확도가 특징의 가지 수에 따라 증가하지만, 각각의 경우의 증가량은 감소한다. 즉, 특징의 가지 수가 4에서 5로 증가할 때, 5에서 6으로 증가할 때, 6에서 7로 증가할 때, 분류 정확도는 각각 6.16 %p, 3.97 %p, 0.52 %p 만큼 각각 증가했다. 따라서 14 가지의 특징을 사용하면 분류 정확도가 1.26 %p만큼만 개선되므로, 특징의 가지 수를 7로 설정할 수 있다. 분류자의 수가 50이고 특징의 가지 수가 7인 경우, 분류 정확도는 91.9 %였다.Next, in order to determine an appropriate number of branches of a feature used for classification, classification accuracy may be checked by changing the number of branches of a feature while maintaining the number of classifiers at 50. First, the four most important features were used as classification inputs. Then, the performance when the number of branches of the feature was 5, 6, 7, and 14 was also evaluated. 9 shows that when the number of branches of a feature is 4, 5, 6, 7, 14, the classification accuracy is 81.22%, 87.40%, 91.31%, 91.9%, and 93.16%, respectively. As expected, it was confirmed that the accuracy of classification tends to improve when more features are used for model training. However, although the classification accuracy increases with the number of branches of the feature, the amount of increase in each case decreases. That is, when the number of feature branches increased from 4 to 5, from 5 to 6, and from 6 to 7, the classification accuracy increased by 6.16 %p, 3.97 %p, and 0.52 %p, respectively. Therefore, if 14 features are used, classification accuracy is improved only by 1.26 %p, so the number of features can be set to 7. When the number of classifiers was 50 and the number of feature branches was 7, the classification accuracy was 91.9%.

또한 본 발명의 예시적인 실시예에 따른 의사결정 트리를 이용한 배깅 알고리즘을 의사결정 트리, 의사결정 트리를 이용한 부스팅, SVM 등의 다른 분류 알고리즘과 비교했다. 비교 시, 모든 분류 알고리즘에서 특징의 가지 수는 7로 설정하여 5 배의 유효성 검사를 수행하였다. 다양한 기계 학습 알고리즘의 분류 정확도가 표 3에 정리되어 있다. In addition, the bagging algorithm using a decision tree according to an exemplary embodiment of the present invention was compared with other classification algorithms such as a decision tree, boosting using a decision tree, and SVM. For comparison, in all classification algorithms, the number of feature branches was set to 7, and a 5-fold validation was performed. The classification accuracy of various machine learning algorithms is summarized in Table 3.

단일 의사결정 트리의 구조는 너무 단순하여 복잡한 클래스를 분류할 수 없기 때문에 단일 의사결정 트리의 결과는 분류 정확도가 낮아졌다. 또한 의사 결정 트리를 이용한 부스팅 알고리즘은 과적합 문제가 발생하기 쉽기 때문에 성능이 저하되었다. SVM은 80.4%라는 비교적 높은 분류 정확도를 나타냈지만, 본 발명의 예시적 실시예에 따른 의사결정 트리를 이용한 배깅(bagging) 알고리즘이 91.9% 수준의 최고의 분류 정확도를 제공하였을 뿐만 아니라 비교적 빠른 계산 시간을 제공함을 확인할 수 있었다. 그러므로 의사결정 트리를 이용한 배깅(bagging) 알고리즘이 가장 효과적인 방법으로 볼 수 있다.Because the structure of a single decision tree is too simple to classify a complex class, the result of a single decision tree has lower classification accuracy. In addition, the boosting algorithm using the decision tree is prone to overfitting, so its performance is degraded. Although the SVM showed a relatively high classification accuracy of 80.4%, the bagging algorithm using a decision tree according to an exemplary embodiment of the present invention not only provided the highest classification accuracy of 91.9% but also a relatively fast computation time. provided was confirmed. Therefore, a bagging algorithm using a decision tree can be seen as the most effective method.

위와 같이 훈련용 데이터를 학습하여 분류 모델이 생성되면, 사람 탐지 및 위치 추정부(140)는 그 분류 모델을 이용하여 차량 내 사람의 위치를 추정할 수 있다(S340 단계). 즉, 전 처리부(120)는 수신부(114)를 통해 실시간으로 수신되는 원시 수신신호를 앞에서 설명한 소정의 전처리(샘플링, 직류성분 제거, 노이즈 제거, 상호상관 처리 등)하여 사람 탐지 및 위치 추정부(140)에 제공할 수 있다. 사람 탐지 및 위치 추정부(140)는 그 전처리된 신호의 통계적 특성을 나타내는 특징을 추출하고, 그 추출된 특징을 분류 모델에 입력하여 32개 클래스 중 해당되는 클래스로 분류할 수 있다. 그 분류 결과에 따라, 차량 내 좌석에 사람이 존재하는지 여부, 존재한다면 어느 좌석에 존재하는지 등을 추정할 수 있다. 만약 운전자가 차에서 내렸으나 차 안에 여전히 아이가 남아있는 경우, 이를 감지하여 운전자에게 경고 메시지를 줌으로써 아이가 혼자 차 안에 갇히는 사고를 방지할 수 있다. When a classification model is generated by learning the training data as described above, the person detection and location estimation unit 140 may estimate the location of a person in the vehicle using the classification model (step S340 ). That is, the pre-processing unit 120 performs the predetermined pre-processing (sampling, DC component removal, noise removal, cross-correlation processing, etc.) on the raw received signal received in real time through the receiving unit 114 to detect and estimate a person ( 140) can be provided. The person detection and location estimation unit 140 may extract a feature representing the statistical characteristic of the preprocessed signal, input the extracted feature to a classification model, and classify the extracted feature into a corresponding class among 32 classes. Based on the classification result, it is possible to estimate whether or not a person is present in a seat in the vehicle, and if so, in which seat they are present. If the driver gets out of the car and there is still a child in the car, it can detect this and give a warning message to the driver to prevent the child from being trapped in the car alone.

상기 실시예는 IR-UWB 레이더 신호의 통계적 특성을 이용하여 차량 내의 사람을 모니터링 한다. IR-UWB 레이더 장치(110)는 백미러 앞에 설치되어, 각 좌석의 사람의 존재에 따라 32 가지 시나리오에서 실험이 이루어졌다. 원시 수신신호를 전처리하고, 그 전처리된 신호들의 통계적 특성(statistical characteristics)을 나타내는 특징(feature)을 추출하고, 그 추출된 특징을 기준으로 사람들의 다양한 배치를 분류했다. 또한 중요하지 않은 특징들을 제거하여 계산 비용을 절감하기 위해 NCA 알고리즘을 통해 각 특징의 중요성을 조사하였다. 분류는 의사결정 트리를 사용한 배깅 알고리즘을 사용하여 단일 분류자를 사용하는 것보다 뛰어난 일반화 성능을 실현했다. 특징과 분류자의 수가 증가함에 따라 분류 정확도가 어떻게 변화 하는지를 조사하였고, 복잡성을 비교적 낮게 유지하면서 높은 분류 정확도를 나타내는 특징과 분류자의 적절한 수를 결정했다. 분류 결과는 예시적인 실시예에 따른 방법이 차량의 위치와 인원수를 효과적으로 추정할 수 있음을 보여 주었다. The above embodiment monitors a person in the vehicle by using the statistical characteristics of the IR-UWB radar signal. The IR-UWB radar device 110 was installed in front of the rearview mirror, and experiments were conducted in 32 scenarios according to the presence of a person in each seat. The raw received signal was pre-processed, features representing statistical characteristics of the pre-processed signals were extracted, and various groups of people were classified based on the extracted features. In addition, in order to reduce computational cost by removing unimportant features, the importance of each feature was investigated through the NCA algorithm. Classification achieved better generalization performance than using a single classifier using a bagging algorithm using a decision tree. We investigated how the classification accuracy changes as the number of features and classifiers increases, and an appropriate number of features and classifiers that exhibit high classification accuracy while keeping complexity relatively low was determined. The classification result showed that the method according to the exemplary embodiment can effectively estimate the location and the number of people of the vehicle.

한편, 도 10은 본 발명의 다른 실시예에 따른 딥러닝 알고리즘을 이용하여 입력 데이터를 분류하는 방법을 나타낸 흐름도이다.Meanwhile, FIG. 10 is a flowchart illustrating a method of classifying input data using a deep learning algorithm according to another embodiment of the present invention.

이 실시예는 전처리 신호들의 통계적 특성을 나타내는 '특징'을 별도로 추출하지 않고, 전처리 신호 그 자체를 딥러닝 방식으로 학습하여 데이터를 분류하는 방식을 취한다. 레이더 신호의 송출과 반사된 레이더 신호의 수신 과정(S100 단계), 그리고 그 원시 수신신호의 전처리(샘플링, 직류성분 제거, 필터링 처리, 송신신호와 상호상관 처리) 과정(S200 단계)은 앞의 실시예와 같다. This embodiment takes a method of classifying data by learning the preprocessing signal itself in a deep learning method without separately extracting 'features' indicating the statistical characteristics of the preprocessing signals. The transmission of the radar signal and the reception of the reflected radar signal (step S100), and the pre-processing (sampling, DC component removal, filtering, cross-correlation processing, and cross-correlation processing with the transmission signal) of the original received signal (step S200) are the previous steps. same as yes

앞의 실시예와 다른 점은 분류 모델을 생성하는 점에서 차이가 있다. 앞의 실시예는 다수의 전처리된 신호의 특징을 추출하고 선별하여 기계학습을 수행하는 방식인데 비해, 이 실시예는 다수의 전처리된 신호를 딥러닝 알고리즘에 따라 직접 학습하여 분류 모델을 생성하는 점이다(S500 단계). 나아가, 차량 내 사람 감지 및 위치 추정을 실시간으로 수행함에 있어서도, 실시간 전처리 신호 그 자체를 분류 모델에 입력하여 해당 클래스로 분류하는 것을 통해 차량 내 사람을 감지하고 그 위치를 추정한다(S600 단계). 사람탐지 및 위치 추정부(140)는 이러한 처리를 수행할 수 있도록 구성될 수 있다.The difference from the previous embodiment is that a classification model is generated. While the previous embodiment is a method of performing machine learning by extracting and selecting features of a plurality of preprocessed signals, this embodiment generates a classification model by directly learning a plurality of preprocessed signals according to a deep learning algorithm. is (step S500). Furthermore, even when detecting and estimating the location of a person in the vehicle in real time, the real-time pre-processing signal itself is input into the classification model and classified into the corresponding class to detect and estimate the location of the person in the vehicle (step S600). The person detection and location estimation unit 140 may be configured to perform such processing.

구체적으로, IR-UWB 레이더 장치(110)의 사람탐지 및 위치 추정부(140)는 심층 신경망(Deep Neural Network: DNN)을 기반으로 하는 딥러닝 알고리즘으로 구현될 수 있다. DNN 기반 딥러닝 알고리즘을 이용한 분류 좀 더 구체적으로 설명한다.Specifically, the person detection and location estimation unit 140 of the IR-UWB radar device 110 may be implemented as a deep learning algorithm based on a deep neural network (DNN). Classification using a DNN-based deep learning algorithm will be described in more detail.

식 (4)로 표현되는 대역 통과 필터(124)의 출력 신호에 매칭 필터를 적용하여 원하는 타겟 신호를 추출할 수 있다. 이것은 레이더 장치(110)의 수신 신호를 송출 신호의 공액 시간 역전 버전을 써서 컨볼빙하는 것에 의해 행해지며, 다음과 같이 표현할 수 있다.A desired target signal may be extracted by applying a matching filter to the output signal of the bandpass filter 124 expressed by Equation (4). This is done by convolving the received signal of the radar device 110 using a conjugated time-reversed version of the transmitted signal, and can be expressed as follows.

......(14)

여기서, *는 컨볼루션 연산을 나타낸다. 정합 필터를 적용한 효과는 그림 4에 나와 있습니다. 그림에서 알 수 있듯이 대상 신호의 진폭이 훨씬 높아져 노이즈와 쉽게 구분할 수 있습니다. 따라서 차량 내 사람 위치 파악을 위해 처리된 레이더 신호 p[n]을 사용할 수 있다.Here, * denotes a convolution operation. The effect of applying the matched filter is shown in Figure 4. As you can see from the figure, the target signal has a much higher amplitude and can be easily distinguished from noise. Therefore, the processed radar signal p[n] can be used to locate a person in the vehicle.

예시적인 실시예에서, 딥러닝을 위해 DNN의 가장 단순한 클래스 중 하나인 다층 퍼셉트론(MLP)을 사용할 수 있다. MLP 네트워크는 잘 알려져 있듯이 입력층, 다중 은닉층, 출력층을 포함한 구조를 갖는다. 또한 각 레이어는 여러 노드로 구성되며 노드는 가장자리를 통해 서로 연결된다. MLP 네트워크는 순방향 전파와 역방향 전파의 반복된 프로세스를 통해 학습이 이루어질 수 있다. 순방향 전파 단계에서 각 계층은 가중치와 활성화 함수를 사용하여 다음 계층에 값을 전달한다. x(k)와 y(k)는 계층 k의 입력 및 출력 벡터를 나타내고, W(k)는 계층 k와 k+1 사이의 가중치 행렬을 나타낸다. 그러면 계층 k+1의 입력 벡터는 다음과 같이 표현 될 수 있다.In an exemplary embodiment, one of the simplest classes of DNNs, multi-layer perceptrons (MLPs), can be used for deep learning. As is well known, an MLP network has a structure including an input layer, multiple hidden layers, and an output layer. Each layer also consists of several nodes, which are connected to each other through edges. The MLP network can learn through an iterative process of forward propagation and backward propagation. In the forward propagation phase, each layer uses weights and activation functions to pass values to the next layer. x(k) and y(k) represent the input and output vectors of layer k, and W(k) represents the weight matrix between layers k and k+1. Then, the input vector of layer k+1 can be expressed as follows.

...... (15)

여기서 f는 MLP 네트워크에 비선형성을 제공하는 활성화 함수를 나타낸다. 역 전파 단계에서는 각 가중치에 대한 손실 함수의 기울기를 계산하여 가중치 값을 업데이트한다. 역 전파 전 가중치 값이 W_before 인 경우 역 전파 후 업데이트 된 값은 아래 식으로 구해질 수 있다.where f denotes the activation function that provides nonlinearity to the MLP network. In the back propagation step, the weight values are updated by calculating the slope of the loss function for each weight. If the weight value before backpropagation is W _before , the updated value after backpropagation can be obtained by the following equation.

......(16)

여기서 α는 학습 프로세스의 속도를 결정하는 학습률이고, J는 추정 값과 참 값 사이의 오류를 나타내는 손실 함수이다. 예시적인 실시예에서는 분류 문제에서 일반적으로 사용되는 손실 함수로 교차 엔트로피를 사용할 수 있다. 에포크로 표시되는 이 순방향 및 역방향 전파 프로세스는 가중치 매개 변수를 적절하게 훈련하기 위해 여러 번 반복될 수 있다.where α is the learning rate that determines the speed of the learning process, and J is the loss function representing the error between the estimated value and the true value. In an exemplary embodiment, cross entropy may be used as a loss function commonly used in classification problems. This forward and backward propagation process, denoted as epochs, can be repeated many times to properly train the weight parameters.

식 (13)의 처리된 레이더 신호 p[n]을 MLP 네트워크에 대한 입력으로 사용할 수 있다. 따라서 p[n]의 각 시간 샘플링된 포인트는 MLP 네트워크에 대한 입력이 되고, 입력 계층의 노드 수는 512 개일 수 있다. 또한 출력 계층의 노드 수는 32 개의 시나리오를 분류하기 위해 32 개로 설정될 수 있다. 하나의 핫 인코딩 방법을 사용할 수 있다. 즉, E1 클래스는 [1000 ··· 0]에 해당하고 E2 클래스는 [0100 ··· 0]에 해당할 수 있다. MLP 네트워크의 성능을 결정하는 중요한 매개 변수는 은닉층의 수, 각 은닉층의 노드 수, 활성화 함수 유형이다. 따라서 적합한 DNN 구조를 찾기 위해 위에서 언급한 매개 변수를 변경하여 분류 정확도를 비교할 수 있다.The processed radar signal p[n] in equation (13) can be used as input to the MLP network. Therefore, each time-sampled point of p[n] becomes an input to the MLP network, and the number of nodes in the input layer may be 512. Also, the number of nodes in the output layer may be set to 32 to classify 32 scenarios. One hot encoding method can be used. That is, the E1 class may correspond to [1000 ... 0] and the E2 class may correspond to [0100 ... 0]. The important parameters that determine the performance of an MLP network are the number of hidden layers, the number of nodes in each hidden layer, and the type of activation function. Therefore, classification accuracy can be compared by changing the above-mentioned parameters to find a suitable DNN structure.

실제 실험에서, 데이터가 편향되지 않도록 전체 입력 데이터의 15%를 무작위로 선택했다. 그 결과 총 220,000 개 이상의 신호 중 35,981 개의 처리된 신호가 발생했다. 그런 다음, 그 선택된 데이터의 70%, 15%, 15%를 학습 세트, 검증 세트, 테스트 세트로 각각 사용했다. 앞의 실시예에서 언급했듯이 입력 데이터는 512 x 1 벡터이고 출력 데이터는 32 x 1 벡터입니다. Epoch 횟수는 1000으로, 학습률은 0.01로 설정했다. 또한 시그모이드 함수와 쌍곡 탄젠트 함수라는 두 가지 유형의 활성화 함수를 고려했다. 시그모이드 함수는 1 = (1 + exp(-x))로 표현할 수 있고, 쌍곡 탄젠트 함수는 (exp(x) - exp(-x)) = (exp(x) + exp(-x))로 표현할 수 있다.In the actual experiment, 15% of the total input data were randomly selected so that the data were not biased. As a result, 35,981 processed signals out of a total of more than 220,000 signals were generated. Then, 70%, 15%, and 15% of the selected data were used as training set, validation set, and test set, respectively. As mentioned in the previous embodiment, the input data is a 512 x 1 vector and the output data is a 32 x 1 vector. The number of epochs was set to 1000, and the learning rate was set to 0.01. We also considered two types of activation functions: sigmoid functions and hyperbolic tangent functions. The sigmoid function can be expressed as 1 = (1 + exp(-x)), and the hyperbolic tangent function is (exp(x) - exp(-x)) = (exp(x) + exp(-x)) can be expressed as

도 11은 은닉층의 노드 수에 따른 분류 정확도를 보여준다. 은닉층의 노드 수는 10 개 간격으로 10 개에서 100 개로 증가한 반면, 은닉층의 수는 1 개로 고정되었다. 도면에서 알 수 있듯이 일반적으로 분류 정확도는 노드 개수가 증가할수록 증가한다. 그러나 노드 수가 50 개를 초과하면 활성화 기능의 유형에 관계없이 분류 정확도가 눈에 띄게 증가하지 않는다. 따라서 은닉층의 노드 수를 50 개로 설정할 수 있다. 또한 일반적으로 쌍곡 탄젠트 함수를 사용할 때 분류 정확도가 높기 때문에 이러한 유형의 활성화 함수를 DNN에 사용할 수 있다. 11 shows classification accuracy according to the number of nodes in the hidden layer. The number of nodes in the hidden layer increased from 10 to 100 at intervals of 10, while the number of hidden layers was fixed to 1. As can be seen from the figure, classification accuracy generally increases as the number of nodes increases. However, when the number of nodes exceeds 50, the classification accuracy does not increase appreciably regardless of the type of activation function. Therefore, the number of nodes in the hidden layer can be set to 50. In addition, this type of activation function can be used for DNNs because of the high classification accuracy when using the hyperbolic tangent function in general.

도 12는 은닉층의 수에 따른 분류 정확도를 보여준다. 은닉층의 노드 수를 50 개로 유지하고 쌍곡 탄젠트 활성화 함수를 사용하여 은닉층 수에 따라 분류 정확도가 어떻게 변하는 지 살펴보았다. 도 12와 같이 은닉층 수가 3 개일 때 분류 정확도가 가장 높았기 때문에 은닉층 수를 3 개로 설정하여 99.5%의 높은 분류 정확도를 얻었다. 앞의 실시예에 따른 의사결정 트리를 사용한 배깅 알고리즘을 사용하는 방법의 분류 정확도(91.3%)보다 더 높다. 12 shows classification accuracy according to the number of hidden layers. We kept the number of nodes in the hidden layer at 50 and examined how the classification accuracy changes according to the number of hidden layers by using the hyperbolic tangent activation function. As shown in FIG. 12, when the number of hidden layers was 3, the classification accuracy was the highest, so the number of hidden layers was set to 3 to obtain a high classification accuracy of 99.5%. It is higher than the classification accuracy (91.3%) of the method using the bagging algorithm using the decision tree according to the previous embodiment.

하나의 매개 변수를 수정하면 부정확한 결과가 발생할 수 있으므로 두 매개 변수, 즉 은닉층의 수 및 노드 수를 변경하여 네트워크의 성능을 조사했다. 은닉층의 개수는 1 개에서 10 개로 변경하였고, 각 은닉층의 노드 개수는 10 개 간격으로 10 개에서 100 개로 변경하여 네트워크 구조의 10/10 조합이 되었다. 결과는 도 13에 도시되어 있다. Since modifying one parameter can lead to inaccurate results, we investigated the performance of the network by changing two parameters, namely the number of hidden layers and the number of nodes. The number of hidden layers was changed from 1 to 10, and the number of nodes in each hidden layer was changed from 10 to 100 at intervals of 10, resulting in a 10/10 combination of the network structure. The results are shown in FIG. 13 .

분류 정확도를 도출 할 때 Monte Carlo 기법을 사용하여 여러 반복에 대한 결과를 평균화했다. 즉, 의사 난수 생성기를 사용하여 35,981 개의 처리된 신호를 무작위로 추출하고, 이 프로세스를 10 회 반복하여 10 개의 데이터 세트를 생성했다. 그런 다음 각 데이터 세트를 사용하여 네트워크를 병렬로 훈련시키고 결과를 평균화하여 분류 정확도를 도출했다. 도 13에서, 은닉층 수에 관계없이 분류 정확도가 유사한 경향을 보임을 확인할 수 있다. 더 많은 노드와 레이어를 사용할수록 계산 복잡성이 증가하기 때문에 은닉층의 수를 3으로 설정하고, 노드 수를 50으로 설정하는 것이 네트워크에 적합하다고 결론지을 수 있다. When deriving the classification accuracy, Monte Carlo technique was used to average the results over multiple iterations. That is, a pseudo-random number generator was used to randomize 35,981 processed signals, and this process was repeated 10 times to generate 10 data sets. We then trained the network in parallel using each data set and averaged the results to derive classification accuracy. In FIG. 13 , it can be seen that the classification accuracy shows a similar trend regardless of the number of hidden layers. Since the computational complexity increases as more nodes and layers are used, it can be concluded that setting the number of hidden layers to 3 and the number of nodes to 50 is suitable for the network.

이 실시예에 따른 DNN 기반 딥러닝을 이용한 방법은 분류 정확도 측면에서 다른 알고리즘보다 더 우수한 성능을 보여줄 뿐만 아니라, 데이터에서 특징을 추출할 필요가 없기 때문에 다른 기계 학습 알고리즘의 장점도 가지고 있다. 또한 입력 크기를 줄임으로써 분류 정확도가 어떻게 변하는 지 조사해본 바, 입력 크기 만 512 x 1에서 256 x 1로 변경하였을 때, 분류 정확도가 99.5%에서 99.2%로 감소했다. 샘플링 주기를 2배 느리게 하더라도 분류 정확도에 큰 변화는 없는 것을 알 수 있다.The method using DNN-based deep learning according to this embodiment not only shows better performance than other algorithms in terms of classification accuracy, but also has advantages over other machine learning algorithms because there is no need to extract features from data. Also, as we investigated how the classification accuracy changes by reducing the input size, when only the input size was changed from 512 x 1 to 256 x 1, the classification accuracy decreased from 99.5% to 99.2%. It can be seen that even if the sampling period is doubled, there is no significant change in classification accuracy.

이 실시예에 따라 차량 내부의 위치와 인원수를 추정하기 위한 딥러닝 기반 방법을 실제 적용하기 위해, 수신된 IR-UWB 레이더 신호를 32 가지 측정 시나리오에서 피사체, 피사체 수, 피사체 위치, 차량 유형을 변경하면서 축적할 수 있다. 그런 다음 수신된 레이더 신호로 DNN을 사용하여 사람 탐지 및 위치 추정부(140)의 일부를 구성하는 분류기를 훈련할 수 있다. 전처리된 레이더 신호가 분류기에 대한 입력으로 사용된다. 특징 추출 기계 학습 기술과 달리 DNN 기반 딥러닝 방법은 특징 추출 단계가 필요하지 않다.In order to actually apply the deep learning-based method for estimating the position and number of people inside a vehicle according to this embodiment, the received IR-UWB radar signal is changed in 32 measurement scenarios by subject, number of subjects, subject position, and vehicle type. You can accumulate while Then, a classifier constituting a part of the human detection and location estimation unit 140 may be trained using the DNN as the received radar signal. The preprocessed radar signal is used as input to the classifier. Unlike feature extraction machine learning techniques, DNN-based deep learning methods do not require a feature extraction step.

분류에 적합한 DNN 구조를 설계하기 위해 은닉층 수, 각 레이어의 노드 수, 활성화 함수를 변경하여 네트워크 성능을 평가한 바에 의하면, DNN 기반 딥러닝 방법이 더 정확한 분류한 결과를 가져다줌을 확인할 수 있었다. In order to design a DNN structure suitable for classification, the network performance was evaluated by changing the number of hidden layers, the number of nodes in each layer, and the activation function, and it was confirmed that the DNN-based deep learning method brings more accurate classification results.

본 발명은 차량 내 상황을 모니터링 하는 시스템에 활용할 수 있으며, 나아가 차량 내 사람 수 및 위치에 관해 알아낸 정보를 지능형 운전자 보조 시스템(ADAS)에 활용할 수 있다.The present invention can be applied to a system for monitoring the situation in a vehicle, and furthermore, information found about the number and location of people in the vehicle can be utilized for an intelligent driver assistance system (ADAS).

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the embodiments have been described with reference to the limited drawings as described above, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. You will understand that you can. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 차량 내 사람 감지 및 위치 추정 시스템
110: IR-UWB 레이더 장치 112: 송신부
114: 수신부 115: 레이더 신호처리부
120: 전 처리부 130: 상호 상관 처리부
140: 사람 탐지 및 위치 추정부100: in-vehicle person detection and localization system
110: IR-UWB radar device 112: transmitter
114: receiving unit 115: radar signal processing unit
120: pre-processing unit 130: cross-correlation processing unit
140: person detection and localization unit

Claims

Two ^P scenarios ( However, P is the number of seats in the vehicle) performing a plurality of times for each to secure a plurality of test reception signals;
in an arithmetic processing device, sampling the plurality of test received signals and performing pre-processing including a DC component removal process and a filtering process for suppressing a noise component included in the sampled test received signals;
extracting characteristic data of parameters representing statistical characteristics of a plurality of preprocessed test signals for each of the 2 ^P scenarios;
generating a classification model capable of classifying arbitrary input data into any one of classes corresponding to the 2 ^P scenarios by performing machine learning using the feature data of the parameters as learning data;
receiving, by the radar device, a radar signal reflected from each seat target in the vehicle in real time by transmitting a radar signal;
performing, in the arithmetic processing device, preprocessing including sampling the received radar signal and filtering processing for suppressing a DC component and a noise component included in the sampled radar signal; and
In the arithmetic processing device, by extracting a feature representing the statistical characteristics of the preprocessed radar signal and inputting it to the classification model, classifying it into a corresponding class among the classes corresponding to the ^2P scenarios, thereby positioning a person in the vehicle comprising the step of estimating in real time,
The generating of the classification model may include: dividing the entire feature data selected according to a bagging algorithm for ensemble learning of decision trees into a plurality of training data sets; A plurality of classifiers based on a decision tree algorithm learning each of the divided training data set in parallel; and determining a class classification result by collecting and averaging prediction results from each classifier or voting.

The method of claim 1, wherein the generating of the classification model comprises filtering out non-conforming feature data based on a predetermined selection criterion from among all the extracted feature data, selecting the remaining feature data and providing it as the training data. A method for detecting a person in a vehicle using a radar device.

The method of claim 2, wherein the selection of the feature data is performed based on a distance between the entire feature data calculated according to a neighbor component analysis algorithm.

2. The method of claim 1, wherein the parameters are mean, variance, coefficient of variance, kurtosis, skewness, maximum value of signal, and maximum value in signal. A method for detecting a person in a vehicle using a radar device, comprising a factor.

delete

The multi-fold cross-validation step of claim 1 , wherein generating the classification model comprises training a classifier using some sets of a plurality of divided training data sets and verifying the performance of the trained classifier using the remaining sets. In-vehicle person detection method using a radar device, characterized in that it further comprises.

The method of claim 1, wherein the number of branches and the number of classifiers used for classification are 7 and 50, respectively.

The IR of claim 1 , wherein the radar device is configured to transmit an Impulse Radio Ultra-Wideband (IR-UWB) radar signal towards and receive a radar signal reflected from the seat targets in the vehicle. - A method of detecting a person in a vehicle using a radar device, characterized in that it is a UWB radar device.

delete