KR20230100084A

KR20230100084A - Method and apparatus for sensing occupant in a vehicle

Info

Publication number: KR20230100084A
Application number: KR1020210189664A
Authority: KR
Inventors: 김웅기; 김희헌; 공정기
Original assignee: 현대오토에버 주식회사
Priority date: 2021-12-28
Filing date: 2021-12-28
Publication date: 2023-07-05
Also published as: KR102635461B1

Abstract

본 발명에 따른 차량 내 탑승자 감지 방법은, 차량 내에 설치되는 복수 개의 UWB 노드들 중 제1 UWB 노드가 UWB 펄스를 송신하는 단계; 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제1 채널 임펄스 응답을 측정하는 단계; 및 상기 제1 채널 임펄스 응답으로부터 생성되는 입력 데이터를 입력으로 하고 차량 내 탑승자 유무를 출력으로 하는 학습된 신경망 모델을 이용하여 차량 내 탑승자 유무를 추정하는 단계를 포함한다.A method for detecting an occupant in a vehicle according to the present invention includes the steps of transmitting a UWB pulse by a first UWB node among a plurality of UWB nodes installed in a vehicle; measuring, by at least one other node among the plurality of UWB nodes, a first channel impulse response to the UWB pulse; and estimating whether or not there are occupants in the vehicle using a learned neural network model that takes input data generated from the first channel impulse response as an input and whether or not there are occupants in the vehicle as an output.

Description

Method and apparatus for sensing occupants in a vehicle {Method and apparatus for sensing occupant in a vehicle}

본 발명은 차량 내 탑승자 감지 방법 및 장치에 관한 것으로, 보다 상세하게는 차량 내에 설치되는 UWB 노드를 이용하여 차량 내 탑승자 유무를 감지하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an occupant in a vehicle, and more particularly, to a method and apparatus for detecting the presence or absence of an occupant in a vehicle using a UWB node installed in the vehicle.

영유아들이 차량에 방치되었다가 사망하거나 의식불명이 되는 등의 사고가 빈번하게 발생된다. 실외 온도가 21도일 경우, 차량 내의 온도는 10분만에 49도까지 상승될 수 있으며, 여름에는 차량 실내 온도가 1시간 만에 약 80도까지도 상승될 수 있다. 영유아들은 성인에 비해 이러한 극한 상황에 노출되는 경우 치명적인 사고가 발생될 수 있다. 이러한 사고를 막기 위해 Euro NCAP은 2023년부터 유아 재실 감지(CPD, Child Presence Detection) 기능 여부를 안전 평가 기준에 반영할 예정이다.BACKGROUND ART Accidents in which infants and young children die or become unconscious after being left in a vehicle frequently occur. When the outdoor temperature is 21 degrees, the temperature inside the vehicle can rise to 49 degrees in 10 minutes, and in summer, the temperature inside the vehicle can rise to about 80 degrees in 1 hour. Compared to adults, infants and young children may have fatal accidents when exposed to these extreme situations. In order to prevent such accidents, Euro NCAP plans to reflect the child presence detection (CPD) function in the safety evaluation criteria from 2023.

따라서, 좌석에 감압 센서를 설치하거나 차량 내부에 열 측정 센서를 설치하여 탑승자 여부를 감지하는 기술이 개발되고 있다. 그러나 감압 센서와 열 측정 센서는 정확도가 낮고 특히 여름철에 차량 실내 온도가 상승하는 경우 제대로 작동되지 않을 수 있는 문제점이 존재한다. 또한, 감압 센서와 열 측정 센서를 이용한 탑승자 감지는 센서 등 별도의 인프라 구축이 요구된다. Therefore, a technology for detecting whether an occupant is present by installing a decompression sensor on a seat or installing a thermal sensor inside a vehicle is being developed. However, the decompression sensor and the heat measurement sensor have low accuracy and may not operate properly when the vehicle interior temperature rises, especially in summer. In addition, occupant detection using a decompression sensor and a thermal sensor requires the construction of a separate infrastructure such as a sensor.

한편, 최근의 디지털 키 3.0 기술은 모바일 장치 측위 등을 위해 UWB(Ultra Wideband) 기술을 이용하여 보안성 높은 측위 기술을 구현하고 있다.On the other hand, the recent digital key 3.0 technology implements a positioning technology with high security by using an ultra wideband (UWB) technology for mobile device positioning.

본 발명이 해결하고자 하는 과제는, 차량 내에 설치되는 UWB 노드를 이용하여 차량 내 탑승자 유무를 효과적으로 감지할 수 있는 차량 내 탑승자 감지 방법 및 장치를 제공하는 데 있다.An object to be solved by the present invention is to provide a method and apparatus for detecting occupants in a vehicle that can effectively detect the presence or absence of occupants in a vehicle using a UWB node installed in the vehicle.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 차량 내 탑승자 감지 방법은, (a) 차량 내에 설치되는 복수 개의 UWB 노드들 중 제1 UWB 노드가 UWB 펄스를 송신하는 단계; (b1) 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제1 채널 임펄스 응답을 측정하는 단계; 및 (c) 상기 제1 채널 임펄스 응답으로부터 생성되는 입력 데이터를 입력으로 하고 차량 내 탑승자 유무를 출력으로 하는 학습된 신경망 모델을 이용하여 차량 내 탑승자 유무를 추정하는 단계를 포함한다.A method for detecting an occupant in a vehicle according to the present invention to solve the above technical problem includes the steps of (a) transmitting a UWB pulse by a first UWB node among a plurality of UWB nodes installed in a vehicle; (b1) measuring a first channel impulse response to the UWB pulse by at least one other node among the plurality of UWB nodes; and (c) estimating whether or not there are occupants in the vehicle using a learned neural network model that takes input data generated from the first channel impulse response as an input and whether or not there are occupants in the vehicle as an output.

상기 차량 내 탑승자 감지 방법은, (b2) 상기 적어도 하나의 다른 노드가 상기 제1 채널 임펄스 응답으로부터 일련의 복수 개의 샘플들을 획득하는 단계를 더 포함하고, 상기 입력 데이터는 상기 복수 개의 샘플들로부터 생성될 수 있다.The in-vehicle occupant detection method further comprises (b2) the at least one other node obtaining a series of plural samples from the first channel impulse response, wherein the input data is generated from the plural samples. It can be.

상기 (a) 내지 (b2) 단계는 시간에 따라 반복 수행되고, 상기 차량 내 탑승자 감지 방법은, 상기 반복 수행에 대한 상기 복수 개의 샘플들 각각의 평균 및 표준편차를 계산하는 단계를 더 포함하고, 상기 입력 데이터는 상기 복수 개의 샘플들 각각의 평균 및 표준편차를 포함할 수 있다.The steps (a) to (b2) are repeatedly performed according to time, and the method for detecting an occupant in the vehicle further comprises calculating an average and a standard deviation of each of the plurality of samples for the repeated performance, The input data may include an average and standard deviation of each of the plurality of samples.

상기 차량 내 탑승자 감지 방법은, 상기 복수 개의 UWB 노드들 중 제2 UWB 노드가 UWB 펄스를 송신하는 단계; 및 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제2 채널 임펄스 응답을 측정하는 단계를 더 포함하고, 상기 입력 데이터는 상기 제1 채널 임펄스 응답 및 상기 제2 채널 임펄스 응답으로부터 생성될 수 있다.The method for detecting an occupant in a vehicle may include transmitting a UWB pulse by a second UWB node among the plurality of UWB nodes; and measuring, by at least one other node among the plurality of UWB nodes, a second channel impulse response to the UWB pulse, wherein the input data includes the first channel impulse response and the second channel impulse response. can be generated from

탑승자 감지 모드에서 상기 (a) 내지 (c) 단계를 통해 차량 내 탑승자 유무가 추정되고, 상기 차량 내 탑승자 감지 방법은, 학습 모드에서 수행되는 단계들로서, 상기 (a) 및 (b1) 단계를 수행하는 단계; 상기 차량에 장착된 센서로부터 탑승자 유무를 확인하는 단계; 및 상기 (a) 및 (b1) 단계를 통해 측정된 상기 제1 채널 임펄스 응답으로부터 생성되는 입력 데이터 및 상기 차량에 장착된 센서로부터 확인된 탑승자 유무를 이용하여 상기 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.In the occupant detection mode, the presence or absence of an occupant in the vehicle is estimated through steps (a) to (c), and the method for detecting an occupant in the vehicle performs steps (a) and (b1) as steps performed in a learning mode. doing; Checking whether or not there is an occupant from a sensor mounted on the vehicle; and learning the neural network model using input data generated from the first channel impulse response measured through the steps (a) and (b1) and whether or not there is an occupant determined from a sensor installed in the vehicle. can do.

상기 센서는 착좌 센서, 안전벨트 센서, 초음파 센서, 또는 도어 래치 센서를 포함할 수 있다.The sensor may include a seating sensor, a seat belt sensor, an ultrasonic sensor, or a door latch sensor.

상기 복수 개의 UWB 노드들은 디지털 키 기능을 위해 설치된 UWB 노드들일 수 있다.The plurality of UWB nodes may be UWB nodes installed for a digital key function.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 차량 내 탑승자 감지 장치는, 차량 내에 설치되는 복수 개의 UWB 노드들로서, 상기 복수 개의 UWB 노드들 중 제1 UWB 노드가 UWB 펄스를 송신하면 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제1 채널 임펄스 응답을 측정하는, 복수 개의 UWB 노드들; 및 상기 제1 채널 임펄스 응답으로부터 생성되는 입력 데이터를 입력으로 하고 차량 내 탑승자 유무를 출력으로 하는 학습된 신경망 모델을 이용하여 차량 내 탑승자 유무를 추정하는 탑승자 유무 추정부를 포함한다.An in-vehicle occupant detection device according to the present invention for solving the above technical problem is a plurality of UWB nodes installed in a vehicle, and when a first UWB node among the plurality of UWB nodes transmits a UWB pulse, the plurality of UWB nodes a plurality of UWB nodes, at least one other node of which measures a first channel impulse response to the UWB pulse; and a occupant presence estimator for estimating whether or not there is a occupant in the vehicle using a learned neural network model that takes input data generated from the first channel impulse response as an input and whether or not there is a occupant in the vehicle as an output.

상기 적어도 하나의 다른 노드는 상기 제1 채널 임펄스 응답으로부터 일련의 복수 개의 샘플들을 획득하고, 상기 입력 데이터는 상기 복수 개의 샘플들로부터 생성될 수 있다.The at least one other node may obtain a series of a plurality of samples from the first channel impulse response, and the input data may be generated from the plurality of samples.

상기 복수 개의 UWB 노드들 중 제1 UWB 노드가 UWB 펄스를 송신하면 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제1 채널 임펄스 응답을 측정하는 동작은 시간에 따라 반복 수행되고, 상기 차량 내 탑승자 감지 장치는, 상기 반복 수행에 대한 상기 복수 개의 샘플들 각각의 평균 및 표준편차를 계산하는 연산부를 더 포함하고, 상기 입력 데이터는 상기 복수 개의 샘플들 각각의 평균 및 표준편차를 포함할 수 있다.When a first UWB node among the plurality of UWB nodes transmits a UWB pulse, at least one other node among the plurality of UWB nodes measures a first channel impulse response to the UWB pulse repeatedly over time. and the in-vehicle occupant detection device further comprises a calculation unit for calculating an average and a standard deviation of each of the plurality of samples for the iterative performance, wherein the input data is the average and standard deviation of each of the plurality of samples can include

상기 복수 개의 UWB 노드들 중 제2 UWB 노드가 UWB 펄스를 송신하면 상기 복수 개의 UWB 노드들 중 적어도 하나의 다른 노드가 상기 UWB 펄스에 대한 제2 채널 임펄스 응답을 측정하고, 상기 입력 데이터는 상기 제1 채널 임펄스 응답 및 상기 제2 채널 임펄스 응답으로부터 생성될 수 있다.When a second UWB node among the plurality of UWB nodes transmits a UWB pulse, at least one other node among the plurality of UWB nodes measures a second channel impulse response to the UWB pulse, and the input data is It may be generated from the first channel impulse response and the second channel impulse response.

탑승자 감지 모드에서 상기 탑승자 유무 추정부는 상기 학습된 신경망 모델을 이용하여 차량 내 탑승자 유무를 추정하고, 상기 차량 내 탑승자 감지 장치는, 학습 모드에서 상기 제1 UWB 노드 및 상기 적어도 하나의 다른 노드에 의해 상기 제1 채널 임펄스 응답이 측정될 때, 상기 차량에 장착된 센서로부터 탑승자 유무를 확인하고, 상기 측정된 상기 제1 채널 임펄스 응답으로부터 생성되는 입력 데이터 및 상기 차량에 장착된 센서로부터 확인된 탑승자 유무를 이용하여 상기 신경망 모델을 학습시키는 모델 학습부를 더 포함할 수 있다.In the occupant detection mode, the occupant presence estimation unit estimates whether or not there is a occupant in the vehicle using the learned neural network model, and the in-vehicle occupant detection device is operated by the first UWB node and the at least one other node in the learning mode. When the first channel impulse response is measured, the presence or absence of an occupant is determined from a sensor mounted on the vehicle, and the presence or absence of an occupant is determined from input data generated from the measured first channel impulse response and a sensor mounted on the vehicle. A model learning unit for learning the neural network model using may be further included.

상기된 본 발명에 의하면, 차량 내에 설치되는 UWB 노드를 이용하여 차량 내 탑승자 유무를 효과적으로 감지할 수 있다.According to the present invention described above, the presence or absence of an occupant in a vehicle can be effectively detected using the UWB node installed in the vehicle.

본 발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 차량 내 탑승자 감지 장치의 블록도를 나타낸다.
도 2a 및 2b는 차량 내에 UWB 노드들이 설치되는 예들을 보여준다.
도 3a 내지 3c는 신경망 모델의 학습 또는 학습된 신경망 모델을 통한 탑승자 유무 추정을 위한 입력 데이터를 생성하는 과정을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 신경망 모델의 구조의 일 예를 나타낸다.
도 5는 탑승자 유무 추정부가 신경망 모델을 통해 차량 내 탑승자 유무를 추정하는 과정을 나타낸 흐름도이다.
도 6은 본 발명의 추가적인 실시예에 따른 차량 내 탑승자 감지 장치의 블록도를 나타낸다.1 shows a block diagram of an in-vehicle occupant detection device according to an embodiment of the present invention.
2a and 2b show examples in which UWB nodes are installed in a vehicle.
3A to 3C are flowcharts illustrating a process of generating input data for learning a neural network model or estimating whether or not there is an occupant through the learned neural network model.
4 shows an example of the structure of a neural network model according to an embodiment of the present invention.
5 is a flowchart illustrating a process in which an occupant presence estimation unit estimates whether or not there is a occupant in a vehicle through a neural network model.
6 shows a block diagram of an in-vehicle occupant detection device according to a further embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. Substantially the same elements in the following description and accompanying drawings are indicated by the same reference numerals, respectively, and redundant description will be omitted. In addition, in describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 차량 내 탑승자 감지 장치의 블록도를 나타낸다.1 shows a block diagram of an in-vehicle occupant detection device according to an embodiment of the present invention.

본 실시예에 따른 차량 내 탑승자 감지 장치는, N(N은 2 이상)개의 UWB 노드들(10_1, 10_2, ..., 10_N), 노드 제어부(20), 연산부(30), 탑승자 유무 추정부(40), 신경망 모델(50)을 포함할 수 있다.The apparatus for detecting occupants in a vehicle according to the present embodiment includes N (N is 2 or more) UWB nodes (10_1, 10_2, ..., 10_N), a node control unit 20, a calculation unit 30, and an occupant presence estimation unit. (40), and a neural network model (50).

UWB 노드들(10_1, 10_2, ..., 10_N)은 차량 내에 설치되어 UWB 송신기 또는 UWB 수신기로 동작하는 노드들로, 디지털 키 기능을 위해 설치된 것일 수 있다. 다만 실시예에 따라, UWB 노드들(10_1, 10_2, ..., 10_N)은 디지털 키 기능과 무관하게 차량 내 탑승자 감지를 위해 설치될 수도 있다.The UWB nodes 10_1, 10_2, ..., 10_N are nodes installed in a vehicle and operating as a UWB transmitter or a UWB receiver, and may be installed for a digital key function. However, according to the embodiment, the UWB nodes 10_1, 10_2, ..., 10_N may be installed to detect occupants in the vehicle regardless of the function of the digital key.

노드 제어부(20)는 UWB 노드들(10_1, 10_2, ..., 10_N) 각각을 송신 노드 또는 수신 노드로 설정하고 각 UWB 노드를 제어한다.The node controller 20 sets each of the UWB nodes 10_1, 10_2, ..., 10_N as a transmitting node or a receiving node and controls each UWB node.

연산부(30)는 UWB 노드들(10_1, 10_2, ..., 10_N)로부터 제공되는 데이터를 신경망 모델(50)의 입력 데이터로 활용할 수 있도록 연산 처리한다.The calculation unit 30 calculates and processes data provided from the UWB nodes 10_1, 10_2, ..., 10_N to be utilized as input data of the neural network model 50.

신경망 모델(50)은 연산부(30)를 통해 연산된 입력 데이터를 입력으로 하고 차량 내 탑승자 유무를 출력으로 하는 신경망 모델이다. 신경망 모델(50)은 예컨대 합성곱 신경망(Convolutional Neural Network, CNN)으로 구성될 수 있다. 실시예에 따라, 신경망 모델(50)의 출력은 차량의 각 좌석 별 탑승자 유무일 수도 있다.The neural network model 50 is a neural network model that takes input data calculated through the calculation unit 30 as an input and whether or not there are occupants in the vehicle as an output. The neural network model 50 may be composed of, for example, a Convolutional Neural Network (CNN). Depending on the embodiment, the output of the neural network model 50 may be the presence or absence of passengers in each seat of the vehicle.

탑승자 유무 추정부(40)는 연산부(30)를 통해 연산된 입력 데이터를 신경망 모델(50)에 입력하여 차량 내 탑승자 유무를 추정한다. 신경망 모델(50)의 출력에 따라, 탑승자 유무 추정부(40)는 차량의 각 좌석 별 탑승자 유무를 추정할 수도 있다. 차량이 잠금 상태이거나 운전자가 하차한 이후에 탑승자 유무 추정부(40)를 통해 차량 내에 탑승자가 존재하는 것으로 감지된 경우, 디지털 키를 통해 또는 차량의 경보음을 통해 경고가 통지될 수 있다.The occupant presence/absence estimation unit 40 inputs the input data calculated through the calculation unit 30 to the neural network model 50 to estimate whether or not there is a occupant in the vehicle. According to the output of the neural network model 50, the occupant presence estimation unit 40 may estimate whether there are occupants for each seat of the vehicle. When it is detected that there is a passenger in the vehicle through the occupant presence estimation unit 40 after the vehicle is locked or the driver gets off, a warning may be notified through a digital key or an alarm sound of the vehicle.

도 2a 및 2b는 차량 내에 UWB 노드들이 설치되는 예들을 보여준다. 도 2a에 도시된 바와 같이, 2개의 UWB 노드들(10_1, 10_2)이 각각 차량 내 앞쪽과 뒤쪽에 설치될 수 있다. 도 2b에 도시된 바와 같이, 3개의 UWB 노드들(10_1, 10_2, 10_3)이 각각 차량 내 앞쪽, 뒤쪽 좌측, 및 뒤쪽 우측에 설치될 수도 있다.2a and 2b show examples in which UWB nodes are installed in a vehicle. As shown in FIG. 2A , two UWB nodes 10_1 and 10_2 may be installed at the front and rear of the vehicle, respectively. As shown in FIG. 2B, three UWB nodes 10_1, 10_2, and 10_3 may be installed in the front, rear left, and rear right sides of the vehicle, respectively.

본 발명의 실시예에서, UWB 노드들 중 하나는 송신 노드로 동작하고, 나머지 UWB 노드들은 수신 노드로 동작한다. 송신 노드가 UWB 펄스를 발생하면, 수신 노드는 UWB 펄스를 수신하게 된다. 수신 노드는 검출되는 신호로부터 채널 임펄스 응답(Channel Impulse Response, CIR)을 측정할 수 있다. 차량 내에서의 반사에 의한 다중 경로로 인해, 채널 임펄스 응답은 최초 수신 시에 최대 피크(LOS(Line of Sight) 응답)가 나타나고 피크가 점차 감소(NLOS(Non Line of Sight) 응답)하는 형태가 될 수 있다. 차량 내의 탑승자 유무에 따라 차량 내에서의 반사 양상이 다를 것이므로, 수신 노드에서 측정되는 채널 임펄스 응답의 형태는 차량 내 탑승자 유무를 반영하는 잠재적 특징이 될 수 있다. 또한 차량 내에 탑승자가 존재하는 경우 탑승자의 움직임으로 인해 UWB 펄스의 반사 양상은 시간적으로 변화할 것이므로, 수신 노드에서 측정되는 채널 임펄스 응답의 변화 역시 차량 내 탑승자 유무를 반영하는 잠재적 특징이 될 수 있다. 본 발명의 실시예는 이러한 점에 착안하여, 수신 노드에서 측정되는 채널 임펄스 응답의 시간에 따른 평균 및 표준편차를 입력으로 하고 차량 내 탑승자 유무를 출력으로 하는 신경망 모델을 구축하고, 학습된 신경망 모델을 통해 차량 내 탑승자 유무를 추정한다.In an embodiment of the present invention, one of the UWB nodes acts as a transmitting node and the other UWB nodes act as receiving nodes. When the transmitting node generates the UWB pulse, the receiving node receives the UWB pulse. The receiving node may measure a channel impulse response (CIR) from the detected signal. Due to the multipath caused by reflection in the vehicle, the channel impulse response has a form in which the maximum peak (line of sight (LOS) response) appears at the time of initial reception and the peak gradually decreases (non line of sight (NLOS) response). It can be. Since a reflection pattern in the vehicle will be different depending on whether or not there are occupants in the vehicle, the shape of the channel impulse response measured at the receiving node can be a potential feature reflecting whether or not there are occupants in the vehicle. In addition, if there is a passenger in the vehicle, the reflected aspect of the UWB pulse will change with time due to the movement of the passenger, so the change in the channel impulse response measured at the receiving node can also be a potential feature that reflects whether or not there is a passenger in the vehicle. The embodiment of the present invention focuses on this point, builds a neural network model that takes the average and standard deviation over time of the channel impulse response measured at the receiving node as input and the presence or absence of passengers in the vehicle as output, and builds the learned neural network model. Through this, it is estimated whether there are occupants in the vehicle.

도 3a 내지 3c는 신경망 모델(50)의 학습 또는 학습된 신경망 모델(50)을 통한 탑승자 유무 추정을 위한 입력 데이터를 생성하는 과정을 나타낸 흐름도이다. 설명의 편의를 위해 도 2b와 같이 3개의 UWB 노드들(10_1, 10_2, 10_3)이 설치된 경우를 예로 들어 설명한다.3A to 3C are flowcharts illustrating a process of learning the neural network model 50 or generating input data for estimating whether or not there is an occupant through the learned neural network model 50. For convenience of description, a case in which three UWB nodes 10_1, 10_2, and 10_3 are installed as shown in FIG. 2B will be described as an example.

도 3a를 참조하면, 노드 제어부(20)는 제1 UWB 노드(10_1)를 송신 노드로, 제2, 3 UWB 노드들(10_2, 10_3)을 수신 노드로 설정한다(110단계). 그러면 제1 UWB 노드(10_1)는 UWB 펄스를 송신하고(120단계), 제2, 3 UWB 노드들(10_2, 10_3)은 각각 UWB 펄스를 수신한다(130단계). Referring to FIG. 3A , the node controller 20 sets the first UWB node 10_1 as a transmitting node and the second and third UWB nodes 10_2 and 10_3 as receiving nodes (step 110). Then, the first UWB node 10_1 transmits the UWB pulse (step 120), and the second and third UWB nodes 10_2 and 10_3 respectively receive the UWB pulse (step 130).

제2 UWB 노드(10_2)는 제1 UWB 노드(10_1)로부터 제2 UWB 노드(10_2)로의 제1-2 채널 임펄스 응답을 측정하고(140단계), 제3 UWB 노드(10_3)는 제1 UWB 노드(10_1)로부터 제3 UWB 노드(10_3)로의 제1-3 채널 임펄스 응답을 측정한다(145단계),The second UWB node 10_2 measures the first-second channel impulse response from the first UWB node 10_1 to the second UWB node 10_2 (step 140), and the third UWB node 10_3 measures the first UWB node 10_3. 1-3 channel impulse responses from the node 10_1 to the third UWB node 10_3 are measured (step 145);

제2 UWB 노드(10_2)는 제1-2 채널 임펄스 응답으로부터 일련의 M(M은 2 이상)개의 제1-2 샘플들을 획득하고(150단계), 제3 UWB 노드(10_3)는 제1-3 채널 임펄스 응답으로부터 일련의 M개의 제1-3 샘플들을 획득한다(155단계). 여기서 샘플들은 최초 수신(최대 피크) 시점으로부터 일정 간격으로 획득될 수 있다. 제2, 3 UWB 노드들(10_2, 10_3)에서 획득되는 샘플들을 연산부(30)로 전달된다.The second UWB node 10_2 obtains a series of M (M is 2 or more) first-second samples from the first-second channel impulse response (step 150), and the third UWB node 10_3 obtains a series of M (M is 2 or more) samples (step 150), and the third UWB node 10_3 A series of M samples 1-3 are obtained from the 3-channel impulse response (step 155). Here, samples may be acquired at regular intervals from the time of first reception (maximum peak). Samples obtained from the second and third UWB nodes 10_2 and 10_3 are transferred to the calculation unit 30 .

상기된 120단계 내지 155단계는 일정 시간 간격으로 K(K는 2 이상)회 반복된다. 따라서 K회 반복이 완료되지 않았으면(160단계) 상기된 120단계 내지 155단계가 다시 수행된다.Steps 120 to 155 described above are repeated K (K is 2 or more) times at regular time intervals. Therefore, if K iterations are not completed (step 160), steps 120 to 155 described above are performed again.

K회 반복이 완료되면(160단계), 연산부(30)는 K회 반복에 대한 제1-2 샘플들 각각의 평균 및 표준편차를 계산하고(170단계), K회 반복에 대한 제1-3 샘플들 각각의 평균 및 표준편차를 계산한다(175단계).When K repetitions are completed (step 160), the calculation unit 30 calculates the average and standard deviation of each of the first and second samples for K repetitions (step 170), and the first to third for K repetitions. Calculate the average and standard deviation of each of the samples (step 175).

도 3a의 과정이 완료되면 도 3b의 과정이 수행된다. 도 3b를 참조하면, 노드 제어부(20)는 제2 UWB 노드(10_2)를 송신 노드로, 제3, 1 UWB 노드들(10_3, 10_1)을 수신 노드로 설정한다(210단계). 그러면 제2 UWB 노드(10_2)는 UWB 펄스를 송신하고(220단계), 제3, 1 UWB 노드들(10_3, 10_1)은 각각 UWB 펄스를 수신한다(230단계). When the process of FIG. 3A is completed, the process of FIG. 3B is performed. Referring to FIG. 3B , the node controller 20 sets the second UWB node 10_2 as a transmitting node and the third and first UWB nodes 10_3 and 10_1 as receiving nodes (step 210). Then, the second UWB node 10_2 transmits the UWB pulse (step 220), and the third and first UWB nodes 10_3 and 10_1 respectively receive the UWB pulse (step 230).

제3 UWB 노드(10_3)는 제2 UWB 노드(10_2)로부터 제3 UWB 노드(10_3)로의 제2-3 채널 임펄스 응답을 측정하고(240단계), 제1 UWB 노드(10_1)는 제2 UWB 노드(10_2)로부터 제1 UWB 노드(10_1)로의 제2-1 채널 임펄스 응답을 측정한다(245단계),The third UWB node 10_3 measures the second-third channel impulse response from the second UWB node 10_2 to the third UWB node 10_3 (step 240), and the first UWB node 10_1 measures the second UWB node 10_1. A 2-1 channel impulse response from the node 10_2 to the first UWB node 10_1 is measured (step 245).

제3 UWB 노드(10_3)는 제2-3 채널 임펄스 응답으로부터 일련의 M개의 제2-3 샘플들을 획득하고(250단계), 제1 UWB 노드(10_1)는 제2-1 채널 임펄스 응답으로부터 일련의 M개의 제2-1 샘플들을 획득한다(255단계). 제3, 1 UWB 노드들(10_3, 10_1)에서 획득되는 샘플들을 연산부(30)로 전달된다.The third UWB node 10_3 obtains a series of M 2-3 samples from the 2-3 channel impulse response (step 250), and the 1st UWB node 10_1 obtains a series from the 2-1 channel impulse response. Obtain M 2-1 samples of (step 255). Samples obtained from the third and first UWB nodes 10_3 and 10_1 are transferred to the calculation unit 30 .

상기된 220단계 내지 255단계 역시 일정 시간 간격으로 K회 반복된다. 따라서 K회 반복이 완료되지 않았으면(260단계) 상기된 220단계 내지 255단계가 다시 수행된다.Steps 220 to 255 described above are also repeated K times at regular time intervals. Therefore, if K iterations are not completed (step 260), steps 220 to 255 described above are performed again.

K회 반복이 완료되면(260단계), 연산부(30)는 K회 반복에 대한 제2-3 샘플들 각각의 평균 및 표준편차를 계산하고(270단계), K회 반복에 대한 제2-1 샘플들 각각의 평균 및 표준편차를 계산한다(275단계),When the K repetitions are completed (step 260), the calculation unit 30 calculates the average and standard deviation of each of the samples 2-3 for the K repetitions (step 270), and the second-1 for the K repetitions. Calculate the average and standard deviation of each of the samples (step 275),

도 3b의 과정이 완료되면 도 3c의 과정이 수행된다. 도 3c를 참조하면, 노드 제어부(20)는 제3 UWB 노드(10_3)를 송신 노드로, 제1, 2 UWB 노드들(10_1, 10_2)을 수신 노드로 설정한다(310단계). 그러면 제3 UWB 노드(10_3)는 UWB 펄스를 송신하고(320단계), 제1, 2 UWB 노드들(10_1, 10_2)은 각각 UWB 펄스를 수신한다(330단계). When the process of FIG. 3B is completed, the process of FIG. 3C is performed. Referring to FIG. 3C , the node controller 20 sets the third UWB node 10_3 as a transmitting node and the first and second UWB nodes 10_1 and 10_2 as receiving nodes (step 310). Then, the third UWB node 10_3 transmits the UWB pulse (step 320), and the first and second UWB nodes 10_1 and 10_2 respectively receive the UWB pulse (step 330).

제1 UWB 노드(10_1)는 제3 UWB 노드(10_3)로부터 제1 UWB 노드(10_1)로의 제3-1 채널 임펄스 응답을 측정하고(340단계), 제2 UWB 노드(10_2)는 제3 UWB 노드(10_3)로부터 제2 UWB 노드(10_2)로의 제3-2 채널 임펄스 응답을 측정한다(345단계),The first UWB node 10_1 measures the 3-1 channel impulse response from the third UWB node 10_3 to the first UWB node 10_1 (step 340), and the second UWB node 10_2 measures the third UWB node 10_2. A 3-2 channel impulse response from the node 10_3 to the second UWB node 10_2 is measured (step 345).

제1 UWB 노드(10_1)는 제3-1 채널 임펄스 응답으로부터 일련의 M개의 제3-1 샘플들을 획득하고(350단계), 제2 UWB 노드(10_2)는 제3-2 채널 임펄스 응답으로부터 일련의 M개의 제3-2 샘플들을 획득한다(355단계). 제1, 2 UWB 노드들(10_1, 10_2)에서 획득되는 샘플들을 연산부(30)로 전달된다.The first UWB node 10_1 obtains a series of M 3-1 samples from the 3-1 channel impulse response (step 350), and the second UWB node 10_2 obtains a series of 3-2 samples from the 3-2 channel impulse response. Obtain M 3-2 samples of (step 355). Samples obtained from the first and second UWB nodes 10_1 and 10_2 are transferred to the calculation unit 30 .

상기된 320단계 내지 355단계 역시 일정 시간 간격으로 K회 반복된다. 따라서 K회 반복이 완료되지 않았으면(360단계) 상기된 220단계 내지 255단계가 다시 수행된다.Steps 320 to 355 described above are also repeated K times at regular time intervals. Therefore, if K iterations are not completed (step 360), steps 220 to 255 described above are performed again.

K회 반복이 완료되면(360단계), 연산부(30)는 K회 반복에 대한 제3-1 샘플들 각각의 평균 및 표준편차를 계산하고(370단계), K회 반복에 대한 제3-2 샘플들 각각의 평균 및 표준편차를 계산한다(375단계).When K repetitions are completed (step 360), the calculation unit 30 calculates the average and standard deviation of each of the 3-1 samples for K repetitions (step 370), and the 3-2 for K repetitions. Calculate the average and standard deviation of each of the samples (step 375).

도 4는 본 발명의 일 실시예에 따른 신경망 모델(50)의 구조의 일 예를 나타낸다. 신경망 모델(50)의 입력 데이터는 N개의 UWB 노드의 경우 N*(N-1)개의 채널 임펄스 응답들 각각으로부터 획득된 M개 샘플들 각각의 평균 및 표준편차로 구성된다. 따라서 입력 노드의 차원은 (2, M, N(N-1))이 된다. 앞서 예를 든 바와 같이 3개의 UWB 노드들이 설치되는 경우 입력 노드의 차원은 (2, M, 3*2=6)이 된다. 신경망 모델(50)의 출력 데이터는 차량 내 탑승자 유무를 나타낼 수 있다. 이 경우 출력 노드의 차원은 1이 된다. 실시예에 따라, 출력 데이터는 차량의 각 좌석 별 탑승자 유무일 수도 있다. 이 경우 출력 노드의 차원은 차량의 좌석 수가 된다.4 shows an example of the structure of a neural network model 50 according to an embodiment of the present invention. Input data of the neural network model 50 consists of the average and standard deviation of each of M samples obtained from each of N*(N-1) channel impulse responses in the case of N UWB nodes. Therefore, the dimension of the input node is (2, M, N(N-1)). As in the previous example, when three UWB nodes are installed, the dimension of the input node becomes (2, M, 3*2=6). Output data of the neural network model 50 may indicate whether or not there are occupants in the vehicle. In this case, the dimension of the output node is 1. Depending on the embodiment, the output data may be whether or not there are occupants in each seat of the vehicle. In this case, the dimension of the output node is the number of seats in the vehicle.

신경망 모델(50)은 예컨대 fully-connected layer로 구성된 flatten layer와, dropout layer로 구성된 dense layer를 포함할 수 있다. 다만 신경망 모델(50)은 임의의 다양한 구조로 구현될 수 있다.The neural network model 50 may include, for example, a flatten layer composed of fully-connected layers and a dense layer composed of dropout layers. However, the neural network model 50 may be implemented in various arbitrary structures.

도 5는 탑승자 유무 추정부(40)가 신경망 모델(50)을 통해 차량 내 탑승자 유무를 추정하는 과정을 나타낸 흐름도이다.5 is a flowchart illustrating a process in which the occupant presence estimation unit 40 estimates whether or not there is a occupant in the vehicle through the neural network model 50 .

탑승자 유무 추정부(40)는 도 3a 내지 3c를 통해 얻어진, 제1-2 샘플들 각각의 평균 및 표준편차, 제1-3 샘플들 각각의 평균 및 표준편차, 제2-3 샘플들 각각의 평균 및 표준편차, 제2-1 샘플들 각각의 평균 및 표준편차, 제3-1 샘플들 각각의 평균 및 표준편차, 제3-2 샘플들 각각의 평균 및 표준편차로 입력 데이터를 구성한다(410단계).The occupant presence/absence estimation unit 40 calculates the average and standard deviation of each of the 1-2 samples, the average and standard deviation of each of the 1-3 samples, and the average and standard deviation of each of the 2-3 samples obtained through FIGS. 3A to 3C. Input data is composed of the average and standard deviation, the average and standard deviation of each of the 2-1 samples, the average and standard deviation of each of the 3-1 samples, and the average and standard deviation of each of the 3-2 samples ( Step 410).

그리고 탑승자 유무 추정부(40)는 입력 데이터를 신경망 모델(50)에 입력하여 신경망 모델(50)의 출력으로부터 탑승자 유무를 추정한다(420단계).Then, the occupant presence estimation unit 40 inputs the input data to the neural network model 50 and estimates whether or not there is an occupant from the output of the neural network model 50 (step 420).

도 6은 본 발명의 추가적인 실시예에 따른 차량 내 탑승자 감지 장치의 블록도를 나타낸다.6 shows a block diagram of an in-vehicle occupant detection device according to a further embodiment of the present invention.

본 실시예에 따른 차량 내 탑승자 감지 장치는 도 1의 실시예와 비교하면 모드 선택부(60) 및 모델 학습부(70)를 더 포함한다.Compared to the embodiment of FIG. 1 , the device for detecting occupants in a vehicle according to the present embodiment further includes a mode selection unit 60 and a model learning unit 70 .

모드 선택부(60)는 '탑승자 감지 모드' 또는 '학습 모드'를 설정한다. 탑승자 감지 모드는 앞서 설명한 바와 같이 차량이 잠금 상태이거나 운전자가 하차한 이후에 설정될 수 있다. 탑승자 감지 모드에서는 앞서 설명한 바와 같이 탑승자 유무 추정부(40)가 UWB 노드들을 통해 얻어지는 입력 데이터를 학습된 신경망 모델(50)에 입력하여 신경망 모델(50)의 출력으로부터 탑승자 유무를 추정한다.The mode selector 60 sets 'Occupant Sensing Mode' or 'Learning Mode'. As described above, the occupant detection mode may be set after the vehicle is locked or the driver gets off. In the occupant detection mode, as described above, the occupant presence estimation unit 40 inputs the input data obtained through the UWB nodes to the learned neural network model 50 and estimates the occupant presence or absence from the output of the neural network model 50.

학습 모드는 사전에 학습된 신경망 모델(50)의 정확도를 향상시키기 위해 차량에 기 장착된 센서를 통해 얻어진 탑승자 유무 감지 결과를 이용하여 신경망 모델(50)을 업데이트하는 모드이다. 차량 제작 과정에서의 신경망 모델(50) 학습은 대상 차량에 대해 차폐 또는 제한된 실험 환경에서 수집한 입력 데이터 및 해당 레이블(재실/부재)로 구성된 학습 데이터를 이용하므로, 이렇게 학습된 신경망 모델(50)은 정확도가 떨어질 수 있고 실제 사용자의 특성이 반영되지 못한다. 따라서 학습 모드에서 사용자가 실제 차량을 사용하면서 수집되는 입력 데이터와 해당 레이블로 학습 데이터를 구성하여 신경망 모델(50)을 학습시킬 수 있다. 학습 모드는 차량이 운행 중인 경우 또는 사용자의 선택에 따라 설정될 수 있다.The learning mode is a mode in which the neural network model 50 is updated by using a result of detecting the occupant's presence obtained through a sensor pre-installed in the vehicle in order to improve the accuracy of the previously trained neural network model 50 . Since learning of the neural network model 50 in the vehicle manufacturing process uses input data collected in a shielded or limited experimental environment for the target vehicle and learning data consisting of corresponding labels (presence/absence), the learned neural network model 50 may be less accurate and do not reflect the characteristics of actual users. Accordingly, in the learning mode, the neural network model 50 may be trained by configuring learning data with input data collected while the user actually uses the vehicle and corresponding labels. The learning mode may be set when the vehicle is in operation or according to a user's selection.

학습 모드에서 역시 도 3a 내지 3c의 과정을 통해 입력 데이터가 생성된다. 한편 모델 학습부(70)는 차량에 기 장착된 센서로부터 탑승자 유무를 확인한다. 예컨대 차량에는 통상적으로 착좌 센서, 안전벨트 센서, 초음파 센서, 또는 도어 래치 센서 등 탑승자를 감지할 수 있는 센서가 있으므로 이러한 센서를 통해 탑승자 유무가 확인될 수 있다. 모델 학습부(70)는 도 3a 내지 3c의 과정을 통해 생성된 입력 데이터를 입력으로 하고, 해당 입력 데이터의 생성 시에 센서로부터 확인되는 탑승자 유무를 해당 입력 데이터의 레이블로 하여 신경망 모델(50)을 학습시켜 업데이트할 수 있다. 실시예에 따라, 모델 학습부(70)는 사용자 개입을 통한 모델 검증을 거친 다음 신경망 모델(50)을 업데이트할 수도 있다.Also in the learning mode, input data is generated through the process of FIGS. 3A to 3C. Meanwhile, the model learning unit 70 checks whether or not there is an occupant from a sensor already installed in the vehicle. For example, since a vehicle typically has a sensor capable of detecting an occupant, such as a seating sensor, a seat belt sensor, an ultrasonic sensor, or a door latch sensor, the presence or absence of an occupant can be confirmed through these sensors. The model learning unit 70 takes the input data generated through the processes of FIGS. 3A to 3C as an input, and uses the presence or absence of an occupant confirmed by the sensor when the input data is generated as a label of the input data to form a neural network model 50 can be trained and updated. Depending on the embodiment, the model learning unit 70 may update the neural network model 50 after model verification through user intervention.

본 발명의 실시예에 의하면, 추가적인 센서 등 별도의 인프라 구축 없이 차량 내에 설치된 UWB 노드를 이용하여 차량 내 탑승자 유무를 효과적으로 감지할 수 있다. 또한, UWB 노드의 채널 임펄스 응답으로부터 획득된 샘플들의 평균 및 표준편차를 입력 데이터로 활용하므로, 입력 데이터의 크기를 절감하면서 채널 임펄스 응답의 형태 및 시간에 따른 변화의 특징을 신경망 모델에 반영할 수 있다. 또한, 학습 모드에서 실제 차량을 사용하면서 수집되는 입력 데이터와 해당 레이블로 학습 데이터를 구성하여 신경망 모델을 학습시킴으로써, 실제 사용자의 특성이 반영되고 신경망 모델의 정확도가 향상될 수 있다.According to an embodiment of the present invention, it is possible to effectively detect the presence or absence of an occupant in a vehicle using a UWB node installed in a vehicle without establishing a separate infrastructure such as an additional sensor. In addition, since the average and standard deviation of samples obtained from the channel impulse response of the UWB node are used as input data, the shape of the channel impulse response and the characteristics of change over time can be reflected in the neural network model while reducing the size of the input data. there is. In addition, by configuring the learning data with the input data collected while using the actual vehicle and the corresponding labels in the learning mode to train the neural network model, the characteristics of the actual user can be reflected and the accuracy of the neural network model can be improved.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block of the block diagram and each step of the flowchart accompanying the present invention may be performed by computer program instructions. Since these computer program instructions may be loaded into a processor of a general-purpose computer, a special-purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are each block of the block diagram or flowchart. In each step, means to perform the functions described are created. These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the function described in each block of the block diagram or each step of the flow chart. The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. It is also possible that the instructions performing the processing equipment provide steps for executing the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is possible for the functions recited in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order depending on their function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims

(a) transmitting a UWB pulse by a first UWB node among a plurality of UWB nodes installed in the vehicle;
(b1) measuring a first channel impulse response to the UWB pulse by at least one other node among the plurality of UWB nodes; and
(c) estimating whether or not there is a passenger in the vehicle using a learned neural network model that takes the input data generated from the first channel impulse response as an input and the presence or absence of a passenger in the vehicle as an output,
How to detect occupants in a vehicle.

According to claim 1,
(b2) further comprising the at least one other node obtaining a series of plural samples from the first channel impulse response;
The input data is generated from the plurality of samples,
How to detect occupants in a vehicle.

According to claim 2,
Steps (a) to (b2) are repeatedly performed over time,
Further comprising calculating an average and standard deviation of each of the plurality of samples for the repeated performance,
The input data includes the average and standard deviation of each of the plurality of samples,
How to detect occupants in a vehicle.

According to claim 1,
transmitting a UWB pulse by a second UWB node among the plurality of UWB nodes; and
measuring a second channel impulse response to the UWB pulse by at least one other node of the plurality of UWB nodes;
The input data is generated from the first channel impulse response and the second channel impulse response,
How to detect occupants in a vehicle.

According to claim 1,
In the occupant detection mode, the presence or absence of occupants in the vehicle is estimated through the steps (a) to (c),
As the steps performed in the learning mode,
performing steps (a) and (b1);
Checking whether or not there is an occupant from a sensor mounted on the vehicle; and
Further comprising the step of learning the neural network model using input data generated from the first channel impulse response measured through the steps (a) and (b1) and the presence or absence of an occupant determined from a sensor mounted in the vehicle ,
How to detect occupants in a vehicle.

According to claim 5,
The sensor includes a seating sensor, a seat belt sensor, an ultrasonic sensor, or a door latch sensor.
How to detect occupants in a vehicle.

According to claim 1,
The plurality of UWB nodes are UWB nodes installed for a digital key function,
How to detect occupants in a vehicle.

A plurality of UWB nodes installed in a vehicle, when a first UWB node among the plurality of UWB nodes transmits a UWB pulse, at least one other node among the plurality of UWB nodes generates a first channel impulse response to the UWB pulse A plurality of UWB nodes measuring . and
A passenger presence estimation unit for estimating whether or not there is a passenger in the vehicle using a learned neural network model that takes input data generated from the first channel impulse response as an input and outputs whether or not there is a passenger in the vehicle,
In-vehicle occupant detection devices.

According to claim 8,
the at least one other node obtains a series of plural samples from the first channel impulse response;
The input data is generated from the plurality of samples,
In-vehicle occupant detection devices.

According to claim 9,
When a first UWB node among the plurality of UWB nodes transmits a UWB pulse, at least one other node among the plurality of UWB nodes measures a first channel impulse response to the UWB pulse repeatedly over time. become,
Further comprising a calculation unit for calculating the average and standard deviation of each of the plurality of samples for the repeated performance,
The input data includes the average and standard deviation of each of the plurality of samples,
In-vehicle occupant detection devices.

According to claim 8,
When a second UWB node among the plurality of UWB nodes transmits a UWB pulse, at least one other node among the plurality of UWB nodes measures a second channel impulse response to the UWB pulse;
The input data is generated from the first channel impulse response and the second channel impulse response,
In-vehicle occupant detection devices.

According to claim 8,
In the occupant detection mode, the occupant presence estimation unit estimates the presence or absence of occupants in the vehicle using the learned neural network model;
When the first channel impulse response is measured by the first UWB node and the at least one other node in the learning mode, the presence or absence of an occupant is determined from a sensor mounted on the vehicle, and the measured first channel impulse response Further comprising a model learning unit for learning the neural network model using input data generated from
In-vehicle occupant detection devices.

According to claim 12,
The sensor includes a seating sensor, a seat belt sensor, an ultrasonic sensor, or a door latch sensor.
In-vehicle occupant detection devices.

According to claim 8,
The plurality of UWB nodes are UWB nodes installed for a digital key function,
In-vehicle occupant detection devices.