KR20220104444A - 레이더 기반의 탑승자 인식 장치 및 그 방법 - Google Patents

레이더 기반의 탑승자 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20220104444A
KR20220104444A KR1020210006728A KR20210006728A KR20220104444A KR 20220104444 A KR20220104444 A KR 20220104444A KR 1020210006728 A KR1020210006728 A KR 1020210006728A KR 20210006728 A KR20210006728 A KR 20210006728A KR 20220104444 A KR20220104444 A KR 20220104444A
Authority
KR
South Korea
Prior art keywords
radar
value
doppler
occupant
feature
Prior art date
Application number
KR1020210006728A
Other languages
English (en)
Other versions
KR102514124B1 (ko
Inventor
현유진
진영석
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020210006728A priority Critical patent/KR102514124B1/ko
Publication of KR20220104444A publication Critical patent/KR20220104444A/ko
Application granted granted Critical
Publication of KR102514124B1 publication Critical patent/KR102514124B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G01S13/53—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi performing filtering on a single spectral line and associated with one or more range gates with a phase detector or a frequency mixer to extract the Doppler information, e.g. pulse Doppler radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 레이더 기반의 탑승자 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 차량에 설치된 레이더 센서로부터 레이더 수신 신호를 획득하는 신호 입력부와, 매 프레임 마다, 이전의 제1 시간 구간에 관측된 레이더 수신 신호에 대해 슬라이딩 윈도우를 적용하여 얻은 윈도우 별 도플러 주파수 성분을 이용하여 복수의 마이크로 도플러 영상을 획득하고, 획득한 복수의 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도 및 변화 정도에 각각 해당한 제1 특징값과 제2 특징값을 결정하는 모션 감지부와, 매 프레임 마다, 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정하는 생체 신호 감지부, 및 결정된 제1 내지 제3 특징값을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하는 분석부를 포함하는 레이더 기반의 탑승자 인식 장치를 제공한다.

Description

레이더 기반의 탑승자 인식 장치 및 그 방법{Apparatus for recognizing passenger based on radar and method thereof}
본 발명은 레이더 기반의 탑승자 인식 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 레이더 신호의 도플러 스펙트럼으로부터 탑승자의 존재 여부를 인식할 수 있는 레이더 기반의 탑승자 인식 장치 및 그 방법에 관한 것이다.
최근 들어, 통학 차량 내 탑승자(예: 어린이) 방치에 따른 사망 사고의 급증으로 인하여 이를 방지하기 위한 시스템과 관련한 연구 개발이 활발히 이루어지고 있다.
그 중에서 차량 내 객체의 움직임 및 호흡과 같은 생체 신호를 이용하여 차량 내 탑승자 유무를 검출하는 시스템이 개시된 바 있다. 하지만, 해당 기술의 경우 움직임이 있는 객체라면 무조건 휴먼이라고 인지할 수 있으며, 움직임 신호가 차량의 떨림에 의한 노이즈 신호인지, 일반 사물(예: 좌석에 놓인 박스, 적재물)의 움직임으로 인한 신호인지를 명확히 구분하지 못하는 단점이 있다.
아울러, 사람이 차량 내에서 매우 저속으로 움직일 경우에는 호흡 신호가 움직임 신호에 의해 마스킹되어 잘 검출되지 않을 수도 있으며, 호흡 신호의 혼재로 인하여 움직임에 의한 도플러 신호의 특성이 좋지 않아 움직임 검출 정확도가 떨어지는 문제점이 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-1895999호(2018.09.06 공고)에 개시되어 있다.
본 발명은 레이더 신호로부터 추출한 특징값들을 이용하여 탑승자 존재 여부를 명확히 인식할 수 있는 레이더 기반의 탑승자 인식 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 차량에 설치된 레이더 센서로부터 레이더 수신 신호를 획득하는 신호 입력부와, 매 프레임 마다, 이전의 제1 시간 구간에 관측된 레이더 수신 신호에 대해 슬라이딩 윈도우를 적용하여 얻은 윈도우 별 도플러 주파수 성분을 이용하여 복수의 마이크로 도플러 영상을 획득하고, 획득한 복수의 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도 및 변화 정도에 각각 해당한 제1 특징값과 제2 특징값을 결정하는 모션 감지부와, 매 프레임 마다, 상기 제1 시간 구간을 포함한 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정하는 생체 신호 감지부, 및 결정된 제1 내지 제3 특징값을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하는 분석부를 포함하는 레이더 기반의 탑승자 인식 장치를 제공한다.
또한, 상기 레이더 센서는, CW 방식, FMCW 방식, 펄프-도플러 방식 중에서 선택된 레이더 방식을 사용할 수 있다.
또한, 상기 모션 감지부는, 상기 제1 시간 구간 내에 상기 제1 시간 구간보다 작은 크기의 윈도우를 적용하여 설정 시간 간격으로 중첩 이동시키면서 각 윈도우 상의 도플러 주파수 성분을 분석하여 L개의 마이크로 도플러 영상을 획득하고, 상기 L개의 영상에서 관측된 각 도플러 빈 별 크기를 이용하여 상기 제1 및 제2 특징값을 각각 결정할 수 있다.
또한, 상기 모션 감지부는, 상기 L개 영상 각각에서 임계값 이상의 크기를 갖는 도플러 빈의 개수를 환산한 다음 환산한 L개의 값을 모두 평균하여 상기 제1 특징값을 획득하고, 상기 L개의 영상 중 서로 연속한 두 영상 간에 상기 임계값 이상의 도플러 빈의 개수 간의 차이를 환산한 다음 환산한 L-1개의 값을 모두 평균하여 상기 제2 특징값을 획득할 수 있다.
또한, 상기 제3 특징값은, 상기 호흡 주파수가 검출된 경우 1의 값을 가지고 미검출된 경우 0의 값을 가질 수 있다.
또한, 상기 분석부는, 상기 제1 내지 제3 특징값을 기 설정된 기준값과 비교하여 탑승자 존재 여부를 판단하되, 상기 제1 특징값이 제1 기준값보다 크거나, 상기 제2 특징값이 제2 기준값보다 크거나, 상기 제3 특징값이 호흡 성분이 검출된 상태를 나타낸 '1'의 값을 갖는 조건 중 적어도 하나를 만족하면, 탑승자가 존재하는 것으로 판단할 수 있다.
또한, 상기 분석부는, 상기 제1 특징값이 제1 기준값보다 큰 동시에 상기 제3 특징값이 '0'을 만족하는 경우, 탑승자가 미존재한 상황에서 움직이는 사물이 검출된 것으로 판단할 수 있다.
또한, 상기 분석부는, 상기 제1 내지 제3 특징값을 기 학습된 머신 러닝 모델에 적용한 결과로부터 탑승자의 존재 여부를 판단하고, 상기 머신 러닝 모델은, 복수의 시나리오 별 수집된 제1 내지 제3 특징 값을 입력 값으로 하고 탑승자의 존재 여부를 출력 값으로 하여 사전에 학습될 수 있다.
그리고, 본 발명은, 차량에 설치된 레이더 센서로부터 레이더 수신 신호를 획득하는 단계와, 매 프레임 마다, 이전의 제1 시간 구간에 관측된 레이더 수신 신호에 대해 슬라이딩 윈도우를 적용하여 얻은 윈도우 별 도플러 주파수 성분을 이용하여 복수의 마이크로 도플러 영상을 획득하고, 획득한 복수의 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도 및 변화 정도에 각각 해당한 제1 특징값과 제2 특징값을 결정하는 단계와, 매 프레임 마다, 상기 제1 시간 구간을 포함한 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정하는 단계, 및 결정된 제1 내지 제3 특징값을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하는 단계를 포함하는 레이더 기반의 탑승자 인식 방법을 제공한다.
본 발명에 따르면, 레이더 신호로부터 도플러 스펙트럼의 분산 정도 및 변화 정도에 해당한 특징값과 호흡 성분의 존재 여부에 따른 특징값을 추출하고 추출한 특징 값을 기반으로 탑승자 존재 여부를 명확히 인식할 수 있다.
특히, 실제 차량 내 박스 등의 물건이 존재하면서 진동이 발생하거나, 차량이 움직일 때 자체 진동이 발생하는 경우에도 해당 개체가 휴먼이 아님을 인지할 수 있으며, 차량 내 휴먼의 존재 여부를 파악하여 동작하는 다양한 응용에 활용될 수 있다.
도 1은 본 발명의 실시예에 따른 레이더 기반의 탑승자 인식 기술의 개념을 설명한 도면이다.
도 2는 본 발명의 실시예에 따른 레이더 기반의 탑승자 인식 장치의 구성을 설명한 도면이다.
도 3은 도 1에 대응되는 구성도이다.
도 4는 도 2의 모션 감지부의 동작 원리를 설명하기 위한 도면이다.
도 5는 도 2의 모션 감지부에서 획득한 마이크로 도플러 영상의 일 실시예를 나타낸 도면이다.
도 6은 도 2의 생체 신호 감지부의 동작 원리를 설명하기 위한 도면이다.
도 7은 사람과 물건의 움직임에 따른 도플러 스펙트럼 데이터의 분산 및 변화 특성을 개념적으로 설명한 도면이다.
도 8은 객체의 저속 움직임 구간에서 데드존이 발생하는 개념을 설명한 도면이다.
도 9는 본 발명의 실시예에 따른 레이더 기반의 탑승자 인신 방법을 설명하는 도면이다.
도 10은 본 발명의 실시예에 따른 탑승자 인식 알고리즘을 설명한 도면이다.
도 11은 도 10의 각 감지부를 통한 특징 벡터 추출 동작을 설명한 도면이다.
도 13은 본 발명의 성능 테스트를 위해 사용된 시나리오 사례를 설명한 도면이다.
도 14 내지 도 16는 본 발명의 실시예에 따라 각 시나리오 별 추출된 제1 내지 제3 특징값의 결과를 각각 나타낸 도면이다.
도 17은 본 발명의 실시예에서 각 시나리오별 추출된 특징벡터들을 3차원 공간에 투영한 모습을 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 레이더 기반의 탑승자 인식 기법의 동작 개념을 설명한 도면이다.
먼저, 도 1의 (a)과 같이 본 발명의 실시예의 경우 차량에 장착된 레이더 센서를 기반으로 탑승자의 움직임과 생체 신호를 검출하고 검출 결과를 기 설정 알고리즘에 적용하여 차량 내 탑승자의 존재 여부를 인지하여 제공한다.
도 1의 (b)에 나타낸 동작 개념을 보면, 초기에는 대기 모드(wait mode)로 구동하며 레이더 수신 신호가 들어오면 모션 인지 모드(mosion detection mode) 및 생체 인지 모드(vital-sign detection mode)를 투 트랙으로 진행하고, 두 가지 모드를 통하여 도출된 결과로부터 탑승자 존재 여부를 판단하는 결정 모드(decision mode)를 진행한다.
본 발명의 실시예에서, 레이더 센서 또는 탑승자 인식 장치는 탑승자 인식이 필요한 시간대를 제외하고는 대기 모드로 동작할 수 있는데, 간단한 예로, 차량의 정차, 시동 오프, 혹은 별도 명령 입력 시에 대기 모드에서 동작 모드로 전환되어 탑승자 인식을 진행할 수 있다.
도 2는 본 발명의 실시예에 따른 레이더 기반의 탑승자 인식 장치의 구성을 설명한 도면이고, 도 3은 도 1에 대응되는 구성도이다.
도 2 및 도 3에 나타낸 것과 같이, 본 발명의 실시예에 따른 레이더 기반의 탑승자 인식 장치(100)는 신호 입력부(110), 모션 감지부(120), 생체 신호 감지부(130), 분석부(140)를 포함한다. 여기서, 각 부(110~130)의 동작 제어 및 각 부(110~130) 간의 데이터 흐름 제어, 시간 동기화 제어 등은 제어부(미도시)에 의해 수행될 수 있다.
탑승자 인식 장치(100)는 도 2와 같이 레이더 센서(10)와 연결되어 동작할 수도 있지만 레이더 센서(10)를 포함하여 구성될 수도 있다. 또한, 본 발명의 실시예에서, 레이더 센서(10)는 CW(Continuous Wave) 방식, FMCW(Frequency Modulated Continuous Wave) 방식, 펄프-도플러(Pulse-Doppler) 방식 중에서 선택된 레이더 방식으로 동작할 수 있다.
예를 들어, 도 3에 도시된 레이더 센서(10)는 CW 방식으로 레이더 신호를 생성하여 송신 안테나를 통해 송출하고, 그에 대해 반사되어 돌아온 신호를 수신 안테나를 통해 수신하여 ADC부(111)로 전달할 수 있다.
ADC부(111)는 레이더 센서(10)로부터 수신된 신호를 디지털 신호로 변환하고 이를 모션 감지부(120)와 생체 신호 감지부(130)에 동시 인가한다. ADC부(111)는 탑승자 인식 장치(100)에 포함될 수 있는데, 예를 들어, 신호 입력부(110) 내에 포함되거나 신호 입력부(110)의 출력 후단에 연결되어 동작할 수 있다.
탑승자 인식 장치(100)는 레이더 수신 신호의 도플러 스펙트럼으로부터 복수의 특징 벡터(x1,x2,x3)를 추출하고 추출한 특징 벡터를 분석부(140)의 의사 결정기(결정 알고리즘)에 입력하여 차량 내 탑승자 유무를 인식한다. 본 발명의 실시예에서 의사 결정기는 진리표 또는 머신 러닝으로 구현될 수 있다.
이하의 본 발명의 실시예는 설명의 편의상 CW 방식의 도플러 레이더를 사용한 것을 대표 예시로 하여 설명한다.
여기서, 도플러 스펙트럼을 기반으로 특징벡터를 추출하는 기법은 CW 방식의 도플러 레이더에만 적용되는 것은 아니므로, 본 발명의 기법이 FMCW 레이더, 펄스-도플러 레이더 등과 같이 객체의 도플러 정보를 획득할 수 있는 모든 레이더 방식에서 적용 가능함은 물론이다.
이하에서는 도 2의 세부 구성 요소를 보다 구체적으로 설명한다.
도 2의 신호 입력부(110)는 차량에 설치된 레이더 센서(10)로부터 레이더 수신 신호를 획득한다. 신호 입력부(110)는 레이더 수신 신호를 I 성분과 Q 성분을 갖는 형태의 디지털 신호로 ADC 처리하여 각각의 감지부(120,130)로 전달할 수 있다.
ADC 처리가 완료된 레이더 수신 신호는 모션 감지부(120)와 생체 신호 감지부(130)에 동시 인가된다.
모션 감지부(120)는 매 프레임 마다, 현재로부터 직전의 제1 시간 구간(길이) 동안에 관측된 레이더 수신 신호를 푸리에 변환한 결과로부터 도플러 주파수 성분을 추출하여 마이크로 도플러 영상을 얻고, 이렇게 획득한 마이크로 도플러 영상을 분석하여, 해당 시간 구간(제1 시간 구간)에서 도플러 스펙트럼이 얼마나 퍼져 있는지(스펙트럼 분산 정도)에 관한 제1 특징값(x1)과, 얼마나 변화 무쌍한지(스펙트럼 변화 정도)에 관한 제2 특징값(x2)을 얻는다.
예를 들어, 모션 감지부(120)는 현재 프레임의 시작점을 기준으로 직전의 제1 시간 구간(과거 2초 분량)의 데이터에 대하여, 1초 크기(길이)의 슬라이딩 윈도우(sliding window)를 적용하여 0.1 초 간격으로 10 번 슬라이딩하여 제1 시간 구간의 시작 시점부터 마지막 시점까지 스캔하면서, 각 윈도우의 데이터를 푸리에 변환하여, 슬라이딩한 윈도우의 수 만큼에 해당한 10개의 마이크로 도플러 영상을 획득한다.
이후, 모션 감지부(120)는 이렇게 획득된 10개의 마이크로 도플러 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도를 정의한 제1 특징값(x1)과 변화 정도를 정의한 제2 특징값(x2)을 추출한다. 물론 본 발명의 실시예에서 모션 감지부에 적용되는 데이터 분석 구간(제1 시간 구간)의 길이 및 슬라이딩 윈도우의 크기, 윈도우의 이동 간격 등에는 보다 다양한 실시예가 존재할 수 있다.
도 4는 도 2의 모션 감지부의 동작 원리를 설명하기 위한 도면이다.
도 4의 상단 그림은 모션 감지부에서 이루어지는 신호 처리 과정에 관한 것으로, 모션 감지부(120)는 신호 필터링 처리기, 푸리에 변환기, 마이크로 도플러 영상 생성기, FIFO, 그리고 특징벡터 추출기를 포함한다.
필터링 처리기는 DC 필터, 저역 통과 필터 등을 사용하여 레이더 수신 신호로부터 DC를 제거하고 고주파 잡음을 제거한다. 이를 통해, 사람의 움직임 주파수와 무관한 고주파 대역 성분을 프리 필터링(pre-filtering)할 수 있고 관심 주파수 성분만 통과시킬 수 있다. 예를 들어 움직임에 의한 도플러 주파수로 최대 10Hz 까지를 고려할 수 있다.
푸리에 변환기는 윈도우잉(windowing)과 FFT(Fast Fourier Transform) 처리를 수행하며 각 윈도우 상의 시간 축의 레이더 수신 신호를 주파수 축의 신호로 변환한다. 마이크로 도플러 영상 생성기는 푸리에 변환기의 처리 결과를 받아 도플러 빈(bin) 별 신호 크기(강도)를 색상으로 표현한 도플러 영상을 생성한다. 이때, 서브 프레임의 도플러 주파수 크기 스펙트럼 생성 후 L개를 FIFO에 저장하여 마이크로 도플러 영상을 생성한다. 또한, 특정 기준값보다 높은 산란점 값들만 선택하여 잡음을 제거할 수 있다. 특징벡터 추출기는 L개 영상을 분석하여 두 가지 특징값인 x1과 x2를 추출한다.
이와 같이, 모션 감지부(120)는 레이더 수신 신호로부터 불필요한 성분을 제거 후 FFT 처리하여 주파수 축의 신호로 변환하고 푸리에 변환된 레이더 수신 신호(주파수 크기 스펙트럼)로부터 마이크로 도플러 영상을 생성하고 이로부터 특징 벡터 x1, x2를 추출한다.
도 4의 하단 그림은 슬라이딩 윈도우의 데이터 처리 과정을 예시한 것이다. 이를 참조하면, 한 프레임 동안, 모션 감지부(120)는 직전의 2초 분량의 구간 상이 맨 앞부분 부터 사이즈(크기)가 1초(Nwin,m = 1 sec)인 윈도우를 적용하여 0.1초 씩 슬라이딩 이동시키면서, 적용된 각 윈도우 상의 데이터를 FFT 처리하여, 적용된 10개의 윈도우 수 만큼에 해당한 L개(10개)의 영상을 얻는다.
이때, L개의 영상 결과 중 먼저 처리된 순으로 버퍼에 저장된다. 이에 따라 한 프레임 동안 L개의 서브 프레임 단위로 L개의 영상이 저장된다. 여기서 물론, 프레임 하나당 길이가 1초라면, 다음 프레임에서는 현재로부터 직전의 2초 분량의 구간에 윈도우를 적용하기 때문에 인접 프레임 간 데이터가 일부 중첩되어 분석될 수 있다.
이와 같이, 모션 감지부(120)는 사이즈가 Nwin,m(예: 1초)인 슬라이딩 윈도우를 그 보다 작은 크기의 시간 간격(예: 0.1초 간격)으로 L회 중첩되게 이동시키면서, L개(예: 10개) 윈도우 내의 데이터를 개별 FFT 변환하고 그에 대응된 L개의 마이크로 도플러 영상을 획득한다. 따라서 L개 서브 프레임에 대응하여 L개의 마이크로 도플러 영상이 획득된다. 슬라이딩 윈도우의 사이즈는 모션에 의한 도플러 주파수 해상도 (예: 0.5Hz)를 고려하여 결졍될 수 있다.
이때, 도 4의 하단 그림과, 상단 그림의 우측 박스로부터, L개의 각 윈도우를 푸리에 변환하여 얻은 L개의 마이크로 도플러 결과 영상이 FIFO에 순차로 저장되는 것을 알 수 있다.
실질적으로, 도 4의 우측 박스 부분은 L개의 각 윈도우의 데이터를 FFT 처리하여 얻은 주파수에 따른 신호 세기 결과에 대한 그래프이며, 이를 도플러 빈 별 색상으로 표현하면 마이크로 도플러 영상이 얻어진다. 또한, L개의 마이크로 도플러 영상을 시간 순서 대로 결합하면 후술하는 도 5과 같은 형태의 시간에 따른 마이크로 도플러 영상이 얻어질 수 있다.
이를 기반으로, 모션 감지부(120)는, 현재 프레임을 기준으로 직전의 제1 시간 구간(예: 2초 분량)의 데이터에 대해, 그보다 작은 크기(예: 절반 크기인 1초 크기)의 윈도우를 적용하고 이를 설정 시간 간격(예: 0.1초 간격)으로 중첩 이동시키면서, 각 윈도우 상의 도플러 주파수 성분을 분석하여 L개(예: 10개)의 마이크로 도플러 영상을 획득한다. 이와 같이, 윈도우를 0.1초 간격으로 적용하면서 데이터를 획득하기 때문에, 1초(현재 프레임) 동안에 과거 데이터를 기반으로 10개의 마이크로 도플러 영상이 얻어진다.
그리고, 모션 감지부(120)는 L개의 마이크로 도플러 영상에서 관측된 각 도플러 빈 별 크기를 이용하여 제1 특징값(x1)과 제2 특징값(x2)을 각각 결정한다.
도 5는 도 2의 모션 감지부에서 획득한 마이크로 도플러 영상의 일 실시예를 나타낸 도면이다.
도 5에서 큰 점선 박스 부분은 상술한 예시에서 0.1초 간격으로 얻은 10개의 마이크로 도플러 영상이 시간 순으로 연결된 모습에 해당한다. 그 중에서 1번 박스는 예를 들어 도 3의 #1 부터 #L의 L개(10개)의 윈도우 중에서 #1에 해당한 윈도우 상의 데이터로부터 획득한 도플러 영상에 해당한다. 0.1초 간격으로 윈도우를 이동하면서 총 10개의 도플러 영상이 얻어지고 이를 결합한 부분을 붉은 색 박스에 해당한다.
이때, 모션 감지부(120)는 L개(1O개)의 도플러 영상 각각에서 임계값 이상의 크기를 갖는 도플러 빈의 개수를 환산한 다음 환산한 L개의 값을 모두 평균하여 상기 제1 특징값을 획득한다.
도 5의 (a)에서 파란색 칸은 임계값 미만의 크기를 갖는 도플러 빈에 해당한다. 따라서, 도 5의 붉은 박스 내의 10개의 도플러 영상 각각에서, 파란색 이외의 색상을 가진 도플러 빈의 수를 각각 환산 후 평균하면 제1 특징값(x1)이 획득된다.
이때, 붉은색 박스 안의 10개 영역 중 1번째 영역(1) 안에서 해당 도플러 빈의 수는 5개이고, 2번째 영역에서는 4개이며, 마지막 10번째 영역에서는 4개이다. 이들을 모두 합산한 후 10으로 나누면 제1 특징값(x1)이 얻어진다.
이를 수학적으로 표현하면 다음의 수학식 1과 같다.
Figure pat00001
여기서 Y(j)는 j번째 영역 내에서 임계 이상의 크기를 갖는 도플러 빈의 수를 나타낸다.
도 5의 (a)는 탑승자의 움직임이 없는 상태이고 도 5의 (b)는 탑승자의 머리 부분에서 움직임이 발생한 상태로서, (a)보다 스펙트럼의 분산 정도가 높은 (b)의 경우 제1 특징값(x1)이 더욱 크게 나타난다.
다음, 모션 감지부(120)는 L개의 영상 중 서로 연속한 두 영상 간에 임계값 이상의 도플러 빈의 개수 간의 차이(차이 값의 절대치)를 환산한 다음 환산한 L-1개의 값을 모두 평균하여 제2 특징값을 획득한다.
즉, 붉은색 박스 안의 10개 영역 중 2번째 영역(1)과 1번째 영역 간의 해당 도플러 빈의 수 차이(1=|4-5|)를 구하고, 같은 원리로 10번째 영역과 9번째 영역 간의 해당 도플러 빈의 수 차이(0=|4-4|)를 구하고, 총 9개의 환산 결과를 모두 합산하여 9로 나누면 제2 특징값(x2)이 얻어진다.
이를 수학적으로 표현하면 다음의 수학식 2와 같다.
Figure pat00002
이로부터, 제1 특징값(x1)은 서브 프레임의 산란점의 평균에 해당하고, 제2 특징값(x2)은 인접 서브 프레임 간의 산란점 개수의 평균에 해당함을 알 수 있다.
도 5의 (a)는 탑승자의 움직임이 없는 상태이고 도 5의 (b)는 탑승자의 머리 부분에서 움직임이 발생한 상태로서, (a)보다는 (b)의 경우 스펙트럼이 보다 변화 무쌍하기 때문에 제2 특징값(x2)이 더욱 높게 나타난다.
다음은, 레이더 수신 신호로부터 호흡으로 인한 생체 신호를 검출하는 생체 신호 감지부(130)를 구체적으로 설명한다.
도 2의 생체 신호 감지부(130)는 매 프레임 마다, 제1 시간 구간을 포함한 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정한다. 제2 시간 구간은 제1 시간 구간을 포함하면서 제1 시간 구간 보다는 긴 길이를 가진다.
예를 들어, 생체 신호 감지부(130)는 현재 프레임의 시작점을 기준으로 직전의 제2 시간 구간(과거 8초 분량)의 데이터를 푸리에 변환하여 도플러 주파수 성분을 얻고 이로부터 호흡 주파수 성분의 검출 여부를 분석하여 그 결과에 따른 제3 특징값(x3)을 출력한다. 이때, 제3 특징값은 호흡 주파수가 검출된 경우 '1'의 값, 미검출된 경우 '0'의 값을 갖는다.
도 6은 도 2의 생체 신호 감지부의 동작 원리를 설명하기 위한 도면이다.
도 6의 상단 그림은 생체 신호 감지부는 이루어지는 신호 처리 과정에 관한 것으로, 생체 신호 감지부는 신호 필터링 처리기, 푸리에 변환기, 도플러 주파수 스펙트럼 생성기, FIFO, 그리고 특징벡터 추출기를 포함한다.
신호 필터링 처리기는 DC 필터, 저역 통과 필터 등을 사용하여 레이더 수신 신호로부터 DC를 제거하고 고주파 잡음을 제거한다. 이를 통해, 사람의 호흡 주파수 범위에 해당하는 관심 주파수 성분만 통과시킬 수 있다.
푸리에 변환기는 윈도우잉(windowing)과 FFT(Fast Fourier Transform) 처리를 수행한다. 윈도우잉은 예를 들어 해밍 윈도우를 사용할 수 있다. 그리고 도플러 주파수 스펙트럼 생성기는 FFT를 통하여 주파수 크기 스펙트럼을 생성 후, 특정 기준값(임계값) 보다 높은 산란점 값들만을 선택하여 잡음을 제거한다.
특징벡터 추출기는 호흡 주파수에 해당하는 ROI 윈도우(관심 주파수 대역)에 기준값 이상의 신호(산란점)가 존재하는 경우에는 1, 그렇지 않은 경우에는 0의 값을 x3로 출력한다.
이와 같이, 생체 신호 감지부(130)는 레이더 수신 신호로부터 불필요한 성분을 제거 후 FFT 처리하여 주파수 축의 신호로 변환한 다음 푸리에 변환된 주파수 크기 스펙트럼 내의 관심 주파수 대역 내에서 임계값 이상의 신호가 검출되는지 여부에 따라 1 또는 0의 제3 특징값(x3)을 출력한다.
이러한 호흡 인지 알고리즘은 가장 단순한 기법으로, 본 발명의 실시예는 레이더 신호를 이용하여 호흡 신호를 검출할 수 있는 다양한 알고리즘이 적용 가능함은 물론이다.
도 6의 하단 그림은 슬라이딩 윈도우의 데이터 처리 과정을 예시한 것이다.
윈도우 사이즈를 8초(Nwin,v=8)로 가정하면, 생체 신호 감지부(130)는 한 프레임 동안, 현재로부터 직전의 8초 분량의 구간에 윈도우를 적용하여 윈도우 내 데이터를 FFT 변환하여 주파수 크기 스펙트럼을 획득한다. 다음 프레임에서는 현재로부터 직전의 7초 분량의 구간에 윈도우를 적용하기 때문에, 이전 프레임과 현재 프레임 간 1초 간의 데이터가 일부 중첩되어 분석될 수 있다. 즉, 프레임 간의 슬라이딩 스텝은 1초가 된다.
분석부(140)는 모션 감지부(120)와 생체 신호 감지부(130)에서 결정된 제1 내지 제3 특징값(x1~x3)을 입력받고 이를 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하고, 판단 결과를 제공한다. 이때 판단 결과는 탑승자 존재 여부는 물론 객체가 사람 또는 사물인지 여부를 포함할 수 있다.
이때, 분석부(140)는 제1 내지 제3 특징값(x1~x3)을 각각에 대해 기 설정된 기준값과 비교하여 탑승자 존재 여부를 판단할 수 있다.
만일, 제1 특징값(x1)이 제1 기준값보다 크거나, 제2 특징값(x2)이 제2 기준값보다 크거나, 제3 특징값(x3)이 호흡 성분이 검출된 상태를 나타낸 '1'의 값을 갖는 조건 중 적어도 하나를 만족한다면, 차량 내에 탑승자가 존재하는 것으로 판단한다.
예를 들어, 스펙트럼의 분산 정도에 해당한 제1 특징값(x1)이 제1 기준값이면, 나머지 제2, 제3 특징값(x2,x3)과 관계 없이 탑승자가 존재하는 것으로 판단한다. 또한, 제3 특징값(x3) = '1'인 경우에도 나머지 제1, 제2 특징값(x1,x2)과 무관하게 탑승자가 존재하는 것으로 판단한다.
도 7은 사람과 물건의 움직임에 따른 도플러 스펙트럼 데이터의 분산 및 변화 특성을 개념적으로 설명한 도면이다.
도 7과 같이, 레이더 수신 신호를 주파수 축으로 변환하여 시간에 따라 관측하면, 움직이는 사람의 경우 사물에 비하여 도플러 스펙트럼의 분산 정도가 크고(피크 값이 다양한 주파수에서 검출되고), 스펙트럼의 변화(피크값의 크기 변화)도 큰 것을 확인할 수 있다.
따라서 도플러 스펙트럼의 분산 및 변화 정도에 해당하는 제1 및 제2 특징값을 기 설정된 임계값과 비교하여, 둘 중 적어도 하나의 값만 해당 임계값 이상이면 현재 탐지된 객체가 사람인 것으로 판별할 수 있다. 물론, 두 값과 무관하게 제3 특징값이 1인 경우에도 현재 탐지된 객체를 사람으로 판단할 수 있다.
다만, 분석부(140)는 제1 특징값이 제1 기준값보다 큰 동시에 제3 특징값이 '0'을 만족하는 경우, 탑승자가 미존재한 상황에서 움직이는 사물이 검출된 것으로 판단할 수 있다. 즉, 모션이 임계 이상으로 검출되더라도, 사람의 호흡 주파수 성분이 일정 세기 이상 검출되지 않으면, 해당 객체는 사물로 판별할 수 있다.
사람이 차량 내에서 매우 저속으로 천천히 움직일 경우에는 호흡 신호가 움직임 신호에 의해 마스킹되어 잘 검출되지 않을 수도 있으며, 움직임 값이 명확히 검출되지 않을 수도 있다. 즉, 저속 움직임과 호흡 신호의 혼재로 인하여 움직임에 의한 도플러 신호의 특성이 좋지 않아 모션 검출 정확도가 떨어질 수 있다.
도 8은 객체의 저속 움직임 구간에서 데드존이 발생하는 개념을 설명한 도면이다.
도 8의 가로축은 시간, 세로축은 움직임 크기를 나타낸다. ①번 영역의 경우 사람의 일반적인 움직임 영역으로 시간에 따른 움직임 크기 변화가 큰 것을 알 수 있다. 이때에는 도플러 신호가 명확하여 x1과 x2를 기준값과 비교하는 것만으로 탑승자 존재 여부를 쉽게 검출할 수 있다.
그리고, ③번 영역은 사람이 정지한 영역이지만, 호흡 성분이가 명확히 드러나기 때문에, x3 값만으로 탑승자 여부를 쉽게 검출할 수 있다.
하지만, ②번 영역은 저속 움직임 영역으로, 시간에 따른 움직임 크기 변화가 작기 때문에, 해당 객체가 사람인지, 혹은 차량 진동에 의해 움직인 단순 사물인지 등을 구분하기 어려운 데드존이 발생한다. 특히, ②번 영역 내에서도 ③번 영역과의 경계 부분 즉, 매우 저속인 구간에서 데드존이 크게 발생한다.
이러한 문제를 해소하기 위하여, 분석부(140)는 머신 러닝 알고리즘을 학습하고 현재 프레임에서 획득된 제1 내지 제3 특징값을 기 학습된 머신 러닝 모델에 적용한 결과로부터 탑승자의 존재 여부를 판단할 수 있다. 이때, 머신 러닝 모델은, 복수의 시나리오 별 수집된 제1 내지 제3 특징 값을 입력 값으로 하고 탑승자의 존재 여부를 출력 값으로 하여 사전에 학습될 수 있다.
여기서 시나리오는 매우 다양할 수 있는데, 차량 내 탑승자의 존재 여부, 탑승자 또는 사물의 움직임 여부, 움직임 속도 등에 따라 조합될 수 있다.
본 발명의 실시예는 다양한 시나리오 별로 기 학습된 머신 러닝 알고리즘을 이용하여, 사물 또는 사람의 저속 움직임 구간에서도 해당 객체가 사람인지 혹은 사물인지 여부를 정확도 있게 검출할 수 있으며, 사람을 사물로 오인하는 등의 문제를 해소할 수 있다.
도 9는 본 발명의 실시예에 따른 레이더 기반의 탑승자 인신 방법을 설명하는 도면이다.
먼저, 탑승자 인식 장치(100)의 신호 입력부(110)는 레이더 센서(10)로부터 레이더 수신 신호를 입력받고 이를 ADC 처리하여 모션 감지부(120) 및 생체 신호 감지부(130)로 전달한다.
모션 감지부(120) 및 생체 신호 감지부(130)는 매 프레임 마다 직전 시간 구간에서의 레이더 수신 신호의 도플러 스펙트럼을 분석하여, 스펙트럼의 분산 및 변화 정도에 따른 제1 및 제2 특징값(x1,x2)과, 호흡 성분의 검출 여부에 따른 제3 특징값(x3)을 추출한다(S910).
모션 감지부(120)는 매 프레임마다 이전의 제1 시간 구간(예: 직전의 2초 구간)의 데이터에 1초 크기의 슬라이딩 윈도우를 적용하고 이동시키면서 각 윈도우의 스펙트럼 결과를 결합하여 특징값 x1과 x2를 출력하고, 이와 동시에 생체 신호 감지부(130)는 이전의 제2 시간 구간(예: 직전의 8초 구간)의 데이터를 분석하여 특징값 x3을 출력한다.
분석부(140)는 이들 3가지 특징값(x1,x2,x3)을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하고(S920), 판단 결과를 출력한다(S930). 탑승자 인식 장치(100)는 내장된 알람 수단(디스플레이, 스피커), 차량 디스플레이, 또는 기 등록되거나 페어링된 사용자 단말로 관련 정보를 출력할 수 있다.
도 10은 본 발명의 실시예에 따른 탑승자 인식 알고리즘을 설명한 도면이다.
도 10에는 도 4 및 도 6의 내용이 포함되어 있으며, 머신 러닝을 적용한 것을 대표적으로 예시하고 있다. 이러한 도 10으로부터, 모션 감지부(120)와 생체 신호 감지부(130)에서 특징 값(특징 벡터)를 추출하는 동작이 프레임 별로 동기화되어 동작하는 것을 확인할 수 있다.
도 11은 도 10의 각 감지부를 통한 특징 벡터 추출 동작을 설명한 도면이다.
도 11에서와 같이, 모션 감지부(120)와 생체 신호 감지부(130)는 동기화되어 동작한다. 이때, 모션 감지부(120)는 매 프레임 별로 10 세트의 데이터(마이크로 도플러 영상)를 분석하여 도플러 산란점 분포와 관련한 제1 및 제2 특징값(x1,x2)를 추출하고, 생체 신호 감지부(130)는 1초 길이의 1세트의 데이터(주파수 크기기 스펙트럼)을 분석하여 호흡 신호 존재 여부에 따른 제3 특징값(x3)을 추출한다.
도 12는 본 발명의 실시예에 따른 탑승자 인식 알고리즘을 요약 설명한 도면이다.
도 12를 참조하면, 만일 본 발명의 실시시에서 모션 감지에 필요한 제1 시간 구간을 2초로 적용하고 호흡 감지에 필요한 제2 시간 구간을 8초로 적용할 경우, 레이더 수신 신호가 유입된 0초부터는 8초까지는 최소한의 필요 데이터가 수집되는 구간이고, 이러한 8초가 경과된 시점 이후부터는 매 프레임 별로 이전 시간 구간의 데이터를 이용하여 각 감지기에서 특징 벡터를 추출 후 이를 결정 알고리즘에 입력하여 탑승자 존재 여부를 분석해낼 수 있다. 도 12의 경우 결정 알고리즘으로 진리표에 기반한 이진 결정 트리를 이용한 것을 예시한 것이다.
도 13은 본 발명의 성능 테스트를 위해 사용된 시나리오 사례를 설명한 도면이다.
도 13과 같이, 실험을 위하여, 뒷좌석에 탑승자가 없는 경우(#1), 탑승자가 정지 상태로 존재한 경우(#2), 머리가 움직이는 경우(#3), 팔과 다리가 움직인 경우(#3), 탑승자 없이 박스만 적재된 경우(#5), 박스가 움직인 경우(#6), 박스가 놓인 상태에서 차체가 진동한 경우(#7)를 포함한 다양한 시나리오를 고려하였다.
도 14 내지 도 16은 본 발명의 실시예에 따라 각 시나리오 별 추출된 제1 내지 제3 특징값의 결과를 각각 나타낸 도면이다. 도 14와 도 15는 특징벡터 #1(x1)과 제2 특징벡터 #2(x2)에 대한 결과이며, 시나리오 중에서 #1은 고려하지 않았다.
도 14의 특징벡터 #1의 결과를 보면, 저속 움직임 1은 팔이 움직인 경우이고, 2는 다리가 움직인 경우이다. 머리가 움직인 경우는 팔 다리 움직임 보다는 저속 구간에 해당할 수 있다.
도 14의 결과로부터, 탑승자의 팔 또는 다리가 저속으로 움직인 케이스에 대한 특징벡터 x1은 나머지 케이스들의 그것과 뚜렷하게 구분되지만, 탑승자가 정지하거나 머리만 살짝 움직인 경우와 박스가 임의로 움직인 경우 간의 구분이 어려운 것을 알 수 있다.
도 15의 특징벡터 #2의 결과 역시 도 14와 비슷한 양상을 나타내지만 도 14 보다 데이터가 더욱 혼재된 것을 알 수 있다. 도 14 및 도 15의 경우와 같이, 데이터가 서로 혼재하여 존재하는 데이터 구간의 경우 해당 특징벡터를 임계값과 비교하는 것만으로는 객체 구분에 한계가 따른다.
도 16은 특징벡터 #3의 결과로서, 탑승자 정시 시에는 x3이 꾸준히 1의 값을 나타내며, 머리를 움직였을 경우에도 그에 준하는 데이터를 나타내었다. 하지만, 탑승자의가 팔 다리를 저속으로 움직인 경우 계속 검출되어야 하는 탑승자의 호흡 주파수 성분이 마스킹(은닉 또는 간섭)되어 중간에 끊김이 발생한 것을 알 수 있다.
또한, 차량 진동 등으로 박스가 움직인 경우를 보면, 박스의 움직임에 따른 주파수 성분이 사람의 호흡 주파수 성분과 유사하게 검출된 경우 중간에 1의 값이 도출된 것을 알 수 있다. 이 경우 역시 특징벡터 #3의 결과 만으로는 객체 구분에 한계가 따른다.
도 14 내지 도 16의 문제를 해결하기 위하여 본 발명의 실시예는 머신 러닝 기반의 탑승자 인식 기법을 사용할 수 있다. 이를 위해, 본 발명의 실시예는 각 시나리오 별 수집된 특징 벡터(x1, x2, x3)과 미리 알고 있는 정답 값(사람 유무)을 포함한 학습 데이터 셋을 사용하여 머신 러닝 알고리즘을 지도 학습할 수 있다. 이 경우 학습된 알고리즘에 현재 관측된 특징 벡터들을 입력하는 것만으로도 탑승자 존재 여부를 판별할 수 있다.
도 17은 본 발명의 실시예에서 각 시나리오별 추출된 특징벡터들을 3차원 공간에 투영한 모습을 나타낸 도면이다.
이러한 도 17으로부터 탑승자 정지 및 탑승자 머리 움직임이 저속으로 발생한 케이스(그룹 1)의 경우 투영 좌표점이 좌측 상단 공간에 밀집하여 클러스터를 형성한 것을 알 수 있다. 또한 탑승자가 없는 상태에서 박스가 움직인 케이스(그룹 2)의 경우는 투영 좌표점이 좌측 하단 공간에 밀집하여 존재한 것을 확인할 수 있다.
또한, 탑승자가 팔이나 다리를 저속으로 움직인 케이스의 경우 투영 좌표점이 상단과 하단 영역에 걸쳐 고루 분산된 것을 알수 있으며, 앞서 두 가지 그룹(그룹 1,2)의 좌표점과도 중첩된 것을 확인할 수 있다. 이러한 경우 머신 러닝 알고리즘을 이용하여 탑승자 여부를 명확히 구분할 수 있다.
본 발명에 따르면, 레이더 신호로부터 도플러 스펙트럼의 분산 정도 및 변화 정도에 해당한 특징값과 호흡 성분의 존재 여부에 따른 특징값을 추출하고 추출한 특징 값을 기반으로 탑승자 존재 여부를 명확히 인식할 수 있다.
특히, 실제 차량 내 박스 등의 물건이 존재하면서 진동이 발생하거나, 차량이 움직일 때 자체 진동이 발생하는 경우에도 해당 개체가 휴먼이 아님을 인지할 수 있으며, 차량 내 휴먼의 존재 여부를 파악하여 동작하는 다양한 응용에 활용될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 탑승자 인식 장치 110: 신호 입력부
120: 모션 감지부 130: 생체 신호 감지부
140: 분석부

Claims (16)

  1. 차량에 설치된 레이더 센서로부터 레이더 수신 신호를 획득하는 신호 입력부;
    매 프레임 마다, 이전의 제1 시간 구간에 관측된 레이더 수신 신호에 대해 슬라이딩 윈도우를 적용하여 얻은 윈도우 별 도플러 주파수 성분을 이용하여 복수의 마이크로 도플러 영상을 획득하고, 획득한 복수의 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도 및 변화 정도에 각각 해당한 제1 특징값과 제2 특징값을 결정하는 모션 감지부;
    매 프레임 마다, 상기 제1 시간 구간을 포함한 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정하는 생체 신호 감지부; 및
    결정된 제1 내지 제3 특징값을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하는 분석부를 포함하는 레이더 기반의 탑승자 인식 장치.
  2. 청구항 1에 있어서,
    상기 레이더 센서는,
    CW 방식, FMCW 방식, 펄프-도플러 방식 중에서 선택된 레이더 방식을 사용하는 레이더 기반의 탑승자 인식 장치.
  3. 청구항 1에 있어서,
    상기 모션 감지부는,
    상기 제1 시간 구간 내에 상기 제1 시간 구간보다 작은 크기의 윈도우를 적용하여 설정 시간 간격으로 중첩 이동시키면서 각 윈도우 상의 도플러 주파수 성분을 분석하여 L개의 마이크로 도플러 영상을 획득하고,
    상기 L개의 영상에서 관측된 각 도플러 빈 별 크기를 이용하여 상기 제1 및 제2 특징값을 각각 결정하는 레이더 기반의 탑승자 인식 장치.
  4. 청구항 3에 있어서,
    상기 모션 감지부는,
    상기 L개 영상 각각에서 임계값 이상의 크기를 갖는 도플러 빈의 개수를 환산한 다음 환산한 L개의 값을 모두 평균하여 상기 제1 특징값을 획득하고,
    상기 L개의 영상 중 서로 연속한 두 영상 간에 상기 임계값 이상의 도플러 빈의 개수 간의 차이를 환산한 다음 환산한 L-1개의 값을 모두 평균하여 상기 제2 특징값을 획득하는 레이더 기반의 탑승자 인식 장치.
  5. 청구항 1에 있어서,
    상기 제3 특징값은,
    상기 호흡 주파수가 검출된 경우 1의 값을 가지고 미검출된 경우 0의 값을 가지는 레이더 기반의 탑승자 인식 장치.
  6. 청구항 1에 있어서,
    상기 분석부는,
    상기 제1 내지 제3 특징값을 기 설정된 기준값과 비교하여 탑승자 존재 여부를 판단하되,
    상기 제1 특징값이 제1 기준값보다 크거나, 상기 제2 특징값이 제2 기준값보다 크거나, 상기 제3 특징값이 호흡 성분이 검출된 상태를 나타낸 '1'의 값을 갖는 조건 중 적어도 하나를 만족하면, 탑승자가 존재하는 것으로 판단하는 레이더 센서를 이용한 탑승자 인식 장치.
  7. 청구항 6에 있어서,
    상기 분석부는,
    상기 제1 특징값이 제1 기준값보다 큰 동시에 상기 제3 특징값이 '0'을 만족하는 경우, 탑승자가 미존재한 상황에서 움직이는 사물이 검출된 것으로 판단하는 레이더 센서를 이용한 탑승자 인식 장치.
  8. 청구항 1에 있어서,
    상기 분석부는,
    상기 제1 내지 제3 특징값을 기 학습된 머신 러닝 모델에 적용한 결과로부터 탑승자의 존재 여부를 판단하고,
    상기 머신 러닝 모델은,
    복수의 시나리오 별 수집된 제1 내지 제3 특징 값을 입력 값으로 하고 탑승자의 존재 여부를 출력 값으로 하여 사전에 학습되는 도플러 정보 기반의 보행자 및 차량 인식 장치.
  9. 차량에 설치된 레이더 센서로부터 레이더 수신 신호를 획득하는 단계;
    매 프레임 마다, 이전의 제1 시간 구간에 관측된 레이더 수신 신호에 대해 슬라이딩 윈도우를 적용하여 얻은 윈도우 별 도플러 주파수 성분을 이용하여 복수의 마이크로 도플러 영상을 획득하고, 획득한 복수의 영상을 분석하여 해당 시간 구간에서의 도플러 스펙트럼의 분산 정도 및 변화 정도에 각각 해당한 제1 특징값과 제2 특징값을 결정하는 단계;
    매 프레임 마다, 상기 제1 시간 구간을 포함한 이전의 제2 시간 구간에 관측된 레이더 수신 신호에 대해 분석한 도플러 주파수 성분으로부터 호흡 주파수의 검출 여부를 분석하여 분석 결과에 대응된 제3 특징값을 결정하는 단계; 및
    결정된 제1 내지 제3 특징값을 기 설정된 알고리즘에 적용하여 차량 내 탑승자 존재 여부를 판단하는 단계를 포함하는 레이더 기반의 탑승자 인식 방법.
  10. 청구항 9에 있어서,
    상기 레이더 센서는,
    CW 방식, FMCW 방식, 펄프-도플러 방식 중에서 선택된 레이더 방식의 레이더를 사용하는 레이더 기반의 탑승자 인식 방법.
  11. 청구항 9에 있어서,
    상기 제1 특징값과 제2 특징값을 결정하는 단계는,
    상기 제1 시간 구간 내에 상기 제1 시간 구간보다 작은 크기의 윈도우를 적용하여 설정 시간 간격으로 중첩 이동시키면서 각 윈도우 상의 도플러 주파수 성분을 분석하여 L개의 마이크로 도플러 영상을 획득하고,
    상기 L개의 영상에서 관측된 각 도플러 빈 별 크기를 이용하여 상기 제1 및 제2 특징값을 각각 결정하는 레이더 기반의 탑승자 인식 방법.
  12. 청구항 11에 있어서,
    상기 제1 특징값과 제2 특징값을 결정하는 단계는,
    상기 L개 영상 각각에서 임계값 이상의 크기를 갖는 도플러 빈의 개수를 환산한 다음 환산한 L개의 값을 모두 평균하여 상기 제1 특징값을 획득하고,
    상기 L개의 영상 중 서로 연속한 두 영상 간에 상기 임계값 이상의 도플러 빈의 개수 간의 차이를 환산한 다음 환산한 L-1개의 값을 모두 평균하여 상기 제2 특징값을 획득하는 레이더 기반의 탑승자 인식 방법.
  13. 청구항 8에 있어서,
    상기 제3 특징값은,
    상기 호흡 주파수가 검출된 경우 1의 값을 가지고 미검출된 경우 0의 값을 가지는 레이더 기반의 탑승자 인식 방법.
  14. 청구항 8에 있어서,
    상기 판단하는 단계는,
    상기 제1 내지 제3 특징값을 기 설정된 기준값과 비교하여 탑승자 존재 여부를 판단하되,
    상기 제1 특징값이 제1 기준값보다 크거나, 상기 제2 특징값이 제2 기준값보다 크거나, 상기 제3 특징값이 호흡 성분이 검출된 상태를 나타낸 '1'의 값을 갖는 조건 중 적어도 하나를 만족하면, 탑승자가 존재하는 것으로 판단하는 레이더 센서를 이용한 탑승자 인식 방법.
  15. 청구항 8에 있어서,
    상기 판단하는 단계는,
    상기 제1 특징값이 제1 기준값보다 큰 동시에 상기 제3 특징값이 '0'을 만족하는 경우, 탑승자가 미존재한 상황에서 움직이는 사물이 검출된 것으로 판단하는 레이더 센서를 이용한 탑승자 인식 방법.
  16. 청구항 8에 있어서,
    상기 판단하는 단계는,
    상기 제1 내지 제3 특징값을 기 학습된 머신 러닝 모델에 적용한 결과로부터 탑승자의 존재 여부를 판단하고,
    상기 머신 러닝 모델은,
    복수의 시나리오 별 수집된 제1 내지 제3 특징 값을 입력 값으로 하고 탑승자의 존재 여부를 출력 값으로 하여 사전에 학습되는 도플러 정보 기반의 보행자 및 차량 인식 방법.
KR1020210006728A 2021-01-18 2021-01-18 레이더 기반의 탑승자 인식 장치 및 그 방법 KR102514124B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210006728A KR102514124B1 (ko) 2021-01-18 2021-01-18 레이더 기반의 탑승자 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210006728A KR102514124B1 (ko) 2021-01-18 2021-01-18 레이더 기반의 탑승자 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220104444A true KR20220104444A (ko) 2022-07-26
KR102514124B1 KR102514124B1 (ko) 2023-03-27

Family

ID=82609741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006728A KR102514124B1 (ko) 2021-01-18 2021-01-18 레이더 기반의 탑승자 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102514124B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529179B1 (ko) * 2022-11-24 2023-05-08 (주)디지탈엣지 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030201894A1 (en) * 2002-03-15 2003-10-30 Songnian Li Vehicle occupant detection system and method using radar motion sensor
KR20180058915A (ko) * 2016-11-25 2018-06-04 (주)넥스트팩토리 어린이 통학차량 안전장치 및 어린이 통학차량 안전시스템
KR101982605B1 (ko) * 2018-10-16 2019-08-29 주식회사 젠다카디언 차량 탑승자 감지 장치
KR102016149B1 (ko) * 2017-11-15 2019-08-29 주식회사 서연전자 탑승자 감지 장치 및 그 방법
KR20200033324A (ko) * 2017-08-02 2020-03-27 케어시스 리미티드 차량 탑승자의 생체 신호의 무접촉 검출 및 모니터링 시스템
KR20200093183A (ko) * 2019-01-28 2020-08-05 재단법인대구경북과학기술원 투톤 레이더 방식을 이용한 휴먼 상태 모니터링 시스템 및 그 방법
KR102186191B1 (ko) * 2017-10-13 2020-12-04 인피니온 테크놀로지스 아게 간섭이 억제된 레이더 감지

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030201894A1 (en) * 2002-03-15 2003-10-30 Songnian Li Vehicle occupant detection system and method using radar motion sensor
KR20180058915A (ko) * 2016-11-25 2018-06-04 (주)넥스트팩토리 어린이 통학차량 안전장치 및 어린이 통학차량 안전시스템
KR20200033324A (ko) * 2017-08-02 2020-03-27 케어시스 리미티드 차량 탑승자의 생체 신호의 무접촉 검출 및 모니터링 시스템
KR102186191B1 (ko) * 2017-10-13 2020-12-04 인피니온 테크놀로지스 아게 간섭이 억제된 레이더 감지
KR102016149B1 (ko) * 2017-11-15 2019-08-29 주식회사 서연전자 탑승자 감지 장치 및 그 방법
KR101982605B1 (ko) * 2018-10-16 2019-08-29 주식회사 젠다카디언 차량 탑승자 감지 장치
KR20200093183A (ko) * 2019-01-28 2020-08-05 재단법인대구경북과학기술원 투톤 레이더 방식을 이용한 휴먼 상태 모니터링 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529179B1 (ko) * 2022-11-24 2023-05-08 (주)디지탈엣지 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법

Also Published As

Publication number Publication date
KR102514124B1 (ko) 2023-03-27

Similar Documents

Publication Publication Date Title
US11801774B2 (en) Method and system for unattended child detection
CN105452898B (zh) 车辆乘用的雷达感测
JP6716466B2 (ja) 無線反射によるバイタルサインの監視
CN105190691B (zh) 用于获得对象的生命体征的设备
US10966663B2 (en) Method and a system for detecting a vital sign of a subject
US9072437B2 (en) Method, apparatus and computer program product for detecting heart rate
US7938785B2 (en) Fusion-based spatio-temporal feature detection for robust classification of instantaneous changes in pupil response as a correlate of cognitive response
JP7150292B2 (ja) 行動認識システム、及び行動認識方法
US20210146867A1 (en) System and method for radar-based determination of a number of passengers inside a vehicle passenger compartment
CN105997043B (zh) 一种基于腕式可穿戴设备的脉率提取方法
JPWO2016159150A1 (ja) 脈波検出装置、及び脈波検出プログラム
JP6155184B2 (ja) バイタルデータ処理方法及びバイタルデータ測定装置
KR102514124B1 (ko) 레이더 기반의 탑승자 인식 장치 및 그 방법
KR101935653B1 (ko) 레이더를 이용하여 탑승자의 상태를 인식하는 방법 및 장치
CN109350030A (zh) 基于相位放大处理人脸视频心率信号的系统及方法
KR101903401B1 (ko) Uwb 레이더를 이용한 차량내 생체 정보 측정 장치 및 방법
WO2020202159A1 (en) System for determining object status and method thereof
KR101902760B1 (ko) 레이더를 이용한 생체 신호 측정 방법 및 장치
CN116729254A (zh) 基于俯瞰图像的公交驾驶舱安全驾驶行为监测系统
CN111568396A (zh) 一种V2iFi基于紧凑型射频感应的车内生命体征监测技术
Lupinska-Dubicka et al. The conceptual approach of system for automatic vehicle accident detection and searching for life signs of casualties
JP2022076391A (ja) 生体検知装置
EP4214688B1 (en) Vehicle occupant monitoring system and method
LU100451B1 (en) System and Method for Radar-Based Detremination of a Number of Passengers inside a Vehicle Passenger Compartment
KR20220095734A (ko) 차량 내 동적 객체를 검출하는 레이더 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant