KR102227393B1 - 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법 - Google Patents

도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR102227393B1
KR102227393B1 KR1020200012741A KR20200012741A KR102227393B1 KR 102227393 B1 KR102227393 B1 KR 102227393B1 KR 1020200012741 A KR1020200012741 A KR 1020200012741A KR 20200012741 A KR20200012741 A KR 20200012741A KR 102227393 B1 KR102227393 B1 KR 102227393B1
Authority
KR
South Korea
Prior art keywords
doppler
value
pedestrian
target
feature
Prior art date
Application number
KR1020200012741A
Other languages
English (en)
Inventor
현유진
진영석
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200012741A priority Critical patent/KR102227393B1/ko
Application granted granted Critical
Publication of KR102227393B1 publication Critical patent/KR102227393B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/505—Systems of measurement based on relative movement of target using Doppler effect for determining closest range to a target or corresponding time, e.g. miss-distance indicator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0065—Type of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/60—Doppler effect
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 상기 도플러 스펙트럼 내 최대 신호 크기 및 탐지 거리 값을 프레임 단위로 각각 입력받는 입력부와, 상기 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 상기 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산하는 제1 연산부와, 상기 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P) 및 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P')를 이용하여, 상기 타겟의 신호 크기 변화율인 제3 특징 값(K)을 계산하는 제2 연산부, 및 상기 제1 내지 제3 특징 값(M,N,K)을 이용하여 상기 타겟을 보행자 또는 차량으로 판단하는 검출부를 포함하는 도플러 정보 기반의 보행자 및 차량 인식 장치를 제공한다.
본 발명에 따르면, 레이더 수신 신호로부터 검출된 타겟의 현재 프레임과 직전 프레임의 도플러 스펙트럼을 분석하여 차량과 보행자를 정확하게 분류할 수 있다.

Description

도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법{Apparatus for recognizing pedestrian and vehicle based on doppler information and method thereof}
본 발명은 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 레이더 신호로부터 보행자와 차량을 분류하고 인식할 수 있는 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법에 관한 것이다.
현재 지능형 자동차에서 가장 중요한 요소 중 하나는 외부환경을 인식하는 센서이다. 그중 카메라와 레이더가 사용되고 있다.
카메라는 사람의 눈과 같이 외부 환경을 feature 형태로 보여주고 객체의 종류를 분류 및 인식할 수 있는 장점이 있으나, 빛과 날씨 등 외부 환경에 민감한 단점이 있다.
반면에 레이더 센서는 외부 환경에 강인하고, 타겟의 거리와 속도를 정확하게 탐지할 수 있는 장점이 있다. 하지만 레이더 센서는 객제 분류 인식 기능이 떨어진다.
만약 차량용 레이더가 객체의 종류가 보행자인지 차량인지 구별할 수 있다면, 보행자인 경우에 한해 보다 능동적인 충돌 회피 대처를 수행할 것이며, 아울러 기존의 센서 융합과 비교하여 더욱 성능을 향상시킬 수 있을 것이다.
레이더 센서 기반의 보행자/차량 분류 인식 방법은 크게 2가지가 있다. 하나는 도플러 프로파일 기반의 객체 인식 방법이고, 나머지 하나는 마이크로 도플러 기반의 객체 인식 방법이다.
도 1은 기존의 도플러 프로파일 기반의 객체 인식 기술을 나타낸 도면이다.
도 1의 상단 그림과 하단 그림은 각각 보행자 및 차량에 대한 도플러 프로파일을 나타낸다. 가로축은 도플러에 대응하는 속도 성분을, 세로축은 거리 성분을 나타낸다.
일반적으로 보행자는 몸통, 팔, 다리로부터 다양한 도플러 성분이 반사되기 때문에 도플러 스펙트럼이 도 1의 상단 그림과 같이 옆으로 퍼지게 나타나는 특징을 가진다. 이에 반해 차량은 도 1의 하단 그림과 같이 매우 뾰족한 도플러 스펙트럼을 가지는 것을 알 수 있다.
이처럼, 도플러 프로파일 기반의 기술은 보행자와 차량 간 상이한 도플러 양상을 이용하여 보행자와 차량을 구분한다.
하지만 움직이는 보행자는 반사율이 계속 변하기 때문에, 전력 분포의 변화가 무쌍하며 도플러 스펙트럼 또한 계속 변화한다. 심지어 어떤 경우에는 보행자인 경우에도 차량과 같이 도플러 성분이 뾰족하게도 나타나기도 한다.
따라서, 단순히 도플러 성분이 퍼져있다는 특성만으로는 보행자와 차량을 구별하는 것에는 한계가 있다.
도 2는 기존의 마이크로 도플러 기반의 객체 인식 기술을 나타낸 도면이다.
마이크로 도플러 기반의 기술은 도플러 레이더를 이용하여 이동 타겟으로부터 수신한 도플러의 변화 분포를 시간에 따라 관찰하는 방법을 사용한다. 여기서 가로축은 시간, 세로축은 도플러 편이 주파수를 나타낸다.
하지만, 도플러 레이더를 사용하기 때문에 타겟의 거리 및 각도는 알 수가 없다. 아울러, 타겟을 수백 ms에서 수초 동안 오래 관찰해야 하므로, 실시간성이 매우 떨어지는 단점이 있다.
본 발명의 배경이 되는 기술은 한국등록특허 제2038381호(2019.10.30 공고)에 개시되어 있다.
본 발명은, 레이더 신호로부터 보행자와 차량을 효과적으로 분류하고 인식할 수 있는 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 상기 도플러 스펙트럼 내 최대 신호 크기 및 탐지 거리 값을 프레임 단위로 각각 입력받는 입력부와, 상기 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 상기 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산하는 제1 연산부와, 상기 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P) 및 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P')를 이용하여, 상기 타겟의 신호 크기 변화율인 제3 특징 값(K)을 계산하는 제2 연산부, 및 상기 제1 내지 제3 특징 값(M,N,K)을 이용하여 상기 타겟을 보행자 또는 차량으로 판단하는 검출부를 포함하는 도플러 정보 기반의 보행자 및 차량 인식 장치를 제공한다.
또한, 상기 제3 특징 값(K)은 아래의 수학식에 의해 연산될 수 있다.
Figure 112020011237145-pat00001
또한, 상기 정규화한 신호 크기(P,P') 각각은, 해당 프레임의 도플러 스펙트럼 상에 존재하는 최대 신호 크기를 해당 프레임에서 탐지된 탐지 거리 값의 4 제곱(r4)으로 나누어 연산된 값일 수 있다.
또한, 상기 검출부는, 상기 제1 내지 제3 특징 값(M,N,K)을 기 설정된 임계 값과 비교하여 상기 타겟을 보행자 또는 차량으로 판단하되, 상기 제1 특징 값(M)이 제1 임계 값보다 크거나, 상기 제2 특징 값(N)이 제2 임계 값보다 크거나, 상기 제3 특징 값(K)이 제3 임계 값보다 큰 조건 중 적어도 하나를 만족하면, 상기 타겟을 보행자로 판단할 수 있다.
또한, 상기 검출부는, 상기 제1 특징 값(M)이 상기 제1 임계 값 이하이고, 상기 제2 특징 값(N)이 상기 제2 임계 값 이하이고, 상기 제3 특징 값(K)이 상기 제3 임계 값 이하인 조건을 모두 만족하면, 상기 타겟을 차량으로 판단할 수 있다.
또한, 상기 검출부는, 상기 제1 내지 제3 특징 값(M,N,K)을 기 학습된 머신 러닝 모델에 적용한 결과로부터 상기 타겟을 보행자 또는 차량으로 판단하며, 상기 머신 러닝 모델은, 복수의 차량과 보행자를 포함한 복수의 객체 별 수집된 상기 제1 내지 제3 특징 값을 입력 값으로 하고 해당 객체의 종류를 출력 값으로 하여 사전에 학습될 수 있다.
그리고, 본 발명은 보행자 및 차량 인식 장치를 이용한 보행자 및 차량 인식 방법에 있어서, 레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 상기 도플러 스펙트럼 내 최대 신호 크기 및 탐지 거리 값을 프레임 단위로 각각 입력받는 단계와, 상기 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 상기 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산하는 단계와, 상기 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P) 및 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P')를 이용하여, 상기 타겟의 신호 크기 변화율인 제3 특징 값(K)을 계산하는 단계, 및 상기 제1 내지 제3 특징 값(M,N,K)을 이용하여 상기 타겟을 보행자 또는 차량으로 판단하는 단계를 포함하는 도플러 정보 기반의 보행자 및 차량 인식 방법을 제공한다.
본 발명에 따르면, 레이더 수신 신호로부터 검출된 타겟의 현재 프레임과 직전 프레임의 도플러 스펙트럼을 분석하여 차량과 보행자를 정확하게 분류할 수 있음은 물론, 타겟 분류 과정에서 현재와 직전 프레임의 정보만을 이용하므로 계산량이 적고 실시간 분류가 가능하며 분류 성능 및 속도를 동시에 높일 수 있다.
또한 본 발명은 레이더 수신 신호로부터 탐지된 각 타겟 별로 타겟에 대응한 특징 벡터들을 연산하고 이들 특징 벡터들을 각각의 임계 값과 비교하거나 머신 러닝 모델에 적용하는 방법을 사용하여 타겟을 빠르고 정확하게 분류할 수 있는 이점을 제공한다.
도 1은 기존의 도플러 프로파일 기반의 객체 인식 기술을 나타낸 도면이다.
도 2는 기존의 마이크로 도플러 기반의 객체 인식 기술을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 도플러 정보 기반의 보행자 및 차량 인식 장치가 포함된 레이더 신호 처리 시스템을 나타낸 도면이다.
도 4는 도 3에 도시된 인식 장치의 구성을 간략히 나타낸 도면이다.
도 5는 도 3의 도플러 패턴 분석기에 관한 제1 실시예를 나타낸 도면이다.
도 6 내지 도 8은 본 발명의 실시예에서 도플러 스펙트럼에서 기준 값 이상의 도플러 빈의 개수를 계산하는 예시를 나타낸 도면이다.
도 9는 도 5를 이용한 보행자 및 차량 인식 방법을 설명하는 도면이다.
도 10은 도 3의 도플러 패턴 분석기에 관한 제2 실시예를 나타낸 도면이다.
도 11은 도 10을 이용한 보행자 및 차량 인식 방법을 설명하는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 도플러 정보 기반의 보행자 및 차량 인식 장치가 포함된 레이더 신호 처리 시스템을 나타낸 도면이다.
도 3에 도시된 것과 같이, 레이더 신호 처리 시스템은 크게 탐지 파트, 추적 파트 및 인식 파트로 나뉘어진다. 여기서 인식 파트는 본 발명의 실시예에 따른 보행자 및 차량 인식 장치(100)에 해당한다.
탐지 파트는 레이더 수신 신호로부터 도플러 스펙트럼을 획득하여 제공하며, 타겟의 탐지 결과로 타겟의 거리, 속도, 각도, 신호크기 성분을 추출한다. 하나의 타겟으로부터 여러 개의 반사 정보가 나올 수 있는데, 보행자의 경우 몸통, 다리, 팔 각각으로부터 다양한 도플러 성분이 반사될 수 있다.
추적 파트는 탐지 파트로부터 탐지 결과를 받고, 하나의 타겟으로부터 수신된 여러 개의 반사 정보를 그루핑하며, 탐지 결과의 오차를 줄인다. 추적 파트는 동일한 타겟으로 예측되는 정보들에 대해 동일한 트랙 ID를 붙여주어 트랙 ID 별 정보(거리, 각도, 속도, 신호크기)를 제공한다. 여기서 트랙 ID란 타겟의 ID로 볼 수 있다. 이를 통해 다중 타겟에 대해 타겟의 ID 별로 추적 정보를 제공할 수 있다.
인식 파트는 탐지 파트로부터 도플러 스펙트럼을 수신하며, 도플러 스펙트럼에 대응하는 트랙 ID를 추적 파트로부터 수신한다. 수신된 도플러 스펙트럼은 트랙 ID 별로 각각의 버퍼에 저장된다. 이때, 버퍼의 최대 개수는 L개이며, 이는 레이더 센서가 지원하는 최대 트랙 개수와 동일하다. 통상적으로 상용 레이더는 총 트랙 갯수를 64개 정도 지원한다.
이때, 각각의 버퍼는 총 2개 프레임의 도플러 스펙트럼을 저장하도록 되어 있는데, 즉 현재 프레임의 도플러 스펙트럼과 직전 프레임의 도플러 스펙트럼을 저장하도록 되어 있다. 다음 프레임이 되면, 현재 프레임 정보는 직전 프레임 정보가 되고, 새롭게 들어오는 도플러 스펙트럼이 현재 프레임 정보가 된다.
이렇게 각 버퍼에 저장된 각 트랙 ID의 도플러 스펙트럼은 스위치에 의해 순서대로 선택되어 도플러 패턴 분석기로 전달된 후 객체 종류가 판정된다.
버퍼는 두 가지 종류를 포함하며, 탐지 파트로부터 받은 도플러 스펙트럼을 저장하기 위한 '도플러 버퍼' 파트와 추적 파트로부터 받은 객체 정보를 저장하기 위한 '객체 정보 버퍼' 파트로 구분된다. 이들 두 종류의 버퍼는 서로 병렬적 관계를 가지며 트랙 ID 별로 각각 L개씩 구성된다.
도 4는 도 3에 도시된 인식 장치의 구성을 나타낸 도면이다.
도 4에 도시된 것과 같이, 본 발명의 실시예에 따른 도플러 정보 기반의 보행자 및 차량 인식 장치(100)는 입력부(110), 제1 연산부(120), 제2 연산부(130), 검출부(140)를 포함한다.
입력부(110)는 레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 도플러 스펙트럼 내 최대 신호 크기, 그리고 탐지 거리 값을 프레임 단위로 각각 입력받는다.
레이더 수신 신호에 대해 FFT(Fast Fourier Transform) 등의 주파수 분석을 수행하면 도플러 스펙트럼을 획득할 수 있다. 이와 같이 레이더 수신 신호으로부터 주파수 분석을 통하여 도플러 스펙트럼을 획득하는 것은 기 공지된 기법에 해당하므로 상세한 설명은 생략한다.
여기서, 입력부(110)는 도 3과 같이 각 타겟(트랙 ID) 별로 타겟의 도플러 스펙트럼 정보를 탐지 파트로부터 제공받으며, 해당 타겟의 거리 및 신호 크기 정보를 추적 파트로부터 제공받는다. 물론 이러한 동작은 프레임(시간) 마다 수행된다.
또한, 입력부(110)는 탐지 파트로부터 수신한 도플러 스펙트럼을 도플러 버퍼(112a)에 저장 후 제1 연산부(120)로 전달하고, 추적 파트로부터 수신한 거리 및 신호 크기를 포함한 객체 정보를 객체 정보 버퍼(112b)에 저장 후 제2 연산부(130)로 전달하며 정보 전달 과정에서 스위치를 사용한다.
구체적으로, 입력부(110)는 도 3에 나타낸 것과 같이, 제1 스위치(111), 복수의 버퍼(112) 및 제2 스위치(113)를 포함한다. 여기서 버퍼(112)는 상단에 배치된 L개 도플러 버퍼(112a) 그룹과 하단에 배치된 L개 객체 정보 버퍼(112b) 그룹으로 구분된다.
L개의 도플러 버퍼(112a)는 앞단의 제1 스위치(111a)와 뒷단의 제2 스위치(113a)를 공유하고, L개의 객체 정보 버퍼(112b) 역시 앞단의 제1 스위치(111b)와 뒷단의 제2 스위치(113b)를 공유한다.
여기서, 도플러 버퍼(112a)와 객체 정보 버퍼(112b)은 전달하는 정보의 종류만 서로 상이할 뿐 스위치를 활용하는 데이터 전달 구조와 방식은 동일하다. 따라서 이하에서는 도플러 버퍼(112a)에서의 동작을 대표 예시로 설명한다.
앞단의 제1 스위치(111a)는 입력된 각 타켓의 도플러 스펙트럼을 타겟 ID 별로 개별 선택하여 L개의 도플러 버퍼(112a) 중 하나로 순차로 분배한다. ID 하나당 한 개의 도플러 버퍼(112a)가 할당되므로, 각 도플러 버퍼(112a)에는 한 개 ID에 대한 도플러 스펙트럼이 저장된다.
도플러 버퍼(112a)는 타겟에 대한 현재 프레임과 직전 프레임의 도플러 스펙트럼의 정보 세트를 타겟의 ID 별로 개별 저장한다. 이러한 방법으로, 입력부(110)는 복수의 도플러 버퍼(112a)를 활용하여 각 타겟 별로 현재 프레임과 직전 프레임의 도플러 스펙트럼의 정보 세트를 저장한다.
그리고, 도플러 버퍼(112)는 다음 프레임이 되면, 현재 프레임의 도플러 스펙트럼을 직전 프레임의 정보로 갱신하고, 다음 프레임의 도플러 스펙트럼을 현재 프레임의 정보로 갱신하여 정보 세트를 수정하도록 되어 있다.
제2 스위치(113a)는 L개의 도플러 버퍼(112a) 중 하나를 순차로 선택하여 선택한 도플러 버퍼(112a) 내 저장된 정보 세트를 제1 연산부(120)로 전달한다. 이처럼, 입력부(110)는 각 타겟별 도플러 스펙트럼을 내부 스위치를 통해 순차로 하나씩 선택하여 제1 연산부(120)로 전달한다.
물론, 이와 동일한 원리로, 객체 정보 버퍼(112b) 후단에 위치한 제2 스위치(113b) 역시 L개의 객체 정보 버퍼(112b) 중 하나를 순차로 선택하여 선택한 객체 정보 버퍼(112b) 내 저장된 정보 세트를 제2 연산부(130)로 전달한다.
이처럼, 입력부(110)는 탐지 파트로부터 획득된 각 타겟별 도플러 스펙트럼을 내부 스위치를 통해 순차로 하나씩 선택하여 제1 연산부(120)로 전달하고, 이와 동시에 추적 파트로부터 획득된 각 타겟별 객체 정보(신호 크기, 거리)를 내부 스위치를 통해 순차로 하나씩 선택하여 제2 연산부(130)로 전달한다. 그러면, 제1 및 제2 연산부(120,130)는 이를 토대로 순서대로 연산을 수행하고 검출부(140)는 연산 결과를 활용하여 각 타겟의 종류를 분류한다.
도 5는 도 3의 도플러 패턴 분석기에 관한 제1 실시예를 나타낸 도면이다. 도 5에 도시한 도플러 패턴 분석기는 제1 연산부(120), 제2 연산부(130) 및 검출부(140)를 포함한다.
제1 연산부(120)는 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산한다. 여기서 N = |M-M'|로 정의된다.
상술한 제1 특징 값(M)은 타겟에 대한 현재 프레임의 도플러 스펙트럼이 충분히 넓게 분포되어 있는지에 관한 지표(특징 벡터1)에 해당하고, 제2 특징 값(N)은 현재 프레임의 도플러 스펙트럼과 직전 프레임의 도플러 스펙트럼의 분포 간에 차이가 많이 나는지에 대한 지표(특징 벡터2)에 해당한다. 이와 같은 특징 벡터들을 이용하는 근거는 다음과 같다.
도플러 스펙트럼에서는 도플러 주파수 별로 신호 크기를 확인할 수 있다.
여기서, 현재 프레임의 도플러 스펙트럼에서 기준 값 이상 크기를 갖는 도플러 빈의 개수가 많다면 스펙트럼이 주파수 축에 대해 종형으로 퍼진 것에 해당한다. 이 경우 객체가 보행자일 확률이 높아진다.
이와 같이, 보행자의 경우 주파수 축에 대해 스펙트럼이 종형으로 퍼져 보이는 반면, 차량은 좁은 대역에서 뾰족한 형상으로 보인다. 따라서 현재 도플러 스렉트럼 내의 스펙트럼 분포 형태(제1 특징 값; M)를 이용하여 차량과 보행자를 구분할 수 있다.
다만, 경우에 따라, 보행자인 경우에도 차량처럼 스펙트럼이 뾰족하게 나타나기도 하기 때문에, 본 발명의 실시예는 현재 프레임과 직전 프레임의 도플러 스펙트럼 간 도플러 패턴의 차이(제2 특징 값; N)를 추가적으로 분석하고, 이를 추가로 활용하여 객체 판정의 오류를 최소화할 수 있다.
그리고, 제2 연산부(130)는 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 현재 프레임 상의 탐지 거리 값을 통해 정규화한 신호 크기(P)와, 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 직전 프레임 상의 탐지 거리 값을 통해 정규화한 신호 크기(P')를 각각 연산한다.
또한, 제2 연산부(130)는 현재 프레임에서 얻은 정규화 신호 크기 값(P)과 직전 프레임에서 얻은 정규화 신호 크기 값(P')을 기반으로 아래의 수학식 1과 같이 타겟에 대한 제3 특징 값(K)을 계산한다.
이러한 제3 특징 값은 타겟에 대한 시간에 따른 신호 크기 변화율을 나타내는 지표(특징 벡터3)에 해당한다.
Figure 112020011237145-pat00002
여기서, P는 현재 프레임의 정규화 신호 크기, P'는 직전 프레임의 정규화 신호 크기를 나타낸다.
이때, 정규화 신호 크기(P,P') 각각은, 해당 프레임의 도플러 스펙트럼 상의 주파수별 신호 크기 중에서 가장 높은 최대 신호 크기 값을 해당 프레임 상에서 탐지된 타겟의 거리 값(r)의 4 제곱(r4)으로 나눈 값에 해당한다.
여기서, 신호 크기를 거리의 4 제곱으로 나눈 이유는 레이더 신호 자체가 송신 후 반사되어 돌아오는 두 개의 왕복 경로를 가지며 레이더 신호 크기는 경로당 거리의 제곱(2 제곱)에 반비례하는 특성을 가지기 때문이다.
또한, 타겟의 거리 값을 이용하여 신호 크기를 정규화하는 이유는 다음과 같다. 일반적으로, 보행자의 경우 시간에 따라 도플러 스펙트럼의 모양 뿐 아니라 최소 신호 크기 값도 변화한다. 반면 차량의 경우 거의 대부분 도플러 스펙트럼의 모양이 뾰족하게 유지되며 신호 크기도 일정하게 유지된다. 따라서 타겟의 신호 크기 변화율이 임계 이상인 경우 해당 타겟은 사람으로 분류될 수 있다.
다만, 레이더 수신 신호의 크기는 객체의 떨어진 거리에 따라 달라지고 객체의 크기와 재질에 따라서도 달라진다. 따라서 단순히 현재와 직전 프레임의 신호 크기의 차이만을 이용하여 특징 벡터3을 구한다면 성능 향상을 기대하기 어렵다.
따라서, 본 발명의 실시예는, 직전 프레임과 현재 프레임의 수신된 신호 크기를 거리 값으로 정규화하는 계산을 진행한 후에, 직전 프레임과 현재 프레임 간의 정규화 신호 크기 변화율을 계산하여 이를 제3 특징 값으로 활용한다. 물론 앞서 설명한 바와 같이 제3 특징 값이 클수록 해당 객체가 사람일 확률이 높아지게 된다.
이후, 검출부(140)는 제1 내지 제3 특징 값(M,N,K)을 활용하여, 해당 타겟이 보행자 또는 차량으로 판단하고 각 타겟의 종류를 분류한다. 여기서 검출부(140)는 제1 내지 제3 특징 값(M,N,K)을 기 설정된 임계 값과 비교하여 타겟을 보행자 또는 차량으로 판단한다.
구체적으로 도 5의 경우 검출부(140)는 제1 특징 값(M)이 제1 임계 값(Mhuman)보다 크거나, 제2 특징 값(N)이 제2 임계 값(Nhuman)보다 크거나, 제3 특징 값(K)이 제3 임계 값(Khuman)보다 큰 조건 중 적어도 하나의 조건을 만족하면, 타겟을 보행자로 판단한다. 즉, 검출부(140)는 세 가지 조건(M>Mhuman, N>Nhuman, K>Khuman) 중 어느 하나의 조건만 만족하면, 해당 타겟을 보행자로 판단한다.
그러나 검출부(140)는 상술한 세 가지 조건을 모두 만족하지 않는 경우, 즉 제1 특징 값(M)이 제1 임계 값 이하이고, 제2 특징 값(N)이 제2 임계 값 이하이고, 제3 특징 값(K)이 제3 임계 값 이하이면(M≤Mhuman & N≤Nhuman & K≤Khuman'), 타겟을 차량으로 판단한다.
도 6 내지 도 8은 본 발명의 실시예에서 도플러 스펙트럼에서 기준 값 이상의 도플러 빈의 개수를 계산하는 예시를 나타낸 도면이다.
이러한 도 6 내지 도 8에서 (a)와 (b)는 각각 타겟에 대한 현재 프레임의 도플러 스펙트럼과, 직전 프레임의 도플러 스펙트럼을 예시한 것이다. 가로축은 도플러 주파수, 세로축은 신호 크기(magnitude)를 나타내며, Th는 기준값 크기를 나타낸다.
이하에서 설명의 편의상 제1 임계 개수(Mhuman)은 4이고 제2 임계 개수(Nhuman)은 5인 것을 예시한다. 각각의 임계 개수는 도플러 스펙트럼의 주파수 스케일이나 분해능 등에 의해 달라질 수도 있다.
도 6은 현재 프레임의 도플러 스펙트럼에서 기준값(Th) 이상의 도플러 빈의 개수 M=2이고, 직전 프레임의 도플러 스펙트럼에서 기준값(Th) 이상의 도플러 빈의 개수 M'=8인 경우이므로, N=6이 된다. 즉, 도 6의 경우 세 가지 조건(M>Mhuman, N>Nhuman, K>Khuman) 중 어느 하나(N>Nhuman)를 만족하는 상황이므로 해당 타겟은 보행자로 판단된다.
물론, 도 6의 (a)와 (b)가 서로 반대인 경우는, M=8, L=2, N=6이 되는데, 이때는 세 가지 조건 중 두 가지 조건(M>Mhuman, N>Nhuman)을 만족하므로, 이 역시 해당 타겟은 보행자로 판단될 수 있다. 이처럼, 현재와 이전 프레임 중 어느 하나에서 임계 이상의 크기로 퍼져있는 스펙트럼 패턴을 보여주는 경우 해당 타겟은 보행자로 판정되어 진다.
도 7은 M=2, L=3, N=1인 경우로서, 두 조건(M>Mhuman, N>Nhuman) 중 어느 하나도 만족하지 못한다. 여기서 만일 K>Khuman를 만족하였다면 해당 타겟은 차량으로 판정될 것이며, 그렇지 않은 경우에는 해당 타겟은 차량으로 판정될 것이다. 그리고, 도 8은 M=8, M'=8, N=0인 경우로서, 세 가지 조건(M>Mhuman, N>Nhuman, K>Khuman) 중 어느 하나(M>Mhuman)를 만족하는 상황이므로 해당 타겟은 보행자로 판단된다.
도 9는 도 5를 이용한 보행자 및 차량 인식 방법을 설명하는 도면이다.
먼저, 입력부(110)는 레이더 수신 신호로부터 각 타겟에 대한 도플러 스펙트럼, 최대 신호 크기, 거리 값을 프레임 단위로 각각 입력받는다(S910). 그리고, 입력부(110)는 도플러 스펙트럼을 제1 연산부(120)로 전달하고, 최대 신호 크기 및 거리 값을 제2 연산부(130)로 전달한다.
그러면, 제1 연산부(120)는 입력된 도플러 스펙트럼을 이용하여 타겟에 대한 제1 및 제2 특징 값(M,N)을 계산하고, 제2 연산부(130)는 입력된 최대 신호 크기 및 탐지 거리에 대한 정보를 바탕으로 타겟에 대한 제3 특징 값(K)을 계산한다(S920).
이후에는 제1 내지 제3 특징 값(M,N,K)을 기 설정된 임계 값과 비교하고, 이를 바탕으로 타겟을 보행자 또는 차량으로 판단하는 과정을 거친다.
구체적으로, 검출부(140)는 M>Mhuman을 만족하는지 판단한다(S930). 만일, M>Mhuman 이면 타겟을 보행자로 판정한다(S940). 하지만, M>Mhuman을 만족하지 않는 경우에는 N>Nhuman을 만족하는지 판단한다(S950). 이때, N>Nhuman를 만족하면 타겟을 보행자로 판정한다(S940).
하지만, N>Nhuman도 만족하지 않으면 k>khuman을 만족하는지 판단하며(S960), k>khuman을 만족하면 타겟을 보행자로 판정하고(S940), 그렇지 않으면 해당 타겟을 차량으로 판정한다(S970).
본 발명의 실시예는 특징 벡터들의 OR 연산을 이용하여 객체를 분류하는 것도 가능하지만, 타겟에 대응하여 획득한 3가지 특징 벡터를 기 학습된 머신 러닝에 적용하는 방식을 이용하여 객체를 분류하는 것도 가능하다. 이를 이용하면 보다 향상된 객체 분류 성능을 얻을 수 있다.
도 10은 도 3의 도플러 패턴 분석기에 관한 제2 실시예를 나타낸 도면이다. 이러한 도 10에서 입력부(110), 제1 연산부(120), 제2 연산부(130)의 기능은 앞서 상술한 것과 동일하므로 중복된 설명은 생략한다.
도 10에서 검출부(140)는 해당 타겟에 대응하여 획득된 제1 내지 제3 특징 값(M,N,K)을 미리 학습된 머신 러닝 모델에 적용하여 해당 타겟을 보행자 또는 차량으로 판단한다.
여기서, 머신 러닝 모델은 복수의 객체 별로 수집된 제1 내지 제3 특징 값을 입력 값으로 하고 해당 객체의 종류를 출력 값으로 하여 사전에 학습된다. 여기서 물론 복수의 객체란 복수의 보행자 및 복수의 차량을 포함한다. 이러한 머신 러닝 모델은 신경망을 통하여 구현될 수 있다.
많은 수의 차량 및 보행자 각각을 대상으로 획득된 특징 값들을 이용하여 머신 러닝 모델이 충분히 학습되면, 임의 타겟에 대응하여 획득한 세 가지 특징값(M,N,K)을 해당 머신 러닝 모델에 입력하는 것만으로 객체 분류 결과를 빠르게 도출해낼 수 있다.
도 11은 도 10를 이용한 보행자 및 차량 인식 방법을 설명하는 도면이다.
먼저, 입력부(110)는 레이더 수신 신호로부터 각 타겟에 대한 도플러 스펙트럼, 최대 신호 크기, 거리 값을 프레임 단위로 각각 입력받는다(S1110). 그리고 입력부(110)는 도플러 스펙트럼을 제1 연산부(120)로 전달하고, 최대 신호 크기 및 거리 값을 제2 연산부(130)로 전달한다.
그러면 제1 연산부(120)는 입력된 도플러 스펙트럼을 이용하여 타겟에 대한 제1 및 제2 특징 값(M,N)을 계산하고, 제2 연산부(130)는 입력된 최대 신호 크기 및 탐지 거리에 대한 정보를 바탕으로 타겟에 대한 제3 특징 값(K)을 계산한다(S1120).
이후, 제1 내지 제3 특징 값(M,N,K)을 미리 학습된 머신 러닝 모델에 적용하고(S1130), 머신 러닝 모델에서 출력되는 분류 결과로부터 타겟이 차량 또는 보행자인지를 판단된다(S1140).
이상과 같은 본 발명에 따르면, 레이더 수신 신호로부터 검출된 타겟의 현재 프레임과 직전 프레임의 도플러 스펙트럼을 분석하여 차량과 보행자를 정확하게 분류할 수 있음은 물론, 타겟 분류 과정에서 현재와 직전 프레임의 정보만을 이용하므로 계산량이 적고 실시간 분류가 가능하며 분류 성능 및 속도를 동시에 높일 수 있다.
또한 본 발명은 레이더 수신 신호로부터 탐지된 각 타겟 별로 타겟에 대응한 특징 벡터들을 연산하고 이들 특징 벡터들을 각각의 임계 값과 비교하거나 머신 러닝 모델에 적용하는 방법을 사용하여 타겟을 빠르고 정확하게 분류할 수 있는 이점을 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 보행자 및 차량 인식 장치 110: 입력부
111a,111b: 제1 스위치 112a,112b: 버퍼
113a,113b: 제2 스위치 120: 제1 연산부
130: 제2 연산부 140: 검출부

Claims (12)

  1. 레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 상기 도플러 스펙트럼 내 최대 신호 크기 및 탐지 거리 값을 프레임 단위로 각각 입력받는 입력부;
    상기 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 상기 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산하는 제1 연산부;
    상기 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P) 및 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P')를 이용하여, 상기 타겟의 신호 크기 변화율인 제3 특징 값(K)을 계산하는 제2 연산부; 및
    상기 제1 내지 제3 특징 값(M,N,K)을 이용하여 상기 타겟을 보행자 또는 차량으로 판단하는 검출부를 포함하는 도플러 정보 기반의 보행자 및 차량 인식 장치.
  2. 청구항 1에 있어서,
    상기 제3 특징 값(K)은 아래의 수학식에 의해 연산되는 도플러 정보 기반의 보행자 및 차량 인식 장치.
    Figure 112020011237145-pat00003
  3. 청구항 1에 있어서,
    상기 정규화한 신호 크기(P,P') 각각은,
    해당 프레임의 도플러 스펙트럼 상에 존재하는 최대 신호 크기를 해당 프레임에서 탐지된 탐지 거리 값의 4 제곱(r4)으로 나누어 연산된 값인 도플러 정보 기반의 보행자 및 차량 인식 장치.
  4. 청구항 1에 있어서,
    상기 검출부는,
    상기 제1 내지 제3 특징 값(M,N,K)을 기 설정된 임계 값과 비교하여 상기 타겟을 보행자 또는 차량으로 판단하되,
    상기 제1 특징 값(M)이 제1 임계 값보다 크거나, 상기 제2 특징 값(N)이 제2 임계 값보다 크거나, 상기 제3 특징 값(K)이 제3 임계 값보다 큰 조건 중 적어도 하나를 만족하면, 상기 타겟을 보행자로 판단하는 도플러 정보 기반의 보행자 및 차량 인식 장치.
  5. 청구항 4에 있어서,
    상기 검출부는,
    상기 제1 특징 값(M)이 상기 제1 임계 값 이하이고, 상기 제2 특징 값(N)이 상기 제2 임계 값 이하이고, 상기 제3 특징 값(K)이 상기 제3 임계 값 이하인 조건을 모두 만족하면, 상기 타겟을 차량으로 판단하는 도플러 정보 기반의 보행자 및 차량 인식 장치.
  6. 청구항 1에 있어서,
    상기 검출부는,
    상기 제1 내지 제3 특징 값(M,N,K)을 기 학습된 머신 러닝 모델에 적용한 결과로부터 상기 타겟을 보행자 또는 차량으로 판단하며,
    상기 머신 러닝 모델은,
    복수의 차량과 보행자를 포함한 복수의 객체 별 수집된 상기 제1 내지 제3 특징 값을 입력 값으로 하고 해당 객체의 종류를 출력 값으로 하여 사전에 학습된 도플러 정보 기반의 보행자 및 차량 인식 장치.
  7. 보행자 및 차량 인식 장치를 이용한 보행자 및 차량 인식 방법에 있어서,
    레이더 수신 신호로부터 탐지된 각 타겟에 대한 도플러 스펙트럼, 상기 도플러 스펙트럼 내 최대 신호 크기 및 탐지 거리 값을 프레임 단위로 각각 입력받는 단계;
    상기 타겟에 대한 현재 프레임의 도플러 스펙트럼에서 기준값 이상의 도플러 빈의 개수인 제1 특징 값(M)을 계산한 다음, 직전 프레임의 도플러 스펙트럼에서 기 계산된 기준값 이상의 도플러 빈의 개수(M')와 상기 제1 특징 값(M) 간의 차이인 제2 특징 값(N)을 계산하는 단계;
    상기 현재 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P) 및 직전 프레임의 도플러 스펙트럼 내 최대 신호 크기를 상기 탐지 거리 값을 통해 정규화한 신호 크기(P')를 이용하여, 상기 타겟의 신호 크기 변화율인 제3 특징 값(K)을 계산하는 단계; 및
    상기 제1 내지 제3 특징 값(M,N,K)을 이용하여 상기 타겟을 보행자 또는 차량으로 판단하는 단계를 포함하는 도플러 정보 기반의 보행자 및 차량 인식 방법.
  8. 청구항 7에 있어서,
    상기 제3 특징 값(K)은 아래의 수학식에 의해 연산되는 도플러 정보 기반의 보행자 및 차량 인식 방법.
    Figure 112021500696711-pat00004
  9. 청구항 7에 있어서,
    상기 정규화한 신호 크기(P,P') 각각은,
    해당 프레임의 도플러 스펙트럼 상에 존재하는 최대 신호 크기를 해당 프레임에서 탐지된 탐지 거리 값의 4 제곱(r4)으로 나누어 연산된 값인 도플러 정보 기반의 보행자 및 차량 인식 방법.
  10. 청구항 7에 있어서,
    상기 판단하는 단계는,
    상기 제1 내지 제3 특징 값(M,N,K)을 기 설정된 임계 값과 비교하여 상기 타겟을 보행자 또는 차량으로 판단하되,
    상기 제1 특징 값(M)이 제1 임계 값보다 크거나, 상기 제2 특징 값(N)이 제2 임계 값보다 크거나, 상기 제3 특징 값(K)이 제3 임계 값보다 큰 조건 중 적어도 하나를 만족하면, 상기 타겟을 보행자로 판단하는 도플러 정보 기반의 보행자 및 차량 인식 방법.
  11. 청구항 10에 있어서,
    상기 판단하는 단계는,
    상기 제1 특징 값(M)이 상기 제1 임계 값 이하이고, 상기 제2 특징 값(N)이 상기 제2 임계 값 이하이고, 상기 제3 특징 값(K)이 상기 제3 임계 값 이하인 조건을 모두 만족하면, 상기 타겟을 차량으로 판단하는 도플러 정보 기반의 보행자 및 차량 인식 방법.
  12. 청구항 7에 있어서,
    상기 판단하는 단계는,
    상기 제1 내지 제3 특징 값(M,N,K)을 기 학습된 머신 러닝 모델에 적용한 결과로부터 상기 타겟을 보행자 또는 차량으로 판단하며,
    상기 머신 러닝 모델은,
    복수의 차량과 보행자를 포함한 복수의 객체 별 수집된 상기 제1 내지 제3 특징 값을 입력 값으로 하고 해당 객체의 종류를 출력 값으로 하여 사전에 학습된 도플러 정보 기반의 보행자 및 차량 인식 방법.
KR1020200012741A 2020-02-03 2020-02-03 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법 KR102227393B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012741A KR102227393B1 (ko) 2020-02-03 2020-02-03 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012741A KR102227393B1 (ko) 2020-02-03 2020-02-03 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102227393B1 true KR102227393B1 (ko) 2021-03-15

Family

ID=75134371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012741A KR102227393B1 (ko) 2020-02-03 2020-02-03 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102227393B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102684817B1 (ko) * 2021-11-30 2024-07-15 재단법인대구경북과학기술원 도플러 레이더를 기반으로 하는 보행자 인식 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016148515A (ja) * 2015-02-10 2016-08-18 株式会社豊田中央研究所 レーダ装置
US20170254882A1 (en) * 2014-07-29 2017-09-07 Valeo Schalter Und Sensoren Gmbh Method for classifying an object in an area surrounding a motor vehicle, driver assistance system and motor vehicle
US20190318162A1 (en) * 2018-04-11 2019-10-17 Aptiv Technologies Limited Method for the recognition of a moving pedestrian
KR102038381B1 (ko) * 2017-12-27 2019-10-30 재단법인대구경북과학기술원 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170254882A1 (en) * 2014-07-29 2017-09-07 Valeo Schalter Und Sensoren Gmbh Method for classifying an object in an area surrounding a motor vehicle, driver assistance system and motor vehicle
JP2016148515A (ja) * 2015-02-10 2016-08-18 株式会社豊田中央研究所 レーダ装置
KR102038381B1 (ko) * 2017-12-27 2019-10-30 재단법인대구경북과학기술원 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법
US20190318162A1 (en) * 2018-04-11 2019-10-17 Aptiv Technologies Limited Method for the recognition of a moving pedestrian

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bartsch 외 2명. Pedestrian recognition using automotive radar sensors. Advances in Radio Science. 2012. *
Rizik, Ali, et al. Feature Extraction for Human-Vehicle Classification in FMCW Radar. 2019 26th IEEE ICECS. IEEE. 2019. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102684817B1 (ko) * 2021-11-30 2024-07-15 재단법인대구경북과학기술원 도플러 레이더를 기반으로 하는 보행자 인식 장치 및 그 방법

Similar Documents

Publication Publication Date Title
Brodeski et al. Deep radar detector
AU2015271047B2 (en) Data fusion analysis for maritime automatic target recognition
JP6223504B1 (ja) レーダ装置およびこれを用いたセンサフュージョン装置
CN111123212B (zh) 一种基于复杂杂波背景下的场面监视雷达的信号处理方法
CN115691026A (zh) 一种森林防火的智能预警监控管理方法
US11500055B2 (en) Detection method and detection apparatus
CN101136141A (zh) 基于单频连续波雷达的车型分类方法
CN107909027A (zh) 一种具有遮挡处理的快速人体目标检测方法
CN111239727A (zh) 一种乘客计数方法及通信设备
CN112285698B (zh) 一种基于雷达传感器的多目标跟踪装置及方法
KR102227393B1 (ko) 도플러 정보 기반의 보행자 및 차량 인식 장치 및 그 방법
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN115657005A (zh) 一种基于多普勒雷达多信息融合的无人机识别方法
KR102038381B1 (ko) 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법
KR101234192B1 (ko) 바이스태틱 레이더의 송수신 각도 추출 장치
KR20220141748A (ko) 레이더 신호로부터 표적 정보를 추출하는 방법 및 컴퓨터 판독가능 저장 매체
JP2002323559A (ja) レーダ用信号処理装置
CN110940959B (zh) 一种用于低分辨雷达地面目标的人车分类识别方法
KR102120812B1 (ko) 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
Liu et al. Micro-doppler feature and image based human activity classification with FMCW radar
CN109375205B (zh) 基于字典学习的多种类无人机场景识别方法及装置
KR102320594B1 (ko) 장거리 고속 고가속도 표적 탐지를 위한 레이더 신호 처리 방법 및 그를 위한 장치
US11846702B2 (en) Image processing device and image processing method
JP4682535B2 (ja) 目標類別方法および装置
CN112731388A (zh) 一种基于有效散射点能量积累的目标检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant