KR102120812B1 - 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법 - Google Patents

카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법 Download PDF

Info

Publication number
KR102120812B1
KR102120812B1 KR1020180163143A KR20180163143A KR102120812B1 KR 102120812 B1 KR102120812 B1 KR 102120812B1 KR 1020180163143 A KR1020180163143 A KR 1020180163143A KR 20180163143 A KR20180163143 A KR 20180163143A KR 102120812 B1 KR102120812 B1 KR 102120812B1
Authority
KR
South Korea
Prior art keywords
target
probability
class
classification
camera
Prior art date
Application number
KR1020180163143A
Other languages
English (en)
Inventor
현유진
진영석
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020180163143A priority Critical patent/KR102120812B1/ko
Application granted granted Critical
Publication of KR102120812B1 publication Critical patent/KR102120812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 레이더 수신 신호의 매 프레임마다 판단된 소정 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력하는 레이더 신호 처리부와, 카메라 영상 신호의 매 프레임마다 판단된 상기 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력하는 카메라 신호 처리부, 및 상기 타겟에 대한 상기 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, 상기 N개 결과값 중에서 최대값을 도출한 클래스를 상기 타겟의 종류로 최종 분류하는 융합 판단부를 포함하는 타겟 인지 및 분류 시스템을 제공한다.
본 발명에 따르면, 확률 분포 기반의 카메라-레이더 융합 기법을 사용하여 타겟 인지 및 분류 성능을 높일 수 있으며, 지능형 자동차는 물론 다양한 객체 감시 시스템에도 활용될 수 있는 이점이 있다.

Description

카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법{Target recognition and classification system based on probability fusion of camera-radar and method thereof}
본 발명은 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 확률 분포 기반의 카메라-레이더 융합 기법을 사용하여 타겟 인지 및 분류 성능을 높일 수 있는 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법에 관한 것이다.
지능형 자동차에서 가장 중요한 요소는 외부 환경을 인식하는 센서이다. 외부 환경을 인식하는 센서로는 카메라 센서(이하, 카메라) 및 레이더 센서(이하, 레이더)가 대표적이다.
도 1은 기존의 레이더 신호 처리 구조를 예시한 도면이다. 도 1에 도시된 것과 같이 기존의 레이더 신호 처리 구조는 타겟 탐지단, 타겟 추적단, 그리고 타겟 인지/분류단을 포함한다.
실질적으로 최근의 레이더 구조는 대부분 타겟 탐지단 및 타겟 추적단으로만 구성되어 있으며, 타겟 인지/분류 기능이 탑재된 상용품은 거의 전무하다. 하지만 이하에서는 도 1에서와 같이 타겟 인지/분류단이 탑재된 것을 기존 레이더로 간주하고 설명한다.
타겟 탐지단은 레이더 수신 신호를 기반으로 타겟의 거리, 각도, 속도, 신호 크기를 포함한 탐지 결과를 추출하여 타겟 추적단으로 보낸다. 타겟 추적단은 매 프레임마다 탐지되는 결과를 기반으로 동일 타겟으로 간주되는 것들에 '트랙 ID'(타겟 ID)를 부여한 다음 클러터를 제거하고 탐지 오류를 보정하는 역할을 담당한다. 이를 통해, 타겟 추적단은 '트랙 ID', '거리', '각도', '속도', '신호크기'를 포함한 추적 결과를 출력한다.
타겟 인지/분류단은 타겟 탐지단으로부터 전송받은 주파수 스펙트럼으로 구성된 프로파일과 타겟 추적단으로부터 전송받은 추적 결과를 기반으로 타겟의 인지 및 분류를 수행한다. 그 결과, 타겟 인지/분류단은 '트랙 ID', '거리', '각도', '속도', '신호크기', '클래스'를 포함한 최종결과를 출력한다. 여기서, 물론 클래스는 인식 판정된 타겟의 종류를 나타낸다.
도 2는 도 1을 통한 실제 풍경에 대한 레이더 탐지 및 추적 결과를 예시한 도면이다.
도 2는 설명의 편의를 위해, 현재 시점 't'을 기준으로 직전 프레임 't-1' 및 그에 대한 직전 프레임 't-2'의 장면을 함께 도시하였다. 도 2의 상단 그림은 각각의 프레임에서 획득된 실제 풍경을 나타내고 하단 그림은 그에 대한 레이더 탐지/추적 결과를 나타낸다.
하단 그림에서 각각의 동그라미는 탐지 결과를 나타낸다. 추적 단계에서는 연속된 프레임의 상관 관계를 분석하여, 탐지 단계에서 제거되지 못한 나머지 클러터를 제거하고, 동일 타겟들에게 동일 '트랙 ID'를 부여하는 작업을 수행한다.
예를 들어, 검정색 동그라미는 타겟 탐지단에 의한 탐지 단계에서는 출력되었지만, 타겟 추적단에 의한 추적 단계에서는 살아남지 못하고 클러터로 간주된 것들이다. 빨간색 동그라미는 '트랙 ID' 1을 부여받은 이동 타겟(여기서는 자전거)이며, 파란색 동그라미는 '트랙 ID' 2와 3을 각각 부여받은 정지 타겟(여기서는 바위와 벤치)을 나타낸다.
이후, 타겟 인지/분류단에 의한 타겟 인식 단계에서는 '트랙 ID' 1에 대해 이륜차로 인식 판정할 것이고, '트랙 ID' 2와 3에 대해 각각 '그 외 타겟'으로 판정할 수 있다.
도 3은 도 1에서 타겟 인지/분류단이 없는 경우에 대한 탐지 및 추적 결과를 나타낸 도면이다. 이러한 도 3은 현재 시점 t부터 m번째의 과거 프레임 t-m까지의 탐지 및 추적 결과를 나타낸다. 각 프레임에서의 결과는 '트랙 ID', '거리', '속도', '각도', '신호크기'로 구성되며, 레이더마다 지원하는 총 트랙 개수만큼 동일한 패킷이 구성된다.
도 4는 도 1과 같이 타겟 인지/분류단이 있는 경우에 대한 탐지 및 추적 결과를 나타낸 도면이다. '트랙 ID', '거리', '속도', '각도', '신호크기', '클래스'로 구성되며, 레이더마다 지원하는 총 트랙 개수만큼 동일한 패킷이 구성된다. 여기서, '클래스'는 레이더의 스펙마다 다른데, 예를 들면 어떤 레이더는 '사람', '차량', '그 외 타겟'를 포함한 3가지 종류로 객체를 분류할 수 있다
상술한 바와 같이, 기존의 일반적인 레이더는 '탐지', '추적', '인지/분류' 단계를 통해, 타겟의 위치, 속도, 그리고 종류를 판단한다. 이러한 판단은 각 프레임마다 매번 반복된다. 이러한 기본적인 방법에는 몇 가지 한계점이 있다.
우선, 각 프레임 간의 연관성 부족 문제가 존재한다. 예를 들면, 분명히 동일한 '트랙 ID'임에도 불구하고 't-2'와 't-1' 번째 프레임에서는 '사람'이라고 판정됐음에도 불구하고 현재 t 시점에서는 신호에 잡음이 많이 발생해서 '그 외 타겟'이라고 판정될 수도 있다. 따라서 동일 '트랙 ID'에서는 과거의 연속된 프레임의 타겟 인지/분류 값들을 확인하여 반영할 필요가 있다.
다음으로 '인지/분류' 단계의 확률적 특성이 반영되지 않는다는 점이다. 예를 들어, 레이더 센서에서 특정 타겟에 대해 '사람'이라고 판정할 확률이 51%이고 '차량'이라고 판정할 확률이 49%라고 판정된 경우, 최종 '인지/분류' 단계의 출력은 '차량'으로 결정할 수 있다.
그런데, 카메라 센서에서는 동일 타겟에 대해 55%의 확률로 '사람'이라고 판정을 하고, 45%의 확률로 '차량'이라고 결정한 것으로 가정하면, 카메라는 '사람', 레이더는 '차량'이라는 결정을 내고 있으므로, 추후 카메라-레이더 융합 과정에서 두 결과가 서로 배타적 상황에 놓여 매우 곤란한 상황이 발생한다.
본 발명의 배경이 되는 기술은 한국공개특허 제2017-002163호(2017.02.28. 공개)에 개시되어 있다.
본 발명은 확률 분포 기반으로 카메라 및 레이더의 출력을 융합하여 타겟 인지 및 분류 성능을 높일 수 있는 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 레이더 수신 신호의 매 프레임마다 판단된 소정 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력하는 레이더 신호 처리부와, 카메라 영상 신호의 매 프레임마다 판단된 상기 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력하는 카메라 신호 처리부, 및 상기 타겟에 대한 상기 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, 상기 N개 결과값 중에서 최대값을 도출한 클래스를 상기 타겟의 종류로 최종 분류하는 융합 판단부를 포함하는 타겟 인지 및 분류 시스템을 제공한다.
또한, 상기 N개 확률값 중 n번째 확률값은, 상기 현재 프레임과 m개 과거 프레임을 포함한 1+m개 프레임에서 각각 구해진 상기 타겟에 대한 n번째 클래스의 분류 확률을 평균하여 획득되며, 아래의 수학식으로 표현될 수 있다.
Figure 112018126543251-pat00001
여기서, i={r,c}, Pr,n은 상기 제1 클래스 판단 확률 분포에 포함된 n번째 확률 값, Pc,n는 상기 제2 클래스 판단 확률 분포에 포함된 n번째 확률 값, n={1,2,…,N}을 나타낸다.
또한, 상기 융합 판단부는, 제1 클래스 판단 확률 분포 및 상기 제2 클래스 판단 확률 분포에 대해, 상기 레이더 및 상기 카메라에 각각 대응된 제1 및 제2 가중치를 적용한 후에 동일 클래스끼리 그룹핑하여 상기 N개의 결과값을 획득하며, 상기 제1 및 제2 가중치의 합은 1일 수 있다.
또한, 상기 융합 판단부는, 상기 타겟이 기 설정된 임계 거리 이상에 위치하거나, 상기 카메라의 렌즈가 광각 렌즈이거나, 주변의 조도가 임계값 미만인 경우, 상기 제1 가중치를 상기 제2 가중치보다 높게 설정할 수 있다.
또한, 상기 융합 판단부는, 상기 N개의 클래스 중 기 설정된 관심 클래스를 제외한 기타 클래스에 대해서는 상기 제2 가중치를 상기 제1 가중치보다 높게 설정할 수 있다.
또한, 상기 N개의 결과값 중 n번째 결과값은 아래의 수학식으로 표현될 수 있다.
Figure 112018126543251-pat00002
여기서, W는 가중치를 나타낸다.
또한, 상기 레이더 신호 처리부 및 카메라 신호 처리부 각각은, 해당 타겟에 대해 상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 더 출력하며, 상기 융합 판단부는, 상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 상호 비교하여 동일 타겟에 해당하는 클래스 판단 확률 분포끼리 상호 페어링한 후 타겟 분류를 수행할 수 있다.
그리고, 본 발명은, 타겟 인지 및 분류 시스템을 이용한 타겟 인지 및 분류 방법에 있어서, 레이더 수신 신호의 매 프레임마다 판단된 소정 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력하는 단계와, 카메라 영상 신호의 매 프레임마다 판단된 상기 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력하는 단계, 및 상기 타겟에 대한 상기 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, 상기 N개 결과값 중에서 최대값을 도출한 클래스를 상기 타겟의 종류로 최종 분류하는 단계를 포함하는 타겟 인지 및 분류 방법을 제공한다.
본 발명에 따르면, 확률 분포 기반의 카메라-레이더 융합 기법을 사용하여 타겟 인지 및 분류 성능을 높일 수 있으며, 지능형 자동차는 물론 다양한 객체 감시 시스템에도 활용될 수 있는 이점이 있다.
도 1은 기존의 레이더 신호 처리 구조를 예시한 도면이다.
도 2는 도 1을 통한 실제 풍경에 대한 레이더 탐지 및 추적 결과를 예시한 도면이다.
도 3은 도 1에서 타겟 인지/분류단이 없는 경우에 대한 탐지 및 추적 결과를 나타낸 도면이다.
도 4는 도 1과 같이 타겟 인지/분류단이 있는 경우에 대한 탐지 및 추적 결과를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템을 간략히 나타낸 도면이다.
도 6은 본 발명의 실시예에서 매 프레임마다 타겟에 대한 N개 클래스별 분류 확률을 구한 결과를 기초로 클래스 판단 확률 분포 결과를 출력하는 것을 설명한 도면이다.
도 7은 도 5의 레이더 신호 처리부에서 각 타겟 별로 도출한 분석 결과를 설명하는 도면이다.
도 8은 도 5의 레이더 신호 처리부에서 확률 누적 기반의 출력 결과를 도출하는 개념을 설명하는 도면이다.
도 9는 본 발명의 실시예에 따라 동일 객체를 페어링한 결과를 나타낸 도면이다.
도 10은 본 발명의 실시예에서 확률 분포 기반의 센서 융합 기법을 설명하는 도면이다.
도 11은 도 5에 도시된 시스템을 이용한 타겟 인지 및 분류 방법을 설명하는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템을 간략히 나타낸 도면이다.
도 5에 나타낸 것과 같이, 본 발명의 실시예에 따른 확률 융합에 기반한 타겟 인지 및 분류 시스템(100)은 크게 레이더 신호 처리부(110), 카메라 신호 처리부(120), 그리고 융합 판단부(130)를 포함하여 구성된다.
레이더 신호 처리부(110)는 레이더 센서 내에 포함될 수 있으며, 카메라 신호 처리부(120)는 카메라 센서 내에 포함될 수 있다. 따라서 이 경우 레이더 센서는 탐지한 레이더 수신 신호를 레이더 신호 처리부(110)를 통해 처리 및 분석할 수 있으며, 카메라 센서는 획득한 카메라 영상 신호를 카메라 신호 처리부(120)를 통해 처리 및 분석할 수 있다.
물론, 레이더 신호 처리부(110)는 레이더 센서(이하, 레이더)와 연결되어 레이더로부터 받은 레이더 수신 신호를 분석할 수 있으며, 카메라 신호 처리부(120)는 카메라 센서와 연결되어 카메라로부터 받은 카메라 영상 신호를 분석할 수 있다.
이하에서는 레이더 신호 처리부(110)와 카메라 신호 처리부(120)는 레이더 센서(이하, 레이더) 및 카메라 센서(이하, 카메라) 내에 각각 포함된 것을 가정하여 설명한다.
본 발명의 실시예에서 레이더 신호 처리부(110)는 레이더 수신 신호룰 분석하여 각각의 타겟 별로 '트랙 ID', '거리', '각도', '속도', '신호크기', 그리고 '클래스 판단 확률 분포'를 출력할 수 있다. 그리고, 카메라 신호 처리부(120)는 카메라 영상 신호를 분석하여 각각의 타겟 별로 '트랙 ID', 'X-좌표', 'Y-좌표', '클래스 판단 확률 분포'를 출력할 수 있다.
이때, 레이더 수신 신호를 분석하여 타겟을 탐지하고 타겟 별로 트랙 ID를 부여하여 거리, 각도, 속도, 신호크기를 추출하는 것은 기 공지된 기법에 해당하므로 상세한 설명은 생략한다. 또한, 카메라 영상 신호를 분석하여 타겟 탐지하고 타겟 별로 트랙 ID를 부여하고 좌표를 추출하는 것은 기 공지된 기법에 해당하므로 상세한 설명은 생략한다.
이하에서 레이더에 기반한 클래스 판단 확률 분포는 제1 클래스 판단 확률 분포, 카메라에 기반한 클래스 판단 확률 분포는 제2 클래스 판단 확률 분포로 구분하여 명명한다.
레이더 신호 처리부(110)는 레이더 수신 신호의 매 프레임마다 판단된 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력한다.
여기서 클래스의 개수 N은 본 시스템의 스펙에 의해 결정될 수 있다. 예를 들어, N=3인 경우 레이더는 '사람', '차량', '그 외 타겟'를 포함한 3가지 종류로 객체를 분류할 수 있다.
도 6은 본 발명의 실시예에서 매 프레임마다 타겟에 대한 N개 클래스별 분류 확률을 구한 결과를 기초로 클래스 판단 확률 분포 결과를 출력하는 것을 설명한 도면이다.
이러한 도 6은 설명의 편의상 특정한 하나의 타겟(예를 들어, 트랙 ID = 1)에 대하여 각 시점에서 획득한 N개의 클래스별 분류 확률을 이용하여 클래스 판단 확률 분포를 도출하는 원리를 설명한다.
도 6에서 t는 현재 프레임, t-1은 직전 프레임, t-m은 m번째 과거 프레임을 의미한다. 예를 들어, 현재 프레임과 직전 프레임만 이용하는 경우 2 세트의 프레임만 저장하여 분석하면 된다.
C1 내지 CN은 분류 가능한 N개의 클래스를 나타낸다. 만일, 판단 가능한 타겟 클래스가 '사람', '차량', '그 외'를 포함한 3가지 종류인 경우, N=3이고 C1은 '사람', C2는 '차량' ,CN은 '그 외'를 나타낸다.
도 6에서 {p1(t), p2(t), …, pN(t)}는 현재 시점 t에서 타겟을 분석한 결과, 해당 타겟이 C1(예를 들어, 사람)으로 분류될 확률, C2(예를 들어, 차량)으로 분류될 확률, CN(예를 들어, 그 외)으로 분류될 확률을 나타낸다. 각각의 확률이 49%, 30%, 21%인 경우 {p1(t), p2(t), …, pN(t)} = {49%, 30%, 21%}의 형태를 가질 수 있다.
같은 원리로, {p1(t-m), p2(t-m), …, pN(t-m)}는 m번째 과거 시점에서 타겟을 분석한 결과, 해당 타겟이 C1, C2, 그리고 CN으로 분류될 확률을 각각 나타낸다.
이처럼, 도 6의 각 프레임마다 획득된 N개의 P 값들은 해당 프레임에서 분석하여 판정된 타겟의 N개의 클래스별 분류 확률을 의미하며 이는 곧 N개의 클래스에 대한 판정 확률값을 나타낸다.
레이더 신호 처리부(110)는 해당 타겟에 대한 N개의 클래스별 분류 확률을 시간에 따라 누적한 결과를 기초로 도 6의 상단에 나타낸 것과 같이 N개의 확률값(Pr,1 ~ Pr,N)을 연산하며, 이러한 N개의 확률 값으로 구성된 제1 클래스 판단 확률 분포 {Pr,1, Pr,2, …, Pr,n, …, Pr,N}를 도출한다.
여기서, N개 확률값 중 n번째 확률값은, 아래의 수학식 1과 같이, 현재 프레임과 m개 과거 프레임을 포함한 1+m개 프레임에서 각각 구해진 타겟에 대한 n번째 클래스의 분류 확률을 평균하여 획득된다.
Figure 112018126543251-pat00003
여기서, Pr,n은 제1 클래스 판단 확률 분포에 포함된 n번째 확률 값이고, n={1,2,…,N}이다. 이러한 수학식 1에 의해 각각의 클래스별 확률값이 획득된다.
도 7은 도 5의 레이더 신호 처리부에서 각 타겟 별로 도출한 분석 결과를 설명하는 도면이다.
이러한 도 7은 레이더 신호 처리부(110)의 최종 출력을 나타내며, 각각의 타겟 별로 '트랙 ID', '거리', '각도', '속도', '신호크기', 그리고 '클래스 판단 확률 분포'를 포함한 정보를 최종 출력으로 도출한다. 이때, 확대 그림을 통해 알수 있듯이, 클래스 판단 확률 분포는 N개의 확률값(Pr,1 ~ Pr,N)을 포함하며, 이는 도 6의 상단부 결과와 동일한 것을 알 수 있다.
도 8은 도 5의 레이더 신호 처리부에서 확률 누적 기반의 출력 결과를 도출하는 개념을 설명하는 도면이다. 레이더 수신 신호로부터 타겟 탐지, 추적 및 인지에 관한 기본적인 개념은 종래 기술에서 언급한 것과 같다.
도 8에 나타낸 것과 같이, 레이더 신호 처리부(110)는 타겟 탐지단(1)과 타겟 추적단(2)을 이용하여 레이더 수신 신호로부터 타겟 탐지 및 추적을 수행하고 추적 결과 (c)를 얻는다. 각 타겟에 대한 '트랙 ID', '거리', '각도', '속도', '신호크기'로 구성된 추적 결과 (c)는 '타겟 탐지/추적/인식 결과 테이블'에 차곡히 프레임 순으로 쌓인다. 도 8의 예제에서는 현재 시점을 포함한 총 m+1개의 프레임 만큼 저장된다.
타겟 인지 분류단(3)은 두 가지 세부 블록으로 구성된다. 특징 벡터 기반 인지 블록(3-1)에서는 추적 결과 (b)와 주파수 스펙트럼으로 구성된 프로파일 (b)을 기반으로 타겟의 인지/분류를 수행한다. 하지만, 인지/분류 결과는 단순히 '클래스'가 아니라 도 6의 하단에 나타낸 것과 같이 인지/분류 확률 분포의 값에 해당한다.
확률 누적 기반 인지 블록(3-2)은 테이블에 저장된 여러 프레임에 걸친 인지/분류 확률 분포의 값을 누적 조합하여 '클래스 판단 확률 분포'를 얻고, 최종 결과 (f)를 출력한다. 여기서 물론, 최종 결과란, 타겟의 '트랙 ID', '거리', '각도', '속도', '신호크기', 그리고 N개 클래스에 해당하는 '클래스 판단 확률 분포'를 포함한다.
앞서 설명한 것과 동일한 원리로, 카메라 신호 처리부(120) 역시 카메라 영상 신호의 매 프레임마다 분석된 타겟의 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력한다. 카메라 영상을 분석하여 각 시점마다 해당 타겟이 C1(예를 들어, 사람), C2, CN으로 각각 분류될 확률을 판정하고 이를 시간에 따라 누적하면 N개 확률값(Pc,1 ~ Pc,N)을 얻을 수 있다.
아래의 수학식 2는 제2 클래스 판단 확률 분포에 포함된 n번째 확률 값을 나타낸다.
Figure 112018126543251-pat00004
수학식 1과 수학식 2를 하나로 정리하면 다음의 수학식 3과 같이 표현된다.
Figure 112018126543251-pat00005
여기서 물론, i={r,c}이며, n={1,2,…,N}을 나타낸다.
융합 판단부(130)는 타겟에 대한 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, N개 결과값 중에서 최대값을 도출한 클래스를 타겟의 종류로 최종 분류한다.
융합 판단부(130)는 제1 및 제2 클래스 판단 확률 분포에 대해, 레이더 및 카메라에 각각 대응된 제1 및 제2 가중치를 적용한 후에 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한다. 이때, N개의 결과값 중 n번째 결과값은 아래의 수학식으로 표현된다.
Figure 112018126543251-pat00006
수학식 4의 경우 제1 가중치는 W, 제2 가중치는 1-W로서, 두 가중치의 합은 1을 나타낸다.
이렇게 도출된 N개의 결과값 중 최대치를 도출한 해당 클래스를 현재 타겟의 종류로 최종 분류한다. 예를 들어, 최대치를 도출한 클래스의 넘버(인덱스)가 2(n=2)라면 현재 타겟의 종류를 차량으로 최종 분류한다.
여기서, 융합 판단부(130)는 해당 타겟이 기 설정된 임계 거리 이상에 위치하거나, 카메라의 렌즈가 광각 렌즈이거나, 주변의 조도가 임계값 미만인 경우, 제1 가중치를 제2 가중치보다 높게 설정할 수 있다. 수학식 4의 경우 W 값을 0.5보다 큰 값으로 설정하는 경우 해당 효과가 나타난다.
타겟이 멀리 위치하거나 조명이 어두울 경우 카메라의 인지 성능이 떨어질 수 있고, 광각 렌즈를 이용하는 카메라의 경우 렌즈 화각 가장자리에서 인지 성능이 열화될 수 있기 때문에 이러한 경우 카메라보다 레이더의 결과에 더욱 높은 가중치를 부여할 수 있다. 수학식 4의 경우 W 값을 0.5 보다 작은 값으로 설정하는 경우 해당 효과가 나타난다. 물론, 수학식 4의 W 값은 디폴트로 0.5의 값이 설정될 수 있다.
또한, 융합 판단부(130)는 N개의 클래스 중 기 설정된 관심 클래스(시람, 차량) 제외한 기타 클래스에 대해서는 제2 가중치를 제1 가중치보다 높게 설정할 수 있다. 카메라가 레이더보다 상대적으로 더 많은 종류의 클래스를 구별할 수 있으며, 레이더의 경우 '그 외 타겟'의 인지율이 낮을 수 있기 때문이다. 예를 들어, 관심 클래스에 대해서는 두 가중치를 균등한 값으로 부여하되 기타 클래스는 제2 가중치에 더 비중을 둘 수 있다.
그 밖에도 융합 판단부(130)는 타겟에 대한 제1 및 제2 클래스 판단 확률 분포를 각 클래스끼리 그룹핑하기 전에, 레이더와 카메라의 출력 값을 기반으로 동일하다고 판단되는 타겟을 페어링한다. 그 결과에 의해 레이더 결과 정보와 카메라 결과 정보를 묶어서 융합 가중치를 결정한다. 또한, 페어링 결과에 따라 동일 객체에 대한 해당 데이터(제1 및 제2 클래스 판단 확률 분포)를 묶어 인지/분류 확률 기반의 타겟 분류를 수행한다.
즉, 레이더 신호 처리부(110) 및 카메라 신호 처리부(120) 각각은 해당 타겟에 대해 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 더 출력한다. 각각의 처리부에서 출력하는 타겟 추적 정보는 처리부의 출력 값 중 클래스 판단 확률 분포를 제외한 정보에 해당할 수 있다.
그러면, 융합 판단부(130)는 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 상호 비교하여 동일 타겟에 해당하는 클래스 판단 확률 분포끼리 상호 페어링한 후 타겟 분류를 수행한다. 물론, 융합 판단부(130)는 타겟 추적 정보를 기초로 앞서 상술한 제1 및 제2 가중치를 각각 결정한다.
도 9는 본 발명의 실시예에 따라 동일 객체를 페어링한 결과를 나타낸 도면이다. 클래스 라벨을 기준으로 좌측 데이터는 레이더에 기반한 제1 클래스 판단 확률 분포이고, 우측 데이터는 카메라에 기반한 제2 클래스 판단 확률 분포를 나타낸다.
제1 및 제2 클래스 판단 확률 분포는 각각 N개의 확률값들로 구성되므로 이들 N개의 확률값 역시 상호 매칭되고 그루핑된다. 즉, 클래스 라벨 별로 n번째 라벨에 대응된 n번째 확률 값인 Pr,n과 Pc,n은 간이 동일 행에 각각 매칭 것을 알 수 있다. 추후, 이와 같이 동일 객체 페어링을 통해 그루핑된 Pr,n과 Pc,n 값을 기반으로 수학식 4를 동작시키면 된다.
도 10은 본 발명의 실시예에서 확률 분포 기반의 센서 융합 기법을 설명하는 도면이다. 이러한 도 10은 본 발명의 실시예에 따라 동일 객체를 페어링하여 융합 가중치를 계산하고 수학식 4에 적용하여 최종 결과(타겟의 위치, 속도, 분류 결과)를 도출하는 개념을 나타낸다.
도 10에서 레이더 센서 및 카메라 센서는 각각 레이더 신호 처리부(110) 및 카메라 신호 처리부(120)에 대응되는 요소이다. 따라서 레이더 센서는 '트랙 ID', '거리', '각도', '속도', '신호크기', 그리고 '제1 클래스 판단 확률 분포'를 출력하고, 카메라 센서는 '트랙 ID', 'X-좌표', 'Y-좌표', '속도', '제2 클래스 판단 확률 분포'를 출력한다.
센서 후단의 점선 블록은 융합 판단부(130)의 기능으로, 융합 판단부(130)는 두 센서의 출력 결과로부터 좌표 기반의 분석을 통하여 동일 객체를 페어링하고, 이와 더불어 레이더의 타겟 탐지 정보(트랙 ID, 거리, 각도, 속도)와 카메라의 타겟 탐지 결과(트랙 ID, X-좌표, 'Y-좌표)를 고려하여 제1 및 제2 가중치를 각각 결정한다.
이후, 페어링된 제1 및 제2 클래스 판단 확률 분포에 각각의 제1 및 제2 가중치를 적용하고 수학식 4를 통해 융합하여 N개의 결과값을 얻은 다음, 그 중에서 가장 큰 값을 도출한 해당 클래스를 타겟의 종류로 최종 분류한다.
도 11은 도 5에 도시된 시스템을 이용한 타겟 인지 및 분류 방법을 설명하는 도면이다.
먼저, 레이더 신호 처리부(110)와 카메라 신호 처리부(120)를 통해 타겟에 대한 제1 및 제2 클래스 판단 확률 분포를 획득한다(S1101).
즉, 레이더 신호 처리부(110)는 레이더 수신 신호의 매 프레임마다 분석된 타겟에 대한 N개 클래스별 분류 확률을 기초로 N개 확률값을 획득하여 제1 클래스 판단 확률 분포를 획득하며, 카메라 신호 처리부(120)는 카메라 영상 신호의 매 프레임마다 분석된 타겟에 대한 N개 클래스별 분류 확률을 기초로 N개 확률값을 획득하여 제2 클래스 판단 확률 분포를 획득한다.
융합 판단부(130)는 해당 타겟에 대한 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한다(S1102). 그런 다음, N개 결과값 중에서 최대값을 도출한 클래스를 타겟의 종류로 최종 분류한다(S1103).
이상과 같은 본 발명에 따르면, 확률 분포 기반의 카메라-레이더 융합 기법을 사용하여 타겟 인지 및 분류 성능을 높일 수 있으며, 지능형 자동차는 물론 다양한 객체 감시 시스템에도 활용될 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 타겟 인지 및 분류 시스템 110: 레이더 신호 처리부
120: 카메라 신호 처리부 130: 융합 판단부

Claims (14)

  1. 레이더 수신 신호의 매 프레임마다 판단된 소정 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력하는 레이더 신호 처리부;
    카메라 영상 신호의 매 프레임마다 판단된 상기 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력하는 카메라 신호 처리부; 및
    상기 타겟에 대한 상기 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, 상기 N개의 결과값 중에서 최대값을 도출한 클래스를 상기 타겟의 종류로 최종 분류하는 융합 판단부를 포함하는 타겟 인지 및 분류 시스템.
  2. 청구항 1에 있어서,
    상기 N개 확률값 중 n번째 확률값은,
    상기 현재 프레임과 m개 과거 프레임을 포함한 1+m개 프레임에서 각각 구해진 상기 타겟에 대한 n번째 클래스의 분류 확률을 평균하여 획득되며, 아래의 수학식으로 표현되는 타겟 인지 및 분류 시스템:
    Figure 112018126543251-pat00007

    여기서, i={r,c}, Pr,n은 상기 제1 클래스 판단 확률 분포에 포함된 n번째 확률 값, Pc,n는 상기 제2 클래스 판단 확률 분포에 포함된 n번째 확률 값, n={1,2,…,N}을 나타낸다.
  3. 청구항 2에 있어서,
    상기 융합 판단부는,
    제1 클래스 판단 확률 분포 및 상기 제2 클래스 판단 확률 분포에 대해, 상기 레이더 및 상기 카메라에 각각 대응된 제1 및 제2 가중치를 적용한 후에 동일 클래스끼리 그룹핑하여 상기 N개의 결과값을 획득하며,
    상기 제1 및 제2 가중치의 합은 1인 타겟 인지 및 분류 시스템.
  4. 청구항 3에 있어서,
    상기 융합 판단부는,
    상기 타겟이 기 설정된 임계 거리 이상에 위치하거나, 상기 카메라의 렌즈가 광각 렌즈이거나, 주변의 조도가 임계값 미만인 경우, 상기 제1 가중치를 상기 제2 가중치보다 높게 설정하는 타겟 인지 및 분류 시스템.
  5. 청구항 3 또는 청구항 4에 있어서,
    상기 융합 판단부는,
    상기 N개의 클래스 중 기 설정된 관심 클래스를 제외한 기타 클래스에 대해서는 상기 제2 가중치를 상기 제1 가중치보다 높게 설정하는 타겟 인지 및 분류 시스템.
  6. 청구항 2에 있어서,
    상기 N개의 결과값 중 n번째 결과값은 아래의 수학식으로 표현되는 타겟 인지 및 분류 시스템:
    Figure 112018126543251-pat00008

    여기서, W는 가중치를 나타낸다.
  7. 청구항 1에 있어서,
    상기 레이더 신호 처리부 및 카메라 신호 처리부 각각은,
    해당 타겟에 대해 상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 더 출력하며,
    상기 융합 판단부는,
    상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 상호 비교하여 동일 타겟에 해당하는 클래스 판단 확률 분포끼리 상호 페어링한 후 타겟 분류를 수행하는 타겟 인지 및 분류 시스템.
  8. 타겟 인지 및 분류 시스템을 이용한 타겟 인지 및 분류 방법에 있어서,
    레이더 수신 신호의 매 프레임마다 판단된 소정 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제1 클래스 판단 확률 분포를 출력하는 단계;
    카메라 영상 신호의 매 프레임마다 판단된 상기 타겟에 대한 N개 클래스별 분류 확률을 현재 프레임까지 누적하여 N개 확률값을 획득하고, 획득한 N개 확률값을 포함한 제2 클래스 판단 확률 분포를 출력하는 단계; 및
    상기 타겟에 대한 상기 제1 및 제2 클래스 판단 확률 분포를 동일 클래스끼리 그룹핑하여 N개의 결과값을 획득한 다음, 상기 N개의 결과값 중에서 최대값을 도출한 클래스를 상기 타겟의 종류로 최종 분류하는 단계를 포함하는 타겟 인지 및 분류 방법.
  9. 청구항 8에 있어서,
    상기 N개 확률값 중 n번째 확률값은,
    상기 현재 프레임과 m개 과거 프레임을 포함한 1+m개 프레임에서 각각 구해진 상기 타겟에 대한 n번째 클래스의 분류 확률을 평균하여 획득되며, 아래의 수학식으로 표현되는 타겟 인지 및 분류 방법:
    Figure 112018126543251-pat00009

    여기서, i={r,c}, Pr,n은 상기 제1 클래스 판단 확률 분포에 포함된 n번째 확률 값, Pc,n는 상기 제2 클래스 판단 확률 분포에 포함된 n번째 확률 값, n={1,2,…,N}을 나타낸다.
  10. 청구항 9에 있어서,
    상기 타겟의 종류를 분류하는 단계는,
    제1 클래스 판단 확률 분포 및 상기 제2 클래스 판단 확률 분포에 대해, 상기 레이더 및 상기 카메라에 각각 대응된 제1 및 제2 가중치를 적용한 후에 동일 클래스끼리 그룹핑하여 상기 N개의 결과값을 획득하며,
    상기 제1 및 제2 가중치의 합은 1인 타겟 인지 및 분류 방법.
  11. 청구항 10에 있어서,
    상기 타겟의 종류를 분류하는 단계는,
    상기 N개의 결과값을 획득 시에, 상기 타겟이 기 설정된 임계 거리 이상에 위치하거나, 상기 카메라의 렌즈가 광각 렌즈이거나, 주변의 조도가 임계값 미만인 경우, 상기 제1 가중치를 상기 제2 가중치보다 높게 설정하는 타겟 인지 및 분류 방법.
  12. 청구항 10 또는 청구항 11에 있어서,
    상기 타겟의 종류를 분류하는 단계는,
    상기 N개의 결과값을 획득 시에, 상기 N개의 클래스 중 기 설정된 관심 클래스를 제외한 기타 클래스에 대해서는 상기 제2 가중치를 상기 제1 가중치보다 높게 설정하는 타겟 인지 및 분류 방법.
  13. 청구항 9에 있어서,
    상기 N개의 결과값 중 n번째 결과값은 아래의 수학식으로 표현되는 타겟 인지 및 분류 방법:
    Figure 112018126543251-pat00010

    여기서, W는 가중치를 나타낸다.
  14. 청구항 8에 있어서,
    상기 제1 및 제2 클래스 판단 확률 분포를 출력하는 단계 각각은,
    해당 타겟에 대해 상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 더 출력하며,
    상기 타겟의 종류를 분류하는 단계는,
    상기 레이더 수신 신호와 카메라 수신 신호로부터 각각 분석된 타겟 추적 정보를 상호 비교하여 동일 타겟에 해당하는 클래스 판단 확률 분포끼리 상호 페어링한 후 타겟 분류를 수행하는 타겟 인지 및 분류 방법.
KR1020180163143A 2018-12-17 2018-12-17 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법 KR102120812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180163143A KR102120812B1 (ko) 2018-12-17 2018-12-17 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163143A KR102120812B1 (ko) 2018-12-17 2018-12-17 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102120812B1 true KR102120812B1 (ko) 2020-06-09

Family

ID=71082128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163143A KR102120812B1 (ko) 2018-12-17 2018-12-17 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102120812B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346304B1 (ko) * 2021-05-13 2022-01-03 주식회사 토르 드라이브 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법
CN116027294A (zh) * 2023-02-14 2023-04-28 深圳大学 基于决策级融合的单比特雷达微动目标识别方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704635B1 (ko) * 2015-12-14 2017-02-08 현대오트론 주식회사 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
KR101825459B1 (ko) * 2016-08-05 2018-03-22 재단법인대구경북과학기술원 다중 클래스 객체 검출 장치 및 그 방법
KR20190060341A (ko) * 2017-11-24 2019-06-03 재단법인대구경북과학기술원 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704635B1 (ko) * 2015-12-14 2017-02-08 현대오트론 주식회사 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
KR101825459B1 (ko) * 2016-08-05 2018-03-22 재단법인대구경북과학기술원 다중 클래스 객체 검출 장치 및 그 방법
KR20190060341A (ko) * 2017-11-24 2019-06-03 재단법인대구경북과학기술원 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346304B1 (ko) * 2021-05-13 2022-01-03 주식회사 토르 드라이브 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법
CN116027294A (zh) * 2023-02-14 2023-04-28 深圳大学 基于决策级融合的单比特雷达微动目标识别方法、装置
CN116027294B (zh) * 2023-02-14 2023-11-03 深圳大学 基于决策级融合的单比特雷达微动目标识别方法、装置

Similar Documents

Publication Publication Date Title
Börcs et al. Instant object detection in lidar point clouds
US9953245B2 (en) Multi-camera vehicle identification system
EP2801078B1 (en) Context aware moving object detection
US7729512B2 (en) Stereo image processing to detect moving objects
US11288820B2 (en) System and method for transforming video data into directional object count
US10127448B2 (en) Method and system for dismount detection in low-resolution UAV imagery
US20110085702A1 (en) Object tracking by hierarchical association of detection responses
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
KR102129698B1 (ko) 자동 어류 계수 시스템
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
WO2021213241A1 (zh) 目标检测方法及装置、电子设备、存储介质及程序
KR20160035121A (ko) 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
KR102120812B1 (ko) 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
Azimjonov et al. Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information
EP3845926B1 (en) Multi-spectral lidar object tracking method and system
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
KR102038381B1 (ko) 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법
Chahyati et al. Multiple human tracking using Retinanet features, Siamese neural network, and Hungarian algorithm
KR102481215B1 (ko) 통계적 인구 관제를 위한 공간 내 객체감지시스템
CN114387535A (zh) 一种多模式识别系统及盲人眼镜
Denman et al. Abandoned object detection using multi-layer motion detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant