KR102589987B1 - 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치 - Google Patents

영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치 Download PDF

Info

Publication number
KR102589987B1
KR102589987B1 KR1020210057730A KR20210057730A KR102589987B1 KR 102589987 B1 KR102589987 B1 KR 102589987B1 KR 1020210057730 A KR1020210057730 A KR 1020210057730A KR 20210057730 A KR20210057730 A KR 20210057730A KR 102589987 B1 KR102589987 B1 KR 102589987B1
Authority
KR
South Korea
Prior art keywords
track
reliability
model
tracking
tracks
Prior art date
Application number
KR1020210057730A
Other languages
English (en)
Other versions
KR20220150576A (ko
Inventor
배승환
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020210057730A priority Critical patent/KR102589987B1/ko
Publication of KR20220150576A publication Critical patent/KR20220150576A/ko
Application granted granted Critical
Publication of KR102589987B1 publication Critical patent/KR102589987B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치가 제시된다. 본 발명에서 제안하는 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법은 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계, 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계, 신뢰도 기반 데이터 연결부가 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 단계, 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계 및 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계를 포함한다.

Description

영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치{Method and Apparatus for Tracking of Online Multi-Object with Visual and Radar Features}
본 발명은 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치에 관한 것이다.
다중 객체 추적(Multi-object tracking; MOT)은 다중 객체의 상태(즉, 위치, 속도 또는 크기)를 연속적인 프레임(또는 스캔)에서 찾는 것이다. 이러한 다중 객체 추적은 지난 수십 년간 동적 객체의 동작을 이해하고 예측하는 핵심 알고리즘으로 활용되어 자율, 로봇, 컴퓨터 비전 연구 분야에서 광범위하게 연구돼 왔다. 그러나 부정확한 탐지, 객체 움직임이나 외형의 갑작스러운 변화, 그리고 클러터(clutter)나 다른 객체에 의한 빈번한 폐색 등은 객체 추적에 있어서 여전히 어려운 문제이다.
이 문제를 해결하기 위해 추적 방식의 탐지 접근법이 개발되었다. 레이더와 카메라에서 객체 탐지(또는 측정)가 주어지면 연속적인 프레임 간에 탐지를 연결하여 트랙(다시 말해, 궤적)을 만든다. 따라서 제공된 탐지를 통해 트랙을 초기화 및 종료함으로써 자동 추적을 달성할 수 있다. 또한 트랙과 해당 탐지를 일치시켜 트랙 조각과 ID 스위치를 복구할 수 있기 때문에 추적 정확도를 향상시킬 수 있다.
탐지에 의한 추적에서는 추적과 탐지 사이의 데이터 연결이 매우 중요하며 많은 방법이 개발되었다. 가장 가까운 이웃(the nearest neighborhood) 및 가장 강한 이웃(the strongest neighbor)과 같은 그리디(Greedy) 기반 연관 방법은 빠른 속도를 보여주지만 일치하는 조합이 많이 존재할 때는 정확도가 떨어지는 경우가 많다. 공동 확률적 데이터 연관성(Joint Probabilistic Data Association; JPDA) 및 다중 가설 추적(Multiple Hypothesis Tracking; MHT)은 각각 단일 프레임과 다중 프레임 중 추적과 탐지 사이의 최적의 할당을 결정할 수 있다. 그러나 트랙과 탐지 사이의 가능한 할당 수가 선형적으로 증가함에 따라 연결 복잡성이 결합적으로 증가한다. JPDA의 복잡성을 줄이기 위해 종래기술에서는 정수 프로그래밍의 m-best 솔루션을 활용한다. 또 다른 종래기술은 온라인 외형 학습을 사용하는 전형적인 MHT 방법이 최근의 MOT 방법과 비교할 수 있음을 보여준다.
그러나 최근 몇 년 동안 많은 자율 시스템(예를 들어, 차량, 모바일 로봇 및 무인항공기)은 보다 정확하고 안정적인 객체 탐지 및 추적을 위해 카메라와 레이더를 함께 사용한다. 많은 실제 시나리오에서, 다양한 유형의 특징을 결합하는 경우, 센서가 상호 보완적이기 때문에 MOT의 정확성과 견고성을 향상시킬 수 있다. 따라서 또 다른 종래기술은 레이더, 이미지 및 자기 차량 주행 기록계 측정을 융합하기 위해 EKF(Extended Kalman Filter)를 기반으로 객체 동적 및 측정 모델을 설계한다. 장면 기하학이 제공되는 경우, 종래기술에서는 글로벌 데카르트 좌표에서 카메라와 레이더 형상을 정렬하고 객체 탐지에 정렬된 특징을 사용하는 방법을 제시한다. 또 다른 종래기술은 레이더(radar), 라이다(Lidar) 및 카메라와 다른 측정값을 결합하여 움직이는 객체를 감지하고 추적하기 위한 전체 시스템을 제시한다. Lie 그룹의 멤버로서 극좌표에서 레이더와 스테레오 카메라의 모델 측정을 참조하고 Lie 그룹에서 객체 상태 필터링을 수행한다. 그들 대부분은 객체 동적 및 측정 모델 또는 센서 정렬을 개발하여 이기종 특징을 효과적으로 융합하는 데 초점을 맞추었다. 그런 다음 객체 상태의 추정을 개선하기 위해 정렬되거나 융합된 특징을 사용하였다.
본 발명이 이루고자 하는 기술적 과제는 서로 다른 객체 간의 차별성을 개선하기 위해 온라인 추적 중 몇 가지 시각적 및 진폭 객체 모델을 학습하는 방법 및 장치를 제공하는데 있다. 학습된 객체 모델을 관련도 평가에 적용하여 신뢰 기반 연관성을 더욱 향상시키고, 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 실용적인 트랙 관리 방법을 제안한다.
일 측면에 있어서, 본 발명에서 제안하는 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법은 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계, 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계, 신뢰도 기반 데이터 연결부가 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 단계, 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계 및 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계를 포함한다.
상기 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계는 객체 탐지부의 카메라를 통해 획득된 탐지 박스의 위치, 너비, 높이 정보 및 객체 탐지부의 레이더를 통해 측정된 진폭 특성을 입력 받아 선형 측정 모델에 의해 모델링하고, 객체의 탐지 박스의 위치, 속도, 크기 및 평균 SNR에 관한 객체의 상태를 나타내는 비선형 이산 시간 동적 운동을 모델링한다.
상기 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계는 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 이용하여 객체 상태에 관한 집합으로 트랙을 정의하고, 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하며, 서로 다른 프레임에서의 두 객체의 일치 정도를 결정하기 위한 관련도 점수를 계산하여 평가한다.
상기 객체의 외형 모델의 학습은 탐지 박스의 크기를 조정함으로써 양의 샘플 박스를 생성하고, 추적되는 객체와 또 다른 객체 또는 장면 클러터 간의 외형을 구분하기 위한 추적되는 객체 주위에서의 음의 샘플 박스를 수집하고, 상기 양의 샘플 박스 및 상기 음의 샘플 박스를 이용하여 부분 최소 제곱(Partial Least Square; PLS) 학습 방법을 통해 공간을 학습한다.
상기 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계는 상기 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계로부터 조정된 추적 박스 및 트랙을 입력 받아 모든 객체의 트랙 집합을 생성하고, 트랙의 길이 및 연속성을 위해 다음 프레임에 대한 트랙의 신뢰도 점수를 재평가하고, 재평가된 트랙의 신뢰도 점수에 따라 로컬 및 글로벌 연결을 수행하도록 한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 장치는 객체를 탐지하여 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 점수 평가부로 전달하는 객체 탐지부, 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하며, 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 신뢰도 기반 데이터 연결부, 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 학습부 및 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 추적 결과 생성부를 포함한다.
본 발명의 실시예들에 따르면 서로 다른 객체 간의 차별성을 개선하기 위해 온라인 추적 중 몇 가지 시각적 및 진폭 객체 모델을 학습하고, 학습된 객체 모델을 관련도 평가에 적용하여 신뢰 기반 연관성을 더욱 향상시킬 수 있다. 또한, 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거함으로써 트랙을 실용적으로 관리할 수 있다. 또한, 제안하는 방법을 통해 낮은 MOT 복잡성을 유지하면서 경쟁력 있는 추적 정확도를 달성할 수 있다.
도 1은 본 발명의 일 실시예에 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체를 탐지하여 탐지된 객체의 탐지 박스 및 진폭 특성을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 시각적 특징 및 진폭 특징을 학습하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하여 프레임 별 연결을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하는 과정을 설명하기 위한 도면이다.
다중 객체 추적(Multi-object tracking; MOT)은 객체 ID를 유지하면서 연속적인 프레임 간에 탐지를 연결하여 다중 객체 트랙(다시 말해, 궤적)을 구성한다. 카메라와 레이더가 장착된 많은 자율적 시스템에서 진폭과 시각적 특징(feature)을 측정할 수 있다. 따라서, 본 발명에서는 두 가지 특징과 탐지를 연관시켜 MOT 문제를 해결하고자 한다. 이를 달성하기 위해 객체 모델 학습 및 신뢰 기반 연관성에 기반한 통합 MOT 프레임워크를 제안한다.
본 발명의 실시예에 따르면, 서로 다른 객체 간의 차별성을 개선하기 위해 온라인 추적 중에 몇 가지 시각적 및 진폭 객체 모델을 학습하는 방법을 제안한다. 학습된 객체 모델을 관련도 평가에 적용하여 신뢰 기반 연관성을 더욱 향상시킨다. 또한, 트랙을 초기화 및 종료하고 중복된 거짓 트랙을 제거하는 실용적인 트랙 관리 방법을 제안한다. 서로 다른 객체 모델 학습 및 연결 방법을 가진 몇몇 MOT 시스템을 구현하고, 시각적 MOT 데이터셋에서 본 발명에서 제안하는 시스템을 그들과 비교한다. 또한, 제안하는 방법을 최근의 딥 외형 학습(Deep Appearance Learning) 방법과 비교함으로써, 제안하는 방법이 낮은 MOT 복잡성을 유지하면서 경쟁력 있는 추적 정확도를 달성할 수 있음을 증명한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
레이더는 일반적으로 범위와 자세를 포함한 공간 탐지(또는 측정)를 제공한다. 다양한 예시에서, 레이더의 반환된 신호가 객체와 클러터(clutter)에 의해 혼합되기 때문에 탐지 출처를 알 수 없다. 따라서 해당 트랙에 측정을 할당하기 위해 많은 데이터 연결 방법이 개발되었다. 가장 가까운 이웃(the nearest neighborhood) 및 가장 강한 이웃(the strongest neighbor) 연관성과 같은 간단한 그리디(greedy) 연관성이 제시되었다. 이러한 방법은 연결 복잡도가 낮지만 트랙이 공간적으로 서로 가깝게 위치할 때 잘못된 연결이 발생한다. 단일 프레임 또는 다중 프레임 검색 내에서 이 공동 트랙 대 측정 할당 문제를 처리하기 위해 (Joint Probabilistic Data Association; JPDA) 및 다중 가설 추적(Multiple Hypothesis Tracking; MHT) 방법을 제안한다. 공동 연관 복잡성을 줄이기 위해 선형 다중 대상 통합 확률적 데이터 연관성(Linear Multi-Target Integrated Probabilistic Data Association; LMIPDA)도 제안되었다. 다중 객체의 비선형 역학을 처리하기 위해 MOT를 위한 순차 몬테 카를로(Sequential Monte Carlo; SMC) 방법이 제안되었다. 객체 상태와 카디널리티(cardinality)를 동시에 추정하기 위한 다중 객체의 공동 확률 밀도 모델링이 제안되었다. 하지만, 이러한 방법의 계산 복잡성은 가설의 수가 증가함에 따라 기하급수적으로 증가한다. 이러한 문제를 완화하기 위해, 데이터 연관성과 상태 추정은 분리된 문제로 취급될 수 있다.
하지만, 공간적 특징은 객체가 밀접하게 간격을 두거나 객체 주변에 클러터가 조밀하게 분포하는 연관성 사례에는 충분하지 않다. 따라서 보다 정확한 연결을 위해 추가 특징으로 진폭이 사용된다. 이러한 방법들의 기본 개념은 객체의 진폭이 보통 클러터보다 강하다는 것이다. 진폭을 사용한 확장 MHT 및 비터비 데이터 연관성(Viterbi data association)이 제안되었다. 신호 대 잡음 비(SNR)에 대한 사전 지식 없이 진폭을 활용하기 위해 SNR 경계 내에서 객체 진폭 우도를 계산하는 주변화 방법이 제시되었다. 객체의 상태와 SNR을 공동으로 추정하기 위해 SMC 기반 및 MAP 기반 SNR 추정 방법이 제안되었다.
비전 기반 MOT에서, 탐지 방법에 의한 추적은 자동화되고 강력한 MOT를 달성하기 위해 활성화되었다. 여기서, 일반적으로 탐지를 연관(또는 연결)하여 트랙을 구축한다. 연결 방식에 따라 배치 및 온라인 추적 방법으로 나눌 수 있다. 배치 추적 방법은 일반적으로 전체 프레임의 글로벌 탐지 연결을 사용하여 트랙을 구축한다. 그것들은 대부분의 경우 온라인 방법보다 더 나은 MOT 결과를 산출한다. 하지만, 그것들은 사전에 일련의 탐지를 구성하고 반복적 글로벌 연관성에 의해 전체 탐지를 연결하여 트랙을 구축하기 때문에 실시간 또는 캐주얼 시스템에 적용할 수 없다. 반면, 온라인 추적 방법은 과거 및 현재 탐지의 프레임별 연결을 사용하여 트랙을 구축한다. 따라서 실시간 애플리케이션에 적합할 수 있다. 그러나 미래 프레임 탐지는 사용되지 않기 때문에 ID 스위치와 트랙 조각을 장기간 폐색하여 생성하는 경향이 있다.
두 추적 방법 모두 로컬 또는 글로벌 연관성에 의해 트랙을 구축하기 때문에, 정확한 연관성을 위해 추적과 탐지 사이의 관련도 평가가 중요하다. 이를 위해 객체 외형, 움직임 및 형상 신호를 사용하는 객체 관련도 모델도 제안된다. 최근 딥 러닝의 발전으로 인해 딥 러닝 기반 관련도 모델이 제시되었다. 딥 러닝은 모델 차별성을 개선할 수 있지만 많은 훈련 샘플과 비용이 많이 드는 GPU가 필요하다.
본 발명에서는 비전 기반 MOT에 대한 진폭 관련도 모델을 제안하고, 새롭고 단순한 진폭 관련도 모델을 사용하여 MOT 정확도를 향상시키기 위한 방법을 제안한다. 따라서 제안하는 방법을 통해 낮은 추적 복잡성을 유지하면서 추적 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법을 설명하기 위한 흐름도이다.
제안하는 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법은 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계(110), 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계(120), 신뢰도 기반 데이터 연결부가 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 단계(130), 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계(140) 및 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계(150)를 포함한다.
단계(110)에서, 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달한다. 객체 탐지부의 카메라를 통해 획득된 탐지 박스의 위치, 너비, 높이 정보 및 객체 탐지부의 레이더를 통해 측정된 진폭 특성을 입력 받아 선형 측정 모델에 의해 모델링하고, 객체의 탐지 박스의 위치, 속도, 크기 및 평균 SNR에 관한 객체의 상태를 나타내는 비선형 이산 시간 동적 운동을 모델링한다. 서로 다른 객체 간의 차별성을 개선하기 위해 온라인 추적 중 시각적 및 진폭 객체 모델을 모델링한다.
단계(120)에서, 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류한다.
카메라와 레이더를 포함하는 객체 탐지부를 통해 탐지된 객체의 진폭과 시각적 특징을 측정하면, 두 가지 특징과 객체 탐지를 연관시켜 MOT 문제를 해결하고자 한다. 이를 달성하기 위해 객체 모델 학습 및 신뢰 기반 연관성에 기반한 통합 MOT 프레임워크를 제안하고, 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류한다.
단계(130)에서, 신뢰도 기반 데이터 연결부가 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장한다.
본 발명에서는 정확한 연관성을 위해 추적과 탐지 사이의 관련도 평가가 중요하다. 이를 위해 객체의 외형, 움직임 및 형상 신호를 사용하는 객체 관련도 모델을 제안한다.
단계(140)에서, 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가한다.
먼저, 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 이용하여 객체 상태에 관한 집합으로 트랙을 정의한다. 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하며, 서로 다른 프레임에서의 두 객체의 일치 정도를 결정하기 위한 관련도 점수를 계산하여 평가한다.
상기 객체의 외형 모델의 학습은 탐지 박스의 크기를 조정함으로써 양의 샘플 박스를 생성하고, 추적되는 객체와 또 다른 객체 또는 장면 클러터 간의 외형을 구분하기 위한 추적되는 객체 주위에서의 음의 샘플 박스를 수집한다. 상기 양의 샘플 박스 및 상기 음의 샘플 박스를 이용하여 부분 최소 제곱(Partial Least Square; PLS) 학습 방법을 통해 공간을 학습한다.
단계(150)에서, 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거한다.
상기 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하는 단계로부터 조정된 추적 박스 및 트랙은 다시 신뢰도 기반 데이터 연결부로 입력되어, 신뢰도 기반 데이터 연결부가 모든 객체의 트랙 집합을 생성하고, 트랙의 길이 및 연속성을 위해 다음 프레임에 대한 트랙의 신뢰도 점수를 재평가한다. 이후, 재평가된 트랙의 신뢰도 점수에 따라 로컬 및 글로벌 연결을 수행하도록 한다.
본 발명은 데이터 연관성을 개선하여 MOT 정확도와 속도를 향상시키는 데 더 초점을 맞추고 있다. 데이터 연결의 핵심은 관련도 평가이기 때문에, 본 발명에서는 효과적인 객체 관련도 모델과 정확한 관련도 평가 측정을 제안한다. 다시 말해, 시각 및 진폭 특징을 사용하여 다양한 객체 모델을 효율적으로 학습하고 학습된 모델을 데이터 연결에 적용할 수 있도록 관련도 측정을 모델링하는 것을 목표로 한다. 본 발명의 실시예에 따르면, 결과적으로 낮은 추적 복잡성을 유지하면서 온라인 MOT 정확도를 향상시킬 수 있다. 이를 위해 본 발명에서는 도 1과 같이 두 가지 특징을 효과적으로 활용할 수 있는 전체 MOT 시스템을 제안한다.
제안된 시스템은 객체 모델 학습 및 신뢰 기반 데이터 연결에 기초한다. 먼저 트랙의 신뢰도 점수를 평가한 다음 낮은 신뢰도의 트랙과 높은 신뢰도의 트랙으로 분류한다. 신뢰도가 높은 트랙의 경우 로컬 연결을 수행하여 현재 프레임의 탐지와 연결한다. 결과적으로, 이 프레임별 연결을 사용하여 온라인 제공 탐지를 통해 트랙을 순차적으로 확장할 수 있다. 반면에, 낮은 신뢰도의 트랙을 단편적인 트랙으로 간주하고, 낮은 신뢰도의 트랙과 높은 신뢰도 또는 탐지를 가진 다른 트랙 간에 글로벌 연결을 수행한다. 이러한 글로벌 연관성으로부터, 폐색 아래 긴 트랙을 구축할 수 있다.
신뢰할 수 있는 연관성을 위해서는 트랙과 탐지 간의 정확한 관련도(또는 가능성) 평가가 필수적이다. 트랙과 동일한 객체로부터의 탐지의 경우, 관련도 점수가 높아야 한다. 그렇지 않고, 트랙과 동일하지 않은 객체로부터의 탐지의 경우, 관련도는 낮아야 한다.
본 발명의 실시예에 따르면, 시각적 특징에서 객체를 추적하는 동안 객체 외형, 움직임 및 형상 모델을 학습하는 반면, 레이더 특징에서 진폭 모델을 학습한다. 학습된 객체 모델을 사용하여, 많은 트랙과 탐지가 존재하지만 관련도 점수를 더 정확하게 평가할 수 있으며, 신뢰도 기반 연결에 평가된 점수를 사용할 수 있다. 자동 MOT의 경우, 일반적으로 탐지를 사용하여 트랙을 초기화해야 하고 상태에 따라 트랙을 종료해야 한다. 또한 대부분의 경우 동일한 객체를 따르는 중복 트랙이 생성된다. 이러한 문제를 처리하기 위해 효과적인 트랙 관리 방법도 제안한다.
본 발명의 실시예에 따르면, 시각적 및 레이더 특징(다시 말해, 진폭 특징)을 효과적으로 활용할 수 있는 통합 MOT 프레임워크 제안하고, 객체 모델을 보다 정확하게 학습하기 위한 다양한 시각적 및 진폭 모델을 이용한다. 또한, 관련도 평가에 다양한 객체 모델을 적용하여 신뢰도 기반 연관성을 향상시키고, 시각적 MOT 데이터셋에 대한 다양한 MOT 시스템에 대한 광범위한 구현 및 평가를 통해 낮은 MOT 복잡성을 유지하면서 경쟁력 있는 추적 정확도를 달성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 장치의 구성을 나타내는 도면이다.
제안하는 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 장치는
객체 탐지부(210), 신뢰도 기반 데이터 연결부(220), 학습부(230) 및 추적 결과 생성부(240)를 포함한다.
객체 탐지부(210)는 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달한다. 객체 탐지부(210)의 카메라를 통해 획득된 탐지 박스의 위치, 너비, 높이 정보 및 객체 탐지부(210)의 레이더를 통해 측정된 진폭 특성을 입력 받아 선형 측정 모델에 의해 모델링하고, 객체의 탐지 박스의 위치, 속도, 크기 및 평균 SNR에 관한 객체의 상태를 나타내는 비선형 이산 시간 동적 운동을 모델링한다. 서로 다른 객체 간의 차별성을 개선하기 위해 온라인 추적 중 시각적 및 진폭 객체 모델을 모델링한다.
신뢰도 기반 데이터 연결부(220)는 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류한다.
카메라와 레이더를 포함하는 객체 탐지부(210)를 통해 탐지된 객체의 진폭과 시각적 특징을 측정하면, 두 가지 특징과 객체 탐지를 연관시켜 MOT 문제를 해결하고자 한다. 이를 달성하기 위해 객체 모델 학습 및 신뢰 기반 연관성에 기반한 통합 MOT 프레임워크를 제안하고, 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류한다.
신뢰도 기반 데이터 연결부(220)는 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장한다.
본 발명에서는 정확한 연관성을 위해 추적과 탐지 사이의 관련도 평가가 중요하다. 이를 위해 객체의 외형, 움직임 및 형상 신호를 사용하는 객체 관련도 모델을 제안한다.
학습부(230)는 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가한다.
먼저, 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 이용하여 객체 상태에 관한 집합으로 트랙을 정의한다. 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하며, 서로 다른 프레임에서의 두 객체의 일치 정도를 결정하기 위한 관련도 점수를 계산하여 평가한다.
상기 객체의 외형 모델의 학습은 탐지 박스의 크기를 조정함으로써 양의 샘플 박스를 생성하고, 추적되는 객체와 또 다른 객체 또는 장면 클러터 간의 외형을 구분하기 위한 추적되는 객체 주위에서의 음의 샘플 박스를 수집한다. 상기 양의 샘플 박스 및 상기 음의 샘플 박스를 이용하여 부분 최소 제곱(Partial Least Square; PLS) 학습 방법을 통해 공간을 학습한다.
추적 결과 생성부(250)는 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거한다.
이후, 신뢰도 기반 데이터 연결부(220)는 추적 결과 생성부(250)로부터 조정된 추적 박스 및 트랙을 입력 받아 모든 객체의 트랙 집합을 생성하고, 트랙의 길이 및 연속성을 위해 다음 프레임에 대한 트랙의 신뢰도 점수를 재평가한다. 이후, 재평가된 트랙의 신뢰도 점수에 따라 로컬 및 글로벌 연결을 수행하도록 한다. 도 3 내지 도 6을 참조하여 본 발명의 일 실시예에 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 과정을 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 객체를 탐지하여 탐지된 객체의 탐지 박스 및 진폭 특성을 추출하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 객체 역학 및 측정 모델에 있어서, 객체 i의 상태를 로 나타내며, 여기서 , , , 는 위치, 속도, 크기 및 예상(또는 평균) SNR이다. 비선형 이산 시간 동적 운동은 객체의 동작을 모델링하기 위해 다음과 같이 사용된다:
여기서 는 각각 x 좌표와 y 좌표에 따른 위치와 속도로 구성된 프레임 t에서 객체 i의 동적 상태를 의미한다. 는 모션 상태 과 의 비선형 함수이며 은 백색 가우시안 시스템 노이즈이다. 초기 상태 은 공분산 P0와 함께 가우시안 로 추정되며, 여기서 이고 이다.
일반적으로 프레임에서 얻어진 탐지 집합은 여러 객체와 클러터(clutter)(또는 배경)에서 비롯된 많은 탐지로 구성된다. 프레임 t에서 일련의 탐지를 로 나타내자. 카메라와 레이더의 각 검출 는 로 표시되며, 여기서 는 카메라에서 얻은 탐지 박스의 x 및 y 위치, 너비, 높이이다. 또한 는 레이더에서 측정한 진폭이다. 레이더에서 범위와 자세 특징을 탐지할 수 있지만, 본 발명에서는 카메라가 일반적으로 실제 환경에서 더 정확한 위치와 크기를 제공하기 때문에 레이더의 진폭 특징을 사용한다.
또한 객체 기반 측정 는 다음과 같이 선형 측정 모델에 의해 모델링된다:
여기서 위치지정 에러에 대한 노이즈 와 는 비상관 가우시안 노이즈 시퀀스이다. 여기서 시각 와 진폭 측정은 서로 독립적이라고 가정한다.
도 4는 본 발명의 일 실시예에 따른 시각적 특징 및 진폭 특징을 학습하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가할 수 있다.
관련도 평가 모델을 위해 와 같이, 트랙(다시 말해, 궤적) Ti를 프레임 t까지의 상태 집합으로 정의한다. 여기서 와 는 트랙의 시작 프레임과 종료 프레임의 타임스탬프이다. 객체 i가 프레임 t에 나타나면 이진 함수를 vi(t) =1로 사용하고, 그렇지 않으면 vi(t)=0이다.
또한, 각각 {Ai, Si, Mi, Pi}의 네 가지 요소를 가진 트랙 Ti를 설명하는데, 여기에서 Ai, Si, Mi, Pi는 각각 외형, 형상, 움직임 및 진폭 모델을 나타낸다. 이후, 두 객체의 일치 정도를 결정하는 관련도 측정을 다음과 같이 정의한다:
여기서 u와 z는 트랙 또는 탐지일 수 있다. 각 관련도는 다음과 같이 계산된다:
외형 관련도 의 경우 부분 최소 제곱(Partial Least Square; PLS)[4]을 사용하여 부분 공간(subspace) 학습을 활용한다. 먼저 프레임에 대한 각 트랙의 평균 RGB 색상 히스토그램 를 추출한다. 이후, 하기 식(14)의 학습된 PLS 부분 공간 에서 를 투영하여 작고 차별적인 특징 를 생성한다. 외형 관련도는 와 사이의 코사인 유사성이다. 학습된 PLS 부분 공간에 대한 자세한 설명은 도 5를 참조하여 설명된다.
형상 친화도 는 업데이트된 높이 h와 폭 w로 계산된다. 는 프레임 갭 와 함께 u 태일(tail)(즉, 마지막 정제 위치)와 z 헤드(head)(즉, 첫 번째 정제 위치) 사이의 움직임 관련도이다. 전방 속도 는 u의 헤드에서 태일까지, 후방 속도 는 z의 태일에서 헤드까지 평가된다. 속도를 업데이트하기 위해 칼만(Kalman) 필터링을 사용한다. 속도와 함께 계산된 예측 위치와 정제 위치 사이의 차이는 가우시안 분포를 따른다고 가정한다. 전방 움직임은 트랙과 탐지 간의 관련도를 평가할 때만 사용된다.
진폭 관련도 는 현재 프레임까지의 연관된 진폭 측정과 추정 SNR, 및 에 대한 평균 진폭 점수 및 로 평가된다.
다음으로, 객체 진폭 모델에 있어서, 진폭 의 확률 밀도가 레일리(Rayleigh) 분포를 따른다고 가정한다[1]. 그런 다음 예상(또는 평균) SNR2 d = S/N0을 정의한다. 여기서 S는 신호 전력이고 N0 = 1이기 때문에 d는 예상 객체 신호 전력으로 처리될 수 있다. 또한, 느린 레일리 페이딩 진폭에서 발생하는 협대역 신호는 협대역 노이즈가 있는 것으로 간주된다. 이 경우 객체에서 반환되는 신호는 전송된 신호와 협대역 노이즈의 합으로 표현된다. 배경 노이즈는 [1]와 같이 정규화된다. 즉, 예상되는 노이즈 전력 N0는 일치한다. 따라서 객체의 진폭 밀도 함수는 분산이 1 + d(즉, 신호 플러스 잡음 대 잡음 비)인 레일리 분포를 따른다:
그러나 객체 진폭 분포식(5)에서 신호 전력 S를 평가하려면 다음과 같은 이유로 예상 객체 SNR d를 추정해야 한다:
다음으로 진폭 가 탐지 임계값 DT(즉, )를 초과하는 경우, 객체의 진폭 밀도는 다음과 같이 된다:
여기서 정규화에 활용되는 객체 탐지 확률 PD는 다음과 같이 계산된다:
객체 SNR d가 알려져 있으면, 객체의 진폭 우도는 다음과 같이 계산할 수 있다:
다음으로, SNR 추정에 있어서, 를 활용하기 위해, MAP 방법을 사용하여 객체 SNR d를 추정한다[2]. 가우시안 랜덤 워크 모델로 이전 p(d)를 모델링한다. 다시 말해, SNR이 이전에 추정된(또는 초기) SNR 근처에서 무작위로 추출된다고 간주한다. 그런 다음, p(d)는 다음과 같이 프레임 t - 1 및 분산 에서 추정된 로 나타낼 수 있다:
알 수 없는 SNR을 보다 정확하게 추정하기 위해 여러 진폭 측정을 사용할 수 있다. 즉, 객체 SNR을 프레임 t에서 객체 i의 즉각적인 진폭 특징 로 추론하는 대신, 프레임 동안 누적 진폭 특징 집합으로 추정할 수 있다.
시간 에서 t까지 누적 진폭 측정을 로 나타낸다. 진폭 수집과 관련하여 최적의 SNR을 찾는 MAP 문제는 다음과 같이 모델링할 수 있다.
여기서 첫 번째 우도 항 는 (9)에 의해 주어진다. (11)의 이전(prior) SNR을 (10)으로 대체하면 다음과 같은 목적 함수를 도출할 수 있다:
본 발명에서는 Levenberg-Marquartt 방법을 사용하여 이러한 비선형 최소 제곱 문제를 해결한다[3].
본 발명의 실시예에 따른 온라인 외형 학습에서의 샘플 생성은 객체 i에 대해 연관된 탐지 박스 가 주어질 때, 스케일링 인자 로 bi의 크기를 조정함으로써 일부 양의 샘플 박스를 생성할 수 있다. 재조정된 박스를 로 나타낸다. 처음에는 =0.7로 설정하고 di와 사이의 결합 영역에 대한 교차 영역의 중첩 비율 가 0.75보다 낮을 때까지 간격 0.1로 증가시킨다. 본 발명의 실시예에 따르면, 일련의 양의 샘플 박스 를 생성하고, 여기서 는 bi를 상회하는 를 가진다.
객체와 근처의 다른 객체 또는 장면 클러터(clutter) 간의 외형 차별성을 개선하기 위해 객체 주위에 음의 샘플 박스를 수집한다. 객체 경계 박스 bi가 주어지면 음의 샘플 박스를 과 같이 정의한다. 여기서, 이고 이다. 는 음의 샘플 지수이다. 본 발명의 실시예에 따른 실험에서 및 를 각각 1.2, 2, 4로 설정했다. 결과적으로 음의 샘플 집합 은 다른 k를 가지는 을 수집하여 생성한다.
박스 집합 와 가 생성되면, 양의 샘플 박스 집합 와 음의 샘플 박스 집합 을 수집한다. 여기서, g+와 g-는 양과 음 샘플의 수이다. t는 양의 및 음의 박스 집합에서 추출한 차원이 인 색상 히스토그램 특징이다.
다른 객체의 외형 특징을 구별하기 위해 부분 최소 제곱(Partial Least Square; PLS)을 사용한 외형 학습이 PCA 및 색상 히스토그램 특징보다 더 많은 차별성을 보이기 때문에 본 발명에서는 PLS를 사용하여 투영 공간을 학습한다[4]. 본 발명에서는 에서 t 프레임까지 수집된 i번째 트랙의 샘플 집합을 로 나타내며, 여기서 는 상술된 바와 같이 와 로 정의된다. NIPALS 알고리즘을 사용하여 다음과 같이 각 반복마다 차원 를 갖는 새로운 PLS 가중치 벡터 w를 학습한다.
여기서 는 에 대하여 차원 를 갖는 g 히스토그램 특징으로 구성된 차원 의 외형 특징 행렬이다. r, o, g는 각각 g 차원 특징 점수, 레이블, 레이블 점수이다. p는 레이블 로딩(loading) 값이다. 반복에 대한 w를 학습함으로써, PLS 가중치 행렬 를 생성할 수 있다.
이후, (13)을 사용한 로 i번째 객체에 대한 가중치 행렬 Wi를 학습할 수 있다. 추적 중에 Wi를 업데이트하기 위해 먼저 로 를 생성하고 학습된 Wi와 조정 가중치 를 를 결합한다.
Wi가 학습되면 투영된 PLS 특징 을 생성할 수 있고 상기 식(4)에서 관련도 평가를 위해 를 사용한다. 본 발명의 실시예에 따르면 와 를 144와 40으로 설정하였다. 이는 의 차원이 원래 특징 의 차원보다 훨씬 더 크기 때문에 추적 속도가 향상될 수 있다는 것을 의미한다.
도 5는 본 발명의 일 실시예에 따른 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하여 프레임 별 연결을 수행하는 과정을 설명하기 위한 도면이다.
상술된 바와 같이 Ti를 정의하였다. 이후, 프레임 t까지의 모든 객체의 트랙 집합을 로 나타낼 수 있다. 우리는 프레임 t에 존재하는 트랙 집합을 로 나타낸다. 그런 다음 신뢰도 측정[5]을 사용하여 트랙의 길이와 연속성을 고려하여 트랙 신뢰도를 평가하고 관련 탐지를 통한 관련도를 다음과 같이 평가한다.
여기서 L은 와 같이 트랙 Xi의 길이이며, w는 와 같이 다른 객체에 의한 폐색 또는 신뢰할 수 없는 탐지로 인해 i가 누락된 프레임의 수를 의미한다. β는 탐지기의 성능에 의존하는 제어 파라미터이다. 탐지기의 정확도가 높으면 β를 큰 값으로 설정해야 한다. 본 발명의 실시예에 따르면, [5]에서 수행한 바와 같이 β는 1.2로 설정하였다. 트랙과 탐지 사이의 평균 관련도 는 상기 식(3)에 의해 계산된다.
식(15)에 의해 트랙의 신뢰도 점수가 계산되면, 로컬 및 글로벌 연결은 트랙 신뢰도에 따라 적응적으로 수행된다. 신뢰도가 높은 Ti(hi) 트랙은 신뢰할 수 있는 트랙으로 간주되며, 점진적으로 증가하기 위해 로컬 탐지 연결된다. 높은 신뢰도를 가진 h 트랙과 탐지 집합 이 프레임 t에 주어지면 로컬 연결 점수 행렬 S를 다음과 같이 계산한다:
여기서 관련도 는 상기 식(3)에 의해 계산된다. 이후, 에서 총 관련도를 최대화하는 트랙 탐지 쌍은 헝가리안(Hungarian) 알고리즘을 사용하여 결정된다[6]. 쌍의 연결 비용이 사전 정의된 임계값 보다 작으면 가 Ti(hi)와 연결된다. 탐지 와 관련된 트랙 Ti(hi)의 경우, 트랙의 상태 및 신뢰도는 다음과 같이 연관 결과와 함께 업데이트된다:
트랙의 위치와 속도는 관련 와 함께 업데이트된다. 객체 크기는 최근 프레임의 관련 탐지의 크기를 평균화하여 업데이트되기도 한다.
는 식(15)에 의해 를 사용하여 업데이트된다.
반면에, 낮은 신뢰도의 Ti(lo)를 가진 트랙은 폐색에 의해 조각난 트랙으로 간주된다. 조각난 트랙을 하나로 연결하기 위해 Ti(lo)를 Ti(hi) 또는 로컬 탐지 연결의 어떠한 Ti(hi)와 연관되지 않은 탐지 와 연결한다. 개의 연관되지 않은 탐지( )와 신뢰도가 높은 트랙 h와 신뢰도가 낮은 트랙 l 이 각각 존재한다고 가정하자. 그러면 다음 다음 이벤트를 고려하여 글로벌 연결을 수행한다:
이벤트 A: Ti(lo)는 Tj(hi)와 연결된다.
이벤트 B: Ti(lo)가 종료된다.
이벤트 C: Ti(lo)는 와 연결된다.
그런 다음 다음과 같이 모든 이벤트에 대한 글로벌 연결 점수 행렬 G를 정의한다.
여기서, 는 이벤트 A를 나타내고, 는 (3)을 사용하여 그들 사이의 관련도에 의해 계산되는 연관 비용이다. 은 이벤트 B를 모델링하며, 여기서 는 Ti(lo)를 종료하는 비용이고, 는 이벤트 C를 나타내며, 여기서 는 (3)에 의해 계산되는 연관 비용이다. 임계값 θ는 관련도 점수가 높은 신뢰할 수 있는 연결 쌍을 선택하는 데 사용된다.
G 행렬이 계산되면 행렬의 총 관련도 점수가 극대화되도록 헝가리안 알고리즘을 사용하여 최적의 일치 쌍을 결정한다. 그런 다음, 관련 쌍의 탐지는 순차적인 방식으로 서로 연결되고, 모든 기존 트랙의 신뢰도는 (15)에 의해 업데이트된다.
도 6은 본 발명의 일 실시예에 따른 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하는 과정을 설명하기 위한 도면이다.
자동화된 MOT를 달성하기 위해서는 트랙을 적절히 관리하는 것도 중요하다. 일반적으로 탐지 응답이 있는 새 트랙을 생성하려면 트랙 초기화가 필요하다. 트랙이 생성되면 객체를 추적한다. 그러나 트랙은 종종 폐색과 부정확한 탐지로 인해 비 객체(예를 들어, 클러터(clutter))를 따를 수 없었다. 이 경우 추적 오류를 수정하려면 이 잘못된 트랙을 제거해야 한다. 경우에 따라 두 개 이상의 트랙이 동일한 객체를 따르는 트랙 중복이 부정확한 트랙 초기화 및 추적 실패에 의해 발생할 수 있다. 이러한 어려움을 처리하기 위해 트랙 초기화, 종료 및 병합 방법을 제안한다.
새로운 트랙을 초기화하는 문제는 특정한 프레임 동안 연속적이고 유사한 탐지 응답에 대한 문제로 변환될 수 있다. 일반적으로 새 트랙의 탐지는 로컬 및 글로벌 연결 단계의 기존 트랙과 연관되지 않아야 한다. 본 발명에서는 에서 t까지 연관되지 않은 일련의 탐지를 로 정의한다. 그것은 새로운 트랙의 후보들이 에서 로 줄었다는 것을 의미한다. 여기서 이다. 본 발명에서는 새로운 트랙 을 정의하고, 여기서 과 t는 새로운 트랙의 시작과 종료 프레임의 타임스탬프이고, 이다. 새로운 트랙 초기화 를 다음과 같이 정의한다:
여기서 는 상기 식(4)에서 정의된 형상 관련도이다. 또한, x와 y 좌표를 따르는 공간적 거리를 평가함으로써 공간적 관련도 를 평가한다. 이며, 여기서 이다. 그런 다음 공분산 는 x 및 y 좌표를 따르는 객체의 최대 속도에 의해 결정되며, 다음과 같이 공평하게 변환된 공분산 [7]에 의해 결정된다.
그런 다음 가 트랙 초기화 확률 를 초과할 때 새 트랙을 생성한다.
본 발명의 실시예에 따른 바람직한 트랙 종결 방법은 거짓 트랙, 즉 실제 객체를 따르지 않는 트랙을 식별하고 제거해야 한다. 본 발명의 실시예에 따르면, 트랙 신뢰도 모델 를 사용하여 트랙의 신뢰도를 평가한다. 보다 낮은 신뢰도를 가진 일부 트랙은 제거된다. 트랙 초기화 및 종료 방법을 사용하면 탐지와 트랙 신뢰도 사이의 관련도를 고려하여 새 트랙을 생성하고 잘못된 트랙을 효율적으로 제거할 수 있다.
본 발명의 실시예에 따른 MOT 문제에서, 부정확한 트랙 초기화 또는 추적 실패로 인해 여러 트랙이 동일한 객체를 따르는 경우가 많고, 이것을 트랙 복제라고 한다. [8]에서는 평균 이동 알고리즘을 기반으로 한 트랙 병합 방법을 제시하였다. 간단히 말해, 최근 상태 에 따라 트랙을 분류하고 그룹화한다. 평균 이동을 사용하여 클러스터 의 mc 모드가 결정된다. 클러스터 가 생성되면 트랙 q와 트랙 상태 , 공분산 , 트랙 신뢰도 , 객체 모델과 같은 구성 요소가 다음과 같이 결정된다:
트랙 상태 는 클러스터 의 모드이다.
공분산 는 최소값 이다.
신뢰도 는 이다.
객체 모델 은 트랙 q*의 모델이며, 여기서 이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
<참고문헌>
[1] S.-H. Bae, "Survey of amplitude-aided multi-target tracking methods," IET Radar, Sonar Navigat., vol. 13, no. 2, pp. 243-253, Feb. 2019.
[2] S.-H. Bae, J. Park, and K.-J. Yoon, "Joint estimation of multi-target signal-to-noise ratio and dynamic states in cluttered environment," IET Radar, Sonar Navigat., vol. 11, no. 3, pp. 539-549, Mar. 2017.
[3] J. Nocedal and S. J. Wright, Numerical Optimization, 2nd ed. New York, NY, USA: Springer, 2006.
[4] S.-H. Lee, M.-Y. Kim, and S.-H. Bae, "Learning discriminative appearance models for online multi-object tracking with appearance discriminability measures," IEEE Access, vol. 6, pp. 67316-67328, 2018.
[5] S.-H. Bae and K.-J. Yoon, "Confidence-based data association and discriminative deep appearance learning for robust online multi-object tracking," IEEE Trans. Pattern Anal. Mach. Intell., vol. 40, no. 3, pp. 595-610, Mar. 2018.
[6] R. K. Ahuja, T. L. Magnanti, and J. B. Orlin, Network Flows―Theory, Algorithms and Applications. Upper Saddle River, NJ, USA: Prentice-Hall, 1993.
[7] M. Longbin, S. Xiaoquan, Z. Yiyu, S. Zhong Kang, and Y. Bar-Shalom, "Unbiased converted measurements for tracking," IEEE Trans. Aerosp. Electron. Syst., vol. 34, no. 3, pp. 1023-1027, Jul. 1998.
[8] S. H. Bae, D. Y. Kim, J. H. Yoon, V. Shin, and K.-J. Yoon, "Automated multi-target tracking with kinematic and non-kinematic information," IET Radar, Sonar Navigat., vol. 6, no. 4, pp. 272-281, 2012.

Claims (10)

  1. 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계;
    신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계;
    신뢰도 기반 데이터 연결부가 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 단계;
    학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델 및 형상 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계; 및
    추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계
    를 포함하고,
    상기 객체 탐지부로부터 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 기반 데이터 연결부에 전달하는 단계는,
    객체 탐지부의 카메라를 통해 획득된 탐지 박스의 위치, 너비, 높이 정보 및 객체 탐지부의 레이더를 통해 측정된 진폭 특성을 입력 받아 선형 측정 모델에 의해 모델링하고,
    객체의 탐지 박스의 위치, 속도, 크기 및 평균 SNR에 관한 객체의 상태를 나타내는 비선형 이산 시간 동적 운동을 모델링하는
    다중 객체 추적 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 학습부가 상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델 및 형상 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 단계는,
    객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 이용하여 객체 상태에 관한 집합으로 트랙을 정의하고, 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하며, 서로 다른 프레임에서의 두 객체의 일치 정도를 결정하기 위한 관련도 점수를 계산하여 평가하는
    다중 객체 추적 방법.
  4. 제3항에 있어서,
    상기 객체의 외형 모델의 학습은 탐지 박스의 크기를 조정함으로써 양의 샘플 박스를 생성하고, 추적되는 객체와 또 다른 객체 또는 장면 클러터 간의 외형을 구분하기 위한 추적되는 객체 주위에서의 음의 샘플 박스를 수집하고,
    상기 양의 샘플 박스 및 상기 음의 샘플 박스를 이용하여 부분 최소 제곱(Partial Least Square; PLS) 학습 방법을 통해 공간을 학습하는
    다중 객체 추적 방법.
  5. 제1항에 있어서,
    상기 신뢰도 기반 데이터 연결부가 탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하는 단계는,
    상기 추적 결과 생성부가 평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 단계로부터 조정된 추적 박스 및 트랙을 입력 받아 모든 객체의 트랙 집합을 생성하고, 트랙의 길이 및 연속성을 위해 다음 프레임에 대한 트랙의 신뢰도 점수를 재평가하고, 재평가된 트랙의 신뢰도 점수에 따라 로컬 및 글로벌 연결을 수행하도록 하는
    다중 객체 추적 방법.
  6. 객체를 탐지하여 탐지된 객체의 탐지 박스 및 진폭 특성을 신뢰도 점수 평가부로 전달하는 객체 탐지부;
    탐지 박스 및 진폭 특성을 이용하여 트랙의 신뢰도 점수를 평가하고, 평가된 신뢰도에 따라 트랙을 분류하며, 분류된 트랙에 대하여 신뢰도에 따라 프레임 별 연결을 통해 트랙을 순차적으로 확장하는 신뢰도 기반 데이터 연결부;
    상기 트랙에 관하여 객체를 추적하는 동안 시각적 특징에서 객체의 외형 모델, 움직임 모델 및 형상 모델을 학습하고, 레이더 특징에서 진폭 모델을 학습하여 신뢰도 기반 데이터 연관을 위한 관련도 점수를 평가하는 학습부; 및
    평가된 관련도 점수에 따라 조정된 추적 박스 및 트랙을 구성하기 위해 트랙을 초기화 또는 종료하고 중복된 거짓 트랙을 제거하는 추적 결과 생성부
    를 포함하고,
    상기 신뢰도 기반 데이터 연결부는,
    객체 탐지부의 카메라를 통해 획득된 탐지 박스의 위치, 너비, 높이 정보 및 객체 탐지부의 레이더를 통해 측정된 진폭 특성을 입력 받아 선형 측정 모델에 의해 모델링하고,
    객체의 탐지 박스의 위치, 속도, 크기 및 평균 SNR에 관한 객체의 상태를 나타내는 비선형 이산 시간 동적 운동을 모델링하는
    다중 객체 추적 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 학습부는,
    객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 이용하여 객체 상태에 관한 집합으로 트랙을 정의하고, 객체의 외형 모델, 움직임 모델, 형상 모델 및 진폭 모델을 학습하며, 서로 다른 프레임에서의 두 객체의 일치 정도를 결정하기 위한 관련도 점수를 계산하여 평가하는
    다중 객체 추적 장치.
  9. 제8항에 있어서,
    상기 학습부는,
    상기 객체의 외형 모델의 학습은 탐지 박스의 크기를 조정함으로써 양의 샘플 박스를 생성하고, 추적되는 객체와 또 다른 객체 또는 장면 클러터 간의 외형을 구분하기 위한 추적되는 객체 주위에서의 음의 샘플 박스를 수집하고,
    상기 양의 샘플 박스 및 상기 음의 샘플 박스를 이용하여 부분 최소 제곱(Partial Least Square; PLS) 학습 방법을 통해 공간을 학습하는
    다중 객체 추적 장치.
  10. 제6항에 있어서,
    상기 신뢰도 기반 데이터 연결부는,
    상기 추적 결과 생성부로부터 조정된 추적 박스 및 트랙을 입력 받아 모든 객체의 트랙 집합을 생성하고, 트랙의 길이 및 연속성을 위해 다음 프레임에 대한 트랙의 신뢰도 점수를 재평가하고, 재평가된 트랙의 신뢰도 점수에 따라 로컬 및 글로벌 연결을 수행하도록 하는
    다중 객체 추적 장치.
KR1020210057730A 2021-05-04 2021-05-04 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치 KR102589987B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210057730A KR102589987B1 (ko) 2021-05-04 2021-05-04 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210057730A KR102589987B1 (ko) 2021-05-04 2021-05-04 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220150576A KR20220150576A (ko) 2022-11-11
KR102589987B1 true KR102589987B1 (ko) 2023-10-18

Family

ID=84042640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210057730A KR102589987B1 (ko) 2021-05-04 2021-05-04 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102589987B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527813A (ja) 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッドＢａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ． 自律走行車の交通予測における予測軌跡の評価フレームワーク
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102132722B1 (ko) * 2018-11-23 2020-07-10 인하대학교 산학협력단 영상 내 다중 객체 추적 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527813A (ja) 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッドＢａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ． 自律走行車の交通予測における予測軌跡の評価フレームワーク
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Seong-Ho Lee 등, Online Multi-Object Tracking by Learning Discriminative Appearance with Fourier Transform and Partial Least Square Analysis, Jounral of The Korea Society of Computer and Information(20*
김수진 등, Normalized Rayleigh Likelihood를 활용한 표적신호세기정보 적용 다중표적추적 기술, Jornal of the KIMST(2017.08.05.)*

Also Published As

Publication number Publication date
KR20220150576A (ko) 2022-11-11

Similar Documents

Publication Publication Date Title
CN108470332B (zh) 一种多目标跟踪方法及装置
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN110660083A (zh) 一种结合视频场景特征感知的多目标跟踪方法
Indelman et al. Incremental distributed inference from arbitrary poses and unknown data association: Using collaborating robots to establish a common reference
Cao et al. Correlation-based tracking of multiple targets with hierarchical layered structure
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
Reich et al. Monocular 3d multi-object tracking with an ekf approach for long-term stable tracks
Zhang et al. UAST: Uncertainty-aware siamese tracking
CN110738688A (zh) 一种新的红外超弱运动目标检测方法
Chen et al. Exploring local context for multi-target tracking in wide area aerial surveillance
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
Bae Online multi-object tracking with visual and radar features
Fleck et al. Robust tracking of reference trajectories for autonomous driving in intelligent roadside infrastructure
Wang et al. Effective multiple pedestrian tracking system in video surveillance with monocular stationary camera
Makris et al. A hierarchical feature fusion framework for adaptive visual tracking
CN112946625B (zh) 基于b样条形状驱动多扩展目标航迹跟踪及分类方法
Linder et al. Towards a robust people tracking framework for service robots in crowded, dynamic environments
Mittal et al. Pedestrian detection and tracking using deformable part models and Kalman filtering
Singh et al. Fast semantic-aware motion state detection for visual slam in dynamic environment
KR102589987B1 (ko) 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
Leung et al. Evaluating set measurement likelihoods in random-finite-set slam
Arnaud et al. Partial linear gaussian models for tracking in image sequences using sequential monte carlo methods
Tamas et al. Lidar and vision based people detection and tracking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right