KR100819563B1 - 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법 - Google Patents

모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법 Download PDF

Info

Publication number
KR100819563B1
KR100819563B1 KR1020060037136A KR20060037136A KR100819563B1 KR 100819563 B1 KR100819563 B1 KR 100819563B1 KR 1020060037136 A KR1020060037136 A KR 1020060037136A KR 20060037136 A KR20060037136 A KR 20060037136A KR 100819563 B1 KR100819563 B1 KR 100819563B1
Authority
KR
South Korea
Prior art keywords
video
bounding box
vehicle object
target vehicle
points
Prior art date
Application number
KR1020060037136A
Other languages
English (en)
Other versions
KR20070105100A (ko
Inventor
권재호
이준환
박은종
Original Assignee
유일정보시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유일정보시스템(주) filed Critical 유일정보시스템(주)
Priority to KR1020060037136A priority Critical patent/KR100819563B1/ko
Publication of KR20070105100A publication Critical patent/KR20070105100A/ko
Application granted granted Critical
Publication of KR100819563B1 publication Critical patent/KR100819563B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

본 발명은 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법에 관한 것으로, 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 동영상취득장치와, 상기 동영상취득장치로부터 취득된 각각의 동영상들에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하며, 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합장치와, 상기 모자익 동영상통합장치로부터 통합된 모자익 동영상을 제공받아 칼만 필터를 이용하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 차량추적장치를 포함함으로써, 각각의 카메라로부터 취득한 차량객체의 인식과 동일화 과정이라는 복잡한 과정 없이 광범위한 구간에서 차량객체를 보다 정확하고 효율적으로 추적할 수 있는 효과가 있다.
차량, 카메라, 동영상, 모자익, 추적, 칼만 필터부, 매칭 규칙부

Description

모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법{SYSTEM FOR TRACKING CAR OBJECTS USING MOSAIC VIDEO IMAGE AND A METHOD THEREOF}
도 1은 본 발명의 일 실시예에 따른 모자익 동영상을 이용한 차량객체 추적시스템을 설명하기 위한 개략적인 구성도.
도 2는 본 발명의 일 실시예에 따른 모자익 동영상을 이용한 차량객체 추적방법을 설명하기 위한 흐름도.
도 3은 도 2의 대응점 탐색 및 추정단계(S200)를 구체적으로 설명하기 위한 흐름도.
도 4는 도 2의 대상 차량객체의 추적단계(S400)를 구체적으로 설명하기 위한 흐름도.
도 5는 모자익 동영상 시퀀스 생성을 설명하기 위한 개념도.
도 6은 두 영상 시퀀스의 대응점쌍 불일치를 설명하기 위한 개념도.
도 7은 본 발명의 일 실시예에 따른 모자익 동영상의 결과 이미지를 나타낸 도면.
도 8은 본 발명의 일 실시예에 적용된 칼만 필터링의 과정을 설명하기 위한 흐름도.
도 9는 추적대상 차량객체와 칼만 필터 추정위치를 설명하기 위한 도면.
*** 도면의 주요 부분에 대한 부호 설명 ***
100 : 동영상취득장치, 200 : 모자익 동영상통합장치,
210 : 대응점 탐색 및 추정부, 230 : 모자익 동영상통합부,
300 : 차량추적장치, 310 : 칼만 필터부,
330 : 매칭 규칙부, 350 : 차량추적부
본 발명은 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법에 관한 것으로, 보다 상세하게는 복수개의 카메라로부터 취득한 동영상을 기하학적 변환을 통하여 하나의 모자익 동영상을 제작하고, 이 제작된 모자익 동영상에서 칼만 필터링을 수행한 후 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적함으로써, 각각의 카메라로부터 취득한 차량객체의 인식과 동일화 과정이라는 복잡한 과정 없이 광범위한 구간에서 차량객체를 보다 정확하고 효율적으로 추적할 수 있도록 한 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법에 관한 것이다.
일반적으로, 단일 카메라의 동영상 감시시스템에서 객체를 추적할 경우, 카메라의 시점과 시각(Field of View, FOV)에 따라 제한된 감시영역의 객체를 담당할 수밖에 없다.
이를 해결하는 방법으로 복수개의 카메라를 이용하여 각각의 카메라에서 취득된 동영상에서 객체를 추적할 경우 복수개에 나타난 객체가 동일한 객체인지의 여부를 조사하여 이를 일치시키는 과정이 필요하다.
즉, 각각의 영상에 나타난 객체가 동일객체 인지의 여부를 가리는 작업이 필요하다. 일반적으로 이 과정은 카메라의 설치 위치 및 촬영각, 카메라의 특성들에 따라 객체가 어떻게 나타나는가를 고려하여 서로 다른 카메라 상에 나타난 객체의 동일성 여부를 판단하여야 하는 어려움이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 복수개의 카메라로부터 취득한 동영상을 기하학적 변환을 통하여 하나의 모자익 동영상을 제작하고, 이 제작된 모자익 동영상에서 칼만 필터링을 수행한 후 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적함으로써, 각각의 카메라로부터 취득한 차량객체의 인식과 동일화 과정이라는 복잡한 과정 없이 광범위한 구간에서 차량객체를 보다 정확하고 효율적으로 추적할 수 있도록 한 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 동영상취득장 치; 상기 동영상취득장치로부터 취득된 각각의 동영상들에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하며, 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합장치; 및 상기 모자익 동영상통합장치로부터 통합된 모자익 동영상을 제공받아 칼만 필터를 이용하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 차량추적장치를 포함하는 모자익 동영상을 이용한 차량객체 추적시스템을 제공하는 것이다.
여기서, 상기 모자익 동영상통합장치는, 상기 영상취득장치로부터 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하는 대응점 탐색 및 추정부; 및 상기 대응점 탐색 및 추정부로부터 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합부를 포함함이 바람직하다.
바람직하게는, 상기 차량추적장치는, 상기 모자익 동영상통합장치로부터 통합된 모자익 동영상의 현재 프레임에서의 대상 차량객체 위치를 예측하는 칼만 필터부; 대상 차량객체의 추적을 위한 매칭 규칙들을 정의하는 매칭 규칙부; 및 상기 모자익 동영상통합장치로부터 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스를 산출하고, 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출한 후, 상기 칼만 필터부를 통해 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측하며, 상기 매칭 규칙부로부터 정의된 매칭 규 칙들을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적하는 차량추적부를 포함한다.
바람직하게는, 상기 매칭 규칙은, 상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신하는 제1 규칙; 상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신하는 제2 규칙; 상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신하는 제3 규칙; 및 상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정하는 제4 규칙을 포함한다.
본 발명의 제2 측면은, 복수개의 카메라를 이용하여 차량객체를 추적하는 방법에 있어서, (a) 상기 복수개의 카메라로부터 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 단계; (b) 상기 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하는 단계; (c) 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 단계; 및 (d) 상기 통합된 모자익 동영상을 제공받아 칼만 필터링을 수행하여 현재 프레임에서의 대상 차량객 체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 단계를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법을 제공하는 것이다.
여기서, 상기 단계(b)는, (b-1) 상기 취득된 각 동영상의 이전 프레임에서 기설정된 복수개의 대응점들에 대해 주변의 국부영상을 저장하는 단계; (b-2) 현재 프레임에서 상기 저장된 국부영상과 동일한 위치를 기준으로 상기 국부영상보다 큰 면적의 영상영역에 대해 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 순차적으로 탐색하는 단계; (b-3) 상기 탐색된 대응점들이 기설정된 실제 최대값보다 크거나 같은 지를 판단하여, 기설정된 실제 최대값보다 크거나 같을 경우 상기 탐색된 대응점들에 대해 상기 단계(c)를 수행하는 단계; 및 (b-4) 상기 단계(b-3)에서의 판단 결과, 상기 탐색된 대응점들이 기설정된 실제 최대값 이하일 경우 상기 탐색된 대응점들은 그대로 활용하고, 나머지 대응점들은 상기 탐색된 대응점들의 평균 변위만큼으로 추정하는 단계를 포함함이 바람직하다.
바람직하게는, 상기 단계(b-2)에서, 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 탐색하지 못했을 경우, 현재 프레임의 대응점들을 이전 프레임에서 기설정된 복수개의 대응점들의 위치와 동일한 지점으로 추정하는 단계를 더 포함한다.
바람직하게는, 상기 단계(c)에서, 상기 기하학적 변환은 투영 변환 또는 4차 방정식 변환이다.
바람직하게는, 상기 단계(d)는, (d-1) 상기 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스를 산출하는 단계; (d-2) 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출하는 단계; (d-3) 칼만 필터링을 수행하여 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측하는 단계; 및 (d-4) 미리 정의된 규칙을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적하는 단계를 포함한다.
바람직하게는, 상기 단계(d-4)는, (d-4-1) 상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신한 후 상기 단계(d-2)를 수행하는 단계; (d-4-2) 상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신한 후 상기 단계(d-2)를 수행하는 단계; (d-4-3) 상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신한 후 상기 단계(d-2)를 수행하는 단계; 및 (d-4-4) 상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정하는 단계를 포함한다.
한편, 모자익 동영상을 구성하고, 여기에 나타난 차량객체를 추적하기 위해 서는 카메라 흔들림에 따른 대응점 불일치 문제를 해결해야 하는 바, 본 발명의 일 실시예에서는 동영상 촬영 시 카메라의 흔들림에 의해 모자익 구성에 필요한 초기 대응점의 위치가 서로 달라지더라도 초기 대응점의 연속되는 프레임에서의 매칭을 이용하여 해결하였다.
단, 본 발명에 적용된 모자익 동영상을 이용할 경우 복수개의 동영상을 이용한 추적방법에 비해 카메라가 도로면과 먼 위치에 존재하여 모자익 동영상 구성 시 추적대상 차량객체의 왜곡이 크지 않음을 가정한다.
또한, 상기와 같이 구성된 모자익 동영상은 복수개의 동영상에 나타난 차량객체의 동일성 여부의 판정절차 없이 단일 동영상 시퀀스에서의 임의의 차량추적 알고리즘을 그대로 적용할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일 실시예에 따른 모자익 동영상을 이용한 차량객체 추적시스템을 설명하기 위한 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 모자익 동영상을 이용한 차량객체 추적시스템은, 크게 동영상취득장치(100), 모자익 동영상통합장치(200) 및 차량추적장치(300)를 포함하여 이루어진다.
여기서, 동영상취득장치(100)는 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 기능을 수행하는 것으로서, 특히 도로에서 차선별로 주행하는 차량 및 도로 등에 대한 동영상을 취득하여 다수의 프레임을 갖는 동영상 데이터로 변환하여 출력한다.
이러한 동영상취득장치(100)는 복수개의 고체촬상소자(CCD) 카메라로 구현됨이 바람직하며, 도로에서 주행하는 차량을 취득하기 가장 적합한 위치에 일정간격 이격되어 고정 설치될 수도 있으나, 교통량 조사가 필요한 지점이나 시점의 결정에 따라 임의로 설치할 수 있는 이동식이 바람직하다.
모자익 동영상통합장치(200)는 동영상취득장치(100)로부터 취득된 각각의 동영상들에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하며, 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 기능을 수행한다.
이러한 모자익 동영상통합장치(200)는 동영상취득장치(100)로부터 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하는 대응점 탐색 및 추정부(210)와, 대응점 탐색 및 추정부(210)로부터 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합부(230)로 이루어진다.
차량추적장치(300)는 모자익 동영상통합장치(200)로부터 통합된 모자익 동영상을 제공받아 통상의 칼만 필터(Kalman Filter)를 이용하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 기능을 수행한다.
이러한 차량추적장치(300)는 모자익 동영상통합장치(200)로부터 통합된 모자익 동영상의 현재 프레임에서의 대상 차량객체 위치를 예측하는 칼만 필터부(310)와, 대상 차량객체의 추적을 위한 매칭 규칙들을 정의하는 매칭 규칙부(330)와, 모자익 동영상통합장치(200)로부터 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스(Bounding Box)를 산출하고, 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출한 후, 칼만 필터부(310)를 통해 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측하며, 매칭 규칙부(330)로부터 미리 정의된 매칭 규칙들을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적하는 차량추적부(350)로 구성되어 있다.
이때, 상기 매칭 규칙은, 상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신하는 제1 규칙과, 상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신하는 제2 규칙과, 상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신하는 제3 규칙과, 상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정하는 제4 규칙으로 이루어진다.
도 2는 본 발명의 일 실시예에 따른 모자익 동영상을 이용한 차량객체 추적방법을 설명하기 위한 흐름도이고, 도 3은 도 2의 대응점 탐색 및 추정단계(S200)를 구체적으로 설명하기 위한 흐름도이며, 도 4는 도 2의 대상 차량객체의 추적단계(S400)를 구체적으로 설명하기 위한 흐름도이다.
도 2 내지 도 4를 참조하면, 먼저, 동영상취득장치(100, 도 1 참조)로부터 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득한 후(S100), 상기 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정한 후(S200), 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합한다(S300).
이때, 상기 단계S200은 상기 취득된 각 동영상의 이전 프레임에서 기설정된 복수개의 대응점들에 대해 주변의 국부영상(예컨대, 7×7 화소)을 저장하고(S210), 현재 프레임에서 상기 저장된 국부영상과 동일한 위치를 기준으로 상기 국부영상보다 큰 면적의 영상영역(예컨대, 15×15 화소)에 대해 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 순차적으로 탐색한다(S220).
상기 단계S220에서의 탐색은 예컨대, 화소의 칼라 값을 비교하는 것으로 수행할 수 있다. 즉, 이전 프레임 이미지의 대응점 주변 7×7 화소 정보를 저장하고, 현재 프레임 이미지에서 대응점 주변 15×15 화소 정보를 순차적으로 탐색하 며 칼라 차이가 예컨대, 5 이하이면, 이전 및 현재 프레임의 화소 정보는 유사하다고 인정하고, 7×7 화소 중 유사한 화소 수를 계수한다.
이후에, 상기 탐색된 대응점들이 기설정된 실제 최대값(Max_Th = 4 또는 6)보다 크거나 같은 지를 판단하여(S230), 기설정된 실제 최대값보다 크거나 같을 경우 상기 탐색된 대응점들을 이용하여 상기 단계S300을 수행한다.
즉, 각 동영상의 현재 프레임에 대해 통상의 기하학적 변환 예컨대, 투영 변환(perspective transform) 또는 4차 방정식 변환(biquadratic transform)을 수행한 후 하나의 모자익 동영상으로 통합한다(S240).
한편, 탐색에 실패한 지점에 대해서는 구성된 투영 변환식 즉, 하기의 수학식 1을 이용하여 시간 t에서의 좌표값을 추정할 수 있다.
만약, 도로면 차선의 꼭지점 부분들을 대응점으로 할 경우 차량에 의해 가려지는 부분도 존재하기 때문에 경우에 따라서는 최대로 일치하는 지점이 부정확한 지점일 가능성도 있다. 상기 단계S230의 판단 단계는 최대로 일치하는 지점이더라도 가려짐이 존재하는 경우에는 정확한 지점이라 가정할 수 없기 때문에 필요한 과정이다.
그리고, 상기 투영 변환은 하기의 수학식 1에 의해 수행할 수 있다.
Figure 112006028867764-pat00001
즉, 도 5에 도시된 바와 같이, 두 장의 영상을 이용하여 하나의 모자익 영 상을 구성하는 경우에 시간 to에서 좌우 두 장의 영상의 대응점쌍은 {(이전 좌표(xi, yi), 새로운 좌표(ui, vi)), i=1,2,...,m}으로 표현한다. 이들 사이에 투영 변환을 가정한다면, m개의 대응점쌍에 대해 상기의 수학식 1을 최대로 만족하는 파라미터(a11, a12, a13, a21, a22, a23, a31, a32)를 찾아 통합할 영상의 모든 화소들을 변환하여 기준영상과 붙여야 한다.
또한, 상기 4차 방정식 변환은 하기의 수학식 2에 의해 수행할 수 있다.
Figure 112006028867764-pat00002
즉, m개의 대응점쌍에 대해 상기의 수학식 2를 최대로 만족하는 파라미터(A, B, C, D, E, F, G, H, I, J, K, L)를 찾아 통합할 영상을 기준영상에 붙여 넣을 수 있다. 여기서, 파라미터는 투영 변환의 경우 적어도 4개의 대응점쌍을 가정해야 하며, 4차 방정식 변환의 경우에는 적어도 6개의 대응점쌍을 가정해야 한다.
이들 대응점쌍이 파라미터 즉, 미지수에 대해 독립적인 방정식을 만들 수 있어야 하며, 만약 대응점쌍이 그 이상인 경우에는 통상자승 오차(square error)를 최소화하는 방법을 사용할 수 있다.
하기의 수학식 3은 상기 투영 변환과 4개의 대응점쌍을 가정한 경우의 파라미터를 구하기 위한 선형연립 방정식을 나타낸 것이며, 하기의 수학식 4는 상기 4 차 방정식 변환과 m개의 대응점쌍을 가정한 경우의 선형연립 방정식을 나타낸 것이다.
Figure 112006028867764-pat00003
Figure 112006028867764-pat00004
상기의 수학식 3 및 수학식 4를 일반화하면, U=WA와 같으며, W의 랭크가 n이라면, 대응점쌍의 개수 m〉n인 경우 최소자승오차(least square error)를 제공하는 해는 A=(WTW)-1WTU와 같이 구할 수 있다.
결국, 모자익 구성을 위해서는 두 장의 영상에서 대응점쌍이 중요하며, 이들 대응점쌍은 자동으로 찾거나 수동으로 입력하여야 하는데 이는 공지의 기술이 다. 즉, 자동으로 찾는 경우에는 각 영상의 코너점 등 POI(Point of Interest)를 찾고 이들 POI 지점에서 영상의 국부적인 특징을 이용한 좌우 영상점들의 매칭을 시도하여 찾을 수 있으며, 수동인 경우에는 좌우 영상을 작업자가 눈으로 보고 지적하여 대응점쌍들을 구성할 수 있다.
그러나, 동영상의 경우에는 촬영하는 카메라의 흔들림에 의해 매 프래임 대응점 쌍을 다시 찾아야 하는 문제가 있으며 이를 해결해야 한다. 즉, 두 대의 카메라를 가정하는 경우 각각의 카메라의 촬영 도중 흔들림이 있으면, 최초 프레임들의 대응점을 가정한 기하학적인 변환을 적용하면 오차를 유발할 수 있기 때문이다.
즉, 도 6과 같이 시간 t0와 t1사이에 카메라의 흔들림이 있었다면, 각각의 영상 시퀀스의 시간 t0와 t1에서의 초기 대응점쌍은 어긋나게 되며, 이는 시간 t1에서 각 영상 시퀀스의 대응점 사이에도 어긋나게 된다는 것이다. 이를 해결하기 위해서 본 발명의 일 실시예에서는 시간에 따라 카메라가 급격하게 변화하지 않는다는 가정을 바탕으로 도 3과 같은 방법을 적용하였다.
한편, 상기 단계S230에서의 판단 결과, 상기 탐색된 대응점들이 기설정된 실제 최대값 이하일 경우에는 상기 탐색된 대응점들은 그대로 활용하고, 나머지 대응점들은 상기 탐색된 대응점들의 평균 변위만큼으로 가정하여 추정한다(S250).
다른 한편, 상기 단계S220에서, 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 탐색하지 못했을 경우, 현재 프레임의 대응점들을 이전 프레 임에서 기설정된 복수개의 대응점들의 위치와 동일한 지점으로 가정하여 추정한다.
전술한 바와 같은 대응점의 탐색과 추정은 각각의 카메라로부터 취득된 영상 시퀀스의 매 프레임마다 일어나며 각각의 시간에서 이러한 대응점을 이용하여 투영영상을 모자익하기 위한 상기의 수학식 1 또는 수학식 2의 기하학적인 변환을 구성하여 하나의 모자익 동영상을 구성하게 된다. 도 7은 이러한 방법을 이용하여 만든 모자익 동영상의 프레임들을 보여주고 있다.
다음으로, 상기 통합된 모자익 동영상을 제공받아 칼만 필터링을 수행하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적한다(S400). 즉, 본 발명의 일 실시예에서는 규칙기반 차량추적 알고리즘에 칼만 필터를 적용하여 대상 차량객체의 추적률을 더욱 향상시켰다.
이때, 상기 칼만 필터링(Kalman Filtering)의 과정은 도 8에서와 같이 예측(수학식 5 및 수학식 6)과 정정(수학식 7 내지 수학식 9) 단계를 반복하며, 잡음과 오측정 환경에서 상태를 추정하는 과정이다.
Figure 112006028867764-pat00005
Figure 112006028867764-pat00006
Figure 112006028867764-pat00007
Figure 112006028867764-pat00008
Figure 112006028867764-pat00009
여기서,
Figure 112006028867764-pat00010
는 시간 k에서 추정된 상태이며,
Figure 112006028867764-pat00011
는 시간 (k-1)에서 추정된 상태로 시스템의 동력학에 의해 진행된 상태를 의미하며, zk는 시간 k에서 측정된 출력이다.
또한, 본 발명의 일 실시예에서 사용된 칼만 필터에서 동력학 부분은 하기의 수학식 10과 같이 설정하였으며, 입력과 관측 잡음의 공분산 행렬과 초기 예측치 등은 하기의 수학식 11과 같이 설정하였다.
Figure 112006028867764-pat00012
Figure 112006028867764-pat00013
즉, 예측 단계에서는 시간 (k-1)에서 추정된 상태로 가우시안 잡음 환경하에서 시스템 동력학에 의해 상태는 진행하며, 진행된 상태는 측정된 출력과 칼만 이득 에 의해 재추정된다. 이러한 칼만 필터(Kalman Filter)를 영상객체를 추적하는데 활용하는 방법은 널리 알려진 공지 기술로서 이에 대한 상세한 설명은 생략하기로 한다.
상기 단계S400의 대상 차량객체를 추적하는 과정은, 이전 프레임의 바운딩 박스(Bounding Box)는 일정부분 진행되었다는 현실적인 가정을 바탕으로 칼만 필터는 진행된 이동위치를 추정하는데 사용하였다. 즉, 차량을 포함하는 바운딩 박스를 규정하는 두 점을 칼만 필터를 이용하여 추정하였다.
본 발명의 일 실시예에서 추적대상 차량은 도 9에서 차량이 c-b-a 방향으로 진행한다면, b영역에 차량의 후면이 도달하였을 경우 즉, 차량이 검지영역 시발점을 빠져 나왔을 경우부터이며, 차량추적의 종료는 차량의 전면이 a 부분에 도착할 때까지로 한정한다.
이는 본 발명의 일 실시예에서의 칼만 필터로 추정하는 상태는 차량을 포함하는 바운딩 박스의 앞, 뒤의 위치(도 9의 파란색 차량의 앞뒤 o표된 위치)이며, 검지선의 시작과 끝 부분에서는 이러한 추정 위치들의 변동이 없으므로, 칼만 필 터 적용이 무의미하기 때문이다. 이러한 추적구간에서 칼만 필터를 적용하는 개개의 차량에 대한 규칙기반 차량추적 알고리즘은 다음과 같다.
먼저, 상기 단계S200에서 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스를 산출하고(S410), 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출한 후(S420), 칼만 필터부(310, 도 1 참조)를 통해 칼만 필터링을 수행하여 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측한다(S430).
다음으로, 매칭 규칙부(330, 도 1 참조)에서 미리 정의된 매칭 규칙을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적한다(S440).
즉, 상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신한 후 상기 단계S430을 수행한다.
상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신한 후 상기 단계S430을 수행한다.
상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신한 후 상기 단계S430을 수행한다.
상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상 기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정한다.
전술한 바와 같이 본 발명의 일 실시예에 적용된 칼만 필터링의 수행은 중첩된 차량의 바운딩 박스의 시작과 끝점을 추정 가능하게 되어 중첩된 부분을 허용하며 추적이 용이하게 되었다.
전술한 본 발명에 따른 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
이상에서 설명한 바와 같은 본 발명의 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법에 따르면, 복수개의 카메라로부터 취득한 동영상을 기하학적 변환을 통하여 하나의 모자익 동영상을 제작하고, 이 제작된 모자익 동영상에서 칼만 필터링을 수행한 후 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적함으로써, 각각의 카메라로부터 취득한 차량객체의 인식과 동일화 과정이라는 복잡한 과정 없이 광범위한 구간에서 차량객체를 보다 정확하고 효율적으로 추적할 수 있는 이점이 있다.

Claims (10)

  1. 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 동영상취득장치;
    상기 동영상취득장치로부터 취득된 각각의 동영상들에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하며, 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합장치; 및
    상기 모자익 동영상통합장치로부터 통합된 모자익 동영상을 제공받아 칼만 필터를 이용하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 차량추적장치를 포함하는 모자익 동영상을 이용한 차량객체 추적시스템.
  2. 제 1 항에 있어서, 상기 모자익 동영상통합장치는,
    상기 동영상취득장치로부터 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하는 대응점 탐색 및 추정부; 및
    상기 대응점 탐색 및 추정부로부터 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 모자익 동영상통합부를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적시스템.
  3. 제 1 항에 있어서, 상기 차량추적장치는,
    상기 모자익 동영상통합장치로부터 통합된 모자익 동영상의 현재 프레임에서의 대상 차량객체 위치를 예측하는 칼만 필터부;
    대상 차량객체의 추적을 위한 매칭 규칙들을 정의하는 매칭 규칙부; 및
    상기 모자익 동영상통합장치로부터 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스를 산출하고, 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출한 후, 상기 칼만 필터부를 통해 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측하며, 상기 매칭 규칙부로부터 정의된 매칭 규칙들을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적하는 차량추적부를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적시스템.
  4. 제 3 항에 있어서, 상기 매칭 규칙은,
    상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신하는 제1 규칙;
    상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신하는 제2 규칙;
    상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신하는 제3 규칙; 및
    상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정하는 제4 규칙을 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적시스템.
  5. 복수개의 카메라를 이용하여 차량객체를 추적하는 방법에 있어서,
    (a) 상기 복수개의 카메라로부터 도로 상의 검지 영역에 대한 도로 및 차량의 동영상을 서로 다른 시점에서 취득하는 단계;
    (b) 상기 취득된 각각의 동영상에 대해 현재 및 이전 프레임간의 대응점들을 탐색 및 추정하는 단계;
    (c) 상기 탐색 및 추정된 대응점들을 이용하여 각각의 동영상에 대한 기하학적 변환을 수행한 후 하나의 모자익 동영상으로 통합하는 단계; 및
    (d) 상기 통합된 모자익 동영상을 제공받아 칼만 필터링을 수행하여 현재 프레임에서의 대상 차량객체를 예측한 후, 미리 정의된 매칭 규칙을 기반으로 대상 차량객체를 추적하는 단계를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
  6. 제 5 항에 있어서, 상기 단계(b)는,
    (b-1) 상기 취득된 각 동영상의 이전 프레임에서 기설정된 복수개의 대응점들에 대해 주변의 국부영상을 저장하는 단계;
    (b-2) 현재 프레임에서 상기 저장된 국부영상과 동일한 위치를 기준으로 상기 국부영상보다 큰 면적의 영상영역에 대해 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 순차적으로 탐색하는 단계;
    (b-3) 상기 탐색된 대응점들의 개수가 기설정된 실제 최대값보다 크거나 같은 지를 판단하여, 기설정된 실제 최대값보다 크거나 같을 경우 상기 탐색된 대응점들에 대해 상기 단계(c)를 수행하는 단계; 및
    (b-4) 상기 단계(b-3)에서의 판단 결과, 상기 탐색된 대응점들의 개수가 기설정된 실제 최대값 이하일 경우 상기 탐색된 대응점들은 그대로 활용하고, 나머지 대응점들은 상기 탐색된 대응점들의 평균 변위만큼으로 추정하는 단계를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
  7. 제 6 항에 있어서, 상기 단계(b-2)에서, 상기 이전 프레임에서 기설정된 대응점들과 일치하는 대응점들을 탐색하지 못했을 경우, 현재 프레임의 대응점들을 이전 프레임에서 기설정된 복수개의 대응점들의 위치와 동일한 지점으로 추정하는 단계를 더 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
  8. 제 5 항에 있어서, 상기 단계(c)에서, 상기 기하학적 변환은 투영 변환 또 는 4차 방정식 변환인 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
  9. 제 5 항에 있어서, 상기 단계(d)는,
    (d-1) 상기 통합된 모자익 동영상의 현재 프레임에서 대상 차량객체를 둘러싸는 바운딩 박스를 산출하는 단계;
    (d-2) 상기 산출된 바운딩 박스의 대각선 방향의 두 점을 추출하는 단계;
    (d-3) 칼만 필터링을 수행하여 다음 프레임에서의 바운딩 박스의 대각선 방향의 두 점을 예측하는 단계; 및
    (d-4) 미리 정의된 매칭 규칙을 기반으로 상기 예측된 바운딩 박스에 대상 차량객체가 존재하는지의 여부에 따라 새로운 바운딩 박스로 갱신하여 대상 차량객체를 추적하는 단계를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
  10. 제 9 항에 있어서, 상기 단계(d-4)는,
    (d-4-1) 상기 예측된 바운딩 박스에 대상 차량객체가 하나 존재할 경우, 새로운 바운딩 박스로 갱신한 후 상기 단계(d-2)를 수행하는 단계;
    (d-4-2) 상기 예측된 바운딩 박스에 대상 차량객체가 두 개 이상 존재할 경우, 두 개 이상의 차량객체를 포함하는 바운딩 박스로 병합 갱신한 후 상기 단계(d-2)를 수행하는 단계;
    (d-4-3) 상기 예측된 바운딩 박스 내부와 외부에 대상 차량객체가 존재하고, 이전 프레임의 동일 위치에 두 개 이상의 바운딩 박스가 존재할 경우, 해당 바운딩 박스를 이용하여 현재 프레임에서의 대상 차량객체를 분할하고, 상기 분할된 바운딩 박스들로 갱신한 후 상기 단계(d-2)를 수행하는 단계; 및
    (d-4-4) 상기 예측된 바운딩 박스 내부에 대상 차량객체가 존재하지 않을 경우, 상기 예측된 바운딩 박스에 대상 차량객체가 존재한다고 가정하는 단계를 포함하는 것을 특징으로 하는 모자익 동영상을 이용한 차량객체 추적방법.
KR1020060037136A 2006-04-25 2006-04-25 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법 KR100819563B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060037136A KR100819563B1 (ko) 2006-04-25 2006-04-25 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060037136A KR100819563B1 (ko) 2006-04-25 2006-04-25 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070105100A KR20070105100A (ko) 2007-10-30
KR100819563B1 true KR100819563B1 (ko) 2008-04-07

Family

ID=38818710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060037136A KR100819563B1 (ko) 2006-04-25 2006-04-25 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100819563B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355976B1 (ko) 2012-11-13 2014-02-03 재단법인대구경북과학기술원 시공간 특징점 정합을 이용한 객체 추적방법 및 그 장치
KR101380628B1 (ko) * 2013-10-18 2014-04-02 브이씨에이 테크놀러지 엘티디 복수의 카메라를 사용한 객체 추적 방법 및 장치
KR20190057847A (ko) 2017-11-21 2019-05-29 (주)호모미미쿠스 반려견 견착 촬영 영상의 흔들림 보정 장치, 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492598B (zh) * 2018-11-19 2021-08-03 辽宁工业大学 一种基于机器视觉的高速公路汽车偏离车道线主动识别及预警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304284B1 (en) 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304284B1 (en) 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355976B1 (ko) 2012-11-13 2014-02-03 재단법인대구경북과학기술원 시공간 특징점 정합을 이용한 객체 추적방법 및 그 장치
KR101380628B1 (ko) * 2013-10-18 2014-04-02 브이씨에이 테크놀러지 엘티디 복수의 카메라를 사용한 객체 추적 방법 및 장치
KR20190057847A (ko) 2017-11-21 2019-05-29 (주)호모미미쿠스 반려견 견착 촬영 영상의 흔들림 보정 장치, 방법 및 시스템

Also Published As

Publication number Publication date
KR20070105100A (ko) 2007-10-30

Similar Documents

Publication Publication Date Title
US6658059B1 (en) Motion field modeling and estimation using motion transform
US8611591B2 (en) System and method for visually tracking with occlusions
US7062071B2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
EP1891601B1 (en) Object tracking system
EP0684732B1 (en) Video processing system
JP2020519989A (ja) ターゲット識別方法、装置、記憶媒体および電子機器
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
Hinz Detection and counting of cars in aerial images
EP1345175B1 (en) Method and apparatus for tracking moving objects in pictures
KR100819563B1 (ko) 모자익 동영상을 이용한 차량객체 추적시스템 및 그 방법
JP5371040B2 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
JP3333721B2 (ja) 領域検出装置
CN110853085A (zh) 基于语义slam的建图方法和装置及电子设备
EP4066162A1 (en) System and method for correspondence map determination
CN115063447A (zh) 一种基于视频序列的目标动物运动追踪方法及相关设备
US20200258240A1 (en) Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product
CN115063454A (zh) 多目标跟踪匹配方法、装置、终端及存储介质
US20230078721A1 (en) Vehicle localization method and device, electronic device and storage medium
CN112270748B (zh) 基于图像的三维重建方法及装置
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
EP4012653A1 (en) Depth-map prediction method; computer program, readable medium, system and mobile machine for implementing the method
US10853657B2 (en) Object region identifying apparatus, object region identifying method, and computer program product
CN111611836A (zh) 基于背景消除法的船只检测模型训练及船只跟踪方法
US9324160B2 (en) System and method for stabilizing digital image sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110325

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee