KR102011231B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서 화상을 취득하는 화상 취득 수단과, 상기 화상에 포함되는 추적 대상물에 대응하는 템플릿을 취득하는 템플릿 취득 수단과, 상기 화상에 포함되는 추적 대상물의 다른 물체에 의한 차폐 정도를 나타내는 맵인 차폐맵을 생성하는 차폐맵 생성 수단과, 상기 템플릿과, 상기 차폐맵의 쌍방에 의거하여 상기 화상에 포함되는 추적 대상물을 검출하고 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 갖는 것을 특징으로 한다.

Description

화상 처리 장치 및 화상 처리 방법

본 발명은 연속한 프레임에 포함되는 물체를 추적하는 기술에 관한 것이다.

감시 시스템 등에서 화상에 포함되는 물체를 검지하고 그 움직임을 자동적으로 추적하는 기술이 알려져 있다. 물체의 추적은 예를 들면 추적 대상의 물체가 비치지 않는 화상과 비치고 있는 화상과의 차분을 취득하여 템플릿을 생성하고 당해 템플릿을 이용하여 1프레임씩 화상 내를 탐색함으로써 실현할 수 있다(특허 문헌 1).

물체의 추적을 응용한 시스템에 교통 흐름 계측 시스템이 있다. 예를 들면 도로측에 설치된 카메라를 이용하여 도로 위를 촬영하고 통과하는 차량을 추적함으로써, 대상의 지점을 통과하는 차량의 대수를 카운트할 수 있다(특허 문헌 2).

특허 문헌 1 : 일본 특개2001-060269호 공보 특허 문헌 2 : 일본 특개2009-087316호 공보

도로를 촬영한 화상(동화)에 의거하여 당해 도로 위를 통과하는 차량을 추적하려고 한경우, 차폐가 문제가 되는 경우가 있다. 예를 들면 차량끼리의 차간 거리가 짧아지게 되면 화상 위에서 당해 차량끼리가 겹쳐지는 일이 있다. 또한 차선 변경 등에 수반하여 이웃한 차선 사이에서 차량끼리가 겹쳐지는 일이 있다. 이와 같이 추적 대상의 차량의 일부가 다른 물체(차량 등)에 차폐되면 템플릿 매칭의 정밀도가 현저하게 저하된다는 문제가 있다.

특허 문헌 1에 기재된 발명에서는 다른 시각에서 취득한 복수의 템플릿을 이용하여 매칭을 행하고 일치도가 가장 높은 템플릿을 채용함으로써, 추적 정밀도의 저하를 막고 있다. 그러나 도로 위의 차량을 추적하는 경우, 추적 대상의 차량이 전후의 차량에 의해 크게 차폐되는 경우가 있고 이와 같은 경우, 당해 수법으로는 정밀도를 확보할 수가 없다.

또한 특허 문헌 2에 기재된 발명에서는 도로 위에 있는 차량을 개별적으로 추적한 다음, 추적이 올바르게 행하여 있을 가능성을 검증하고 당해 가능성에 의거하여 최종적인 결과를 확정시킨다는 수법을 취하고 있다. 그러나 대상의 차량이 크게 차폐된 경우나 복수의 차량이 복잡한 거동을 취한 경우, 마찬가지로 정밀도를 확보할 수가 없다.

본 발명은 상기한 과제를 고려하여 이루어진 것으로, 물체를 추적하는 화상 처리 장치에서 추적 대상물의 일부가 차폐된 경우에 있어서의 추적 정밀도를 향상시키는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명에 관한 화상 처리 장치는 연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서, 화상을 취득하는 화상 취득 수단과, 상기 화상에 포함되는 추적 대상물에 대응하는 템플릿을 취득하는 템플릿 취득 수단과, 상기 화상에 포함되는 추적 대상물의 다른 물체에 의한 차폐 정도를 나타내는 맵인 차폐맵을 생성하는 차폐맵 생성 수단과, 상기 템플릿을 이용하여 상기 화상에 포함되는 추적 대상물을 검출함과 함께, 상기 템플릿과 상기 차폐맵의 쌍방에 의거하여 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 갖는 것을 특징으로 한다.

본 발명에 관한 화상 처리 장치는 복수의 프레임 사이에서의 추적 대상물의 이동을 추적하는 장치이다. 또한 이동이란, 화상 위에서의 이동이고 추적 대상물 그 자체의 이동과, 촬영 조건(카메라의 팬, 틸트, 줌 등)의 변화의 쌍방에 기인하여 발생할 수 있다.

템플릿 취득 수단은 추적 대상물에 대응하는 템플릿을 취득하는 수단이다. 템플릿은 추적 대상물의 특징량이라도 좋고 추적 대상물의 화상 그 자체라도 좋다. 예를 들면 차량을 추적하는 경우, 차종(예를 들면 승용차, 화물차, 버스, 오토바이 등)마다의 특징량을 이용하여도 좋고 이미 추적을 행한 결과가 있는 경우, 추적 결과에 의거하여 절출한 화상을 이용하여도 좋다.

차폐맵 생성 수단은 다른 물체에 의해 추적 대상물이 차폐되어 있는 정도를 나타낸 맵(차폐맵)을 생성하는 수단이다. 차폐맵은 예를 들면 추적 대상물에 대응하는 영역을 복수의 블록으로 분할한 맵이라도 좋다. 또한 차폐의 상태는 몇 단계로 나타내어도 좋다.

또한 추적 수단은 취득한 화상에 포함되는 추적 대상물을 연속해서 취득한 복수의 프레임 사이에서 추적하는 수단이다. 본 발명에서는 추적 수단은 추적 대상물에 대응하는 템플릿뿐만 아니라, 차폐맵을 더 이용하여 프레임 사이에서의 추적 대상물의 이동을 추적한다. 추적 대상물의 일부가 차폐되어 있는 경우, 매칭에 의한 추적 정밀도가 차폐 비율에 응하여 저하되지만, 차폐맵을 이용함으로써, 다른 물체에 의한 차폐를 고려하여 매칭을 행할 수가 있게 되어 추적의 정밀도가 향상한다.

또한 상기 차폐맵은 상기 템플릿을 복수의 블록으로 분할하고 각 블록에 차폐 정도를 관련시킨 맵이고 상기 추적 수단은 상기 템플릿을 상기 블록 단위로 이용하여 매칭을 행하고 또한 각 블록에 대응하는 차폐 정도를 이용하여 무게 부여를 행한 결과에 의거하여 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 것을 특징으로 하여도 좋다.

블록마다의 차폐 정도에 의거하여 매칭 결과에 대해 무게 부여를 행함으로써, 차폐되어 있는 블록의 영향을 약하게 하면서 정밀도 좋게 추적 대상물의 이동처를 취득할 수 있다.

또한 상기 차폐맵 생성 수단은 상기 추적 대상물을 화상 사이에서 추적하여 얻어진 단일한 벡터와 상기 복수의 블록을 각각 화상 사이에서 추적하여 얻어진 복수의 벡터의 각각을 비교한 결과에 의거하여 상기 차폐맵을 생성하는 것을 특징으로 하여도 좋다.

추적 대상물의 차폐 상황은 「추적 대상물 전체에 대응하는 단일한 벡터」와 「추적 대상물을 구성하는 복수의 블록에 각각 대응하는 복수의 벡터」를 비교함으로써 생성할 수 있다. 어느 블록에서 차폐가 발생하고 있는 경우, 당해 블록에 관해서는 프레임 사이에서의 추적의 정밀도가 저하된다(또는 추적 자체가 실패한다). 따라서 쌍방의 벡터의 어긋남에 의거하여 당해 블록에서의 차폐의 정도를 산출할 수 있다.

또한 상기 차폐맵 생성 수단은 상기 단일한 벡터와 상기 복수의 벡터의 각각을 비교한 결과의 사이의 차이가 클수록 대응하는 블록의 차폐 정도를 크게 설정하고 상기 추적 수단은 블록에 대응하는 차폐 정도가 클수록 당해 블록의 무게를 작게 설정하는 것을 특징으로 하여도 좋다.

또한 상기 차폐맵 생성 수단은 상기 추적 수단이 추적 결과를 생성할 때마다 상기 차폐맵을 갱신하고 상기 추적 수단은 다음 프레임에서의 상기 추적 대상물의 검출 처리에서 상기 갱신된 차폐맵을 이용하는 것을 특징으로 하여도 좋다.

추적 대상물의 차폐 상황은 프레임마다 변화한다. 따라서 전(前) 프레임에서의 추적 대상물의 차폐 상황을 다음 프레임에서 추적에 이용하여도 좋다. 이와 같이 함으로써 차폐 상황이 시시각각 변화하는 케이스에도 대응할 수 있다.

또한 상기 차폐맵에 설정되는 차폐 정도는 대응하는 블록 내에서의 상기 추적 대상물의 이동 방향에 대해 수직인 에지가 강해질수록 작아지는 것을 특징으로 하여도 좋다.

추적 대상물이 일정한 방향으로 이동하는 것으로서 당해 이동 방향에 대해 수직인 에지가 강하게 관찰되는 경우, 당해 추적 대상물이 차폐되어 있지 않음을 추정할 수 있다. 따라서 에지의 강도에 의해 차폐맵을 보정하도록 하여도 좋다.

또한 상기 템플릿 취득 수단은 상기 추적 수단이 검출한 상기 추적 대상물을 클리핑하여 얻어진 화상을 다음 프레임에서의 템플릿으로 하여도 좋다.

추적 대상물을 검출한 결과가 있는 경우, 당해 결과에 의거하여 템플릿이 되는 화상을 취득하고 다음 프레임에서 이용하여도 좋다. 이러한 구성에 의하면 시간의 경과와 함께 추적 대상물의 크기나 방향이 서서히 변화하는 경우라 하여도 정확하게 추적을 행할 수가 있다.

또한 본 발명은 상기 수단의 적어도 일부를 포함하는 화상 처리 장치로서 특정할 수 있다. 또한 본 발명은 상기 화상 처리 장치가 실행하는 화상 처리 방법으로서 특정할 수도 있다. 또한 본 발명은 컴퓨터에 상기 화상 처리 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은 기술적인 모순이 생기지 않는 한에 있어서 자유롭게 조합시켜서 실시할 수 있다.

본 발명에 의하면 물체를 추적하는 화상 처리 장치에 있어서 추적 대상물의 일부가 차폐된 경우에 있어서의 추적 정밀도를 향상시킬 수 있다.

도 1은 제1의 실시 형태에 관한 화상 처리 시스템의 배치도.
도 2는 제1의 실시 형태에 관한 화상 처리 시스템의 구성도.
도 3은 화상 취득부가 취득한 화상의 예.
도 4는 후속 차량에 의한 선행 차량의 차폐와 차폐맵을 설명하는 도면.
도 5는 제1의 실시 형태에 관한 화상 처리 장치가 행하는 처리의 플로우 차트도.
도 6은 차량의 검출 처리를 설명하는 도면.
도 7은 제1의 실시 형태에 관한 화상 처리 장치가 행하는 처리의 플로우 차트도.
도 8은 차량의 추적 처리를 설명하는 도면.
도 9는 제2의 실시 형태에서의 에지의 강도를 설명하는 도면.

(제1의 실시 형태)

<시스템 구성>

이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.

본 실시 형태에 관한 화상 처리 시스템은 도로 위를 주행하는 차량을 촬영한 화상을 연속해서 취득하고 취득한 복수의 화상에 의거하여 차량의 움직임을 추적하는 시스템이다.

도 1은 본 실시 형태에 관한 화상 처리 시스템의 배치도이다. 본 실시 형태에 관한 화상 처리 시스템은 화상 처리 장치(100)와 카메라(200)로 이루어지고 화상 처리 장치(100)가 도로 위에 배치된 카메라(200)에 의해 연속해서 촬영된 복수의 화상을 처리함으로써, 차량의 움직임을 추적한다.

도 2는 본 실시 형태에 관한 화상 처리 시스템의 시스템 구성도이다.

화상 처리 장치(100)는 화상 취득부(101), 차량 검출부(102), 차량 추적부(103), 차폐상태 취득부(104), 기억부(105)로 구성된다.

화상 취득부(101)는 도로 위에 마운트된 카메라(200)를 이용하여 도로를 주행하는 차량이 포함되는 화상 (이하, 도로화상)을 취득하는 수단이다. 화상 취득부(101)는 소정의 프레임 레이트로, 연속해서 도로화상을 취득할 수 있다. 화상 취득부(101)가 취득한 도로화상은 시계열순으로 기억부(105)에 기억되고 이후에 설명하는 각 수단이 행하는 처리에 제공된다.

또한 실시 형태의 설명에서는 연속해서 취득되는 도로화상 중의 1장이라는 의미에서 프레임이라는 단어를 이용하지만, 프레임과 도로화상은 등가이다. 또한 연속한 프레임에서 촬영 범위 외로부터 신규의 차량(아직 추적을 행하지 않은 차량)이 나타나는 것을 유입, 추적 중의 차량이 촬영 범위 외로 나가는 것을 유출이라고 칭한다.

차량 검출부(102)는 현재 추적을 행하지 않은 새로운 차량이 카메라(200)의 촬영 범위 내에 유입한 것을 검출하는 수단이다. 새로운 차량의 검출은 기억부(105)에 미리 기억된 복수의 특징량을 이용하여 행할 수 있다. 특징량은 차량을 검출할 수 있으면 어떤 것이라도 좋다. 예를 들면 차종이나 차체의 형상(승용차, 화물차, 버스, 이륜차 등)마다 다른 특징량을 이용하여도 좋다. 또한 복수의 특징량을 이용하는 경우, 어떻게 분류되어 있어도 좋다. 또한 차량을 다른 방향(전후 좌우 등)에서 본 경우의 특징량을 각각 유지하고 있어도 좋다.

차량 검출부(102)는 추적을 행하지 않은 새로운 차량이 나타난 것을 검출하는 수단이고 그 이후의 프레임에서의 차량의 추적은 차량 추적부(103)가 행한다.

또한 본 실시 형태에서는 카메라(200)의 촬영 범위의 전 영역에서 차량을 추적하는 것으로 하지만, 차량을 추적하는 범위는 별도 정하여져 있어도 좋다.

차량 추적부(103)는 차량 검출부(102)가 검출한 차량의 움직임을 복수의 프레임 사이에서 추적하는 수단이다. 추적은 차량이 촬영 범위 외로 유출할 때까지 계속된다. 차량의 추적은 추적 대상의 차량(이하, 추적대상차량)에 대응하는 템플릿 화상과, 후술하는 차폐상태 취득부(104)가 생성한 차폐맵의 2종류의 데이터를 이용하여 행하여진다. 템플릿 화상 및 차폐맵을 생성하는 처리의 구체적인 내용에 관해서는 후술한다.

차폐상태 취득부(104)는 추적대상차량의 차폐상태를 취득하고 차폐맵을 생성하는 수단이다.

여기서 차폐상태와 차폐맵에 관해 설명한다. 도 3은 카메라(200)에 의해 촬영된 도로화상의 예이다. 본 실시 형태에 관한 화상 처리 시스템은 도로 위에 설치된 카메라에 의해 촬영된 차량을 추적하는 시스템이기 때문에 추적 대상의 차량이 전후의 차량에 의해 은폐되어 버리는 케이스가 많이 발생한다.

예를 들면 도 3의 예에서는 차량(10A 및 10C)이 후속 차량에 의해 차폐되어 있다. 이와 같은 경우, 종래 사용되고 있는 템플릿 매칭 등의 수법을 적용하면 정확한 위치를 검출할 수가 없게 될 우려가 있다. 특히, 차량(10C)은 대응하는 영역 중 반분 가까이가 은폐되어 있기 때문에 매칭에서의 스코어가 저하되어 추적이 중단되어 버리는 케이스도 발생할 수 있다.

그래서 본 실시 형태에 관한 화상 처리 장치는 차폐상태 취득부(104)가 각 추적대상차량에 관해, 어느 정도 다른 물체(차량)에 차폐되어 있는지를 나타내는 맵인 차폐맵을 생성하고 당해 차폐맵에 의거하여 무게 부여를 행하고 나서 템플릿 매칭을 행한다. 차폐맵의 구체적인 생성 방법 및 차폐맵의 사용법에 관해서는 후술한다.

기억부(105)는 장치가 이용하는 데이터를 일시적 또는 항구적으로 기억하는 수단이다. 기억부(105)에는 고속으로 판독 기록할 수 있고 또한 대용량의 기억 매체를 이용하는 것이 바람직하다. 예를 들면 플래시 메모리 등을 알맞게 이용할 수 있다. 기억부(105)에는 차량 검출부(102)가 이용하는 특징량, 화상 취득부(101)가 취득한 복수의 화상, 차량 추적부(103)가 이용하는 템플릿 화상, 차폐상태 취득부(104)가 생성한 차폐맵 등이 일시적 또는 항구적으로 기억된다.

또한 화상 취득부(101), 차량 검출부(102), 차량 추적부(103), 차폐상태 취득부(104)는 전용으로 설계된 하드웨어에 의해 실현되어도 좋고 소프트웨어 모듈에 의해 실현되어도 좋다. 소프트웨어로서 실행되는 경우, 보조 기억 장치에 기억된 프로그램이 주기억 장치에 로드되고 CPU에 의해 실행됨에 의해 각 수단이 기능한다. (CPU, 보조 기억 장치, 주기억 장치는 모두 도시생략)

<차폐맵>

다음에 차폐상태 취득부(104)에 의해 생성된 차폐맵의 상세에 관해 설명한다. 도 4는 추적대상차량의 차폐상태와 대응하는 차폐맵을 도시한 도면이다.

차폐맵이란, 추적대상차량에 대응하는 영역을 16개의 블록(4×4)으로 분할하고 각 블록에 대해 차폐의 정도를 나타내는 값(차폐도를 할당한 맵이다. 또한 차폐도는 완전하게 차폐되어 있는 상태를 1로 하고 전혀 차폐되지 않은 상태를 0으로 실수(實數)에 의해 표시된다.

도 4(A)는 추적대상차량이 차폐되지 않는 상태의 예이다. 이 경우, 차폐맵에는 전부 0이라는 값이 할당되어 있다. 또한 도 4(B)는 추적대상차량의 일부가 후속 차량에 의해 차폐되어 있는 상태의 예이다. 이 경우, 좌하의 6개의 블록에 0 이상의 값이 할당되어 있다.

본 실시 형태에 관한 화상 처리 장치는 이와 같은 차폐맵을 추적대상차량 및 프레임마다 생성하고 할당된 값에 의거하여 무게 부여를 행하고 나서 템플릿 매칭을 실시한다. 즉, 차폐되어 있는 블록에 대해 보다 작은 무게를 주고 차폐되지 않은 블록에 대해 보다 큰 무게를 준다. 이와 같이 함으로써 차폐의 영향을 배제하면서 추적대상차량의 위치를 검출할 수 있다.

차폐맵의 구체적인 생성 방법에 관해서는 후술한다. 또한 본 예에서는 차폐도는 0∼1의 범위를 취하는 실수이지만, 차폐도는 이것 이외라도 좋다. 또한 차폐도는 반드시 0∼1의 범위를 취할 필요는 없다. 예를 들면 0∼255의 범위를 취하는 정수(整數)라도 좋다.

<처리 플로우 차트>

다음에 화상 처리 장치(100)가 행하는 화상 처리의 상세에 관해, 처리 플로우 차트인 도 5를 참조하면서 설명한다. 도 5에 도시한 처리는 화상 취득부(101)가 신규의 프레임을 취득할 때마다 실행된다. 예를 들면 프레임 레이트가 10fps인 경우, 초간 10회 실행된다.

우선, 스텝 S11에서 화상 취득부(101)가 카메라(200)를 통하여 도로화상을 취득하고 기억부(105)에 일시적으로 기억시킨다. 또한 취득된 도로화상은 시계열순으로 기억되고 처리가 완료되면 삭제된다.

다음에 스텝 S12에서 차량 추적부(13)가 현재 추적하고 있는 차량이 존재하는지의 여부를 판정하고 있는 경우에 추적대상차량을 추적하는 처리를 실행한다. 현재 추적하고 있는 차량이 존재하는지의 여부는 후술하는 카운터를 이용하여 판단한다. 또한 여기서는 추적 중의 차량이 없는 것으로 하여 설명을 행하고 스텝 S12의 상세에 관해서는 도 7을 참조하면서 나중에 설명한다.

스텝 S13에서는 차량 검출부(102)가 스텝 S11에서 취득한 화상 위에 현재 추적하지 않는 차량이 존재하는지의 여부를 판정한다. 구체적으로는 기억부(105)에 미리 기억되어 있는 특징량에 의거하여 차량의 검출을 시도한다. 본 스텝에서의 차량의 검출에는 특징량에 의거한 이미 알고 있는 물체 검출 수법을 이용할 수 있다. 예를 들면 기억된 복수의 특징량을 이용하여 매칭을 시도하여 초기 위치와 범위를 특정한다. 또한 검출한 차량이 이미 추적 중의 차량인 경우, 당해 차량은 스킵한다. 추적 중의 차량에 관한 정보는 기억부(105)를 통하여 차량 검출부(102) 및 차량 추적부(103)의 사이에서 공유된다.

여기서는 도 6(A)에 도시한 화상(600) 내에서 새로운 차량을 검출한 것으로 한다.

새로운 차량이 검출되면 처리는 스텝 S14로 천이한다. 또한 새로운 차량이 검출되지 않은 경우, 당해 프레임에 대한 처리는 종료한다.

차량을 검출하면 스텝 S14에서 차량 검출부(102)가 대응하는 범위를 클리핑하여 템플릿 화상(601)으로 한다. 여기서 생성한 템플릿 화상이 이후의 프레임에서 차량의 추적에 이용된다. 템플릿 화상(601)은 차량의 식별자(차량을 검출할 때마다 채번된다) 및 차량을 검출한 화상 위의 범위와 연관시켜지고 기억부(105)에 기억된다. 또한 차량 검출부(102)가 추적대상차량에 대응하는 차폐맵(602)을 생성한다. 여기서 생성된 차폐맵은 도 6(B)와 같이 모든 블록에 디폴트값(차폐도 : 0)이 설정된 맵이다.

다음에 스텝 S15에서 차량 검출부(102)가 현재 추적 중인 차량의 수(이하, 추적중 차량수)에 검출한 차량의 대수를 추가한다. 여기서 설정된 대수는 스텝 S12에서 실행된 차량 추적 처리에서 이용된다.

다음에 스텝 S12에서 행하여지는 처리에 관해, 도 7에 도시한 플로우 차트를 참조하면서 설명한다. 또한 특히 기재가 없는 경우, 각 스텝은 차량 추적부(103)가 실행하는 것으로 한다.

스텝 S12의 처리는 설정되어 있는 「추적중 차량수」가 1대 이상인 경우에 실행된다. 즉, 스텝 S12가 실행되는 타이밍에서는 시계열순으로 2개 이상의 프레임이 기억부(105)에 기억되어 있다.

우선, 스텝 S21에서 카운터(n)에 1을 설정한다. n은 화상에 포함되는 추적대상차량에 대해 순차적으로 처리를 행하기 위한 카운터이다.

다음에 스텝 S22에서 화상에 포함되는 n번째의 차량에 관해, 현재의 프레임에서의 대략적인 위치를 추정한다. 본 스텝은 화상의 전 영역에서 템플릿 매칭을 행하기 위한 영역을 좁혀들어가기 위한 처리이다. 예를 들면 과거의 2개 이상의 프레임에서 n번째의 차량의 위치의 변화가 구하여져 있는 경우, 당해 위치의 변화에 의거하여 현재의 프레임에서의 위치를 추정하여도 좋다. 예를 들면 2프레임 전에서의 대상차량과, 1프레임 전에서의 대상차량과의 위치의 변화를 취득하고 당해 변화를 이용하여 현재의 프레임에서의 당해 대상차량의 위치를 추정하여도 좋다. 또한 칼만 필터 등을 이용하여 차량의 위치를 추정하여도 좋다.

또한 추정을 행하기 위한 충분한 정보가 없는 경우, 스텝 S13 또는 직전의 프레임에서 검출한 위치의 부근에 당해 대상차량이 있을 것이라고 추정하여도 좋고 좁혀들어감 자체를 생략하여도 좋다.

다음에 스텝 S23에서 n번째의 차량에 대응하는 템플릿 화상을 이용하여 도로화상에 대한 템플릿 매칭을 행한다.

또한 여기서는 템플릿 화상을 4×4의 16블록으로 분할하고 스텝 S22에서 추정한 위치의 부근에서 블록마다 매칭을 행한다. 이 결과, 16개의 매칭 결과를 얻을 수 있기 때문에 전 프레임과의 위치의 변화에 의거하여 16블록분의 이동 벡터(v_{block(x, y)})를 생성한다(x, y는 좌표).

도 8(A)는 현재 처리하고 있는 프레임의 직전의 프레임을 도시한 도면이고 도 8(B)는 현재 처리하고 있는 프레임을 도시한 도면이다. 또한 도 8(C)는 쌍방의 프레임 사이에서의 블록의 이동 벡터를 도시한 도면이다. 또한 해칭으로 나타낸 2개의 블록은 차폐에 기인하여 올바르게 이동 벡터를 취득할 수 없는 것을 나타낸다. 당해 블록에서는 이동 벡터가 0으로 되어 있다.

스텝 S23의 처리가 완료되면 직전의 프레임과, 현재의 프레임과의 사이에서 블록마다의 이동 벡터가 취득된 상태가 된다.

스텝 S24에서는 스텝 S23에서 취득한 블록마다의 이동 벡터와 차폐맵에 의거하여 차량에 대응하는 단일한 이동 벡터를 취득한다.

구체적으로는 우선, 16개의 이동 벡터 중, 벗어난 값 즉, 값이 다른 벡터로부터 크게 어긋나 있는 벡터를 제외한다. 예를 들면 평균치나 최빈치(最頻値)로부터 20% 이상 벗어나 있는 벡터를 제외한다.

다음에 남은 이동 벡터에 대해, 차폐맵에 의거한 무게 부여를 행한다. 구체적으로는 차폐도의 감소함수를 이용하여 무게를 산출한다. 예를 들면 함수(1-x)를 이용할 수 있다. 즉, 차폐도가 0인 경우에 1이라는 무게를, 차폐도가 1인 경우에 0이라는 무게를 산출하고 이동 벡터에 대해 승산한다.

여기서 이용되는 차폐맵은 전 프레임에서의 추적대상차량의 차폐상태를 나타내는 맵이다. 첫회의 처리에서는 차폐맵은 디폴트(즉, 차폐도가 전부 0)이기 때문에 이동 벡터는 변화하지 않는다.

최후에 복수의 이동 벡터의 평균을 취하여 추적대상차량에 대응하는 단일한 이동 벡터(v)로 한다.

또한 전술한 단일한 이동 벡터의 취득 방법은 상기에 예시한 방법으로 한정되지 않는다. 예를 들면 가장 무게가 큰 블록에 대응하는 이동 벡터를, 차량에 대응하는 단일한 이동 벡터로 하여도 좋고 소정의 임계치보다도 무게가 큰 블록에 관해 이동 벡터의 평균을 취한 것을 차량에 대응하는 단일한 이동 벡터로 하여도 좋다.

스텝 S25에서는 추적대상차량이 촬영 범위로부터 나갔는지의 여부를 판정하다. 또한 화상 위에 추적 범위가 설정되어 있는 경우, 당해 범위로부터 유출한 경우에 긍정 판정으로 하여도 좋다. 또한 추적에 실패한 경우나 소정의 프레임 수만큼 연속해서 추적에 실패한 경우에 긍정 판정으로 하여도 좋다. 추적대상차량이 촬영 범위로부터 나갔다고 판정한 경우, n번째의 차량에 관해 추적 종료 플래그를 진(眞)으로 하고 스텝 S29로 천이한다.

추적대상차량이 촬영 범위를 나가지 않은 경우, 당해 차량이 이동한 곳의 영역을 클리핑하여 새로운 템플릿 화상으로서 설정한다(스텝 S27). 도 8의 예의 경우, 영역(801)에 대응하는 화상이 템플릿 화상으로서 재설정된다. 클리핑 한 때에 영역의 크기는 전 프레임과 같아도 좋고 적절히 조정하여도 좋다. 조정하는 경우는 소정의 계수에 의거하여 확대 또는 축소하는 방법이나 검출된 블록 사이의 거리의 변화에 의거하여 확대 또는 축소하는 방법이 있다.

다음에 스텝 S28에서 차폐상태 취득부(104)가 차폐맵을 갱신한다.

구체적으로는 차량에 대응하는 이동 벡터(v)와 16개의 이동 벡터(v_{block (x, y)})와의 차분(ΔP_{(x, y)}라고 한다)을 각각 취득하고 ΔP_{(x, y)}의 크기에 정수(k)를 곱한 값(k|ΔP(_{x, y)}|)을 차폐맵에 설정되어 있는 현재의 값에 각각 가산한다. 즉, 차폐맵의 각 블록이 갖는 차폐도는 첫회의 처리에서는 0+k|ΔP_{(x, y)}|가 된다.

도 8의 예인 경우, 좌하의 2블록이 후속 차량에 의해 차폐되어 있기 때문에 좌하의 2블록만이 다른 블록보다도 높은 차폐도에 의해 갱신된다.

또한 차폐가 해소되었다고 판단한 경우, 각 블록에 할당된 차폐도를 0으로 되돌리는 처리를 행한다. 예를 들면 (1) 차폐도가 소정의 값 이상이고 (2) |ΔP_{(x, y)}|가 소정의 값 이하가 된 경우에 차폐가 해소하였다고 판단하여도 좋다. 물론, 다른 수법을 채용하여도 좋다.

이상으로, n번째의 차량에 대한 추적 처리가 종료된다.

스텝 S29에서는 카운터(n)를 잉크리먼트하고 스텝 S30에서 카운터(n)가 추적 중의 차량수를 초과하였는지의 여부를 판정한다. 이 결과, 초과하지 않은 경우, 처리는 스텝 S22로 되돌아와 다음의 차량에 대한 추적을 시작한다. 초과하여 있는 경우, 추적 중의 차량수로부터 추적을 종료한 차량의 수(추적 종료 플래그가 진인 차량의 수)를 감산한다(스텝 S31).

또한 갱신된 차폐맵은 다음 프레임에서의 처리에서 무게 부여에 이용된다.

또한 차폐맵은 프레임의 처리가 진행될 때마다 수시로 갱신된다. 이에 의해, i번째의 프레임을 처리한 때에 얻은 차폐맵을 i+1번째의 프레임을 처리할 때에 사용할 수 있다. 이와 같이 함으로써 시각의 경과와 함께 시시각각 변화하는 차폐상태를 수시로 반영시킬 수 있다. 즉, 연속한 프레임에서 차폐가 동적으로 발생한 경우라도 차폐맵을 적절하게 갱신할 수 있다.

또한 본 실시 형태에서는 갱신된 차폐맵을 다음 프레임에서의 처리에서 무게 부여에 이용하는 예를 들었지만, 반드시 다음 프레임에서의 처리에서 이용할 필요는 없다. 즉, 발명의 효과를 얻을 수 있는 범위에서 적절히 대상이 되는 프레임을 변경하여도 상관없다.

예를 들면 i번째의 프레임에서 갱신된 차폐맵을 i+2번째의 프레임의 처리에 이용하여도 좋다. 또한 예를 들면 10프레임마다 차폐맵을 갱신하도록 구성한 다음, i번째의 프레임에서 갱신된 차폐맵을 i+1번째부터 i+10번째의 프레임의 처리에 이용하도록 하여도 좋다.

이상 설명한 바와 같이 본 실시 형태에 관한 화상 처리 장치에서는 블록마다 취득한 이동 벡터와 차량 전체에 대응하는 이동 벡터를 비교한 결과에 의거하여 차폐맵을 생성하고 당해 차폐맵을 이용하여 매칭할 때의 무게 부여를 행한다. 종래의 기술에서는 템플릿 매칭에서 차폐의 영향을 적극적으로 제거할 수가 없었지만, 본 실시 형태에 관한 화상 처리 장치는 전술한 무게 부여를 행함으로써, 악영향이 있는 블록의 영향을 억제하여 매칭을 행할 수가 있다. 즉, 차량의 추적 정밀도를 향상시킬 수 있다.

(제2의 실시 형태)

제2의 실시 형태는 화상 위에서의 에지의 강도에 의거하여 차폐도를 보정하는 실시 형태이다.

제2의 실시 형태에서는 스텝 S28의 처리에어서 차량의 진행 방향에 대해 수직인 방향에 존재하는 에지의 강도를 추출하고 당해 에지의 강도에 비례한 계수를 산출하여 차폐도에 승산한다. 예를 들면 취득한 화상에 차량의 진행 방향에 대해 수직인 방향(도 8의 예에서는 횡축 방향)에 존재하는 에지를 추출하는 Sobel 필터를 적용하고 얻어진 모든 값의 절대치의 합을 취득한다. 그리고 도 9에 도시한 바와 같은 관계식으로 구한 계수를, 차폐맵에서의 차폐도에 승산한다.

화상 내에서 특정한 방향으로 진행하는 차량은 차폐가 발생하지 않는 경우, 진행 방향과 직교하는 방향으로 에지가 선다는 특징이 있다. 제2의 실시 형태에서는 이것을 이용하여 보다 정확하게 차폐도를 연산하는 것이 가능해진다.

또한 차량의 진행 방향은 미리 정의되어 있어도 좋고 검출 수단을 마련하고 검출 결과에 응하여 동적으로 설정하도록 하여도 좋다. 예를 들면 과거의 추적 결과에 의거하여 학습을 행하여 차량의 진행 방향을 추정하도록 하여도 좋다.

(변형례)

상기한 실시 형태는 어디까지나 한 예이고 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.

예를 들면 실시 형태의 설명에서는 추적대상차량을 16개의 블록으로 분할하여 처리를 행하였지만, 분할 방법은 이것 이외라도 좋다. 블록이 많을수록 정밀도는 향상하지만, 처리시간도 길어지기 때문에 블록 수나 블록 사이즈는 요구되는 사양에 의거하여 적절히 설정하면 좋다.

또한 실시 형태의 설명에서는 차량에 대응하는 이동 벡터와 16개의 이동 벡터의 차분을 각각 구함으로써 차폐맵을 생성하였지만, 차폐의 정도를 구할 수 있으면 차폐도의 연산 방법은 예시한 방법으로 한정되지 않는다.

또한 실시 형태의 설명에서는 연속해서 취득한 복수의 프레임을 1프레임씩 처리함으로써 차량을 추적하는 예를 들었지만, 처리는 반드시 1프레임씩 행하지 않아도 좋다. 예를 들면 1장 날림과 같이 프레임을 솎아내어 처리하도록 구성하는 것도 가능하다.

100 : 화상 처리 장치
101 : 화상 취득부
102 : 차량 검출부
103 : 차량 추적부
104 : 차폐상태 취득부
105 : 기억부
200 : 카메라

Claims (9)

1. 연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서,
   화상을 취득하는 화상 취득 수단과,
   상기 화상에 포함되는 추적 대상물에 대응하는 템플릿을 취득하는 템플릿 취득 수단과,
   상기 화상에 포함되는 추적 대상물의 다른 물체에 의한 차폐 정도를 나타내는 맵인 차폐맵을 생성하는 차폐맵 생성 수단과,
   상기 템플릿을 이용하여 상기 화상에 포함되는 추적 대상물을 검출함과 함께, 상기 템플릿과, 상기 차폐맵의 쌍방에 의거하여 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 갖고,
   상기 차폐맵은 상기 템플릿을 복수의 블록으로 분할하고 각 블록에 차폐 정도를 관련시킨 맵이며,
   상기 추적 수단은 상기 템플릿을 상기 블록 단위로 이용하여 매칭을 행하고, 또한, 각 블록에 대응하는 차폐 정도를 이용하여 무게 부여를 행한 결과에 의거하여 상기 추적 대상물의 이동량 및 이동 방향을 취득하고,
   상기 차폐맵 생성 수단은 상기 추적 대상물을 화상 사이에서 추적하여 얻어진 단일한 벡터와, 상기 복수의 블록을 각각 화상 사이에서 추적하여 얻어진 복수의 벡터의 각각을 비교한 결과에 의거하여 상기 차폐맵을 생성하는 것을 특징으로 하는 화상 처리 장치.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 차폐맵 생성 수단은 상기 단일한 벡터와 상기 복수의 벡터의 각각을 비교한 결과 사이의 차가 클수록 대응하는 블록의 차폐 정도를 크게 설정하고,
   상기 추적 수단은 블록에 대응하는 차폐 정도가 클수록 당해 블록의 무게를 작게 설정하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항 또는 제4항에 있어서,
   상기 차폐맵 생성 수단은 상기 추적 수단이 추적 결과를 생성할 때마다 상기 차폐맵을 갱신하고,
   상기 추적 수단은 다음 프레임에서의 상기 추적 대상물의 검출 처리에서 상기 갱신된 차폐맵을 이용하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항 또는 제4항에 있어서,
   상기 차폐맵에 설정되는 차폐 정도는 대응하는 블록 내에서의 상기 추적 대상물의 이동 방향에 대해 수직인 에지가 강해질수록 작아지는 것을 특징으로 하는 화상 처리 장치.
7. 제1항 또는 제4항에 있어서,
   상기 템플릿 취득 수단은 상기 추적 수단이 검출한 상기 추적 대상물을 클리핑하여 얻어진 화상을 다음 프레임에서의 템플릿으로 하는 것을 특징으로 하는 화상 처리 장치.
8. 연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
   화상을 취득하는 화상 취득 스텝과,
   상기 화상에 포함되는 추적 대상물에 대응하는 템플릿을 취득하는 템플릿 취득 스텝과,
   상기 화상에 포함되는 추적 대상물의 다른 물체에 의한 차폐 정도를 나타내는 맵인 차폐맵을 생성하는 차폐맵 생성 스텝과,
   상기 템플릿을 이용하여 상기 화상에 포함되는 추적 대상물을 검출함과 함께, 상기 템플릿과, 상기 차폐맵의 쌍방에 의거하여 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 스텝을 포함하고,
   상기 차폐맵은 상기 템플릿을 복수의 블록으로 분할하고 각 블록에 차폐 정도를 관련시킨 맵이며,
   상기 추적 스텝에서는, 상기 템플릿을 상기 블록 단위로 이용하여 매칭을 행하고, 또한, 각 블록에 대응하는 차폐 정도를 이용하여 무게 부여를 행한 결과에 의거하여 상기 추적 대상물의 이동량 및 이동 방향을 취득하고,
   상기 차폐맵 생성 스텝에서는, 상기 추적 대상물을 화상 사이에서 추적하여 얻어진 단일한 벡터와, 상기 복수의 블록을 각각 화상 사이에서 추적하여 얻어진 복수의 벡터의 각각을 비교한 결과에 의거하여 상기 차폐맵을 생성하는 것을 특징으로 하는 화상 처리 방법.
9. 제8항에 기재된 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.

Images