KR102011230B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서 화상을 취득하는 화상 취득 수단과, 상기 화상에 포함되는 추적 대상물을 매칭에 의해 검출하고 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 가지며, 상기 추적 수단은 상기 추적 대상물에 대응하는 제1의 템플릿을 이용하여 제1의 매칭을 행하고 또한, 상기 제1의 매칭을 행한 결과의 스코어가 제1의 임계치보다도 낮은 경우에 상기 제1의 템플릿과 사이즈 또는 형상이 다른 제2의 템플릿을 이용하여 제2의 매칭을 행한다.

Description

화상 처리 장치 및 화상 처리 방법

본 발명은 연속한 프레임에 포함되는 물체를 추적하는 기술에 관한 것이다.

감시 시스템 등에서 화상에 포함되는 물체를 검지하고 그 움직임을 자동적으로 추적하는 기술이 알려져 있다. 물체의 추적은 예를 들면 추적 대상의 물체가 비치지 않는 화상과 비치고 있는 화상과의 차분을 취득하여 템플릿을 생성하고 당해 템플릿을 이용하여 1프레임씩 화상 내를 탐색함으로써 실현할 수 있다(특허 문헌 1).

물체의 추적을 응용한 시스템에 교통 흐름 계측 시스템이 있다. 예를 들면 도로측에 설치된 카메라를 이용하여 도로 위를 촬영하고 통과하는 차량을 추적함으로써 대상의 지점을 통과하는 차량의 대수를 카운트할 수 있다(특허 문헌 2).

특허 문헌 1 : 일본 특개2001-060269호 공보 특허 문헌 2 : 일본 특개2009-087316호 공보 특허 문헌 3 : 일본 특개2013-255062호 공보

도로를 촬영한 화상(동화)에 의거하여 당해 도로 위를 통과하는 차량을 추적하려고 한 경우, 화상 위에서 차량의 보이는 방식이 크게 변화되면 차량을 완전히 추적하지 못하게 된다는 문제가 있다. 예를 들면 차량이 도로 위에서 좌우회전한 경우나 U턴한 경우, 차량의 방향이 변해 버리기 때문에 패턴 매칭이 실패하여 버리는 경우가 있다. 또한, 감시 카메라 등 자세의 제어가 가능한 카메라에 의해 촬영한 화상을 유용하여 차량을 추적하려고 한 경우, 카메라의 자세(팬, 틸트, 줌 등)의 변화에 수반하고 차량의 보이는 방식(크기 등)이 변화하기 때문에 마찬가지로 패턴 매칭이 실패해 버리는 경우가 있다. 이와 같이, 화상 위에서 추적 대상인 차량의 크기나 보이는 방식이 변화하면 패턴 매칭의 정밀도가 저하된다는 문제가 있다.

한편, 특허 문헌 3에 기재된 피사체 추적 장치는 피사체의 흐림 정도에 의거하여 당해 피사체의 움직임을 판정함으로써 피사체의 보이는 방식의 변화에 추종시킨다는 특징을 갖고 있다. 그러나 도로 위의 차량을 추적하는 경우, 카메라와 차량과의 거리가 떨어져 있기 때문에 흐림의 변화를 파악하기 어렵다. 즉, 당해 기술을 차량의 추적에 응용하는 것은 곤란하다.

본 발명은 상기한 과제를 고려하여 이루어진 것으로, 물체를 추적하는 화상 처리 장치에 있어서 추적 대상물의 보이는 방식이 변화하는 경우에 있어서의 추적 정밀도를 향상시키는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명에 관한 화상 처리 장치는 연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서, 화상을 취득하는 화상 취득 수단과, 상기 화상에 포함되는 추적 대상물을 매칭에 의해 검출하고 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 가지며, 상기 추적 수단은 상기 추적 대상물에 대응하는 제1의 템플릿을 이용하여 제1의 매칭을 행하고 또한, 상기 제1의 매칭을 행한 결과의 스코어가 제1의 임계치보다도 낮은 경우에 상기 제1의 템플릿과 사이즈 또는 형상이 다른 제2의 템플릿을 이용하여 제2의 매칭을 행하는 것을 특징으로 한다.

본 발명에 관한 화상 처리 장치는 복수의 프레임 사이에서의 추적 대상물의 이동을 추적하는 장치이다. 또한, 이동이란 화상 위에서의 이동이고 추적 대상물 그 자체의 이동과, 촬영 조건(카메라의 팬, 틸트, 줌 등)의 변화의 쌍방에 기인하여 발생할 수 있다.

추적 수단은 화상으로부터 추적 대상물을 매칭에 의해 검출하고 당해 검출 결과에 의거하여 추적 대상물의 움직임(프레임 사이에서의 이동 방향이나 이동량)을 취득하는 수단이다.

추적 대상물의 검출은 템플릿에 의해 행한다. 템플릿에는 특징량을 이용하여도 좋고 화상 등을 이용하여도 좋다. 예를 들면 차량을 추적하는 경우, 차종(예를 들면 승용차, 화물차, 버스, 오토바이 등)마다의 특징량을 이용하여도 좋고 이미 추적을 행한 결과가 있는 경우, 추적 결과에 의거하여 잘라낸 화상을 이용하여도 좋다. 이 결과, 추적 대상물에 대응하는 좌표나 영역을 얻을 수 있다.

또한, 추적 수단은 취득한 화상에 포함되는 추적 대상물을 연속해서 취득한 복수의 프레임 사이에서 추적한다. 예를 들면 검출한 추적 대상물의 위치의 변화를 취득하고 각각의 움직임을 추적 대상물 단위에서 취득한다.

본 발명에서는 추적 수단이 우선, 제1의 템플릿을 이용하여 제1의 매칭을 행한다. 제1의 템플릿은 미리 기억되어 있는 것이라도 좋고 전(前)프레임 이전의 화상에서 추적 대상물을 추적한 결과가 있는 경우는 당해 화상으로부터 추적 대상물을 잘라낸 것이라도 좋다. 또한, 템플릿이란 전술한 바와 같이 특징량이라도 좋고 화상 등이라도 좋다.

템플릿을 이용하여 매칭을 행하는 경우, 프레임 사이에서 추적 대상물의 보이는 방식이 크게 변한 경우에 히트하기 어려워져 버린다는 문제가 있다. 예를 들면 카메라가 줌 한 경우나 추적 대상물의 진행 방향이 변한 경우, 템플릿에 대응하는 영역과, 실제로 추적 대상물이 존재하는 영역이 일치하지 않게 되고 이에 기인하여 매칭이 실패하거나 매칭 스코어가 저하되어 버릴 우려가 있다.

그래서 본 발명에서는 제1의 매칭을 행한 결과의 스코어(매칭의 확실함)를 취득하고 제1의 임계치보다 낮은 경우에 제1의 템플릿과 사이즈 또는 형상이 다른 제2의 템플릿을 이용하여 재 매칭을 행한다.

제2의 템플릿은 제1의 템플릿을 확대 또는 축소한 것이라도 좋고 애스펙트비를 변경한 다음 변형한 것이라도 좋다. 또한, 제2의 템플릿은 반드시 제1의 템플릿을 변형한 것일 필요는 없고 새롭게 취득된 것이라도 좋다. 예를 들면 처리 대상의 화상보다도 전의 프레임에서 상기 추적 대상물을 검출한 결과가 있는 경우, 당해 결과에 의거하여 새롭게 취득된 것이라도 좋다.

이러한 구성에 의하면 화상 위에서 추적 대상물의 보이는 방식이 변한 경우라도 이것에 추종시킬 수 있게 된다.

또한, 상기 추적 수단은 상기 추적 대상물을 검출한 결과에 의거하여 상기 추적 대상물의 진행 방향의 변화를 추정하고 변화 후의 진행 방향에 대응하는 상기 제2의 템플릿을 이용하여 상기 제2의 매칭을 행하는 것을 특징으로 하여도 좋다.

추적 대상물의 진행 방향이 변화하면 예를 들면 차량의 전면이 측면으로 변하는 등 화상 위에서의 보이는 방식 자체가 크게 변화하는 경우가 있다. 또한, 화상 내에 교차점이 존재하는 경우, 추적 대상물(차량)의 이동 방향이 변한 경우, 차량 방향이 변한(예를 들면 좌우 회전)것을 추정할 수 있다. 이와 같은 경우, 변화 후의 방향에 대응하는 템플릿(예를 들면 특징량이나 템플릿 화상)을 이용하여 제2의 매칭을 행하도록 하여도 좋다. 이러한 구성에 의하면 추적의 정밀도를 보다 향상시킬 수 있다.

또한, 상기 추적 수단은 상기 제2의 매칭을 행한 결과의 스코어 및 매칭의 결과 특정된 영역에서의 에지의 강도의 쌍방에 의거하여 상기 추적 대상물의 추적을 종료하는지의 여부를 결정하는 것을 특징으로 하여도 좋다.

또한, 상기 추적 수단은 상기 제2의 매칭을 행한 결과의 스코어가 제2의 임계치보다도 낮고 또한, 매칭의 결과 특정된 영역에서의 에지의 강도가 제3의 임계치보다도 낮은 경우에 상기 추적 대상물의 추적을 종료하는 것을 특징으로 하여도 좋다.

제2의 매칭을 행하여도 기대하는 스코어를 얻을 수가 없었던 경우, 추적을 속행하는지 종료하는지를 판단한다. 이때, 매칭에 의해 특정된 영역(즉, 추적 대상물의 존재가 추정되는 영역)에서의 에지의 강도에 의거하여 판단을 행하면 좋다. 영역에서의 에지의 강도란 당해 영역에 포함되는 화소사 갖는 에지 강도의 합이다.

예를 들면 매칭에 의해 특정된 영역에서의 에지의 강도가 소정의 임계치 이하인 경우, 당해 영역에는 추적 중의 물체가 아니라 배경이 존재할 가능성이 높기 때문에 추적을 종료한다. 이와 같이, 에지의 강도를 병용함으로써 추적을 종료하는지의 여부의 판단을 적절하게 행할 수 있게 된다.

또한, 상기 추적 수단은 연속한 소정 매수분의 화상에 관해 제1의 매칭을 행한 결과의 스코어 또는 제2의 매칭을 행한 결과의 스코어의 합계치를 취득하고 상기 합계치에 의거하여 상기 추적 대상물의 추적을 종료하는지의 여부를 결정하는 것을 특징으로 하여도 좋다.

복수의 연속하는 화상에 대해 매칭을 행하여 추적 대상물을 추적하는 경우, 매칭에 의해 얻어진 스코어에 의거하여 추적을 속행하든지 종료하든지 결정할 수 있다. 그러나 단일한 화상에 대한 매칭 결과만으로 판단을 행한 경우, 스코어가 일시적으로 저하되고 그 후 회복한 경우라도 추적이 중단되어 버린다. 그래서 연속한 복수의 화상에 관해 매칭에 의해 얻어진 스코어를 합계하고 합계치에 의거하여 판단을 행하도록 한다. 이러한 구성에 의하면 스코어의 회복을 기대할 수 없는 경우에만 추적을 종료시킬 수 있다.

또한, 상기 추적 수단은 처리 대상의 화상보다도 전의 화상에서의 상기 추적 대상물을 검출한 결과가 있는 경우에 당해 결과에 의거하여 상기 제1의 템플릿을 취득하는 것을 특징으로 하여도 좋다.

추적 대상물의 위치를 특정할 수 있고 있는 경우, 당해 정보를 이용하여 제1의 템플릿을 취득하여도 좋다. 이러한 구성에 의하면 템플릿을 갱신하면서 추적 대상물의 추적을 행할 수 있게 되기 때문에 추적 대상물의 보이는 방식이 서서히 변화하여 가는 경우에 유효하다.

또한, 상기 추적 수단은 상기 추적 대상물에 대응하는 영역을 복수의 블록으로 분할하고 에지의 강도가 제4의 임계치보다도 낮은 블록을 제외한 영역을 상기 제1의 템플릿으로 하는 것을 특징으로 하여도 좋다.

화상 위에서 추적 대상물 방향이 변하고 보이는 방식이 서서히 작아지는 케이스가 있다. 이와 같은 케이스에 있어서 프레임마다 템플릿을 갱신하면서 처리를 진행하는 경우, 템플릿이 되는 영역을 서서히 축소할 필요가 있다. 그래서 추적 대상물의 존재가 추정되는 영역에서 추적 대상물이 존재하지 않는 부분 영역을 에지의 강도에 의거하여 검출하고 당해 부분 영역을 삭제한 후의 영역을 다음 프레임에서 이용하는 템플릿으로 하여도 좋다.

이러한 구성에 의하면 화상 위에서의 추적 대상물의 사이즈에 맞추어서 템플릿의 크기를 적절하게 추종시킬 수 있다.

또한, 상기 추적 대상물은 차량이고 상기 복수의 블록은 수평 방향으로 배열되는 것을 특징으로 하여도 좋다. 차량을 추적하는 경우, 주로 차량의 좌우회전에 기인하여 화면상에서의 수평 방향의 사이즈가 변화하기 때문이다.

또한, 본 발명은 상기 수단의 적어도 일부를 포함하는 화상 처리 장치로서 특정할 수 있다. 또한, 본 발명은 상기 화상 처리 장치가 실행하는 화상 처리 방법으로서 특정할 수도 있다. 또한, 본 발명은 컴퓨터에 상기 화상 처리 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은 기술적인 모순이 생기지 않는 한에 있어서 자유롭게 조합시켜서 실시할 수 있다.

본 발명에 의하면 물체를 추적하는 화상 처리 장치에 있어서 추적 대상물의 보이는 방식이 변화하는 경우에 있어서의 추적 정밀도를 향상시킬 수 있다.

도 1은 실시 형태에 관한 화상 처리 시스템의 배치도.
도 2는 실시 형태에 관한 화상 처리 시스템의 구성도.
도 3은 카메라가 줌 된 경우에 있어서의 영향을 설명하는 도면.
도 4는 차량이 우회전한 경우에 있어서의 영향을 설명하는 도면.
도 5는 실시 형태에 관한 화상 처리 장치가 행하는 처리의 플로우 차트도.
도 6은 실시 형태에 관한 화상 처리 장치가 행하는 처리의 플로우 차트도.
도 7은 실시 형태에 관한 화상 처리 장치가 행하는 처리의 플로우 차트도.
도 8은 스텝 S34에서 행하는 처리를 설명하는 도면.
도 9는 스텝 S34에서 행하는 처리를 설명하는 도면.

(시스템 구성)

이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.

본 실시 형태에 관한 화상 처리 시스템은 도로 위를 주행하는 차량을 촬영한 화상을 연속해서 취득하고 취득한 복수의 화상에 의거하여 차량의 움직임을 추적하는 시스템이다.

도 1은 본 실시 형태에 관한 화상 처리 시스템의 배치도이다. 본 실시 형태에 관한 화상 처리 시스템은 화상 처리 장치(100)와, 카메라(200)로 이루어지고 화상 처리 장치(100)가 도로 위에 배치된 카메라(200)에 의해 연속해서 촬영된 복수의 화상을 처리함으로써 차량의 움직임을 추적한다.

도 2는 본 실시 형태에 관한 화상 처리 시스템의 시스템 구성도이다. 화상 처리 장치(100)는 화상 취득부(101), 차량 검출부(102), 차량 추적부(103), 기억부(104)로 구성된다.

화상 취득부(101)는 도로 위에 마운트된 카메라(200)를 이용하여 도로를 주행하는 차량이 포함되는 화상(이하, 도로화상)을 취득하는 수단이다. 화상 취득부(101)는 소정의 프레임 레이트로, 연속해서 도로화상을 취득할 수 있다. 화상 취득부(101)가 취득한 도로화상은 시계열순으로 기억부(104)에 기억되고 이후에 설명하는 각 수단이 행하는 처리에 제공된다.

또한, 실시 형태의 설명에서는 연속해서 취득된 도로화상 중의 1장이라는 의미에서 프레임이라는 단어를 이용하지만 프레임과 도로화상은 등가이다. 또한, 연속한 프레임에서 촬영 범위 외로부터 신규의 차량(아직 추적을 행하지 않는 차량)이 나타나는 것을 유입, 추적 중의 차량이 촬영 범위 외로 나가는 것을 유출이라고 칭한다.

차량 검출부(102)는 현재 추적을 행하지 않은 새로운 차량이 카메라(200)의 촬영 범위 내에 유입한 것을 검출하는 수단이다. 새로운 차량의 검출은 기억부(104)에 미리 기억된 복수의 템플릿을 이용하여 행할 수 있다. 템플릿은 차량을 검출할 수 있으면 어떤 것이라도 좋다. 예를 들면 차종이나 차체의 형상(승용차, 화물차, 버스, 이륜차 등)마다 다른 것이라도 좋다. 또한, 복수의 템플릿을 이용하는 경우, 어떻게 분류되어 있어도 좋다. 또한, 차량을 다른 방향(전후 좌우 등)에서 본 경우의 템플릿을 각각 유지하고 있어도 좋다.

차량 검출부(102)는 추적을 행하지 않은 새로운 차량이 나타난 것을 검출하는 수단이고 그 이후의 프레임에서의 차량의 추적은 차량 추적부(103)가 행한다. 또한, 본 실시 형태에서는 카메라(200)의 촬영 범위의 전역에서 차량을 추적하는 것으로 하지만 차량을 추적하는 범위는 별도 정하여져 있어도 좋다.

차량 추적부(103)는 차량 검출부(102)가 검출한 차량의 움직임을 복수의 프레임 사이에서 추적하는 수단이다. 추적은 차량이 촬영 범위 외로 유출할 때까지 계속된다. 차량의 추적은 추적 대상인 차량(이하, 추적 대상차량)에 대응하는 템플릿을 이용하여 행하여진다. 구체적으로는 매칭에 의한 탐색을 행하는 대상 영역(이하, 탐색영역)을 프레임마다 설정하고 당해 영역에 대해 템플릿을 이용한 매칭을 행한다. 또한, 템플릿은 특징량이라도 좋지만 본 실시 형태에서는 템플릿 화상인 것으로 한다.

탐색 대상 영역은 차량을 탐색하는 영역이고 추적 대상차량의 존재가 추정된 장소에 설정된다. 예를 들면 과거의 프레임에서 차량을 검출한 결과가 있는 경우, 차량 추적부(103)는 당해 결과에 의거하여 탐색영역을 설정한다.

템플릿을 이용한 매칭 처리의 구체적인 내용에 관해서는 후술한다.

기억부(104)는 장치가 이용하는 데이터를 일시적 또는 항구적으로 기억하는 수단이다. 기억부(104)에는 고속으로 판독 기록할 수 있고, 또한, 대용량의 기억 매체를 이용하는 것이 바람직하다. 예를 들면 플래시 메모리 등을 알맞게 이용할 수 있다. 기억부(104)에는 차량 검출부(102) 및 차량 추적부(103)가 이용하는 템플릿, 화상 취득부(101)가 취득한 복수의 화상 등이 일시적 또는 항구적으로 기억된다.

또한, 화상 취득부(101), 차량 검출부(102), 차량 추적부(103)는 전용으로 설계된 하드웨어에 의해 실현되어도 좋고 소프트웨어 모듈에 의해 실현되어도 좋다. 소프트웨어로서 실행되는 경우, 보조 기억 장치에 기억된 프로그램이 주기억 장치에 로드되고 CPU에 의해 실행됨에 의해 각 수단이 기능한다. (CPU, 보조 기억 장치, 주기억 장치는 모두 도시생략)

카메라(200)는 도로 위에 배치된 감시 카메라이다. 본 실시 형태에서는 카메라(200)는 차량의 추적에만 이용되는 카메라가 아니라 감시 목적 등 다른 목적으로도 이용되는 공용의 카메라이다. 따라서 차량의 추적과는 무관계로 팬, 틸트, 줌 등이 발생하는 경우가 있다.

(종래 기술에서의 과제)

다음에 매칭 대상 영역과, 종래 기술에서 발생하는 문제에 관해 설명한다. 도 3은 카메라(200)가 촬영한 화상을 도시한 도면이다.

본 실시 형태에 관한 화상 처리 장치는 추적 대상차량에 대응하는 템플릿을 취득한 다음, 카메라(200)에 의해 취득한 화상에 대해 패턴 매칭을 행하여 추적 대상차량의 위치를 검출한다.

예를 들면 다른 차종에 대응하는 복수의 템플릿을 이용하여 카메라(200)가 촬영한 화상에 대해 패턴 매칭을 행한 결과, 도 3(A)의 부호 10A로 나타낸 영역에 차량을 검출한 경우를 고려할 수 있다.

이와 같은 수법을 이용한 경우, 화상 위에서의 차량의 크기나 방향이 변화하는 경우에 추적이 실패하는 일이 있다. 도 3(B)는 카메라(200)가 줌 하여 화각이 작아진 상태를 도시한 도면이다. 이와 같은 경우, 도 3(A)에서 사용한 템플릿을 계속해서 사용하면 매칭이 실패하거나 매칭 스코어가 현저하게 저하된다는 문제가 발생한다. 이 문제를 해결하기 위해서는 차량의 보이는 방식의 변화에 추종하여 템플릿의 사이즈를 변경할(본 예에서는 부호 10B로 나타낸 사이즈로 확대한다) 필요가 있다.

다른 예를 도시한다. 도 4(A)∼(C)는 차량이 우회전하는 경우의 예를 도시한 도면이다. 예시한 바와 같이, 차량의 진행 방향이 변화하는 경우, 화상 위에서의 크기가 변화하기 때문에 템플릿도 이것에 추종시켜서 변형시킬(본 예에서는 부호 20A, 20B, 20C라는 바와 같이 순차적으로 확대한다) 필요가 있다. 또한, 도 4의 예에서는 차량이 보이는 방식 자체가 변화되어 가기 때문에 차량의 진행 방향에 응하여 템플릿의 사이즈뿐만 아니라 템플릿의 내용 자체를 갱신하여 갈 필요가 있다.

본 실시 형태에 관한 화상 처리 장치는 차량의 추적에 있어서 화상 위에서의 차량의 크기나 방향이 변화한 것을 검출하고 다음 프레임에서의 템플릿을 적절한 사이즈로 갱신한다. 이와 같이 함으로써 화상 위에서의 차량의 보이는 방식이 변화하는 경우라도 차량에 대해 적절한 패턴 매칭을 행할 수가 있고 정확하게 추적을 행할 수가 있다. 템플릿을 갱신하는 구체적인 방법에 관해서는 후술한다.

(처리 플로우 차트)

다음에 화상 처리 장치(100)가 행하는 화상 처리의 상세에 관해 처리 플로우 차트인 도 5를 참조하면서 설명한다. 도 5에 도시한 처리는 화상 취득부(101)가 신규의 프레임을 취득할 때마다 실행된다. 예를 들면 프레임 레이트가 10fps인 경우, 초간 10회 실행된다. 우선, 스텝 S11에서 화상 취득부(101)가 카메라(200)를 통하여 도로화상을 취득하고 기억부(104)에 일시적으로 기억시킨다. 또한, 취득된 도로화상은 시계열순으로 기억되고 처리가 완료되면 삭제된다.

다음에 스텝 S12에서 차량 추적부(13)가 현재 추적하고 있는 차량이 존재하는지의 여부를 판정하고 있는 경우에 추적 대상차량을 추적하는 처리를 실행한다. 현재 추적하고 있는 차량이 존재하는지의 여부는 후술하는 카운터를 이용하여 판단한다. 또한, 여기서는 추적 중의 차량이 없는 것으로 하여 설명을 행하고 스텝 S12의 상세에 관해서는 도 6을 참조하면서 나중에 설명한다.

스텝 S13에서는 차량 검출부(102)가 스텝 S11에서 취득한 화상 위에 현재 추적하지 않는 차량이 존재하는지의 여부를 판정한다. 구체적으로는 기억부(104)에 미리 기억되어 있는 템플릿에 의거하여 차량의 검출을 시도한다. 본 스텝에서의 차량의 검출에는 템플릿에 의거한 이미 알고 있는 물체 검출 수법을 이용할 수 있다. 예를 들면 기억된 복수의 템플릿을 이용하여 매칭을 시도하여 초기 위치와 범위를 특정한다. 또한, 검출한 차량이 이미 추적 중의 차량인 경우, 당해 차량은 스킵한다. 추적 중의 차량에 관한 정보는 기억부(104)를 통하여 차량 검출부(102) 및 차량 추적부(103)의 사이에서 공유된다.

새로운 차량이 검출되면 처리는 스텝 S14로 천이한다. 또한, 새로운 차량이 검출되지 않은 경우, 당해 프레임에 대한 처리는 종료한다.

차량을 검출하면 스텝 S14에서 차량 검출부(102)가 검출한 범위를 기억부(104)에 기억시킨다. 이에 의해 검출된 차량이 추적 중의 상태가 된다.

다음에 스텝 S15에서 차량 검출부(102)가 현재 추적 중인 차량의 수(이하, 추적중 차량수)에 검출한 차량의 대수를 추가한다. 여기서 설정된 대수는 스텝 S12에서 실행된 차량 추적 처리에서 이용된다.

다음에 스텝 S12에서 행하여지는 처리에 관해 도 6에 도시한 플로우 차트를 참조하면서 설명한다. 또한, 특히 기재가 없는 경우, 각 스텝은 차량 추적부(103)가 실행하는 것으로 한다.

스텝 S12의 처리는 설정되어 있는 「추적중 차량수」가 1대 이상인 경우에 실행된다. 즉, 스텝 S12가 실행되는 타이밍에서는 시계열순으로 2개 이상의 프레임이 기억부(105)에 기억되어 있다.

우선, 스텝 S21에서 카운터(n)에 1을 설정한다. n은 화상에 포함되는 추적 대상차량에 대해 순차적으로 처리를 행하기 위한 카운터이다.

다음에 스텝 S22에서 n번째의 차량에 대응하는 템플릿을 이용하여 도로화상에 대한 패턴 매칭을 행한다. 여기서 이용하는 템플릿은 예를 들면 스텝 S13에서 차량의 검출에 이용한 템플릿이라도 좋다.

본 스텝에서는 우선, 화상에 포함되는 n번째의 차량에 관해 현재의 프레임에서의 대략적인 위치를 추정하여 탐색영역을 설정한다. 예를 들면 과거의 2개 이상의 프레임에서 n번째의 차량의 위치의 변화가 구해져 있는 경우, 당해 위치의 변화에 의거하여 현재의 프레임에서의 위치를 추정하여도 좋다. 예를 들면 2프레임 전에서의 대상차량과 1프레임 전에서의 대상차량의 위치의 변화를 취득하고 당해 변화를 이용하여 현재의 프레임에서의 당해 대상차량의 위치를 추정하여도 좋다. 또한, 칼만 필터 등을 이용하여 차량의 위치를 추정하여도 좋다.

또한, 추정을 행하기 위한 충분한 정보가 없는 경우, 스텝 S13에서 검출한 위치의 부근에 당해 대상차량이 있는 것이라고 추정하여도 좋고 좁혀들어감 자체를 생략하여도 좋다.

그리고 대응하는 템플릿을 이용하여 제1의 매칭을 행한다.

스텝 S23에서는 제1의 매칭에서의 매칭 스코어를 취득하고 당해 매칭 스코어가 소정치(제1의 임계치) 이상인지의 여부를 판정한다. 이 결과, 매칭 스코어가 소정치에 못미친 경우, 현재 사용되고 있는 템플릿에서는 추적 대상차량이 올바르게 추적할 수 없는 것을 의미하기 때문에 이후의 스텝에서 템플릿을 변형하여 재차의 매칭을 시도한다.

스텝 S24에서는 추적 대상차량의 진행 방향이 변화한 것을 추정한다. 진행 방향의 변화는 과거의 추적 결과에 의거하여 추정하여도 좋다. 예를 들면 현재 설정되어 있는 탐색영역의 부근에서 차량의 위치가 크게 변화하였다는 이력이 있는 경우, 계속해서 변화하였다고 추정할 수 있다. 또한, 카메라(200)가 촬영한 도로의 형상에 의거하여 진행 방향을 추정하여도 좋다. 예를 들면 촬영 대상이 십자로나 삼거리인 경우, 어느 하나의 방향으로 진행한다고 추정하여도 좋다. 이 경우, 추정 결과는 복수 있어도 좋다.

또한, 스텝 S24의 처리는 생략하여도 좋다.

스텝 S25에서는 스텝 S22에서 사용하는 템플릿을 갱신하고 재차의 패턴 매칭(제2의 매칭)을 시도한다.

템플릿의 갱신 방법으로서 다음과 같은 방법이 있다.

(1) 사용한 템플릿을 단순하게 확대/축소시킨다

카메라가 줌 인(또는 줌 아웃)하거나 추적 대상차량이 화면 앞쪽 방향(또는 화면 안쪽 방향)을 향하여 주행하고 있는 경우에 유효한 방법이다(도 3 참조).

(2) 차량의 진행 방향에 응한 템플릿으로 바꾼다

화면 앞쪽 방향(또는 화면 안쪽 방향)을 향하여 주행하고 있는 차량이 좌우회전한 경우, 또는 옆길에서 나온 차량이 좌우회전하여 화면 앞쪽 방향(또는 화면 안쪽 방향)을 향하여 주행하는 경우에 유효한 방법이다(도 4 참조). 이 경우, 스텝 S24에서 추정한 진행 방향의 변화에 의거하여 사용하는 템플릿을 갱신한다. 예를 들면 스텝 S24에서 정면을 향하고 있던 차량이 좌경사 방향을 향하였다고 판정한 경우, 좌경사 전(前)에 대응하는 템플릿을 이용하여 매칭을 행하도록 한다. 또한, 바꾼 템플릿을 적절한 크기(예를 들면 직전에 사용한 템플릿에 의거한 크기)로 리사이즈하여도 좋다.

스텝 S26에서는 제2의 매칭에서의 매칭 스코어를 취득하고 당해 매칭 스코어가 소정치(제2의 임계치) 이상인지의 여부를 판정한다. 이 결과, 매칭 스코어가 소정치 이상이었던 경우(스텝 S26-Yes), 추적 대상차량이 올바르게 검출할 수 있었던 것을 의미하기 때문에 제2의 매칭 결과를 추적 결과로서 채용한다(스텝 S27).

한편, 스텝 S26로 매칭 스코어가 소정치에 못미친 경우(스텝 S26-No), 추적 대상차량을 놓쳤을 가능성이 있기 때문에 이후의 스텝에서 한층 더의 추적을 계속하는지 추적을 종료하는지를 판정한다.

도 7을 참조하여 설명을 계속한다.

스텝 S31에서는 매칭에 의해 특정된 영역(즉, 추적 대상차량의 존재가 추정되는 영역)을 세로 1×가로 N개의 블록으로 분할한다. 도 8은 분할의 예를 도시한 도면이다. 본 예에서는 도 8에 도시한 바와 같이 매칭에 의해 특정된 영역을 세로 1개×가로 5개의 블록으로 분할하고 있다.

다음에 스텝 S32에서 모든 블록의 에지 강도가 소정치 이하인지의 여부를 판정한다. 블록의 에지 강도란 당해 블록에 포함되는 화소가 갖는 에지 강도의 합이다. 예를 들면 취득한 화상에 특정한 방향에 존재하는 에지를 추출하는 Sobel 필터를 적용하고 얻어진 모든 값의 절대치의 합을 취득한다. 취득되는 에지의 강도는 세로 방향이라도 가로 방향이라도 좋다. 또한, 양쪽의 조합이라도 좋다. 이에 의해 블록마다의 에지 강도를 얻을 수 있다.

이 결과, 모든 블록의 에지 강도가 소정치 이하인 경우, 모든 블록의 어느 것에도 차량이 존재하지 않는 것이 추정되기 때문에 n번째의 차량의 추적 종료 플래그를 진(眞)으로 한다(스텝 S38). 이것은 차량이 존재하지 않는 블록(예를 들면 도로만이 존재한 블록)에 비하여 차량이 존재하는 블록에는 강한 에지가 나타나기 때문이다. 에지 강도가 소정치 이상인 블록이 하나라도 있는 경우, 처리는 스텝 S33으로 천이한다.

스텝 S33에서는 n번째의 차량에 대한 매칭 스코어의, 과거 k프레임(k는 임의의 정수)분 합계치를 연산하고 합계치가 소정치 이하인지의 여부를 판정한다. 여기서 연산하는 매칭 스코어는 제1의 매칭에 대응하는 스코어라도 좋고 제2의 매칭에 대응하는 스코어라도 좋다. 여기서 합계치가 소정치 이하인 경우, 매칭 스코어가 항구적으로 저하되어 있는 것이 추정되기 때문에 n번째의 차량의 추적 종료 플래그를 진으로 한다(스텝 S38).

합계치가 소정치를 상회하고 있는 경우, 처리는 스텝 S34로 천이한다.

스텝 S34에서는 스텝 S32에서 분할한 블록 중, 에지의 강도가 소정치 이하인 블록을 삭제한다. 본 스텝은 차량의 진행 방향이 변화한 것을 에지의 강도에 의거하여 추정하고 차량이 존재하는 영역을 특정하는 스텝이다. 예를 들면 도 8의 예의 경우, 영역(805)의 에지의 강도가 소정치 이하가 되기 때문에 영역(805)에 차량은 존재하지 않는다고 판정한다. 그리고 영역(801∼804)에 대응하는 화상을 잘라내어 새로운 템플릿으로 한다. 여기서 취득된 템플릿은 다음 프레임 이후에서의 매칭에서 이용된다.

도 9를 참조하여 구체례를 설명한다. 도 9는 옆길에서 나온 차량이 우회전하여 화상 앞쪽 방향으로 달려오는 경우의 예이다.

전술한 방법에 의해 처리를 행하면 부호 901 및 902로 도시한 영역이 삭제되고 남은 영역에 대응하는 화상이 새로운 템플릿이 된다.

이상으로, n번째의 차량에 대한 추적 처리가 종료된다.

스텝 S34의 처리 종료 후, 또는 스텝 S23에서 긍정 판정이었던 경우나 스텝 S27의 처리 종료 후, 스텝 S38의 처리 종료 후는 처리는 스텝 S35로 천이한다.

스텝 S35에서는 카운터(n)를 잉크리먼트하고 스텝 S36에서 카운터(n)가 추적 중의 차량수를 초과하는지의 여부를 판정한다. 이 결과, 초과하지 않는 경우, 처리는 스텝 S22로 되돌아와, 다음의 차량에 대한 추적을 시작한다. 초과하고 있는 경우, 추적 중의 차량수로부터 추적을 종료한 차량의 수(추적 종료 플래그가 진인 차량의 수)를 감산하다.

또한, 갱신된 템플릿은 다음 프레임에서의 처리에서 이용된다.

또한, 본 예에서는 스텝 S22로 되돌아왔지만 스텝 S24 또는 스텝 S25로 되돌아와, 제2의 매칭으로부터 처리를 행하도록 하여도 좋다.

이상 설명한 바와 같이, 본 실시 형태에 관한 화상 처리 장치에서는 제1의 템플릿을 이용한 패턴 매칭 결과에서 충분한 스코어를 얻을 수가 없었던 경우에 차량의 보이는 방식의 변화를 예측하여 템플릿을 갱신하고 패턴 매칭을 재시행한다. 이에 의해 화상 위에서의 차량의 보이는 방식이 급격하게 변화하는 경우라도 이것에 추종시킬 수 있다.

또한, 추적 대상차량의 존재가 추정되는 영역을 해석함으로써 추적을 종료하는지 속행하는지를 판단한다. 이에 의해 차량 이외의 물체를 차량으로 오인식하여 추적을 계속해 버리는 것을 방지 할 수 있다.

즉, 차량의 추적 정밀도를 향상시킬 수 있다.

(변형례)

전술한 실시 형태에서는 스텝 S23에서 소정의 스코어를 얻을 수가 없었던 경우(또는 매칭이 실패한 경우)에 추적 대상차량의 진행 방향의 변화를 추정한 다음 템플릿을 갱신하고 재차 매칭을 행하였지만 이 이외의 처리를 행하여도 좋다.

예를 들면 스코어는 높지 않지만 매칭이 성공하였다고 말할 수 있는 경우에 추적 대상차량의 외관이 서서히 변화하고 있다고 판단하고 제1의 매칭 결과를 채용한 다음, 다음 프레임 이후에 사용하는 템플릿을 변화 후의 외관에 응한 템플릿으로 갱신하여도 좋다. 또한, 변화 후의 외관에 응한 템플릿을 취득하기 위해 스텝 S24에서 설명한 바와 같은 진행 방향의 변화를 추정한 처리를 병용하여도 좋다.

또한, 전술한 실시 형태와, 본 변형례를 병용하여도 좋다. 예를 들면 스텝 S23에서 복수의 임계치를 설정하고 얻어진 스코어에 응하여 어느 처리를 실행하는지를 결정하여도 좋다. 예를 들면 스텝 S23에서 임계치(A) 및 임계치(B)(A>B라고 한다)에 의해 스코어를 3단계로 나누고 스코어가 임계치(A) 미만 임계치(B) 이상이었던 경우에 본 변형례로 기술한 처리를 행하고 스코어가 임계치(B) 미만이었던 경우에 스텝 S24∼S27의 처리를 행하도록 하여도 좋다.

(기타의 변형례)

상기한 실시 형태는 어디까지나 한 예이고 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.

예를 들면 스텝 S31∼S34 중의 어느 하나의 일부를 생략하여도 본 발명의 효과는 얻을 수 있다.

또한, 실시 형태의 설명에서는 템플릿 화상을 이용하여 매칭을 행하였지만 매칭은 특징량을 이용하여 행하여도 좋다. 또한, 템플릿 화상을 이용하는 경우, 1장의 템플릿 화상을 이용하여 매칭을 행하여도 좋고 템플릿 화상을 복수의 블록으로 분할하고 블록마다 매칭을 행하여도 좋다. 예를 들면 복수의 블록에서의 평균치를 구하여도 좋고 벗어난 값을 삭제한 다음 평균치를 구하여도 좋다.

또한, 실시 형태의 설명에서는 스텝 S25에서 갱신 후의 템플릿을 취득하였지만 화상 위에서의 보이는 방식의 변화가 복수 패턴 생각되는 경우(예를 들면 차량이 직진, 좌회전, 우회전의 3방향으로 진행 가능한 경우), 템플릿을 복수개 취득하고 각각에 관해 매칭을 행하도록 하여도 좋다. 이 경우, 어느 결과에서도 소정의 스코어를 얻을 수가 없었던 경우에 스텝 S26을 부정(否定) 판정으로 하면 좋다.

또한, 본 발명에 관한 화상 처리 장치가 추적한 대상물은 차량으로 한정되지 않는다.

100 : 화상 처리 장치
101 : 화상 취득부
102 : 차량 검출부
103 : 차량 추적부
104 : 기억부
200 : 카메라

Claims (10)

1. 연속하여 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치로서,
   화상을 취득하는 화상 취득 수단과,
   상기 화상에 포함되는 추적 대상물을 매칭에 의해 검출하고, 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 수단을 가지며,
   상기 추적 수단은, 상기 추적 대상물에 대응하는 제1의 템플릿을 이용하여 제1의 매칭을 행하고, 또한,
   상기 제1의 매칭을 행한 결과의 스코어가 제1의 임계치보다도 낮은 경우에, 상기 제1의 템플릿과 사이즈 또는 형상이 다른 제2의 템플릿을 이용하여 제2의 매칭을 행하고,
   상기 제2의 매칭을 행한 결과의 스코어, 및, 매칭의 결과 특정된 영역에서의 에지 강도의 쌍방에 의거하여, 상기 추적 대상물의 추적을 종료하는지의 여부를 결정하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 추적 수단은 상기 추적 대상물을 검출한 결과에 의거하여 상기 추적 대상물의 진행 방향의 변화를 추정하고 변화 후의 진행 방향에 대응하는 상기 제2의 템플릿을 이용하여 상기 제2의 매칭을 행하는 것을 특징으로 하는 화상 처리 장치.
3. 삭제
4. 제1항에 있어서,
   상기 추적 수단은 상기 제2의 매칭을 행한 결과의 스코어가 제2의 임계치보다도 낮고, 또한, 매칭의 결과 특정된 영역에서의 에지의 강도가 제3의 임계치보다도 낮은 경우에 상기 추적 대상물의 추적을 종료하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항 또는 제2항에 있어서,
   상기 추적 수단은 연속한 소정 매수분의 화상에 관해 제1의 매칭을 행한 결과의 스코어 또는 제2의 매칭을 행한 결과의 스코어의 합계치를 취득하고, 상기 합계치에 의거하여 상기 추적 대상물의 추적을 종료하는지의 여부를 결정하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항 또는 제2항에 있어서,
   상기 추적 수단은 처리 대상의 화상보다도 전의 화상에서의 상기 추적 대상물을 검출한 결과가 있는 경우에 당해 결과에 의거하여 상기 제1의 템플릿을 취득하는 것을 특징으로 하는 화상 처리 장치.
7. 제6항에 있어서,
   상기 추적 수단은 상기 추적 대상물에 대응하는 영역을 복수의 블록으로 분할하고, 에지의 강도가 제4의 임계치보다도 낮은 블록을 제외한 영역을 상기 제1의 템플릿으로 하는 것을 특징으로 하는 화상 처리 장치.
8. 제7항에 있어서,
   상기 추적 대상물은 차량이고 상기 복수의 블록은 수평 방향으로 배열되는 것을 특징으로 하는 화상 처리 장치.
9. 연속해서 촬영된 복수의 화상에 포함되는 추적 대상물을 추적하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
   화상을 취득하는 화상 취득 스텝과,
   상기 화상에 포함되는 추적 대상물을 매칭에 의해 검출하고, 복수의 화상 사이에서의 상기 추적 대상물의 이동량 및 이동 방향을 취득하는 추적 스텝을 포함하고,
   상기 추적 스텝에서는, 상기 추적 대상물에 대응하는 제1의 템플릿을 이용하여 제1의 매칭을 행하고, 또한,
   상기 제1의 매칭을 행한 결과의 스코어가 제1의 임계치보다도 낮은 경우에, 상기 제1의 템플릿과 사이즈 또는 형상이 다른 제2의 템플릿을 이용하여 제2의 매칭을 행하고,
   상기 제2의 매칭을 행한 결과의 스코어, 및, 매칭의 결과 특정된 영역에서의 에지 강도의 쌍방에 의거하여, 상기 추적 대상물의 추적을 종료하는지의 여부를 결정하는 것을 특징으로 하는 화상 처리 방법.
10. 제9항에 기재된 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.

Images