KR20150114437A

KR20150114437A - 화상처리장치 및 화상처리방법

Info

Publication number: KR20150114437A
Application number: KR1020150045880A
Authority: KR
Inventors: 히로시 토조; 코타로 야노; 뚜언 꽝 팜
Original assignee: 캐논 가부시끼가이샤
Priority date: 2014-04-01
Filing date: 2015-04-01
Publication date: 2015-10-12
Also published as: US9691155B2; CN104980622B; EP2927873A1; CN104980622A; EP2927873B1; US20170263008A1; JP6445775B2; US20150279049A1; JP2015197816A; KR101802146B1; US10438361B2

Abstract

화상처리장치는, 영상입력부와, 상기 영상입력부에서 취득한 화상을, 유사한 속성의 화소들을 각각 포함하는 복수의 영역으로 분할하는 영역분할부와, 분할한 각 영역으로부터 특징을 추출하는 특징추출부와, 배경의 특징으로부터 생성된 배경 모델을 미리 기억하는 배경 모델 기억부와, 상기 추출한 특징과 상기 배경 모델에서의 특징을 비교하고, 상기 영역들의 각각에 대해서 상기 영역이 배경인가 아닌가를 판정하는 특징비교부를 구비한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 동화상으로부터의 물체 검지 기술에 관한 것이다.

카메라로 촬영한 화상으로부터 물체를 검지하는 기술로서, 배경 차분법(subtraction method)이 개시되어 있다. 배경 차분법에 있어서는, 고정된 카메라로 어떠한 물체도 없는 배경 화상을 미리 촬영하고, 그 화상의 특징을 배경 모델로서 기억해둔다. 그 후에, 배경 모델중의 특징과 카메라로부터 입력된 화상중의 특징과의 차분을 구하고, 다른 영역을 전경(물체)으로서 검지한다.

예를 들면, 특허문헌 1(일본특허 제2950267호)에서는, 화소값을 특징으로서 사용하여 배경 모델을 생성하고, 화소단위로 차분을 산출해서, 물체를 검지하고 있다. 화소단위로 배경 모델을 생성하면, 해상도가 높아짐에 따라 메모리 소비와 처리 비용이 증대한다. 이를 해결하기 위해서, 특허문헌 2(일본특허 제4653155호)에서는, 입력 화상을 8×8화소 블록으로 분할하고, DCT(ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)로 부호화한 결과인 DCT계수를 특징으로서 사용하고 있다.

그렇지만, 배경 차분법에서는, 카메라가 고정되어 있는 것을 전제로 하기 때문에, 진동등으로 인해 카메라가 움직이면 다음과 같은 문제가 생긴다. 즉, 화상내에 어떠한 물체가 없어도, 입력 화상이 카메라의 움직임에 의해 벗어나는 경우에, 상기 특허문헌 1의 방법에서는 시간적으로 연속하고 있는 입력 화상간에 동일한 좌표에 있는 화상 내용이 변화된다. 예를 들면, 빨간 문과 파란 벽의 경계부근의 화소는, 빨강으로부터 파랑으로 화소값이 급격하게 변화되어버린다. 추가로, 특허문헌 2의 방법에서는, 빨간 문과 파란 벽의 경계를 포함하는 블록에서는, 그 블록에 포함된 빨간 화소와 파란 화소의 비율이 변화되어버린다. 결과적으로, 특허문헌 1의 방법과 특허문헌 2의 방법 양쪽의 방법에서는, 배경에 강한 엣지를 수반하는 경계부근에 오검지가 생겨버린다.

특허문헌 1의 방법에서는, 같은 화소값을 가지는 화소의 좌표가 벗어난 것뿐이므로, 근방의 화소를 비교 대상에 더하여서 그 오검지를 막을 수 있다. 그러나, 이 방법으로는, 메모리 용량과 처리 비용의 문제를 극복할 수 없다. 특허문헌 2의 방법으로는, 메모리 용량과 처리 비용을 억제할 수 있다. 그렇지만, 블록의 특징 자체가 변화되어버리므로, 오검지의 문제는 극복할 수 없다. 따라서, 종래의 기술에서는, 메모리의 소비와 처리 비용을 증대시키지 않고 카메라의 움직임에 의해 생긴 입력 화상의 어긋남으로 인해 일어나는 오검지를 피할 수 없었다.

본 발명은 상술한 문제를 고려하여 이루어진 것으로서, 메모리의 소비량 및 처리 비용을 증대시키지 않고, 촬상장치의 움직임에 의해 생긴 입력 화상의 어긋남으로 인해 생기는 오검지의 회피를 실현하기 위한 기술을 제공한다.

본 발명의 제 1 국면에 따른 화상처리장치는, 영상입력부; 상기 영상입력부에서 취득한 화상을, 유사한 속성의 화소들을 각각 포함하는 복수의 영역으로 분할하는 영역분할부; 상기 영역분할부에서 분할한 각 영역으로부터 특징을 추출하는 특징추출부; 배경의 특징으로부터 생성된 배경 모델을 미리 기억하는 배경 모델 기억부; 및 상기 특징추출부에서 추출한 상기 특징과 상기 배경 모델에서의 특징을 비교하고, 상기 복수의 영역의 각각에 대해서 상기 영역이 배경인가 아닌가를 판정하는 특징비교부를 구비한다.

본 발명의 제 2 국면에 따라 화상처리장치가 행하는 화상처리방법은, 취득한 화상을, 유사한 속성의 화소들을 각각 포함하는 복수의 영역으로 분할하는 영역분할단계; 상기 영역분할단계에서 분할된 각 영역으로부터 특징을 추출하는 특징추출단계; 및 상기 특징추출단계에서 추출된 상기 특징과 배경의 특징으로부터 생성된 배경 모델에서의 특징을 비교하고, 상기 복수의 영역의 각각에 대해서 상기 영역이 배경인가 아닌가를 판정하는 특징비교단계를 포함한다.

본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은, 컴퓨터의 하드웨어 구성 예를 나타내는 블록도,
도 2는, 화상처리장치의 기능 구성 예를 나타내는 블록도,
도 3은, 화상처리장치가 행하는 처리의 흐름도,
도 4는, 근방영역을 선택하는 처리의 상세를 나타내는 흐름도,
도 5a 내지 5c는, 안정도에 따라 역치를 구하는 방법 및 안정도에 따라 역치를 구하는 의의를 설명하는 도면이다.

이하, 첨부도면을 참조하여, 본 발명의 실시예들에 관하여 설명한다. 이때, 이하 설명하는 실시예들은, 본 발명의 상세한 구현 예들이나 청구범위에 기재된 구성의 상세한 예들이다.

[제1실시예]

본 실시예에서는, 동화상을 구성하는 프레임들의 화상들을 순차로 취득하고, 상기 취득한 화상으로부터 물체를 포함하는 영역을 검출하는 화상처리장치의 양태에 관하여 설명한다. 우선, 본 실시예에 따른 화상처리장치의 기능 구성 예에 대해서, 도 2의 블록도를 참조하여 설명한다.

또한, 도 2에 나타낸 구성은 단지 일례일 뿐이며, 도 2의 구성과 동등이상의 기능을 실현하는 어떠한 다른 구성도 채용되어도 된다.

영상입력부(201)는, 동화상을 구성하는 프레임들의 화상들(프레임 화상들)을 순차로 취득하고, 상기 취득한 프레임 화상들을 후단의 영역분할부(202)에 송출한다. 프레임들의 화상들은, 비디오카메라로부터 순차로 송출되어도 되거나, 외부장치로부터, 예를 들면 스트리밍 등의 기술에 의해 전송되어도 된다.

영역분할부(202)는, 영상입력부(201)로부터 받은 각 프레임 화상을, 유사한 화상 특징(속성)의 영역으로 분할한다. 특징추출부(203)는, 영역분할부(202)가 분할한 각 영역으로부터 화상특징을 추출하는 처리를 행한다. 근방영역 선택부(205)는, 배경 모델 기억부(204)에 기억되어 있는 영역들의 정보로부터, 영역분할부(202)가 분할한 각 영역에 근접하는 영역의 정보를 독출해서 특징비교부(206)에 송출한다.

특징비교부(206)는, 영역분할부(202)가 분할한 각 영역에 대해서, 상기 영역으로부터 추출한 화상특징과, 상기 영역에 대해서 근방영역 선택부(205)가 배경 모델 기억부(204)로부터 독출한 정보를 비교한다.

물체영역 출력부(207)는, 특징비교부(206)에 의한 비교 결과에 따라, 프레임 화상에 대해서 분할한 영역들 중, 물체를 포함하는 영역을 특정하고, 상기 특정한 영역에 대한 정보를 출력한다.

특징갱신부(208) 및 안정도 산출부(209)는, 배경 모델 기억부(204)에 기억된 배경 모델을 갱신한다.

다음에, 프레임 화상으로부터 물체를 포함하는 영역을 추출하기 위해서 본 실시예에 따른 화상처리장치가 행하는 처리에 대해서, 동 처리의 흐름도를 도시한 도 3을 참조하여 설명한다.

단계S301에서는, 영상입력부(201)는, 1프레임분의 프레임 화상을 취득하고, 상기 취득한 프레임 화상을, 후단의 영역분할부(202)에 대하여 송출한다.

단계S302에서는, 영역분할부(202)는, 영상입력부(201)로부터 받은 프레임 화상을, 화상특징이 유사한 영역들로 분할한다. 최근, 휘도나 색등의 화상특징이 유사한 화소군으로 각각 이루어진 소영역(Superpixel이라고 부르고 있다)으로 화상을 분할하는 수법이 제안되어 있다(예를 들면, 비특허문헌 1(Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk, "SLIC Superpixels", EPFL Technical Report 149300, June 2010) 및 비특허문헌 2(Felzenszwalb, P., Huttenlocher, D., "Efficient graph-based image segmentation", International Journal of Computer Vision, 2004)을 참조).

화상분할의 수법은, Superpixel의 사이즈가 거의 일정하거나(비특허문헌1), 화상의 내용에 따라 크게 변경되지만(비특허문헌2), 이하의 공통 성질이 있다. 즉, Superpixel분할에서는, 휘도나 색이 유사한 화소들을 모으므로, 휘도나 색이 크게 변화되는 강한 엣지의 부분에서 화상이 분할되게 된다. 강한 엣지는 화상에 포함된 물체의 경계에서 관찰된다. 따라서, 물체의 경계부근의 Superpixel의 경계는 물체의 경계와 일치한다. 본 실시예에서는, 이러한 Superpixel의 성질을 이용한다.

영역분할부(202)는, 프레임 화상을, 화상특징이 유사한 영역(즉, Superpixel)으로 분할한 후, 프레임 화상을 구성하는 각 화소에 대하여, 상기 화소가 속하는 Superpixel 고유의 라벨 번호를 할당시킴과 아울러, 상기 영역의 프레임 화상내에 있어서의 중심위치를, 화상처리장치가 관리하는 메모리에 등록한다.

단계S303에서는, 특징추출부(203)는, 영역분할부(202)가 분할한 각 Superpixel로부터 화상특징을 추출한다. Superpixel 단위로 화상특징을 추출할 때, 그 화상특징은, 동화상을 촬상하는 촬상장치의 움직임을 따라 프레임 화상내에 어긋남이 발생할 때에도, 변화하지 않는다. 상술한 빨간 문과 파란 벽의 경계의 예에서는, 프레임 화상내에 어긋남이 발생할 때에도, 빨간 문과 파란 벽의 경계에는 항상 Superpixel의 경계가 존재한다. 이 때문에, 빨강과 파랑이 섞인 Superpixel로부터 화상특징이 추출되지 않는다. 따라서, 물체 경계부근이여도 프레임 화상간에 일관된 특징을 추출하는 것이 가능하다.

본 실시예에서는, Superpixel로부터 추출되는 화상특징으로서, 상기 Superpixel내의 각 화소의 색성분들의 평균 화소값(예를 들면, R, G, B의 각각의 성분에 관한 평균 화소값)인 색특징을 사용한다. ＲＧＢ등의 색공간(color space)을 색성분마다 분할해두고, Superpixel내의 각 화소의 색값의 히스토그램을 생성하여도 좋다. 색공간은, 특히 ＲＧＢ의 색공간에 한정되는 것이 아니고, ＹＣｂＣｒ 또는 ＣＩＥＬＡＢ의 색공간을 사용해도 된다. 물론, 그 밖의 값들이 색특징으로서 일부 적용 가능하다.

본 실시예에서는, Superpixel로부터 추출되는 화상특징으로서, 상기 Superpixel의 형상을 규정하는 정보인 형상특징도 사용한다. 이 "Superpixel의 형상을 규정하는 정보"는, 예를 들면 Superpixel의 경계상의 화소의 화소위치, Superpixel내의 각 화소의 화소위치, 또는 Superpixel내의 화소수(Superpixel의 면적)이여도 된다.

또는, 소정값 이상의 엣지 강도를 가지는 영역경계의 화소수가 둘레길이에 대하여 차지하는 비율을 화상특징으로서 사용해도 된다. 후술하는 바와 같이, 강한 엣지에 의해 둘러싸여진 Superpixel은 안정하다고 생각되기 때문에, 그 엣지가, Superpixel의 형상을 특징으로 하는 것으로서 간주될 수 있다. 각 화소의 화소위치를 (x, y)로서 표현할 경우의 x좌표의 2차 모멘트와 y좌표의 2차 모멘트, xy모멘트 또는 경계선의 푸리에(Fourier) 기술자(descriptor)를 사용해도 된다.

특징추출부(203)는, 프레임 화상을 구성하는 각 화소에 할당된 라벨 번호를 사용하여, 같은 라벨 번호가 할당되어 있는 화소군으로 이루어진 영역, 즉, Superpixel을 특정하고, 상기 특정된 Superpixel로부터 화상특징(색특징 및 형상특징)을 추출한다. 특징추출부(203)는, 프레임 화상에 있어서의 각각의 Superpixel에 대해서, 상기 Superpixel로부터 추출된 ｎ(n은 정수이고, n≥2)개의 화상특징을 n차원의 특징 벡터(상기의 예에서는, Superpixel내의 각 화소의 색성분들의 평균 화소값과, 상기 Superpixel의 형상을 규정하는 정보(이 경우에는, 면적)로 이루어지는 4차원 벡터)로서 상기의 메모리에 등록한다.

단계S304에 있어서의 처리를 설명하기 전에, 배경 모델 기억부(204)가 유지하는 정보에 관하여 설명한다. 배경 모델 기억부(204)에는, Superpixel마다의 화상특징의 시간적 통계량(안정도를 포함한다)이, 상기 Superpixel의 라벨 번호 및 중심좌표와 함께, 배경 모델로서 등록되어 있다.

"안정도"란, 시간의 관점에서 Superpixel의 안정성의 정도를 나타내는 양이다. 동화상에서는, 조명, 화이트 밸런스, 노이즈등이 변화된다. 따라서, 프레임 화상간에 같은 위치에 있는 화소들에서도, 휘도와 색은 다르다. 동화상의 각 프레임 화상을 Superpixel로 분할했을 경우, 각 Superpixel은 아래와 같이 된다. 상기한 바와 같이, 강한 엣지를 수반하는 물체경계와 Superpixel의 경계는 일치하므로, 프레임 화상간에 Superpixel의 색특징이 변화될 때에도 Superpixel의 형상특징은 거의 변화되지 않는다. 그렇지만, 강한 엣지를 갖지 않는, 휘도나 색이 완만하게 변화되는 영역(예를 들면, 균일하게 조명되지 않는 카펫의 바닥)에 있어서는, 프레임 화상간에 Superpixel의 형상특징이 쉽게 변화된다. 이것은, 각 화소의 휘도나 색의 약간의 변동도 Superpixel분할 결과에 영향을 주기 때문이다. 결과적으로, Superpixel에 포함된 색의 비율도 바뀐다. 즉, Superpixel이 불안정해지면, 화상특징간에 차이가 생기기 쉬워져, 조명의 변동으로 인해 오검지가 생길 수도 있다. 따라서, 안정도를, Superpixel의 화상특징을 시간적으로 관찰할 때의 변동의 정도로 나타낸다. 안정도를 구하는 수법으로서, 본 실시예에서는, 특정 영역에 대응하는 Superpixel에서 화상특징의 각 요소의 확률분포를 가우시안(Gaussian) 모델로 근사하는 방법을 설명한다. 또한, 여기에서는, 설명의 편의를 위해, 하나의 Superpixel(Superpixel X)에 초점을 두지만, 모든 Superpixel에 대해서 마찬가지로 취급하는 것으로 한다. t번째 프레임의 Superpixel X의 특징 벡터를 F_t(n차원)이라고 했을 때, 확률밀도함수η은 이하의 식이 된다.

...(1)

또한, n은 특징 벡터의 차원 수, μ_t는 t번째 프레임까지의 각 프레임에 있어서의 Superpixel X의 특징 벡터의 평균 벡터(n차원), Σ_t는 그 평균 벡터의 공분산 행렬(n×n차원)이다. 아래첨자의 t는 t번째 프레임을 의미한다. 후술하는 바와 같이, μ_t, Σ_t는 프레임 단위로 갱신된다. 또한, 본 실시예에서는, 특징 벡터F_t는, 4차원 요소, 즉, 색특징인 ＲＧＢ성분들의 Superpixel내의 평균값과, 형상특징인 면적으로 이루어진다. 연산을 쉽게 하기 위해서, 특징 벡터F_t의 차원들은 서로 독립적이고, 색특징은 모든 성분에서의 표준편차로서 같은 값σ_c,t를 취하고, 형상특징의 표준편차는 σ_s,t라고 가정한다.

...(2)

σ_c,t, σ_s,t가 작아질수록, Superpixel은 보다 안정하다. 따라서, 이 값들을 안정도로서 사용한다. 본 실시예에서는, Superpixel마다의 배경 모델에는, 상기 Superpixel의 평균 벡터μ_t, 상기 Superpixel에 있어서의 화상특징의 표준편차σ_c,t, σ_s,t(안정도), 상기 Superpixel의 라벨 번호와 중심좌표가 포함되어 있는 것으로 가정한다.

이러한 전제에 의거하여 근방영역 선택부(205)가 행한 근방영역을 선택하는 처리(단계S304)에 대해서, 도 4의 흐름도를 참조하여 설명한다. 또한, 도 4의 흐름도는, 프레임 화상에서의 1개의 Superpixel(주목 Superpixel)에 대한 처리를 나타낸다. 실제로는, 그 프레임 화상에서의 각 Superpixel에 대해서 도 4의 흐름도에 따른 처리를 실행하게 된다.

단계S401에서는, 배경 모델 기억부(204)로부터 아직 독출되지 않고 있는 Superpixel의 중심위치를 독출한다. 상기한 바와 같이, 배경 모델 기억부(204)에는, 각 Superpixel의 중심위치가 등록되어 있다. 그러므로, 본 단계에서는, 아직 독출되지 않고 있는 중심위치를 독출한다. 도 4의 흐름도에서는, 단계S401의 처리를 실행할 때마다, 예를 들면 라벨 번호의 오름차순으로 대응한 중심위치를 1개 독출한다.

단계S402에서는, 주목 Superpixel의 중심위치와, 단계S401에서 독출한 중심위치와의 사이의 거리를 구한다. 여기에서는, 그 중심위치간의 유클리드 거리를 구한다. 그렇지만, 예를 들면 2개의 Superpixel의 중첩 면적의, 한쪽의 Superpixel의 면적에 대한 비율을 구해도 된다.

단계S403에서는, 단계S401에서 독출한 중심위치와 같은 배경 모델에 포함되어 있는 안정도를 배경 모델 기억부(204)로부터 독출한다. 예를 들면, 단계S401에서 라벨 번호=1의 Superpixel의 중심위치를 독출했을 경우, 단계S403에서는, 라벨 번호=1의 Superpixel의 안정도를 독출한다.

단계S404에서는, 단계S403에서 독출한 안정도에 따른 역치를 구한다. 또한, 안정도에 따른 역치를 구하는 방법, 및 역치를 안정도에 따라 구하는 의의에 관해서는 후술한다.

단계S405에서는, 단계S402에서 구한 거리와 단계S404에서 구한 역치를 비교한다. 이 비교의 결과, 단계S402에서 구한 거리가 단계S404에서 구한 역치보다도 작을 경우에는, 처리는 단계S406에 진행된다. 단계S402에서 구한 거리가 단계S404에서 구한 역치보다도 클 경우에는, 처리는 단계S407에 진행된다.

단계S406에서는, 단계S401에서 독출한 중심위치와 같은 배경 모델에 포함되어 있는 라벨 번호를, 화상처리장치의 (도면에 나타내지 않은) 메모리에 등록한다. 예를 들면, 단계S401에서 라벨 번호=1의 Superpixel의 중심위치를 독출했을 경우, 단계S406에서는, 라벨 번호=1을 메모리에 등록한다.

여기에서, 안정도에 따른 역치를 구하는 방법, 및 역치를 안정도에 따라 구하는 의의에 대해서, 도 5a 내지 5c를 참조하여 설명한다. 그 역치가 안정도에 관계없이 고정되면, 다음과 같은 문제가 생긴다. 도 5a에 나타나 있는 바와 같이, 중심위치 503을 가지는 Superpixel 501과, 중심위치 504를 가지는 Superpixel 502가 위치하고 있다고 가정한다. Superpixel 501은 수평방향의 폭이 대단히 짧은 것으로 되어 있다. 도 5a에 나타낸 상태로부터 벗어난 촬상위치와 자세에서 촬상된 프레임 화상이 도 5b에 나타낸 프레임 화상이라고 가정한다. 이때, Superpixel 501은 Superpixel 505로 변경되고, 중심위치 507은 중심위치 503으로부터 약간 벗어나 있다. 추가로, Superpixel 502는 Superpixel 506으로 변경되고, 중심위치 508은 중심위치 504로부터 약간 벗어나 있다.

도 5a와 도 5b를 포갠 상태를 도 5c에 나타낸다. 상기의 역치가 고정될 경우, 중심위치 503을 중심으로 하고 또한 상기 역치를 반경으로 하는 원 509, 중심위치 504를 중심으로 하고 또한 상기 역치를 반경으로 하는 원 510을 설정할 수 있다. Superpixel 505를 주목 Superpixel로서 선택하면, 그 중심위치 507은, 원 510안에 위치하고 있고, 즉 중심위치 504로부터 역치의 거리이내에 위치하고 있다. 이때, 단계S406에서는, Superpixel 502의 라벨 번호를, Superpixel 505에 근접하는 Superpixel의 라벨 번호로서 메모리에 등록한다. 그렇지만, 본래, Superpixel 501의 라벨 번호를 메모리에 등록하는 것이 옳다. 상술한 것처럼, 짧은 쪽의 폭이 역치보다 좁은 Superpixel에 대해서는, 옳은 Superpixel을 선택하는 것이 불가능할 수도 있다.

이를 극복하기 위해서는, 역치를 크게 하고, 보다 넓은 범위로부터 주목 Superpixel에 대응하는 Superpixel을 선택한다. 그렇지만, Superpixel이 불안정한 경우에는, 배경 모델에 대응하지 않는 Superpixel이 우연히 형상이 유사하여, 오검지가 생긴다. 따라서, 형상특징의 안정도(표준편차)σ_s,t를 사용하여, 역치T1을 이 하의 식으로 결정한다.

...(3)

여기서, S는 평균적인 중심위치의 간격, α는 소정의 역치다. S는, 화상의 전체 화소수를 N, 하나의 화상으로부터 분할된 Superpixel의 수를 K라고 하면, S＝√(N/K)에 의해 구해질 수 있다. Superpixel의 형상이 안정할수록, 추출된 특징량이 더 안정하다. 이 때문에, Superpixel이 선택될 때에도, 특징비교부(206) 및 물체영역 출력부(207)는, 정확하게 판정을 행할 수 있다. 따라서, 안정도가 높을수록, 선택할 수 있는 범위가 더 넓어진다. 식(3)에 있어서 형상이 안정할수록, σ_s,t는 작아진다. 이 때문에, 그 역치가 커지고, 보다 넓은 범위를 근방으로서 취급할 수 있게 된다. 그렇지만, 이러한 성질을 갖는 역치를 구할 수 있으면, 안정도로부터 역치를 구하는 방법은 상기의 방법에 한정되는 것이 아니다.

도 4를 다시 참조하면, 단계S407에서는, 배경 모델 기억부(204)에 기억된 모든 Superpixel의 배경 모델에 대해서 단계S401 내지 S406의 처리를 행한 것인가 아닌가를 판정한다. 그 배경 모델 기억부(204)에 기억된 모든 Superpixel의 배경 모델에 대해서 단계S401 내지 S406의 처리를 행했다고 판정하면, 처리는 단계S305에 진행된다. 한편, 배경 모델 기억부(204)에 기억된 모든 Superpixel의 배경 모델 중 아직 단계S401 내지 S406의 처리가 이루어지지 않은 배경 모델이 남아 있을 경우에는, 처리는 단계S401에 되돌아간다.

도 4의 흐름도에 따른 처리를 실행할 때, 배경 모델 기억부(204)에 기억된 Superpixel들의 배경 모델 중, 주목 Superpixel의 근방에 위치하는 Superpixel의 배경 모델중의 라벨 번호를 메모리에 등록할 수 있다.

도 3을 다시 참조하면, 다음에, 단계S305에서는, 특징비교부(206)는, 프레임 화상의 각 Superpixel로부터 취득한 특징 벡터와, 상기 Superpixel에 대해서 메모리에 등록한 라벨 번호와 같은 배경 모델에 포함되어 있는 평균 벡터를 비교한다.

보다 구체적으로는, 프레임 화상에 있어서의 주목 Superpixel에 대해서,

색특징(i=1∼3)일 때,

...(4)

와,

형상특징(i=4)일 때,

...(5)

를 동시에 충족시킬 경우, 상기 주목 Superpixel은, 배경이라고 판정한다. 이 식 (4) 및 (5)에 있어서, F_t는, 프레임 화상에 있어서의 주목 Superpixel의 특징 벡터이며, μ_t는, 주목 Superpixel에 대해서 메모리에 등록한 라벨 번호와 같은 배경 모델에 포함되어 있는 평균 벡터다. 또한, i는 n차원 벡터의 I번째 차원이며, k,l은 소정의 정수다.

상기한 바와 같이, Superpixel이 불안정할수록(σ_c,t,σ_s,t가 커질수록), 특징간의 차이가 더 생기기 쉬워진다. 따라서, 식(4)와 식(5)로 나타낸 것처럼, 상기 역치는, σ_c,t,σ_s,t에 따라 큰 차분을 허용하도록 구해진다. 이에 따라 불안정한 Superpixel에 의해 생긴 오검지를 막을 수 있다.

본 실시예에서는, 특징으로서 색특징과 형상특징의 양쪽을 사용하고 있다. 색특징만을 사용하고, 배경에 검지 대상인 물체와 유사한 색을 가지는 Superpixel이 존재하면, 오검지가 생겨버린다. 예를 들면, 빨간 화병 앞에 빨간색의 셔츠를 입은 인물이 지나가면, 비록 형상들이 분명하게 다를지라도 색이 유사한 Superpixel을 배경으로서 판정해버린다. 각 Superpixel의 형상은 물체의 형상을 반영하고 있다. 따라서, 형상특징을 사용하는 것에 의해 오검지를 방지한다. 또한, 주목 Superpixel에 대해서 메모리에 등록한 라벨 번호가 복수 있는 경우에는, 이 복수의 라벨 번호 중, 주목 Superpixel의 중심위치와의 거리가 최소가 되는 중심위치와 같은 배경 모델에 포함되어 있는 라벨 번호를 채용한다.

이러한 처리를 프레임 화상중의 각 Superpixel에 대해서 행할 때, 상기 Superpixel이 배경인지의 여부를 판정할 수 있다.

단계S306에서는, 물체영역 출력부(207)는, 프레임 화상에서 Superpixel들 중 배경이라고 판정되지 않은 Superpixel, 즉, 물체를 포함한다고 판정된 Superpixel을 의미하는 정보를 생성해서 출력한다. 예를 들면, 프레임 화상을 구성하는 각 화소에 대하여, 상기 화소가 배경이라고 판정된 Superpixel에 속할 경우에는, 값 "0"이 할당된다. 상기 화소가 배경은 아니라고 판정된 Superpixel에 속할 경우에는, 값 "1"이 할당된다. 프레임 화상을 구성하는 화소들에 할당된 값들로 이루어진 화상을 마스크 화상으로서 출력한다. 이 마스크 화상에 있어서, 값 "1"을 할당시킨 화소들로부터 이루어진 영역이, 배경이라고 판정되지 않은 Superpixel, 즉, 물체를 포함하는 영역이라고 판정된 Superpixel이다.

단계S307에서는, 특징갱신부(208)는, 배경 모델 기억부(204)에 등록되어 있는 Superpixel들의 평균 벡터μ_t 중, 배경이라고 판정된 프레임 화상중의 Superpixel의 특징 벡터와의 비교에 사용한 평균 벡터μ_t를 갱신한다. 이 갱신은, 이하의 식(6)에 따라서 행해진다.

...(6)

ρ로서 식(1)의 산출 결과η의 값을 사용한다. 예를 들면, 프레임 화상중의 배경이라고 판정된 Superpixel A에 대해서 단계S304에서 Superpixel P 및 Superpixel Q의 라벨 번호가 메모리에 등록되어 있고, 또한 Superpixel P의 중심위치보다도 Superpixel Q의 중심위치쪽이 Superpixel A의 중심위치에 가깝다. 이러한 경우에, Superpixel Q의 평균 벡터를, Superpixel A의 특징 벡터를 사용해서 갱신한다. 또한, μ_t의 초기값으로서는, 처음에 입력된 프레임 화상으로부터 취득된 특징 벡터를 그대로 μ_t로서 사용한다.

단계S308에서는, 안정도 산출부(209)는, Superpixel단위로 화상특징이 시간축에 대하여 안정한지의 여부를 나타내는 값을 안정도로서 산출한다. 안정도는, 상기한 바와 같이, 가우시안 모델로서 표현된 표준편차σ로서 산출된다. 안정도는, 기동시에는 적당한 초기값을 주지만, 프레임마다 이하의 식(7), (8)에 따라서 갱신한다.

색특징(i=1∼3)일 때,

...(7)

형상특징(i=4)일 때,

...(8)

또한, μ_t로서는 식(6)으로 갱신한 결과를 사용한다. t번째 프레임에 있어서의 특징 벡터Ｆ_t평균 벡터μ_t와의 차분(F_t-μ_t)은, 그 특징 벡터의 안정성의 정도를 나타내는 양이다. 즉, 차분이 작은 것이 계속되면, 그 특징 벡터는 안정한 것으로서 간주된다. 이것을 (t-1)번째 프레임까지의 특징 벡터로부터 산출된 σ_t-1에 반영시킴으로써, 시간방향에서의 특징 벡터의 안정도를 나타내는 σ_c,t,σ_s,t를 얻는다. ρ로서는 식(1)의 산출 결과를 사용한다. 또한, σ_c,t,σ_s,t의 초기값은, σ_c,t=0,σ_s,t=0에 설정된다.

상술한 것처럼, 본 실시예에서는, 영상입력에 의해 취득한 화상을 속성이 유사한 화소로 각각 이루어진 복수의 소영역으로 분할(영역분할)한다. 분할된 각 소영역으로부터 상기 속성에 의거하여 특징을 추출한다(특징추출). 한편, 이 추출된 특징으로부터 형성된 배경 모델을 미리 기억해둔다(배경 모델 기억). 특징추출에 의해 추출된 특징과 배경 모델중의 특징을 비교함으로써, 소영역마다 그 소영역이 배경인가 아닌가를 판정한다(특징비교).

이러한 구성에 의해, 종래기술에서의 카메라의 움직임에 의해 생긴 과제를 해결할 수 있다. 메모리의 소비와 처리 비용을 억제하기 위해서 화상을 분할한다. 분할 영역에서 형상이나 사이즈가 아니고, 포함된 화소의 색등의 속성이 균일하게 되도록 분할한다(Superpixel분할). 같은 속성에 근거한 특징량을 추출하므로, 화면 어긋남이 일어나는 경우도 물체경계부근의 특징이 변화되지 않아, 오검지를 피할 수 있다.

또한, Superpixel경계에서의 형상특징을 이용함으로써, Superpxiel내의 색특징이 배경 모델과 입력 화상간에 유사할 경우에도, 오검지를 막는다. 또한, Superpixel이 불안정성에 의해 생긴 과제도, Superpixel의 안정도를 도입해서 그 안정도에 따라 특징량 비교시의 역치를 변경하거나, 근방영역 선택의 범위를 변경하거나 함으로써, 해소할 수 있다.

[제2실시예]

도 2에 나타낸 기능부들은, 1개의 화상처리장치내에 격납되어도 좋다. 그렇지만, 1개이상의 기능부는, 외부기기에 포함되어도 좋다. 이 경우, 화상처리장치는 이 외부기기와 네트워크를 거쳐서 데이터 통신 가능하게 접속될 필요가 있다. 물론, 도 2에 나타낸 기능부들은, 1개의 칩상에 조립되어도 된다.

또한, 도 2에 나타낸 구성은, 배경 모델 기억부(204)로서도 기능하는 메모리와, 도 2에 있어서 배경 모델 기억부(204)이외의 기능부들의 기능들을 프로세서에 실행시키기 위한 컴퓨터 프로그램을 실행 가능한 상기 프로세서를 구비한 컴퓨터이면, 도 2에 나타낸 구성을 갖는 화상처리장치로서 기능할 수 있다. 이러한 컴퓨터의 하드웨어 구성 예에 대해서, 도 1의 블록도를 참조하여 설명한다. 또한, 도 1에 나타낸 구성은, 제1실시예에서 설명한 화상처리장치에 적용 가능한 컴퓨터의 일 구성 예에 지나지 않고, 제1실시예에서 설명한 화상처리장치와 동등이상의 기능들을 실현하는 어떠한 다른 구성도 채용해도 된다.

ＣＰＵ(101)는, ＲＯＭ(102)이나 ＲＡＭ(103)에 기억된 컴퓨터 프로그램과 데이터를 사용해서 각종의 처리를 실행함으로써, 본 컴퓨터의 동작을 제어한다. 또한, ＣＰＵ(101)는, 제1실시예에서 설명한 화상처리장치가 실행하는 처리로서 설명한 각 처리를 실행한다.

ＲＯＭ(102)에는, 본 컴퓨터의 설정 데이터나 부트 프로그램등이 기억되어 있다. ＲＡＭ(103)은, 2차 기억장치(104)로부터 로드된 컴퓨터 프로그램과 데이터, 화상입력장치(105)로부터 입력된 각 프레임의 화상, 네트워크I/F(인터페이스)(108)를 거쳐 외부에서 수신한 데이터를 기억하기 위한 에어리어를 구비한다. 또한, ＲＡＭ(103)은, ＣＰＵ(101)가 각종의 처리를 실행하는데 사용된 워크 에어리어도 구비한다. 즉, ＲＡＭ(103)은, 각종의 에어리어를 적당하게 제공할 수 있다.

2차 기억장치(104)는, 하드 디스크 드라이브로 대표되는 대용량 정보기억장치다. 이 2차 기억장치(104)에는, ＯＳ(오퍼레이팅 시스템)와, 도 2에 있어서 배경 모델 기억부(204)이외의 기능부들의 기능을 ＣＰＵ(101)에 실현시키기 위한 컴퓨터 프로그램과 데이터가 보존되어 있다. 이 데이터에는, 상기의 설명에 있어서 기지의 정보로서 취급한 것도 포함되어 있다. 2차 기억장치(104)에 보존되어 있는 컴퓨터 프로그램과 데이터는, ＣＰＵ(101)의 제어하에 적당하게 ＲＡＭ(103)에 로드되어, ＣＰＵ(101)에 의해 처리된다. 또한, 배경 모델 기억부(204)등의, 제1실시예에서 메모리로서 설명한 부들은, ＲＡＭ(103)이나 2차 기억장치(104)로 구성될 수 있다.

화상입력장치(105)는, 본 컴퓨터에 동화상을 구성하는 각 프레임의 화상을 입력하기 위한 장치이며, 예를 들면 비디오카메라다.

입력장치(106)는, 키보드나 마우스로 구성되고, 본 컴퓨터의 유저가 조작할 때 각종의 지시를 ＣＰＵ(101)에 입력할 수 있다.

표시장치(107)는, ＣＲＴ나 액정화면으로 구성되고, ＣＰＵ(101)에 의한 처리 결과를 화상이나 문자로서 표시할 수 있다. 예를 들면, 화상입력장치(105)에 의해 본 컴퓨터에 입력된 각 프레임의 화상이나, 상기 화상에서의 물체 검지의 결과를 표시할 수 있다.

네트워크I/F(108)는, 본 컴퓨터를 ＬＡＮ이나 인터넷등의 네트워크에 접속하는데 사용된다. 본 컴퓨터는 이 네트워크I/F(108)를 거쳐 외부기기와의 데이터 통신을 행할 수 있다. 물론, 화상입력장치(105)가 본 컴퓨터에 입력하는 것으로서 설명한 각 프레임의 화상은, 외부의 기기로부터 스트리밍등의 기술에 의해서 송신되어도 된다. 이 경우, 각 프레임의 화상은 네트워크I/F(108)를 거쳐 본 컴퓨터에 입력된다. 상기의 모든 부들은, 버스(109)에 접속되어 있다.

그 밖의 실시예

또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims

영상입력부;
상기 영상입력부에서 취득한 화상을, 유사한 속성의 화소들을 각각 포함하는 복수의 영역으로 분할하는 영역분할부;
상기 영역분할부에서 분할한 각 영역으로부터 특징을 추출하는 특징추출부;
배경의 특징으로부터 생성된 배경 모델을 미리 기억하는 배경 모델 기억부; 및
상기 특징추출부에서 추출한 상기 특징과 상기 배경 모델에서의 특징을 비교하고, 상기 복수의 영역의 각각에 대해서 상기 영역이 배경인가 아닌가를 판정하는 특징비교부를 구비하는, 화상처리장치.
제 1 항에 있어서,
상기 속성은, 색과 휘도 중 적어도 하나를 포함하는, 화상처리장치.
제 1 항에 있어서,
상기 특징추출부에서 추출한 상기 특징은, 상기 영역의 형상특징을 포함하는, 화상처리장치.
제 3 항에 있어서,
상기 형상특징은, 상기 영역의 경계의 둘레길이에 대한 소정값 이상의 엣지 강도를 가지는 영역경계의 길이의 비율인, 화상처리장치.
제 3 항에 있어서,
상기 형상특징은, 상기 영역의 경계의 화소의 화소위치, 상기 영역내의 각 화소의 화소위치, 상기 영역내의 화소 수 및 상기 영역의 면적 중, 적어도 1개를 포함하는, 화상처리장치.
제 1 항에 있어서,
상기 배경 모델은, 상기 특징추출부에 의해 상기 배경의 영역으로부터 추출된 상기 특징의 시간적 통계량을 포함하는, 화상처리장치.
제 6 항에 있어서,
상기 영역으로부터 추출된 상기 특징이 시간의 관점에서 안정한 것을 나타내는 안정도를 산출하는 안정도 산출부를 더 구비하고,
상기 배경 모델의 상기 시간적 통계량은 상기 안정도를 포함하고,
상기 특징비교부는 상기 안정도에 의거하여 상기 영역이 물체영역인가 아닌가를 판정하는, 화상처리장치.
제 7 항에 있어서,
상기 특징비교부에서 비교하는 상기 배경 모델에서의 상기 영역을, 상기 영상입력부에서 취득한 상기 화상의 영역의 근방으로부터 상기 안정도에 의거하여 선택하는 선택부를 더 구비하는, 화상처리장치.
제 8 항에 있어서,
상기 선택부는, 상기 안정도에 의거하여 상기 취득한 화상의 영역의 상기 근방을 설정하는, 화상처리장치.
제 1 항에 있어서,
상기 특징비교부에 의한 판정의 결과에 의거하여 물체영역을 출력하는 출력부를 더 구비하는, 화상처리장치.
화상처리장치가 행하는 화상처리방법으로서,
취득한 화상을, 유사한 속성의 화소들을 각각 포함하는 복수의 영역으로 분할하는 영역분할단계;
상기 영역분할단계에서 분할된 각 영역으로부터 특징을 추출하는 특징추출단계; 및
상기 특징추출단계에서 추출된 상기 특징과 배경의 특징으로부터 생성된 배경 모델에서의 특징을 비교하고, 상기 복수의 영역의 각각에 대해서 상기 영역이 배경인가 아닌가를 판정하는 특징비교단계를 포함하는, 화상처리방법.
컴퓨터를 청구항 1의 화상처리장치의 각 부로서 기능시키기 위한 컴퓨터 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.