KR20180119484A

KR20180119484A - 이동체 검출장치, 이동체 검출장치의 제어방법, 컴퓨터 판독가능한 기억매체 및 프로그램

Info

Publication number: KR20180119484A
Application number: KR1020180041343A
Authority: KR
Inventors: 토모야 혼조
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-04-25
Filing date: 2018-04-10
Publication date: 2018-11-02
Also published as: US10769800B2; EP3396626B1; US20180308242A1; JP2018185635A; CN108734720A; JP6944272B2; EP3396626A1

Abstract

이동체 검출장치는, 촬상수단에 의해 촬상되는 촬상 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성부와, 배경 모델에 근거하여, 입력부를 사용하여 입력된 화상으로부터 이동체 영역을 검출하는 검출부와, 다른 시간에 촬상되고 입력부를 사용하여 입력된 제1 화상과 제2 화상에 대해 검출부가 검출한 이동체 영역의 변화량에 근거하여, 생성부에게 배경 모델을 신규로 생성시킬 것인지 아닌지를 판정하는 판정부를 구비한다.

Description

이동체 검출장치, 이동체 검출장치의 제어방법, 컴퓨터 판독가능한 기억매체 및 프로그램{MOVING OBJECT DETECTION APPARATUS, CONTROL METHOD FOR MOVING OBJECT DETECTION APPARATUS, COMPUTER-READABLE STORAGE MEDIUM, AND PROGRAM}

본 발명은, 이동체 검출장치, 이동체 검출장치의 제어방법, 컴퓨터 판독가능한 기억매체 및 프로그램에 관한 것이다.

최근, 감시 카메라에 의해 촬상된 화상을 사용해서 물체의 검출과 추미를 행하는 화상 해석, 그러한 화상 해석의 결과를 사용한 이벤트 해석 등의 처리가 행해지고 있다. 화상 해석에서 사용되는 한가지 이동체 검출 기술은 배경차분법이다. 배경차분법은, 이동체가 제외된 배경 화상으로부터 배경 모델을 작성하고, 그 배경 모델과 입력 화상의 차분으로부터 이동체 영역(전경 영역)을 검출하는 과정을 포함한다.

통상, 물체가 제거된 완전한 배경 화상을 1매의 입력 화상에서 얻는 것은 어렵고, 또한 환경의 변동에 의해 배경 화상도 변화한다. 그 때문에, 배경 모델을 순차 갱신함으로써, 배경 모델을 환경의 변화에 따르게 변경한다. 일본국 특허 제5391966호(이하, 문헌 1)에는, 조도 변화에 대응해서 배경 화상을 재작성할 때에, 이동체에 의해 차단되었기 때문에 배경을 작성할 수 없는 영역에 대하여, 조도 변화 전후의 휘도값을 사용해서 배경 모델을 추측하는 기술이 개시되어 있다.

그렇지만, 예를 들면, 주기적인 조도 변화가 있었을 경우에 있어서는, 조도 변화 전후의 배경 모델을 기억해 두고, 조도에 따라 기억한 배경 모델을 재이용하는 것이, 추측 처리를 생략할 수 있는 것에 의해 계산 코스트의 관점에서 유효하다. 즉, 문헌 1과 같이 배경 모델을 추측해서 계속해서 사용하는 과정을 포함하는 방법이 비효율적으로 되는 경우가 있다. 이것을 감안하여, 이동체 검출에 있어서는, 지금까지 사용하고 있었던 배경 모델의 재생성이 필요한지 아닌지, 또는, 기억된 배경 모델을 재이용할 수 있는지 아닌지를 신뢰할 수 있게 판단할 수 있도록 하는 기술이 요청된다.

본 발명의 일 실시형태에 따르면, 이동체 검출을 위한 배경 모델의 재생성 여부를 더욱 신뢰할 수 있게 판단할 수 있게 된다.

본 발명의 일면에 따르면, 촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성수단과, 상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출수단과, 다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출수단이 검출한 상기 이동체 영역의 변화량에 근거하여, 상기 생성수단에게 배경 모델을 신규로 생성시킬 것인지 아닌지를 판정하는 판정수단을 구비한 이동체 검출장치가 제공된다.

본 발명의 또 다른 일면에 따르면, 촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성 단계와, 상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출 단계와, 다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 상기 생성 단계에서의 신규의 배경 모델의 생성을 실행시킬 것인지 아닌지를 판정하는 판정 단계를 포함하는 이동체 검출장치의 제어방법이 제공된다.

더구나, 본 발명의 또 다른 일면에 따르면, 컴퓨터에, 촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성 단계와, 상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출 단계와, 다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 상기 생성 단계에서의 신규의 배경 모델의 생성을 실행시킬 것인지 아닌지를 판정하는 판정 단계를 포함하는 이동체 검출장치의 제어방법을 실행하게 하는 프로그램을 기억한 컴퓨터 판독가능한 기억매체가 제공된다.

본 발명의 또 다른 특징은 (첨부도면을 참조하여 주어지는) 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.

도 1은, 실시형태에 따른 이동체 검출 시스템의 구성 예를 나타낸 블록도다.
도 2는, 제1실시형태에 따른 이동체 검출장치가 행하는 처리의 흐름도다.
도 3a 내지 도 3d는, 이동체 검출의 처리 결과예를 도시한 도면이다.
도 4a 및 도 4b는, 제2실시형태에 따른 이동체 검출 시스템이 행하는 처리의 흐름도다.
도 5a 및 도 5b는 제3실시형태에 따른 이동체 검출 시스템이 행하는 처리의 흐름도다.

이하, 첨부된 도면을 참조하여, 본 발명의 실시형태에 대해 설명한다. 이때, 이하 설명하는 실시형태는, 본 발명을 구체적으로 실시한 경우의 일례를 나타낸 것으로, 청구범위에 기재한 구성의 일 실시예이다.

제1실시형태

제1실시형태에 따른 이동체 검출 시스템의 구성 예에 대해서, 도 1의 블럭도를 참조하여 설명한다. 이동체 검출 시스템은, 이동체 검출장치(100)와 카메라(101)를 가진다. 이동체 검출장치(100)는, 입력부(102), 제어부(103), 출력부(104), 기억부(105), 배경 모델 생성부(106), 이동체 검출부(107), 비교부(108)를 가진다. 이동체 검출장치(100)는, 카메라(101)에 의해 취득된 화상으로부터, 배경차분법을 사용하여 이동체를 검출하고, 그 검출 결과를 유저에게 제시한다. 이때, 배경차분법은 공지의 기술이기 때문에, 상세한 설명은 생략한다. 이때, 본 실시형태에서 설명하는 "이동체"는, 배경차분법을 사용하여 검출된 전경 영역을 가리키고, 이동가능한 물체로서 정의된다.

카메라(101)는, 설정되거나 제어된 자세에서 정지 화상 혹은 동화상을 촬상한다. 본실시형태에서는, 카메라(101)는 RGB 영상을 취득하는 모드(이하, RGB 모드로 한다)와, 적외 영상을 취득하는 모드(이하, 적외 모드로 한다)를 가지고 있는 것으로 한다. 카메라(101)는 촬상한 화상을 프레임 번호와 함께 출력한다.

이동체 검출장치(100)에 있어서, 입력부(102)는, 카메라(101)에 의해 촬상된 화상을 입력하는 카메라 I/F의 기능을 가진다. 또한, 입력부(102)는, 유저로부터의 코맨드(예를 들면, 카메라(101)에 대하여 RGB 모드/적외 모드의 전환 코맨드, 팬/틸트/줌의 설정값을 포함하는 위치 자세 제어 코맨드)를 받는다. 제어부(103)는, 미도시의 CPU 및 메모리를 포함하고, CPU가 메모리에 격납된 프로그램을 실행함으로써 이동체 검출장치(100)의 각 부를 제어한다. 예를 들면, 제어부(103)는, 입력부(102)에서 받은 코맨드를 기초로 카메라(101)의 제어를 행한다. 출력부(104)는, 표시장치(미도시)와 접속되고, 표시장치에 카메라(101)에서 촬상된 화상을 표시시키고, 이동체 검출 결과를 중첩하여 표시한다. 기억부(105)는, 예를 들면, 하드디스크로 구성되고, 각 부로부터 출력되는 정보(예를 들면, 카메라(101)에서 촬상된 화상이, 배경 모델 생성부(106)에서 생성된 배경 모델 등)를 보존한다.

배경 모델 생성부(106)는, 입력부(102)를 사용하여 입력된 화상의 배경 영역의 특징에 근거하여, 배경차분법에 의한 이동체 검출 처리에 필요하게 되는 배경 모델을 생성 및 갱신한다. 여기에서 배경 모델은, 카메라(101)에서 촬상되어, 입력부(102)를 거쳐 이동체 검출장치(100)에 입력된 촬상 화상(이하, 입력 화상이라고 한다)을 소정의 분할수로 블록들로 분할했을 때 얻어지는 블록마다의 화상 특징량이다. 본실시형태에서는, 블록마다의 화상 특징량으로서, 각 블록 내의 각 RGB 화소의 색 성분의 평균(이하, RGB 색 평균)을 사용한다.

또한, 배경 모델 생성부(106)는, 학습 기간 플래그를 유지하고 있다. 학습 기간 플래그의 초기값은 ON이다. 학습 기간 플래그가 ON인 동안, 배경 모델 생성부(106)는, 입력 화상이 이동체 영역을 갖지 않는 것으로 가정하여, 입력 화상으로부터 배경 모델을 신규로 생성한다. 구체적으로는, 복수의 입력 화상의 각 블록의 특징량의 평균값을 그 블록에 대응하는 배경 모델의 특징량으로서 보존한다. 즉, 신규로 배경 모델을 생성할 경우, 복수의 입력 화상으로부터 특징량을 수집할 필요가 있기 때문에, 특정한 학습 기간이 필요하게 된다.

소정 기간이 경과하면 학습 기간 플래그는 OFF로 변경된다. 학습 기간 플래그가 OFF일 때에는, 입력 화상의 배경으로 판정된 블록의 특징과 그 블록에 대응하는 배경 모델의 특징량의 평균을 계산하고, 그 계산 결과를 갱신후의 배경 모델의 특징량으로서 보존한다. 이렇게 해서, 배경 모델이 순차 갱신된다. 이상과 같이, 배경 모델 생성부(106)는, 학습 기간 플래그가 ON인 동안에는 배경 모델을 신규로 "생성"하고, 학습 기간 플래그가 OFF인 동안에는 배경 모델을 "갱신"한다. 일반적으로, 배경이 갱신된 후 오검지를 억제하는데 걸리는 시간과 비교하여, 배경 모델의 신규 생성한 후 이동체 검출을 행하는데 걸리는 필요한 시간이 짤게 설정된다. 이것은, 노이즈에 의한 오검지의 영향을 가능한 한 저감하는 동시에, 기동시에 가능한한 빨리 이동체 검지를 개시할 수 있도록 하기 위해서이다.

이동체 검출부(107)는, 배경 모델을 사용해서 입력 화상으로부터 이동체 영역을 검출한다. 이동체 검출부(107)는, 우선, 입력 화상을 소정의 분할수로 블록들로 분할하고, 각각의 블록 영역 내의 화소들의 RGB 색 평균을 특징량으로서 취득한다. 그리고, 이동체 검출부(107)는, 각 블록의 특징량과, 각 블록에 대응하는 배경 모델의 특징량의 차분을 계산한다. 이동체 검출부(107)는, 차분이 소정의 임계값을 넘지 않는 블록을 배경으로 판정하고, 차분이 임계값을 넘는 블록을 전경(이동체)으로 판정한다. 그리고, 이동체 검출부(107)는, 블록마다 배경/이동체를 지정하는 2값의 이동체 검출 결과를 출력한다.

비교부(108)는, 임의의 2개의 입력 화상의 이동체 검출 결과에 대해서, 화상 전체에 대한 이동체 영역의 면적의 비율을 산출하고, 이들 비율의 차분을 계산한다. 본 실시형태에서는, 하기의 식 (1)에 나타내는 식에 근거하여 차분을 계산한다. 이때, 하기의 식 (1)에 있어서, diff는 임의의 2개의 이동체 검출 결과의 이동체 영역의 면적의 비율들의 차분이고, Σn은 전체 블록수이고, Σf1 및 Σf2는 각각의 이동체 검출 결과에 있어서 이동체로 판정된 블록수다. 비교부(108)는, 산출된 이동체 영역의 면적의 비율의 차분을 임계값(본 실시형태에서는 고정값으로 한다)과 비교하여, 비교 결과(임계값 이상인지 또는 임계값 미만인지)를 출력한다.

이때, 이동체 검출장치(100)의 상기한 각 부는 서로 통신 가능하게 접속되어 있다. 또한, 배경 모델 생성부(106), 이동체 검출부(107) 및 비교부(108)는, 전용의 하드웨어에 의해 실현되거나, 그들의 기능 일부 혹은 모두가, 제어부(103)의 CPU가 메모리에 격납된 프로그램을 실행함으로써 실현되어도 된다.

다음에, 이동체 검출장치(100)가 행하는 처리에 대해서 도 2의 흐름도에 따라서 설명한다.

스텝 S201에 있어서, 제어부(103)는, 입력부(102)에서 입력된 코맨드에 따라서 카메라(101)의 파라미터를 변경한다. 예를 들면, 입력부(102)에 의해 RGB 모드로부터 적외 모드로의 변경 코맨드가 발행되었을 경우, 제어부(103)는 카메라(101)를 적외 모드로 변경한다. 파라미터의 변경의 지시가 없으면, 카메라(101)의 동작에 변경은 생기지 않는다. 스텝 S202에 있어서, 배경 모델 생성부(106)는, 학습 기간 플래그가 ON인지 아닌지를 판정한다. 학습 기간 플래그가 ON인 경우, 배경 작성 모드로 판정되어, 처리는 스텝 S203으로 이행한다. 한편, 학습 기간 플래그가 OFF인 경우, 처리는 스텝 S204로 이행한다.

스텝 S203에서는, 배경 모델 생성부(106)는 카메라(101)로부터 입력되는 입력 화상으로부터 배경 모델을 생성하고, 배경 모델을 기억부(105)에 보존한다. 또한, 배경 모델 생성부(106)는, 학습 기간 플래그가 ON인 상태에서 본 스텝이 최초로 실행된 후의 시간을 계측하고, 소정 기간(예를 들면, 10초)후, 학습 기간 플래그를 OFF로 설정하고, 배경 작성 모드를 종료한다. 상기한 소정 기간 중에는, 이동체 검출장치(100)는 이동체 검출을 행하지 않고, 입력 화상으로부터 배경 모델을 계속해서 작성한다.

스텝 S204에 있어서, 이동체 검출부(107)는, 카메라(101)로부터 프레임 번호와 함께 송신되는 입력 화상(도 3a)과, 기억부(105)에 보존되어 있는 배경 모델을 사용하여, 이동체 검출 처리를 행한다. 이동체 검출 결과는, 입력 화상의 프레임 번호와 함께 기억부(105)에 보존된다. 이 때의 처리 결과의 예를 도 3b에 나타낸다. 그후, 배경 모델 생성부(106)는 배경으로 판정된 블록에 관해 배경 모델의 갱신을 행한다.

스텝 S205에 있어서, 제어부(103)는, 스텝 S201에서 카메라(101)가 제어되었는지 아닌지, 즉 파라미터가 변경되었는지 아닌지 판정한다. 카메라(101)의 파라미터가 변경되었다고 판정되었을 경우, 처리는 스텝 S206으로 이행하고, 카메라(101)의 파라미터가 변경되지 않았다고 판정되었을 경우, 처리는 스텝 S209로 이행한다. 스텝 S206 내지 S208에서는, 다른 시간에 촬상된 제1 화상과 제2 화상에 대해 이동체 검출부(107)가 검출한 이동체 영역의 변화량이 산출되고, 산출된 변화량에 근거하여 신규로 배경 모델을 생성할 것인지 아닌지가 판정된다. 또한, 이 판정은, 입력부(102)로부터 파라미터의 변경이 입력된 것에 따라 실행된다(S205).

스텝 S206에 있어서, 비교부(108)는, 기억부(105)에 보존되어 있는 1 프레임 이전(이하, 이전 프레임)의 이동체 검출 결과와, 현재 처리되고 있는 프레임(이하, 현재 프레임)의 이동체 검출 결과의 이동체 영역들의 면적의 비율의 차분을 상기한 식 (1)에 따라서 계산한다. 예를 들면, 이전 프레임에서의 이동체 검출 결과(도 3b)의 이동체 영역의 면적이 0.03이고, 현재 프레임에서의 이동체 검출 결과(도 3c)의 이동체 영역의 면적이 0.1인 것으로 가정한다. 이 경우, 이동체 검출 결과의 이동체 영역의 차분은 도 3d에 도시된 것과 같아지고, 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분은 0.07이다.

스텝 S207에 있어서, 배경 모델 생성부(106)는, 스텝 S206에서 계산된 이동체 영역의 면적의 비율의 차분이 임계값 이상인지 아닌지를 판정한다. 차분이 임계값 이상이라고 판정되었을 경우에는 처리는 스텝 S208로 이행하고, 차분이 임계값 미만이라고 판정되었을 경우에는 처리는 스텝 S209로 이행한다.

스텝 S208에서는, 배경 모델 생성부(106)는, 기억부(105)의 배경 모델을 클리어하고(배경 모델의 리셋), 학습 기간 플래그를 ON으로 설정한다. 이 결과, 처리가 스텝 S201로 되돌아오면, 배경 모델 생성부(106)는, 배경 모델을 재생성한다. 이렇게 해서, 파라미터의 변경 전에 촬상된 제1 화상과 파라미터의 변경후에 촬상된 제2 화상에 있어서 검출된 이동체 영역의 변화량에 근거하여, 배경 모델의 생성을 행할 것인지 아닌지가 판정된다. 즉, 배경 모델 생성부(106)는, 카메라(101)의 파라미터가 변경되었고, 또한, 검출된 이동체 영역의 변화량이 임계값 이상인 경우에 배경 모델을 재생성하는 것으로 판정하여, 배경 모델을 신규로 생성한다. 새로운 배경 모델을 생성하는 것으로 판정되었을 경우(학습 기간 플래그가 ON으로 변경되면), 소정의 기간(학습 플래그가 ON인 기간) 동안에 입력되는 화상을 배경 화상으로서 사용해서 배경 모델을 생성한다.

스텝 S209에 있어서, 출력부(104)는, 스텝 S204에서 기억부(105)에 보존된 이동체 검출 결과를 입력 화상과 함께 출력한다. 예를 들면, 출력부(104)는, 표시장치에 입력 화상을 표시시키고, 이동체 검출 결과를 더 중첩하여 표시시킨다. 스텝 S210에 있어서, 입력부(102)가 유저로부터 종료 코맨드를 받은 경우에는, 제어부(103)는 본처리를 종료한다. 그 이외의 경우에는, 제어부(103)는 프레임 번호를 증분하고, 처리를 스텝 S201로 되돌린다.

변형예

상기한 실시형태에서는, 배경 모델을 생성할지 여부를 판정하기 위한 촬상 파라미터의 변경으로서 RGB 모드와 적외 모드 사이의 카메라 모드의 변경을 나타냈지만, 물론 본 발명이 이것에 한정되는 것은 아니다. 예를 들면, F값, 셔터 속도, ISO 감도, 노출, 포커스의 변경, HDR(하이 다이나믹 레인지) 모드 또는 필터의 전환 등, 화상의 변화를 일으킬 가능성이 있는 어떤 모드(파라미터)를 사용해도 된다. 또한, 자동 및 수동을 막론하고, 화이트 밸런스의 설정값이나 촬상 환경의 조도 변화에 따른 노출의 설정값 등의 카메라의 설정값의 변경을 대상으로 하는 것도 가능하다. 또한, 카메라의 팬/틸트/줌의 변경에 의한 화상의 변화를 대상으로 해도 된다.

또한, 상기한 실시형태에서는, 배경 모델은, 입력 화상 사이즈를 소정의 분할수로 블록들로 분할했을 때 얻어지는 블록마다 설정되는 정보로 주어졌지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, Superpixel 등 다른 소영역 분할 방법을 사용해도 되고, 물론 픽셀 단위로 설정되는 정보로서 배경 모델이 주어져도 된다. 또한, 격납되는 화상 특징량은 블록 내의 화소들의 RGB 색 평균으로 주어졌지만, 본 발명은 이것에 한정되는 것은 아니고, RGB의 색분산값 등의 다른 특징량을 사용해도 된다.

또한, 상기한 실시형태에서는, 임의의 2개의 프레임 화상의 이동체 영역의 면적의 비율의 차분의 계산식을 식 (1)과 같이 정의했지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 이동체로 판정된 블록들의 집합체를 포함하는 외접 사각형을 이동체 영역으로서 관리하고, 그 사각형 면적을 사용해서 이동체 영역의 면적의 비율의 차분을 계산하는 구성을 채용해도 된다.

또한, 상기한 실시형태에서는, 배경 모델을 재생성할 필요가 있는지 아닌지를 판단하기 위한, 이동체 영역의 면적의 비율의 차분과 비교되는 임계값이 고정으로 주어졌지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 아래와 같이, 이전 프레임의 상태에 따라 임계값이 변동해도 된다.

임계값=(이전 프레임의 이동체 영역의 비율)×x(%)

또한, 상기 실시형태에서는, 파라미터에 변경이 발생했을 경우에 배경 모델의 생성할 것인지 아닌지의 판정을 행하지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 소정의 시간 간격마다 배경 모델을 생성할 것인지 여부의 판정(S206 내지 S208)을 실행하는 구성을 채용해도 된다. 그 경우, 스텝 S206에서 실행되는 이동체 검출 영역의 차분의 계산에서는, 예를 들면, 스텝 S204에서 검출된 이동체 영역과 전회의 판정의 타이밍에서 검출된 이동체 영역의 차분이 계산된다.

제2실시형태

제2실시형태에서는, 카메라(101)의 모드에 따라 배경 모델을 세이브/로드하는 기능을 갖는 이동체 검출 시스템의 동작에 대해 설명한다. 이동체 검출 시스템 및 이동체 검출장치(100)의 구성은 제1실시형태(도 1)와 유사하다. 이하에서는, 제1 실시형태와의 차분에 대해 중점적으로 설명한다. 또한, 제2실시형태에서는, 설명을 간단하게 하기 위해서, 카메라(101)에 대한 제어(파라미터의 변경)는 RGB 모드와 적외 모드의 전환 만을 대상으로 한다.

다음에, 제2실시형태의 이동체 검출 시스템이 행하는 처리에 대해 도 4a 및 도 4b의 흐름도에 따라서 설명한다.

스텝 S401로부터 스텝 S405의 처리는, 제1실시형태(도 2)의 스텝 S201로부터 스텝 S205의 처리와 유사하다. 즉, 배경 모델 생성부(106)는, 학습 기간 플래그가 ON인 동안, 입력 화상으로부터 배경 모델을 생성한다(스텝 S401 내지 S403). 학습 기간 플래그가 OFF가 변경되면, 이동체 검출부(107)는 입력 화상으로부터 이동체 검출을 행하고(스텝 S404), 그 후에 카메라(101)의 모드가 전환되었는지 아닌지(파라미터가 변경되었는지 아닌지)를 판정한다(스텝 S405).

스텝 S406에서는, 비교부(108)는 기억부(105)에 현재 보존되어 있는 배경 모델을, 카메라(101)의 모드 전환 전의 모드(촬상의 파라미터)와 관련시켜 기억부(105)의 다른 영역(보존 영역)에 보존한다. 예를 들면, 카메라(101)의 모드가 RGB 모드로부터 적외 모드로 변경된 후 본 스텝이 실행되었을 경우, 비교부(108)는, 기억부(105)에 현재 보존되어 있는 배경 모델을 RGB 모드의 배경 모델로서 기억부(105)의 다른 영역에 보존한다. 이렇게 해서, 파라미터의 변경에 따라 현재 사용되고 있는 배경 모델이 변경 전의 파라미터와 관련시켜 보존된다.

스텝 S407 및 S408은, 각각 스텝 S206 및 S207과 유사하다. 즉, 비교부(108)가, 기억부(105)에 보존된 이전 프레임의 이동체 검출 결과와, 현재 프레임의 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분을 계산하고(스텝 S407), 계산 결과가 임계값 이상인지 아닌지를 판정한다(스텝 S408). 이 차분이 임계값 이상인 경우에는 처리는 스텝 S409로 이행하고, 임계값 미만인 경우에는 처리는 스텝 S415로 이행한다.

스텝 S409에 있어서, 비교부(108)는 파라미터 변경후의 모드와 관련된 배경 모델이 기억부(105)에 보존되어 있는지를 확인한다. 변경후의 모드와 관련된 배경 모델이 보존되어 있으면, 처리는 스텝 S410으로 이행하고, 보존되지 않고 있으면, 처리는 S414로 이행한다. 예를 들면, RGB 모드로부터 적외 모드로 전환된 후 본 스텝이 실행되었을 경우, 적외 모드와 관련된 배경 모델이 기억부(105)에 보존되어 있을 경우에, 처리는 스텝 S410으로 이행하고, 보존되지 않고 있을 경우에, 처리는 스텝 S414로 이행한다.

스텝 S410 및 S411에서는, 이동체 검출부(107)는, 변경후의 파라미터에 대응한 배경 모델을 기억부(105)의 보존 영역으로부터 취득하고, 입력 화상으로부터 이동체 영역을 검출한다. 즉, 스텝 S410에 있어서, 비교부(108)는 파라미터 변경후의 모드와 관련된 배경 모델을 기억부(105)로부터 판독하고, 현재 사용하고 있는 배경 모델을 치환한다. 스텝 S411에 있어서, 이동체 검출부(107)는, 카메라(101)로부터의 입력 화상과, 스텝 S410에서 사용되고 있었던 배경 모델을 치환한 배경 모델을 사용하여, 이동체 검출 처리를 행한다. 스텝 S412에 있어서, 비교부(108)는, 기억부(105)에 보존된 이전 프레임의 이동체 검출 결과와, 스텝 S411에서 얻어진 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분을 식 (1)에 따라서 계산한다.

스텝 S413 내지 S416의 처리는, 도 2에 있어서의 스텝 S207 내지 S210의 처리와 유사하다. 즉, 배경 모델 생성부(106)는, 스텝 S412에서 계산된 이동체 영역의 면적의 비율의 차분이 임계값 이상인 경우(스텝 S413에서 YES)에는, 배경 모델을 클리어하고, 학습 기간 플래그를 ON으로 설정한다(스텝 S414). 그후, 출력부(104)는, 이동체 검출 결과를 출력하고(스텝 S415), 제어부(103)는, 유저로부터의 코맨드에 따라서 처리를 종료할 것인지 판정한다(스텝 S416).

변형예

상기한 제2실시형태에서는, 변경전의 파라미터에 대응하는 배경 모델을 사용해서 입력 화상으로부터 이동체 검출부가 검출한 이동체 영역의 변화량이 임계값보다 작은 경우에는, 배경 모델이 계속해서 사용된다. 즉, 카메라의 모드(파라미터)가 변경된 것에 따라 이동체 검출을 행하고, 이동체 영역의 변화량이 임계값 이상인 경우에, 변경후의 모드에 대응하는 배경 모델에서 이동체 검출을 행하고, 배경 모델을 재생성할 것인지 아닌지를 판단한다. 그렇지만, 본 발명은 이것에 한정되는 것은 아니다. 모드 변경된 것이 검출된 경우에, 즉시 현재의 배경 모델을 세이브하고, 변경후의 모드에 대응하는 배경 모델을 로드한 후 이동체 검출을 행하고, 배경 모델을 재생성할 것인지 아닌지를 판단하도록 하는 구성을 채용해도 된다. 이 경우, 도 4a 및 도 4b의 흐름도에서는, 스텝 S404, S407 및 S408을 생략할 수 있고, S409에서 NO인 경우에 S414로 처리를 스킵할 수 있다.

또한, 상기한 제2실시형태에서는, 카메라(101)에 대한 제어는 RGB 모드와 적외 모드의 전환을 대상으로 하였지만, 본 발명은 이것에 한정되는 것은 아니다. 제1실시형태의 변형예와 마찬가지로, 화상의 변화를 일으킬 가능성이 있는 모든 모드가 적용가능하다. 예를 들면, 카메라의 팬/틸트/줌의 변경을 대상으로 하는 것도 가능하고, 이 경우, 카메라의 팬/틸트/줌에 대한 제어값에 따라 배경 모델을 보존하는 구성을 채용해도 된다.

제3실시형태

제3실시형태에서는, 복수매의 입력 화상을 사용해서 배경 모델을 재생성할 것인지 아닌지의 판단을 행한다. 이때, 제3실시형태의 이동체 검출 시스템 및 이동체 검출장치(100)의 구성은 제1실시형태(도 1)와 유사하다. 이하에서는, 1 및 제2 실시형태와의 차분에 대해 중점적으로 설명하고, 이하에서 특별히 언급하지 않는 한, 본 실시예는 제1 및 제2 실시형태와 유사한 것으로 가정한다.

제3실시형태에서는, 기억부(105)는, 판정 횟수 및 판정 기간 플래그를 유지한다. 판정 횟수는, 이전 프레임과 현재 프레임의 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분이 임계값 이상으로 된 횟수를 나타낸다. 판정 기간 플래그는, 이전 프레임과 현재 프레임의 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분이 임계값 이상인가 아닌지를 판정하는 기간 중에 ON이고, 이 판정이 행해지지 않는 기간 중에 OFF인 플래그다. 이에 따라, 예를 들면, 파라미터가 변경된 후부터 10번째 프레임까지의 기간 동안, 이전 프레임과 현재 프레임으로부터 검출된 이동체 영역의 면적의 비율의 차분이 임계값 이상인 것으로 판정된 횟수가 4를 초과하면 배경 모델을 신규로 생성한다"고 하는 조건을 설정할 수 있다. 이 경우, 파라미터의 변경이 발생한 단계에서 판정 기간 플래그는 ON이 변경된다. 판정 횟수가 4에 이르지 않은 채 10번째 프레임이 도달하거나, 또는 10번째 프레임 이전에 판정 횟수가 4에 도달하는 경우에, 판정 기간 플래그는 OFF로 변경된다.

다음에, 제3실시형태의 이동체 검출장치(100)가 행하는 처리에 대해서, 도 5a 및 도 5b의 흐름도에 따라서 설명한다.

스텝 S501 내지 S504의 처리는, 제1실시형태(도 2)의 스텝 S201 내지 S204의 처리와 유사하다. 즉, 배경 모델 생성부(106)는, 학습 기간 플래그가 ON인 동안, 입력 화상으로부터 배경 모델을 생성한다(스텝 S501 내지 S503). 학습 기간 플래그가 OFF로 변경되면, 이동체 검출부(107)는 입력 화상으로부터 이동체 검출을 행한다(스텝 S504).

스텝 S505에 있어서, 제어부(103)는, 카메라(101)가 제어되었는지 아닌지(파라미터가 변경되었는지 아닌지) 또는 판정 기간 플래그가 ON인지 아닌지를 판단한다. 카메라(101)가 제어되거나 혹은 판정 기간 플래그가 ON인 경우에는, 처리는 스텝 S506으로 이행하고, 카메라(101)가 제어되지 않고 또한 판정 기간 플래그가 OFF인 경우에는, 처리는 스텝 S512로 이행한다.

스텝 S506의 처리는 스텝 S206과 유사하다. 즉, 비교부(108)가 기억부(105)에 보존된 이전 프레임의 이동체 검출 결과와, 현재 프레임의 이동체 검출 결과의 이동체 영역의 면적의 비율의 차분을 계산한다. 이때, 이전 프레임의 이동체 검출 결과에는, 파라미터 변경전의 화상으로부터 검출된 이동체 영역의 비율이 사용된다. 즉, 스텝 S506에서는, 파라미터 변경후의 최신의 프레임의 이동체 검출 결과와, 파라미터 변경의 직전의 프레임의 이동체 검출 결과가 사용되고, 이동체 영역의 면적의 비율의 차분이 계산된다. 환언하면, 파라미터의 변경후의 소정의 기간 내(판정 기간 플래그가 ON인 기간)에, 파라미터 변경후에 얻어지는 복수의 화상 중에서, 이동체 영역의 비율의 변화량이 임계값 이상인 화상의 수에 근거해서 새로운 배경 모델을 생성할 것인지 아닌지가 판정된다. 스텝 S506에서 계산된 이동체 영역의 면적의 비율의 차분이 임계값 이상인 경우에는, 처리는 스텝 S507로부터 스텝 S507a로 이행한다. 또한, 스텝 S506에서 계산된 이동체 영역의 면적의 비율의 차분이 임계값 미만인 경우에는, 처리는 스텝 S507로부터 스텝 S511로 이행한다. 스텝 S507a에서는, 판정 기간 플래그가 OFF인 경우에, 제어부(103)는, 판정 기간 플래그를 ON으로 설정하고, 그 때의 프레임 번호를 기억부(105)에 보존한다. 그후, 처리는 스텝 S508로 진행한다.

배경 모델 생성부(106)는, 스텝 S508에 있어서 판정 횟수를 증분하고, 스텝 S509에 있어서 판정 횟수가 임계값을 초과했는지를 판정한다. 판정 횟수가 임계값을 초과하고 있다고 판정되었을 경우, 처리는 스텝 S510으로 이행하고, 판정 횟수가 임계값을 초과하지 않고 있다고 판정되었을 경우, 처리는 스텝 S511로 이행한다. 스텝 S510에서는, 스텝 S208과 마찬가지로, 배경 모델 생성부(106)는 현재의 배경 모델을 클리어한다. 또한, 제어부(103)는, 판정 기간 플래그를 OFF로 설정한다.

스텝 S511에 있어서, 제어부(103)는, 판정 기간 플래그의 갱신을 행한다. 스텝 S511의 실행시에 판정 기간 플래그가 ON인 경우, 판정 기간 플래그가 ON으로 변경되었을 때부터의 처리된 프레임 수(차분 발생 횟수)를 계산하여, 처리된 프레임 수가 일정 수를 초과하면, 차분 발생 카운트 플래그를 OFF로 설정하고, 판정 횟수를 0으로 설정한다. 스텝 S511의 실행시에 차분 발생 카운트 플래그가 OFF인 경우에는 어떤 처리도 행하지 않는다.

스텝 S512 및 S513은, 도 2에 있어서의 스텝 S209 및 S210과 유사하다. 즉, 이동체 검출 결과를 출력하고, 유저로부터의 코맨드에 따라서 처리를 종료할 것인지의 판정을 행한다. 이상과 같이, 제3실시형태에서는, 파라미터의 변경후의 소정의 기간(판정 기간 플래그가 ON인 기간) 내에 입력된 화상들 중에서, 이동체 영역의 변화량이 임계값 이상인 화상의 수(판정 횟수)에 근거하여, 새로운 배경 모델을 생성할 것인지 아닌지가 판정된다.

이상과 같이, 상기 실시형태에 따르면, 이동체 영역의 변화량에 근거하여 지금까지 사용하고 있었던 배경 모델이 유효한지 아닌지를 판단한다. 유효로 판단했을 경우에는 배경 모델이 재이용되고, 무효로 판단했을 경우에 배경 모델이 재생성된다. 따라서, 신규의 배경 모델을 생성하는 빈도가 감소하여, 배경 모델 생성을 위한 학습 기간을 저감하는 것이 가능해진다.

(기타 실시형태)

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성수단과,
상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출수단과,
다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출수단이 검출한 상기 이동체 영역의 변화량에 근거하여, 상기 생성수단에게 배경 모델을 신규로 생성시킬 것인지 아닌지를 판정하는 판정수단을 구비한 이동체 검출장치.
제 1항에 있어서,
촬상 파라미터를 설정하기 위한 입력수단을 더 구비하고,
상기 판정수단은, 상기 입력수단을 거쳐 상기 촬상 파라미터가 설정되기 전에 촬상되는 상기 제1 화상과, 상기 촬상 파라미터가 설정된 후에 촬상되는 상기 제2 화상에 대해 상기 검출수단이 검출한 상기 이동체 영역의 변화량에 근거하여, 배경 모델을 새롭게 생성할 것인지 아닌지의 판정을 실행하는 이동체 검출장치.
제 2항에 있어서,
배경 모델을 상기 촬상 파라미터와 관련시켜 보존하는 보존수단을 더 구비하고,
상기 검출수단은, 변경후의 파라미터에 대응한 배경 모델을 상기 보존수단으로부터 취득하고, 상기 제2 화상으로부터 이동체 영역을 검출하는 이동체 검출장치.
제 3항에 있어서,
상기 보존수단은, 상기 촬상 파라미터의 변경에 따라, 현재 사용되고 있는 배경 모델을 변경전의 파라미터와 관련시켜 보존하는 이동체 검출장치.
제 3항 또는 제 4항에 있어서,
상기 판정수단은, 상기 검출수단이 변경전의 상기 촬상 파라미터에 대응하는 배경 모델을 사용해서 상기 제1 화상과 상기 제2 화상에 대해 검출한 상기 이동체 영역의 변화량이 임계값보다 작은 경우에, 상기 검출수단에게 해당 배경 모델을 계속해서 사용하게 하는 이동체 검출장치.
제 1항 내지 제 4항 중 어느 한 항에 있어서,
상기 판정수단은, 상기 변화량이 임계값 이상인 경우에, 상기 생성수단에게 새로운 배경 모델을 생성시키는 것으로 판정하는 이동체 검출장치.
제 6항에 있어서,
상기 판정수단이 사용하는 상기 임계값은 미리 정해진 고정값인 이동체 검출장치.
제 6항에 있어서,
상기 제1 화상은 상기 제2 화상 이전에 촬상된 화상이고, 상기 판정수단이 사용하는 상기 임계값은, 상기 제1 화상에 있어서의 이동체 영역의 비율에 근거하여 설정되는 이동체 검출장치.
제 2항에 있어서,
상기 판정수단은, 파라미터의 변경후의 소정의 기간 내에 상기 제2 화상으로서 얻어지는 복수의 화상 중에서, 상기 변화량이 임계값 이상인 화상들의 수에 근거하여, 상기 생성수단에게 새로운 배경 모델을 생성시킬 것인지 아닌지를 판정하는 이동체 검출장치.
제 9항에 있어서,
상기 판정수단은, 상기 화상들의 수가 임계값 이상인 경우에, 상기 생성수단에게 새로운 배경 모델을 생성시키는 것으로 판정하는 이동체 검출장치.
제 1항, 제 2항, 제 3항, 제 4항, 제 9항 또는 제 10항 중 어느 한 항에 있어서,
상기 판정수단에 의해 새로운 배경 모델을 생성하는 것으로 판정되었을 경우, 상기 생성수단은, 소정의 기간 중에 입력되는 화상을 배경 화상으로서 사용해서 배경 모델을 생성하는 이동체 검출장치.
제 2항에 있어서,
상기 촬상 파라미터는, RGB 모드, 적외 모드, F값, 셔터 속도, ISO 감도, 노출, 포커스의 변경, 하이 다이나믹 레인지 모드 및 필터의 전환 중 적어도 한 개를 포함하는 이동체 검출장치.
촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성 단계와,
상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출 단계와,
다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 상기 생성 단계에서의 신규의 배경 모델의 생성을 실행시킬 것인지 아닌지를 판정하는 판정 단계를 포함하는 이동체 검출장치의 제어방법.
제 13항에 있어서,
촬상 파라미터를 설정하기 위한 입력 단계를 더 포함하고,
상기 판정 단계에서는, 상기 촬상 파라미터가 상기 입력 단계에서 설정되기 전에 촬상되는 상기 제1 화상과, 상기 촬상 파라미터가 설정된 후에 촬상되는 상기 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 배경 모델을 새롭게 생성할 것인지 아닌지의 판정을 실행하는 이동체 검출장치의 제어방법.
컴퓨터에,
촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성 단계와,
상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출 단계와,
다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 상기 생성 단계에서의 신규의 배경 모델의 생성을 실행시킬 것인지 아닌지를 판정하는 판정 단계를 포함하는 이동체 검출장치의 제어방법을 실행하게 하는 프로그램을 기억한 컴퓨터 판독가능한 기억매체.
컴퓨터에,
촬상수단에 의해 촬상되는 화상의 배경 영역의 특징에 근거하여 배경 모델을 생성하는 생성 단계와,
상기 배경 모델에 근거하여 화상으로부터 이동체 영역을 검출하는 검출 단계와,
다른 시간에 촬상된 제1 화상과 제2 화상에 대해 상기 검출 단계에서 검출된 상기 이동체 영역의 변화량에 근거하여, 상기 생성 단계에서의 신규의 배경 모델의 생성을 실행시킬 것인지 아닌지를 판정하는 판정 단계를 포함하는 이동체 검출장치의 제어방법을 실행하게 하는, 컴퓨터 판독가능한 기억매체에 기억된 프로그램.