KR20130063451A

KR20130063451A - 물체 검출 장치, 감시 카메라 및 물체 검출 방법

Info

Publication number: KR20130063451A
Application number: KR1020120105944A
Authority: KR
Inventors: 요시오 와다
Original assignee: 삼성테크윈 주식회사
Priority date: 2011-12-06
Filing date: 2012-09-24
Publication date: 2013-06-14
Also published as: JP2013120412A; KR101733668B1; JP5891022B2

Abstract

물체 검출 장치가 개시된다. 이 장치는 영상을 이진화하는 이진화 부; 상기 영상의 밝기에 따라 그 영상의 이진화에 이용하는 문턱값을 산출하는 문턱값 산출 부; 배경 영상을 상기 문턱값 산출 부에 입력하여 제1 문턱값을 산출하고, 상기 배경 영상 및 상기 제1 문턱값을 상기 이진화 부에 입력하여 그 배경 영상을 이진화하는 배경 이진화 부; 대상 영상을 상기 문턱값 산출 부에 입력하여 제2 문턱값을 산출하고, 상기 대상 영상 및 상기 제2 문턱값을 상기 이진화 부에 입력하여 그 대상 영상을 이진화하는 대상 이진화 부; 및 상기 배경 영상을 이진화하여 얻어진 배경 이진화 영상과 상기 대상 영상을 이진화하여 얻어진 대상 이진화 영상의 차분으로부터 물체를 검출하는 물체 검출 부를 구비한다.

Description

물체 검출 장치, 감시 카메라 및 물체 검출 방법{Object detection apparatus, surveillance camera, and object detection method}

본 발명은 물체 검출 장치, 감시 카메라 및 물체 검출 방법에 관한 것이다.

최근 촬영 영상으로부터 물체를 검출하는 기술(이하, 물체 검출)이 주목받고 있다. 이 기술은, 예를 들면 감시 카메라로 촬영된 영상으로부터 침입자나 불심자 등을 검출할 때에 이용된다. 물체 검출을 실현하는 방법으로서는, 예를 들면 배경 차분법, LBP(Local Binary Pattern) 방법, 증분 부호 상관 방법 및 RRC(Radial Reach Correlation) 방법 등이 알려져 있다.

배경 차분 방법은 배경이 되는 영상을 준비하고, 입력 영상과 배경 영상의 차이로부터 배경 영상에 없는 물체를 검출하는 방법이다(예를 들면, 하기의 특허문헌 1을 참조). 단, 배경 차분법은 휘도(조명)의 변화가 있는 경우에 올바르게 물체를 검출하기가 어려워지는 약점이 있다. 조명 변동에 강한 방법으로서는 증분 부호 상관법이 있다. 증분 부호 상관 방법은 영상을 이진화하여 휘도 성분을 삭제하고, 이진화한 영상의 비교에 의해 물체를 검출하는 방법이다. 단, 증분 부호 상관 방법은 휘도 성분을 고려하지 않기 때문에, 저조도의 잡음이 많은 경우에 오판이 생기기 쉬운 약점이 있다.

증분 부호 상관 방법의 약점을 극복하기 위해 RRC(Radial Reach Correlation) 방법이 고안되었다. RRC 방법은 어떤 착안점으로부터 방사형상(8방향)으로 소정의 문턱값 이상의 명도 차이를 갖는 점인 도달(Reach)점을 탐색하고, 탐색의 결과로서 얻어진 8 세트의 도달(Reach)점 쌍에 기초하여 물체를 검출하는 방법이다. 단, RRC 방법에서는 명도 차이의 문턱값이나 물체 판별용 문턱값은 경험적으로 결정된다. 그러나, 촬영 환경 등에 따라 영상에 따른 잡음의 양이나 성질 등이 다르기 때문에, 경험칙으로 결정된 문턱값이 반드시 적절하지 않은 경우가 있다. 그 때문에, 영상에 따라 적절한 문턱값을 결정하는 방법에 대해 검토가 행해졌다.

그러한 방법의 하나로서 문턱값을 통계적으로 결정하는 SRF(통계적 도달 특징) 방법이 제안되어 있다. SRF 방법은 명도가 다른 다수의 배경 영상을 준비하고, 배경 영상에 대한 통계 처리의 결과에 기초하여 문턱값을 결정한다는 것이다. SRF 방법을 적용하면 잡음 특성의 변화에 대해 강건한 물체 검출이 가능하게 되지만, 많은 배경 영상을 준비해야 하는 문제점이 있다. 많은 배경 영상을 준비하는 데는, 배경 영상을 유지하기 위해 대용량의 메모리가 필요하게 되는 데다가 배경 영상의 처리에 필요로 하는 연산 부하도 매우 커져 버린다.

일본 등록 특허 제3831232호 (발명의 명칭 : 영상 처리 방법)

상기와 같은 이유로부터, 가능한 한 적은 배경 영상(가능하면 1 장 정도의 배경 영상)을 이용하여 적은 연산 부하 및 적은 메모리량으로 정밀도 높게 물체 검출하는 구조의 실현이 요구되고 있다. 예를 들면, 상기 RRC법과 같은 도달(Reach)점 쌍의 탐색을 필요로 하지 않고, 또한 라인 메모리를 필요로 하지 않고 물체 검출할 수 있는 방법이 바람직하다. 라인 메모리를 설치하지 않고 끝나면 회로 규모를 작게 하는 것이 가능하게 되고, 장치의 소형화나 비용 저감에 기여한다. 또한, 피사체의 휘도 변화에 대해 강인한 물체 검출 기술의 개발이 요구되고 있다.

그래서, 본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적으로 하는 바는, 조명 변동에 강하고 고속 동작이 가능한 신규이면서 개량된 물체 검출 장치, 감시 카메라 및 물체 검출 방법을 제공하는 것에 있다. 또한, 회로 규모의 저감이 가능한 물체 검출 장치, 감시 카메라 및 물체 검출 방법을 제공하는 것에 있다.

상기 과제를 해결하기 위해, 본 발명의 일 측면에 의하면,

영상을 이진화하는 이진화 부;

상기 영상의 밝기에 따라 그 영상의 이진화에 이용하는 문턱값을 산출하는 문턱값 산출 부;

배경 영상을 상기 문턱값 산출 부에 입력하여 제1 문턱값을 산출하고, 상기 배경 영상 및 상기 제1 문턱값을 상기 이진화 부에 입력하여 그 배경 영상을 이진화하는 배경 이진화 부;

대상 영상을 상기 문턱값 산출 부에 입력하여 제2 문턱값을 산출하고, 상기 대상 영상 및 상기 제2 문턱값을 상기 이진화 부에 입력하여 그 대상 영상을 이진화하는 대상 이진화 부; 및

상기 배경 영상을 이진화하여 얻어진 배경 이진화 영상과 상기 대상 영상을 이진화하여 얻어진 대상 이진화 영상의 차분으로부터 물체를 검출하는 물체 검출 부를 구비하는 물체 검출 장치가 제공된다.

이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다. 또한, 낮은 연산 부하, 적은 메모리량, 작은 회로 규모로 고속으로 물체 검출이 가능하게 된다.

또한, 상기 문턱값 산출 부는, 상기 영상이 밝을수록 상기 문턱값을 크게 하고 상기 영상이 어두울수록 상기 문턱값을 적게 하도록 구성되어 있어도 된다. 이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 문턱값 산출 부은 상기 영상을 구성하는 화소에 대해 휘도값의 히스토그램을 생성하고, 그 히스토그램에 기초하여 상기 문턱값을 산출하도록 구성되어 있어도 된다. 이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 문턱값 산출 부는, 상기 히스토그램의 피크에 대응하는 휘도값을 상기 문턱값으로 하도록 구성되어 있어도 된다. 이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 문턱값 산출 부는, 상기 영상을 구성하는 화소의 휘도값에 대해 그 휘도값의 분포 경향을 나타내는 통계값에 기초하여 상기 문턱값을 산출하도록 구성되어 있어도 된다. 이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 문턱값 산출 부는, 상기 휘도값의 평균값 또는 중앙값을 상기 문턱값으로 하도록 구성되어 있어도 된다. 이러한 구성에 의해, 피사체의 휘도가 변화해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 이진화 부는, 상기 문턱값에 대응하는 휘도값이 상기 영상에서의 휘도 분포의 중심이 되도록 상기 영상의 게인(gain)을 상승시키는 게인(gain) 조정 부; 상기 영상을 구성하는 화소 중에서 상기 게인(gain) 조정 부에 의한 게인(gain)을 상승시킨 후에 휘도값이 소정값을 넘는 화소의 휘도값을 상기 소정값으로 설정하는 클립(clip) 부; 상기 게인(gain) 조정 부 및 상기 클립(clip) 부에 의한 처리 후의 상기 영상을 이진화하는 이진화 처리 부;를 포함하는 것이어도 된다.

이러한 구성에 의해, 보다 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 영상을 구성하는 각 화소는 소정의 주사 순서를 따라 연속하여 독출되도록 구성되어 있어도 된다. 이 경우, 상기 이진화 부는, 자연수 m이 1 내지 M의 자연수를 포함할 경우, 판정 대상이 되는 상기 화소 X의 휘도값과 그 판정 대상이 되는 화소 X보다 m 단계 전에 독출된 상기 화소 Xm의 휘도값의 차분이 상기 문턱값보다 큰지를 판정하고, 그 차분이 상기 문턱값보다 커지는 횟수를 계수하는 판정 부; 상기 제1 판정 부에 의해 계수된 횟수가 소정값보다도 큰 경우에 상기 판정 대상이 되는 화소 X의 휘도값을 제1 값으로 설정하고, 그 횟수가 상기 소정값보다도 작은 경우에 상기 판정 대상이 되는 화소 X의 휘도값을 제2 값으로 설정하는 이진 설정 부;를 포함한다.

이러한 구성에 의해, 적은 메모리량으로 보다 정밀도 높게 물체를 검출하는 것이 가능하게 된다.

또한, 상기 과제를 해결하기 위해, 본 발명의 다른 측면에 의하면, 상기 물체 검출 장치; 상기 배경 영상 및 상기 대상 영상을 촬영하는 촬영 부; 상기 물체 검출 부에 의한 검출 결과를 감시자에게 통지하는 통지 부;를 구비하는 감시 카메라가 제공된다.

이러한 구성에 의해, 피사체의 휘도가 변해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다. 또한, 낮은 연산 부하, 적은 메모리량, 작은 회로 규모로 고속으로 물체 검출이 가능하게 된다.

또한, 상기 과제를 해결하기 위해, 본 발명의 다른 측면에 의하면,

영상을 이진화하는 이진화 부과 영상의 밝기에 따라 그 영상의 이진화에 이용하는 문턱값을 산출하는 문턱값 산출 부을 갖는 물체 검출 장치가 배경 영상을 상기 문턱값 산출 부에 입력하여 제1 문턱값을 산출하고, 상기 배경 영상 및 상기 제1 문턱값을 상기 이진화 부에 입력하여 그 배경 영상을 이진화하는 배경 이진화 단계;

대상 영상을 상기 문턱값 산출 부에 입력하여 제2 문턱값을 산출하고, 상기 대상 영상 및 상기 제2 문턱값을 상기 이진화 부에 입력하여 그 대상 영상을 이진화하는 대상 이진화 단계; 및

상기 배경 영상을 이진화하여 얻어진 배경 이진화 영상과 상기 대상 영상을 이진화하여 얻어진 대상 이진화 영상의 차분으로부터 물체를 검출하는 물체 검출 단계;를 포함하는 물체 검출 방법이 제공된다.

본 발명의 상기 실시예들에 의하면, 조명 변동에 강하고 고속 동작이 가능한 물체 검출 기술이 실현될 수 있다. 또한, 실장 시에 회로 규모의 저감이 가능하다.

도 1은 본 발명의 일 실시 형태의 물체 검출 장치의 구성을 설명하기 위한 도면이다.
도 2는 도 1의 실시 형태에서 배경 영상에 대한 이진화 문턱값의 생성 방법을 설명하기 위한 도면이다.
도 3은 도 1의 실시 형태에서 입력 영상에 대한 이진화 문턱값의 생성 방법을 설명하기 위한 도면이다.
도 4는 도 1의 실시 형태의 제1 변형 예의 물체 검출 장치의 구성을 설명하기 위한 도면이다.
도 5는 도 1의 실시 형태의 제2 변형 예의 물체 검출 장치의 구성을 설명하기 위한 도면이다.
도 6 및 7은 도 1의 실시 형태에서의 히스토그램 작성 부의 회로 구성을 설명하기 위한 도면들이다.
도 8은 도 1의 실시 형태의 물체 검출 장치들에 의하여 얻어지는 효과를 설명하기 위한 도면이다.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

[설명의 흐름에 대해서]

여기에서, 이하에 기재하는 본 발명의 실시형태에 관한 설명의 흐름에 대해 간단히 서술한다. 우선, 도 1 내지 도 3을 참조하면서 본 발명의 일 실시 형태에 관한 물체 검출 장치(100)의 구성에 대해 설명한다. 다음에, 도 4를 참조하면서 동 실시형태의 제1 변형 예에 관한 물체 검출 장치(100)의 구성에 대해 설명한다. 다음에, 도 5를 참조하면서 도 1의 실시 형태의 제2 변형 예에 관한 물체 검출 장치(200)의 구성에 대해 설명한다. 다음에, 도 6 및 도 7을 참조하면서 도 1의 실시 형태에 관한 히스토그램 작성 부(101, 201)의 회로 구성 예에 대해 설명한다. 마지막으로, 도 8을 참조하면서 도 1의 실시 형태에 관한 기술을 적용한 경우에 얻어지는 효과에 대해 서술한다.

<1: 기본 구성>

본 발명의 일실시형태에 관한 물체 검출 기술에 대해 설명한다. 여기에서는 그 물체 검출 기술을 실장한 물체 검출 장치(100)의 기본 구성에 대해 설명한다.

[1-1: 전체 구성]

우선, 도 1을 참조하면서 본 실시형태에 관한 물체 검출 장치(100)의 전체 구성에 대해 설명한다. 도 1은 본 실시 형태에 관한 물체 검출 장치(100)의 전체 구성에 대해 설명하기 위한 설명도이다.

도 1에 도시된 바와 같이, 물체 검출 장치(100)는 주로 히스토그램 작성 부(101), 문턱값 및 게인(gain) 갱신 부(102), 이진화 부(103), 저장 부(104)을 가진다. 또, 물체 검출 장치(100)는 히스토그램 작성 부(105), 문턱값 및 게인(gain) 갱신 부(106), 이진화 부(107), 차분 산출 부(108)을 가진다.

또한, 물체 검출 장치(100)는 피사체를 촬영하고, 촬영 영상으로부터 각 화소의 휘도값을 나타내는 휘도 신호를 생성하는 촬영 부(도시되지 않음)를 더 가지고 있어도 된다. 또한, 물체 검출 장치(100)는 물체 검출용 영상으로부터 침입자나 불심자 또는 자동차나 자전거 등의 물체를 검출하는 해석 부(도시되지 않음)를 더 가지고 있어도 된다. 또한, 물체 검출 장치(100)는 그 촬영 부 및/또는 해석 부를 갖는 외부 기기와 유선 또는 무선의 전기 통신 회선을 개재하여 접속되어 있어도 되고, 케이블 등으로 직접적으로 접속되어 있어도 된다.

다만, 여기에서는 물체 검출 장치(100)에 대해 외부로부터 휘도 신호가 입력되는 것으로 하고, 물체 검출 장치(100)에 의해 생성된 물체 검출용 영상은 외부로 출력되는 것으로서 설명을 진행한다.

(배경 영상의 처리에 관한 구성 요소에 대해)

우선, 물체 검출 장치(100)에는 배경 영상의 휘도 신호(이하, 배경 휘도 신호(P1))가 입력된다. 물체 검출 장치(100)에 입력된 배경 휘도 신호(P1)는 히스토그램 작성 부(101) 및 이진화 부(103)에 입력된다. 배경 휘도 신호(P1)가 입력되면, 히스토그램 작성 부(101)은 배경 휘도 신호(P1)로부터 휘도값의 횟수 분포를 계산하고, 배경 휘도 신호(P1)의 히스토그램을 작성한다. 히스토그램 작성 부(101)의 회로 구성 예에 대해서는 후단에서 상술한다.

히스토그램 작성 부(101)에 의해 작성된 히스토그램의 정보는 문턱값 및 게인(gain) 갱신 부(102)에 입력된다.

히스토그램의 정보가 입력되면, 문턱값 및 게인(gain) 갱신 부(102)는 그 히스토그램에 기초하여 배경 휘도 신호(P1)의 이진화에 이용하는 문턱값(S_A) 및 게인(gain) 조정값(G_A)(G_A는 자연수)을 산출한다. 문턱값 및 게인(gain) 갱신 부(102)에 의해 산출된 문턱값(S_A) 및 게인(gain) 조정값(G_A)은 이진화 부(103)에 입력된다. 문턱값(S_A)은 예를 들면 히스토그램의 피크, 평균값, 중앙값 또는 분산값 등 휘도값의 분포 경향을 나타내는 통계치에 기초하여 결정된다.

상기와 같이, 이진화 부(103)에는 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력된다. 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력되면, 이진화 부(103)는 도 2에 도시된 바와 같은 처리 순서로 배경 휘도 신호(P1)를 이진화하고, 각 화소에 대응하는 출력값(A)(이하, 이진화 후 배경 화소값(A)이라 함)을 출력한다. 이진화 부(103)에 의한 처리의 내용에 대해서는 후단에서 상술한다. 이진화 부(103)로부터 출력된 이진화 후 배경 화소값(A)은 저장 부(104)에 저장된다. 그리고, 저장 부(104)에 저장된 이진화 후 배경 화소값(A)은 필요에 따라 차분 산출 부(108)에 의해 읽혀진다.

(입력 영상의 처리에 관한 구성 요소에 대해)

다음에, 물체 검출 장치(100)에는 물체 검출의 대상이 되는 입력 영상의 휘도 신호(이하, 입력 휘도 신호(P2))가 입력된다. 물체 검출 장치(100)에 입력된 입력 휘도 신호(P2)는 히스토그램 작성 부(105) 및 이진화 부(107)에 입력된다. 입력 휘도 신호(P2)가 입력되면, 히스토그램 작성 부(105)은 입력 휘도 신호(P2)로부터 휘도값의 횟수 분포를 계산하고, 입력 휘도 신호(P2)의 히스토그램을 작성한다. 히스토그램 작성 부(105)의 회로 구성예에 대해서는 후단에서 상술한다.

히스토그램 작성 부(105)에 의해 작성된 히스토그램의 정보는 문턱값 및 게인(gain) 갱신 부(106)에 입력된다. 히스토그램의 정보가 입력되면, 문턱값 및 게인(gain) 갱신 부(106)은 그 히스토그램에 기초하여 입력 휘도 신호(P2)의 이진화에 이용하는 문턱값(S_B) 및 게인(gain) 조정값(G_B)(G_B는 자연수)을 산출한다. 문턱값 및 게인(gain) 갱신 부(106)에 의해 산출된 문턱값(S_B) 및 게인(gain) 조정값(G_B)은 이진화 부(107)에 입력된다. 문턱값(S_B)은 예를 들면 히스토그램의 피크, 평균값, 중앙값 또는 분산값 등 휘도값의 분포 경향을 나타내는 통계치에 기초하여 결정된다.

상기와 같이, 이진화 부(107)에는 입력 휘도 신호(P2), 문턱값(S_B) 및 게인(gain) 조정값(G_B)이 입력된다. 입력 휘도 신호(P2), 문턱값(S_B) 및 게인(gain) 조정값(G_B)이 입력되면, 이진화 부(107)는 도 3에 도시된 바와 같은 처리 순서로 입력 휘도 신호(P2)를 이진화하고, 각 화소에 대응하는 출력값(B)(이하, 이진화 후 입력 화소값(B)이라 함)을 출력한다. 이진화 부(107)에 의한 처리의 내용에 대해서는 후단에서 상술한다. 이진화 부(107)로부터 출력된 이진화 후 입력 화소값(B)은 차분 산출 부(108)에 입력된다.

(물체 검출용 영상의 생성에 관한 구성 요소에 대해)

이진화 후 입력 화소값(B)이 입력되면, 차분 산출 부(108)는 저장 부(104)로부터 이진화 후 배경 화소값(A)을 읽는다. 그리고, 차분 산출 부(108)는 이진화 후 입력 화소값(B)과 이진화 후 배경 화소값(B)의 차분을 산출하고, 그 차분을 물체 검출용 영상의 화소값으로서 출력한다. 예를 들어, 차분 산출 부(108)는 이진화 후 배경 영상(A)을 반전시키고, 반전 후의 이진화 후 배경 영상(A)과 이진화 후 입력 영상(B)을 합성하여 물체 검출용 영상을 생성한다. 예를 들어, 도 8의 상단에 도시된 바와 같은 배경 영상 및 입력 영상이 주어진 경우, 동 하단에 도시된 바와 같은 출력 영상이 물체 검출용 영상으로서 출력된다.

이상, 본 실시형태에 관한 물체 검출 장치(100)의 전체 구성에 대해 설명하였다.

(감시 카메라 등에의 응용)

그런데, 본 실시형태에 관한 물체 검출 장치(100)는 촬영 부 등을 추가함으로써 감시 카메라로서 기능할 수 있다. 또한, 촬영 부에 의해 촬영된 영상이 물체 검출 장치(100)에 입력되도록 하고, 물체 검출 장치(100)로부터 출력된 물체 검출용 영상이 침입자/불심자 검출용의 영상 해석 부에 입력되도록 하면, 감시 시스템이 실현된다. 이 경우, 촬영 부이나 영상 해석 부과 물체 검출 장치(100)의 사이는 유선 또는 무선의 전기 통신 회선을 개재하여 접속되어도 되고, 케이블 등으로 직접적으로 접속되어도 된다. 이러한 실장형태의 변형에 대해서도 당연히 본 실시형태의 기술적 범위에 속하는 것은 물론이다.

[1-2: 이진화 처리의 내용에 대해서]

여기에서, 도 2 및 도 3을 참조하면서 이진화 부(103, 107)에 의한 이진화 처리의 내용에 대해 보다 상세하게 설명한다. 배경 휘도 신호(P1) 및 입력 휘도 신호(P2)는 각각 래스터 스캔(raster scan)으로써 입력되는 것으로 한다. 또한, 처리는 1 행 단위로 실행되는 것으로 하고, 다른 행과의 사이에서 상호 작용은 생각하지 않는 것으로 한다.

(배경 영상에 기초하는 이진화 문턱값)

우선, 이진화 부(103)에 의한 이진화 처리의 내용에 대해 설명한다. 도 2에 도시된 바와 같이, 이진화 부(103)는 게인(gain) 조정 단계, 휘도 제한 단계, 지연 단계를 순차적으로 실행한다. 또한, 이진화 부(103)는 지연 단계에서 얻어진 휘도 신호로부터 이진화 후 배경 화소값(A)을 산출한다. 이하, 각 단계에 대해 보다 상세하게 설명한다.

게인(gain) 조정 단계(111)에 있어서, 이진화 부(103)는, 문턱값 및 게인(gain) 갱신 부(102)로부터의 게인(gain) 조정값(G_A)에 기초한 게인(gain) 조정 단계(111)에 의하여, 배경 휘도 신호(P1)의 각 화소값을 G_A배로 상승시킨다. 다음에, 이진화 부(103)는 휘도 제한 기능(112)에 의해 게인(gain) 상승 후의 각 화소값을 소정의 최대값으로 클립(clip)한다. 예를 들면, 배경 휘도 신호(P1)가 8 비트로 표현되어 있는 경우, 이진화 부(103)는 게인(gain) 상승 후의 화소값이 255를 넘으면 그 화소값을 255로 설정한다.

다음에, 이진화 부(103)는 지연 단계(113)에 의해 화소값(X)을 갖는 주목 화소를 기준으로 단위 시간(T)씩 지연한 M 개(예를 들면, M은 기준으로 하는 화소와 같은 행 내의 화소수)의 화소값(X₁, …, X_M)을 취득한다. 즉, 이진화 부(103)는 주목 화소보다도 1 개 전에 위치하는 화소, ...., M 개 전에 위치하는 화소의 화소값을 순차적으로 취득한다. 다음에, 이진화 부(103)는 문턱값 및 게인(gain) 갱신 부(102)로부터의 문턱값(S_A) 및 소정의 문턱값(T_A)에 기초하여 이진화 후 배경 화소값(A)을 산출한다.

여기에서, 이진화 부(103)는 화소값 X와 화소값 Xm(m = 1, …, M)의 차분 ΔXm(ΔXm = |X-Xm|)을 산출한다. 다음에, 이진화 부(103)는 ΔXm > S_A의 경우에 중간 판정값(Am)을 1로 하고, ΔXm ≤ S_A의 경우에 중간 판정값(Am)을 0으로 한다. m = 1, …, M에 대해 중간 판정값(Am)을 얻으면, 이진화 부(103)는 중간 판정값(Am)(m=1, …, M)의 총합(ΣAm)을 산출한다. 그리고, 이진화 부(103)는 총합 ΣAm > T_A인 경우에 이진화 후 배경 화소값(A)을 A = 1로 하고, 총합 ΣAm ≤ T_A인 경우에 이진화 후 배경 화소값(A)을 0으로 한다.

배경 휘도 신호(P1)의 각 화소에 대해 상술한 처리가 실시되고, 각 화소에 대응하는 이진화 후 배경 화소값(A)은 저장 부(104)에 저장된다. 상기 문턱값 T_A는 예를 들어 고정값(0)으로 설정될 수도 있다. 물론, 이 문턱값(T_A)을 0 외의 값으로 설정하거나, 외부로부터 이 문턱값(T_A)을 변경하거나 할 수 있도록 하는 것도 가능하다. 또한, 상술한 처리의 흐름으로부터 명백한 바와 같이, 본 실시형태에 관한 이진화 처리는 파이프 라인 구성으로 되어 있음에 따라, 라인 메모리를 필요로 하는 구성은 되어 있지 않다. 그 때문에, 소형의 회로를 이용하여 본 실시형태에 관한 이진화 처리를 실시하는 것이 가능하다.

(입력 영상에 기초하는 이진화 문턱값)

다음에, 이진화 부(107)에 의한 이진화 처리의 내용에 대해 설명한다. 도 3에 도시된 바와 같이, 이진화 부(107)는 게인(gain) 조정 단계, 휘도 제한 단계, 지연 단계를 순차적으로 실행한다. 또한, 이진화 부(107)는 지연 단계에서 얻어진 휘도 신호로부터 이진화 후 입력 화소값(B)을 산출한다. 이하, 각 단계에 대해 보다 상세하게 설명한다.

게인(gain) 조정 단계(111)에 있어서, 이진화 부(107)는, 문턱값 및 게인(gain) 갱신 부(106)로부터의 게인(gain) 조정값(G_B)에 기초한 게인(gain) 조정 기능(121)에 의하여, 입력 휘도 신호(P2)의 각 화소값을 G_A배로 상승시킨다.

다음에, 이진화 부(107)는 게인(gain) 상승 후의 각 화소값을 휘도 제한 단계(122)에 의해 소정의 최대값으로 클립(clip)한다. 예를 들면, 입력 휘도 신호(P2)가 8 비트로 표현되어 있는 경우, 이진화 부(107)는 게인(gain) 상승 후의 화소값이 255를 넘는 경우에 그 화소값을 255로 설정한다.

다음에, 이진화 부(107)는 지연 단계(123)에 의해 화소값(X)을 갖는 주목 화소를 기준으로 단위 시간(T)씩 지연한 M 개(예를 들면, M은 기준으로 하는 화소와 같은 행 내의 화소수)의 화소값들(X₁, …, X_M)을 취득한다. 즉, 이진화 부(107)는 주목 화소보다도 1 개 전에 위치하는 화소, ......, M 개 전에 위치하는 화소들의 화소값들을 순차적으로 취득한다. 다음에, 이진화 부(107)는 문턱값 및 게인(gain) 갱신 부(106)로부터의 문턱값(S_B) 및 소정의 문턱값(T_B)에 기초하여 이진화 후 입력 화소값(B)을 산출한다.

여기에서, 이진화 부(107)는 화소값 X와 화소값 Xm(m=1, …, M)의 차분 ΔXm(ΔXm = |X-Xm|)을 산출한다. 다음에, 이진화 부(107)는 ΔXm > S_B의 경우에 중간 판정값(Bm)을 Bm=1로 하고, ΔXm ≤ S_B의 경우에 중간 판정값(Bm)을 0으로 한다. m = 1, …, M에 대해 중간 판정값(Bm)을 얻으면, 이진화 부(107)는 중간 판정값(Bm)(m = 1, …, M)의 총합(ΣBm)을 산출한다. 그리고, 이진화 부(107)는 총합 ΣBm > T_B인 경우에 이진화 후 입력 화소값(B)을 B = 1로 하고, 총합 ΣBm ≤ T_B인 경우에 이진화 후 입력 화소값(B)을 0으로 한다.

입력 휘도 신호(P2)의 각 화소에 대해 상술한 처리가 실시되고, 각 화소에 대응하는 이진화 후 입력 화소값(B)은 차분 산출 부(108)에 입력된다. 상기 소정의 문턱값 T_B는 예를 들어 고정값(0)으로 설정될 수도 있다. 물론, 이 문턱값(T_B)을 0 외의 값으로 설정하거나 외부로부터 값을 변경하거나 할 수 있도록 하는 것도 가능하다. 또한, 상술한 처리의 흐름으로부터 명백한 바와 같이, 본 실시형태에 관한 이진화 처리는, 파이프 라인 구성으로 되어 있음에 따라, 라인 메모리를 필요로 하는 구성은 되어 있지 않다. 그 때문에, 소형의 회로를 이용하여 본 실시형태에 관한 이진화 처리를 실시하는 것이 가능하다.

이상, 본 실시형태에 관한 이진화 처리의 내용에 대해 설명하였다. 상기 문턱값들 S_A와 S_B는 서로 다른 값으로 설정될 수도 있고 같은 값으로 설정될 수도 한다. 이와 마찬가지로, 상기 G_A와 G_B는 서로 다른 값으로 설정될 수도 있고 같은 값으로 설정될 수도 있다.

또한, 1 프레임 전의 입력 휘도 신호(P2)에 대한 문턱값(S_B) 및 게인(gain) 조정값(G_B)을 이용하여 현재의 입력 휘도 신호(P2)의 이진화 처리를 실시하도록 구성되어 있어도 된다. 이러한 구성으로 하면, 조도의 현저한 변화가 있으면, 이진화에 이용하는 문턱값(S_B) 및 게인(gain) 조정값(G_B)은 최적의 값에서 벗어나 버리지만, 1 프레임 분의 벗어남은 물체 검출의 정밀도를 열화시키는 요인이 되지 않을 것이다.

이상, 본 실시 형태에 관한 물체 검출 장치(100)의 기본 구성에 대해 설명하였다.

<제1 변형 예 (배경 영상의 갱신 제어)>

다음에, 도 4를 참조하면서 도 1의 실시형태의 제1 변형 예에 관한 물체 검출 장치(100)의 구성에 대해 설명한다. 도 4는 도 1의 실시 형태의 제1 변형 예에 관한 물체 검출 장치(100)의 구성에 대해 설명하기 위한 도면이다. 여기에서 설명되는 제1 변형 예는, 외부로부터 입력되는 갱신 제어 신호에 따라 새로운 배경 휘도 신호(P1)에 기초하는 이진화 후 배경 화소값(A)을 생성하고, 저장 부(104)에 저장되어 있는 이진화 후 배경 화소값(A)을 갱신하는 점에서 상술한 기본 구성과 상이하다.

도 4에 도시된 바와 같이, 제1 변형 예에 관한 물체 검출 장치(100)는 주로 히스토그램 작성 부(101), 문턱값 및 게인(gain) 갱신 부(102), 이진화 부(103), 저장 부(104)를 가진다. 또한, 물체 검출 장치(100)는 히스토그램 작성 부(105), 문턱값 및 게인(gain) 갱신 부(106), 이진화 부(107), 차분 산출 부(108), 및 절환 부(109)를 가진다. 입력 영상의 처리에 관한 구성 요소 및 물체 검출용 영상의 생성에 관한 구성 요소는 상술한 기본 구성과 실질적으로 같기 때문에, 여기에서는 상세한 설명을 생략한다.

(배경 영상의 처리에 관한 구성 요소에 대해)

우선, 물체 검출 장치(100)에는 배경 영상의 휘도 신호(이하, 배경 휘도 신호(P1))가 입력된다. 물체 검출 장치(100)에 입력된 배경 휘도 신호(P1)는 히스토그램 작성 부(101) 및 이진화 부(103)에 입력된다. 배경 휘도 신호(P1)가 입력되면, 히스토그램 작성 부(101)은 배경 휘도 신호(P1)로부터 휘도값의 횟수 분포를 계산하고, 배경 휘도 신호(P1)의 히스토그램을 작성한다. 히스토그램 작성 부(101)의 회로 구성예에 대해서는 후단에서 상술한다.

히스토그램 작성 부(101)에 의해 작성된 히스토그램의 정보는 문턱값 및 게인(gain) 갱신 부(102)에 입력된다. 히스토그램의 정보가 입력되면, 문턱값 및 게인(gain) 갱신 부(102)는 그 히스토그램에 기초하여 배경 휘도 신호(P1)의 이진화에 이용하는 문턱값(S_A) 및 게인(gain) 조정값(G_A)(G_A는 자연수)을 산출한다. 문턱값 및 게인(gain) 갱신 부(102)에 의해 산출된 문턱값(S_A) 및 게인(gain) 조정값(G_A)은 이진화 부(103)에 입력된다. 문턱값(S_A)은 예를 들면 히스토그램의 피크, 평균값, 중앙값 또는 분산값 등 휘도값의 분포 경향을 나타내는 통계치에 기초하여 결정된다.

상기와 같이, 이진화 부(103)에는 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력된다. 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력되면, 이진화 부(103)은 도 2에 도시된 바와 같은 처리 순서로 배경 휘도 신호(P1)를 이진화하고, 각 화소에 대응하는 출력값(A)(이하, 이진화 후 배경 화소값(A))을 출력한다. 이진화 부(103)로부터 출력된 이진화 후 배경 화소값(A)은 저장 부(104)에 저장된다.

그 후, 차분 산출 부(108)는 저장 부(104)에 저장된 이진화 후 배경 화소값(A)을 이용하여 물체 검출용 영상을 생성한다. 하지만, 외부로부터 갱신 제어 신호가 입력되면, 절환 부(109)는 갱신 제어 신호의 입력에 맞추어 새로 입력된 배경 휘도 신호(P1)를 히스토그램 작성 부(101) 및 이진화 부(103)에 입력한다. 새로운 배경 휘도 신호(P1)가 입력되면, 히스토그램 작성 부(101)는 새로운 배경 휘도 신호(P1)에 기초하여 히스토그램을 작성한다. 또한, 문턱값 및 게인(gain) 갱신 부(102)는 새로운 히스토그램에 기초하여 문턱값(S_A) 및 게인(gain) 조정값(G_A)을 갱신한다.

그리고, 이진화 부(103)은 갱신 후의 문턱값(S_A) 및 게인(gain) 조정값(G_A)에 기초하여 새로운 배경 휘도 신호(P1)를 이진화하여 이진화 후 배경 화소값(A)을 생성한다. 이진화 부(103)에 의해 새로 생성된 이진화 후 배경 화소값(A)은 저장 부(104)에 저장된다. 그 후, 차분 산출 부(108)는 저장 부(104)에 저장된 새로운 이진화 후 배경 화소값(A)을 사용하여 물체 검출용 영상을 생성한다. 이와 같이, 제1 변형 예에 관한 물체 검출 장치(100)는 외부로부터 입력된 갱신 제어 신호에 따라 이진화 후 배경 화소값(A)을 갱신할 수 있다. 그 때문에, 소정의 타이밍으로 갱신 제어 신호를 입력하거나 소정의 주기로 갱신 제어 신호를 입력하거나 물체 검출 결과에 따라 갱신 제어 신호를 입력하거나 함으로써 보다 휘도 변화에 강한 물체 검출이 가능하게 된다.

이상, 제1 변형 예에 관한 물체 검출 장치(100)의 전체 구성에 대해 설명하였다.

<3: 제2 변형 예(회로 공유화)>

다음에, 도 5를 참조하면서 도 1의 실시 형태의 제2 변형 예에 관한 물체 검출 장치(200)의 구성에 대해 설명한다. 도 5는 도 1의 실시 형태의 제2 변형 예에 관한 물체 검출 장치(200)의 구성에 대해 설명하기 위한 설명도이다. 여기에서 설명되는 제2 변형 예는 배경 영상용의 이진화 처리 회로와 입력 영상용의 이진화 처리 회로를 공유화하는 구성에 관한 것이다.

도 5에 도시된 바와 같이, 제2 변형 예에 관한 물체 검출 장치(200)는 주로 히스토그램 작성 부(201), 문턱값 및 게인(gain) 갱신 부(202), 이진화 부(203), 저장 부(204), 절환 제어 부(205), 및 차분 산출 부(206)를 포함한다.

물체 검출 장치(200)는, 피사체를 촬영하고, 촬영 영상으로부터 각 화소의 휘도값을 나타내는 휘도 신호를 생성하는 촬영 부(도시되지 않음)를 더 구비할 수 있다. 또한, 물체 검출 장치(200)는 물체 검출용 영상으로부터 침입자나 불심자 또는 자동차나 자전거 등의 물체를 검출하는 해석 부(도시되지 않음)를 더 구비할 수 있다. 또한, 물체 검출 장치(200)는, 그 촬영 부 및/또는 해석 부를 갖는 외부 기기와 유선 또는 무선의 전기 통신 회선을 통하여 접속되어도 되고, 케이블 등으로 직접적으로 접속되어도 된다. 단, 여기에서는 물체 검출 장치(200)에 대해 외부로부터 휘도 신호가 입력되는 것으로 하고, 물체 검출 장치(200)에 의해 생성된 물체 검출용 영상은 외부로 출력되는 것으로서 설명을 진행한다.

(배경 영상의 처리에 관한 구성 요소에 대해)

우선, 물체 검출 장치(200)에는 배경 영상의 휘도 신호(이하, 배경 휘도 신호(P1))가 입력된다. 물체 검출 장치(200)에 입력된 배경 휘도 신호(P1)는 히스토그램 작성 부(201) 및 이진화 부(203)에 입력된다. 배경 휘도 신호(P1)가 입력되면, 히스토그램 작성 부(201)은 배경 휘도 신호(P1)로부터 휘도값의 횟수 분포를 계산하고, 배경 휘도 신호(P1)의 히스토그램을 작성한다. 히스토그램 작성 부(201)의 회로 구성예에 대해서는 후단에서 상술한다.

히스토그램 작성 부(201)에 의해 작성된 히스토그램의 정보는 문턱값 및 게인(gain) 갱신 부(202)에 입력된다. 히스토그램의 정보가 입력되면, 문턱값 및 게인(gain) 갱신 부(202)는 그 히스토그램에 기초하여 배경 휘도 신호(P1)의 이진화에 이용하는 문턱값(S_A) 및 게인(gain) 조정값(G_A)(G_A는 자연수)을 산출한다. 문턱값 및 게인(gain) 갱신 부(202)에 의해 산출된 문턱값(S_A) 및 게인(gain) 조정값(G_A)은 이진화 부(203)에 입력된다. 문턱값(S_A)은 예를 들면 히스토그램의 피크, 평균값, 중앙값 또는 분산값 등 휘도값의 분포 경향을 나타내는 통계치에 기초하여 결정된다.

상기와 같이, 이진화 부(203)에는 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력된다. 배경 휘도 신호(P1), 문턱값(S_A) 및 게인(gain) 조정값(G_A)이 입력되면, 이진화 부(203)는 상술한 기본 구성에 관한 이진화 부(103)와 같은 처리 순서로 배경 휘도 신호(P1)를 이진화하고, 각 화소에 대응하는 출력값(A)(이하, 이진화 후 배경 화소값(A))을 출력한다. 이진화 부(203)로부터 출력된 이진화 후 배경 화소값(A)은 저장 부(204)에 저장된다. 그리고, 저장 부(204)에 저장된 이진화 후 배경 화소값(A)은 필요에 따라 차분 산출 부(206)에 의해 읽혀진다.

(입력 영상의 처리에 관한 구성 요소에 대해)

다음에, 물체 검출 장치(200)에는 물체 검출의 대상이 되는 입력 영상의 휘도 신호(이하, 입력 휘도 신호(P2))가 입력된다. 이 때, 절환 제어 신호가 입력되고, 절환 제어 부(205)에 의해 문턱값 및 게인(gain) 갱신 부(202)은 입력 휘도 신호(P2)의 이진화 처리에 이용하는 문턱값(S_B) 및 게인(gain) 조정값(G_B)을 산출하는 동작 모드로 절환된다. 물체 검출 장치(200)에 입력된 입력 휘도 신호(P2)는 히스토그램 작성 부(201) 및 이진화 부(203)에 입력된다. 입력 휘도 신호(P2)가 입력되면, 히스토그램 작성 부(201)는 입력 휘도 신호(P2)로부터 휘도값의 횟수 분포를 계산하고, 입력 휘도 신호(P2)의 히스토그램을 작성한다.

히스토그램 작성 부(201)에 의해 작성된 히스토그램의 정보는 문턱값 및 게인(gain) 갱신 부(202)에 입력된다. 히스토그램의 정보가 입력되면, 문턱값 및 게인(gain) 갱신 부(202)는 그 히스토그램에 기초하여 입력 휘도 신호(P2)의 이진화에 이용하는 문턱값(S_B) 및 게인(gain) 조정값(G_B)(G_B는 자연수)을 산출한다. 문턱값 및 게인(gain) 갱신 부(202)에 의해 산출된 문턱값(S_B) 및 게인(gain) 조정값(G_B)은 이진화 부(203)에 입력된다. 문턱값(S_B)은 예를 들어 히스토그램의 피크, 평균값, 중앙값 또는 분산값 등 휘도값의 분포 경향을 나타내는 통계치에 기초하여 결정된다.

상기와 같이, 이진화 부(203)에는 입력 휘도 신호(P2), 문턱값(S_B) 및 게인(gain) 조정값(G_B)이 입력된다. 입력 휘도 신호(P2), 문턱값(S_B) 및 게인(gain) 조정값(G_B)이 입력되면, 이진화 부(203)는 상술한 기본 구성에 관한 이진화 부(107)와 같은 처리 순서로 입력 휘도 신호(P2)를 이진화하고, 각 화소에 대응하는 출력값(B)(이하, 이진화 후 입력 화소값(B))을 출력한다. 이진화 부(203)로부터 출력된 이진화 후 입력 화소값(B)은 차분 산출 부(206)에 입력된다.

(물체 검출용 영상의 생성에 관한 구성 요소에 대해)

이진화 후 입력 화소값(B)이 입력되면, 차분 산출 부(206)은 저장 부(204)으로부터 이진화 후 배경 화소값(A)을 독출한다. 그리고, 차분 산출 부(206)은 이진화 후 입력 화소값(B)과 이진화 후 배경 화소값(B)의 차분을 산출하고, 그 차분을 물체 검출용 영상의 화소값으로서 출력한다. 예를 들어, 차분 산출 부(206)은 이진화 후 배경 영상(A)을 반전시키고, 반전 후의 이진화 후 배경 영상(A)과 이진화 후 입력 영상(B)을 합성하여 물체 검출용 영상을 생성한다. 예를 들어, 도 8의 상단에 도시된 바와 같은 배경 영상 및 입력 영상이 주어진 경우, 동 하단에 도시된 바와 같은 출력 영상이 물체 검출용 영상으로서 출력된다.

이상, 제2 변형 예에 관한 물체 검출 장치(200)의 구성에 대해 설명하였다. 제2 변형 예의 구성을 적용함으로써 더욱 회로 규모를 억제하는 것이 가능하게 된다.

(감시 카메라 등에의 응용)

그런데, 본 실시형태에 관한 물체 검출 장치(200)는 촬영 부 등을 추가함으로써 감시 카메라로서 기능할 수 있다. 또한, 촬영 부에 의해 촬영된 영상이 물체 검출 장치(200)에 입력되도록 하고, 물체 검출 장치(200)로부터 출력된 물체 검출용 영상이 침입자/불심자 검출용의 영상 해석 부에 입력되도록 하면, 감시 시스템이 실현된다. 이 경우, 촬영 부이나 영상 해석 부과 물체 검출 장치(200)의 사이는 유선 또는 무선의 전기 통신 회선을 통하여 접속되어도 되고, 케이블 등으로 직접적으로 접속되어도 된다. 이러한 실장 형태의 변형에 대해서도 당연히 본 실시형태의 기술적 범위에 속하는 것은 물론이다.

<4: 히스토그램 작성 부의 회로 구성예>

여기에서, 도 6 및 도 7을 참조하면서 히스토그램 작성 부(101, 105, 201)의 기능을 실현 가능한 회로 구성예에 대해 설명한다. 도 6 및 도 7은 히스토그램 작성 부(101, 201)의 기능을 실현 가능한 회로 구성예에 대해 설명하기 위한 설명도이다. 입력되는 휘도 신호가 배경 휘도 신호(P1)인 경우도 입력 휘도 신호(P2)인 경우도 처리 내용은 실질적으로 같기 때문에, 여기에서는 입력 휘도 신호(P)가 입력되는 것으로 한다.

도 6에 도시된 바와 같이, 히스토그램 작성 부(101, 105, 201)의 기능은 예를 들어 인에이블(enable) 생성 부(301) 및 카운터(302)에 의해 실현 가능하다. 인에이블 생성 부(301)는 도 7의 예에 나타내는 바와 같은 입출력 관계(X는 0 또는 1이어도 되는 것을 의미함)를 실현하는 회로이다. 도 7은 입력 휘도 신호(P)가 8비트로 표현되는 것 및 QVGA(Quater Video Graphic Array) 정도의 해상도인 것을 상정한 예이다. 이 경우, 입력 휘도 신호(P)가 입력된 인에이블 생성 부(301)는 입력 휘도 신호(P)의 휘도값에 따라 8개의 신호(E0, …, E7)를 출력한다. 예를 들어, 입력 휘도 신호(P)의 휘도값이 2진수 표기로 00011101인 경우, 인에이블 생성 부(301)는 상위 3비트가 0이므로, 도 7의 표에 따라 (E0,E1,E2,E3,E4,E5,E6,E7) = (0,0,0,0,1,0,0,0)을 출력한다. 다른 경우도 동일하다.

인에이블 생성 부(301)로부터 출력된 신호(E0, …, E7)는 각각 대응하는 카운터(302)에 입력된다. 각 카운터(302)는 입력된 신호가 1인 경우에 자신의 카운트 값을 카운트 업(up)하고, 0인 경우에는 카운트 업(up)하지 않는다. 예를 들어, 인에이블 생성 부(301)로부터 (E0,E1,E2,E3,E4,E5,E6,E7) = (0,0,0,0,1,0,0,0)이 출력된 경우, 신호(E4)에 대응하는 카운터(302)는 자신의 카운트 값을 카운트 업하고, 다른 신호에 대응하는 카운터(302)는 카운트 업하지 않는다. 영상을 구성하는 각 화소의 입력 휘도 신호(P)에 대해 인에이블 생성 부(301) 및 카운터(302)에 의한 처리가 실행되면, 각 카운터(302)는 각각 자신의 카운트 값을 출력한다.

상기 구성으로부터 명백한 바와 같이, 각 카운터(302)로부터 출력되는 카운트 값은 히스토그램을 구성하는 각 휘도 범위의 횟수로 되어 있다. 예를 들면, 신호(E5)에 대응하는 휘도 범위는 32~64이다. 마찬가지로 신호(E6)에 대응하는 휘도 범위는 64~128이고, 신호(E7)에 대응하는 휘도 범위는 128~255이다. 신호(E0, …, E4)에 대해서도 동일하다. 휘도 범위의 설정 방법은 이 예에 한정되지 않지만, 이 예와 같이 휘도값이 비교적 낮은 영역에서 휘도 범위의 폭을 좁게, 휘도값이 비교적 높은 영역에서 휘도 범위의 폭을 넓게 취함으로써 낮은 조도에서의 영상의 휘도 변화에 민감한 특성이 얻어진다.

문턱값 및 게인(gain) 갱신 부(102, 106, 202)는 카운터(302)의 출력에 기초하여 예를 들면 가장 횟수가 많은 휘도 범위(피크)를 검출하고, 그 휘도 범위가 영상의 중심이 되도록 휘도에 승산하는 게인(gain) 조정값(GA) 및 문턱값(SA)(또는 게인(gain) 조정값(GB) 및 문턱값(SB))을 결정한다. 휘도 범위의 결정 방법으로서는 상기와 같이 피크를 기준으로 결정하는 방법도 있지만, 평균값, 중앙값 또는 분산값 등의 통계치에 기초하여 영상의 중심으로 하는 휘도 범위를 결정하는 방법도 생각할 수 있다. 또한, 요구되는 검출 정밀도, 처리 부하 또는 촬영 조건 등에 따라서는, 배경 영상에 기초하는 게인(gain) 조정값(GA) 및 문턱값(SA)을 입력 영상에 기초하는 게인(gain) 조정값(GB) 및 문턱값(SB)으로 설정하는 방법도 생각할 수 있다.

이상, 히스토그램 작성 부(101, 105, 201)의 기능을 실현 가능한 회로 구성예에 대해 설명하였다.

<5: 효과>

본 실시형태에 관한 기술을 적용하면, 도 8에 나타낸 바와 같이, 촬영 대상의 조도가 저하된 상태에서도 물체를 충분히 높은 정밀도로 인식할 수 있을 정도로 확실히 물체의 윤곽이 얻어진다. 그 때문에, 갑자기 휘도가 변화하거나 비교 대상의 배경 영상이 다른 시간대에 촬영된 것이거나 해도 정밀도 높게 물체를 검출하는 것이 가능하게 된다. 또한, 실제로 촬영한 영상을 이용하여 시뮬레이션의 결과에 있어서, 조명이 어두운 상황이나 잡음을 삽입한 상황에서도 피사체의 윤곽을 판별 가능한 물체 검출용 영상이 얻어지고 있다.

상술한 바와 같이, 본 실시형태는 조명 변동에 대해 강건하게 하기 위해 영상 신호를 2치 부호화하고, 또 잡음에 대해 강건하게 하기 위해 이진화에 이용하는 판정용 문턱값을 변경하는 구성을 채용하고 있다. RRC법 등에서는 방사형상의 점에 대해 통계적인 처리를 실시하고, 또 탐색 처리를 필요로 하고 있었다. 한편, 본 실시 형태의 구성은 라인 메모리가 없는 파이프 라인 구성으로 영상 휘도의 히스토그램을 작성할 수 있도록 하고, 히스토그램으로부터 휘도 신호의 승산 계수(게인(gain) 조정값) 및 문턱값을 얻도록 하였다. 결과적으로 회로의 소형화 및 고속 동작이 가능하게 되었다.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 설명하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 당업자라면 특허청구범위에 기재된 범주 내에서 각종 변경 예 또는 수정 예에 도달할 수 있음은 명백하므로, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해될 수 있다.

감시 카메라 외의 일반적인 카메라에도 이용될 수 있다.

100 : 물체 검출 장치, 101, 105 : 히스토그램 작성 부,
102, 106 : 문턱값 및 게인(gain) 갱신 부,
103, 107 : 이진화 부, 104 : 저장 부,
108 : 차분 산출 부, 109 : 절환 부,
111, 121 : 게인(gain) 조정 단계, 112, 122 : 휘도 제한 단계,
113, 123 : 지연 단계, 200 : 물체 검출 장치,
201 : 히스토그램 작성 부, 202 : 문턱값 및 게인(gain) 갱신 부,
203 : 이진화 부, 204 : 저장 부,
205 : 절환 제어 부, 206 : 차분 산출 부,
301 : 인에이블 생성 부, 302 : 카운터.

Claims

영상을 이진화하는 이진화 부;
상기 영상의 밝기에 따라 그 영상의 이진화에 이용하는 문턱값을 산출하는 문턱값 산출 부;
배경 영상을 상기 문턱값 산출 부에 입력하여 제1 문턱값을 산출하고, 상기 배경 영상 및 상기 제1 문턱값을 상기 이진화 부에 입력하여 그 배경 영상을 이진화하는 배경 이진화 부;
대상 영상을 상기 문턱값 산출 부에 입력하여 제2 문턱값을 산출하고, 상기 대상 영상 및 상기 제2 문턱값을 상기 이진화 부에 입력하여 그 대상 영상을 이진화하는 대상 이진화 부; 및
상기 배경 영상을 이진화하여 얻어진 배경 이진화 영상과 상기 대상 영상을 이진화하여 얻어진 대상 이진화 영상의 차분으로부터 물체를 검출하는 물체 검출 부을 구비하는 것을 특징으로 하는 물체 검출 장치.
제1항에 있어서,
상기 문턱값 산출 부는, 상기 영상이 밝을수록 상기 문턱값을 크게 하고 상기 영상이 어두울수록 상기 문턱값을 작게 하는 것을 특징으로 하는 물체 검출 장치.
제1항 또는 제2항에 있어서,
상기 문턱값 산출 부은 상기 영상을 구성하는 화소에 대해 휘도값의 히스토그램을 생성하고, 그 히스토그램에 기초하여 상기 문턱값을 산출하는 것을 특징으로 하는 물체 검출 장치.
제3항에 있어서,
상기 문턱값 산출 부는, 상기 히스토그램의 피크에 대응하는 휘도값을 상기 문턱값으로 하는 것을 특징으로 하는 물체 검출 장치.
제1항 또는 제2항에 있어서,
상기 문턱값 산출 부는, 상기 영상을 구성하는 화소의 휘도값에 대해 그 휘도값의 분포 경향을 나타내는 통계값에 기초하여 상기 문턱값을 산출하는 것을 특징으로 하는 물체 검출 장치.
제5항에 있어서,
상기 문턱값 산출 부는, 상기 휘도값의 평균값 또는 중앙값을 상기 문턱값으로 하는 것을 특징으로 하는 물체 검출 장치.
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 이진화 부는,
상기 문턱값에 대응하는 휘도값이 상기 영상에서의 휘도 분포의 중심이 되도록 상기 영상을 게인(gain)을 상승시키는 게인(gain) 조정 부;
상기 영상을 구성하는 화소 중에서 상기 게인(gain) 조정 부에 의한 게인(gain) 상승 후에 휘도값이 소정값을 넘는 화소의 휘도값을 상기 소정값으로 설정하는 클립 부; 및
상기 게인(gain) 조정 부 및 상기 클립 부에 의한 처리 후의 상기 영상을 이진화하는 이진화 처리 부;을 포함하는 것을 특징으로 하는 물체 검출 장치.
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 영상을 구성하는 각 화소는 소정의 주사 순서를 따라 연속하여 독출되고,
상기 이진화 부는,
자연수 m이 자연수 1 내지 M을 포함한 경우, 판정 대상이 되는 상기 화소 X의 휘도값과 그 판정 대상이 되는 화소 X보다 m단계 전에 독출된 상기 화소 Xm의 휘도값의 차분이 상기 문턱값보다 큰지를 판정하고, 그 차분이 상기 문턱값보다 커지는 횟수를 계수하는 판정 부; 및
상기 제1 판정 부에 의해 계수된 횟수가 소정값보다도 큰 경우에 상기 판정 대상이 되는 화소 X의 휘도값을 제1값으로 설정하고, 그 횟수가 상기 소정값보다도 작은 경우에 상기 판정 대상이 되는 화소 X의 휘도값을 제2값으로 설정하는 이진 설정 부을 포함하는 것을 특징으로 하는 물체 검출 장치.
제1항 내지 제8항 중 어느 한 항에 기재된 물체 검출 장치;
상기 배경 영상 및 상기 대상 영상을 촬영하는 촬영 부; 및
상기 물체 검출 부에 의한 검출 결과를 감시자에게 통지하는 통지 부을 구비하는 것을 특징으로 하는 감시 카메라.
영상을 이진화하는 이진화 부과 영상의 밝기에 따라 그 영상의 이진화에 이용하는 문턱값을 산출하는 문턱값 산출 부을 갖는 물체 검출 장치가,
배경 영상을 상기 문턱값 산출 부에 입력하여 제1 문턱값을 산출하고, 상기 배경 영상 및 상기 제1 문턱값을 상기 이진화 부에 입력하여 그 배경 영상을 이진화하는 배경 이진화 단계;
대상 영상을 상기 문턱값 산출 부에 입력하여 제2 문턱값을 산출하고, 상기 대상 영상 및 상기 제2 문턱값을 상기 이진화 부에 입력하여 그 대상 영상을 이진화하는 대상 이진화 단계; 및
상기 배경 영상을 이진화하여 얻어진 배경 이진화 영상과 상기 대상 영상을 이진화하여 얻어진 대상 이진화 영상의 차분으로부터 물체를 검출하는 물체 검출 단계;을 포함하는 것을 특징으로 하는 물체 검출 방법.