KR100623835B1 - 물체 검출 방법 및 물체 검출 장치 - Google Patents

Abstract

물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하는 물체 검출 장치에서, TV 카메라(1)의 광축 방향이나 화면각이 변화한 경우에도 정확한 물체 검출을 한다.

물체 검출 대상 화상 시야 변화 검출 수단이 물체 검출 대상이 되는 화상의 시야에 관한 변화(광축 방향이나 화면각의 변화)를 검출하고, 검출 조건 설정 수단이 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하고, 물체 화상 검출 수단이 검출 조건 설정 수단에 의해 설정되는 검출 조건을 사용하여 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출한다.

Description

물체 검출 방법 및 물체 검출 장치{OBJECT DETECTING METHOD AND APPARATUS}

도 1은 본 발명의 실시예에 따른 물체 검출 장치의 구성예를 나타낸 도면,

도 2는 제 1 실시예에 따른 차분법을 이용한 물체 검출 방식의 처리의 흐름의 일례를 도시한 도면,

도 3의 (A)는 TV 카메라의 광축 방향의 변화를 검출하기 위한 템플릿 위치의 일례를 도시한 도면이며, 도 3의 (B)는 템플릿 매칭 처리의 일례를 설명하기 위한 도면,

도 4는 제 2 실시예에 따른 기준 검출 조건 설정의 처리의 흐름의 일례를 도시하는 도면,

도 5의 (A) 내지 (I)는 각 화상을 나타내고, 감시 영역 화상을 합성하는 처리의 일례를 설명하기 위한 도면,

도 6의 (A)는 합성된 감시 영역 화상과 기준 검출 조건의 일례를 도시하는 도면이고, 도 6의 (B)는 TV 카메라의 화면각 및 광축 방향에 관한 설명을 하기 위한 도면,

도 7은 제 2 실시예에 따른 차분법을 이용한 물체 검출 방식의 처리의 흐름의 일례를 도시하는 도면,

도 8의 (A) 내지 (E)는 마스크 영역 위치 어긋남 보정 처리 및 경계 영역 보정 처리의 구체예를 설명하기 위한 도면,

도 9의 (A) 내지 (C)는 촬상 장치에 의해서 얻어지는 화상과 검출 조건의 일례를 도시한 도면,

도 10은 차분법의 처리순서의 일례를 도시한 도면,

도 11은 차분법을 이용한 물체 검출 방식의 처리의 흐름의 일례를 도시한 도면,

도 12의 (A)는 차분법에서의 감시 영역의 일례를 도시하는 도면이고, 도 12의 (B)는 차분법에서 검출한 변화 영역의 일례를 도시하는 도면이고, 도 12의 (C)는 차분법에서의 마스크 영역의 일례를 도시하는 도면,

도 13의 (A)는 검출해야 할 물체라고 판정하는 기준이 되는 크기의 설정 방법의 일례를 설명하기 위한 도이며, 도13의 (B)는 기준이 되는 크기의 보간 방법의 일례를 설명하기 위한 도면.

도면의 주요 부분에 대한 부호의 설명

1 : 촬상 장치(TV 카메라) 2 : 처리 장치

3 : 조작부 4 : 외부 기억 장치

5 : 출력 모니터 6 : 경고등

11 : 촬상부 12: 카메라운대

13 : 촬상 렌즈 21 : 화상 입력부

22 : 운대 제어부 23 : 렌즈 제어부

24 : 조작 입력부 25 : 화상 메모리

26 : MPU 27 : 작업 메모리

28 : 외부 입출력부 29 : 화상 출력부

30 : 경보 출력부 41 : 조이스틱

42, 43 : 버튼

본 발명은 예컨대 촬상 장치를 이용한 물체 검출 장치에 관한 것으로, 특히 촬상 시야내의 침입물체를 감시하기 위해서 촬상 장치로부터 입력되는 화상 신호로부터 검출해야 할 대상물체를 검출하는 물체 검출 장치 및 물체 검출 방법에 관한 것이다.

예컨대, 텔레비젼 카메라(TV 카메라) 등의 촬상 장치를 이용하여, 물체를 감시하는 것이 실행되고 있다. 또한, 유인감시가 아니라, 장치 또는 시스템이 자동적으로 감시를 하는 기술이 검토되고 있다.

일례로서, 차분법(差分法)을 이용한 감시에서는 TV 카메라 등으로부터 얻어지는 화상과 기준이 되는 배경 화상의 휘도(또는, 화소값)의 차분을 검출하고, 해당 검출값이 소정의 임계값(문턱값)과 비교해서 큰 변화 영역에 물체가 존재한다고 또는 그 가능성이 있다고 하여 감시를 한다. 또한, 물체의 검출 조건으로서, 예컨대 마스크 영역에 관한 조건이나, 크기 판정에 관한 조건이나, 경계 영역에 관한 조건 등이 이용된다.

(특허문헌1) 일본 특허 공개 공보 2002-135644호

(특허문헌2) 일본 특허 공개 공보 2002-279429호

(비특허문헌1) 타무라 히데유키(田村 秀行) 감수, 「컴퓨터 화상 처리 입문」, 총연출판, 1985년, p.149-153

(비특허문헌2) 츠네타니 시게유키(常谷 茂之) 외,「고정 시점형 팬ㆍ틸트 스테레오 카메라(pan·tilt stereo camera)를 이용한 대상 추적」, 정보 처리학회 컴퓨터 비전과 이미지 미디어 연구회의 연구보고, 2001년, No127-15

그러나, 종래의 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 TV 카메라의 광축 방향이나 화면각이 변화한 것 같은 경우에는 물체의 검출 조건을 변경해야만 한다고 하는 문제가 있고, 이러한 변경을 하지 않으면 정확한 물체 검출이 실행되지 않게 되어 버린다고 하는 문제가 있었다.

본 발명은 이러한 종래의 사정을 감안하여 이루어진 것으로, 예컨대 TV 카메라의 광축 방향이나 화면각이 변화한 것 같은 경우에도 정확한 물체 검출을 할 수 있는 물체 검출 장치 및 물체 검출 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 따른 물체 검출 장치에서는 다음과 같이 하여 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출한다.

즉, 물체 검출 대상 화상 시야 변화 검출 수단이 물체 검출 대상이 되는 화상의 시야에 관한 변화를 검출한다. 검출 조건 설정 수단이 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정한다. 물체 화상 검출 수단이 검출 조건 설정 수단에 의해 설정되는 검출 조건을 사용하여, 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출한다.

따라서, 물체 검출 대상이 되는 화상의 시야에 관한 변화에 근거하여 설정되는 검출 조건을 사용하여 해당 화상에 포함되는 물체의 화상이 검출되기 때문에, 예컨대 물체 검출 대상이 되는 화상의 시야에 관한 변화가 발생하는 것 같은 경우에도 정확한 물체 검출을 할 수 있다.

여기서, 물체 검출 대상이 되는 화상, 물체, 물체 검출 대상이 되는 화상의 시야에 관한 변화 및 검출 조건으로서는 각각 다양한 것이 이용되어도 무방하다.

또한, 물체 검출 대상이 되는 화상에 대하여 시야에 관한 변화가 발생한 경우에, 검출 조건 설정 수단에 의해 검출 조건을 설정하는 방법으로서는 다양한 방법이 이용되어도 무방하고, 예컨대 해당 변화에 대응하여 검출 조건쪽을 보정하는 것 같은 방법이 이용되어도 무방하고, 또는 해당 변화에 대응하여 물체 검출 대상이 되는 화상쪽을 보정하는 것 같은 방법이 이용되어도 무방하고, 또는 이들 양쪽 을 보정하는 것 같은 방법이 이용되어도 무방하다.

본 발명에 따른 물체 검출 장치에서는 일구성예로서 물체 검출 대상 화상 시야 변화 검출 수단은 물체 검출 대상이 되는 화상의 시야에 관한 변화로서, 화상을 촬상하는 장치(화상 촬상 장치)의 광축 방향의 변화와, 화상을 촬상하는 장치의 화면각의 변화의 한쪽 또는 양쪽을 검출한다.

따라서, 예컨대 화상을 촬상하는 장치의 광축 방향이나 화면각이 변화한것 같은 경우에도 정확한 물체 검출을 할 수 있다.

여기서, 화상을 촬상하는 장치로서는 다양한 장치가 이용되어도 무방하고, 예컨대 TV 카메라 등을 이용할 수 있다.

또한, 화상을 촬상하는 장치의 광축 방향의 변화로서는, 예컨대 수평 방향의 변화 및 수직 방향의 변화가 이용된다. 일례로서, 수평 방향을 X축 방향으로 하고, 수직 방향을 Y축 방향으로 하면, 광축 방향의 변화의 양을 X축 방향의 좌표의 어긋남 및 Y축 방향의 좌표의 어긋남에 의해서 나타낼 수 있다.

또한, 화상을 촬상하는 장치의 화면각의 변화로서는, 예컨대 수평 방향의 변화나, 수직 방향의 변화가 이용된다. 일례로서, 수평 방향을 X축 방향으로 하고, 수직 방향을 Y축 방향으로 하면, 화면각의 변화의 양을 X축 방향의 좌표의 확대 또는 축소 및 Y축 방향의 좌표의 확대 또는 축소에 의해 나타낼 수 있고, 또는 X축 방향의 각도 및 Y축 방향의 각도에 의해 나타낼 수 있다.

또한, 화상을 촬상하는 장치의 광축 방향의 변화나 화면각의 변화는, 예컨대 사람이나 장치에 의한 조작이나 제어에 의해 발생하는 경우가 있고, 또한 예컨대 바람 등의 옥외환경 또는 옥내환경에 의해 발생하는 경우가 있다.

본 발명에 따른 물체 검출 장치에서는 일구성예로서 물체 검출 대상이 되는 화상과 비교해서 넓은 화상에 대하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하기 위한 기준이 되는 검출 조건(기준 검출 조건)이 설정된다. 그리고, 검출 조건 설정 수단은 해당 기준이 되는 검출 조건 및 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정한다.

따라서, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상에 대하여 설정된 기준 검출 조건에 근거하여 검출 조건이 설정되기 때문에, 예컨대 물체 검출 대상이 되는 화상의 시야에 관한 변화가 발생한 것 같은 경우에도 적절한 검출 조건을 설정할 수 있어, 물체의 화상을 적절하게 검출할 수 있다.

여기서, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상으로서는 다양한 화상이 이용되어도 무방하고, 예컨대 물체 검출 대상이 되는 화상의 시야(예컨대, 프레임)와 비교해서 넓은 시야(예컨대, 프레임)를 갖는 화상을 이용할 수 있고, 예컨대 물체 검출 대상이 되는 화상을 모두 내부에 포함하는 것 같은 화상을 이용할 수 있다.

또한, 기준이 되는 검출 조건으로서는 다양한 것이 이용되어도 무방하다.

또한, 기준이 되는 검출 조건으로서는 예컨대 물체 검출 대상이 되는 화상과 비교해서 넓은 화상에서, 마찬가지인 역할을 갖는 복수의 기준 검출 조건을 광범위하게 분산하여 설정하는 것이 가능하다. 이 경우, 마찬가지인 역할을 갖는 복수의 기준 검출 조건이 광범위하게 분산되는 것에 의해, 물체 검출 대상이 되는 화상의 시야에 관한 변화가 있었던 경우에도, 해당 변화후에 있어서의 물체 검출 대상이 되는 화상에 마찬가지인 역할을 갖는 복수의 기준 검출 조건중의 1 이상이 포함되는 것이 많아진다.

또한, 기준이 되는 검출 조건으로서는, 예컨대 가변적으로 또는 미리 고정적으로 장치에 설정되고, 또는 가변적으로 또는 미리 고정적으로 사람에 의해 설정되어, 예컨대 메모리 등에 기억된다.

이하에, 또한, 본 발명에 따른 구성예를 나타낸다.

예컨대, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상은 감시 영역 화상으로서 설정되고, 일례로서 복수의 화상을 합성하여 생성된다. 또한, 복수의 화상은 예컨대 TV 카메라 등의 촬상 수단에 의해 촬상되어 취득된다.

일구성예로서, 검출 조건으로서 템플릿(template), 기준이 되는 배경 화상(기준 배경 화상), 마스크 영역, 경계 영역, 크기 정보, 속도 정보중의 하나 이상이 이용된다.

일구성예로서, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상에서 복수의 템플릿이 예컨대 서로 격리되어(다시말해, 분산되어) 설정된다.

일구성예로서, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상으로부터, 물체 검출 대상이 되는 화상에 대한 기준 배경 화상을 추출한다.

일구성예로서, 템플릿의 매칭에 의해, 광축 방향의 변화의 양을 검출한다. 예컨대, 물체 검출 대상이 되는 화상 중에서, 기준 배경 화상속에 설정된 소정의 템플릿과 휘도 또는 화소값이 일치 또는 유사한 부분을 검출하고, 해당 템플릿과 해당 검출 부분의 어긋남의 양을 검출한다. 그리고, 해당 어긋남의 양을 보정하여, 물체 검출 대상이 되는 화상과 기준 배경 화상 등의 광축 방향 변화에 의한 어긋남을 없앤다.

일구성예로서, 화면각 변화전의 초점거리와 화면각 변화후의 초점거리의 비에 근거하여, 화면각의 변화의 양(예컨대, 몇배인가를 나타내는 값)을 검출한다. 또한, 예컨대 화면각이 조작된 것이나, 물체 검출 대상이 되는 화상을 촬상하는 촬상 수단(예컨대, 카메라)의 화면각이 변화한 것이나, 촬상 수단의 화면각을 변화시키는 화면각 변화 수단(예컨대, 카메라운대 또는 촬상 렌즈의 제어)에 의한 화면각 변화가 실행된 것에 따라서, 화면각의 변화의 양을 검출한다. 그리고, 해당 화면각 변화량을 보정하여, 물체 검출 대상이 되는 화상과 기준 배경 화상 등의 화면각 변화에 의한 어긋남을 없앤다.

일구성예로서, 물체 검출 대상이 되는 화상의 휘도 또는 화소값과 기준 배경 화상의 휘도 또는 화소값의 차분을 검출하고, 해당 검출되는 차분이 소정의 임계값 이상 또는 소정의 임계값을 넘는 부분을 변화 부분으로서 검출한다. 이러한 변화 부분은 이동 또는 변화하는 물체의 화상에 상당할 가능성이 있다고 간주할 수 있다.

일구성예로서, 마스크 영역에서는 화상의 휘도 또는 화소값의 변화가 있더라도, 물체의 화상이 존재하는 것으로 하여 검출하지 않는데, 다시말해 물체의 화상을 검출하지 않는다.

일구성예로서, 경계 영역에 대해서는 경계 영역내에 일부 또는 전부가 포함되는 물체의 화상이 검출된 경우와, 다른 영역에 물체의 화상이 검출된 경우에, 사람이나 장치에 대하여 물체 검출을 알리기 위한 통보의 형태를 다르게 한다.

일구성예로서, 검출해야 할 물체의 크기의 정보에 대해서는 해당 크기의 소정수배의 범위내에 전부가 포함되는 물체의 화상을 검출하는 것으로 하고, 또는 해당 크기의 소정수배의 범위내에 적어도 일부가 포함되는 물체의 화상을 검출하는 것으로 한다.

일구성예로서, 검출해야 할 물체의 이동속도의 정보에 대해서는, 해당 이동속도로부터 결정되는 범위내에 전부가 포함되는 물체의 화상을 검출하는 것으로 하거나, 또는 해당 이동속도로부터 결정되는 범위내에 적어도 일 부가 포함되는 물체의 화상을 검출하는 것으로 한다.

일구성예로서, 물체 화상 검출 수단은 물체 검출 대상이 되는 화상에 포함되는 부분이 검출 조건 설정 수단에 의해 설정되는 검출 조건을 만족시키는가 여부를 판정하고, 해당 검출 조건을 만족시킨다고 판정한 부분을 물체 검출 대상이 되는 화상에 포함되는 물체의 화상(물체의 화상의 부분)으로서 검출한다.

일구성예로서, 검출 조건 설정 수단은 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여, 기준이 되는 검출 조건이나 물체 검출 대상이 되는 화상과 비교해서 넓은 화상 및 물체 검출 대상이 되는 화상중 1 이상을 보정하여, 물체 검출 대상이 되는 화상에 대하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정한다. 구체예로서, 검출 조건 설정 수단은 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화를 보상하도록, 기준이 되는 검출 조건의 좌표, 물체 검출 대상이 되는 화상과 비교해서 넓은 화상의 좌표 및 물체 검출 대상이 되는 화상의 좌표중의 1 이상을 보정하여, 기준이 되는 검출 조건의 좌표와 물체 검출 대상이 되는 화상의 좌표를 합쳐서, 물체 검출 대상이 되는 화상에 대하여 검출 조건을 설정한다.

본 발명에 따른 실시예를 도면을 참조하여 설명한다.

본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는 TV 카메라의 화면각 및/또는 광축 방향이 변화한 경우에 그 변화를 검출하고, 그 변화에 근거하여 마스크 영역, 경계 영역, 검출해야 할 물체의 크기의 정보, 검출해야 할 물체의 속도의 정보라고 하는 검출 조건을 수정한다. 이에 따라, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는 TV 카메라의 화면각을 바꾸는 경우나, 광축 방향이 변화하는 경우에도 그 변화량을 자동적으로 검출하여, 검출 조건을 수정함으로써, 신뢰성이 높은 정확한 물체 검출을 할 수 있다.

도 1에는 본 실시예에 따른 물체 검출 장치(영상 감시 장치)의 하드웨어구성의 일례를 나타내고 있다.

본 실시예에 따른 물체 검출 장치는 촬상 장치(TV 카메라)(1)와, 처리 장치(2)와, 조작부(3)와, 외부 기억 장치(4)와, 출력 모니터(감시 모니터)(5)와, 경고등(6)을 구비한다.

촬상 장치(1)는 촬상부(11), 전동 선회대(카메라운대)(12), 줌 렌즈(촬상 렌즈)(13)로 구성되어 있다.

처리 장치(2)는 화상 입력부(화상 입력 I/F)(21), 운대 제어부(운대 제어 I/F)(22), 렌즈 제어부(렌즈 제어 I/F)(23), 조작 입력부(조작 입력 I/F)(24), 화상 메모리(25), 소형 처리 장치인 MPU(Micro Processing Unit)(26), 작업 메모리(27), 외부 입출력부(외부 입출력 I/F)(28), 화상 출력부(화상 출력 I/F)(29), 경보 출력부(경보 출력 I/F)(30), 데이터 버스(31)로 구성되어 있다.

조작부(3)는 조이스틱(41) 및 버튼(42, 43)을 갖고 있다.

촬상부(11)는 화상 입력부(21)와 접속되고, 카메라운대(12)는 운대 제어부(22)와 접속되고, 촬상 렌즈(13)는 렌즈 제어부(23)와 접속되고, 조작부(3)는 조작 입력부(4)와 접속되고, 외부 기억 장치(4)는 외부 입출력부(28)와 접속되고, 출력 모니터(5)는 화상 출력부(29)와 접속되고, 경고등(6)은 경보 출력부(30)와 접속되어 있다. 또한, 화상 입력부(21), 운대 제어부(22), 렌즈 제어부(23), 조작 입력부(24), 화상 메모리(25), MPU(26), 작업 메모리(27), 외부 입출력부(28), 화상 출력부(29), 및 경보 출력부(30)는 데이터 버스(31)와 접속되어 있다.

카메라운대(12)에 탑재되어 촬상 렌즈(13)를 구비한 촬상부(11)(TV 카메라(1))는 감시 대상(시야범위)을 촬상한다. 촬상된 영상 신호는 화상 입력부(21)로부터 데이터 버스(31)를 거쳐서 화상 메모리(25)에 축적된다. 외부 기억 장치(4)에 기록되는 프로그램 등의 데이터는 외부 입출력부(28)를 거쳐서 작업 메모리(27)로 읽어 들여지고, 또는 반대로, 작업 메모리(27)로부터 외부 기억 장치(4)에 보존 된다. MPU(26)는 외부 기억 장치(4)에 보존되어 있고 장치 실행시에 작업 메모리(27)에 로드되는 프로그램에 따라서, 작업 메모리(27)내에서 화상 메모리(25)에 축적된 화상의 해석을 한다. MPU(26)는 처리 결과에 따라서, 데이터 버스(31)로부터 렌즈 제어부(23)를 거쳐서 촬상 렌즈(13)를 제어하는 것과, 운대 제어부(22)를 거쳐서 카메라운대(12)를 제어하여 촬상부(11)(TV 카메라(1))의 촬상 시야를 바꾸는 것과, 화상 출력부(29)를 거쳐서 출력 모니터(5)에 예컨대 침입물체의 검출 결과에 관한 화상을 표시하는 것과, 경보 출력부(30)를 거쳐서 경고등(6)을 점등하는 것을 실행한다.

또, 본 예에서는 촬상 장치(1)와 처리 장치(2)가 예컨대 케이블 등을 거쳐서 바로 가까이에 설치되어 있는 구성으로 했지만, 다른 다양한 배치가 이용되어도 무방하고, 예컨대 촬상 장치(1)가 네트워크 등을 거쳐서 원격지에 있는 처리 장치(2)와 접속되는 것 같은 구성이 이용되어도 무방하다.

이하에 나타내는 각 실시예에서는 상기 도 1에 도시한 물체 검출 장치의 하드웨어 구성을 예로 들어, 설명을 한다.

[실시예 1]

본 발명의 제 1 실시예에 따른 물체 검출 장치 및 물체 검출 방법을 설명한다.

도 2는 본 예에 따른 처리 프로세스를 설명하는 플로우차트이다.

동 도면에 도시한 처리 프로세스는, 예컨대 도 11에 도시된 차분법을 응용한 감시방식의 처리 프로세스와 마찬가지인 동작이 실행되는 단계 S1(초기화 처리), 단계 S2(화상 입력 처리), 단계 S5(차분 처리), 단계 S6(이치화(二値化) 처리), 단계 S8(마스크 처리), 단계 S9(라벨링 처리), 단계 S10(처리 화상 표시), 단계 S14(물체 존재 판정 처리), 단계 S15(경보·모니터 표시 처리)의 처리순서에, 소정의 단계 S3, S4, S7, S11, S12, S13의 처리순서를 추가한 것으로 되어 있다. 이 때문에, 본 예에서는 도 11에 도시된 처리 프로세스와는 다른 처리순서(단계 S3, S4, S7, S11, S12, S13)에 대하여 자세히 설명하고, 마찬가지인 처리순서에 대해서는 설명을 생략 또는 간략화한다.

우선, 초기화 처리가 실행되고(단계 S1), 화상 입력 처리가 실행된다(단계 S2).

다음에, 광축 방향 변화량 검출 단계에서는 템플릿 매칭법에 의해서 TV 카메라(1)의 광축 방향의 변화를 검출한다(단계 S3).

도 3을 참조하여, 이러한 검출 처리를 설명한다.

도 3의 (A)는 화상(71)에서 템플릿 매칭에서 사용하는 템플릿의 위치(81)를 나타내고 있고, 도 3의 (B)는 TV 카메라(1)의 흔들림 등에 의해서 광축 방향이 변화한 순간의 화상(72)을 나타내고 있다.

우선, 도 3의 (A)에 도시된 바와 같이 미리 감시 영역내에 템플릿의 위치(81)를 설정해 놓는다. 템플릿 위치(81)로서는, 예컨대 건물의 지붕이나 차양 등과 같이 바람 등에 흔들리지 않는 부분을 지정한다. 다음에, 기준 배경 화상의 템플릿의 위치(81)의 화상을 템플릿 화상으로 하여, 입력 화상속에서 템플릿 화상과 가장 일치도가 높은 위치를 검출한다. 일치도(一致度)로서는, 예컨대 정규화 상관값 r(Δx, Δy)을 적용할 수 있고, 이것은 식 1로 나타내진다.

[식 1]

여기서, f(x, y)는 입력 화상을 나타내고, g(x, y)는 템플릿 화상(기준 배경 화상의 부분 화상)을 나타내고, 예컨대 화상의 좌표축에 대하여 화상의 좌/상을 원점(0, 0)으로 하여, (x0, y0)는 템플릿 위치(81)의 좌/상의 좌표를 나타내고, D는 템플릿 화상의 크기(예컨대, 가로 50화소, 세로 40화소)를 나타낸다. 정규화 상관값 r(Δx, Δy)은 「-1≤r(Δx, Δy)≤+1」의 값을 취하고, 입력 화상과 템플릿 화상이 완전히 일치한 경우에는 “+1.0”이 된다. 템플릿 매칭의 처리는 Δx, Δy를 탐색범위(가로 Mx, 세로 My)내에서 주사한 경우에, 즉 「-Mx≤Δx≤+Mx, -My≤Δy≤+My」로 변화시킨 경우에, 정규화 상관값 r(Δx, Δy)이 가장 커지는 위치의 변화량(Δx, Δy)을 검출하는 처리이다.

또, 탐색범위 Mx, My는 검출하는 TV 카메라의 광축 방향의 변화의 최대량을 나타내고, 실험적으로 구해져, 예컨대 Mx=50, My=50으로 한다(예컨대, 비특허문헌1 참조.).

도 3의 (B)에 있어서, 위치(81)는 설정한 템플릿의 위치이며, 위치(82)는 템플릿 매칭법에 의해서 검출된 위치이다. 즉, 검출 조건의 설정시에는 위치(81)에 있던 템플릿 화상이 TV 카메라(1)의 흔들림 등에 의해서 광축 방향이 변화하여, 위치(82)로 이동하고 있다. 따라서, 템플릿 매칭시에 얻어진 일치도가 가장 커지는 위치의 변화량(Δx, Δy)이 TV 카메라의 광축 방향의 변화량이다.

다음에, 기준 배경 화상 위치 보정 단계에서는 TV 카메라(1)의 광축 방향의 변화량(Δx, Δy)에 근거하여 「g’(x, y)=g(x-Δx, y-Δy)」로 되는 평행 이동을 하여, 기준 배경 화상의 입력 화상에 대한 위치의 어긋남을 보정한다(단계 S4). 여기서, g(x, y)는 보정전의 기준 배경 화상을 나타내고, g’(x, y)는 보정후의 기준 배경 화상을 나타낸다. 이러한 보정을 하는 이유는, 본 실시예에서는 입력 화상의 휘도의 변화 영역의 검출에 차분법을 이용하고 있고, TV 카메라(1)의 흔들림 등에 의해서 광축 방향이 변화하면 입력 화상과 기준 배경 화상의 위치의 어긋남이 발생하여, 그대로 차분 처리를 실행하면 위치 어긋남을 일으킨 장소에서 큰 차분이 발생하여 버리기 때문이다.

다음에, 위치가 보정된 기준 배경 화상을 이용하여 차분 처리가 실행되고(단계 S5), 이치화 처리가 실행된다(단계 S6).

다음에, 마스크 영역 위치 어긋남 보정 처리 단계에서는 상기한 기준 배경 화상 위치 보정 단계와 마찬가지로, TV 카메라(1)의 광축 방향의 변화에 의해서 발 생한 입력 화상과 마스크 영역의 위치의 어긋남을 보정한다(단계 S7).

예컨대, 마스크 영역을 m(x, y)로 한 경우, 「m’(x, y)=m(x-Δx, y-Δy)」가 되는 화상의 평행 이동을 하여, 위치의 어긋남을 보정한다. 여기서, m(x, y)는 보정전의 마스크 영역을 나타내고, m’(x, y)는 보정후의 마스크 영역을 나타낸다. 이와 같이 함으로써, TV 카메라(1)의 광축 방향의 변화가 발생하는 장면에서도 마스크 영역을 넓게 설정하지 않고 마스크 처리를 실행할 수 있다.

다음에, 위치가 보정된 마스크 영역을 이용하여 마스크 처리가 실행되고(단계 S8), 라벨링 처리가 실행되고(단계 S9), 처리 화상 표시 처리가 실행된다(단계 S10).

다음에, 경계 영역 보정 단계에서는 경계 영역의 위치를 TV 카메라(1)의 광축 방향의 변화량(Δx, Δy)만큼만 평행 이동시킨다(단계 S11). 본 예에서는, 예컨대 도 12에 도시되는 경계 영역(201)과 같이, 경계 영역을 직사각형으로 설정하고 있고, 좌/상의 좌표와 우/하의 좌표(다시말해, 대각의 관계에 있는 2개의 정점의 좌표)에 의해 해당 직사각형을 지정한다. 즉, 보정전의 경계 영역을「좌/상의 좌표(wx0, wy0)-우/하의 좌표(wx1, wy1)」로 한 경우에, 보정후의 경계 영역을「좌/상의 좌표(wx0-Δx, wy0-Δy)-우/하의 좌표(wx1-Δx, wy1-Δy)」로 함으로써, 경계 영역의 보정을 할 수 있다.

다음에, 크기 조건 산출 단계에서는, 예컨대 도 13을 참조하여 설명되는 것 같은 검출해야 할 물체의 기준의 크기에 대하여 보정을 한다(단계 S12). 해당 보정은, 예컨대 식 2 및 식 3에서 미리 설정한 기준물체의 위치 y1, y2에 대하여, 「 y1’=y1-Δy, y2’=y2-Δy」로 되는 변환을 하고, 이에 따라 얻어진 결과를「y1=y1’, y2=y2’」와 같이 y1, y2에 대입하여, 식 2 및 식 3에 적용함으로써 실행된다.

다음에, 속도 조건 산출 단계에서는 크기 조건 산출 단계에 의해서 얻어진 기준의 크기 dx3, dy3에 근거하여, 예컨대 dx3 및 dy3의 2/3의 값을 검출해야 할 물체의 속도의 정보로 한다.

다음에, 상기한 바와 같이 하여 보정된 물체의 검출 조건을 이용하여 물체가 존재하는지 여부를 판정하고(단계 S14), 존재한다고 판정한 경우에는 경보의 출력이나 모니터의 표시를 한다(단계 S15).

이상에 나타낸 단계 S4(기준 배경 화상의 위치의 보정), 단계 S7(마스크 영역의 위치의 보정), 단계 S11(경계 영역의 위치의 보정), 단계 S12(크기 조건의 보정), 단계 S13(속도 조건의 산출)의 각 처리에 의해, 본 예의 물체 검출 장치 및 물체 검출 방법에서는 예컨대 TV 카메라(1)가 바람에 흔들리는 경우나 TV 카메라(1)를 조작했을 때에 TV 카메라(1)의 광축 방향이 변화한 것 같은 경우에도, TV 카메라(1)의 광축 방향의 변화량을 자동적으로 검출하여, 광축 방향의 변화량에 근거하여 검출 조건을 보정할 수 있다. 따라서, TV 카메라(1)의 광축 방향의 변화에 의해서, 예컨대 불감대(不感帶)를 넓게 설정해야만 함으로써 물체를 검출할 수 있는 범위가 좁아져버리는 것 또는 변화 영역의 크기 판정이나 경계 영역내에 존재하는지 여부의 판정이 정확히 실행되지 않게 되어버리는 것을 해소할 수 있어, 신뢰성이 높은 정확한 물체 검출을 하는 것을 실현할 수 있다.

이상과 같이, 본 예에서는 TV 카메라(1)의 흔들림을 검출하여 보정할 수 있 다.

여기서, 본 예에서는 물체의 검출 조건의 기초가 되는 기준 배경 화상, 마스크 영역, 경계 영역 및 크기 조건에 관한 설정값 y1, y2 등의 위치를 비키어 놓은 것에 의해 보정을 했지만, 다른 구성예로서 물체의 검출 조건의 기초가 되는 정보를 보정하지 않고, 입력 화상쪽을 비키어 놓아 보정하는 것 같은 구성으로 하는 것도 가능하다.

또한, 본 예에서는 TV 카메라(1)의 촬상 렌즈(13)의 렌즈 제어를 고려하고 있지 않지만, 또다른 구성예로서 렌즈 제어를 고려하여 초점거리의 변화량 r을 산출하여, 마스크 영역 등의 크기를 r배로 하는 것 같은 처리를 조합시켜 실행하는 것도 가능하다.

[실시예 2]

본 발명의 제 2 실시예에 따른 물체 검출 장치 및 물체 검출 방법을 설명한다.

본 예의 물체 검출 장치 및 물체 검출 방법에서는 미리 작성한 감시 영역 화상상에 마스크 영역, 경계 영역, 크기 정보의 기준의 검출 조건을 설정해 놓고, 감시원이 TV 카메라(1)의 화면각이나 광축 방향을 조작한 경우에 감시 영역 화상상에 설정한 기준 검출 조건에 근거하여 감시 조건을 산출한다.

도 4는 기준 검출 조건의 설정 처리의 플로우차트이다.

도 4를 이용하여, 기준 검출 조건의 설정 처리의 흐름의 일례를 설명한다.

우선, 초기화 처리 단계에서는 설정 처리를 실행하기 위한 외부기기, 변수, 화상 메모리 등의 초기화를 실행한다(단계 S21).

다음에, 설정 읽어들임 처리 단계에서는 예컨대 외부 기억 장치(4)에 기록한 기준 검출 조건의 설정을 읽어 낸다(단계 S22). 여기서, 기준 검출 조건을 처음으로 설정하는 경우에는 초기화 처리 단계에서 초기화된 기준 검출 조건의 상태로 설정작업을 개시하고, 두번째 이후부터는 마지막에 설정한 기준 검출 조건이 읽어 내어져 설정작업이 시작된다.

다음에, 카메라운대 제어 단계(단계 S23)부터 영역 스캔 완료 판정 단계(단계 S25)까지는 TV 카메라(1)의 기준이 되는 화면각으로부터 소정범위의 화상을 입력하는 처리를 한다.

구체적으로는 카메라운대 제어 단계에서는 기준이 되는 화면각의 예컨대 50%의 범위를 9회로 나누어 스캔하기 위해서 운대를 제어한다(단계 S23). 일례로서, 촬상 소자로서 1/2형 CCD(소자 사이즈 가로 6.4mm, 세로 4.8mm)를 사용하고, 초점거리를 10mm로 한 경우, 기준이 되는 화면각은 가로 방향 35.5°, 세로 방향 27.0°가 된다. 카메라운대 제어 단계에서는 처리가 실행될 때마다, 기준이 되는 화면각으로부터 왼쪽으로 17.75° 및 위로 13.50°, 위로 13.50°, 오른쪽으로 17.75° 및 위로 13.50°, 왼쪽으로 17.75°, 이동 없음, 오른쪽으로 17.75°, 왼쪽으로 17.75° 및 아래로 13.50°, 아래로 13.50°, 오른쪽으로 17.75° 및 아래로 13.50°로 카메라운대(12)를 제어한다.

다음에, 화상 입력 단계에서는 TV 카메라(1)로부터, 예컨대 가로 320화소, 세로 240화소의 입력 화상을 얻는다(단계 S24).

다음에, 영역 스캔 완료(종료) 판정 단계에서는 카메라운대 제어가 소정의 회수(본 예에서는 9회) 실행된 경우에는 화상 합성 처리 단계(단계 S26)로 분기하고, 한편 소정의 회수 실행되어 있지 않은 경우에는 카메라운대 제어 단계(단계 S23)로 분기한다(단계 S25).

이상의 처리를 완료하면, 도 5의 (A) 내지 (I)에 도시한 것 같은 각 화상(91 내지 99)을 얻을 수 있다.

다음에 화상 합성 처리 단계에서는 도 5에 도시된 화상(91 내지 99)을 합성하여 1 프레임의 화상으로 한다(단계 S26).

본 예에서는 각 화상(91 내지 99)이 화상사이즈의 50%만큼 겹치도록 합성함으로써, 도 6에 도시한 것 같은 1 프레임의 화상을 생성할 수 있다. 이렇게하여 합성한 화상은 기준이 되는 화면각의 상하좌우를 50% 확대한 것으로, 이 화상을 감시 영역 화상이라고 부르고 설명한다.

여기서, 본 예에서는 스캔회수 9회, 중첩량 50%로 감시 영역 화상을 작성했지만, 다른 형태가 이용되어도 무방하고, 예컨대 스캔회수를 25회(가로 방향, 세로 방향 5분할)로 하는 것이나, 중첩량을 75%로 하는 것 등도 가능하다. 또, 기준이 되는 화면각에 대하여 감시 영역 화상을 지나치게 넓게 설정하면, 카메라의 시차(視差)의 영향으로 화상의 합성이 곤란해지는 경우도 있기 때문에, 예컨대 감시 영역 화상은 기준이 되는 화면각에 대하여 상하좌우 50% 정도에 멈추게하는 것이 바람직하다. 또한, 예컨대 시(視点) 고정형 카메라를 이용함으로써 이러한 시차의 문제를 해소하는 것도 가능하다. 시점 고정형 카메라는 팬틸트(pan tilt) 제어를 하더라도 시점위치가 일정하게 되도록 설계된 카메라이며, 이 카메라를 사용하면 광축 방향이 변화하더라도 카메라의 시점위치가 변화하지 않아 시차가 발생하지 않는다. 이러한 시점 고정형 카메라를 응용한 것도 검토되고 있다(예컨대, 비특허문헌 2 참조.).

다음에, 마스크 영역 설정 단계에서는 화상 합성 처리 단계에 의해서 합성된 감시 영역 화상에 대하여 마스크 영역을 설정한다(단계 S27). 마스크 영역은, 예컨대 감시원이 조작부(조작기)(3)를 이용하여, 다각형의 정점을 지정하는 것 등에 의해, 도 6의 (A)에 도시된 감시 영역 화상(101)중의 영역(111)과 같이, 바람 등에 흔들릴 가능성이 있는 초목의 부분을 둘러싸도록 지정한다.

다음에, 마스크 설정 완료 판정 단계에서는 감시원에 대하여 마스크 영역(111)의 설정조작이 완료했는지 여부를 예컨대 “YES”/“NO”(“예” 또는 “아니오”)를 선택할 수 있는 형식으로 문의하고, 감시원은 조작부(3)의 조작에 의해 마스크 영역(111)의 설정이 완료한 경우에는 “YES”를 선택하고, 마스크 영역(111)의 설정이 완료하지 않은 경우에는 “NO”를 선택한다(단계 S28). 이렇게하여, 마스크 설정 완료 판정 단계에서는 “YES”가 선택된 경우에는 경계 영역 설정 단계(단계 S29)로 분기하고, “NO”가 선택된 경우에는 마스크 영역 설정 단계(단계 S27)로 분기한다.

다음에, 경계 영역 설정 단계에서는 예컨대 건물의 입구나 부지의 문 등에, 구체예로서 도 6의 (A)에 도시된 감시 영역 화상(101)중의 영역(112), 영역(113), 영역(114) 등과 같이, 특히 경계 레벨이 높은 영역을 지정한다(단계 S29). 이러한 경계 영역(112 내지 114)에 침입물체가 존재하는지 여부의 정보는 경보·모니터 표시 단계(도 7의 단계 S58)의 경보의 종류에 반영되고, 예컨대 경계 영역(112 내지 114)내에 침입물체가 존재하는 경우에는 경고등(6)을 빨갛게 점등시키고, 경계 영역(112 내지 114)내에 침입자가 존재하지 않은 경우에는 경고등(6)을 노란색으로 점등시키는 등 한다.

다음에, 경계 영역 설정 완료 판정 단계에서는 상기한 마스크 설정 완료 판정 단계(단계 S28)와 같이, 경계 영역(112 내지 114)의 설정이 종료했는지 여부를 감시원에게 선택시키고, 경계 영역(112 내지 114)의 설정이 종료한 경우에는 크기 설정 단계(단계 S31)로 분기하고, 경계 영역(112 내지 114)의 설정이 종료하지 않은 경우에는 경계 영역 설정 단계(단계 S29)로 분기한다(단계 S30).

다음에, 크기 설정 단계에서는 예컨대 도 13을 참조하여 설명되는 바와 같이, 침입물체의 기준이 되는 크기를 설정한다(단계 S31). 도 6의 (A)에 도시한 예에서는 직사각형(115), 직사각형(116)에 의해 설정된다. 다시말해, 감시원에 의해 설정된 직사각형(115), 직사각형(116)에 따라서, 도 13에 도시된 y1, y2 등의 값이 결정되어, 식 2 및 식 3의 연산을 하기 위한 파라미터의 준비가 완료한다.

다음에, 크기 설정 완료 판정 단계에서는 상기한 마스크 설정 완료 판정 단계(단계 S28)와 마찬가지로, 침입물체의 기준의 크기의 설정이 종료했는지 여부를 감시원에게 선택시키고, 크기의 설정이 종료한 경우에는 템플릿 설정 단계(단계 S32)로 분기하고, 크기의 설정이 종료하지 않은 경우에는 크기 설정 단계(단계 S31)로 분기한다(단계 S32).

다음에, 템플릿 설정 단계에서는 TV 카메라(1)의 광축 방향의 변화를 검출하기 위한 템플릿의 위치를 설정한다(단계 S33). 템플릿의 위치로서는, 예컨대 건물의 지붕이나 차양 등 바람 등에 흔들리지 않는 부분을 지정한다. 본 예에서는 바람직한 형태로서 도 6의 (A)에 도시된 복수의 직사각형(117), 직사각형(118), 직사각형(119), 직사각형(120)과 같이, 템플릿 위치를 복수 설정한다. 이 이유는 TV 카메라(1)의 촬상 렌즈(13)를 조작한 경우나 광축 방향이 변해버린 경우에도 화면내에 적어도 하나 이상의 템플릿이 비치도록 하기 위해서이다. 또, 복수의 템플릿을 이용하여 매칭을 하는 것에 의해, 매칭의 정밀도를 향상시키는 것이 가능하다(예컨대, 특허문헌1 참조.).

다음에, 템플릿 설정 완료 판정 단계에서는 상기한 마스크 설정 완료 판정 단계(단계 S28)와 같이, TV 카메라(1)의 광축 방향의 변화를 검출하기 위한 템플릿의 위치의 설정이 종료했는지 여부를 감시원에게 선택하도록 하여, 템플릿 위치의 설정이 종료한 경우에는 설정 보존 처리 단계(단계 S35)로 분기하고, 템플릿 위치의 설정이 종료하지 않은 경우에는 템플릿 설정 단계(단계 S33)로 분기한다(단계 S34).

그리고, 설정 보존 처리 단계에서는 상기한 카메라운대 제어 단계(단계 S23)에서 템플릿 설정 완료 판정 단계(단계 S34)까지에서 얻어진 화상 및 기준이 되는 검출 조건의 정보를, 예컨대 외부 기억 장치(4)에 보존한다.

이상에 의해, 기준 검출 조건의 설정이 완료한다.

도 7은 본 예에 따른 처리 프로세스를 설명하는 플로우차트이다.

동 도면에 도시한 처리 프로세스는, 예컨대 도 2에 도시된 차분법을 응용한 감시방식의 처리 프로세스와 마찬가지인 동작이 실행되는 단계 S41(초기화 처리), 단계 S43(화상 입력 처리), 단계 S48(차분 처리), 단계 S49(이치화 처리), 단계 S51(마스크 처리), 단계 S52(라벨링 처리), 단계 S53(처리 화상 표시), 단계 S57(물체 존재 판정 처리), 단계 S58(경보·모니터 표시 처리)의 처리순서와, 도 2에 도시된 다른 단계 S3, S4, S7, S 11, S12, S 13의 처리와 동등한 처리를 감시 영역 화상(101)의 좌표계로 변환하여 실행하는 단계 S46(광축 방향 변화량 검출 처리), 단계 S47(기준 배경 화상 위치 보정 처리), 단계 S50(마스크 영역 위치 어긋남 보정 처리), 단계 S54(경계 영역 보정 처리), 단계 S55(크기 조건 산출 처리), 단계 S56(속도 조건 산출 처리)의 처리순서에, 소정의 단계 S42, S44, S45의 처리순서를 추가한 것으로 되어 있다. 이 때문에, 본 예에서는 도 2에 도시된 처리 프로세스와는 다른 처리순서(단계 S42, S44, S45)에 대하여 자세히 설명하고, 마찬가지인 처리순서에 있어서는 설명을 생략 또는 간략화한다.

우선, 초기화 처리가 실행된다(단계 S41).

다음에, 카메라운대 제어 단계에서는 감시원에 의한 조작부(3)의 조작을 입력하여, 카메라운대(12) 및 촬상 렌즈(13)를 제어한다(단계 S42). 카메라운대 제어 단계에서는 예컨대 조작부(3)의 조이스틱(41) 등을 감시원이 상하좌우로 움직이면, 그것에 연동하여 카메라운대(12)를 제어하여, TV 카메라(1)의 광축을 상하좌우로 변화시킨다. 또한, 조작부(3)에 부속하는 버튼(42, 43)을 감시원이 누르면, 촬 상 렌즈(12)의 초점거리를 길게 하거나, 또는 짧게 한다. 이에 따라, 줌업이나 줌아웃이 실행되어, TV 카메라(1)의 화면각을 바꾸는 것이 가능해진다.

또, 본 예에서는 카메라운대 제어 단계로서, 사용자의 조작에 의해 카메라의 팬ㆍ틸트 및 줌 제어가 실행되는 구성으로 했지만, 다른 구성예로서, 검출한 물체의 화상상에서의 위치, 크기 및 이동량 등에 따라 자동적으로 팬ㆍ틸트나 줌 제어를 하는 것 같은 구성이 이용되어도 무방하다.

다음에, 화상 입력 처리가 실행된다(단계 S43).

다음에, 화면각 변화 산출 단계에서는 기준 검출 조건을 설정했을 때의 촬상 렌즈(12)의 초점거리와 화면각 조작후의 촬상 렌즈(12)의 초점거리의 비로부터, TV 카메라(1)의 화면각 변화를 산출한다(단계 S44). 예컨대, 기준 검출 조건을 설정했을 때의 촬상 렌즈(12)의 초점거리 f0가 10mm이며, 화면각 변화후의 촬상 렌즈(12)의 초점거리 f1이 12mm인 경우에는, 화면각의 변화량 r로서는 f=f1÷f0=1.2배(시야의 각도는 가로 방향이 35.49°에서 29.96°)로 변화한 것이 된다.

다음에, 감시 영역 화상 사이즈 보정 단계에서는 TV 카메라(1)의 화면각의 변화를 보정하기 위해서, 감시 영역 화상 s(x, y)의 크기를 r배하고, 이것을 s’(x, y)로 하여, 감시 영역 화상의 크기를 보정한다(단계 S45). 여기서, 본 예에서는 감시 영역 화상에 대하여, 화상의 수평 방향을 x축으로 하고, 화상의 수직 방향을 y축으로 하고, 감시 영역 화상의 좌/상의 점을 원점(0,0)으로 한 경우에 있어서의 좌표 s(x, y)로 나타낸다. 그리고, 본 예에서는 감시 영역 화상의 좌표계를 기준으로 하여 처리를 한다.

다음에, 광축 방향 변화량 검출 단계에서는 감시 영역 화상상에 설정한 광축 방향의 변화를 검출하기 위한 템플릿을 이용하여, 현재의 TV 카메라(1)의 광축의 변화를 검출한다(단계 S46).

예컨대, 감시 영역 화상 s(x, y)상에 설정한 템플릿의 위치를 (xt, yt)로 하고, 그 종횡의 크기를 (sx, sy)라고 하면, 상기한 감시 영역 화상 사이즈 보정 단계(단계 S45)에 의해서 화면각 변화를 보정한 감시 영역 화상 s’(x, y)상에서는, 템플릿의 위치는 (r×xt, r×yt)가 되고, 그 종횡의 크기는 (r×sx, r×sy)가 된다. 이 화면각 변화를 보정한 감시 영역 화상 s’(x, y)상의 템플릿을 이용하여, 템플릿 매칭의 방법에 의해 입력 화상을 주사하여, 매칭하는 위치 (xm, ym)을 검출한다.

매칭한 위치 (xm, ym)은 화면각 변화를 보정한 감시 영역 화상 s’(x, y)상에서의 템플릿의 위치(r×xt, r×yt)와 일치하기 때문에, TV 카메라(1)가 흔들려 카메라의 광축이 시시각각 변화하는 것 같은 장면에서도, 감시 영역 화상속에서는 템플릿을 일정한 위치로 파악할 수 있다.

즉, TV 카메라(1)가 흔들려 카메라의 광축이 변화하더라도, 감시 영역 화상 s’(x, y)위에서 입력 화상의 위치를 결정할 수 있다. 또, 입력 화상의 좌/상의 좌표는 감시 영역 화상 s’(x, y)상의 (r×xt-xm, r×yt-ym)으로 표시된다. 즉, 상기한 매칭하는 위치 (xm, ym)은 입력 화상상에서의 템플릿 위치의 좌/상의 좌표(여기서, 좌표축은 입력 화상의 좌/상을 원점(0,0)으로 함)로 표시되고, 이 매칭위치가 감시 영역 화상 s’(x, y)상의 템플릿 위치 (r×xt, r×yt)와 일치하기 때문 에, 입력 화상의 좌/상의 좌표는 감시 영역 화상 s’(x, y)상에서는 (r×xt-xm, r×yt-ym)이 된다.

또한, 입력 화상을 감시 영역 화상 s’(x, y)위의 좌표계로 변환하여 감시 영역 화상 s’(x, y)상에서 설정한 기준 검출 조건과 비교평가함으로써, TV 카메라(1)의 화면각을 조작한 경우나, TV 카메라(1)가 흔들리는 것 같은 경우에서도 침입물체의 검출 처리를 실행하는 것이 가능해진다.

여기서, 상기한 광축 방향 변화량 검출 처리(단계 S46)에서는 도 6의 (A)에 도시된 바와 같이 복수의 템플릿(117 내지 120)을 준비하고, 그 중에서 어느 하나의 템플릿을 이용하여 입력 화상과의 매칭을 하여, 매칭위치를 결정한다. 이 처리의 (패턴예 1), (패턴예 2), (패턴예 3)을 나타낸다.

(패턴예 1)에서는, 모든 템플릿을 이용하여 입력 화상과의 매칭을 하고, 정규화 상관값이 가장 커지는 위치 (xm, ym)와, 그 때에 사용한 템플릿을 특정한다. 또, 이 패턴예에서는 처리 시간이 길어지는 경우도 있다.

(패턴예 2)에서는, 입력 화상내에 존재하는 템플릿만을 대상으로 하여 매칭을 하고, 정규화 상관값이 가장 커지는 위치 (xm, ym)을 특정한다. 예컨대, 도 6의 (A)의 감시 영역 화상의 좌표계에 있어서의 입력 화상의 크기 및 위치에 대해서는 초기의 위치로부터 얼마만큼 팬 또는 틸트시켰는가라고 하는 카메라운대(12)의 제어 정보와, 촬상 렌즈(13)의 초점거리의 정보로부터, 일의(一意)로 결정하는 것이 가능하다. 이 때문에, 입력 화상내의 템플릿을 선택하는 것이 가능하다.

(패턴예 3)에서는, 상기한 (패턴예 2)에서 추가로 TV 카메라(1)의 흔들림을 고려한다. 구체적으로는, 입력 화상과 비교해서 (예컨대, 조금) 큰 범위를 설정하고, 그 범위내에 존재하는 템플릿만을 대상으로 하여 매칭을 하여, 정규화 상관값이 가장 커지는 위치 (xm, ym)을 특정한다.

다음에, 기준 배경 화상 위치 보정 단계에서는 감시 영역 화상 s’(x, y)으로부터 예컨대(r×xt-xm, r×yt-ym) 내지 (r×xt-xm+319, r×yt-ym+239)의 범위의 화상을 추출하고, 이것을 기준 배경 화상으로 한다(단계 S47). 또, 본 예에서는 처리하는 화상의 사이즈가 가로 320화소, 세로 240화소라고 한다.

여기서, 도 2에 도시된 기준 배경 화상 위치 보정 처리(단계 S4)에서는 미리 작성한 기준 배경 화상을 평행 이동함으로써 TV 카메라(1)의 광축 방향의 변화를 보정하기 때문에, 평행 이동에 의해서 화소가 화상으로부터 밀려 나와 처리에 사용하는 것이 가능한 화소가 감소하는 데 대하여, 본 예의 기준 배경 화상 위치 보정 처리(단계 S47)에서는 처리하는 화상보다 넓은 범위로 작성한 감시 영역 화상으로부터 기준 배경 화상을 추출하기 때문에, 화소를 감소시키지 않고 차분 처리를 실행할 수 있다.

다음에, 차분 처리가 실행되고(단계 S48), 이치화 처리가 실행된다(단계 S49).

다음에, 마스크 영역 위치 어긋남 보정 단계에서는 상기한 기준 배경 화상 위치 보정 단계(단계 S47)와 마찬가지로, 감시 영역 화상 s’(x, y)상에 설정한 마스크 영역을 (r×xt-xm, r×yt-ym) 내지 (r×xt-xm+319, r×yt-ym+239)의 범위에서 추출하고, 계속되는 마스크 처리 단계(단계 S51)의 마스크 화상으로서 적용한다(단 계 S50).

다음에, 마스크 처리가 실행되고(단계 S51), 라벨링 처리가 실행된다(단계 S52).

다음에, 경계 영역 보정 단계에서는 상기한 기준 배경 화상 위치 보정 단계(단계 S47)와 마찬가지로, 감시 영역 화상 s’(x, y)상에 설정한 경계 영역을 (r×xt-xm, r×yt-ym) 내지 (r×xt-xm+319, r×yt-ym+239)의 범위에서 추출하고, 계속되는 물체 존재 판정 단계(단계 S57)에서 경계 영역내에 침입물체가 존재하는지 여부의 판정 조건으로서 적용한다(단계 S54).

여기서, 도 8에는 상기한 마스크 영역 위치 어긋남 보정 처리(단계 S50) 및 경계 영역 보정 처리(단계 S54)의 구체예를 도시하고 있다.

도 8의 (A)에는 감시 영역 화상(131)에 대하여 설정되어 있는 마스크 영역(또는, 경계 영역)(141)의 일례를 도시하고 있다. 도 8의 (B)에는 또한 입력 화상의 범위(142)를 도시하고 있다. 그리고, 도 8의 (C)에는 입력 화상의 범위(142)에 근거하여 마스크 영역(또는, 경계 영역)(141)으로부터 잘라내어지는 영역을 사선으로 나타내고 있다. 일례로서, 도 8의 (D)에 도시된 바와 같이, 입력 화상상에서의 마스크 영역의 각 정점의 좌표를 파악하는 것 같은 형식을 이용할 수 있고, 다른 예로서 도 8의 (E)에 도시된 바와 같이 입력 화상의 각 화소를 주사하여 마스크 영역내의 화소를 파악하는 것 같은 형식을 이용할 수 있고, 또는 다른 형식이 이용되어도 무방하다.

다음에, 크기 조건 산출 단계에서는 차분법에 의해 검출된 변화 영역의 외접 직사각형(예컨대, 도 10의 (D)에 도시된 직사각형(184))의 좌표를 감시 영역 화상 s’(x, y)위의 좌표로 변환하여, 침입물체의 기준이 되는 크기를 산출한다(단계 S55). 여기서, 예컨대 도 13의 (B)에 도시된 바와 같은 외접 직사각형(223)이 검출되었다고 하면, 검출 결과로부터 얻어지는 화상의 하단에서 외접 직사각형(223)의 하단까지의 거리 y3은 화면각 변화를 보정한 감시 영역 화상 s’(x, y)상에서 거리 y3’=480-(r×yt-ym+240)+y3이 되고, 감시 영역 화상 s(x, y)상의 좌표계에서는 y 3"=y3÷r이 된다. 또, 입력 화상의 사이즈를 가로 320화소, 세로 240화소로 하고, 감시 영역 화상의 사이즈를 가로 640화소, 세로 480화소(기준이 되는 화면각의 상하좌우 50% 확대)로 한다. 따라서, y=y3"으로 하고, 식 2 및 식 3을 적용함으로써, 감시 영역 화상 s(x, y)위에서의 기준의 크기 dx3, dy3이 산출되고, 입력 화상상에서는 기준인 크기는 dx3’=dx3×r, dy3’=dy3×r이 산출된다.

다음에, 속도 조건 산출 단계에서는 예컨대 상기한 크기 조건 산출 단계에서 산출된 입력 화상상에서의 기준인 크기 dx3’, dy3’의 2/3배값을 검출해야 할 물체의 속도의 정보로 한다(단계 S56).

그리고, 물체 존재 판정 처리가 실행되고(단계 S57), 경보·모니터 표시 처리가 실행된다(단계 S58). 경계 영역 보정 처리(단계 S54), 크기 조건 산출 처리(단계 S55), 속도 조건 산출 처리(단계 S56)에서 산출된 검출 조건은 물체 존재 판정 처리(단계 S57)에서 사용되고, 차분법에 의해서 검출된 변화 영역이 검출해야 할 물체인지 여부가 판정된다.

이상과 같이, 본 예에서는 TV 카메라(1)의 흔들림이나 초점거리의 변화를 검 출하여 보정할 수 있다. 또한, 본 예에서는 미리 넓은 화면각에 대응하여 검출 조건을 준비함으로써, 적절한 보정을 할 수 있다.

여기서, 본 예에서는 렌즈의 초점거리의 변화량 r에 따라 감시 영역 화상의 크기를 보정하는 구성을 나타냈지만, 다른 구성예로서 입력 화상의 크기를 1/r배하는 것 같은 구성으로 하는 것도 가능하다.

또한, 본 예에서는 도 4에 도시된 카메라운대 제어 처리(단계 S23)에서 화상 합성 처리(단계 S26)까지의 처리에 의해, 도 5에 도시된 복수의 화상(91 내지 99)으로 이루어지는 화상군으로부터 합성에 의해 도 6의 (A)에 도시된 것 같은 감시 영역 화상(101)을 생성하는 구성을 나타냈지만, 다른 구성예로서 촬상 렌즈(13)를 줌아웃하여, 도 6의 (A)에 도시된 화상(101)의 화면각에 상당하는 화상을 한 번의 촬영으로 취득하는 것 같은 구성으로 하는 것도 가능하다. 또한, 도 6의 (B)를 예로 들어 설명하면, 화상(102)의 화면각으로 촬영하여 감시 영역 화상을 취득하는 경우에는 통상의 처리에서의 화면각(예컨대, 도 7의 플로우의 실행시에 있어서의 화상(121)이나 화상(122)의 화면각)과 비교해서 고선명(고화소)인 화상을 얻을 수 있는 것 같은 촬영 모드를 이용하는 것도 가능하다.

또한, 도 5에 도시된 화상(91 내지 99)으로부터 도 6의 (A)에 도시된 감시 영역 화상(101)을 합성하는 예를 참조하여, 팬·틸트·줌의 제어량으로부터 절대좌표를 산출하는 방법의 일례를 나타낸다.

즉, 본 예에서는 촬상 소자로서 1/2형 CCD(소자 사이즈가 가로 6.4mm, 세로 4.8mm)를 사용하고, 초점거리를 10mm로 하여 도 6의 (A)에 도시된 바와 같은 감시 영역 화상(101)을 합성한다. 이 경우, 입력 화상의 화면각은 가로 방향 35.5°, 세로 방향 27.0°이 되고, 상하좌우 50%의 중첩량으로 합성하고 있기 때문에, 감시 영역 화상(101)은 가로 방향 71.0°, 세로 방향 54.0°의 화면각을 갖는다. 또한, 입력 화상의 화소수가 가로 320화소, 세로 240화소라고 하면, 감시 영역 화상(101)은 가로 640화소, 세로 480화소로 구성된다. 따라서, 감시 영역 화상(101)은 1화소당 가로 0.055°/pix, 세로 0.056°/pix의 분해능을 갖는다. 일례로서, 감시 영역 화상(101)의 중심을 TV 카메라(1)의 방향의 원점(팬 0°, 틸트 0°)으로 하고, 카메라운대(12)의 조작에 의해서 팬이 -5°로 변하고, 틸트가 +3°로 변하고, 초점거리가 15mm로 변했다고 한다. 그러면, 입력 화상의 중심은 감시 영역 화상(101)의 좌표계에서 (640÷2-5÷0.055, 480÷2+3÷0.056)=(229, 294)로 이동한다. 또한, 초점거리가 변한 것에 의해서, 입력 화상의 화면각은 가로 방향 24.1°, 세로 방향 18.2°가 됨으로써, 입력 화상의 화면각은 감시 영역 화상(101)의 좌표계에서 가로 24.1÷0.055=438화소에 상당하고, 세로 18.2÷0.056=325화소에 상당한다. 즉, 입력 화상은 감시 영역 화상(101)의 (229-438÷2, 294-325÷2)~(229+438÷2, 294+325÷2)=(10, 131)~(448, 456)의 범위에 있는 것을 알 수 있다.

또한, 템플릿 또는 팬·틸트·줌의 제어량 이외의 정보로부터 절대좌표를 특정할 수 있는 방법의 일례를 나타낸다.

즉, 절대좌표를 팬·틸트·줌의 제어량 및 템플릿을 이용한 매칭 처리에 의해서 산출하는 것이 가능하지만, 다른 구성예로서 예컨대 도어 등과 같이 감시 영역내에 존재하는 특정한 물체에 착안하여, 문손잡이의 위치나 도어의 겉보기의 크 기 등을 이용하여 절대좌표를 산출하는 것 같은 구성으로 하는 것도 가능하다. 예컨대, 줌의 제어량을 이용하는 대신에, 화면각 변화전과 화면각 변화후에서의 착안물체의 화상상에서의 겉보기의 크기의 변화량을 이용하도록 해도, 화면각의 변화의 양을 검출하는 것이 가능하다.

이와 같이, 템플릿을 이용하여 현재에서의 입력 화상의 위치나 크기를 파악하는 방법이외에, 예컨대 템플릿을 이용하지 않고, 카메라의 선회(팬, 틸트)의 정보나 줌의 정보로부터, 현재의 입력 화상의 위치 및 크기를 파악하는 것도 가능하다. 또, 카메라의 선회 정보나 줌 정보로부터라면, 예컨대 카메라의 흔들림에 대응하는 것은 불가능하다. 또한, 템플릿을 이용한 처리에 있어서, 카메라의 선회(팬, 틸트)의 정보 등을 병용하는것 같은 일도 가능하다.

또한, 템플릿 또는 카메라의 선회(팬, 틸트) 정보나 줌 정보에 의하지 않고, 기준위치에 대한 현재에서의 입력 화상의 위치를 파악할 수 있는 다른 처리를 해도 무방하고, 이에 따라 미리 넓은 화면각으로 준비된 검출 조건을 이용하는 것이 가능하다.

또한, 검출 조건의 전환이나 갱신 방법의 일례를 나타낸다.

즉, 본 예에서는 감시 영역 화상(101)에 대하여 설정한 한가지의 검출 조건을 이용하여 침입물체의 감시를 하는 구성으로 했지만, 다른 구성예로서 복수의 검출 조건을 이용해도 무방하다. 예컨대, 낮용, 저녁용, 밤용 검출 조건을 설정해 놓고, 시간마다 전환하는 것이 가능하고, 또한 풍력계 등의 외부센서로부터의 정보를 바탕으로, 바람이 없을 때에는 일시적으로 마스크 영역을 무효로 하는 것 같은 것도 가능하다. 또한, 침입물체의 검출 처리의 결과에 근거하여, 예컨대 침입물체 이외의 검출 영역, 즉 입력 화상의 휘도와 기준 배경 화상의 휘도와의 차가 소정의 임계값 이상이 되는 영역을 마스크 영역에 추가하여 검출 조건을 갱신하는것 같은 일도 가능하다.

다음에, 이상의 실시예(제 1 실시예 및 제 2 실시예)에 따른 효과의 구체예를 나타낸다.

도 6의 (A), (B) 및 도 9의 (A), (B) 및 (C)를 참조하여, 본 실시예의 효과를 나타낸다.

도 6의 (A)에는 도 4를 참조하여 설명되는 바와 같이, 감시 영역 화상(101)과, 감시 영역 화상(101)상에 설정한 각종 기준 검출 조건(111) 내지 (120)의 일례를 도시하고 있다. 도 6의 (B)에는 기준이 되는 화면각(121)과, 감시원의 화면각(122)과, 광축 방향의 조작에 의한 촬상 장치(1)의 촬상범위(102)의 일례를 도시하고 있다.

도 9의 (A)에는 화면각, 광축 방향의 조작전의 화면각에서의 검출 조건(161 내지 163)을 입력 화상(151)에 중첩하여 표시한 것을 도시하고 있다. 도 9의 (B)에는 본 발명의 제 1 실시예에 따른 처리를 적용한 경우에 얻어지는 검출 조건(161a 내지 161c)을 입력 화상(152)에 중첩하여 표시한 것을 도시하고 있다. 도 9의 (C)는 본 발명 제 2 실시예에 따른 처리를 적용한 경우에 얻어지는 검출 조건(164, 162a, 165 내지 167)을 입력 화상(153)에 중첩하여 표시한 것을 도시하고 있다.

도 6의 (A)에서는 마스크 영역(111), 경계 영역(112 내지 114), 검출해야 할 침입물체의 기준이 되는 크기(115, 116), 광축 방향의 변화를 검출하기 위한 템플릿(117 내지 120)을 도시하고 있다. 일례로서, 통상시에 있어서의 감시 대상이 건물의 입구에 출입하는 침입물체이며 도 6의 (B)에 도시된 화면각(121)이 이용된다고 하고, 어느 때, 감시원이 통상시에 있어서의 건물의 입구와 부지의 문을 동시에 감시하기 위해서, 도 6의 (B)에 도시된 화면각(122)으로 변경하는 것을 상정한다. 여기서, 도 9의 (A)에 도시된 화상(151)은 통상시에 있어서의 화면각이며, 해당 화면각에 대하여 마스크 영역(161), 경계 영역(162), 광축의 변화를 검출하기 위한 템플릿(163)이 설정되어 있다. 이 때에, 감시원이 도 6의 (B)에 도시된 화면각(122)으로 변경했다라고 하면, 예컨대 종래의 검출 조건에 대하여 본 발명의 제 1 실시예에 따른 처리를 적용한 경우(여기서는 추가로 렌즈 제어를 고려한 경우)에는 검출 조건을 TV 카메라(1)의 광축 방향의 변화량만큼 평행 이동시키기 때문에, 검출 조건은 도 9의 (B)에 표시되게 된다.

도 9의 (B)에서 마스크 영역(161a)에서는 초목이 존재하는 영역을 모두 덮는 것은 불가능하여, 초목의 일부가 마스크 영역(161a)의 밖에도 존재하게 되고, 이 때문에 초목의 흔들림을 침입물체로서 오류 검출할 가능성이 있다. 또한, 화면각 변화에 의해서, 실제로는 경계 영역인 부지의 문이 촬상되게 되지만, 여기는 경계 영역으로서는 설정되지 않고, 실제로는 경계 영역인 영역내의 침입물체를 경계 영역내에는 존재하지 않는 것으로 하여 판정한다. 또한, TV 카메라(1)의 광축 방향의 변화를 검출하기 위한 템플릿(163a)은 화상(152)의 밖으로 밀려 나오게 되어, 광축 방향 변화량 검출 처리가 안정적으로 실행될 수 없게 된다.

한편, 본 발명의 제 2 실시예에 따른 처리를 검출 조건에 적용한 경우에는 도 9의 (C)에 도시된 바와 같이 감시 영역 화상상에 설정한 기준 검출 조건으로부터, 마스크 영역(164), 경계 영역(162a, 165), TV 카메라(1)의 광축 방향의 변화를 검출하기 위한 템플릿(166, 167)을 적절히 산출할 수 있다. 따라서, TV 카메라(1)의 화면각의 조작이나, 광축 방향의 변화가 일어나는 것 같은 경우에서도, 감시 영역 화상내의 범위라면, 불감대를 충분히 설정할 수 없게 되는 문제나, 경계 영역을 적절히 설정할 수 없게 되는 문제나, TV 카메라(1)의 광축 방향의 변화의 검출을 안정적으로 실행할 수 없게 되는 문제를 해소할 수 있다. 그리고, TV 카메라(1)의 화면각의 조작 및/또는 광축 방향의 변화에 맞춰 검출 조건을 산출할 수 있으므로, 신뢰성이 높은 정확한 물체 검출을 하는 것을 실현할 수 있다.

이상의 실시예(제 1 실시예 및 제 2 실시예)에 나타낸 바와 같이, 본 실시예에서는 촬상 장치(1)로부터 차차 입력하는 화상 신호에 근거하여 촬상 시야내의 물체를 검출하는 물체 검출 장치 및 물체 검출 방법에 있어서, 상기 화상 신호의 변화 영역을 검출하는 변화 영역 검출 처리와, 해당 촬상 장치(1)의 광축 방향의 변화의 양을 검출하는 광축 방향 변화량 검출 처리와, 해당 광축 방향의 변화에 근거하여 촬상 시야내의 물체를 검출하기 위한 검출 조건을 산출하는 검출 조건 산출 처리와, 상기 변화 영역이 해당 검출 조건을 만족시키는지 여부를 판정하는 물체 판정 처리를 하여, 상기 촬상 장치(1)의 촬상 시야내의 물체를 검출한다.

또한, 본 실시예에서는 촬상 장치(1)로부터 순차 입력하는 화상 신호에 근거 하여 촬상 시야내의 물체를 검출하는 물체 검출 장치 및 물체 검출 방법에 있어서, 상기 화상 신호의 변화 영역을 검출하는 변화 영역 검출 처리와, 해당 촬상 장치(1)의 화면각 변화의 양을 검출하는 화면각 변화량 검출 처리와, 해당 화면각 변화에 근거하여 촬상 시야내의 물체를 검출하기 위한 검출 조건을 산출하는 검출 조건 산출 처리와, 상기 변화 영역이 해당 검출 조건을 만족시키는지 여부를 판정하는 물체 판정 처리를 하여, 상기 촬상 장치(1)의 촬상 시야내의 물체를 검출한다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 상기 촬상 장치(1)는 해당 촬상 장치(1)의 화면각을 변화시키는 카메라운대(12)의 장치를 갖는다. 그리고, 상기 검출 조건 산출 처리에서는 상기 카메라운대(12)를 제어하여 해당 촬상 장치(1)의 화면각을 변화시킨 경우에 검출 조건을 산출한다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 상기 촬상 장치(1)는 해당 촬상 장치(1)의 화면각을 변화시키는 카메라운대(12)의 장치를 갖는다. 그리고, 상기 카메라운대(12)를 제어하여 해당 촬상 장치(1)의 화면각을 변화시키면서 입력한 화상 신호에 근거하여 감시 영역 화상을 작성하는 감시 영역 화상 작성 처리를 한다. 또한, 상기 검출 조건 산출 처리에 의해서 산출되는 검출 조건은 상기 감시 영역 화상에 대하여 설정된 기준 검출 조건 및 상기 촬상 장치(1)의 화면각에 근거하여 산출된다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 상기 검출 조건으로서는 물체의 검출을 하지 않는 영역을 지정하는 마스크 영역과, 검출한 물체의 중요도를 구별하는 경계 영역과, 검출해야 할 물체의 크기를 나타내 는 크기 정보와, 검출해야 할 물체의 이동속도를 나타내는 속도 정보의 적어도 하나를 포함한다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 상기 마스크 영역은 상기 감시 영역 화상상의 적어도 3점 이상의 정점을 가지는 다각형으로 표현된다. 그리고, 상기 검출 조건 산출 처리에서는 상기 화면각 변화 및 상기 광축 방향 변화에 근거하여, 해당 정점의 좌표를 상기 감시 영역 화상에 있어서의 좌표로부터 입력 화상에 있어서의 좌표로 변환한다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 앞서 검출한 물체의 중요도를 구별하는 경계 영역은 상기 감시 영역 화상상의 직사각형으로 표현된다. 그리고, 상기 검출 조건 산출 처리에서는 상기 화면각 변화 및 상기 광축 방향 변화에 근거하여, 해당 직사각형의 좌표를 상기 감시 영역 화상에 있어서의 좌표로부터 입력 화상에 있어서의 좌표로 변환한다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 상기 검출해야 할 물체의 크기를 나타내는 크기 정보는 상기 감시 영역 화상상의 직사각형으로 표현된다. 그리고, 상기 검출 조건 산출 처리에서는 상기 화면각 변화 및 상기 광축 방향 변화에 근거하여, 해당 직사각형의 좌표를 상기 감시 영역 화상에 있어서의 좌표로부터 입력 화상에 있어서의 좌표로 변환한다.

또한, 본 실시예에 따른 물체 검출 장치에서는, 예컨대 상기 속도 정보는 상기 크기 정보에 근거하여 산출된다.

또한, 본 실시예에서는 촬상 장치(1)로부터 순차 입력하는 화상 신호에 근거 하여 촬상 시야내의 물체를 검출하는 물체 검출 장치 및 물체 검출 방법에 있어서, 감시 시야 범위를 차차 촬상하는 촬상 장치(1)와, 촬상 장치(1)의 화면각을 변화시키는 카메라운대(12)의 장치와, 촬상 장치(1)가 취득한 영상 신호를 순차 화상 신호로 변환하는 화상 입력 인터페이스(21)와, 해당 화상 입력 인터페이스(21)에 의해서 변환된 상기 화상 신호를 처리하는 처리기능을 구비했다. 그리고, 해당 처리기능은 예컨대 상기 화상 신호의 변화 영역을 검출하고, 해당 촬상 장치(1)의 광축 방향의 변화나 화면각의 변화를 검출하여, 해당 광축 방향 변화나 해당 화면각 변화에 근거하여 촬상 시야내의 물체를 검출하기 위한 검출 조건을 산출하고, 상기 변화 영역이 해당 검출 조건을 만족시키는지 여부를 판정함으로써, 상기 촬상 장치(1)의 촬상 시야내의 물체를 검출한다.

따라서, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 TV 카메라(1)에 의해서 촬상되는 화상 신호로부터 변화 영역을 검출하고, 해당 TV 카메라의 광축의 방향의 변화 및/또는 화면각의 변화를 검출하고, 해당 광축 방향 변화나 해당 화면각 변화에 근거하여 촬상 시야내의 물체를 검출하기 위한 검출 조건을 산출하고, 상기 변화 영역이 해당 검출 조건을 만족시키는지 여부를 판정함으로써, 해당 TV 카메라(1)의 광축 방향이나 화면각이 변화한 것 같은 경우에서도 그 영향을 억제하여, 물체를 검출할 수 있다.

구체예로서, 종래에는 TV 카메라(1)의 광축 방향 변화나 화면각 조작에 의해서, 미리 설정한 검출 조건을 적용할 수 없게 될 가능성이 있었다. 그리고, 이러한 경우에는 불감대를 충분히 설정할 수 없게 되는 문제나, 변화 영역의 크기 판정 또는 경계 영역내에 존재하는지 여부의 판정을 정확히 실행할 수 없게 되는 문제가 발생하고, 검출 조건을 다시 설정하여 고쳐야 한다고 하는 번거로움이 있었다.

이것에 대하여, 본 실시예에서는 TV 카메라(1)의 광축 방향 변화나 화면각 조작을 검출하여, 변화의 양에 따라 검출 조건을 산출함으로써, TV 카메라(1)의 광축 방향 변화나 화면각 변화의 영향을 억제할 수 있어, 신뢰성이 높은 정확한 물체 검출을 할 수 있는 물체 검출 장치 및 물체 검출 방법을 실현할 수 있다.

이와 같이, 본 실시예에서는 카메라의 위치 어긋남(이동량)을 산출하여, 예컨대 마스크 영역, 경계 영역 및 배경 화상 등이라고 하는 물체의 검출 조건에 대하여, 해당 마스크 영역 등의 좌표를 보정함으로써, 해당 검출 조건을 상기 산출한 어긋남만큼만 이동시키는 것에 의해, 정확히 물체를 검출할 수 있다.

또한, 일구성예로서 넓은 시야를 가진 화상에 있어서, 물체의 검출 조건을 설정하고, 그리고 입력 화상 취득시에 있어서의 카메라의 화면각, 방향(넓은 시야 화상상에서의 위치)에 따라서, 입력 화상용 검출 조건을 산출함으로써, 정확히 물체를 검출할 수 있다. 또한, 넓은 시야를 가진 화상으로서, 예컨대 복수매의 화상을 서로 연결시킨 합성 화상을 이용할 수 있다.

또한, 일구성예로서 입력 화상 취득시에 있어서의 카메라의 화면각, 방향에 상관없이, 항상 입력 화상중에 설정한 템플릿을 하나 이상 포함하게 하기 위해서, 넓은 시야를 가진 화상상에서 위치 어긋남을 검출하기 위한 템플릿을 복수 설정하는 것을 실행한다.

또, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는 촬상 장치 (1)에 의해 촬상되는 화상(입력 화상)에 의해 물체 검출 대상이 되는 화상이 구성되고, 촬상 장치(1)에 의해 촬상되는 복수의 화상의 합성 결과(감시 영역 화상)에 의해 물체 검출 대상이 되는 화상과 비교해서 넓은 화상이 구성되고, 예컨대 사람 등의 침입물체의 화상에 의해 검출 대상이 되는 물체의 화상이 구성된다. 또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는 검출 조건으로서, 템플릿, 기준 배경 화상, 마스크 영역, 경계 영역, 크기 정보 및 속도 정보가 이용되고, 또한 기준이 되는 검출 조건이 감시 영역 화상에서 설정되고, 해당 기준 검출 조건에 근거하여 입력 화상에 대하여 물체의 화상을 검출하기 위해서 사용되는 검출 조건이 설정된다.

또한, 본 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 템플릿 매칭의 결과, 운대 제어부(23)의 동작 또는 렌즈 제어부(23)의 동작 등에 근거하여 MPU(26)가 입력 화상의 광축 방향의 변화나 화면각의 변화를 검출하는 기능에 의해 물체 검출 대상 화상 시야 변화 검출 수단이 구성되어 있고, MPU(26)가 예컨대 좌표의 보정을 하여 입력 화상에 대한 검출 조건을 설정하는 기능에 의해 검출 조건 설정 수단이 구성되어 있고, MPU(26)가 검출 조건을 사용하여 입력 화상으로부터 이동 등 하는 물체의 화상을 검출하는 기능에 의해 물체 화상 검출 수단이 구성되어 있고, 또한 촬상 장치(1)의 촬상부(11) 등의 기능에 의해 촬상 수단이 구성되어 있고, 촬상 장치(1)의 카메라운대(12)의 기능이나 촬상 렌즈(13)의 기능에 의해 화면각 변화 수단이 구성되어 있다.

이하에, 본 발명에 따른 기술의 배경을 나타낸다. 또, 여기서 기재하는 사 항은 반드시 모두가 종래의 기술이라고는 한정하지 않는다.

TV 카메라 등의 촬상 장치를 이용한 물체 감시 장치는 종래부터 널리 이용되고 있다. 이러한 물체 감시 장치를 이용한 감시 시스템에 있어서, 감시 시야내에 들어오는 인간이나 자동차 등의 침입물체의 검출을 감시원(오퍼레이터)이 모니터에 표시되는 화상을 보면서 실행하는 유인감시에서는 감시원의 숙련도, 건강 상태 등에 따라서 감시 능력에 차가 발생하여, 침입물체를 놓치는 등의 문제가 발생하는 경우가 있었다. 그래서, 종래의 유인감시가 아니라, 카메라 등의 화상 입력 수단으로부터 입력되는 화상으로부터 침입물체를 자동적으로 검출하여, 소정의 통보나 경보처치를 얻을 수 있도록 한 시스템이 요구되고 있다.

이러한 시스템을 실현하기 위해서는, 소정의 감시방식을 이용하여 침입자 등의 검출해야 할 감시 대상물체를 검출하는 기능이 필요해진다. 이러한 감시방식의 일례로서, 차분법이라고 불리는 방식이 종래부터 널리 이용되고 있다. 차분법이란 TV 카메라로부터 얻어진 입력 화상과 미리 작성한 기준 배경 화상, 즉 검출해야 할 물체가 비치고 있지 않은 화상을 비교하고, 화소마다 휘도값의 차분을 구하여, 그 차분값을 소정의 임계값에 의해서 임계값 처리하여, 차분값이 큰 영역을 변화 영역으로 하여 검출하는 것이다.

도 10 및 도 11을 참조하여, 상기한 차분법의 처리를 설명한다. 도 10은 차분법에 의해서 변화 영역을 검출하는 순서의 일례를 설명하기 위한 도이며, 도 11은 차분법을 응용한 감시방식의 전형적인 처리순서의 일례를 나타내는 플로우차트이다.

우선, 도 10을 이용하여, 차분법에 의해서 촬상 장치로부터 순차 입력되는 입력 화상의 휘도의 변화 영역을 검출하는 순서의 일례를 설명한다.

동 도면에 있어서, (A) 화상(171)은 촬상 장치로부터 순차 입력되는 입력 화상이며, (B) 화상(172)은 미리 준비한 검출해야 할 대상물체가 비치고 있지 않은 화상이다.

이들 2장의 화상(171) 및 화상(172)을 입력으로 하는 차분기(감산기)(175)에 의해서, 화소마다의 휘도값의 차분을 계산하여 (C) 차분 화상(173)을 얻는다. 다음에, 차분 화상(173)을 입력으로 하는 이치화기(176)는 차분 화상(173)의 각 화소를 임계값 Th(실험적으로 결정되고, 예컨대 Th=20)로 임계값 처리하여, 임계값 Th 미만의 화소의 화소값을 “0”으로 하는 한편, 임계값 Th 이상의 화소의 화소값을 “255”로 하여, (D) 이치화 화상(174)을 얻는다. 이것에 의해서, 입력 화상(171)에 비친 사람형의 물체(181)는 차분기(175)에 의해서 차분이 발생한 영역(182)(입력 화상의 휘도의 변화 영역)으로서 계산되어, 이치화기(176)에 의해서 화소값 “255”의 화상(183)으로서 검출된다. 차분법의 처리에 대해서는 다양한 검토 등이 이루어지고 있다(예컨대, 특허문헌2 참조.).

다음에, 도 11의 플로우차트를 이용하여, 상기한 차분방식을 응용한 전형적인 물체 검출 방식의 처리순서의 일례를 설명한다.

동 도면에서 초기화 처리 단계에서는 차분법에 의한 감시방식을 실행하기 위한 외부기기, 변수, 화상 메모리 등의 초기화를 한다(단계 S61). 화상 입력 단계에서는 TV 카메라로부터 예컨대 가로 320화소, 세로 240화소의 입력 화상을 얻는다 (단계 S62). 차분 처리 단계에서는 화상 입력 단계에서 얻은 입력 화상(화상 171)과 미리 작성해 놓은 기준 배경 화상(화상 172)의 각 화소마다의 휘도값의 차분(화상 173)을 계산한다(단계 S63). 이치화 처리 단계에서는 차분 처리 단계에서 얻어진 차분 화상의 화소값(차분값)이 소정의 임계값 Th(예컨대, Th=20)미만인 화소의 화소값을 “0”으로 하고, 임계값 Th 이상인 화소의 화소값을 “255”로 하여, 이치화 화상(화상 174)을 얻는다(단계 S64). 또, 본 예에서는 1 화소의 화소값을 8 비트로 계산하고 있어, 즉 1 화소가 “0”부터 “255”까지의 값을 가진다.

상기한 화상 입력 단계로부터 이치화 처리 단계까지의 처리(단계 S61 내지 단계 S64)에 의해서, 상기 도 10에 도시한 입력 화상중의 휘도의 변화 영역이 검출된다.

다음에, 마스크 처리 단계에서는 이치화 처리 단계에서 얻어진 이치화 화상에 대하여, 미리 설정한 마스크 영역(물체를 검출하지 않는 불감대 영역으로서 처리하는 영역) 중의 “255”의 화소값을 가지는 화소의 화소값을 “0”으로 수정한다(단계 S65).

여기서, 도 12를 참조하여, 이러한 마스크 처리의 필요성을 설명한다.

도 12의 (A)는 감시 영역(191)을 나타내고 있고, 해당 감시 영역(191)내에 침입한 침입물체를 검출하는 용도를 상정하고 있다. 감시 영역(191)내에는 건조물의 입구, 초목 등이 비치고 있다. 도 12b는 감시 영역(192)에서 차분법을 적용한 경우에 검출되는 입력 화상의 휘도의 변화 영역을 나타내고 있다. 도 12의 (B)에 있어서, 검출해야 할 물체(202)이외에도, 입력 화상과 기준 배경 화상에서 휘도에 차가 발생하는 것 같은 바람에 흔들린 초목의 영역(203, 204)도 검출되어 버려, 입력 화상중에 3개의 물체(202, 203, 204)가 존재한다고 판정되어 버린다. 이러한 사상(事像)이 발생한 경우, 종래부터 도 12의 (C)의 감시 영역(193)에 나타내는 것 같은 마스크 영역(205)을 설정하여, 마스크 영역(205)내를 불감대(물체의 존재 판정을 실행하지 않는 영역)로 하여 처리하는 방법이 이용되고 있다. 이러한 마스크 처리는 차분법에 한하지 않고, 여러가지 물체 검출 방법에서 이용되고, 감시방식의 성능을 향상시키기 위한 방법으로서 널리 사용되고 있다.

다음에, 라벨링 처리 단계에서는 마스크 처리 단계에서 얻어진 수정된 이치화 화상중의 화소값이 “255”가 되는 화소의 덩어리를 검출하여, 각각의 덩어리에 번호를 붙여 구별할 수 있도록 한다(단계 S66). 처리 화상 표시 단계에서는, 예컨대 라벨링 처리 단계에 의해서 번호 붙여진 화소값이 “255”가 되는 화소의 덩어리를 입력 화상에 중첩하여 표시하고, 차분법에 의해서 검출된 입력 화상의 휘도의 변화 영역을 시각적으로 알기 쉽게 표시한다(단계 S67).

다음에, 차분법에 의해서 검출된 입력 화상의 휘도의 변화 영역에 검출해야 할 물체가 비쳐 있는지 여부를 판정한다. 구체적으로는, 물체 존재 판정 단계에서는 번호 붙여진 변화 영역의 각각에 대하여, 크기, 면적, 속도, 검출위치 등의 검출 조건에 근거하여, 해당 변화 영역이 검출 조건에 합치하는지 여부를 판정하고, 검출 조건에 합치하는 경우에는 검출해야 할 물체가 존재한다고 하여 경보·모니터 표시 단계로 분기하고, 검출 조건에 합치하지 않는 경우에는 검출해야 할 물체가 존재하지 않는다고 하여 화상 입력 단계로 분기한다(단계 S68).

예컨대, 검출 조건으로서 변화 영역의 기준의 크기를 이용한 경우, 번호 붙여진 변화 영역(183)에 대하여, 외접하는 직사각형(184)을 산출하고, 외접 직사각형(184)의 폭 dx, 높이 dy를 구하고, 검출 조건의 기준의 크기와의 비교를 한다(상기 도 10 참조). 그러나, 검출해야 할 물체는 화면상에서 관측되는 위치에 따라서 겉보기의 크기가 변화하기 때문에, 검출 조건의 기준의 크기도 화면상의 위치에 따라 보정해야 한다.

도 13을 참조하여, 이러한 보정 처리를 설명한다.

도 13의 (A)는 영역(211)에서 감시 시스템의 설치시에 설정되는 검출해야 할 물체의 기준의 크기를 나타내는 것이다. 검출해야 할 물체의 기준의 크기는 TV 카메라로부터 떨어진 위치에 비치는 물체와 TV 카메라에 가까운 위치에 비치는 물체를 실제로 촬상하고, 그 크기에 근거하여 설정된다. 도 13의 (A)에 있어서, 물체(221)는 카메라로부터 떨어진 위치에서 촬상한 물체의 상이며, 물체(222)는 카메라에 가까운 위치에서 촬상한 물체의 상이다. 도 13의 (A)에서는 2개의 상을 알기 쉽게 중첩하여 표시하고 있다. 여기서, 검출해야 할 물체의 크기의 정보로서, 각각의 물체(221) 및 물체(222)에 대하여, 검출위치 y1, y2, 외접 직사각형의 폭 dx1, dx2, 외접 직사각형의 높이 dy1, dy2가 기록된다. 예컨대, 도 13b의 영역(212)에 도시한 위치에서 물체를 촬상했다고 한다. 이 경우, 물체(223)는 도 13a에 도시된 위치에는 존재하지 않기 때문에, 상기 검출해야 할 물체의 기준의 크기의 정보로부터, 물체(223)의 위치의 기준의 크기를 추정해야 한다. 기준의 크기의 추정은 검출위치 y1, y2, y3에 기초를 둔 보간에 의해서 실행된다. 물체(223)의 위치 y=y3에 촬상되는 물체의 기준의 크기 dx3, dy3는 식 2 및 식 3에 의해서 산출된다. 이것에 의해서, 임의의 위치에서 검출된 물체의 기준의 크기를 산출할 수 있다.

[식 2]

[식 3]

상기한 물체 존재 판정 단계에서는 상기 도 10에 도시한 차분법에 의해서 검출된 변화 영역(183)에 대하여 검출위치 y를 산출하고, 검출위치 y에 근거하여 상기 식 2 및 상기 식 3에 의해서 기준의 크기 dx3, dy3을 구한다. 이것에 의해서, 검출해야 할 물체의 기준의 크기를 설정하지 않는 위치에서도, 기준이 되는 크기를 보간하여 산출할 수 있다. 그리고, 기준의 크기 dx3, dy3에 대하여 허용량(예컨대, x 방향으로 rx, y 방향으로 ry)을 설정하고, 변화 영역(183)의 외접 직사각형(184)의 폭 dx 및 높이 dy가 「dx3-rx≤dx≤dx3+rx, dy3-ry≤dy≤dy3+ry」를 만족시킬 때에, 해당 변화 영역(183)에 검출해야 할 물체가 존재한다고 판단한다.

여기서, rx, ry는 예컨대 「rx=0.5×dx3, ry=0.3×dy3」로 하여 산출되고, 각각 기준의 크기에 대하여 50%, 30%의 크기의 변동을 허용할 수 있다. 즉, 가로 방향은 기준의 크기의 50%부터 150%의 범위에 대하여, 세로 방향은 기준의 크기의 70%부터 130%의 범위에 대하여, 이들 범위의 크기의 변화 영역에 검출해야 할 물체가 존재한다고 판정한다.

여기서, 이상의 설명에서는 검출해야 할 물체의 검출 조건으로서 검출해야 할 물체의 기준의 크기를 이용하고 있지만, TV 카메라로부터 순차 입력되는 입력 화상중에서의 변화 영역의 위치변화량(즉, 외견상의 이동속도)을 산출하고, 그 위치변화량에 따라 검출해야 할 물체인지 여부를 판정하도록 해도 좋다. 이 경우, 예컨대 검출해야 할 물체의 이동속도를 5km/h(1.4m/s)로 하고, 입력 화상을 100ms 주기로 입력하면, 한 번의 화상 입력마다 검출해야 할 물체는 0.14m 이동하는 것이 된다. 이 때, 검출해야 할 물체의 횡폭을 0.5m라고 상정하면, 상기 식 2에서 산출되는 기준의 크기 dx3의 약 1/3분만큼 이동하게 된다. 따라서, 검출해야 할 물체인지 여부의 판정으로서는, 예컨대 변화 영역의 위치 변화량이 dx3의 2/3(2배의 여유를 갖게 한 예) 이하인 경우에 검출해야 할 물체라고 판정한다. 이와 같이 함으로써, 예컨대 감시 영역내의 검출해야 할 사람과 검출하지 말아야 할 차량을 구별하는 것 등을 할 수 있다.

상기한 물체 존재 판정 단계에서 검출해야 할 물체가 존재한다고 판정된 경우에는, 다음에 경보·모니터 표시 단계에서는 예컨대 침입물체를 발견한 것을 나타내는 경보를 울려 감시원에게 알린다(단계 S69). 또한, 경보·모니터 표시 단계 에서는 상기 도 12의 (A)에 도시하는 바와 같이 감시 영역내에 경계 영역(201)을 설정하고, 해당 경계 영역(201)내에 변화 영역(202)의 일부가 포함되어 있는 경우에는 검출한 물체가 보다 중요도가 높은 위치(상기 도 12의 (A)의 예에서는 건조물의 입구를 경계 영역으로 하고 있음)에 존재한다고 간주하여 적색의 경고등을 점등시켜 감시원에게 주의를 재촉하고, 해당 경계 영역(201)내에 변화 영역(202)의 일부가 포함되어 있지 않은 경우에는 노란 색의 경고 등을 점등시키는 것 같은 구성으로 하는 것도 가능하다.

상기한 바와 같은 차분법을 이용한 종래 방식에서는 마스크 영역, 검출해야 할 물체의 기준의 크기, 경계 영역의 검출 조건을 미리 설정해 두고, 입력 화상의 휘도의 변화 영역의 검출시나, 검출한 변화 영역에 검출해야 할 물체가 존재하는지 여부를 판정할 때에, 해당 검출 조건을 사용한다. 이들 검출 조건은, 예컨대 TV 카메라의 화면각이나 광축 방향을 바꾼 경우에는 적절한 값으로 다시 설정할 필요가 있다. 즉, 감시 영역을 변경하기 위해서, 촬상 렌즈(예컨대, 도 1의 촬상 렌즈(13))나 카메라운대(예컨대, 도 1의 카메라운대(12))를 조작하여 TV 카메라의 화면각이나 광축 방향을 바꿀 때마다, 상기한 검출 조건을 재설정해야 한다. 따라서, 검출 조건의 재설정 작업중에는 침입물체의 감시업무를 실행할 수 없게 되어버린다고 하는 문제도 발생한다. 또한, 옥외 등에 있어서, TV 카메라가 바람에 흔들리는 경우 등에는 TV 카메라의 광축 방향이 변화해 버려 입력 화상에 흔들림이 발생한다. 이러한 경우, 입력 화상중에 움직이는 물체가 존재한다고 판단되어 버리는 일이 있어, 종래 방법에서는 이러한 문제에 대하여, 마스크 영역을 조금 넓게 설정하 는 것이나, 기준의 크기에 대한 허용량(상기한 예에서는 rx, ry)을 조금 크게 설정하는 것이나, 경계 영역을 조금 넓게 설정하는 것이 실행된다. 이 때문에, 불감대를 넓게 설정해야하여, 물체를 검출할 수 있는 범위가 좁아지는 것이나, 변화 영역의 크기 판정이 정확하게 실행되지 않는 것이나, 경계 영역내에 존재하는지 여부의 판정이 정확히 실행되지 않는 것 같은 문제가 발생하고 있다. 이러한 문제는 차분법에 의한 물체 검출 방법에 한하지 않고, 마스크 영역을 사용하는 방식, 검출한 영역의 크기 판정을 하는 방식, 경계 영역을 설정하여 경계 영역의 내외에서 경보의 종류를 바꾸는 등 하는 방식에 공통으로 존재하는 문제점이다.

상술한 바와 같이, 종래부터 널리 이용되고 있는 물체 검출 방법에서는, 예컨대 TV 카메라의 화면각이나 광축 방향을 변경한 경우 등에는 검출 조건을 재설정해야만 한다고 하는 문제가 있고, 또한 카메라의 흔들림 등에 의해서 광축 방향이 변화하는 것 같은 장면에서는 불감대를 넓게 설정해야하여, 물체를 검출할 수 있는 범위가 좁아진다고 하는 문제나, 변화 영역의 크기 판정 또는 경계 영역내에 존재하는지 여부의 판정을 정확하게 실행할 수 없게 된다고 하는 문제가 있었다.

이것에 대하여, 본 발명의 실시예에 따른 물체 검출 장치 및 물체 검출 방법에서는, 예컨대 TV 카메라의 화면각이나 광축 방향을 변경했던것 같은 경우나, TV 카메라가 흔들려 광축 방향이 변화했던것 같은 경우에도 그 변화를 검출하여 보정함으로써, 신뢰성이 높은 정확한 물체 검출을 할 수 있다.

여기서, 본 발명에 따른 물체 검출 장치 및 물체 검출 방법 등의 구성으로서는 반드시 이상에 나타낸 것에 한정되지 않고, 다양한 구성이 이용되어도 좋다. 또한, 본 발명은 예컨대 본 발명에 따른 처리를 실행하는 방법 또는 방식이나, 이러한 방법이나 방식을 실현하기 위한 프로그램이나 해당 프로그램을 기록하는 기록 매체 등으로서 제공하는 것도 가능하고, 또한 다양한 장치나 시스템으로서 제공하는 것도 가능하다.

또한, 본 발명의 적용분야로서는 반드시 이상에 나타낸 것에 한정되지 않고, 본 발명은 다양한 분야에 적용하는 것이 가능한 것이다.

또한, 본 발명에 따른 물체 검출 장치 및 물체 검출 방법 등에서 실행되는 각종의 처리로서는, 예컨대 프로세서나 메모리 등을 구비한 하드웨어 자원에 있어서 프로세서가 ROM(Read Only Memory)에 저장된 제어 프로그램을 실행함으로써 제어되는 구성이 이용되어도 무방하고, 또한 예컨대 해당 처리를 실행하기 위한 각 기능 수단이 독립된 하드웨어 회로로서 구성되어도 무방하다.

또한, 본 발명은 상기 제어 프로그램을 저장한 플로피(등록상표) 디스크나 CD(Compact Disc)-ROM 등의 컴퓨터에 의해 판독 가능한 기록 매체나 해당 프로그램(자체)으로서 파악할 수도 있고, 해당 제어 프로그램을 해당 기록 매체로부터 컴퓨터에 입력하여 프로세서에 실행시킴으로써, 본 발명에 따른 처리를 수행시킬 수 있다.

이상 설명한 바와 같이, 본 발명에 따른 물체 검출 장치 및 물체 검출 방법에 의하면, 예컨대 물체 검출 대상이 되는 화상과 비교해서 넓은 화상에 대하여 기 준이 되는 검출 조건이 설정되고, 그리고 예컨대 광축 방향 변화 및/또는 화면각 변화라고 하는 물체 검출 대상이 되는 화상의 시야에 관한 변화를 검출하고, 해당 검출한 변화에 근거하여, 예컨대 마스크 영역이나 경계 영역 등의 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하고, 해당 설정한 검출 조건을 사용하여, 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하도록 했기 때문에, 예컨대 광축 방향 변화나 화면각 변화라고 한 물체 검출 대상이 되는 화상의 시야에 관한 변화가 발생하는 것 같은 경우에도 정확한 물체 검출을 할 수 있다.

Claims (6)

1. 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하는 물체 검출 방법에 있어서,

   물체 검출 대상이 되는 화상의 시야에 관한 변화를 검출하는 물체 검출 대상 화상 시야 변화 검출 단계와,

   물체 검출 대상 화상 시야 변화 검출 단계에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하는 검출 조건 설정 단계와,

   검출 조건 설정 단계에 의해 설정되는 검출 조건을 사용하여, 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하는 물체 화상 검출 단계를 구비한 것을 특징으로 하는

   물체 검출 방법.
2. 제 1 항에 있어서,

   물체 검출 대상 화상 시야 변화 검출 단계는 물체 검출 대상이 되는 화상의 시야에 관한 변화로서, 화상을 촬상하는 장치의 광축 방향의 변화와, 화상을 촬상하는 장치의 화면각의 변화의 한쪽 또는 양쪽을 검출하는 것을 특징으로 하는

   물체 검출 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   물체 검출 대상이 되는 화상과 비교해서 넓은 화상에 대하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하기 위한 기준이 되는 검출 조건이 설정되고,

   검출 조건 설정 단계는 해당 기준이 되는 검출 조건 및 물체 검출 대상 화상 시야 변화 검출 단계에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하는 것을 특징으로 하는

   물체 검출 방법.
4. 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하는 물체 검출 장치에 있어서,

   물체 검출 대상이 되는 화상의 시야에 관한 변화를 검출하는 물체 검출 대상 화상 시야 변화 검출 수단과,

   물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하는 검출 조건 설정 수단과,

   검출 조건 설정 수단에 의해 설정되는 검출 조건을 사용하여, 물체 검출 대상이 되는 화상에 포함되는 물체의 화상을 검출하는 물체 화상 검출 수단을 구비한 것을 특징으로 하는

   물체 검출 장치.
5. 제 4 항에 있어서,

   물체 검출 대상 화상 시야 변화 검출 수단은 물체 검출 대상이 되는 화상의 시야에 관한 변화로서, 화상을 촬상하는 장치의 광축 방향의 변화와, 화상을 촬상하는 장치의 화면각의 변화의 한쪽 또는 양쪽을 검출하는 것을 특징으로 하는

   물체 검출 장치.
6. 제 4 항 또는 제 5 항에 있어서,

   물체 검출 대상이 되는 화상과 비교해서 넓은 화상에 대하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하기 위한 기준이 되는 검출 조건이 설정되고,

   검출 조건 설정 수단은 해당 기준이 되는 검출 조건 및 물체 검출 대상 화상 시야 변화 검출 수단에 의해 검출되는 변화에 근거하여, 물체의 화상을 검출하기 위해서 사용되는 검출 조건을 설정하는 것을 특징으로 하는

   물체 검출 장치.

Images