KR101166994B1

KR101166994B1 - 검출용 정보 등록 장치, 대상물체 검출 장치, 전자 기기, 검출용 정보 등록 장치의 제어 방법, 대상물체 검출 장치의 제어 방법, 검출용 정보 등록 장치 제어 프로그램, 대상물체 검출 장치 제어 프로그램

Info

Publication number: KR101166994B1
Application number: KR1020117004393A
Authority: KR
Inventors: 코조 모리야마
Original assignee: 오므론 가부시키가이샤
Priority date: 2008-08-11
Filing date: 2009-08-06
Publication date: 2012-07-24
Also published as: TW201011696A; CN102105904A; US20110142286A1; EP2323103B1; TWI438719B; EP2323103A4; WO2010018669A1; EP2323103A1; CN102105904B; US8774456B2; KR20110036942A; JP4497236B2; EP2892027A1; EP2892027B1; JP2010044516A

Abstract

본 발명의 디지털 카메라(1)는, 정보를 기억하는 기억부(2)와, 동화상에서의 프레임 화상을 취득하는 프레임 화상 취득부(51)와, 촬영에 의한 동화상에 포함되는 대상물체를 추미(追尾)하기 위한 정보로서, 대상물체를 특징지우는 정보인 추미용 특징 정보를, 프레임 화상으로부터 추출하여 기억부(2)에 기억하는 특징점 추출부와, 특징점 추출부가 추출한 추미용 특징 정보와, 기억부(2)에 기억된 과거의 프레임 화상에 관한 추미용 특징 정보의 변화로부터, 대상물체의 화상 영역을 검출하는 추미 대상 영역 산출부와, 추미 대상 영역 산출부가 검출한 대상물체의 화상 영역으로부터, 검출용 특징 정보를 추출하는 검출용 특징량 추출부(52)와, 검출용 특징량 추출부(52)가 추출한 검출용 특징 정보의 일부 또는 전부를 기억부(2)에 등록하는 등록부(54)를 구비하고 있다.

Description

검출용 정보 등록 장치, 대상물체 검출 장치, 전자 기기, 검출용 정보 등록 장치의 제어 방법, 대상물체 검출 장치의 제어 방법, 검출용 정보 등록 장치 제어 프로그램, 대상물체 검출 장치 제어 프로그램{DETECTION IMFORMATION REGISTRATION DEVICE, OBJECT DETECTION DEVICE, ELECTRONIC DEVICE, METHOD FOR CONTROLLING DETECTION INFORMATION REGISTRATION DEVICE, METHOD FOR CONTROLLING OBJECT DETECTION DEVICE, PROGRAM FOR CONTROLLING DETECTION INFORMATION REGISTRATION DEVICE, AND PROGRAM FOR CONTROLLING OBJECT DETECTION DEVICE}

본 발명은, 물체의 등록 및 검출의 적어도 어느 쪽이나 한쪽을 행하는 장치, 특히, 물체의 정보를 등록하고, 등록한 정보에 의거하여 물체를 검출하는 검출용 정보 등록 장치, 대상물체 검출 장치, 전자 기기, 검출용 정보 등록 장치의 제어 방법, 대상물체 검출 장치의 제어 방법, 검출용 정보 등록 장치 제어 프로그램, 대상물체 검출 장치 제어 프로그램에 관한 것이다.

근래, 디지털 사진기나 디지털 비디오 카메라 등의 촬상 기기로, 최적의 화상을 얻기 위해, 촬영 대상을 자동 인식하는 니즈가 높아지고 있다. 예를 들면, 디지털 카메라에서는, 사람의 얼굴을 자동적으로 검출하고, 검출한 사람의 얼굴에 최적의 포커스나 노출을 맞추는 기능 등이 탑재된 것이 존재하고 있다.

또한, 카메라 촬영에서는, 애완동물 등의 동물을 촬영 대상으로 하는 기회도 많고, 사람의 얼굴을 검출하는 것과 마찬가지로, 촬영 대상인 동물을 자동적으로 검출하고, 포커스나 노출을 보정하는 기능이 요구되고 있다.

그러나, 현재의 기술로는, 사람의 얼굴을 검출하는 기술은 실용 레벨에 달하고 있지만, 사람 이외의 동물을 검출하는 기술은 한정적인 것밖에 이루어지고 있지 않다. 그 이유의 하나로서 이하의 것이 생각된다. 즉, 어떠한 촬영 대상을 검출하는 경우, 우선, 미리 그 촬영 대상의 특징을 정의하여 둘 필요가 있다. 이 점, 사람의 얼굴은, 특징이 공통되어 있는 부분이 많고, 정의하기 쉽다. 한편, 동물은 사람에 비하여 다종다양하고, 미리 정의하는 것은 어렵다. 예를 들면, 개(犬)를 정의한 경우를 생각하면, 같은 개라도 종류에 따라, 얼굴이나 동체(胴體)의 형태, 색, 털의 길이, 귀의 형상 등 사람에 비하여 차가 크다. 따라서, 미리 개의 특징을 정의하는 것은 어렵고, 미리 정의할 수가 없는 개를 자동 검출하는 것은, 곤란하다. 또한, 촬영하는 경우를 생각하면, 동물은 사람과 같이 촬영자의 쪽에 정면으로 맞서다고는 한할 수가 없고, 여러 방향을 향하며, 또한, 자세도 여러가지이기 때문에, 이 점에서도, 자동 인식을 행하는 것을 더욱 기술적으로 곤란하게 하고 있다.

물체를 자동 인식하는 기술로서는, 이하의 것이 있다. 특허 문헌 1에는, 얼굴 인식 기능을 구비한 전자 카메라에 있어서, 인식한 피사체의 정보에 의거하여 각종 처리를 행하는 기술이 개시되어 있다.

또한, 특허 문헌 2에는, 복수대의 카메라로 촬영한 화상을 공통의 화상 처리 장치에 입력하고, 화상 처리 장치에서, 데이터베이스에 등록되어 있는 모델 데이터와 카메라로 촬영한 화상의 대조를 행함으로써, 물체의 존재 위치나, 물체의 종류, 물체까지가 대략적인 거리를 검출하는 기술이 기재되어 있다.

또한, 특허 문헌 3에는, 물체가 보이는 방식의 변화를 추정하여 모델화하고, 모델화한 데이터라고 입력된 화상 정보를 대조하는 기술이 기재되어 있다.

또한, 특허 문헌 4에는, 감시 공간에 존재하는 검지 대상을 검지하는 화상 인식 장치에 있어서, 배경 화상과 입력 화상이 변화한 경우에, 소동물(小動物) 지표를 이용하여, 이 변화가 소동물에 의한 것인지의 여부를 판단하는 기술이 기재되어 있다.

또한, 특허 문헌 5에는, 열원(熱源) 화상을 이용하여 차량을 인식하고, 그 종류를 판별?분류하는 기술이 개시되어 있다.

또한, 특허 문헌 6에는, 동물의 코(鼻) 전체의 화상으로부터 코의 윤곽, 2개의 콧구멍과 각각의 윤곽을 추출하고, 동물을 식별하기 위한 정보를 작성하는 기술이 개시되어 있다.

[선행 기술 문헌]

특허 문헌 1 : 일본 공개특허공보「특개2007-282119호 공보(2007년 10월 25일 공개)」

특허 문헌 2 : 일본 공개특허공보「특개2002-83297호 공보(2002년 3월 22일 공개))」

특허 문헌 3 : 일본 공개특허공보「특개2001-307096호 공보(2001년 11월 2일 공개))」

특허 문헌 4 : 일본 공개특허공보「특개2006-155167호 공보(2006년 6월 15일 공개))」

특허 문헌 5 : 일본 공개특허공보「특개평 8-16987호 공보(1996년 1월 19일 공개))」

특허 문헌 6 : 일본 공개특허공보「특개2007-135501호 공보(2007년 6월 7일 공개))」

그러나, 상기 종래의 구성에서는, 이하와 같은 문제가 생긴다. 즉, 특허 문헌 1에 기재된 기술은, 사람의 얼굴을 인증하는 것이고, 상술한 바와 같이 동물은, 원래 미리 정의하는 것이 곤란하기 때문에, 사람의 얼굴과 마찬가지로 동물을 검출하는 것은 곤란하다.

또한, 특허 문헌 2에 기재된 기술을 동물에게 적용한 경우, 방대한 양의 모델 데이터를 등록할 필요가 있다. 또한, 등록에는, 다양한 방향이나 다양한 위치로부터의 데이터를 등록할 필요가 있는데, 어떤 방향이나 위치로부터 얼마만큼의 양을 등록하면 좋은지를 유저는 알 수가 없어서, 유저에 있어서 등록은 용이한 것이 아니다.

또한, 특허 문헌 3에 기재된 기술에서는, 등록시에 모델화를 행하기 위해, 촬영 환경(방향이나 자세 등)의 정보를 정확하게 계산할 필요가 있기 때문에, 대상물을 잘라낼 필요가 있다. 그러나, 정지 화상으로부터 대상물을 잘라내는 것은 어렵고, 그를 위한 수고가 들고, 등록은 용이하지가 않다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 그 목적은, 검출 대상이 되는 동물을 유저가 용이하게 등록할 수 있는 장치, 및 입력된 화상으로부터 등록된 동물을 검출하는 장치인 검출용 정보 등록 장치, 대상물체 검출 장치 등을 실현하는 것에 있다.

상기 과제를 해결하기 위해, 본 발명에 관한 검출용 정보 등록 장치는, 촬영에 의한 동화상에 포함되는 대상물체를 검출하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 검출용 특징 정보를 등록하는 검출용 정보 등록 장치로서, 정보를 기억하는 기억부와, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과, 촬영에 의한 동화상에 포함되는 대상물체를 추미(追尾)하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 상기 기억부에 기억하는 추미용 특징 추출 수단과, 상기 추미용 특징 추출 수단이 추출한 추미용 특징 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 변화로부터, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 수단과, 그 대상물체 영역 검출 수단이 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과 그 검출용 특징 추출 수단이 추출한 상기 검출용 특징 정보의 일부 또는 전부를 상기 기억부에 등록하는 검출용 특징 등록 수단을 구비하고 있는 것을 특징으로 하고 있다.

또한, 본 발명에 관한 검출용 정보 등록 장치의 제어 방법은, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과, 촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 기억부에 기억하는 추미용 특징 추출 스텝과, 상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보와, 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 변화로부터, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 스텝과, 그 대상물체 영역 검출 스텝에서 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과 그 검출용 특징 추출 스텝에서 추출한 상기 검출용 특징 정보의 일부 또는 전부를 기억부에 등록하는 검출용 특징 등록 스텝을 포함하는 것을 특징으로 하고 있다.

상기한 구성 및 방법에 의하면, 동화상으로부터 프레임 화상이 취득된다. 그리고, 취득된 프레임 화상으로부터, 동화상에서의 대상물체를 추미하기 위한 추미용 특징 정보가 추출되고, 기억부에 기억된다. 그리고, 기억부에 기억되어 있는 과거의 추미용 특징 정보와 현재의 추미용 특징 정보의 변화로부터 대상물체의 화상 영역이 검출된다. 그리고, 대상물체의 화상 영역으로부터 검출용 특징 정보가 추출되고, 기억부에 기억된다.

이에 의해, 대상물체를 동화 촬영할 뿐으로, 대상물체를 검출하기 위한 검출용 특징 정보가 등록되기 때문에, 용이하게 대상물체의 특징을 등록할 수 있다.

본 발명에 관한 검출용 정보 등록 장치에서는, 상기 추미용 특징 추출 수단이 추출한 추미용 특징 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 변화와, 상기 대상물체 영역 검출 수단이 검출한 대상물체 영역의 정보에 의거하여, 상기 대상물체의 상기 프레임 화상에서의 운동의 변화량을 산출하는 운동 변화량 산출 수단과, 상기 검출용 특징 추출 수단이 추출한 검출용 특징 정보와, 상기 기억부에 기억된 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 수단과, 상기 대상물체를 포함하는 피사체의 촬영에 의한 임의의 촬영 화상으로부터, 상기 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양에 대한, 상기 기억부에 기억되는 검출용 특징 정보의 양의 정도를 나타내는 충실도를, 상기 운동 변화량 산출 수단이 산출한 운동의 변화량과, 상기 유사도 산출 수단이 산출한 유사도에 의거하여 산출하는 충실도 산출 수단을 또한 구비하고 있는 것이라도 좋다.

상기한 구성에 의하면, 운동 변화량 산출 수단이, 추미용 특징 추출 수단이 추출한 추미용 특징 정보와, 기억부에 기억된 과거의 프레임 화상에 관한 추미용 특징 정보의 변화와, 대상물체 영역 검출 수단이 검출한 대상물체 영역의 정보에 의거하여, 대상물체의 프레임 화상에서의 운동의 변화량을 산출한다. 그리고, 충실도 산출 수단이, 운동 변화량 산출 수단이 산출한 운동의 변화량과, 유사도 산출 수단이 산출한 유사도에 의거하여, 충실도를 산출한다.

여기서, 상기 운동의 변화량의 예로서는, 이동량이나 방향의 변화량 등을 들 수 있다.

이에 의해, 기억되어 있는 검출용 특징 정보의 양이, 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양에 대해, 어느 만큼의 정도인지를 나타내는 충실도가 산출된다.

따라서, 예를 들면, 충실도를 통보함으로써, 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양까지 검출용 특징 정보를 등록시키도록 유저에 대해 촉구할 수 있다.

본 발명에 관한 검출용 정보 등록 장치에서는, 동화상에서의 대상물체의 초기위치의 정보를 미리 취득하여 상기 기억부에 기억하는 초기위치 취득 수단을 또한 구비하고 있고, 상기 추미용 특징 추출 수단 및 상기 대상물체 영역 검출 수단은, 상기 화상 취득 수단이 취득한 최초의 프레임 화상에 대해, 상기 기억부에 기억된 초기위치의 정보를 이용하는 것이라도 좋다.

상기한 구성에 의하면, 초기위치 취득 수단은, 대상물체의 초기위치의 정보를 미리 취득하여 기억부에 기억시킨다. 그리고, 추미용 특징 추출 수단 및 대상물체 영역 검출 수단은, 화상 취득 수단이 취득한 최초의 프레임 화상에 대해, 상기 기억부에 기억된 초기위치의 정보를 이용한다.

이에 의해, 대상물체의 초기위치가, 미리 지정되기 때문에, 추미용 특징 추출 수단 및 대상물체 영역 검출 수단은, 보다 정확하게 대상물체가 존재하는 영역을 검출할 수 있다.

본 발명에 관한 검출용 정보 등록 장치에서는, 상기 기억부에 기억된 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 특정하는 공통 특징 특정 수단을 또한 구비하고 있고, 상기 검출용 특징 등록 수단은, 상기 공통 특징 특정 수단이 특정한 검출용 공통 특징 정보를 또한 상기 기억부에 등록하는 것이 바람직하다.

상기한 구성에 의하면, 공통 특징 특정 수단은, 상기 기억부에 기억된 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 특정한다. 그리고, 특정한 검출용 공통 특징 정보를 기억부에 기억시킨다.

이에 의해, 필요할 때에, 검출용 공통 특징 정보를 이용하는 것이 가능해진다.

예를 들면, 대상물체를 검출하는 경우에, 검출용 공통 특징 정보를 이용함으로써, 화상 전체중에서, 대상물체가 존재할 가능성이 높은 영역을 검출하는 것이 가능해진다.

본 발명에 관한 검출용 정보 등록 장치에서는, 상기 기억부에 기억되는 검출용 특징 정보는, 복수의 상기 대상물체를 식별하는 식별 정보에 대응시켜서 기억되어 있는 것이라도 좋다.

상기한 구성에 의하면, 검출용 특징 정보는, 복수의 상기 대상물체를 식별하는 식별 정보에 대응시켜서 기억된다.

이에 의해, 복수의 대상물체를 등록하는 것이 가능해진다.

상기 과제를 해결하기 위해, 본 발명에 관한 대상물체 검출 장치는, 촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치로서, 상기 대상물체를 검출하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보와, 그 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 기억하는 기억부와, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과, 그 화상 취득 수단이 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과, 그 검출용 특징 추출 수단이 추출한 검출용 특징 정보와, 상기 기억부의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 수단과, 상기 후보 영역 탐색 수단이 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 상기 기억부의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 수단과, 그 유사도 산출 수단이 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 수단을 구비하고 있는 것을 특징으로 하고 있다.

또한, 본 발명에 관한 대상물체 검출 장치의 제어 방법은, 촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치의 제어 방법으로서, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과, 그 화상 취득 스텝에서 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과, 그 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 기억부에 기억되어 있는 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 스텝과, 상기 후보 영역 탐색 스텝에서 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 기억부에 기억되어 있는 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과, 그 유사도 산출 스텝에서 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 스텝을 포함하는 것을 특징으로 하고 있다.

상기한 구성 및 방법에 의하면, 기억부에 기억되어 있는, 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 이용하여, 촬영에 의한 동화상으로부터 취득한 프레임 화상상에서의, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역인 후보 영역이 탐색된다.

그리고, 탐색된 후보 영역의 검출용 특징 정보와 상기 검출용 특징 정보와의 유사도가 산출되고, 산출한 유사도에 의거하여, 상기 후보 영역이 대상물체가 존재하는 영역인 지의 여부가 판정된다.

이에 의해, 기억부에 기억되어 있는 검출용 특징 정보와 유사한 검출용 특징 정보의 영역을, 대상물체가 존재하는 영역으로서 판정할 수 있다.

예를 들면, 유저가 사육하는 개의 검출용 특징 정보를 등록하여 두면, 대상물체 검출 장치에서 화상을 촬영하고 있을 때에, 유저가 사육하는 개가 촬영 범위에 존재하면, 그 개가 존재하는 영역을 검출할 수 있다.

본 발명에 관한 대상물체 검출 장치에서는, 상기 소망하는 물체가 존재하는 영역을 추미하는 추미 수단을 구비하고 있는 것이라도 좋다.

상기한 구성에 의하면, 추미 수단은, 소망하는 물체가 존재하는 영역을 추미한다. 이에 의해, 한번, 소망하는 물체가 존재하는 영역이 검출되면, 재차 검출 동작을 행하지 않아도, 소망하는 물체가 존재하는 영역을 계속 검출할 수 있다.

상기 검출용 정보 등록 장치와 상기 대상물체 검출 장치를 포함하는 전자 기기라도, 상술한 효과를 이룰 수 있다.

본 발명에 관한 전자 기기에서는, 상기 충실도 산출 수단이 산출한 충실도에 의거하여, 유저에 대해 통보를 행하는 통보 수단을 구비하고 있는 것이라도 좋다.

이에 의해, 충실도에 의거한 통보가 유저에 대해 행하여진다. 이에 의해, 유저는, 충실도에 의거한 처리를 행할 수가 있다.

예를 들면, 충실도 산출 수단이 산출한 충실도가, 미리 정한 임계치를 초과하면, 통보 수단은, 등록이 완료 가능한 취지를 유저에 대해 통보하는 것이면, 유저는, 등록 대상물체를 특정 가능한 정도의 특징량이 기억되어 있는 것을 인식할 수 있다.

여기서, 미리 정한 임계치란, 충실도가 당해 임계치를 초과하면, 특징량 기억부에 기억되어 있는 특징량이, 대상물체를 특정하는데 충분한 양이 되는 값이다.

또한, 충실도 산출 수단이 산출한 충실도가, 미리 정한 임계치를 초과하지 않는 때, 통보 수단은, 상기 충실도가 미리 정한 임계치를 초과하지 않는 취지, 및, 상기 충실도가 미리 정한 임계치를 초과하기 위해 필요한 동작의 지시의 적어도 어느 한쪽을 유저에 대해 통보하는 것이라도 좋다. 이에 의해, 충실도가 미리 정한 임계치를 초과하지 않을 때, 유저는, 충실도가 미리 정한 임계치를 초과하지 않는 취지, 및, 충실도가 미리 정한 임계치를 초과하기 위해 필요한 동작의 지시의 적어도 어느 한쪽을 인식할 수 있다.

또한, 상기 검출용 정보 등록 장치 및 대상물체 검출 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 검출용 정보 등록 장치 및 대상물체 검출 장치를 컴퓨터에 실현시키는 검출용 정보 등록 장치 제어 프로그램 및 대상물체 검출 장치 제어 프로그램, 및 그들을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

이상과 같이, 본 발명에 관한 검출용 정보 등록 장치는, 촬영에 의한 동화상에 포함되는 대상물체를 검출하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 검출용 특징 정보를 등록하는 검출용 정보 등록 장치로서, 정보를 기억하는 기억부와, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과, 촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 상기 기억부에 기억하는 추미용 특징 추출 수단과, 상기 추미용 특징 추출 수단이 추출한 추미용 특징 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 변화로부터, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 수단과, 그 대상물체 영역 검출 수단이 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과 그 검출용 특징 추출 수단이 추출한 상기 검출용 특징 정보의 일부 또는 전부를 상기 기억부에 등록하는 검출용 특징 등록 수단을 구비하고 있는 구성이다.

또한, 본 발명에 관한 검출용 정보 등록 장치의 제어 방법은, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과, 촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 기억부에 기억하는 추미용 특징 추출 스텝과, 상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보와, 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 변화로부터, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 스텝과, 그 대상물체 영역 검출 스텝에서 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과 그 검출용 특징 추출 스텝에서 추출한 상기 검출용 특징 정보의 일부 또는 전부를 기억부에 등록하는 검출용 특징 등록 스텝을 포함하는 방법이다.

또한, 본 발명에 관한 대상물체 검출 장치는, 촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치로서, 상기 대상물체를 검출하기 위한 정보로서, 그 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보와, 그 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 기억하는 기억부와, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과, 그 화상 취득 수단이 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과, 그 검출용 특징 추출 수단이 추출한 검출용 특징 정보와, 상기 기억부의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 수단과, 상기 후보 영역 탐색 수단이 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 상기 기억부의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 수단과, 그 유사도 산출 수단이 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 수단을 구비하고 있는 구성이다.

또한, 본 발명에 관한 대상물체 검출 장치의 제어 방법은, 촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치의 제어 방법으로서, 상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과, 그 화상 취득 스텝에서 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과, 그 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 기억부에 기억되어 있는 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 스텝과, 상기 후보 영역 탐색 스텝에서 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 기억부에 기억되어 있는 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과, 그 유사도 산출 스텝에서 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 스텝을 포함하는 방법이다.

본 발명의 또다른 목적, 특징, 및 우수한 점은, 이하에 나타내는 기재에 의해 충분히 알 수 있을 것이다. 또한, 본 발명의 이익은, 첨부 도면을 참조하는 다음의 설명으로 분명하게 될 것이다.

도 1은 본 발명의 실시의 형태를 도시하는 것으로, 디지털 카메라의 등록 처리부의 구성을 도시하는 블록도.
도 2는 상기 실시의 형태에 관한 디지털 카메라의 구성을 도시하는 블록도.
도 3은 상기 실시의 형태에 관한 디지털 카메라의 모델 정보 기억부에 기억되어 있는 내용을 도시하는 설명도.
도 4는 상기 실시의 형태에 관한 디지털 카메라의 추미 처리부의 구성을 도시하는 블록도.
도 5는 상기 실시의 형태에 관한 디지털 카메라의 추미 정보 기억부에 기억되어 있는 추미 정보를 도시하는 설명도.
도 6은 기 실시의 형태에 관한 디지털 카메라의 검출 처리부의 구성을 도시하는 블록도.
도 7은 상기 실시의 형태에 관한 디지털 카메라에서의 대상물체의 등록 처리의 흐름을 도시하는 플로우 차트.
도 8은 상기 실시의 형태에 관한 디지털 카메라에서의 추미 처리의 초기화의 흐름을 도시하는 플로우 차트.
도 9는 상기 실시의 형태에 관한 디지털 카메라에서의 추미 처리의 흐름을 도시하는 플로우 차트.
도 10은 상기 실시의 형태에 관한 디지털 카메라(1)에서의 대상물체를 검출하는 처리의 흐름을 도시하는 플로우 차트.
도 11은 상기 실시의 형태에서, 개를 등록하는 경우에 관한 설명도로서, 동 도면의 (a)는, 개가 존재하고 있는 영역의 1점을 지정하고 있는 상태를 도시하는 도면, 동 도면의 (b)는, 등록하는 개의 영역을 판별하고 있는 상태를 도시하는 도면.
도 12는 상기 실시의 형태에서, 개를 검출하는 경우에 관한 설명도로서, 동 도면의 (a)는, 촬영중의 화상중에 개가 존재하고 있는 상태를 도시하는 도면, 동 도면의 (b)는, 후보 영역을 도시하는 도면, 동 도면의 (c)는, 검출한 개가 존재하고 있는 영역을 도시하는 도면.

이하, 실시예 및 비교예에 의해, 본 발명을 더욱 상세히 설명하지만, 본 발명은 이들에 의해 전혀 한정되는 것이 아니다.

본 발명의 한 실시의 형태에 관해, 도 1부터 도 12에 의거하여 설명하면, 이하와 같다.

도 2는, 본 실시의 형태에 관한 디지털 카메라(1)의 구성을 도시하는 블록도이다. 도 2에 도시하는 바와 같이 디지털 카메라(1)는, 기억부(2), 조작 접수부(3), 촬상부(4), 표시부(5), 및 제어부(6)를 포함하는 구성이다.

디지털 카메라(1)는, 검출 대상이 되는 물체(대상물체)를 용이하게 등록하고, 촬영하고 있는 화상중에서 소망하는 물체를, 검출용으로 등록한 물체의 정보(검출용 특징 정보)를 이용하여 검출하고, 검출 결과를 통보하는 것이다.

예를 들면, 디지털 카메라(1)에 유저가 사율하고 있는 애완동물의 검출용 특징 정보를 등록하여 두고, 당해 애완동물을 포함하는 화상을 촬영하면, 촬영 화상에서의 애완동물이 존재하고 있는 영역을 검출할 수 있다.

또한, 검출한 영역에 대해, 핀트나 노출을 자동적으로 맞추는 기능을 갖고 있으면, 자동적으로 애완동물에 대해 핀트나 노출을 맞출 수 있다.

다음에, 디지털 카메라(1)의 각 부분에 관해 설명한다.

기억부(2)는, 디지털 카메라(1)에서 촬영한 화상이나, 검출 처리에 이용하는 데이터, 추미 처리에 이용하는 데이터 등을 기억하고 있다. 그리고, 프레임 버퍼(21), 모델 정보 기억부(특징량 기억부)(22), 및 추미 정보 기억부(23)를 포함하는 구성이다. 이, 프레임 버퍼(21), 모델 정보 기억부(22), 및 추미 정보 기억부(23)의 상세에 관해서는 후술한다. 이 기억부(2)의 구체예로서는 플래시 메모리를 들 수 있다. 또한, 일시적으로 기억할 수 있다면 좋은 것이면(프레임 버퍼(21) 등), RAM(Random Access Memory)을 이용하는 것도 가능하고, 프로그램 등의 판독만 할 수 있으면 좋은 것이면, ROM(Read Only Memory)을 이용하는 것도 가능하다.

조작 접수부(3)는, 디지털 카메라(1)에 대한 조작을 접수하는 것이다. 예를 들면, 등록 대상물체를 나타내는 ID(identification, 식별 정보)나, 표시부(5)상에서, 대상물체가 어느 위치에 있는지를 나타내는 조작을 접수한다. 이 대상물체의 위치에 관해서는, 화면이 터치패널 형식으로 되어 있고, 화면상에서 대상물체의 위치를 지정하는 것이라도 좋고, 화면상에 커서를 표시시켜, 당해 커서를 이용하여 위치를 지정하는 것이라도 좋다. 또한, 조작 접수부(3)의 구체예로서는 각종 버튼이나 터치패널 등을 들 수 있다.

촬상부(4)는, 대상물체 등의 피사체의 촬영을 행하여 영상 데이터를 생성하는 것이다. 구체적으로는, 촬상부(4)는, 피사체로부터의 광을 전기 신호로 변환하는 CCD(Charge Coupled Device), CMOS(Complementary Metal-oxide Semiconductor) 이미지 센서 등의 촬상 소자와, 촬상 소자로부터의 전기 신호를 RGB 각 색의 디지털 영상 데이터로 변환하는 영상 처리 회로를 구비하는 구성을 들 수 있다. 그리고, 촬상부(4)는, 생성한 영상 데이터를 제어부(6)에 송신하다. 또한, 촬상부(4)는, AF(오토 포커스) 기능을 갖어도 좋다.

표시부(5)는, 촬상부(4)에서 촬상하고 있는 화상이나, 디지털 카메라(1)의 상태, 검출 결과 등을 표시하는 것이다. 이 표시부(5)로서는, 정보의 표시가 가능한 표시 장치라면 어떤 장치에 의해 실현되어도 좋지만, 구체적인 예로서는, 액정 디스플레이, 유기 EL(Electro Luminescence) 디스플레이, 플라즈마 디스플레이를 들 수 있다.

제어부(6)는, 프레임 화상 취출부(11), 등록 처리부(12), 추미 처리부(추미 수단)(13), 및 검출 처리부(14)를 포함하는 구성이다. 그리고, 제어부(6)는, 검출하려고 하는 물체의 등록, 추미, 검출을 행하는 것이다. 등록 처리부(12), 추미 처리부(13), 및 검출 처리부(14)의 상세에 관해서는 후술한다.

프레임 화상 취출부(11)는, 촬상부(4)로부터 송신되어 온 영상 데이터로부터 프레임 화상을 취출하고, 취출한 프레임 화상을 프레임 버퍼(21)에 기억시키는 것이다.

프레임 버퍼(21)는, 프레임 화상 취출부(11)가 취출한 프레임 화상을 기억하는 것이다.

다음에, 등록 처리부(12)에 관해 도 1을 이용하여 설명한다. 도 1은, 본 실시의 형태에 관한 디지털 카메라(1)의 등록 처리부(12)의 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 등록 처리부(12)는, 프레임 화상 취득부(화상 취득 수단)(51), 검출용 특징량 추출부(대상물체 영역 검출 수단, 검출용 특징 추출 수단)(52), 유사도 산출부(유사도 산출 수단)(53), 등록부(검출용 특징 등록 수단)(54), 충실도 산출부(운동 변화량 산출 수단, 충실도 산출 수단)(55), 결과 출력부(56), 공통 특징량 추출부(공통 특징 특정 수단)(57), 및 초기위치 취득부(초기위치 취득 수단)(58)을 포함하는 구성이다.

그리고, 등록 처리부(12)는, 취득한 프레임 화상에서의 대상물체의 특징량(검출용 특징 정보)를 추출하여 모델 정보 기억부(22)에 기억시키는 것이다. 그리고, 모델 정보 기억부(22)에는, 도 3에 도시하는 바와 같이 다음 것이 기억되어 있다. 도 3은, 모델 정보 기억부(22)에 기억되어 있는 내용을 도시하는 설명도이다. 모델 정보 기억부(22)에는, 대상물체를 나타내는 ID, 그 대상물체의 프레임마다의 각각의 특징량을 나타내는 특징량 정보, 그 프레임마다의 특징량에 공통되는 특징량인 공통 특징량을 나타내는 공통 특징량 정보가 기억되어 있다.

또한, ID가 복수 존재하면, 그 복수의 ID분의 상기 정보가 기억되어 있다.

프레임 화상 취득부(51)는, 프레임 버퍼(21)로부터 프레임 화상을 취득하고, 검출용 특징량 추출부(52)에 송신한다.

검출용 특징량 추출부(52)는, 프레임 화상 취득부(51)으로부터 취득한 프레임 화상으로부터, 대상물체의 특징량을 추출한다. 그리고 추출한 특징량을 유사도 산출부(53)에 송신한다. 대상물체의 특징량의 추출은 다음과 같이 하여 행한다. 즉, 유저가 조작 접수부(3)를 이용하여 지정한 대상물체의 위치, 및 추미 처리부(13)에 의한 특징점 정보의 프레임 화상에서의 변화로부터, 대상물체 영역을 검출한다.

또한, 복수의 프레임 화상에서의 화상상 위치의 변화로부터 배경 영역과 대상물체 영역을 분리함에 의해, 대상물체 영역을 검출하는 것이라도 좋다.

그리고, 검출한 대상물체 영역의 특징량을 추출하는 것으로 행한다. 또한, 특징량이란, 화상으로부터 얻어지는 색 정보나 에지 정보 등의 대상물체의 특징을 표현하는 것이다.

또한, 한번, 대상물체 영역으로서 검출된 영역은, 이후, 추미 처리부에 의해 추미됨으로써, 대상물체 영역을 항상 검출할 수가 있어서, 특징량을 추출할 수 있다. 또한, 추미 처리의 상세에 관해서는, 후술한다.

유사도 산출부(53)는, 모델 정보 기억부(22)에 등록하려고 하고 있는 대상물체와 같은 대상물체를 나타내는 특징량이 기억되어 있으면, 취득한 특징량과 모델 정보 기억부(22)에 기억되어 있는 같은 대상물체의 특징량과의 유사도를 산출한다. 그리고, 산출한 결과를 등록부(54)에 송신한다.

등록부(54)는, 유사도 산출부(53)로부터 취득한 유사도가 소정의 값의 범위에 있으면, 검출용 특징량 추출부(52)가 추출한 특징량을 대상물체를 나타내는 것으로서 모델 정보 기억부(22)에 기억시킨다. 그리고, 등록이 종료된 취지를 나타내는 정보를 충실도 산출부(55)에 송신한다.

여기서, 유사도가 소정의 범위에 있는 경우만, 특징량을 기억시키는 것은, 이하의 이유에 의한다. 즉, 유사도가 너무 큰 경우, 환언하면, 이미 등록되어 있는 특징량과 앞으로 등록하려고 하는 특징량이 너무 닮아 있는 경우는 등록하는 의미가 없어져 버리기 때문이다. 또한, 역으로 유사도가 너무 작은 경우, 환언하면, 이미 등록되어 있는 특징량과 앞으로 등록하려고 하는 특징량이 너무 다른 경우는, 같은 대상물체를 나타내는 것으로서 부적절하기 때문이다.

충실도 산출부(55)는, 등록부(54)로부터 등록이 종료된 취지를 나타내는 정보를 취득하면, 모델 정보 기억부(22)에 기억되어 있는 특징량이, 대상물체를 어느 정도 특정할 수 있는 것인지를 나타내는 충실도를 산출한다. 그리고 산출한 충실도가, 대상물체를 특정할 수 있을 정도의 것을 나타내는 것이면, 등록 완료 가능을 나타내는 취지를 통보하기 위한 정보를, 그렇지 않으면, 등록 데이터가 아직 필요한 취지를 통보하기 위한 정보를 결과 출력부(56)에 송신한다.

또한, 충실도는, 이동량 산출에 의한 회전각의 변화량에 의해 대상물체 방향을, 같은 위치에서의 회전인 경우의 특징량의 차분에 의해 자세(姿勢)를 추정하여 산출한다.

여기서, 유사도, 방향의 변위, 충실도에 관해 설명한다.

등록 데이터 수가 m개, 특징량의 차원이 n개이고, i번째의 등록 데이터의 특징량을 Fi, 그 등록 데이터의 특징량이 가지는 k번째의 특징을 Fi[k]로 할 때, 2개의 등록 데이터의 편차(숫자가 클수록 상위(相違)가 크다)는 이하의 계산식으로 계산된다.

[수식 1]

또한, 유사도(Si, j)는 이하로 계산된다.

Si, j=Dmax-Di, j

(Dmax는 편차의 최대치)

또한, 방향의 변위는 이하로 구한다.

각 등록 데이터는 등록 시작 프레임(1번째의 등록 데이터)로부터의 추정 방향(회전 각도)를 유지하고 있다. 또한, 이 회전 각도에는 3차원의 x축, y축, z축을 중심축으로 하는 회전 α(roll), β(pitch), γ(yaw)로 표현하는, 「롤?피치?요각(角)」 등을 사용하는 것이 가능하다.

롤?피치?요각을 사용한 경우, i번째의 등록 데이터의 회전각을 ri(αi, βi, γi), 회전 행렬을 R[i]로 하는 경우, i번째의 회전 행렬은 이하로 구하여진다.

R[i]=Rz(γi)?Rx(αi)?Ry(βi)

[수식 2]

그리고, i번째의 등록 데이터로부터 j번째의 등록 데이터로의 회전 행렬은 이하의 식으로 표현할 수 있다.

R[i→j]=R[j]?R[i]-1

이 때의 회전각의 크기(i번째의 등록 데이터와 j번째의 등록 데이터 방향의 변위)는 이하가 된다.

[수식 3]

또한, 충실도의 구하는 방법으로서는, 이하의 방법을 들 수 있다. 또한, 충실도는 등록 데이터의 베리에이션을 나타내는 것이다.

제 1의 방법으로서, 방향의 변위의 크기에 의해 충실도를 구하는 것을 들 수 있다. 이것은, 등록완료 데이터의 전(全) 조합에 의한 방향의 변위의 크기의 합계로 충실도를 표현하는 것이고, 이하의 식으로 구할 수 있다.

[수식 4]

제 2의 방법으로서, 특징량 편차에 의해 충실도를 구하는 것을 들 수 있다. 이것은, 등록완료 데이터의 전 조합에 의한 특징량의 편차의 합계로서 충실도를 계산하는 것이고, 이하의 식으로 구할 수 있다.

[수식 5]

제 3의 방법으로서, 방향의 변위의 크기와 특징량의 편차의 양쪽을 이용하여 충실도를 구하는 것을 들 수 있다. 이것은, 2개의 등록 데이터의 조합, 방향의 변위가 큰 때는 방향의 변위의 크기, 방향의 변위가 작은 경우는 특징량의 편차를 이용하여 충실도를 계산하는 것이고, 이하의 식으로 구할 수 있다.

[수식 6]

결과 출력부(56)는, 충실도 산출부(55)로부터 취득한 정보로부터, 그 정보가 나타내는 내용을 통보한다.

공통 특징량 추출부는, 모델 정보 기억부(22)에 기억되어 있는 프레임마다의 특징량에 공통되는 특징량(검출용 공통 특징 정보)를 추출하고, 대상물체를 나타내는 공통 특징량으로서 모델 정보 기억부(22)에 기억시킨다.

초기위치 취득부(58)는, 조작 접수부(3)에서 접수한 위치를 나타내는 데이터를 취득하여, 프레임 화상 취득부(51)에 송신하는 것이다.

다음에, 추미 처리부(13)에 관해, 도 4를 이용하여 설명한다. 도 4는, 본 실시의 형태에 관한 디지털 카메라(1)의 추미 처리부(13)의 구성을 도시하는 블록도이다.

도 4에 도시하는 바와 같이 추미 처리부(13)는, 이동 영역 예측부(31), 특징점 추출부(추미용 특징 추출 수단)(32), 이동량 산출부(33), 추미 대상 영역 산출부(34), 프레임 정보 갱신부(35), 및 추미 정보 초기 설정부(36)를 포함하는 구성이다. 그리고, 추미 처리부(13)는, 추미 정보 기억부(23)에 기억되어 있는 추미 정보를 이용하여, 추미 처리를 행하는 것이다. 도 5는, 추미 정보 기억부(23)에 기억되어 있는 추미 정보를 도시하는 설명도이다.

도 5에 도시하는 바와 같이 추미 정보 기억부(23)에는, 추미 대상을 나타내는 추미용ID, 추미 대상을 검출완료하였는지의 여부 및 추미중인지의 여부를 나타내는 스태터스, 프레임 정보를 기억하고 있다. 또한, 이러한 정보는, ID마다 기억되어 있다. 즉, 복수의 ID가 존재하면, 당해 ID분의 상기 정보가 기억되어 있다.

그리고, 프레임 정보에는, 추미 대상의 중심 위치 좌표를 나타내는 위치 정보, 특징점 정보(추미용 특징 정보), 추미 대상의 화상상의 영역 정보인 추미 대상 영역 정보, 초기 프레임 및 전(前)프레임으로부터의 이동량을 나타내는 프레임 이동량이 포함되어 있다. 또한, 스태터스가 추미중인 경우, 추미를 행하고 있는 프레임분의 정보가 기억되어 있다. 또한, 과거 수프레임분을 기억하고 있는 것이라도 좋다.

이동 영역 예측부(31)는, 추미 정보 기억부(23)에 기억되어 있는, 프레임 이동량으로부터, 현(現)프레임에서의 추미 대상의 존재 영역을 예측한다.

특징점 추출부(32)는, 추미 대상의 특징점을 추출한다. 특징점이란, 추미 대상의 특징을 나타내는 부분점(部分点)에서의 색이나 에지 정보 등이다. 또한, 특징점은, 점으로 한하지 않고 영역이라도 좋다.

이동량 산출부(33)는, 특징점 추출부(32)가 추출한 특징점의 추이(推移)로부터 추미 대상의 상대 이동량을 계산한다. 추미 대상의 이동량은 상대 위치(x, y, z)의 변화, 및, 추미 대상의 회전(α, β, γ) 등으로 표현하는 것이 가능하다.

추미 대상 영역 산출부(34)는, 특징점 추출부(32)가 추출한 특징점의 추이로부터 추미 대상 영역과 배경 영역을 분리하고, 추미 대상의 영역을 특정한다.

프레임 정보 갱신부(35)는, 현프레임에서의 특징점의 위치, 특징점 정보, 추미 대상 영역 정보, 프레임 이동량 등에, 추미 정보 기억부(23)에 기억되어 있는 정보를 갱신한다.

추미 정보 초기 설정부(36)는, 추미 정보 기억부(23)에 기억되어 있는 정보를, 초기치로 설정한다. 이 초기치는, 추미가 시작될 때의 프레임에서의 위치 정보, 특징점 정보, 추미 대상 영역 정보이다.

다음에, 도 6을 이용하여, 검출 처리부(14)에 관해 설명한다. 도 6은, 본 실시의 형태에 관한 디지털 카메라(1)의 검출 처리부(14)의 구성을 도시하는 블록도이다. 도 6에 도시하는 바와 같이 검출 처리부(14)는, 프레임 화상 취득부(화상 취득 수단)(41), 특징량 추출부(검출용 특징 추출 수단)(42), 후보 영역 탐색부(후보 영역 탐색 수단)(43), 후보 영역 특징량 추출부(44), 유사도 산출부(유사도 산출 수단)(45), 중심 위치 산출부(판정 수단)(46), 및 결과 출력부(통보 수단)(47)을 포함하는 구성이다.

그리고, 검출 처리부(14)는, 프레임 화상중의 어디에, 모델 정보 기억부(22)에 기억되어 있는 대상물체가 존재하는지를 탐색하고, 결과를 출력하는 것이다.

프레임 화상 취득부(41)는, 프레임 버퍼(21)로부터 프레임 화상을 취득한다. 그리고, 취득한 프레임 화상을 특징량 추출부(42)에 송신한다.

특징량 추출부(42)는, 프레임 화상 취득부(41)로부터 취득한 프레임 화상의 특징량을 추출한다.

후보 영역 탐색부(43)는, 프레임 화상 취득부(41)가 취득한 프레임 화상을 주사하고, 모델 정보 기억부(22)에 기억되어 있는 공통 특징량을 이용하여, 대상물체가 존재할 가능성이 높은 영역(후보 영역)를 탐색한다. 그리고, 탐색한 결과인 후보 영역을 후보 영역 특징량 추출부(44)에 송신하다. 또한, 1프레임 화상에서 복수 영역이 탐색된 경우도 있다.

후보 영역 특징량 추출부(44)는, 후보 영역 탐색부(43)로부터 취득한 후보 영역의 특징량을 추출한다. 그리고, 추출한 특징량을 유사도 산출부(45)에 송신한다.

유사도 산출부(45)는, 후보 영역 특징량 추출부(44)로부터 취득한 특징량과, 모델 정보 기억부(22)에 기억되어 있는 특징량을 비교하고, 유사도를 산출한다.

중심 위치 산출부(46)는, 유사도 산출부(45)가 산출한 유사도가 임계치를 초과한 값인 경우에, 후보 영역 탐색부(43)가 탐색한 후보 영역이, 대상물체의 존재 영역이라고 하여, 그 영역의 중심 위치를 산출한다. 그리고, 중심 위치를 나타내는 정보를 결과 출력부(47)에 송신한다.

결과 출력부(47)는, 중심 위치 산출부(46)로부터 취득한 중심 위치를 표시부(5)에 표시시킨다.

다음에, 디지털 카메라(1)에서의 대상물체의 등록, 추미, 검출의 처리의 흐름에 관해 도 7 내지 도 10을 이용하여 설명한다. 도 7은, 디지털 카메라(1)에서의 대상물체의 등록 처리의 흐름을 도시하는 플로우 차트이다.

도 7에 도시하는 바와 같이 유저로부터 조작 접수부(3)를 통하여 대상물체의 위치를 접수하면(S701), 프레임 화상 취출부(11)는 촬상하고 있는 동화상으로부터 프레임 화상을 취출한다(S702). 그리고, 등록 처리부(12)는 등록을 완료하는지의 여부를 판단하고(S703), 등록이 완료되지 않은 경우(S703에서 NO), 추미 처리부(13)는, 프레임 화상 취출부(11)가 취출한 프레임 화상이 초기 프레임인지의 여부를 판단한다(S704).

그리고, 초기 프레임이면(S704에서 YES), 추미 처리부(13)는, 추미용 ID를 작성하고, 추미 처리의 초기화를 행한다(S706). 추미 처리의 초기화에 관해서는 후술한다. 그리고, S702로 되돌아온다. 한편, 초기 프레임이 아니면(S704에서 NO), 추미 처리부(13)는 추미 처리를 시작한다(S707). 추미 처리에 관해서는 후술한다.

그리고, 검출용 특징량 추출부(52)는, 추미 정보 기억부(23)에 기억되어 있는 스태터스, 프레임 정보를 확인하고(S708), 스태터스에 부정(不正)이 없는지 판단한다(S709). 그리고 스태터스가 부정하면(S709에서 NO), 표시부(5)는 에러 표시를 행하고(S719), 등록 처리를 종료한다. 한편, 스태터스에 부정이 아니면(S709에서 YES), 검출용 특징량 추출부(52)는, 대상물체의 특징량을 추출한다(S710).

여기서, 스태터스의 부정이란, 추미 처리가 정상적으로 종료하지 않은 경우이다. 또한, 스태터스이란, 추미의 상태를 나타내는 것이고, 「미인식」, 「인식완료」, 「트래킹중」의 3개의 상태가 존재한다. 「미인식」이란, 초기화된 상태를 나타낸다. 「인식완료」란, 트래킹(추미)이 초기화되지 않은 상태를 나타낸다. 또한, 「트래킹중」이란, 트래킹(추미)중인 것을 나타낸다.

또한, 스태터스가 「미인식」으로부터 「인식완료」가 되는 것은, S705부터 S706으로 진행할 때, 또는 후술하는 S1013부터 S1014로 진행할 때이다. 또한, 스태터스가 「인식완료」로부터 「트래킹중」이 되는 것은, 후술하는 S802에서 이다. 또한, 스태터스가 「트래킹중」으로부터 「미인식」이 된 것은, S716의 전(前)이나, 후술하는 S907의 전이다.

그리고, 유사도 산출부(53)는, 검출용 특징량 추출부(52)가 추출한 대상물체의 특징량과 이미 등록완료의 같은 대상물체의 특징량을 비교하고, 유사도를 산출한다(S711). 그리고, 유사도가 소정의 범위 내에 없으면(S712에서 NO), 등록을 행하지 않고 S702로 되돌아온다. 한편, 유사도가 소정의 범위 내에 있으면(S712에서 YES), 등록부(54)는, 대상물체의 특징량을 모델 정보 기억부(22)에 기억시킨다(S713).

그리고, 충실도 산출부(55)는, 모델 정보 기억부(22)에 기억되어 있는 특징량의 충실도를 산출한다(S714). 그리고, 표시부(5)는 결과를 표시한다(S715). 그리고, S702로 되돌아온다.

한편, 충실도가 임계치를 초과하는 등에 의해, 등록을 완료하는 경우(S703에서 YES), 공통 특징량 추출부(57)는, 모델 정보 기억부(22)에 기억되어 있는 프레임마다의 특징량의 공통 특징량을 산출한다(S716). 그리고, 당해 대상물체의 ID를 접수하고(S717), 표시부(5)는, 등록 결과를 표시하고(S718), 등록 처리가 종료된다.

이상이, 등록 처리의 흐름이다. 다음에, 추미 처리의 초기화의 흐름에 관해 도 8을 이용하여 설명한다. 도 8은, 디지털 카메라(1)에서의 추미 처리의 초기화의 흐름을 도시하는 플로우 차트이다.

도 8에 도시하는 바와 같이 추미 처리의 초기화를 행하는 경우, 특징점 추출부(32)는, 추미 대상의 특징점을 추출한다(S801). 그리고, 추미 정보 초기 설정부(36)는, 특징점 추출부(32)가 추출한 특징점의 위치 정보만을 추미 정보 기억부(23)에 기억시키고, 다른 정보는 리셋한다(S802). 이상으로, 추미 처리의 초기화의 흐름이 종료된다.

다음에, 추미 처리에 관해 도 9를 이용하여 설명한다. 도 9는, 디지털 카메라(1)에서의 추미 처리의 흐름을 도시하는 플로우 차트이다.

도 9에 도시하는 바와 같이 추미 처리를 행하는 경우, 추미 처리부(13)는, 과거의 프레임의 추미 대상의 이동량으로부터 현프레임에서의 위치를 예측한다(S901). 그리고, 특징점 추출부(32)는, 특징점을 추출하고(S902), 이동량 산출부(33)는, 과거의 프레임과 현프레임의 특징점의 위치의 변화로부터 추미 대상의 이동량을 산출한다(S903). 그리고, 추미 대상 영역 산출부(34)는, 전프레임과 현프레임의 화상을 비교하여 매칭도(度)를 산출하고, 산출한 매칭도가 기준치보다 큰지의 여부를 판단한다(S904). 그리고, 매칭도가 기준치 이하이면(S904에서 NO), 프레임 정보 갱신부(35)는, 추미 정보 기억부(23)에 기억되어 있는 추미 정보를 클리어한다. 왜냐하면, 전프레임과 현프레임이 너무나도 다른 경우는, 추미를 행할 수가 없다고 생각되기 때문이다.

한편, 매칭도가 기준치보다 큰 경우는(S904에서 YES), 추미 대상 영역 산출부(34)는, 이동량 산출부(33)가 산출한 이동량으로부터, 추미 대상과 배경과의 경계를 산출하고, 추미 대상 영역을 산출한다(S905). 그리고, 프레임 정보 갱신부(35)는 프레임 정보를 갱신한다(S906).

다음에, 검출 처리의 흐름에 관해 도 10을 이용하여 설명한다. 도 10은, 디지털 카메라(1)에서, 대상물체를 검출하는 처리의 흐름을 도시하는 플로우 차트이다.

도 10에 도시하는 바와 같이 우선, 프레임 화상 취출부(11)는 촬상하고 있는 동화상으로부터 프레임 화상을 취출한다(S1001). 다음에, 검출 처리부(14)는, 모델 정보 기억부(22)에 대상물체를 나타내는 ID가 등록되어 있는지의 여부를 판단한다(S1002). 그리고, ID가 등록되지 않은 경우(S1002에서 NO), 그대로 결과 표시를 행한다(S1016). 한편, ID가 등록되어 있으면(S1002에서 YES), 특징량 추출부(42)는, 프레임 화상의 특징량을 추출한다(S1003). 그리고, 추미 처리부(13)는 추미 정보의 스태터스을 확인하고(S1004), 스태터스가 추미중이면(S1005에서 YES), 추미 처리를 행한다(S1006). 한편, 스태터스가 추미중이 아니면(S1005에서 NO), 후보 영역 탐색부(43)는, 프레임 화상으로부터 대상물체가 존재한다고 생각되는 영역인 후보 영역을 탐색한다(S1007).

그리고, 후보 영역이 존재하면(S1008에서 YES), 후보 영역 특징량 추출부(44)는, 후보 영역의 특징량을 추출한다(S1009). 그리고, 유사도 산출부(45)가 추출된 특징량과, 모델 정보 기억부(22)에 기억되어 있는 특징량을 비교하고, 유사도를 산출한다(S1010). 그리고, 모든 후보 영역에 관해 특징량의 추출 및 유사도의 산출이 종료되면(S1011에서 YES), 유사도 산출부(45)는, 산출한 유사도의 최대치가 임계치 이상인지의 여부를 판단한다(S1012).

그리고, 유사도의 최대치가 임계치 이상이면(S1012에서 YES), 중심 위치 산출부(46)는, 후보 영역의 중심 위치를 산출한다(S1013). 그리고, 모든 ID에 관해 상기 처리가 종료되면(S1015에서 YES), 중심 위치를 나타내는 표시를 행한다(S1016).

한편, 후보 영역이 없으면(S1008에서 NO), S1015로 진행한다. 또한, 유사도의 최대치가 임계치를 초과하지 않으면(S1012에서 NO), S1015로 진행한다.

이상으로, 검출 처리가 종료된다.

이상과 같이, 본 실시의 형태에서는, 대상물체를 등록하는 경우에, 동화로 대상물체를 촬영한다. 그리고, 등록을 시작하는 프레임에서, 대상물체가 존재한 위치를 접수한다. 이에 의해, 동화의 각 프레임의 변화를 봄으로써, 대상물체와 배경을 분리할 수 있고, 대상물체의 영역을 확정할 수 있다. 따라서, 용이하게 대상물체를 등록할 수 있다.

또한, 대상물체를 검출하는 경우에, 등록되어 있는 프레임마다의 특징량의 공통 특징량을 이용하여, 촬영 화상에서, 대상물체가 존재한다고 생각되는 영역(후보 영역)을 탐색한다. 그리고, 탐색한 후보 영역의 특징량을, 프레임마다의 특징량과 비교함으로써 당해 후보 영역이 대상물체가 존재하는 영역인지의 여부를 판단한다. 이에 의해, 용이하게 대상물체를 검출할 수 있다.

또한, 추미 처리를 행함으로써, 한번 검출된 대상물체는, 자동적으로 추미할 수 있다. 따라서, 등록되지 않은 자세나 방향이라도 추미할 수 있기 때문에, 대상물체가 존재하는 영역을 검출할 수 있다.

다음에, 도 11 및 도 12를 이용하여 본 실시의 형태를 구체적으로 이용한 예에 관해 설명한다. 여기서는, 대상물체로서 「개(犬)」를 생각한다. 도 11은, 개를 등록하는 경우에 관한 설명도이고, 동 도면의 (a)는, 개가 존재하고 있는 영역의 1점을 지정하고 있는 상태를 도시하고, 동 도면의 (b)는, 등록하는 개(犬)의 영역을 판별하고 있는 상태를 도시하고 있다.

도 11의 (a)에 도시하는 바와 같이 개(犬)를 등록하는 경우, 우선, 개(犬)가 존재하고 있는 영역의 1점을 지정점(110)로서 지정한다. 그리고, 상술한 방법으로 개(犬)를 추종하여, 개(犬)가 존재하고 있는 영역(굵은으로 둘러싼 영역)으로부터 특징량을 추출하고, 등록한다.

또한, 도 12는, 개를 검출하는 경우에 관한 설명도이고, 동 도면의 (a)는, 촬영중의 화상중에 개(犬)가 존재하고 있는 상태를 도시하고, 동 도면의 (b)는, 후보 영역을 도시하고, 동 도면의 (c)는, 검출한 개(犬)가 존재하고 있는 영역을 도시하고 있다.

도 12의 (a)에 도시하는 바와 같이 촬영중의 화상에 등록되어 있는 개(犬)가 존재하고 있는 경우에, 후보 영역을 탐색하면, 동 도면의 (b)에 도시하는 바와 같은 영역이 탐색된다. 그리고, 탐색된 후보 영역의 특징량과 등록되어 있는 개(犬)의 특징량을 비교하고, 개(犬)가 존재하고 있는 영역이라고 판단되면, 동 도면의 (c)에 도시하는 바와 같이 개(犬)가 존재하고 있는 영역을 나타내는 표시가 행하여진다.

본 발명은 상술한 실시의 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

최후로, 디지털 카메라(1)의 각 블록, 특히 제어부(6)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU(central processing unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 디지털 카메라(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 디지털 카메라(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 디지털 카메라(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU(microprocessor unit))가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표)디스크/하드 디스크 등의 자기 디스크나 CD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable) 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 디지털 카메라(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN(local area network), ISDN(integrated services digital network), VAN(value-added network), CATV(community antenna television) 통신망, 가상전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE(institute of electrical and electronic engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(asynchronous digital subscriber loop) 회선 등의 유선이라도, IrDA(infrared data association)나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR(high data rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.

종래에는 검출이 곤란하였던 동물도 포함하여, 용이하게 등록?검출을 행할 수가 있기 때문에, 동물 등을 포함하여 촬영하는 장치, 예를 들면 디지털 카메라 등에 알맞다.

1 : 디지털 카메라
2 : 기억부
3 : 조작 접수부
4 : 촬상부
5 : 표시부
6 : 제어부
11 : 프레임 화상 취출부
12 : 등록 처리부
13 : 추미 처리부(추미 수단)
14 : 검출 처리부
21 : 프레임 버퍼
22 : 모델 정보 기억부
23 : 추미 정보 기억부
31 : 이동 영역 예측부
32 : 특징점 추출부(추미용 특징 추출 수단)
33 : 이동량 산출부
34 : 추미 대상 영역 산출부
35 : 프레임 정보 갱신부
36 : 추미 정보 초기 설정부
41, 51 : 프레임 화상 취득부(화상 취득 수단)
42 : 특징량 추출부(검출용 특징 추출 수단)
43 : 후보 영역 탐색부(후보 영역 탐색 수단)
44 : 후보 영역 특징량 추출부
45, 53 : 유사도 산출부(유사도 산출 수단)
46 : 중심 위치 산출부(판정 수단)
47, 56 : 결과 출력부(통보 수단)
52 : 검출용 특징량 추출부(대상물체 영역 검출 수단, 검출용 특징 추출 수단)
54 : 등록부(검출용 특징 등록 수단)
55 : 충실도 산출부(운동 변화량 산출 수단, 충실도 산출 수단)
57 : 공통 특징량 추출부(공통 특징 특정 수단)
58 : 초기위치 취득부(초기위치 취득 수단)

Claims

촬영에 의한 동화상에 포함되는 대상물체를 검출하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 검출용 특징 정보를 등록하는 검출용 정보 등록 장치로서,
정보를 기억하는 기억부와,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과,
촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 상기 기억부에 기억하는 추미용 특징 추출 수단과,
상기 추미용 특징 추출 수단이 추출한 추미용 특징 정보로부터, 상기 대상물체의 화상 영역과 배경 영역을 분리함에 의해, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 수단과,
상기 대상물체 영역 검출 수단이 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과
상기 검출용 특징 추출 수단이 추출한 상기 검출용 특징 정보의 일부 또는 전부를 상기 기억부에 등록하는 검출용 특징 등록 수단과,
상기 추미용 특징 추출 수단이 추출한 추미용 특징 정보의 위치 및 방향 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 위치 및 방향 정보와의 변화에 의거하여, 상기 대상물체의 상기 프레임 화상에서의 운동의 변화량을 산출하는 운동 변화량 산출 수단과,
상기 검출용 특징 추출 수단이 추출한 검출용 특징 정보와, 상기 기억부에 기억된 과거의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 수단과,
상기 대상물체를 포함하는 피사체의 촬영에 의한 임의의 촬영 화상으로부터, 상기 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양에 대한, 상기 기억부에 기억된 검출용 특징 정보의 양의 정도를 나타내는 충실도를, 상기 운동 변화량 산출 수단이 산출한 운동의 변화량에서의 방향의 변화량과, 상기 유사도 산출 수단이 산출한 유사도에 의거하여 산출하는 충실도 산출 수단을 구비하고 있는 것을 특징으로 하는 검출용 정보 등록 장치.
삭제
제 1항에 있어서,
동화상에서의 대상물체의 초기위치의 정보를 미리 취득하여 상기 기억부에 기억하는 초기위치 취득 수단을 또한 구비하고 있고,
상기 추미용 특징 추출 수단 및 상기 대상물체 영역 검출 수단은, 상기 화상 취득 수단이 취득한 최초의 프레임 화상에 대해, 상기 기억부에 기억된 초기위치의 정보를 이용하는 것을 특징으로 하는 검출용 정보 등록 장치.
제 1항에 있어서,
상기 기억부에 기억된 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 특정하는 공통 특징 특정 수단을 또한 구비하고 있고,
상기 검출용 특징 등록 수단은, 상기 공통 특징 특정 수단이 특정한 검출용 공통 특징 정보를 또한 상기 기억부에 등록하는 것을 특징으로 하는 검출용 정보 등록 장치.
제 1항에 있어서,
상기 기억부에 기억되는 검출용 특징 정보는, 복수의 상기 대상물체를 식별하는 식별 정보에 대응시켜서 기억되어 있는 것을 특징으로 하는 검출용 정보 등록 장치.
촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치로서,
상기 대상물체를 검출하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보와, 상기 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 기억하는 기억부와,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 수단과,
상기 화상 취득 수단이 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 수단과,
상기 검출용 특징 추출 수단이 추출한 검출용 특징 정보와, 상기 기억부의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 수단과,
상기 후보 영역 탐색 수단이 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 상기 기억부의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 수단과,
상기 유사도 산출 수단이 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 수단을 구비하고 있는 것을 특징으로 하는 대상물체 검출 장치.
제 6항에 있어서,
상기 대상물체가 존재하는 영역을 추미하는 추미 수단을 구비하고 있는 것을 특징으로 하는 대상물체 검출 장치.
제 1항, 제 3항 내지 제 5항 중 어느 한 항에 기재된 검출용 정보 등록 장치와 제 6항 또는 제 7항에 기재된 대상물체 검출 장치를 포함하는 것을 특징으로 하는 전자 기기.
제 1항, 제3항 내지 제 5항 중 어느 한 항에 기재된 검출용 정보 등록 장치와 제 6항 또는 제 7항에 기재된 대상물체 검출 장치를 포함하는 전자 기기로서,
상기 충실도 산출 수단이 산출한 충실도에 의거하여, 유저에 대해 통보를 행하는 통보 수단을 구비하고 있는 것을 특징으로 하는 전자 기기.
촬영에 의한 동화상에 포함되는 대상물체를 검출하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 검출용 특징 정보를 등록하는 검출용 정보 등록 장치의 제어 방법으로서,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과,
촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 기억부에 기억하는 추미용 특징 추출 스텝과,
상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보로부터, 상기 대상물체의 화상 영역과 배경 영역을 분리함에 의해, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 스텝과,
상기 대상물체 영역 검출 스텝에서 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 상기 검출용 특징 정보의 일부 또는 전부를 기억부에 등록하는 검출용 특징 등록 스텝과,
상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보의 위치 및 방향 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 위치 및 방향 정보와의 변화에 의거하여, 상기 대상물체의 상기 프레임 화상에서의 운동의 변화량을 산출하는 운동 변화량 산출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 상기 기억부에 기억된 과거의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과,
상기 대상물체를 포함하는 피사체의 촬영에 의한 임의의 촬영 화상으로부터, 상기 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양에 대한, 상기 기억부에 기억된 검출용 특징 정보의 양의 정도를 나타내는 충실도를, 상기 운동 변화량 산출 스텝에서 산출한 운동의 변화량에서의 방향의 변화량과, 상기 유사도 산출 스텝에서 산출한 유사도에 의거하여 산출하는 충실도 산출 스텝을 구비하고 있는 것을 특징으로 하는 검출용 정보 등록 장치의 제어 방법.
촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치의 제어 방법으로서,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에서 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 기억부에 기억되어 있는 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 스텝과,
상기 후보 영역 탐색 스텝에서 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 기억부에 기억되어 있는 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과,
상기 유사도 산출 스텝에서 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 스텝을 포함하는 것을 특징으로 하는 대상물체 검출 장치의 제어 방법.
촬영에 의한 동화상에 포함되는 대상물체를 검출하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 검출용 특징 정보를 등록하는 검출용 정보 등록 장치 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과,
촬영에 의한 동화상에 포함되는 대상물체를 추미하기 위한 정보로서, 상기 대상물체를 특징지우는 정보인 추미용 특징 정보를, 상기 프레임 화상으로부터 추출하여 기억부에 기억하는 추미용 특징 추출 스텝과,
상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보로부터, 상기 대상물체의 화상 영역과 배경 영역을 분리함에 의해, 상기 대상물체의 화상 영역을 검출하는 대상물체 영역 검출 스텝과,
상기 대상물체 영역 검출 스텝에서 검출한 상기 대상물체의 화상 영역으로부터, 상기 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 상기 검출용 특징 정보의 일부 또는 전부를 기억부에 등록하는 검출용 특징 등록 스텝과,
상기 추미용 특징 추출 스텝에서 추출한 추미용 특징 정보의 위치 및 방향 정보와, 상기 기억부에 기억된 과거의 상기 프레임 화상에 관한 상기 추미용 특징 정보의 위치 및 방향 정보와의 변화에 의거하여, 상기 대상물체의 상기 프레임 화상에서의 운동의 변화량을 산출하는 운동 변화량 산출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 상기 기억부에 기억된 과거의 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과,
상기 대상물체를 포함하는 피사체의 촬영에 의한 임의의 촬영 화상으로부터, 상기 대상물체를 검출하기 위해 필요하다고 추정되는 검출용 특징 정보의 양에 대한, 상기 기억부에 기억되는 검출용 특징 정보의 양의 정도를 나타내는 충실도를, 상기 운동 변화량 산출 수단이 산출한 운동의 변화량에서의 방향의 변화량과, 상기 유사도 산출 스텝에서 산출한 유사도에 의거하여 산출하는 충실도 산출 스텝을 구비하고 있는 것을 특징으로 하는 검출용 정보 등록 장치 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
촬영에 의한 동화상에 포함되는 대상물체를 검출하는 대상물체 검출 장치 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 동화상에서의 프레임 화상을 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에서 취득한 프레임 화상으로부터, 검출용 특징 정보를 추출하는 검출용 특징 추출 스텝과,
상기 검출용 특징 추출 스텝에서 추출한 검출용 특징 정보와, 기억부에 기억되어 있는 대상물체를 특징지우는 정보인 복수의 검출용 특징 정보의 전부 또는 일부에 공통되는 하나 또는 복수의 검출용 공통 특징 정보를 이용하여, 상기 검출용 공통 특징 정보와 유사한 검출용 특징 정보를 갖는 영역을, 상기 프레임 화상에 상기 대상물체가 존재할 가능성을 갖는 영역인 후보 영역으로서 탐색하는 후보 영역 탐색 스텝과,
상기 후보 영역 탐색 스텝에서 탐색한 후보 영역에 포함되는 검출용 특징 정보와, 기억부에 기억되어 있는 검출용 특징 정보와의 유사도를 산출하는 유사도 산출 스텝과,
상기 유사도 산출 스텝에서 산출한 유사도에 의거하여, 상기 후보 영역이, 상기 프레임 화상에 상기 대상물체가 존재하는 영역인지를 판정하는 판정 스텝을, 컴퓨터에 실행시키기 위한 대상물체 검출 장치 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.