KR101529384B1

KR101529384B1 - 피사체 검출 장치, 피사체 검출 방법 및 기록 매체

Info

Publication number: KR101529384B1
Application number: KR1020130085010A
Authority: KR
Inventors: 마사노리 이시하라
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-07-23
Filing date: 2013-07-18
Publication date: 2015-06-16
Also published as: CN103578102B; KR20140012891A; JP2014021901A; US9055215B2; CN103578102A; US20140022412A1

Abstract

촬상 장치 1은, 복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기를 기억하는 기억부 19와, 이미지를 차례로 취득하는 취득부 42와, 상기 복수의 촬영 환경에 각각 대응되는 복수의 식별기로부터 특정한 식별기를 선택하는 선택부 41과, 선택된 특정한 식별기를 이용하여 상기 취득부에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출부 43을 포함한다.

Description

피사체 검출 장치, 피사체 검출 방법 및 기록 매체{SUBJECT DETECTION DEVICE AND SUBJECT DETECTION METHOD FOR DETECTING SUBJECT IMAGE FROM IMAGE AND STORAGE MEDIUM THEREFOR}

본 발명은, 이미지로부터 피사체 이미지를 검출하는 피사체 검출 장치, 피사체 검출 방법 및 프로그램 기록 매체에 관한 것이다.

종래로부터, 일본의 특허 공개 공보 제2008-108024호에는, 이미지에 포함되는 얼굴 영역을 검출(이하, "얼굴 검출"이라 함)함에 있어서, 역광 등의 조건 하에서도 검출의 정밀도를 향상시키기 위한 기술이 공개되어 있다(예를 들면, 특허문헌 참조). 이러한 기술이 적용된 장치는, 역광 시에 촬상되고 있는 촬상 이미지 데이터에 대하여 게인 조정 처리를 실시한 후에, 얼굴 영역을 추정하고 있다.

일본공개특허 제2008-108024호 공보

그러나, 특허문헌에 개시된 기술을 적용했을 경우, 촬영 환경이 역광 상태 등으로부터 다른 상태로 변화되는 등 촬영 환경이 안정되지 않는 경우에는, 그때마다 게인 조정 처리의 내용을 변경할 필요가 있기 때문에, 결과적으로 얼굴 검출 처리가 곤란해질 우려가 있다.

본 발명은, 이러한 상황에 비추어 발명된 것으로서, 안정되지 않는 촬영 환경하에 있어서도 피사체의 검출을 더욱 적정하게 하는 것을 목적으로 한다.

본 발명의 일 태양은,

피사체 검출 장치에 있어서,

이미지를 차례로 취득하는 취득부와,

복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기로부터 특정한 식별기를 선택하는 선택부와,

상기 선택부에 의해 선택된 특정한 식별기를 이용하여, 상기 취득부에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출부

을 포함하는 피사체 검출 장치를 제공한다.

본 발명의 다른 태양은,

피사체 검출 장치가 실행하는 피사체 검출 방법에 있어서,

이미지를 차례로 취득하는 취득 단계와,

복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기로부터 특정한 식별기를 선택하는 선택 단계와,

상기 선택 단계에 의해 선택된 특정한 식별기를 이용하여, 상기 취득 단계에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출 단계

를 포함하는 피사체 검출 방법을 제공한다.

본 발명의 다른 태양은,

컴퓨터로 독출 가능한 프로그램을 기록한 기록 매체에 있어서,

이미지를 차례로 취득하는 취득부,

복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기로부터 특정한 식별기를 선택하는 선택부,

으로서 동작하도록 컴퓨터를 실행시키는 프로그램을 기록한 기록 매체를 제공한다.

도 1은, 본 발명의 제1실시 형태에 관한 촬상 장치의 하드웨어 구성을 도시한 블록도이다.
도 2는, 도 1의 촬상 장치의 기능적 구성 중에서 얼굴 검출 제어 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.
도 3은, 도 2의 기능적 구성을 포함하는 도 1의 촬상 장치가 실행하는 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도(flow chart)이다.
도 4는, 도 1의 촬상 장치의 기능적 구성 중에서 제2 실시 형태에 관한 얼굴 검출 제어 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.
도 5는, 도 4의 기능적 구성을 포함하는 도 1의 촬상 장치가 실행하는 제2 실시 형태에 관한 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도이다.
도 6은, 도 2의 기능적 구성을 포함하는 도 1의 촬상 장치가 실행하는 제3 실시 형태에 관한 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도이다.

이하, 본 발명의 실시 형태에 관하여 도면을 참조하여 설명한다.

[제1 실시 형태]

도 1은, 본 발명의 제1 실시 형태에 관한 촬상 장치의 하드웨어 구성을 도시한 블록도이다.

촬상 장치 1은, 예를 들면 디지털카메라로서 구성된다.

촬상 장치 1은, CPU(Central Processing Unit) 11과, ROM(Read Only Memory) 12와, RAM(Random Access Memory) 13과, 버스 14와, 입출력 인터페이스 15와, 출력부 16과, 입력부 17과, 촬상부 18과, 기억부 19와, 통신부 20과, 드라이브 21과, 표시부 22를 포함하고 있다.

CPU 11은, ROM 12에 기록되어 있는 프로그램, 또는 기억부 19로부터 RAM 13으로 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM 13에는, CPU 11이 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU 11, ROM 12 및 RAM 13은, 버스 14를 통해서 서로 접속된다. 이 버스 14에는 또한 입출력 인터페이스 15도 접속되어 있다. 입출력 인터페이스 15에는, 출력부 16, 입력부 17, 촬상부 18, 기억부 19, 통신부 20 및 드라이브 21이 접속되어 있다.

출력부 16은, 디스플레이나 스피커 등으로 구성되며, 이미지나 음성을 출력한다.

입력부 17은, 전원 버튼, 셔터 버튼 등의 각종 버튼 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다. 한편, 여기에서 말하는 각종 버튼 등에는, 하드웨어 버튼뿐만 아니라, 출력부 16의 화면에 표시되는 소프트웨어 버튼도 포함된다. 즉, 입력부 17은, 출력부 16의 디스플레이에 적층 되는 터치 패널(touch panel)도 포함하도록 구성되어 있다.

촬상부 18은, 피사체를 촬상하고, 당해 피사체의 상을 포함하는 이미지(이하, "촬상 이미지"라 함.)의 데이터를 CPU 11에 공급한다.

기억부 19는, 하드 디스크 또는 DRAM(Dynamic Random Access Memory)등으로 구성되며, 촬상 이미지 등의 이미지 데이터를 기억한다.

기억부 19는 또한, 특정한 촬영 환경에 대응되는 얼굴 인식기 군(群)(이하, "식별기 군(群)"이라 함.)을 서로 다른 촬영 환경마다 기억하고 있다. 식별기 군은, 공지 또는 향후 등장할 수 있는 임의의 기술에 의하여 생성된 것이 채용될 수 있으며, 본 실시 형태에 있어서는, 역광시, 저조도시(低照度時), 통상시(예를 들면, 순광시)와 같은 각 촬영 환경을 위한 식별기 군이 채용되어 있다. 각 식별기 군은, 촬영 환경마다, 각각 다른 방향을 향한 피사체의 얼굴에 대응되는 복수의 얼굴 인식기에 의하여 구성된다. 본 실시 형태에 있어서는, 상술한 식별기 군으로서, 피사체가 촬상 장치 1 등의 카메라 렌즈 측에 대하여 정면으로 향하고 있는 방향(이하, "정면 방향"이라 함.), 촬상 장치 1의 광축을 중심으로 해서 회전한 방향(이하, "롤(roll) 방향"이라 함.), 상하를 축으로 하여 회전한 방향(이하, "요(yaw) 방향"이라 함.), 좌우를 축으로 하여 회전한 방향 (이하, "피치(pitch) 방향"이라 함.)의 각 방향을 향한 4개의 식별기에 의해 구성된다.

통신부 20은, 인터넷을 포함하는 네트워크를 통해서 다른 장치(도시되지 않음)와의 사이에서 수행되는 통신을 제어한다.

드라이브 21에는, 자기 디스크, 광디스크, 광자기 디스크 혹은 반도체 메모리 등에 의하여 구성되는, 탈착 가능(removable) 미디어 31이 적절히 장착된다. 드라이브 21에 의해 탈착 가능 미디어 31로부터 독출된 프로그램은, 필요에 따라 기억부 19에 인스톨된다. 또, 탈착 가능 미디어 31은, 기억부 19에 기억되어 있는 이미지 데이터 등의 각종 데이터도, 기억부 19와 마찬가지로 기억할 수 있다.

표시부 22는, 촬상부 18에 의해 촬상된 라이브 뷰(live view) 이미지를 표시하는 것 이외에, 기록된 이미지를 재생한 것을 표시한다. 또, 표시부 22에는, 본 실시 형태에 있어서의 얼굴 검출 제어 처리에 있어서, 검출된 얼굴에 대하여 프레임이 표시된다.

도 2는, 이러한 촬상 장치 1의 기능적 구성 중에서, 얼굴 검출 제어 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.

얼굴 검출 제어 처리라는 것은, 사용자에 의해 입력부 17의 셔터 버튼이 반눌림 된 것에 의해 촬상 장치 1의 동작 모드가 얼굴 검출 상태로 변경된 것을 계기로 하여 개시되는 다음과 같은 처리를 말한다. 다시 말해, 얼굴 검출 제어 처리라는 것은, 미리 준비된 복수의 식별기 군을 교체해 가면서 얼굴 검출 처리를 수행하고, 얼굴 검출이 성공하면, 그 이후의 얼굴 검출 처리에 있어서는 얼굴 검출이 성공한 식별기 군을 이용해서 얼굴 검출 처리를 수행할 때까지의 일련의 처리를 말한다. 얼굴 검출 처리는, 예를 들면, 각 식별기 군에 기초하여 뉴럴 네트워크(Neural Network: NN), 아다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM)이라고 불리는 알고리즘을 따라 얼굴 영역을 추정하는 처리를 말한다.

뉴럴 네트워크(NN), 아다부스트(AdaBoost), 서포트 벡터 머신(SVM)에 의한 얼굴 검출 처리는 공지의 기술이기 때문에, 본 실시 예에서는, 그 상세한 설명에 대해서는 생략한다.

또한, 반눌림이라는 것은, 입력부 17의 셔터 버튼의 도중(하한에 미치지 못하는 소정의 위치)까지 누르는 조작을 말한다.

CPU 11에 있어서는, 얼굴 검출 제어 처리의 실행이 제어될 경우, 선택부 41과, 취득부 42와, 검출부 43이 기능한다.

한편, 도 2는 예시이며, 촬상 장치 1에 GA(Graphics Accelerator: 그래픽 가속기) 등의 화상 처리 전용의 하드웨어를 포함하고, CPU 11의 기능의 적어도 일부를 해당 하드웨어에 위양(委讓)해도 좋다.

또, 기억부 19는, 상술한 바와 같이, 특정 촬영 환경에 대응되는 피사체의 식별기 군을 복수 기억하고 있다.

선택부 41은, 기억부 19에 기억된 복수의 식별기 군으로부터 특정한 식별기 군을 선택한다. 여기에서, 특정한 식별기 군이라 함은, 통상시, 역광시, 저조도시 등의 특정한 촬영 환경하에 있어서 피사체를 검출하는데에 특화된 식별기 군을 말한다.

상세하게는, 선택부 41은, 후술하는 취득부 42에 의해 취득되는 촬상 이미지 데이터에 기초하여, 해당 촬상 이미지 내의 피사체를 특정하고, 해당 피사체에 적합한 특정의 식별기 군을 선택한다. 선택부 41은, 특정의 식별기 군에 속하는 각 식별기의 얼굴 영역과, 촬상 이미지 내의 피사체의 얼굴 영역과의 유사도를 산출한다. 선택부 41은, 소정 값 이상의 유사도를 갖는 식별기를, 피사체의 얼굴에 적합한 식별기로서 인식한다. 선택부 41은, 특정의 식별기 군을 선택하는 순서로서, 예를 들면, 기억부 19에 기억된 통상시의 식별기 군, 역광시의 식별기 군, 저조도시의 식별기 군 등과 같은 순서를 채용한다. 그리고, 선택부 41은, 그 순서로 식별기 군을 교체해 가면서 특정의 식별기 군을 선택한다. 또, 선택부 41은, 후술하는 검출부 43으로부터 얼굴 검출이 실패했다는 취지의 통지를 받았을 경우, 앞서 선택한 식별기 군을 다른 식별기 군으로 교체한다. 선택부 41은, 선택한 식별기 군을 특정할 수 있는 정보를 생성하고, 검출부 43에 공급한다.

여기에서, 얼굴 검출이 실패했을 때의 식별기 군을 교체하는 순서로서는, 초기의 순서(통상시의 식별기 군)로부터 식별기 군을 순서대로 교체해 가면서 얼굴 검출을 수행하여도 좋고, 얼굴 검출이 실패한 식별기 군의 다음 식별기 군으로부터 식별기 군을 순서대로 교체해 가면서 얼굴 검출을 수행해도 좋다.

취득부 42는, 촬상부 18에 의해 촬상된 촬상 이미지 데이터를 차례로 취득한다. 취득부 42는, 촬상 이미지 데이터를 취득할 때마다 촬상 이미지 데이터를 검출부 43에 차례로 공급한다.

검출부 43은, 취득부 42에 의해 차례로 취득된 촬상 이미지 데이터를 이용해서 얼굴 검출 처리를 수행한다. 검출부 43은, 취득부 42로 의해 촬상 이미지 데이터가 차차 취득될 때마다, 선택부 41에 의해 선택된 특정한 식별기 군을 채용하고, 촬상 이미지 내의 피사체의 얼굴 영역을 검출한다. 상세하게는, 검출부 43은, 선택부 41에 의해 선택된 특정 식별기 군에 속하는 각 식별기, 구체적으로는, 정면방향의 식별기, 롤 방향의 식별기, 요 방향의 식별기 및 피치 방향의 식별기의 각각을 그 순서로 교체해 간다. 검출부 43은, 각 식별기 군을 교체해 갈 때마다, 얼굴 검출 처리를 실행한다.

이렇게, 검출부 43이, 통상시의 식별기 군, 역광시의 식별기 군, 저조도시의 식별기 군 등, 특정의 촬영 환경에 따른 식별기 군을 이용해서 얼굴 검출 처리를 수행함으로써 얼굴 검출의 정밀도가 향상된다.

또한, 검출부 43은, 얼굴 검출이 실패했을 경우, 선택부 41에 의해 교체된 식별기 군을 이용하여, 얼굴 검출 처리를 다시 실행한다. 검출부 43은, 검출부에 의해 얼굴 검출이 수행 가능했는지 아닌지의 취지의 정보를 선택부 41에 통지한다.

다음으로, 도 3을 참조하여, 이러한 도 2의 기능적 구성의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리에 대해서 설명한다.

도 3은, 도 2의 기능적 구성을 포함하는 도 1의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도이다.

얼굴 검출 제어 처리는, 예를 들면, 사용자에 의해 입력부 17의 셔터 버튼이 반눌림되어 촬상 장치 1의 동작 모드가 얼굴 검출 상태로 변경된 것을 계기로서 개시되며, 다음과 같은 처리가 반복해 실행된다.

단계 S101에 있어서, 취득부 42는, 촬상부 18에 의해 촬상된 촬상 이미지 데이터를 차례로 취득한다.

단계 S102에 있어서, 검출부 43은, 식별기 군을 교체해 가면서 얼굴 검출 처리를 수행한다. 이 처리에서는, 처음에, 선택부 41이 취득부 42에 의해 취득된 촬상 이미지 데이터에 기초하여 해당 촬상 이미지 내의 피사체를 특정하고, 해당 피사체에 적합한 특정 식별기 군을 선택한다. 그리고, 검출부 43은, 선택부 41에 의해 선택된 식별기 군을 이용하여, 촬상 이미지 내의 피사체의 얼굴 영역을 검출하는 얼굴 검출 처리를 수행한다.

단계 S103에 있어서, 검출부 43은, 얼굴 검출이 성공했는가 아닌가를 판정한다. 얼굴 검출이 성공하지 않았을 경우에는, 단계 S103에서 NO로 판정되어, 처리는 단계 S102로 돌아간다. 다시 말해서, 얼굴 검출이 성공할 때까지의 동안에, 선택부 41에 의한 식별기 군의 선택이 반복해 수행되는 것이 된다. 이에 대하여, 얼굴 검출이 성공했을 경우에는, 단계 S103에서 YES로 판정되어, 처리는 단계 104로 나아간다.

단계 S104에 있어서, 검출부 43은, 얼굴 검출이 수행된 식별기 군으로 이후의 얼굴 검출 처리를 실행한다. 이 처리에서는, 검출부 43은, 단계 S103에 있어서 얼굴 검출이 성공했다고 판정되기 직전에 단계 S102에서 선택된 식별기 군을 이용하여 얼굴 검출 처리를 수행한다. 이에 의해, 얼굴 검출 처리의 정밀도를 향상시킬 수 있다.

단계 S105에 있어서, 검출부 43은, 얼굴 검출을 할 수 없게 된 것인가 아닌가를 판정한다. 얼굴 검출이 성공했을 경우에는, 단계 S105에서 NO로 판정되어 처리는 단계 S104로 돌아간다. 다시 말해, 얼굴 검출이 가능한 동안에는, 단계 S103에서 얼굴 검출이 성공했다고 판정되기 직전에 단계 S102에서 선택된 식별기 군을 채용한 얼굴 검출 처리가 계속하여 실행된다. 이에 대하여, 얼굴 검출을 할 수 없게 되었을 경우에는, 단계 S105에서 YES로 판정되어, 처리는 단계 S106으로 나아간다.

단계 S106에 있어서, 검출부 43은, 얼굴 검출 제어 처리의 종료 지시가 접수되었는가 아닌가를 판정한다. 종료 지시가 접수되지 않은 경우, 단계 S106에서 NO로 판정되어, 처리는 단계 S102로 되돌아간다. 다시 말해, 얼굴 검출 제어 처리의 종료 지시가 접수되지 않은 경우에는, 검출부 43은, 각 식별기 군을 다시 교체해 가면서 얼굴 검출 처리를 수행하고, 단계 S102∼S106의 처리를 반복하여 수행한다. 이에 대하여, 얼굴 검출 제어 처리의 종료 지시가 접수되었을 경우에는, 단계 S106에서 YES로 판정되어, 얼굴 검출 제어 처리는 종료된다.

이상 설명한 바와 같이, 본 실시 형태의 촬상 장치 1은, 선택부 41과, 취득부 42와, 검출부 43을 포함한다. 선택부 41은, 소정의 기억부 19에 기억된 특정 촬영 환경에 대응되는 피사체의 식별기 군으로부터 특정 식별기 군을 선택한다. 취득부 42는, 촬상부 18에 의해 촬상된 이미지를 차례로 취득한다. 검출부 43은, 선택부 41에 의해 선택된 특정 식별기 군을 이용하여 취득부 42에 의해 차례로 취득되는 촬상 이미지 중의 피사체 이미지를 검출한다.

이에 의해, 특정한 촬영 환경에 대응되는 식별기 군에 기초하여 피사체 이미지의 검출을 수행할 수 있게 됨으로써, 변화되는 촬영 환경하에서도 피사체의 검출을 더욱 적절하게 수행할 수 있다. 또한, 소정의 촬영 환경에 대응되는 식별기 군을 피사체의 검출 처리에 적용한 후에, 촬영 환경이 다르게 변이했을 경우에도, 그 이후의 촬영 환경에 대응되는 피사체의 검출을 수행할 수 있다. 이렇게, 촬영 환경이 변이하는 경우에도, 별도의 촬영 환경을 검출하기 위한 센서를 마련하지 않고도 정밀도가 높은 피사체의 검출을 수행할 수 있다.

더욱이, 본 실시 형태의 선택부 41은, 기억부 19에 기억된 복수의 식별기의 각 식별기 군을 차례로 이용함으로써, 취득부 42에 의해 취득되는 촬상 이미지 중의 피사체에 적합한 특정의 식별기를 선택한다.

이에 의해, 여러 가지 촬영 환경에 대응되도록 선택된 식별기 군에 기초하여 피사체의 검출을 수행할 수 있으므로, 피사체 검출의 정밀도를 향상시킬 수 있다.

이상, 본 발명의 제1실시 형태에 의한 촬상 장치 1에 대해서 설명하였다.

다음으로, 본 발명의 제2실시 형태에 의한 촬상 장치 1에 대해서 설명한다.

[제2 실시 형태]

제2 실시 형태에 의한 촬상 장치 1은, 제1 실시 형태에 의한 촬상 장치 1과 기본적으로 동등한 하드웨어 구성을 취할 수 있다.

따라서, 도 1은, 제2 실시 형태에 의한 촬상 장치 1의 하드웨어의 구성을 나타내는 블록도이기도 하다.

단, 제1 실시 형태의 선택부 41은, 복수의 식별기 군을 순서대로 이용하는 것으로서 특정 식별기 군을 선택하고 있지만, 제2 실시 형태의 선택부 41은, 선택된 식별기 군에 속하는 각 식별기가 피사체 이미지에 적합했던 횟수의 총합이 가장 큰 식별기 군을, 특정 식별기 군으로서 선택한다. 게다가, 제2 실시 형태의 촬상 장치 1은, 산출부 51을 더 포함한다. 이하, 이러한 차이점에 대해서 주로 설명하고, 일치점의 설명은 적절히 생략한다.

나아가, 제2 실시 형태에 영향을 미치는 촬상 장치 1이 실행하는 얼굴 검출 제어 처리는, 제1 실시 형태에 영향을 미치는 얼굴 검출 제어 처리와 기본적으로 동등한 흐름이 된다. 단, 제1 실시 형태의 얼굴 검출 제어 처리는, 각 식별기 군을 교체한 후에 얼굴 검출 처리가 수행된 식별기 군으로 이후의 얼굴 검출 처리를 실행하고 있지만, 제2 실시 형태의 얼굴 검출 제어 처리는, 얼굴 검출 처리에서의 검출수의 총합이 가장 큰 식별기 군을 이용해서 얼굴 검출 처리가 수행된다.

도 4는, 이러한 촬상 장치 1의 기능적 구성 중에서, 제2 실시 형태의 얼굴 검출 제어 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.

CPU 11에 있어서는, 제2 실시 형태의 얼굴 검출 제어 처리의 실행이 제어될 경우, 선택부 41과, 취득부 42와, 검출부 43에 가세하여 산출부 51이 기능한다.

산출부 51은, 기억부 19에 기억된 복수의 식별기 군의 각 식별기 군을 일정 기간 동안으로 순환적으로 이용하면서, 얼굴 검출 처리에 이용되는 식별기 군에 속하는 각 식별기가 피사체 이미지에 적합했던 횟수를 산출한다. 상세하게는, 산출부 51은, 선택된 식별기 군 중의 각 식별기(정면 방향, 롤 방향, 요 방향, 피치 방향의 식별기)를 일정 시간 내에 순서대로 교체해 가면서 얼굴 검출 처리가 수행된 결과에 대응되는 횟수를 산출한다. 예를 들면, 역광시의 식별기 군에 포함되는 정면 방향의 식별기와, 요 방향의 식별기가 1회씩 촬상 이미지 내의 피사체에 적합했을 경우에는, 역광시의 식별기 군에 있어서의 얼굴 이미지에 적합했던 횟수를 1+1=2회로 한다. 산출부 51은, 식별기 군마다 산출한 횟수의 정보를 선택부 41에 공급한다.

선택부 41은, 산출부 51에 의해 산출된 횟수가 가장 큰 식별기 군을, 특정 식별기 군으로서 선택한다. 한편, 각 식별기 군의 얼굴 검출의 총합이 같은 수가 되었을 경우에는, 그 같은 수가 된 식별기 군 가운데, 먼저 검출된 식별기 군을 선택한다. 선택부 41은, 선택한 식별기 군의 정보를 검출부 43에 공급한다.

다음으로, 도 5를 참조하여, 도 4의 기능적 구성의 제2 실시 형태의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리에 대해서 설명한다.

도 5는, 도 4의 기능적 구성을 포함하는 도 1의 제2 실시 형태의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도이다.

얼굴 검출 제어 처리는, 사용자에 의해 입력부 17의 셔터 버튼이 반눌림된 촬상 장치 1의 동작 모드가 얼굴 검출 상태로 변경된 것을 계기로서 개시되어, 다음과 같은 처리가 반복하여 실행된다.

단계 S201에 있어서, 취득부 42는, 촬상부 18에 의해 촬상된 촬상 이미지 데이터를 차례로 취득한다.

단계 S202에 있어서, 검출부 43은, 식별기 군을 교체해 가면서 얼굴 검출 처리를 수행한다. 이 처리에서는, 처음에, 선택부 41은, 취득부 42에 의해 취득된 촬상 이미지 데이터에 기초하여, 해당 촬상 이미지 내의 피사체를 특정하고, 해당피사체에 적합한 특정한 식별기 군을 선택한다. 그리고, 검출부 43은, 선택부 41에 의해 선택된 식별기 군을 이용하여, 촬상 이미지 내의 피사체의 얼굴 영역을 검출하는 얼굴 검출 처리를 수행한다.

단계 S203에 있어서, 산출부 51은, 일정 시간이 경과한 것인가 아닌가를 판정한다. 이 처리에서는, 산출부 51은, 각 식별기 군이 선택부 41에 의해 복수회 교체될 때까지 임의의 시간 n을 카운트하면서, 각 식별기 군에 의한 얼굴 검출 처리가 일정 시간 동안 수행될 때까지 대기한다. 각 식별기 군을 교체할 수 있는 횟수로서는, 1∼100회 등 임의의 횟수를 설정할 수 있다. 일정 시간이 지나지 않은 경우에는, 단계 S203에 있어서 NO로 판정되어, 처리는 단계 S202으로 돌아간다. 다시 말해, 일정 시간이 경과할 때까지의 사이에, 선택부 41에 의한 식별기 군의 선택이 반복하여 행하여지는 것이 된다. 이에 대하여, 일정 시간이 경과했을 경우에는, 단계 S203에 있어서 YES로 판정되어, 처리는 단계 S204으로 나아간다.

단계 S204에 있어서, 산출부 51은, 단계 S202의 얼굴 검출 처리에 있어서 검출된 각 식별기 군에서의 얼굴 검출 횟수의 총합을 산출한다.

단계 S205에 있어서, 검출부 43은, 단계 S204에 있어서 산출한 얼굴 검출 횟수의 총합이 가장 큰 식별기 군으로 얼굴 검출 처리를 실행한다. 이 처리에서는, 검출부 43은, 얼굴 검출 횟수의 총합이 가장 큰, 다시 말해, 가장 많이 얼굴의 검출에 성공한 식별기 군을 이용하여 얼굴 검출 처리를 한다. 이에 의해, 얼굴 검출 처리의 정밀도를 향상시킬 수 있다.

단계 S206에 있어서, 검출부 43은, 얼굴 검출을 할 수 없게 된 것인가 아닌가를 판정한다. 얼굴 검출이 성공하고 있는 경우에는, 단계 S206에서 NO로 판정되어 처리는 단계 S205로 돌아간다. 다시 말해, 얼굴 검출이 성공하고 있는 동안에는, 가장 많이 얼굴의 검출에 성공한 식별기 군을 이용한 얼굴 검출 처리가 계속해서 실행된다. 이것에 대하여, 얼굴 검출을 할 수 없게 된 경우에는, 단계 S206에서 YES로 판정되어, 처리는 단계 S207로 나아간다.

단계 S207에 있어서, 검출부 43은, 얼굴 검출 제어 처리의 종료 지시가 접수되었는가 아닌가를 판정한다. 종료 지시가 접수되지 않은 경우, 단계 S207에서 NO로 판정되어, 처리는 단계 S202로 되돌아간다. 다시 말해, 얼굴 검출 제어 처리의 종료 지시가 접수되지 않은 경우에는, 검출부 43은, 각 식별기 군을 다시 교체해 가면서 얼굴 검출 처리를 수행하고, 단계 S202∼S206의 처리를 반복하여 수행한다. 이에 대하여, 얼굴 검출 제어 처리의 종료 지시가 접수된 경우, 단계 S207에서 YES로 판정되어, 얼굴 검출 제어 처리는 종료된다.

이상 설명한 것 같이, 제2 실시 형태의 촬상 장치 1은, 산출부 51을 더욱 갖춘다. 산출부 51은, 기억부 19에 기억된 복수의 식별기 군의 각 식별기를 일정 기간 동안으로 순환적으로 이용해 가면서, 해당 각 식별기가 피사체 이미지에 적합했던 횟수를 산출한다. 그리고, 선택부 41은, 산출부 51에 의해 산출된 횟수의 총합이 가장 큰 식별기 군을, 특정한 식별기 군으로서 선택한다.

이에 의해, 피사체 이미지에 적합했던 횟수의 총합이 가장 큰 식별기 군에 기초하여 피사체 이미지의 검출을 수행할 수 있게 됨으로써, 정밀도가 높은 피사체이미지의 검출을 수행할 수 있다.

이상, 본 발명의 제2 실시 형태에 의한 촬상 장치 1에 대해서 설명했다.

다음으로, 본 발명의 제3실시 형태에 의한 촬상 장치 1에 대해서 설명한다.

[제3 실시 형태]

제3 실시 형태에 의한 촬상 장치 1은, 제1 실시 형태에 의한 촬상 장치 1과 기본적으로 동등한 하드웨어 구성을 취할 수 있다.

따라서, 도 1은, 제3 실시 형태에 의한 촬상 장치 1의 하드웨어의 구성을 나타내는 블록도이기도 하다.

또한, 제3 실시 형태에 의한 촬상 장치 1이 실행하는 얼굴 검출 제어 처리는, 제1 실시 형태에 의한 얼굴 검출 제어 처리와 기본적으로 동등한 흐름이 된다. 단, 제3 실시 형태의 얼굴 검출 제어 처리는, 추가적으로 각 식별기 군에 의한 얼굴 검출 결과를 FIFO(First In, First Out) 형식의 버퍼(buffer)에 저장하여 피사체 이미지를 통합 처리한다. FIFO 형식의 버퍼(buffer)라 함은, 기억부 19에 마련된 소정의 기억 영역을 포함하는 버퍼(buffer) 영역에 대하여, 소정의 버퍼(buffer) 영역을 넘는 양의 얼굴 검출 결과가 저장된 경우, 가장 처음에 버퍼(buffer)에 저장된 얼굴 검출 결과가 이후에 저장된 얼굴 검출 결과에 의해 교체되어 저장되는 버퍼(buffer) 형식을 말한다. 또, 통합 처리라 함은, 복수의 피사체 이미지의 검출 결과를 종합하여 처리하는 것을 말한다.

도 6을 참조하여, 도 2의 기능적 구성의 제3 실시 형태의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리에 대해서 설명한다.

도 6은, 도 2의 기능적 구성을 포함하는 도 1의 제3 실시 형태의 촬상 장치 1이 실행하는 얼굴 검출 제어 처리의 흐름을 설명하는 흐름도이다.

얼굴 검출 제어 처리는, 사용자에 의해 입력부 17의 셔터 버튼이 반눌림되어 촬상 장치 1의 동작 모드가 얼굴 검출 상태로 변경된 것을 계기로서 개시되어, 다음과 같은 처리가 반복하여 실행된다.

단계 S301에 있어서, 취득부 42는, 촬상부 18에 의해 촬상된 촬상 이미지 데이터를 차례로 취득한다.

단계 S302에 있어서, 검출부 43은, 식별기 군을 교체해 가면서 얼굴 검출 처리를 수행한다. 이 처리에서는, 처음에, 선택부 41은, 취득부 42에 의해 취득되는 촬상 이미지 데이터에 기초하여 해당 촬상 이미지 내의 피사체를 특정하고, 해당 피사체에 적합한 특정 식별기 군을 선택한다. 그리고, 검출부 43은, 선택부 41에 의해 선택된 식별기 군을 이용하여 촬상 이미지 내의 피사체의 얼굴 영역을 검출하는 얼굴 검출 처리를 수행한다.

단계 S303에 있어서, 검출부 43은, 단계 S302에서 검출한 각 식별기 군에 의한 얼굴 검출 결과를 FIFO 형식의 FIFO 버퍼에 저장하다. 이 처리에서는, 검출부 43은, 얼굴 검출 처리에서 검출한 얼굴 검출 결과를 기억부 19의 일정 영역에 형성된 FIFO 버퍼에 저장한다. 소정의 버퍼 영역을 초과하는 양의 얼굴 검출 결과가 저장된 경우에는, 검출부 43은, FIFO 버퍼에 대하여, FIFO 버퍼에 저장되어 있는 얼굴 검출 결과 중에서 가장 먼저 저장된 얼굴 검출 결과를 이후에 저장된 얼굴 검출 결과로 대체하여 저장한다.

단계 S304에 있어서, 검출부 43은, 단계 S303에서 저장되어 FIFO 버퍼에 저장된 얼굴 검출 결과를 통합한 것을 하나의 프레임에서의 출력 결과로서 출력한다. 검출부 43은, 통합하는 방법으로서, FIFO 버퍼에 저장되어 있는 피사체 이미지의 얼굴의 위치와 얼굴의 크기가 상호 근사(近似)한 것들끼리를 평균화해서 하나의 프레임으로 정리하는 처리를 한다. 한편, 피사체 이미지의 얼굴의 위치와 얼굴의 크기가 근사한 것이 없을 경우에는, FIFO 버퍼에 저장되어 있는 얼굴의 위치와 얼굴의 크기를 그것 그대로 하나의 프레임에서의 출력 결과로서 출력한다. 이로 인해, 얼굴 검출 처리의 정밀도를 향상시킬 수 있다.

또, 출력후의 처리로서, 출력 결과에 대한 얼굴 위치나 크기에 기초하여 얼굴의 검출 테두리가 표시부 22에 표시되도록 하여도 좋다.

단계 S305에 있어서, CPU 11은, 얼굴 검출 제어 처리의 종료 지시가 접수되었는가 아닌가를 판정한다. 종료 지시가 접수되지 않은 경우, 단계 S305에서 NO로 판정되어, 처리는 단계 S302로 되돌아간다. 다시 말해, 얼굴 검출 제어 처리의 종료 지시가 접수될 때까지의 동안에, FIFO 버퍼에 저장된 얼굴 검출 결과를 통합한 것이 하나의 프레임에서의 출력 결과로서 계속해서 출력된다. 이에 대하여, 얼굴 검출 제어 처리의 종료 지시가 접수된 경우, 단계 S305에서 YES로 판정되어, 얼굴 검출 제어 처리는 종료된다.

이상 설명한 바와 같이, 제3 실시 형태의 촬상 장치 1은, 취득부 42에 의해 차례로 취득되는 각 촬상 이미지에 대한 검출부 43의 검출 결과를 FIFO 버퍼에 저장함으로써 피사체 이미지를 통합한다. 이에 의해, 주위의 촬영 환경에 대응된 피사체 이미지의 검출이 가능하게 됨으로써, 정밀도가 높은 피사체 이미지의 검출을 수행할 수 있다.

또한, 본 발명은, 상기한 실시 형태에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

예를 들면, 상기한 실시 형태에서는, 얼굴 검출 제어 처리에 있어서, 자동으로 식별기 군을 선택하도록 했지만, 이것에 한정되지 않는다.

즉, 복수의 얼굴 검출 모드로서 "통상시의 얼굴 검출 모드(통상시의 식별기 군을 이용한 얼굴 검출 모드)", "역광시의 얼굴검출 모드(역광시의 식별기 군을 이용한 얼굴 검출 모드)", "저조도시의 얼굴 검출 모드(저조도시의 식별기 군을 이용한 얼굴 검출 모드)"를 사용자 자신이 별개로 선택할 수 있도록 함으로써, 사용자 자신이 촬영 환경을 판단하고, 얼굴 검출 제어에 이용되는 식별기 군을 설정해도 좋다.

또, 상기한 실시 형태에서는, 선택부 41은, 식별기 군을 선택하는 순서로서, 기억부 19에 기억된 통상시의 식별기 군, 역광시의 식별기 군, 저조도시의 식별기 군을 그 순서대로 교체해 가면서 선택하고 있지만, 이것에 한정되지 않는다. 예를 들면, 촬상 장치 1에 촬영 환경의 판정부로서 별도로 조도 센서를 마련하고, 당해 조도 센서에 의해 검출한 촬영 환경에 대응하여 선택부 41에 의해 교체되는 식별기 군의 순서를 변경할 수 있다. 예를 들면, 선택부 41은, 조도 센서에 의해 촬영 환경으로서 역광을 검출했을 경우에는, 역광시의 식별기 군을 우선하여 선택한다. 또, 선택부 41은, 조도 센서에 의해 촬영 환경으로서 저조도를 검출했을 경우에는, 저조도시의 식별기 군을 우선하여 선택한다.

또, 촬영 환경의 판정부로서, 이미지 중의 휘도를 해석하는 것으로 촬영 환경을 판정하도록 해도 좋다.

또, 상기한 실시 형태에서는, 검출부 43은, 선택된 각 식별기 군에 포함되는, 정면 방향의 식별기, 롤 방향의 식별기, 요 방향의 식별기, 피치 방향의 식별기를 순서대로 교체해 가면서 얼굴 검출 처리를 수행하고 있지만, 이것에 한정되지 않는다. 예를 들면, 검출부 43은, 선택된 식별기 군에 포함되는, 각 방향의 식별기에 대하여 동시에 얼굴 검출 처리를 수행할 수 있다.

또, 상기한 실시 형태에서는, 각 실시 형태가 독립적으로 실행되고 있지만, 이것에 한정되는 것이 아니고, 예를 들면, 제1 실시 형태의 촬상 장치 1, 제2 실시 형태의 촬상 장치 1, 제3 실시 형태의 촬상 장치 1의 각각의 처리를 조합시켜서 실행할 수 있다.

또, 상기한 실시 형태에서는, 얼굴 검출 제어 처리의 예로 하였지만, 특히 이것에 한정되지 않는다. 예를 들면, 얼굴 검출 제어뿐만 아니라, 손을 검출 대상으로 한 각 식별기 군을 사용하면, 상술한 실시 형태를 손의 검출에 대하여도 적용할 수 있다. 또, 검출 대상이 인간의 얼굴의 이외에, 동물의 얼굴을 검출 대상으로 해도 본 실시 형태는 적용할 수 있다. 즉, 식별기 군의 설계 대상을 임의의 피사체로 함으로써, 해당 임의의 피사체의 검출에 대하여 본 실시 형태를 적용할 수 있다.

또, 상기한 실시 형태에서는, 본 발명이 적용되는 촬상 장치 1은, 디지털 카메라를 예로서 설명했지만, 특히 이것에 한정되지 않는다.

예를 들면, 본 발명은, 촬상 기능을 소유하는 전자 기기에 일반적으로 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트북 PC, 텔레비전 수상기, 비디오 카메라, 휴대폰형 네비게이션 장치, 휴대전화기, 포터블 게임기 등에 적용가능하다.

상기한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

바꿔 말하면, 도 2의 기능적 구성은 예시에 지나지 않고, 특히 한정되지 않는다. 다시 말해, 상기한 일련의 처리를 전체로서 실행할 수 있는 기능이 촬상 장치 1에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해서 어떤 기능 블록을 이용하는 것일지는 특별히 도 2의 예에 한정되지 않는다.

또, 하나의 기능 블록은, 하드웨어 한 단위로 구성해도 좋고, 소프트웨어 한 단위로 구성해도 좋으며, 그것들의 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용의 하드웨어로 편성된 컴퓨터이어도 좋다. 또, 컴퓨터는, 각종의 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용 PC이어도 좋다.

이러한 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해서 장치 본체와는 별도로 배포되는 도 1의 탈착 가능 미디어 31에 의해 구성될 수 있을 뿐만 아니라, 장치 본체에 미리 조립된 상태로 사용자에게 제공되는 기록 매체 등으로 구성될 수 있다. 탈착 가능 미디어 31은, 예를 들면, 자기 디스크(플로피 디스크를 포함한다), 광디스크 또는 광자기 디스크 등에 의해 구성될 수 있다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성될 수 있다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성될 수 있다. 또, 장치 본체에 미리 조립된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM 12이나, 도 1의 기억부 19에 포함되는 하드 디스크 등으로 구성될 수 있다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇 가지의 실시 형태에 대해서 설명했지만, 이 실시 형태는 예시에 지나지 않으며, 본 발명의 기술적 범위를 한정하는 것이 아니다. 본 발명은 그 밖의 각양각색인 실시 형태를 취할 수 있으며, 나아가 본 발명의 요지를 일탈하지 않는 범위에서 생략이나 치환 등 가지가지의 변경을 수행할 수 있다. 이들 실시 형태나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함됨과 함께 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims

피사체 검출 장치에 있어서,
이미지를 차례로 취득하는 취득부와,
복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기 군으로부터 특정한 식별기 군을 선택하는 선택부와,
상기 선택부에 의해 선택된 특정한 식별기 군을 이용하여, 상기 취득부에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출부
을 포함하는 피사체 검출 장치.
제1항에 있어서,
상기 복수의 식별기 군의 각 식별기 군을 순서대로 이용하여, 당해 식별기 군에 속하는 식별기로부터 상기 취득되는 이미지 중의 피사체 이미지와의 유사도가 소정 값 이상인 식별기를 판정하는 판정부를 더 포함하되,
상기 선택부는, 상기 판정부에 의한 판정 결과에 기초하여 상기 특정의 식별기 군을 선택하는
피사체 검출 장치.
제1항에 있어서,
상기 복수의 식별기 군의 각 식별기 군을 일정 기간 동안에 순환적으로 이용하면서, 당해 식별기 군에 속하는 식별기와 상기 피사체 이미지가 소정 값 이상의 유사도를 갖는 횟수를 산출하는 산출부를 더 포함하되,
상기 선택부는, 산출된 횟수에 더욱 기초하여 상기 특정의 식별기 군을 선택하는
피사체 검출 장치.
제1항에 있어서,
상기 취득부에 의해 차례로 취득되는 이미지에 대한 상기 검출부의 검출 결과를 통합하는 통합부와,
상기 통합부에 의한 통합 결과에 기초하여 상기 이미지 중의 피사체 이미지의 위치를 결정하는 위치 결정부
을 더 포함하는 피사체 검출 장치.
제1항에 있어서,
상기 선택부는, 사용자의 조작에 기초하여 상기 특정의 식별기 군을 선택하는 피사체 검출 장치.
피사체 검출 장치가 실행하는 피사체 검출 방법에 있어서,
이미지를 차례로 취득하는 취득 단계와,
복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기 군으로부터 특정한 식별기 군을 선택하는 선택 단계와,
상기 선택 단계에 의해 선택된 특정한 식별기 군을 이용하여, 상기 취득 단계에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출 단계
를 포함하는 피사체 검출 방법.
피사체 검출 장치에 있어서,
이미지를 차례로 취득하는 취득부와,
복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기의 각 식별기를 일정 기간 동안에 순환적으로 이용하면서, 상기 각 식별기와 상기 피사체 이미지가 소정 값 이상의 유사도를 갖는 횟수를 산출하는 산출부와,
상기 산출부에 의해 산출된 횟수에 기초하여, 상기 복수의 식별기로부터 특정한 식별기를 선택하는 선택부와,
상기 선택부에 의해 선택된 특정한 식별기를 이용하여, 상기 취득부에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출부
를 포함하는 피사체 검출 장치.
피사체 검출 장치가 실행하는 피사체 검출 방법에 있어서,
이미지를 차례로 취득하는 취득 단계와,
복수의 종류의 촬영 환경에 각각 대응되는 복수의 식별기의 각 식별기를 일정 기간 동안에 순환적으로 이용하면서, 상기 각 식별기와 상기 피사체 이미지가 소정 값 이상의 유사도를 갖는 횟수를 산출하는 산출 단계와,
상기 산출 단계에 의해 산출된 횟수에 기초하여 상기 복수의 식별기로부터 특정한 식별기를 선택하는 선택 단계와,
상기 선택 단계에 의해 선택된 특정한 식별기를 이용하여, 상기 취득 단계에 의해 차례로 취득되는 이미지 중의 피사체 이미지를 검출하는 검출 단계
를 포함하는 피사체 검출 방법.