KR101130775B1 - 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체 - Google Patents

촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체 Download PDF

Info

Publication number
KR101130775B1
KR101130775B1 KR1020090084789A KR20090084789A KR101130775B1 KR 101130775 B1 KR101130775 B1 KR 101130775B1 KR 1020090084789 A KR1020090084789 A KR 1020090084789A KR 20090084789 A KR20090084789 A KR 20090084789A KR 101130775 B1 KR101130775 B1 KR 101130775B1
Authority
KR
South Korea
Prior art keywords
image
subject
image area
area corresponding
evaluation value
Prior art date
Application number
KR1020090084789A
Other languages
English (en)
Other versions
KR20100030596A (ko
Inventor
겐지 이와모토
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20100030596A publication Critical patent/KR20100030596A/ko
Application granted granted Critical
Publication of KR101130775B1 publication Critical patent/KR101130775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 촬상 장치, 화상 영역의 존재 판정 방법, 및 기록 매체에 관한 것으로서, 촬상 처리에 의해 촬상 화상을 얻는 촬상 수단(11)과, 이 촬상 수단에 의해 얻어진 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 수단(18)과, 이 화상 작성 수단에 의해 작성된 제1 화상으로부터 피사체에 대응하는 화상 영역을 검출하는 검출 수단(14)과, 이 검출 수단에 의해 상기 피사체에 대응하는 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 화상 영역이 존재하지 않는다고 판단하는 제1 제어 수단(18)과, 상기 검출 수단에 의해 상기 피사체에 대응하는 화상 영역을 검출한 경우에는, 상기 촬상 화상에 있어서의 상기 검출 수단에 의해 검출한 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 화상 영역인지의 여부를 판정하는 제1 판정 수단(15)과, 이 제1 판정 수단에 의해 상기 피사체에 대응하는 화상 영역인 것으로 판정한 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 화상 영역이 존재한다고 판단하는 제2 제어 수단(18)을 구비하는 것을 특징으로 한다.

Description

촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체{IMAGE CAPTURING APPARATUS, METHOD OF DETERMINING PRESENCE OR ABSENCE OF IMAGE AREA, AND RECORDING MEDIUM}
본 발명은, 촬영 장치, 피사체의 화상 영역의 존재 여부 판정 방법, 및 기록 매체에 관한 것이다.
촬영 대상의 인물의 얼굴을 기준으로 노출 제어를 행하기 위하여, 촬상 소자 상에 결상되어 있는 화상 중에서 얼굴을 검출하는 장치를 구비한 디지털 카메라가 있다. 예를 들면, 특허 문헌 1(일본 특허출원 공개번호 2008-28960호 공보)에는, 정밀도보다 처리 시간을 우선하여, 라이브 뷰 화상에 대하여 얼굴 검출 처리를 행하고, 검출된 얼굴에 적절한 노출 제어를 행하는 촬영 장치 및 촬영 방법이 기재되어 있다. 또한, 특허 문헌 2(일본 특허출원 공개번호 2008-42319호 공보)에는, 처리 시간보다 정밀도를 우선하여, 풀 사이즈 화상에 대하여 얼굴 검출 처리를 행하고, 검출된 얼굴 표정의 평가를 산출하는 촬상 장치 및 촬영 방법이 기재되어 있다.
본 발명은, 이와 같은 배경을 감안하여 이루어진 것이며, 피사체에 대응하는 화상 영역에 대하여 정확하게 그 존재 여부를 판정하고, 이 판정 처리에 걸리는 시간을 단축시키는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 태양은,
촬상 처리에 의해 촬상 화상을 얻는 촬상 수단과,
상기 촬상 수단에 의해 얻어진 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 수단과,
상기 화상 작성 수단에 의해 작성된 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 수단과,
상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 수단과,
상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지의 여부를 판정하는 제1 판정 수단과,
상기 제1 판정 수단에 의해 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 수단
을 구비하는 것을 특징으로 하는 촬영 장치이다.
상기 목적을 달성하기 위하여, 본 발명의 다른 태양은,
촬상부에 의해 얻어진 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 단계와,
상기 화상 작성 단계에 의해 작성된 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 단계와,
상기 검출 단계에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 단계와,
상기 검출 단계에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 단계에 의해 검출된 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지의 여부를 판정하는 제1 판정 단계와,
상기 제1 판정 단계에 의해 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 단계
를 포함하는 것을 특징으로 하는 화상 영역의 존재 여부 판정 방법이다.
본 발명의 또 다른 태양은,
촬영 장치가 구비하는 컴퓨터를,
촬상된 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 수단,
상기 화상 작성 수단에 의해 작성된 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 수단,
상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 수단,
상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지의 여부를 판정하는 제1 판정 수단,
상기 제1 판정 수단에 의해 상기 피사체에 대응하는 상기 화상 영역으로 판정한 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 화상 영역이 존재한다고 판단하는 제2 제어 수단으로서, 기능하게 하는 것을 특징으로 하는 프로그램이 기록된 기록 매체이다.
이하, 본 실시예에 대하여, 본 발명의 촬상 장치를 디지털 카메라에 적용한 일례로서 도면을 참조하여 상세하게 설명한다.
[실시예]
A. 디지털 카메라의 구성
도 1은 본 실시예에 따른 디지털 카메라(1)의 개념적인 구성을 나타낸 도면이다. 도 1에 나타낸 바와 같이, 디지털 카메라(1)는, 광학 렌즈 장치(10), CMOS(11), A/D 변환기(12), 기억부(13), 얼굴 검출부(14), 얼굴 판정부(15), 표정 인식부(16), 표시부(17), 제어부(18), 및 외부 메모리(19)로 구성된다.
광학 렌즈 장치(10)는, 렌즈, 조리개, 초점 조정 장치 및 셔터 장치 등을 구비하여, 피사체의 화상을 CMOS(11) 상에 결상하는 장치이다.
CMOS(11)는, 약 100만개의 화상 검출 소자를 2차원 매트릭스형으로 배열한 것을 구비하고, 광 렌즈 장치(10)에 의해 상기 배열된 것에 결상된 화상을, 화상 신호로 변환하는 장치이다. 또한, CMOS(11)가 출력하는 화상 신호는, CMOS(11) 상의 화상 검출 소자와 실질적으로 같은 수의 화소를 가진다. 이 CMOS(11) 상의 화상 검출 소자와 실질적으로 같은 수의 화소로 이루어지는 화상(신호)을, 풀 사이즈 화상(신호)으로 부르기로 한다. 또한, 후술하는 바와 같이, 표시부(17)에서 표시 가능한 해상도는 풀 사이즈 화상에 비해 낮다. 또한, 라이브 뷰 화상의 갱신 처리 속도를 빠르게 할 필요도 있다. 따라서, CMOS(11)가 출력하고, 후술하는 A/D 변환기(12)에 의해 디지털 신호로 변환되어 기억부(13)에 일시적으로 기억된 화상 신호에 대해서는, 제어부(18)가 그 화소수를 줄이고 해상도를, 예를 들면 VGA 클래스로 낮춘 화상을 생성하고 출력한다. 이 해상도를 낮춘 화상(신호)을 본 명세서에서는 라이브 뷰 화상(신호)이라고 한다.
A/D 변환기(12)는, 아날로그 신호를 디지털 신호로 변환하는 회로이며, CMOS(11)로부터 출력된 화상 신호를 디지털 신호로 변환한다.
기억부(13)는 화상 신호를 기억하는 기억 장치이다.
얼굴 검출부(14)는, 제어부(18)의 지시에 따라 라이브 뷰 화상으로부터, 피사체의 화상 영역으로서 인물의 얼굴을 포함하는 화상(이하, 얼굴 화상이라고 함) 일 가능성이 있는 화상 영역(이하, 얼굴 화상 영역이라고 함)을 검출하는 장치이다.
얼굴 판정부(15)는, 제어부(18)의 지시에 따라 풀 사이즈 화상에서, 얼굴 검출부(14)에서 검출된 얼굴 화상 영역에 대응하는 영역이 얼굴 화상인지의 여부를 판정하는 장치이다.
표정 인식부(16)는, 제어부(18)의 지시에 의해 추출된 얼굴 화상에 포함되는 얼굴이 특정 표정에 가까운지의 여부를 나타낸 표정 평가값을 산출한다.
표시부(17)는, 제어부(18)의 지시에 의해 라이브 뷰 화상 등을 표시하는 액정 표시 장치이다.
제어부(18)는, 디지털 카메라(1)의 동작을 제어하는 컴퓨터이며, 프로그램 메모리(181)에 기입된 프로그램에 따라, 얼굴 검출부(14) 등을 제어하여, 후술하는 CMOS(11)가 출력하는 화상 신호에서의 얼굴 화상의 존재 여부 판정의 처리를 실행시킨다.
외부 메모리(19)는, 예를 들면 디지털 카메라 본체에 착탈 가능한 메모리 카드나, 카메라 본체에 내장된 플래시 메모리 등에 의해 구성된다.
이상과 같이 구성된 디지털 카메라(1)는, 광학 렌즈 장치(10)로 촬상된 피사체의 화상을 CMOS(11)에서 전기 신호로 변환하고, 이 전기 신호를 A/D 변환기(12)에서 디지털 신호로 변환하고, 기억부(13)에 기억시킨다. 또한, 광학 렌즈 장치(10)로 촬상한 피사체의 화상은 해상도가 저하되어 표시부(17)에 표시된다. 그리고, 사용자는, 표시부(17)에 표시된 화상을 확인하여, 도시하지 않은 셔터 장치 를 조작함으로써, 원하는 화상만을 외부 메모리(19)에 보존할 수 있다.
또한, 전술한 바와 같이, 표시부(17)는 표시 가능한 화소수가 한정되어 있다. 그래서, 제어부(18)는, CMOS(11)로부터 출력되는 풀 사이즈 화상과는 별도로, 풀 사이즈 화상으로부터 화소수를 감소시켜서, 화소수가 적은 라이브 뷰 화상을 작성하여 기억부(13)에 출력한다.
전술한 바와 같이, 디지털 카메라(1)는, 사용자가 표시부(17)에 표시된 화상을 확인하여, 셔터 장치를 수동으로 조작하여 촬영하지만, 피사체의 인물이 바람직한 표정으로 된 것을 검출하여, 자동적으로 촬영(이하, 오토 셔터라고 함)할 수도 있다. 예를 들면, 도 2에 나타낸 바와 같은, 라이브 뷰 화상이 표시부(17)에 표시되어 있을 때, 사용자가 오토 셔터를 선택하면, 디지털 카메라(1)는 다음과 같은 처리를 행한다.
먼저, 얼굴 검출부(14)가, 도 2에 나타낸 라이브 뷰 화상(100)에 대하여 얼굴 화상 영역을 탐색하고, 그 결과로서 도 3에 나타낸 바와 같이 영역 R30, R31, 및 R32를 검출한다. 그리고, 얼굴 검출부(14)는 이 라이브 뷰 화상에서의 영역 R30, R31, 및 R32의 위치를 특정한다. 이 후, 얼굴 판정부(15)는 CMOS(11) 상에 결상되어 있는 풀 사이즈 화상으로부터, 얼굴 검출부(14)에 의해 특정된 R30, R31, 및 R32에 상당하는 영역 P30, P31, 및 P32(도 4 참조)를 잘라내고, 이들 영역의 화상이, 실제로 얼굴 화상인지의 여부를 상세하게 판정한다. 예를 들면, P30과 P31의 화상에는, 사람의 얼굴이 촬상되어 있기 때문에, 얼굴 판정부(15)는 이들을 얼굴 화상으로 판정한다. 그러나, 얼굴 판정부(15)는 P32에 대해서는, 해상도를 올 린 풀 사이즈 화상에서 상세하게 판정하면, 상세하게는 사람의 얼굴이 가지는 특징으로부터 벗어난 특징을 가지는 화상으로 판정한다. 즉, 얼굴 검출부(14)는, 조금이라도 얼굴 화상일 가능성이 있는 화상 영역을 얼굴 화상 영역으로서 검출하기 위하여, R32와 같이, 자세히 보면 얼굴 화상이 아닌 화상 영역을 검출하는 경우가 있다. 한편, 얼굴 판정부(15)는, 풀 사이즈 화상에 대하여 고정밀의 판정을 행하므로, 얼굴 검출부(14)가 잘못하여 얼굴 화상으로서 검출한 얼굴 화상 영역에 대하여, 그 판단을 정정하고, 얼굴 화상 영역에 대응하는, 풀 사이즈 화상에서의 영역이 정확하게 얼굴 화상인지의 여부를 판정할 수 있다. 이 결과로서, 이 라이브 뷰 화상(100)에서의 R32, 및 이 라이브 뷰에 대응하는 풀 사이즈 화상 P32에는, 얼굴 검출부(14)에서 얼굴 화상으로서 검출되어도, 얼굴 판정부(15)에서는 얼굴 화상이 아니라고 판정된다.
다음으로, 표정 인식부(16)는, 얼굴 판정부(15)에 의해 얼굴 화상으로 판정된 얼굴 화상 P30 및 P31에 대하여, 표정 평가를 행하여 표정 평가값을 산출한다. 그리고, 표정 평가값은, 검출된 얼굴 화상 각각에 대하여, "눈감고 있지 않음" 및 "웃는 얼굴임" 등을 평가하고, 이들 2개의 평가값에 기초하여, 표정 평가값을 산출한다. 즉, 표정 평가값은, 표정이 피사체로서 "바람직함"의 여부를 나타내는 지표이며, 피사체의 인물이 웃는 얼굴이면, 그 값은 커지게 된다. 표정 평가값을 산출하면, 디지털 카메라(1)는, 표시부(17)에, 얼굴 화상의 위치를 나타내는 프레임 F30 및 F31과, 얼굴 화상의 표정 평가값 V30 및 V31을 표시한다(도 5 참조). 또한, 얼굴 화상의 표정 평가값이 소정의 임계값보다 높으면, CMOS(11)에 결상되어 있는 풀 사이즈 화상이 기억부(13)에 기억되고, 오토 셔터가 완료된다.
이상의 처리를 도 6을 참조하면서 상세하게 설명한다. 그리고, 제어부(18)가 프로그램 메모리(181)에 저장된 프로그램을 판독하고, 이 프로그램에 기초하여 제어부(18)가 그 처리를 개시한다. 처음에 제어부(18)는, 라이브 뷰 화상의 작성을 소정 시간 간격(예를 들면, 매초 30회～60회)으로 순차적으로 반복하여 행한다. 즉, CMOS(11) 상에 결상되어 있는 화상으로부터 해상도를 낮춘 화상을 라이브 뷰 화상으로서 생성하고, 표시부(17)에 축차(逐次) 표시한다. 이 처리는, 사용자에게 구도를 검토시키기 위해서 행한다. 도 6에 나타낸 흐름도는, N번째 라이브 뷰 화상이 작성된 때의 처리 순서를 나타내고 있다.
먼저, N번째의 라이브 뷰 화상을 기억부(13)에 기록한다(단계 S100).
이 때, 전회(前回)에 작성된 라이브 뷰 화상, 즉 (N-1)번째의 라이브 뷰 화상을 사용하여 검출된 얼굴 화상의 위치 정보와 그 표정 평가값이 기억부(13)에 기억되어 있으면(단계 S101: YES), N번째의 라이브 뷰 화상에, (N-1)번째의 라이브 뷰 화상을 사용하여 검출된 얼굴 화상의 위치를 나타내는 프레임과 표정 평가값을 중첩하여 표시부(17)에 표시한다(단계 S102).
(N-1)번째의 라이브 뷰 화상을 사용하여 검출된 얼굴 화상과 그 표정 평가값이 기억부(13)에 기억되어 있지 않으면(단계 S101; NO), N번째의 라이브 뷰 화상만을 표시부(17)에 표시한다(단계 S103).
다음으로, 얼굴 검출부(14)가, N번째의 라이브 뷰 화상을 탐색하여 얼굴 화상 영역을 검출한다(단계 S104). 그리고, 단계 S104에 있어서의 얼굴 화상 영역 검출의 상세한 순서는 후술한다.
N번째의 라이브 뷰 화상으로부터 얼굴 화상 영역이 검출되면(단계 S104; YES), 그 얼굴 화상 영역의 위치를 특정하고, CMOS(11) 상에 결상되어 있는 화상으로부터, 상기 얼굴 화상 영역에 대응하는 영역을 풀 사이즈로 잘라내고, 얼굴 판정부(15)에 송출한다(단계 S105). 그리고, N번째의 라이브 뷰 화상으로부터 얼굴 화상 영역이 검출되지 않은 경우(단계 S104; NO)는, 이 화상에는 얼굴 화상이 존재하지 않는다고 판단하고, 단계 S105로부터 단계 S111까지의 처리를 생략하여, 단계 S112로 진행한다.
얼굴 판정부(15)는, 송출된 화상이 얼굴 화상인지의 여부를 판정하는 얼굴 판정 처리를 행한다(단계 S106). 그리고, 이 얼굴 판정 처리의 상세한 순서는 후술한다.
이 단계 S106의 얼굴 판정 처리의 결과, 얼굴 판정부(15)가, 송출된 화상을 얼굴 화상으로 판정하면(단계 S107; YES), 상기 얼굴 화상의 위치 정보를 기억부(13)에 출력하고, 상기 얼굴 화상을 표정 인식부(16)에 출력한다(단계 S108). 한편, 얼굴 판정부(15)가, 송출된 화상은 얼굴 화상이 아닌 것으로 판정하면(단계 S107; NO), 단계 S108의 처리를 생략하고 단계 S109로 진행한다.
그리고, 단계 S105로부터 단계 S109까지의 처리는, 검출된 모든 얼굴 화상 영역에 대하여 반복적으로 행해진다.
제어부(18)는, 모든 얼굴 화상 영역에 대한 얼굴 판정 처리가 종료되었는지의 여부를 판정하고(단계 S109), 모든 얼굴 화상 영역에 대한 얼굴 판정 처리가 종 료되었다고 판정하면(단계 S109; YES), 단계 S110으로 진행한다.
그리고, 단계 S108에서 출력된 얼굴 화상에 대해서는, 표정 인식부(16)에 의해 얼굴 화상에 대한 표정 평가 처리를 행하고(단계 S110), 표정 평가값을 산출하고, 기억부(13)에 출력한다(단계 S111). 단계 S108에서 출력된 얼굴 화상이 없을 경우에는, 단계 S110 및 단계 S111에 있어서의 처리는 행하지 않는다.
그리고, 표정 평가 처리는, 얼굴 화상에 포함되는 얼굴이 소정의 표정에 가까운지의 여부를 나타낸 표정 평가값을 산출하는 처리이며, 본 실시예에 있어서의 소정의 표정은 웃는 얼굴로 하고, 얼굴 화상의 인물이 많이 웃을수록 표정 평가값은 높아진다. 표정 평가값의 산출은, 예를 들면, 웃는 얼굴을 나타내는 기준 화상과, 무표정을 나타내는 기준 화상을 준비하고, 평가 대상의 얼굴 화상이 어느 쪽 기준 화상에 가까운지를 판정하는 방법을 고려할 수 있다. 그리고, 전술한 바와 같은 표정 평가값의 산출 방법에 대해서는, 전술한 특허 문헌 2에 상세하게 기재되어 있다.
사용자는, 표시부(17)에 표시된 표정 평가값을 확인하고, 셔터 조작의 여부를 판단한다. 그리고, 사용자가 셔터를 조작하면(단계 S112; YES), 이를 검출하고, 제어부(18)는, 기록용 화상의 촬영 조건으로 촬영을 행하고, CMOS(11) 상에 결상된 풀 사이즈 화상을 외부 메모리(19)에 기록하고(단계 S113), 촬영이 종료된다.
그리고, 사용자가 셔터 조작을 행하지 않은 경우에는(단계 S112; NO), 셔터 조작이 검출되지 않으므로, 제어부(18)는, 처리를 단계 S100으로 리턴시키고, (N+1)번째의 라이브 뷰 화상에 대하여 동일한 처리가 반복된다.
다음으로, 단계 S104에 있어서의 얼굴 화상 영역 검출의 상세한 순서를 설명한다. 얼굴 화상 검출 처리에서는, 얼굴 검출부(14)가 탐색 대상의 라이브 뷰 화상으로부터 잘라내고, 이 자른 부분 화상과 기준 얼굴 화상을 대비하여, 이 부분 화상과 기준 얼굴 화상의 유사도를 구한다. 그리고, 구해진 유사도가 소정의 임계값(제1 임계값)을 초과하는 경우에, 이 부분 화상을 얼굴 화상 영역으로서 검출한다. 그리고, 상기 기준 얼굴 화상은, 복수 인물의 얼굴 화상을 중첩하여 얻은 화상이며, 평균적인 얼굴의 흑백 화상(모토크롬 화상)으로 가정한다. 또한, 이 기준 얼굴 화상은 미리 작성되어 기억부(13)에 기억되어 있다.
도 7은 얼굴 화상 검출 처리의 순서를 나타내는 흐름도이며, 도 8은 얼굴 화상 영역 검출 과정에서, 라이브 뷰 화상으로부터 잘라낸 부분 화상을 설명하는 도면이다. 이하, 도 7과 도 8을 참조하면서, 설명을 계속한다.
전술한 바와 같이, 기준 얼굴 화상은 흑백 화상이므로, 먼저 얼굴 검출부(14)는 탐색 대상의 라이브 뷰 화상을 흑백화한다(단계 S10).
다음으로, 얼굴 검출부(14)는, 도 8에 나타낸 바와 같이, 기준 얼굴 화상 T와 같은 사이즈의 부분 화상 F를 단계 S10에 의해 흑백화된 라이브 뷰 화상 G로부터 잘라낸다(단계 S11).
이어서, 얼굴 검출부(14)는, 기준 얼굴 화상 T와 부분 화상 F에 대하여, 화소 레벨로 휘도를 비교하여, 기준 얼굴 화상 T와 부분 화상 F와의 유사도를 구한다(단계 S12). 그리고, 유사도의 산출 방법은 공지된 기술이므로 구체적인 기재는 생략한다.
얻어진 유사도가 소정의 임계값(제1 임계값) 이상이면(단계 S13; YES), 얼굴 검출부(14)는 부분 화상 F를 얼굴 화상 영역으로서 검출한다(단계 S14).
다음으로, 얼굴 검출부(14)는, 부분 화상 F를 수직 방향 또는 수평 방향으로 1화소분 이동시키거나 또는 기준 얼굴 화상 T의 사이즈를 변화시키고, 단계 S11로부터 단계 S14까지의 처리를 반복한다(단계 S15: NO).
라이브 뷰 화상의 모든 영역 F에 대하여 탐색하면(단계 S15; YES), 얼굴 화상 영역 검출을 종료한다.
다음으로, 단계 S106에 있어서의 얼굴 판정 처리의 상세한 순서를 설명한다. 얼굴 판정 처리는, 얼굴 화상 검출 처리로 검출된 얼굴 화상 영역에 상당하는 풀 사이즈 화상의 영역(이하, 판정 영역)에 대하여, 상기 판정 영역이 얼굴 화상인지의 여부를 판정하는 처리이다. 그러므로, 얼굴 판정 처리에서는, 얼굴 판정부(15)가 판정 영역의 화상과 풀 사이즈 기준 얼굴 화상과의 유사도를 검토한다. 그리고, 풀 사이즈 기준 얼굴 화상은, 얼굴 화상 검출 처리에서 사용하는 기준 얼굴 화상의 화소수를 늘려서 해상도를 올려서 풀 사이즈 화상에 대응시킨 화상이다.
도 9는 얼굴 판정 처리의 순서를 나타내는 흐름도이다. 이하, 도 9를 참조하면서, 설명을 계속한다.
먼저 얼굴 판정부(15)는, CMOS(11) 상에 결상되어 있는 풀 사이즈 화상으로부터 판정 영역을 잘라내고(단계 S20), 그 화상에 대하여 흑백 처리를 행한다(단계 S21).
다음으로, 얼굴 판정부(15)는, 풀 사이즈 기준 얼굴 화상과 판정 영역의 화 상에 대하여, 화소 레벨로 휘도를 비교하여, 풀 사이즈 기준 얼굴 화상과 판정 영역의 화상과의 유사도를 구한다(단계 S22).
구해진 유사도가 소정의 임계값(제2 임계값) 이상이면(단계 S23: YES), 얼굴 판정부(15)는, 그 판정 영역이 얼굴 화상인 것으로 판정한다(단계 S24). 상기 유사도가 소정의 임계값(제2 임계값) 미만이면(단계 S23; NO), 얼굴 판정부(15)는, 그 판정 영역은 얼굴 화상이 아닌 것으로 판정하고, 얼굴 판정 처리를 종료한다.
이상과 같이, 디지털 카메라(1)는, 라이브 뷰 화상을 탐색하여 얼굴 화상 영역을 검출하고, 얼굴 화상 영역이 검출된 경우에, 상기 얼굴 화상 영역에 대응하는 풀 사이즈 화상의 영역에서 얼굴 화상인지 여부의 판정과 표정 평가값의 산출을 행한다. 이로써, 라이브 뷰 화상의 탐색 시에 있어서 이미 얼굴 화상 영역을 검출하지 않은 경우에는 그 시점에서 판정 처리를 종료시킴으로써 처리 속도를 단축시킬 수 있다. 또한, 얼굴 화상 영역을 검출한 경우에는 더욱 고정밀도의 얼굴 판정 처리를 행함으로써, 촬상된 화상에서의 정확한 얼굴 화상의 존재 여부를 판정할 수 있다. 또한, 얼굴 판정 처리에 의해 얼굴 화상인 것으로 판정된 화상에 대해서는 표정 평가 처리를 행함으로써, 판정된 얼굴 화상이 포함하는 얼굴의 표정이, 이른바 "양호한 표정"인지의 여부도 고정밀도로 판단할 수 있다.
[변형예]
그리고, 도 6에 나타낸 제어의 흐름을, 도 10에 나타낸 바와 같이 변형할 수도 있다. 즉, 단계 S104와 단계 S105 사이에 단계 S114를 추가하여, 기준 얼굴 화상 T와 부분 화상 F와의 유사도가 상기 제1 임계값보다 큰 제3 임계값을 초과할 경 우(단계 S114; YES)에는, 단계 S105로부터 단계 S107까지의 처리를 생략해도 된다. 이와 같이 하면, 기준 얼굴 화상 T와 부분 화상 F와의 유사도가 제3 임계값을 초과한 경우에는, 얼굴 판정 처리로 이행하기 전에, 얼굴 화상 검출 처리로 검출된 얼굴 화상 영역에 얼굴이 존재한다고 판정함으로써, 처리 속도를 더욱 단축시킬 수 있다. 그리고, 제3 임계값은 제1 임계값보다 높은 값이며, 검출 대상이 라이브 뷰 화상이라도, 이 값을 넘으면 얼굴 화상 영역이 얼굴 화상인 것으로 신뢰할 수 있는 값으로 한다.
또한, 도 6에 나타낸 제어의 흐름에서는, 사용자의 셔터 조작에 의해, CMOS(11) 상의 풀 사이즈 화상을 외부 메모리(19)에 보존하도록(단계 S112) 했지만, 도 11에 나타낸 바와 같이, 단계 S112 대신 단계 S200을 설치해도 된다. 그리고, 예를 들면 표정 인식부(16)에 의해, 모든 표정 평가값이 70%를 초과했는지의 여부를 판정하고, 초과했다고 판정하면 제어부(18)에 의해 자동적으로 CMOS(11) 상의 풀 사이즈 화상을 외부 메모리(19)에 기록해도 된다. 이와 같이 하면, 사용자에 의한 셔터 조작을 기다리지 않고, 피사체가 웃는 얼굴을 보인 순간을 자동적으로 촬영할 수 있다.
그리고, 자동적으로 CMOS(11) 상의 풀 사이즈 화상을 외부 메모리(19)에 기록하는 요건은, "모든 표정 평가값이 70%를 초과"로 한정되지 않는다. "적어도 1개의 표정 평가값이 70%를 초과"로 해도 되고, "70%"를 다른 값으로 설정해도 된다.
그런데, 매초 30프레임 내지 60프레임의 라이브 뷰 화상이 CMOS(11)로부터 출력될 때마다, 얼굴 화상 검출 처리가 실행되지만, 얼굴 화상 영역의 위치는 단시간에 크게 변화하지 않을 것으로 여겨진다. 또한, 얼굴 판정 처리에 있어서, 얼굴 화상이 아닌 판정된 영역에 대하여, 다음의 프레임에서의 얼굴 화상 검출 처리에 의해, 다시 얼굴 화상 영역으로서 검출되는 경우를 고려할 수 있다. 그러나, 이 경우에는, 전회의 프레임에 대한 처리에 있어서 얼굴 화상 검출 처리보다 정밀도가 높은 얼굴 판정 처리에 의해 얼굴 화상이 아닌 것으로 판정되므로, 다음의 프레임의 처리로 검출된 얼굴 화상 영역도, 얼굴 판정 처리에서는 얼굴 화상이 아닌 것으로 판정될 가능성이 높다. 그래서, 순차적으로 행해지기 직전의 단수 또는 복수의 프레임의 처리에 있어서, 얼굴 화상이 아니라고 판정된 얼굴 화상 영역에 대해서는, 라이브 뷰 화상에서의 상기 화상 영역은 얼굴 화상 영역이 아니라고 판단하고, 얼굴 화상 검출 처리 또는 얼굴 판정 처리의 대상으로부터 제외시켜도 된다.
구체적으로는, 도 12에 나타낸 바와 같이 얼굴 판정 처리에 의해 얼굴 화상 영역에 상당하는 풀 사이즈 화상의 영역에서 판정 영역이 얼굴 화상은 아니라고 판정된 경우(단계 S107; NO)에, 제어부(18)는, 이 판정 영역의 위치 정보를 얼굴 화상이 아닌 영역으로서 기억부(13)에 기억시킨다(단계 S300). 그리고, 직전의 3프레임의 라이브 뷰 화상[(N-1)번째～(N-3)번째의 라이브 뷰 화상]에, 이 얼굴 화상이 아닌 영역에 대응하는 영역이 존재하는지의 여부를 판정한다(단계 S301). 그리고, 존재한다고 판정된 경우(단계 S301; YES), 그 영역은 얼굴 화상이 아니라고 판단하여, 얼굴 화상 검출 처리의 탐색 대상으로부터 제외하여 탐색시켜도 된다(단계 S302).
혹은, 도 13에 나타낸 바와 같이, N번째의 라이브 뷰 화상에 대하여 검출된 얼굴 화상 영역의 위치가, 직전의 3프레임의 라이브 뷰 화상[(N-l)번째～(N-3)번째의 라이브 뷰 화상]의 얼굴 화상이 아닌 영역의 위치와 실질적으로 일치한 경우(단계 S303; YES), 단계 S105로부터 단계 S108까지를 생략하고, 그 얼굴 화상 영역은 얼굴 화상이 아니라고 결정하여 얼굴 판정 처리의 대상으로부터 제외시켜도 된다. 또한, N번째의 라이브 뷰 화상에 대하여 검출된 얼굴 화상 영역의 위치가, 직전의 3프레임의 라이브 뷰 화상[(N-1)번째～(N-3)번째의 라이브 뷰 화상]의 얼굴 화상의 위치와 실질적으로 일치한 경우는, 그 얼굴 화상 영역은 얼굴 화상으로 판단하여 얼굴 판정 처리의 대상으로부터 제외시켜도 된다. 즉, 그 얼굴 화상 영역은, 얼굴 판정 처리를 행하지 않고 얼굴 화상으로 판단해도 된다.
그리고, 상기 도 12 및 13의 처리를 행하면, 피사체에 대응하는 화상 영역(여기서는 얼굴 화상)에 대하여 정확하게 그 존재 여부를 판정하고, 그 판정 처리에 걸리는 시간을 더욱 단축시킬 수 있다.
상기 실시예 및 변형예 중 어느 예에 있어서도, 라이브 뷰 화상으로부터 잘라낸 부분 화상과 기준 얼굴 화상과의 유사도를 구하여, 유사도가 소정의 임계값(제1 임계값)을 초과하는 경우에, 그 부분 화상을 얼굴 화상 영역으로서 검출하도록 했지만, 이 제1 임계값은 조금이라도 얼굴 화상 영역일 가능성이 있으면 얼굴 화상 영역으로서 검출하도록 한 값으로 한다. 즉, 얼굴 화상 검출 처리는, 얼굴 화상인 영역을 검출하기 위한 처리가 아니고, 얼굴 화상이 존재하는지의 여부를 고정밀도로 판정 가능한 얼굴 판정 처리를 행하는 영역을 한정시키기 위해 행하는 처 리이다.
이와 같이, 풀 사이즈 화상에 대하여 정밀도가 높은 얼굴 판정 처리를 행하기 전에, 미리 라이브 뷰 화상에 있어서 얼굴 화상일 가능성이 조금이라도 있는 영역(얼굴 화상 영역)을 검출하고, 얼굴 화상일 가능성이 조금이라도 있는 영역이 있을 경우에만, 얼굴 판정 처리를 행하도록 했기 때문에, 라이브 뷰 화상 내에 얼굴 화상 영역이 있을 가능성이 없을 경우의 처리를 빠르게 하고, 얼굴 화상 영역에 대해서는, 정밀도가 높은 얼굴 판정 처리에 의해 얼굴 화상이 있는지의 여부를 판정할 수 있다.
또한, 표정 평가 처리에 대해서도, 얼굴 판정 처리에 의해 얼굴으로 판정된 영역의 풀 사이즈 화상에 대하여 행하므로, 정밀도가 높은 표정 평가 처리를 행할 수 있다.
또한, 상기 실시예 및 변형예 중 어느 예에 있어서도, 얼굴 화상 검출 처리와 얼굴 판정 처리는 기준 얼굴 화상의 유사도를 구하는 방법이었지만, 그 외의 방법일 수도 있고, 얼굴 화상 검출 처리와 얼굴 판정 처리는 상이한 방법을 사용해도 된다. 예를 들면, 얼굴 화상 검출 처리에서는 피부색을 검출함으로써 얼굴 화상 영역을 검출하고, 얼굴 판정 처리는 눈이나 입 등의 특징점을 검출함으로써, 얼굴 화상인지의 여부를 판정해도 된다. 그러나, 어느 경우에도, 얼굴 화상인지의 여부에 대한 결과는, 얼굴 화상 검출 처리보다 얼굴 판정 처리 쪽이 고정밀의 결과를 얻을 수 있다고 가정한다.
또한, 상기 실시예 및 변형예의 어느 예에 있어서도, 화상으로부터 인물의 얼굴을 검출하도록 했지만, 얼굴로 한정되지 않고, 모든 피사체에 대해서도 실시 가능하다.
상기 실시예 및 변형예에 따르면, 피사체에 대응하는 화상 영역에 대하여 정확하게 그 존재 여부를 판정시킬 수 있고, 그 판정 처리에 걸리는 시간을 단축시킬 수 있다.
도 1은 본 발명의 실시예를 나타내는 디지털 카메라(1)의 개념적인 구성도이다.
도 2는 라이브 뷰 화상을 나타낸 도면이다.
도 3은 라이브 뷰 화상을 나타낸 도면이다.
도 4는 풀 사이즈 화상으로부터 잘라낸 화상을 나타낸 도면이다.
도 5는 라이브 뷰 화상을 나타낸 도면이다.
도 6은 디지털 카메라(1)에 의한 얼굴 화상 검출의 순서를 나타내는 흐름도이다.
도 7은 디지털 카메라(1)에 의한 얼굴 화상 영역 검출의 순서를 나타내는 흐름도이다.
도 8은 얼굴 화상 영역 검출 시에 라이브 뷰 화상으로부터 잘라내어지는 부분 화상을 설명하는 도면이다.
도 9는 디지털 카메라(1)에 의한 얼굴 판정 처리의 순서를 나타내는 흐름도이다.
도 10은 상기 얼굴 화상 검출 순서의 변형예를 나타내는 흐름도이다.
도 11은 상기 얼굴 화상 검출 순서의 변형예를 나타내는 흐름도이다.
도 12는 상기 얼굴 화상 검출 순서의 변형예를 나타내는 흐름도이다.
도 13은 상기 얼굴 화상 검출 순서의 변형예를 나타내는 흐름도이다.

Claims (18)

  1. 촬상 처리에 의해 촬상 화상을 얻는 촬상 수단;
    상기 촬상 수단에 의해 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 수단;
    상기 화상 작성 수단에 의해 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 수단;
    상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 수단;
    상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 수단;
    상기 제1 판정 수단에 의해 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 수단;
    상기 제1 화상에서의 화상 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제1 평가값 산출 수단;
    상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 화상 영역에 대응하는 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제2 평가값 산출 수단; 및
    상기 제1 평가값 산출 수단이 산출한 평가값이 상기 제1 임계값보다 큰 제3 임계값 이상인지의 여부를 판정하는 제2 판정 수단
    을 포함하고,
    상기 검출 수단은, 상기 제1 평가값 산출 수단이 산출한 평가값이 제1 임계값 이상인 화상 영역을 상기 피사체에 대응하는 화상 영역으로서 검출하고,
    상기 제1 판정 수단은, 상기 제2 평가값 산출 수단이 산출한 평가값이 제2 임계값 이상인지의 여부에 기초하여, 상기 촬상 화상에서의 상기 영역이 상기 피사체에 대응하는 화상 영역인지의 여부를 판정하고,
    상기 제2 제어 수단은, 또한 상기 제2 판정 수단에 의해 상기 평가값이 상기 제3 임계값 이상으로 판정된 경우에, 상기 촬상 화상에 상기 피사체에 대응하는 화상 영역이 존재한다고 판단하는, 촬영 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 평가값 산출 수단 및 상기 제2 평가값 산출 수단은, 모두 동일한 방법으로 평가값을 산출하는, 촬영 장치.
  5. 제4항에 있어서,
    상기 제1 임계값은 상기 제2 임계값보다 작은 값인, 촬영 장치.
  6. 제4항에 있어서,
    상기 피사체에 대응하는 화상을 기준 화상으로서 기억하는 기준 화상 기억 수단을 더 포함하고,
    상기 제1 평가값 산출 수단 및 상기 제2 평가값 산출 수단은, 상기 기준 화상 기억 수단에 기억되어 있는 기준 화상과 상기 제1 화상에서의 화상 영역 또는 상기 촬상 화상에서의 상기 영역과의 유사도를 평가값으로서 산출하는, 촬영 장치.
  7. 제1항에 있어서,
    상기 제1 평가값 산출 수단 및 상기 제2 평가값 산출 수단은, 서로 다른 방법으로 평가값을 산출하는, 촬영 장치.
  8. 제1항에 있어서,
    상기 제1 판정 수단에 의해 상기 피사체에 대응하는 화상 영역이 아니라고 판정된 경우, 그 후, 소정 기간 내에 상기 촬상 수단에 의해 얻어지는 촬상 화상에 있어서, 상기 피사체에 대응하는 화상 영역이 아니라고 판정된 상기 영역에 대응하는 영역은, 상기 피사체에 대응하는 화상 영역이 아니라고 판단하는 제3 제어 수단을 더 포함하는 촬영 장치.
  9. 제8항에 있어서,
    상기 제3 제어 수단은, 상기 제1 판정 수단에 의해 상기 피사체에 대응하는 화상 영역이 아니라고 판정된 경우, 상기 화상 영역에 대해서는, 그 후, 소정 기간 내에서의 상기 검출 수단의 검출 대상으로부터 제외시키는, 촬영 장치.
  10. 제1항에 있어서,
    상기 제1 판정 수단에 의해 상기 피사체에 대응하는 화상 영역으로 판정된 경우, 상기 화상 영역의 위치를 기억하는 기억 수단;
    상기 검출 수단에 의해 검출된 화상 영역의 위치와, 상기 기억 수단에 기억된 화상 영역의 위치가 일치하는지의 여부를 판정하는 제3 판정 수단;
    을 더 포함하고,
    상기 제2 제어 수단은, 또한 상기 제3 판정 수단에 의해 일치한다고 판정된 경우, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 화상 영역에 대응하는 상기 영역은 상기 피사체에 대응하는 화상 영역으로 판단하는, 촬영 장치.
  11. 제1항에 있어서,
    상기 피사체에 대응하는 화상 영역은 인물의 얼굴의 화상을 포함하는 영역이며, 상기 제2 제어 수단에 의해 존재한다고 판단된 상기 피사체에 대응하는 화상 영역에서의 상기 얼굴의 표정과, 소정의 표정과의 유사도를 표정 평가값으로서 산출하는 표정 평가값 산출 수단을 더 포함하는, 촬영 장치.
  12. 제11항에 있어서,
    상기 표정 평가값 산출 수단에 의해 산출된 상기 표정 평가값을 사용자에게 통지하는 표정 평가값 통지 수단을 더 포함하는, 촬영 장치.
  13. 제12항에 있어서,
    화상을 기록하는 기록 수단;
    상기 표정 평가값 산출 수단에 의해 산출된 상기 표정 평가값이 소정의 임계값 이상인지의 여부를 판정하는 제4 판정 수단; 및
    상기 제4 판정 수단에 의해 상기 표정 평가값이 소정의 임계값 이상으로 판정되면, 상기 화상 영역을 포함하는 촬상 화상을 상기 기록 수단에 기록하는 기록 제어 수단;
    을 더 포함하는 촬영 장치.
  14. 촬상 처리에 의해 촬상 화상을 얻는 촬상 단계;
    상기 촬상 수단에 의해 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 단계;
    상기 화상 작성 단계에서 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 에서 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 단계;
    상기 제1 화상에서의 화상 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제1 평가값 산출 단계;
    상기 촬상 화상에서의 상기 검출 단계에서 검출된 화상 영역에 대응하는 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제2 평가값 산출 단계; 및
    상기 제1 평가값 산출 단계에서 산출한 평가값이 상기 제1 임계값보다 큰 제3 임계값 이상인지의 여부를 판정하는 제2 판정 단계
    를 포함하고,
    상기 검출 단계는, 상기 제1 평가값 산출 단계에서 산출한 평가값이 제1 임계값 이상인 화상 영역을 상기 피사체에 대응하는 화상 영역으로서 검출하고,
    상기 제1 판정 단계는, 상기 제2 평가값 산출 단계에서 산출한 평가값이 제2 임계값 이상인지의 여부에 기초하여, 상기 촬상 화상에서의 상기 영역이 상기 피사체에 대응하는 화상 영역인지의 여부를 판정하고,
    상기 제2 제어 단계, 또한 상기 제2 판정 단계에서 상기 평가값이 상기 제3 임계값 이상으로 판정된 경우에, 상기 촬상 화상에 상기 피사체에 대응하는 화상 영역이 존재한다고 판단하는, 촬영 방법.
  15. 촬영 장치가 구비하는 컴퓨터에,
    촬상 처리에 의해 촬상 화상을 얻는 촬상 단계;
    상기 촬상 수단에 의해 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 단계;
    상기 화상 작성 단계에서 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 에서 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 단계;
    상기 제1 화상에서의 화상 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제1 평가값 산출 단계;
    상기 촬상 화상에서의 상기 검출 단계에서 검출된 화상 영역에 대응하는 영역에 대하여, 상기 피사체와의 유사도를 평가값으로서 산출하는 제2 평가값 산출 단계; 및
    상기 제1 평가값 산출 단계에서 산출한 평가값이 상기 제1 임계값보다 큰 제3 임계값 이상인지의 여부를 판정하는 제2 판정 단계
    를 실행시키고,
    상기 검출 단계는, 상기 제1 평가값 산출 단계에서 산출한 평가값이 제1 임계값 이상인 화상 영역을 상기 피사체에 대응하는 화상 영역으로서 검출하고,
    상기 제1 판정 단계는, 상기 제2 평가값 산출 단계에서 산출한 평가값이 제2 임계값 이상인지의 여부에 기초하여, 상기 촬상 화상에서의 상기 영역이 상기 피사체에 대응하는 화상 영역인지의 여부를 판정하고,
    상기 제2 제어 단계, 또한 상기 제2 판정 단계에서 상기 평가값이 상기 제3 임계값 이상으로 판정된 경우에, 상기 촬상 화상에 상기 피사체에 대응하는 화상 영역이 존재한다고 판단하는,
    프로그램이 기록된, 컴퓨터로 읽을 수 있는 기록매체.
  16. 촬상 처리에 의해 촬상 화상을 얻는 촬상 수단;
    상기 촬상 수단에 의해 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 수단;
    상기 화상 작성 수단에 의해 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 수단;
    상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 수단;
    상기 검출 수단에 의해 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 수단;
    상기 제1 판정 수단에 의해 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 수단;
    상기 제1 판정 수단에 의해 상기 피사체에 대응하는 화상 영역으로 판정된 경우, 상기 화상 영역의 위치를 기억하는 기억 수단; 및
    상기 검출 수단에 의해 검출된 화상 영역의 위치와, 상기 기억 수단에 기억된 화상 영역의 위치가 일치하는지의 여부를 판정하는 제3 판정 수단;
    을 포함하고,
    상기 제2 제어 수단은, 또한 상기 제3 판정 수단에 의해 일치한다고 판정된 경우, 상기 촬상 화상에서의 상기 검출 수단에 의해 검출된 화상 영역에 대응하는 상기 영역은 상기 피사체에 대응하는 화상 영역으로 판단하는, 촬영 장치.
  17. 촬상 처리에 의해 촬상 화상을 얻는 촬상 단계;
    상기 촬상 단계에서 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 단계;
    상기 화상 작성 단계에서 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 단계에서 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 화상 영역으로 판정된 경우, 상기 화상 영역의 위치를 기억하는 기억 단계; 및
    상기 검출 단계에서 검출된 화상 영역의 위치와, 상기 기억 단계에서 기억된 화상 영역의 위치가 일치하는지의 여부를 판정하는 제3 판정 단계;
    를 포함하고,
    상기 제2 제어 단계는, 또한 상기 제3 판정 단계에서 일치한다고 판정된 경우, 상기 촬상 화상에서의 상기 검출 단계에서 검출된 화상 영역에 대응하는 상기 영역은 상기 피사체에 대응하는 화상 영역으로 판단하는, 촬영 방법.
  18. 촬영 장치가 구비하는 컴퓨터에,
    촬상 처리에 의해 촬상 화상을 얻는 촬상 단계;
    상기 촬상 단계에서 얻어진 상기 촬상 화상으로부터 해상도를 낮춘 제1 화상을 작성하는 화상 작성 단계;
    상기 화상 작성 단계에서 작성된 상기 제1 화상으로부터, 피사체에 대응하는 화상 영역을 검출하는 검출 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출하지 않은 경우에는, 상기 촬상 화상에는 상기 피사체에 대응하는 상기 화상 영역이 존재하지 않는다고 판단하는 제1 제어 단계;
    상기 검출 단계에서 상기 피사체에 대응하는 상기 화상 영역을 검출한 경우에는, 상기 촬상 화상에서의 상기 검출 단계에서 검출된 상기 화상 영역에 대응하는 영역이, 상기 피사체에 대응하는 상기 화상 영역인지를 판정하는 제1 판정 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 상기 화상 영역으로 판정된 경우에는, 상기 촬상 화상에 상기 피사체에 대응하는 상기 화상 영역이 존재한다고 판단하는 제2 제어 단계;
    상기 제1 판정 단계에서 상기 피사체에 대응하는 화상 영역으로 판정된 경우, 상기 화상 영역의 위치를 기억하는 기억 단계; 및
    상기 검출 단계에서 검출된 화상 영역의 위치와, 상기 기억 단계에서 기억된 화상 영역의 위치가 일치하는지의 여부를 판정하는 제3 판정 단계;
    를 실행시키고,
    상기 제2 제어 단계는, 또한 상기 제3 판정 단계에서 일치한다고 판정된 경우, 상기 촬상 화상에서의 상기 검출 단계에서 검출된 화상 영역에 대응하는 상기 영역은 상기 피사체에 대응하는 화상 영역으로 판단하는,
    프로그램이 기록된, 컴퓨터로 읽을 수 있는 기록매체.
KR1020090084789A 2008-09-09 2009-09-09 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체 KR101130775B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-231203 2008-09-09
JP2008231203A JP4702418B2 (ja) 2008-09-09 2008-09-09 撮影装置、画像領域の存否判定方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20100030596A KR20100030596A (ko) 2010-03-18
KR101130775B1 true KR101130775B1 (ko) 2012-03-28

Family

ID=42021377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090084789A KR101130775B1 (ko) 2008-09-09 2009-09-09 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체

Country Status (5)

Country Link
US (1) US8218833B2 (ko)
JP (1) JP4702418B2 (ko)
KR (1) KR101130775B1 (ko)
CN (1) CN101674411B (ko)
TW (1) TWI425828B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457417B1 (ko) * 2008-08-22 2014-11-03 삼성전자주식회사 스트로보를 이용한 촬영 제어 방법 및 장치
JP2012023502A (ja) * 2010-07-13 2012-02-02 Canon Inc 撮影支援システム、撮影支援方法、サーバ、撮影装置およびプログラム
JP5510287B2 (ja) * 2010-11-22 2014-06-04 カシオ計算機株式会社 被写体検出装置、被写体検出方法及びプログラム
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5939705B2 (ja) 2012-02-08 2016-06-22 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びプログラム
JP6062955B2 (ja) * 2012-11-16 2017-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ カメラ、カメラシステム、及び自己診断方法
EP2945372A4 (en) * 2013-02-14 2016-03-30 Panasonic Ip Man Co Ltd ELECTRONIC MIRROR DEVICE
JP2014187551A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像取得装置、画像取得方法及びプログラム
CN105050673B (zh) * 2013-04-02 2019-01-04 日本电气方案创新株式会社 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置
US20150016719A1 (en) * 2013-07-09 2015-01-15 Mediatek Inc. Methods of sifting out significant visual patterns from visual data
JP5928908B2 (ja) * 2013-09-30 2016-06-01 カシオ計算機株式会社 電子機器、給電制御方法、及びプログラム
CN104598897B (zh) 2015-02-12 2018-06-12 杭州摩图科技有限公司 视觉传感器、图像处理方法和装置、视觉交互设备
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US9848237B2 (en) 2015-10-21 2017-12-19 Rovi Guides, Inc. Systems and methods for identifying a source of a user interface from a fingerprint of the user interface
US9819996B2 (en) 2015-10-21 2017-11-14 Rovi Guides, Inc. Systems and methods for fingerprinting to track device usage
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
CN111104818B (zh) * 2018-10-25 2021-05-14 珠海格力电器股份有限公司 一种人脸识别方法及人脸识别设备
WO2021029152A1 (ja) * 2019-08-14 2021-02-18 富士フイルム株式会社 撮像装置、撮像装置の作動方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP2008042319A (ja) * 2006-08-02 2008-02-21 Sony Corp 撮像装置および方法、表情評価装置およびプログラム
JP2008040710A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法
JP2008197762A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp 撮影装置および方法並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9617592D0 (en) * 1996-08-22 1996-10-02 Footfall Limited Video imaging systems
JP4431532B2 (ja) * 2005-09-16 2010-03-17 富士フイルム株式会社 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
JP4832518B2 (ja) * 2005-11-02 2011-12-07 オリンパス株式会社 画像処理装置、その画像処理方法及び画像処理プログラム
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4751776B2 (ja) * 2006-06-19 2011-08-17 オリンパスイメージング株式会社 電子撮像装置及び個人特定システム
JP4730553B2 (ja) 2006-07-25 2011-07-20 富士フイルム株式会社 撮影装置及び露出制御方法
JP4819001B2 (ja) * 2006-07-25 2011-11-16 富士フイルム株式会社 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技（深圳）有限公司 一种网络视频秀方法及系统
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
KR101310230B1 (ko) * 2007-01-17 2013-09-24 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP4717840B2 (ja) * 2007-02-15 2011-07-06 富士フイルム株式会社 撮像装置およびその制御方法
JP4655235B2 (ja) * 2008-03-14 2011-03-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP2008042319A (ja) * 2006-08-02 2008-02-21 Sony Corp 撮像装置および方法、表情評価装置およびプログラム
JP2008040710A (ja) * 2006-08-04 2008-02-21 Sony Corp 顔検出装置、撮像装置および顔検出方法
JP2008197762A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp 撮影装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP4702418B2 (ja) 2011-06-15
CN101674411A (zh) 2010-03-17
JP2010068128A (ja) 2010-03-25
US20100091135A1 (en) 2010-04-15
TW201015989A (en) 2010-04-16
US8218833B2 (en) 2012-07-10
CN101674411B (zh) 2012-04-04
KR20100030596A (ko) 2010-03-18
TWI425828B (zh) 2014-02-01

Similar Documents

Publication Publication Date Title
KR101130775B1 (ko) 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체
KR101142316B1 (ko) 화상 선택 장치 및 화상 선택 방법
US20040228505A1 (en) Image characteristic portion extraction method, computer readable medium, and data collection and processing device
JP4674471B2 (ja) デジタルカメラ
US8879802B2 (en) Image processing apparatus and image processing method
KR101115370B1 (ko) 화상 처리장치 및 화상 처리방법
JP4848965B2 (ja) 撮像装置
KR101436839B1 (ko) 사람 수 체크를 이용한 셀프타이머 촬영 장치 및 방법
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
US8411159B2 (en) Method of detecting specific object region and digital camera
JP4338560B2 (ja) 画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2007178543A (ja) 撮像装置
JP4127521B2 (ja) ディジタル・カメラおよびその制御方法
JP2008299784A (ja) 被写体判定装置及びそのプログラム
JP2009123081A (ja) 顔検出方法及び撮影装置
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2011035891A (ja) 電子カメラ
JP2005196385A (ja) 画像処理装置、画像処理方法およびデジタルカメラ
JP2011071925A (ja) 移動体追尾装置および方法
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
JP2007005966A (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2008160280A (ja) 撮像装置および自動撮像方法
JP5380833B2 (ja) 撮像装置、被写体検出方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150313

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 9