KR20080109666A

KR20080109666A - 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램

Info

Publication number: KR20080109666A
Application number: KR1020080055368A
Authority: KR
Inventors: 히로시 아베
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-06-13
Filing date: 2008-06-12
Publication date: 2008-12-17
Also published as: US8542885B2; JP4453721B2; US20080317285A1; CN101325658A; CN101325658B; JP2008311817A

Abstract

디지털 스틸 카메라로, 유저는 스루 화상을 표시하는 터치 패널로 웃는 얼굴을 자유로이 검출하고, 웃는 얼굴을 갖는 피사체를 선택한다. 디지털 스틸 카메라는, 비대상 검출 얼굴로부터 웃는 얼굴 검출 대상을 구별하는 구별 방법으로 스루 화상 상의 웃는 얼굴 검출 대상과 비대상 검출 얼굴로서 웃는 얼굴을 표시한다. 예를 들면, 파티 등에서 비교적 많은 사람을 화면 각도에 포함시킨 경우 등에, 2명 이상의 멤버가 동시에 웃고 있는 것을 촬영 조건으로 하여, 웃는 얼굴 검출에 기초하는 자동 촬영을 적합하게 행할 수 있다.

디지털 스틸 카메라, 드라이버, 촬상 소자, 카메라 DSP부, 디지털 제너레이터, 미디어 제어부, 모니터 디스플레이, 플래시 발광부

Description

촬상 장치, 촬상 방법, 및 컴퓨터 프로그램{IMAGING DEVICE, IMAGING METHOD AND COMPUTER PROGRAM}

<관련 출원의 상호 참조>

본 발명은 2007년 6월 13일자 일본 특허청에 제출된 일본 특허출원 제2007-156066호에 관련된 기술 내용을 포함하며, 그 전체 내용은 본 명세서에 참조로서 포함된다.

본 발명은, 인물 등의 피사체를 포함한 화상의 촬영을 행하는 촬상 장치, 촬상 방법 및 컴퓨터 프로그램에 관한 것이다. 특히, 화상에 포함되는 피사체로부터 특정한 패턴을 인식한 것에 따라서 카메라 워크(work)의 자동화 처리를 행하는 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램에 관한 것이다.

본 발명은 또한, 화상에 포함되는 피사체로부터 웃는 얼굴을 인식한 것을 이용하여 촬영하는 타이밍을 자동으로 결정하는 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램에 관한 것이다. 특히, 입력 화상에 복수의 피사체가 포함되는 경우에, 적당한 피사체에 주목하여 웃는 얼굴 검출을 행하고, 촬영 타이밍을 자동적으로 결정하는 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램에 관한 것이다.

카메라는, 시각적인 정보를 기록하는 수단으로서 긴 역사를 갖는다. 최근에는, 필름이나 감광판을 사용하여 촬영하는 은염 카메라(silver-salt camera) 대신에, CCD(Charge-Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor) 등의 고체 촬상 소자에서 포착한 화상을 디지털화하는 디지털 카메라가 광범위하게 보급되어 있다. 디지털 카메라는, 디지털 부호화된 화상을 메모리에 기억하고, 컴퓨터에 의한 화상 처리나 화상 관리를 행한다. 그러한 디지털 카메라는 필름의 수명의 제한에서 자유롭다.

은염 카메라와 디지털 카메라도 카메라 워크는 거의 동일하다. 디지털 카메라는 카메라 워크에서의 발전된 자동화 기술을 포함한다. 미숙한 유저라도 촬영에 실패하기 쉽지 않다.

디지털 카메라는 오토 초점 기능(AF), 자동 노광(AE), 및 손떨림 보정 기능을 갖는다. 디지털 카메라의 경우, AF나 AE 등의 처리를 광학계에서 행할 뿐만 아니라, 디지털 처리에 의해 실현할 수 있다고 하는 이점이 있다. 또한, 디지털 카메라는 디지털 처리에 의한 촬상 화상의 화질을 조정함으로써 적정한 색 재현을 실행한다. 디지털 처리는 AWB(Auto White Balance)에 의해 촬상 화상에 대하여 화이트 밸런스 게인을 거는 것(multiplying)을 포함한다.

오토 초점 및 화질 보정은, 화상 프레임 내에 존재하는 적어도 하나의 피사체 상에 초점을 맞춰 처리된다. 이전에, 유저가 중요한 피사체를 손으로 설정한다. 최근에는, 디지털 카메라는 얼굴 검출 촬영 기술을 포함한다. 예를 들면, 카메라는 촬상된 화상으로부터 사람의 얼굴을 검출하여 자동으로 검출 얼굴에 초점을 맞추거나 얼굴에 맞추어 자동으로 화질을 조정한다.

일본 특허공개공보 제2003-271933호는 촬상된 화상 신호로부터 얼굴을 검출하는 기술을 개시한다. 본 명세서에 따라서, 평균적인 얼굴 화상은 템플릿으로 이용되고, 입력 화상 신호와 매칭된다. 그러한 기술이 널리 알려져 있다. 촬상된 화상 내의 얼굴이 기울어져 있으면 검출이 어렵다. 그러한 경우, 얼굴의 각도가 검출되어 얼굴의 화상은 검출된 각도값에 따라 회전되어서 매칭 처리가 실행된다. 일본 특허공개공보 제9-171560호는 얼굴의 각도를 검출하는 기술을 개시한다. 명세서에 따르면, 얼굴의 중심선을 검출하고, 얼굴의 좌우 대칭에 기초하여 중심선의 유사도를 산출한다. 높은 유사도를 갖는 중심선의 각도는 얼굴의 각도로서 출력된다.

웃는 얼굴과 같은 피사체 화상의 특정 패턴의 인식에 기초하여 촬영 타이밍을 결정하는 오토 셔터가 최근 연구 개발되고 있다.

일본 특허공개공보 제2000-347278호, 제2004-294498호 및 제2006-237803호에는 소정의 촬영 조건이 만족될 때 촬영 타이밍 신호를 출력하는 카메라가 개시되어 있다. 그러한 카메라는 주요 피사체가 주요 피사체에 포함된 주목 영역 내의 소정의 촬영 조건을 만족하는지를 판정한다. 주목 영역은, 사람을 촬영하면 사람의 눈과 입의 형상 및 색, 및 새를 촬영하면 새의 깃털을 포함할 수 있다.

구체적인 촬영 타이밍의 판단 기준으로서, 인물이 보기 좋게 찍히는 조건인, "눈을 깜박거리고 있지 않다", "시선이 카메라 방향을 향하고 있다", "미소짓고 있다" 등을 적절한 촬영 타이밍의 판단 기준으로 할 수 있다. 종래에는, 리터 칭(retouching) 기술이 인물 사진을 수정하여 인물을 양호하게 하는 것이 오랫동안 이용되었다. 하지만, 사람이 깜박거리고 있는 순간의 사진을 깜박거리고 있지 않은 사진으로 수정하는 것이나, 웃지 않고 있는 사람의 사진을 웃고 있는 것처럼 수정하는 것은 어렵다. 이것이 웃는 얼굴을 하나의 촬영 조건으로 하는 이유이다.

"웃는다"는 촬영 조건은 피사체에서의 눈 속의 백색 부분의 면적, 피사체의 입의 수평 길이, 및 입의 백색 부분의 면적에 관련된 화상 정보에 기초하여 판정된다. 복수의 피사체가 촬상 소자를 통해서 입력된 화상 프레임에 도시되면, 어느 쪽 피사체가 촬영 타이밍을 결정하는데 이용될 것인지 불분명하다.

일본 특허공개공보 제2006-33437호는 복수의 얼굴을 검출하는 디지털 카메라를 개시한다. 개시에 따르면, 외곽선은 가장 크거나 AF 에리어에 가장 가까운 얼굴로 설정된다. 얼굴 검출이 스루 화상(through image)을 이용하여 실행될 때, 스루 화상은 얼굴 검출이 실행되지 않는 경우에 사용되는 휘도보다 높은 레벨의 휘도로 높여서 얼굴 검출을 실행한다. 디지털 카메라는 웃는 얼굴 검출에 기초하여 자동 촬영 조작을 실행하지 않는다. AF 에리어 내에 설정된 검출 얼굴은 카메라에 의해서 자동으로 결정된다. 유저는 관심을 갖는 웃는 얼굴을 갖는 피사체를 지정할 수 없다.

일본 특허공개공보 제2006-145629호는 촬상 장치를 개시한다. 개시에 따르면, 촬상 장치는 초점 조정을 실행하여, 검출 얼굴로부터 촬상 장치에 가장 가까운 얼굴에 초점을 맞춘다. 초점이 맞아진 얼굴을 둘러싼 외곽선은 액정 디스플레이 상에 표시된다. 외곽선으로 둘러싸인 얼굴이 원하는 인물의 얼굴이 아니면, 유저 는 십자 키를 이용하여 외곽선을 다른 얼굴로 변경할 수 있다. 촬상 장치는 촬상 장치에 가장 가까운 얼굴에 대하여 주 피사체를 판정하여 자동 초점 처리를 실행하지만, 웃는 얼굴 검출에 기초하여 자동 초점 처리를 실행하지는 않는다. 촬상 장치는 유저가 촬영자가 원하는 피사체를 지정하도록 할 수 있지만, 유저는 특정 피사체만을 지정할 수 있다.

자동 초점 처리는 초점 심도와 같은 광학계의 특성에 따르지만, 기본적으로는 하나의 점에 초점을 맞춰서 실행된다. 촬상 장치는 동시에 복수의 피사체에 초점을 맞출 수 없다. 자동 초점 처리는 웃는 얼굴 검출에 기초하여 실행될 수 있다. 예를 들면, 파티와 같은 이벤트에서의 사람들은 비교적 넓은 각도로 촬영될 수 있다. 그러한 경우, 촬영 조건은 특정한 1명이 웃는 것 대신 파티의 모든 사람들이 웃는 것일 수 있다. 웃는 얼굴 검출에 기초한 자동 촬영 조작은 자동 초점에 기초한 자동 촬영 조작과 본질적으로 다르다.

따라서, 바람직하게는 촬상된 화상(captured image)에 포함되는 피사체로부터 특정한 패턴을 인식한 것에 따라서 카메라 워크의 자동화 처리를 적합하게 행할 수 있는, 우수한 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램을 제공한다.

또한, 바람직하게는 촬상된 화상에 포함되는 피사체로부터 웃는 얼굴을 인식한 것을 이용하여, 적절한 촬영 타이밍을 자동적으로 결정할 수 있는, 우수한 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램을 제공한다.

또한, 촬상된 화상에 포함된 복수의 피사체 중, 적당한 한 피사체에 주목하여 웃는 얼굴 검출을 행하여, 적합한 촬영 타이밍을 자동적으로 결정할 수 있는, 우수한 촬상 장치, 촬상 방법, 및 컴퓨터 프로그램을 제공하는 것에 있다.

본 발명의 일 실시예에 따른 촬상 장치는, 피사체의 화상을 입력하는 화상 입력부와, 입력 화상을 처리하는 화상 신호 처리부와, 화상 신호 처리부에 의해 처리된 입력 화상을 표시 화면상에 표시하는 표시부와, 화상 신호 처리부에 의한 처리 후의 입력 화상으로부터 피사체의 얼굴을 검출하는 얼굴 검출부와, 얼굴 검출 부에 의해 검출된 얼굴 중 하나를 웃는 얼굴 검출 대상으로 설정하는 대상 얼굴 설정부와, 표시부에 의해 표시된 스루 화상(through image) 상에, 대상 얼굴 설정부에 의해 설정된 검출 얼굴을 다른 검출 얼굴과 구별되도록 표시하는 표시 제어부와, 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과, 다른 검출 얼굴을 구별되게 상 이한 방법으로 표시하는 표시 화면 상에서 실행된 유저의 조작에 따라서, 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 검출 얼굴 변경부를 포함한다.

촬상 장치는 웃는 얼굴 검출 대상으로 설정된 검출 얼굴의 웃는 정도를 검출하고, 검출된 웃는 정도가 웃는 얼굴 검출 임계 레벨에 도달할 때 촬영 조작을 실행한다. 또한, 다른 조작은 웃는 얼굴 검출 결과에 따라서 실행될 수 있다.

디지털 카메라와 같은 촬상 장치는 광범위하게 보급되어 있고, 자동화 카메라 워크를 위한 기술도 또한 개발되어 있다. 자동화된 카메라 워크의 오토 셔터 기능에 대한 연구 및 개발이 실행되고 있다. 오토 셔터 기능은 웃는 사람(피사체)의 화상 내의 특정 패턴을 이용하여 촬영 타이밍을 결정한다. 구체적인 촬영 타이밍과 같은 요인은 "깜박거리고 있지 않다", "시선이 카메라 방향을 향하고 있다", "미소짓고 있다"와 같은 인물이 보기 좋게 찍히는 조건일 수 있다.

복수의 피사체가 촬상 소자로부터 입력된 화상 프레임 내에 포함되면, 어느 쪽의 피사체를 촬영 타이밍 제어에서의 웃는 얼굴 검출 대상으로 할 것인지의 문제가 있다.

촬상 장치는 유저가 원하는 피사체를 선택할 수 있도록 한다. 좀더 구체적으로, 촬상 장치는 얼굴 검출부에 의해 검출된 얼굴 중에서 웃는 얼굴 검출 대상을 설정하고, 얼굴 검출부에 의해 설정된 검출 얼굴과 다른 검출 얼굴을 구별되게 OSD(on-screen display) 상에 표시한다. 촬상 장치는, 표시 화면 상에서 실행된 유저 조작에 따라서 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경한다.

얼굴 검출부가 입력 화상으로부터 복수의 얼굴을 검출할 때, 대상 얼굴 설정 부는 입력 화상 내의 검출 얼굴에 관련된 위치 및 다른 정보에 기초하여 각각의 검출 얼굴의 중요도를 판별하고, 각 검출 얼굴의 중요도에 따라서 검출 얼굴에 우선 순위를 할당하고, 우선 순위가 높은 쪽부터 소정 수의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정한다.

표시 제어부는, 촬영자와 같은 유저가 검출 얼굴을 볼 수 있도록 웃는 얼굴 검출 대상으로 설정된 검출 얼굴에 외곽선을 붙여서(attached) 스루 화상을 표시할 수 있다. 표시 제어부는 웃는 얼굴 검출 대상으로 설정된 검출 얼굴에 외곽선을 붙여서 스루 화상을 표시할 수 있고, 스루 화상은 표시 모드로 변경된 외곽선으로 표시되거나 소정의 아이콘을 첨부해서 표시된다.

적어도 2개의 얼굴이 웃는 얼굴 검출 대상으로 설정되면, 촬상 장치는 적어도 하나의 웃는 얼굴의 검출 또는 선택된 전체 N명의 웃는 얼굴 검출에 따라서 자동으로 촬영 조작을 실행한다.

표시부는 터치 패널을 포함하고, 검출 얼굴 변경부는 터치 패널 상에서 실행된 유저 조작에 따라서 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경할 수 있다.

얼굴 검출부는 입력 화상으로부터 복수의 얼굴을 검출하여, 각 검출된 얼굴의 조작 순서를 부여할 수 있다. 대상 얼굴 설정부는 각 검출 얼굴의 중요도에 따라서 복수의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정할 수 있다. 검출 얼굴 변경부는 상하좌우 키와 같은 일반적인 방향조작키로 유저에 의해 특정된 검출 얼굴을 조작 순서대로 특정하여, 검출 얼굴의 우선 순위를 앞당겨서 웃는 얼굴 검출 대상으로 설정할 수 있다.

복수의 검출 얼굴이 웃는 얼굴 검출 대상으로 설정되면, 터치 패널을 이용하여 우선 순위에 따라 앞으로 당겨서 유저가 특정한 검출 얼굴은 웃는 얼굴 검출 대상으로 설정된다.

복수의 검출 얼굴이 웃는 얼굴 검출 대상으로 설정되면, 터치 패널을 이용하여 유저에 의해 특정된 영역 내의 검출 얼굴은 우선 순위에 따라 앞으로 당겨서 웃는 얼굴 검출 대상으로 설정한다.

웃는 얼굴 검출 대상으로서의 피사체의 수가 N으로 제한되고, N 이상의 검출 얼굴이 터치 패널로 유저에 의해 특정된 표시 화면 상의 영역 내에 포함되면, 검출 얼굴 변경부는 영역 내의 각 검출 얼굴의 중요도를 판별하고, 그 중요도에 따라서 각 검출 얼굴에 우선 순위를 부여하고, 우선 순위가 높은 쪽부터 N개의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정할 수 있다.

본 발명의 일 실시예의 촬상 장치는 유저가 자유로이 웃는 얼굴을 검출하여 웃는 얼굴을 갖는 피사체를 선택할 수 있도록 한다. 유저는 스루 화상을 표시하는 터치 패널 상에서 피사체를 웃는 얼굴 검출 대상으로 특정할 수 있다. 따라서, 촬상 장치는 웃는 얼굴의 검출 대상으로 되는 피사체와 비대상으로 되는 피사체를 구별하여 스루 화상에 표시할 수도 있다. 예를 들면, 파티와 같은 이벤트에서의 사람들이 비교적 넓은 각도로 촬영되는 경우, 파티 내의 모든 멤버가 웃고 있는 조건에서의 웃는 얼굴 검출에 따라서 자동 촬영 조작이 실행될 수 있다.

본 발명의 일 실시예에 따르면, 피사체의 입력 화상 상에서 촬영 처리를 컴퓨터상에서 실행하도록 한 컴퓨터 판독 가능 컴퓨터 프로그램은, 입력 화상을 처리 하는 단계와, 처리된 입력 화상을 표시 화면 상에 표시하는 단계와, 처리된 입력 화상으로부터 피사체의 얼굴을 검출하는 단계와, 검출 얼굴 중의 하나를 웃는 얼굴 검출 대상으로 설정하는 단계와, 표시 화면 상에 표시된 스루 화상 상에서, 설정된 검출 얼굴을 다른 검출 얼굴과 구별되도록 설정된 검출 얼굴을 표시하는 단계와, 웃는 얼굴 검출 대상을 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과 그 밖의 검출 얼굴을 구별하여 표시하는 표시 화면상에서 실행된 유저 조작에 따라서 검출된 다른 얼굴로 변경하는 단계를 포함한다.

컴퓨터 프로그램은 컴퓨터에서 실행되는 컴퓨터 판독가능한 형식으로 기술된다. 컴퓨터상에 컴퓨터 프로그램을 인스톨함으로써, 컴퓨터는 상술한 촬상 장치와 동일한 방식으로 동작할 수 있다.

본 발명의 일 실시예에 따르면, 적절한 촬영 타이밍은 화상에 포함된 피사체의 웃는 얼굴 인식에 기초하여 결정된다.

본 발명의 일 실시예에 따르면, 복수의 피사체가 화상에 포함되고 적정한 촬영 타이밍이 자동으로 결정되면, 웃는 얼굴 검출은 적정한 피사체 상에서 실행된다.

본 발명 실시예의 촬상 장치는 유저가 웃는 얼굴을 자유로이 검출하여 웃는 얼굴을 갖는 피사체를 선택할 수 있도록 한다. 유저는 스루 화상을 표시하는 터치 패널 상에서 웃는 얼굴 검출 대상으로 피사체가 특정될 수 있다. 따라서, 촬상 장치는 스루 화상 상에 웃는 얼굴 검출 대상으로서의 피사체와 비대상 검출 얼굴로서 의 피사체를 구별되게 표시한다. 예를 들면, 파티와 같은 이벤트 내의 사람들을 비교적 넓은 각도로 촬영할 때, 자동 촬영 조작은 파티 내의 적어도 2명의 멤버가 웃는 조건에서의 웃는 얼굴 검출에 따라서 실행될 수 있다.

이들 및 다른 피사체, 특징 및 이점은, 첨부된 도면을 참조하여 본 발명의 실시예의 이하의 개시로부터 자명할 것이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다.

도 1에는, 본 발명의 일 실시예에 따른 디지털 스틸 카메라(1)의 하드웨어 구성을 모식적으로 도시하고 있다. 디지털 스틸 카메라(1)는, 촬상 소자(11), AFE 부(anlog front end section)(12)와 카메라 디지털 신호 처리부(DSP)(16)로 구성된다. 디지털 스틸 카메라(1)는 광학계(10)를 통하여 입력되는 화상을 디지털 처리하여 기록하게 되어 있다.

광학계(10)는, 피사체로부터의 광을 촬상 소자(11)에 집광하기 위한 렌즈, 렌즈를 이동시켜 초점 맞춤(focusing)이나 주밍(zooming)을 행하기 위한 구동 기구, 개폐 조작에 의해 피사체로부터의 광을 소정 시간만큼 촬상 소자(11)에 입사시키는 셔터 기구, 피사체로부터의 광 빔(light beam)의 방향 및 범위를 한정하는 아이리스(조리개) 기구(이들 기구(mechanism)는 도시하지 않음)를 포함하고 있다. 드라이버(10a)는, 후술하는 CPU(29)로부터의 제어 신호에 기초하여, 광학계(10) 내의 각 기구의 구동을 제어한다.

촬상 소자(11)는 화소 매트릭스를 포함하고, 각각은 (CCD 및 CMOS 중의 하나 와 같은) 광전 변환 효과를 갖는다. 촬상 소자(11)는 피사체로부터의 입사광을 전기 신호로 변환한다. 촬상 소자(11)는 수광부 상에서 RB 세그먼트 코딩된 녹색(G) 세그먼트 체커 보드 패턴을 갖는 판(a plate having a green(G) segment checker board pattern with RB segment coded)을 포함한다. 각 색 필터를 통과시킨 입사광 량에 대응하는 신호 전하는 각 화소에 축적되고 각 화소 위치에서의 각 입사광의 색은 화소로부터 판독된 3색 신호 전하로부터 재현된다. 촬상 소자(11)로부터 출력된 아날로그 화상 신호는 각각의 RGB 3색 신호이다. 대안적으로, 아날로그 화상 신호는 각각의 보색 신호일 수 있다.

AFE(Analog Front End)부(12)는 집적회로(IC) 칩이며, CDS/AGC/ADC 블록(13), 타이밍 제너레이터(14) 및 V드라이버(15)를 포함한다.

화소 신호 중의 촬상 소자(211)로부터 받는 신호의 저잡음을 억제한 후, 상관 이중 샘플링하고(Correlated Double Sampling; CDS), CDS/AGC/ADC부(13)에서는 샘플 홀드를 행하고, 또한 화상 신호 상에서 AGC(Automatic Gain Control:자동 이득 제어)를 수행하고, AD 변환을 실시하여 디지털 화상 신호를 출력한다.

타이밍 제너레이터(14)는, 촬상 소자(11)를 구동하기 위한 타이밍 펄스 신호를 생성한다. 그리고, V드라이버(15)는, 이 타이밍 펄스 신호에 따라서, 촬상 소자(11)의 각 화소의 전하를 수직 방향으로 라인 단위로 출력하기 위한 구동 신호를 출력한다.

카메라 DSP(Digital Signal Processor)부(16)는 1개의 칩 구조를 가지며, 카메라 신호 처리기(17), 해상도 변환기(18), 화상 코덱 처리부(19), 메모리 제어 부(20), 표시 제어부(21), 및 미디어 제어기(22)를 포함한다.

카메라 신호 처리기(17)는, AFE부(12)로부터 보내져 오는 화상 신호에 대하여, 결함 화소 보정이나 디지털 클램프, 디지털 게인 제어 등의 전처리를 실행한다. 카메라 신호 처리기(17)는 전 처리된 화상 신호를 AWB 기능으로 화이트 밸런스 게인 제어 처리를 실행하는 한편, 샤프니스, 색 농도, 콘트라스트 조정을 포함하는 화질 보정 처리를 실행한다. 따라서 적정한 색 상태가 재현된다. 카메라 신호 프로세서(17)는 디모자이크 처리에 의해 RGB 화면 신호를 작성한다. 화질 조정에는, 플래시 조광이나 빨간 눈 경감 등의 처리를 포함시킬 수 있다. 또한, 카메라 신호 처리기(17)는, RGB 화상 신호에 대하여 γ보정을 실시하여, 화상 정보를 모니터 출력, 프린트 아웃, 또는 화상 기록할 때에 적합한 계조로 변환한다. 카메라 신호 처리기(17)에서는, AFE부(13)의 출력 화상 신호로부터 휘도 정보를 검파한다. 좀더 구체적으로, 카메라 신호 처리기(17)는 소정 범위마다의 히스토그램을 산출하는 히스토그램 검파, 및 소정 범위마다 색 정보를 검파하는 색 검파가 행하여진다. 히스토그램 검파 및 색 검파의 결과는, 후술하는 제어기(27)에 출력된다.

해상도 변환기(Resolution Converter)(18)는, 화상의 사이즈의 변경을 행한다. 화상 코덱 처리부(19)는, RGB 화상 신호를 휘도 신호와 색차 신호(Y/Cr/Cb)로 색 공간 변환하고, JPEG(Joint Picture　Experts　Group) 압축이나 MPEG(Moving Picture　Experts　Group) 등의 부호화 압축 처리를 행한다.

메모리 제어부(20)는, 촬영한 화상 정보 등의 데이터를, SDRAM(Synchronous DRAM) 등으로 이루어지는 메모리 장치(24)에 대하여 기입이나 읽어냄을 행하기 위 한 액세스 동작을 제어한다.

모니터 디스플레이(25)는, 예를 들면 LCD(Liquid　Crystal Display)나 그 밖의 타입의 박형 표시 패널 등으로 구성된다. 표시 제어부(21)는, 모니터 디스플레이(25)의 구동을 제어하고, 카메라 신호 처리기(17)로부터 출력된 화상 데이터(스루 화상)나, 메모리 장치(24)에 유지되어 있는 화상 데이터를, 모니터 디스플레이(25)에 표시하기 위한 신호로 변환하여, 모니터 디스플레이(25)에 출력한다.

모니터 디스플레이(25) 상에는, 스루 화상이 표시된다. 모니터 디스플레이(25)는 또한 제어기(27)로부터의 요구에 따라서, 메뉴 화면 및 각종 설정 화면이나, 각종 경고 정보 등을 OSD(On Screen Display)로서 표시한다. 모니터 디스플레이(25)는 OSD 설정 화면 중 1개에서, 촬영자가 임의로 웃는 얼굴 검출 대상으로서 지정한 피사체를 식별하기 위한 검출 외곽선을 표시한다. 또한, 웃는 얼굴의 검출 대상으로 되는 피사체와 비대상으로 되는 피사체를 구별하여 검출 외곽선을 표시할 수도 있다.

본 발명의 일 실시예에 따르면, 모니터 디스플레이(25)의 표면에는 터치 센서가 중첩되어 있고, 터치 패널을 겸하고 있다. 터치 패널이 인식하는 좌표와 표시 패널에 표시하는 좌표는 동일하다. 따라서, 유저는, 모니터 디스플레이의 표시 화면 상에서, 웃는 얼굴의 검출 대상으로 되는 피사체나, 그 밖의 GUI 부품 등을 직접 지정할 수 있다.

미디어 제어기(22)는, 메모리 스틱(등록상표) 등의 착탈 가능한 기록 미디어(26)를 장전하기 위한 슬롯을 가지고, 기록 미디어(26)에의 데이터의 기입이나 읽어냄을 행한다. 미디어 제어기(22)는, 예를 들면, 메모리 장치(24)에 유지되어 있는 촬영 화상 파일을 기록 미디어(26)에 기록한다.

카메라 DSP부(16)는, 버스 인터페이스 유닛(BIU)(23)을 통하여 제어기(27)에 접속되어 있다. 제어기(27)는, UI(User Interface)부(28), 유저 조작에 따라서 해당 장치 전체의 동작을 통괄적으로 제어하는 CPU(Central Processing　Unit)(29), CPU(29)에서의 주기억 메모리인 RAM(30), 프로그램 코드나 장치 정보 등을 비휘발성으로 유지하는 EEPROM(Electrically Erasable and Programmable ROM)(31) 등으로 구성된다.

CPU(29)는, 해상도 변환기(18)에 의해 해상도 변환한 후의 화상을 이용하여 피사체의 웃는 얼굴 검출 처리를 행한다. CPU(29)는, 모니터 디스플레이(25) 상에 OSD 표시하기 위한 GUI 처리를 행한다. 본 실시예에서는, 이 GUI 처리에는, 촬영자가 임의로 웃는 얼굴 검출 대상으로서 지정한 피사체를 식별하기 위한 검출 외곽선의 표시와, 웃는 얼굴의 검출 대상으로 되는 피사체와 비대상으로 되는 피사체를 구별하여 검출 외곽선을 표시하는 것이 포함된다.

UI(28)는, 유저가 지시 입력을 행하기 위한 조작 기능이나, 스피커나 LED 램프 등의 출력 기능을 구비하고 있다. 조작 기능으로서, 예를 들면, 셔터 릴리즈 버튼이나 플래시 발광의 온/오프 등의 각종 설정을 행하기 위한 키나 다이얼 등을 가지고, 이들에의 유저 조작에 따른 제어 신호가 CPU(29)에 입력된다. 본 실시예의 일 실시예에 따르면, UI(28)는, 조작 기능으로서, 도시하는 바와 같이 상하 좌우 키, 및 이들 4개의 키로 둘러싸인 중앙(결정 키)의 5가지의 입력이 가능한 조작 키(십자 키)를 포함한다.

또한, UI(28)는, 출력 기능을 이용하여, 알람 등의 음성 출력이나, LED의 점등 또는 점멸에 의해, 카메라 워크 등에 관한 정보를 유저에게 피드백할 수 있다.

플래시 발광부(32)는, 제어기(27)로부터의 플래시 제어 정보에 따라서, 플래시를 발광한다.

디지털 스틸 카메라(1)에서는, 촬상 소자(11)에 의해 수광되어 광전 변환된 신호가, 순차적으로 AFE부(12)에 공급된다. CDS 처리나 AFE 처리가 실시된 후, 디지털 신호로 변환된다. 카메라 신호 처리기(17)는, AFE부(12)로부터 공급된 디지털 화상 신호를 화질 보정하고, 최종적으로 휘도 신호(Y)와 색차 신호(R-Y, B-Y)로 변환하여 출력한다.

카메라 신호 처리기(17)로부터 출력된 화상 데이터는, 표시 제어부(21)에 의해 표시용의 화상 신호로 변환되고, 모니터 디스플레이(25) 상에서 스루 화상이 표시된다.

도 2에는, 카메라 화상을 모니터 디스플레이(25) 상에 표시할 때의 데이터 플로우를 모식적으로 도시하고 있다.

피사체의 정보는 광학계(10), 촬상 소자(11), 및 AFE부(12)를 통하여 디지털 신호로 변환되고 카메라 DSP부(16)에 보내진다. 카메라 DSP부(16)에서는, 화상 신호 처리에 의해 밝기, 색 등의 보정이 행하여진다. 카메라 DSP부(16)는 또한 화상에서의 해상도 변환을 실행한다. 결과 화상은 이후 모니터 디스플레이(25) 상에 표시된다. 제어기(27) 내의 CPU(29)는 소정의 프로그램 코드를 실행함으로써 그러 한 화상 출력 처리를 제어한다. 화상 출력 제어 처리는 실제로 세밀하게 분담되어 있다. 그러한 분담은 본 발명과 깊이 관련되지 않으므로, 여기서는 설명을 생략한다.

또한, UI(28)를 통한 유저 조작 등으로 제어기(27)에 화상의 기록이 지시되면, 카메라 신호 처리기(17)로부터의 화상 데이터는 화상 코덱 처리부(19)에 공급된다. 화상 코덱 처리부(19)는 소정의 압축 부호화 처리가 실시되어, 메모리 제어부(20)를 통하여 메모리 장치(24)에 보존되거나, 혹은 미디어 제어기(22)를 통하여 기록 미디어(26)에 보존된다. 정지 화상의 기록 시에는, 카메라 신호 처리기(17)로부터는 1프레임 분의 화상 데이터가 화상 코덱 처리부(19)에 공급된다. 동화상의 기록 시에는, 처리된 화상 데이터가 화상 코덱 처리부(19)에 연속적으로 공급된다.

도 3에는, 디지털 스틸 카메라(1)가 화상 촬영 처리할 때의 데이터 플로우를 모식적으로 도시하고 있다. 도 4에는, 디지털 스틸 카메라(1)가 화상 촬영할 때의 처리를 플로우차트의 형식으로 도시하고 있다.

상술한 도 2를 참조하면서 설명한 바와 마찬가지로, 피사체를 모니터 디스플레이(25) 상에 표시시킨다. UI(28) 중의 셔터 키를 유저가 누르면(단계 S1), UI(28)는 키 누름을 검출하여, 키 정보의 신호를 CPU(29)에 보낸다. 이것에 응답하여, CPU(29)는, 드라이버(10a)에 제어 신호를 출력하고, 촬영 처리를 실행한다(단계 S2). 또한, 적당히 AF 및 AE의 처리가 더불어 행하여진다.

드라이버(10a)를 통하여 촬영 처리의 지시가 행하여지면, 상기와 마찬가지 로, 피사체의 정보는 광학계(10), 촬상 소자(11), 및 AFE부(12)를 통하여 디지털 신호로 변환된다. 결과적인 디지털 신호는 이후 카메라 DSP부(16)에 공급된다. 카메라 DSP부(16)에서는, 화상 신호 처리에 의해 밝기, 색 등의 보정이 행하여지고, 촬영 모드에 따른 화상 사이즈로 되도록 해상도 변환이 더욱 행하여진다(단계 S3). 화상 코덱 처리부(19)에 의해 화상에 JPEG 압축 처리가 실시된다(단계 S4). 미디어 제어기(22)를 통하여 기록 미디어(26)에 기록된다(단계 S5).

본 발명의 일 실시예에 따른 디지털 스틸 카메라(1)는 오토 셔터 기능을 실행한다. 오토 셔터 기능으로, 디지털 스틸 카메라(1)는 웃는 얼굴(피사체)의 화상으로부터 특정한 패턴을 인식한 것을 이용하여 촬영 타이밍을 결정한다. 웃는 얼굴 인식은, CPU(29)에서 소정의 화상 인식 처리 프로그램의 실행에 의해 실행될 수 있다. 웃는 얼굴 인식은 제어기(27) 내에 화상 인식 처리용의 엔진(도시 생략)을 탑재함으로써 실현 가능하다. 웃는 얼굴 인식 기술 자체는 주지의 것으로 충분하므로, 여기서는 상세한 설명을 생략한다.

카메라가 촬영 처리를 실시할 때에, 디지털 스틸 카메라(1)는 UI(28)의 출력 기능을 이용하여, 통지하도록 해도 된다. 좀더 구체적으로, 디지털 스틸 카메라(1)는 알람음의 발생이나 램프의 점등 혹은 점멸과 같은 UI(28)로부터의 외부 출력에 의해 촬영하는 타이밍을 피사체에 통지한다.

본 발명의 일 실시예에 따른 디지털 스틸 카메라(1)는, 피사체의 웃는 얼굴 검출에 기초하여 자동 촬영 처리를 행할 수 있다. 도 5에는, 디지털 스틸 카메라(1)가 웃는 얼굴 검출에 기초하여 자동 촬영을 행하기 위한 처리를 플로우차트의 형식으로 도시하고 있다.

도 2와 마찬가지의 데이터 플로우에 따라서, 광학계(10)로부터 입력되는 카메라 화상을 모니터 디스플레이(25) 상에 표시시킨다(단계 S11). 또한, 표시된 화상은 제어기(27) 내에도 공급된다.

본 발명의 일 실시예에서는, 유저는, 피사체의 얼굴을 검출하여 웃는 얼굴을 찍고 싶은 피사체를 자유롭게 선택할 수 있다(단계 S12). 좀더 구체적으로는, 스루 화상을 표시하는 모니터 디스플레이(25)(터치 패널) 상에서 임의로 웃는 얼굴 검출 대상의 피사체를 지정한다.

소정의 화상 인식 처리 프로그램을 실행하는 CPU(29)(혹은, 도시하지 않는 화상 인식 엔진)는, 선행 단계 S12에서 지정된 피사체에 대한 웃는 얼굴 정도 레벨을 검출한다(단계 S13). 이 지정 조작에 따라서, 모니터 디스플레이(25) 상에서는, 지정된 지정한 피사체를 식별하기 위한 검출 외곽선이 OSD 표시된다. 이때, 웃는 얼굴의 검출 대상으로 되는 피사체와 비대상으로 되는 피사체를 구별하여 검출 외곽선을 표시하도록 해도 된다.

여기서, UI(28) 중의 셔터 키를 유저가 누르면 카메라 촬영 처리가 기동한다(단계 S14). 좀더 구체적으로는, CPU(29)가 드라이버(10a)를 통하여 촬영 처리의 지시를 행하고, 피사체의 정보는 광학계(10), 촬상 소자(11), 및 AFE부(12)를 통하여 디지털 신호로 변환된다. 결과적인 디지털 신호는 이후 카메라 DSP부(16)에 공급된다. 카메라 DSP부(16)에서는, 화상 신호 처리에 의해 밝기, 색 등의 보정이 행하여진다. 여기서, 웃는 얼굴 검출에 기초하여 자동 촬영 기능이 인에이블 되어 있을 때에는, 셔터 키의 누름 조작에 의해 즉석으로 셔터가 눌려지는 것이 아니다. 대신, 피사체의 웃는 얼굴 정도 레벨이 미리 설정된 웃는 얼굴 검출 레벨에 도달하였을 때에, 카메라 촬영 처리가 기동한다.

이와 같이 하여, 셔터 키의 누름 조작 또는 웃는 얼굴 검출 결과에 따라서 카메라 촬영 처리가 실제로 실시된다. 해상도 변환기(18)에 의해 촬영 모드에 따른 화상 사이즈로 변환된다(단계 S15). 화상 코덱 처리부(19)에 의해 화상에 JPEG 압축 처리가 실시된다(단계 S16). 미디어 제어기(22)를 통하여 기록 미디어(26)에 기록된다(단계 S17).

본 실시예에 따른 디지털 스틸 카메라(1)는, 유저가 임의로 웃는 얼굴 검출 대상의 피사체를 지정하는 것이 가능하다. 2명 이상의 피사체를 동시에 웃는 얼굴 검출의 대상으로서 지정하는 것도 허용되고 있다. 웃는 얼굴의 검출 대상으로 되는 피사체와 비대상으로 되는 피사체를 구별하여 스루 화상에 표시한다. 스루 화상으로부터 얻어진 피사체의 웃는 얼굴 정도 레벨이 소정의 촬영 조건을 충족시킬 때에는, 촬영 처리가 자동적으로 기동한다. 이하에서는, 웃는 얼굴 검출에 기초하는 촬영 처리에 대하여 설명한다. 또한, 피사체의 얼굴 검출 및 검출 얼굴의 웃는 얼굴 검출 처리를 위해, 제어기(27) 내에 화상 인식용의 엔진을 장비하는 것도 생각된다. 하지만, 이하에서는 편의상, 이들 처리를 CPU(29) 내에서 실시하는 것으로 한다.

(1) 얼굴 검출 처리

해상도 변환기(18)는 카메라 신호를 스루 화상용으로 화상 데이터로 해상도 변환한다. 결과적인 화상 데이터는 소정의 화상 인식 프로그램을 실행하는 CPU(29)에 공급된다. 예를 들면, CPU(29)는 패턴 검출, 즉 화상 프레임 내의 각 피사체의 얼굴 영역을 추출함으로써 얼굴을 검출한다. 본 발명은 특정한 얼굴 검출 처리에 한정되지 않는다. 예를 들면, "픽셀 차분 특징을 이용한 실시간 임의 자세 얼굴 검출기의 학습"(제10회 화상 센싱 심포지움(SSII 2004))에 기재되어 있는 얼굴 검출 처리 알고리즘을 적용할 수 있다.

얼굴 검출시, 해상도 변환한 후의 화상 전체에 걸쳐 스캔을 행한다. 화상 내에 다수의 피사체가 포함되는 경우에는, 모든 검출 얼굴을 대상으로 하여 보정이나 웃는 얼굴 검출의 처리를 행하는 것은 어렵다. 따라서, 각 검출 얼굴에 우선 순위를 붙이고, 우선 순위가 높은 검출 얼굴을 웃는 얼굴 검출 처리의 대상으로 지정하도록 해도 된다.

우선 순위의 설정 방법으로서, 예를 들면, 화면의 중앙에 가깝거나, 혹은 얼굴 영역이 크다는 등의 정보에 기초하여 피사체의 중요도를 나타내는 스코어를 매긴다. 스코어가 큰 순서로 우선 순위를 높게 하도록 하면 된다.

현재 검출된 얼굴 중에서 웃는 얼굴 검출 대상으로의 얼굴을 유저가 알기 위해서, 웃는 얼굴 검출 대상으로서의 피사체와 비대상 피사체는 바람직하게 스루 화상 상에서 구별되게 표시된다. 검출 대상 및 비대상 피사체를 구별하기 위해, 예를 들면, 웃는 얼굴 검출 대상의 검출 얼굴만 외곽선을 표시하는 방법이 생각된다. 도 6에는, 웃는 얼굴 검출 대상의 검출 얼굴만 외곽선을 표시한 스루 화상의 일례를 도시하고 있다.

도 7에는, 검출 대상의 검출 얼굴에 외곽선을 표시하기 위한 처리 수순을 플로우차트의 형식으로 도시하고 있다. 여기서는, N명까지의 피사체를 웃는 얼굴 검출의 대상으로 할 수 있는 것으로 한다(N은 양의 정수).

도 2와 마찬가지의 데이터 플로우에 따라서, 광학계(10)로부터 입력되는 카메라 화상을 모니터 디스플레이(25) 상에 표시시킨다(단계 S21). 이때, 표시되는 스루 화상의 정보는, 제어기(27) 내에도 공급된다.

제어기(27) 내의 CPU(29)는, 소정의 얼굴 검출 프로그램을 실행 중이며, 스루 화상의 정보로부터 얼굴 검출을 행한다(단계 S22). 여기서, M명의 얼굴이 검출되었을 때에는(단, M은 양의 정수이고, M>N으로 함), 검출 얼굴마다의 중요도를 판별하고, 이 판별 결과에 기초하여 각 검출 얼굴에 우선 순위를 매긴다(단계 S23).

우선 순위가 1~N까지인 검출 얼굴에 대해서는, 웃는 얼굴 검출용의 GUI 처리, 즉 그 검출 얼굴에 외곽선을 OSD 표시한다(단계 S24). 한편, 우선 순위가 N+1~M까지인 검출 얼굴에 대해서는, 통상의 GUI 처리를 행한다(단계 S25).

검출된 모든 얼굴은 각각의 외곽선으로 표시된다. 웃는 얼굴 검출 대상으로서의 피사체를 비대상 피사체로부터 구별하기 위해서, 도 8에 도시된 바와 같이 웃는 얼굴 검출 대상으로서 선택된 검출 얼굴의 외곽선은 표시 모드를 다르게 설정된다(예를 들면, 색, 두께, 및 선의 형태를 포함하는 외곽선의 속성이 변화됨). 대안적으로, 웃는 얼굴 검출 대상으로서 검출된 각 얼굴은 도 9에 도시된 아이콘이 첨부된다. 도 8의 예에서, 앞렬의 좌측으로부터 2명의 피사체가 웃는 얼굴 검출 대상으로 선택된다. 2명의 얼굴은 굵은 외곽선으로 둘러싸고, 다른 얼굴은 가는 점선 외곽선으로 둘러싼다. 도 9에 도시된 바와 같이, 앞렬의 좌측으로부터의 2명의 피사체는 웃는 얼굴 검출 대상으로 선택되고, 2명의 피사체의 검출된 얼굴은 대응하는 얼굴이 선택된 것을 나타내는 아이콘이 첨부되어 있다.

외곽선의 표시 방법에 관해서는 2가지가 고려된다. 첫 번째 방법은, 피사체가 웃는 얼굴 검출 대상으로 자동으로 선택된다. 상위 우선 순위를 갖는 피사체가 선택되고 각각의 외곽선으로 표시된다. 두 번째 방법에서는, 영역 내에 포함된 모든 얼굴이 웃는 얼굴 검출 대상으로 설정된다. 두 번째 방법에서, 검출된 모든 얼굴은 각각의 외곽선으로 둘러싸인다. 유저는 웃는 얼굴 검출 대상으로 검출 얼굴을 인식할 뿐만 아니라, 시스템이 모든 얼굴 검출 피사체를 인식할 수 있다.

(2) 웃는 얼굴 검출 처리

웃는 얼굴 검출의 사양에 대해서는 몇 가지의 케이스가 상정된다. 예를 들면, 복수의 검출 얼굴에 대하여 각각 웃는 얼굴 검출을 행하고, 이들 복수의 검출 결과를 통계적으로 처리할 수도 있다. 여기서는 설명의 간소화를 위해, 상기에서 검출된 검출 얼굴 중 가장 우선 순위가 높은 얼굴 1명이 웃으면 자동적으로 촬영을 행한다.

웃는 얼굴 검출 처리는, 얼굴 검출 처리와 동일한 알고리즘일 수 있다. 예를 들면, "픽셀 차분 특징을 이용한 실시간 임의 자세 얼굴 검출기의 학습"(제10회 화상 센싱 심포지움(SSII 2004))에 기재되어 있는 얼굴 검출 처리 알고리즘을 적용할 수 있다. 하지만, 이 경우에는, 참조하는 화상의 사전이 상위하다.

대상 피사체의 검출 얼굴의 웃는 얼굴이 입력되면, 촬영 조작이 시작된다. 촬영 조작은 촬영용 입력 화상의 해상도 변환, JPEG 화상 압축, 및 부호화 압축 화상의 기록 미디어에의 기록을 포함한다.

상술한 바와 같이, 입력 화상으로부터 M명의 얼굴이 검출되었을 때에는, 우선 순위 매김에 의해, 이 중 N명이 웃는 얼굴 검출의 대상으로서 선택된다(단, M과 N은 양의 정수이고, M≥N으로 함). N이 2이상, 즉 웃는 얼굴 검출 대상으로서의 복수의 피사체가 존재할 수 있다. 디지털 스틸 카메라(1)의 하나의 사양에서, 예를 들면, 적어도 하나의 웃는 얼굴이 검출되거나 N명 전체가 웃는 것으로 검출되면, 디지털 스틸 카메라(1)는 촬영 조작을 실행한다. 이 경우, M명 중의 N명은 사람들의 우선순위 방법에 따라서 결정된다.

본 명세서에서는, 웃는 얼굴 검출에 기초하여 촬영 처리를 기동한다. 웃는 얼굴 검출 결과에 기초하여 촬영 이외의 처리를 행하는 것도 생각된다.

(3) 피사체의 선택

상기한 설명에서는, 촬상 소자로부터 입력된 화상 프레임 중에 복수의 피사체가 포함되는 경우에는, 시스템측에서 웃는 얼굴 검출의 대상으로 되는 피사체를 자동으로 선택하게 되어 있다. 각 검출 얼굴에 대하여 중요도를 판별하고, 판별 결과에 기초하여 우선 순위를 매기고, 가장 우선 순위가 높은 검출 얼굴을 웃는 얼굴 검출의 대상으로 지정한다.

유저는, 모니터 디스플레이(25)에 표시된 스루 화상을 통하여, 웃는 얼굴의 검출 대상으로 되는 피사체를 지정할 수 있다. 유저는 모니터 디스플레이(25)의 표시 화면 상의 피사체를 손가락이나 스타일러스를 이용하여 터치 패널로서 직접 특정할 수 있다. 유저는 또한 UI(28) 상의 십자 키를 이용하여 피사체를 선택할 수 있다. 피사체 특정 방법은 이하에서 설명한다.

도 10에 도시하는 입력 화상을 예로 들어, 자동으로 선택된 웃는 얼굴 검출 대상의 얼굴을 다른 얼굴로 변경하는 조작에 대하여 설명한다. 도 10에 도시된 바와 같이, 화상 중에서 앞렬 대략 중앙의 외곽선로 둘러싸인 검출 얼굴이 우선 순위에 따라서 웃는 얼굴 검출의 대상으로서 자동 선택된다. 유저는 여기서 웃는 얼굴 검출 대상을 앞렬의 제1 피사체 옆의 피사체로 변경할 수 있다.

도 11에 도시하는 바와 같이, 유저는 터치 패널을 구성하는 모니터 디스플레이(25)의 화면 상에서, 변경하고 싶은 얼굴의 부근에 대하여 터치 조작을 행한다. 그렇게 하면 위치 검출에 의해 터치된 좌표를 인식한다. 계속해서, 화상 패턴 검출에 의해 그 좌표의 근방에서 얼굴 검출을 행한다.

얼굴이 검출되면, 그 검출 얼굴의 우선 순위를 최고 우선순위로 변경한다. 이것에 수반하여, 해당 검출 얼굴보다 우선 순위가 고위였던 그 밖의 검출 얼굴의 우선 순위를 각각 1개씩 뒤로 물린다.

그리고, OSD 표시 처리할 때에, 이 새로운 우선 순위 변경의 정보에 기초하여, 우선 순위가 최고위로 변경된 얼굴에 대하여 외곽선 작성의 처리를 행한다. 결과적인 화상은 모니터 디스플레이(25) 상에 OSD에 표시된다.

얼굴은 화면을 터치함으로써 성공적으로 검출되었다. 터치 조작에 따른 어떠한 얼굴도 검출되지 않으면, 어떠한 변화도 웃는 얼굴 검출 대상에 실행되지 않는다.

또한, 터치 패널이 아니라, UI(28)에 장비된 상하 좌우 키를 이용하여, 웃는 얼굴 검출의 대상으로 되는 피사체를 선택한다고 하는 조작 방법도 생각된다. 이하에서는, 이러한 조작 방법에 대하여 설명한다.

얼굴 검출 처리가 종료한 시점에서, 각 검출 얼굴에 대하여 키 조작을 위한 조작 순서를 할당한다. 도 12는 조작 순서 할당 처리를 도시한다. 도 12에 도시된 바와 같이, 화상을 위에서부터 아래를 향하여 수평 스캔을 반복해 가고, 왼쪽에서부터 오른쪽, 그리고 위에서부터 아래로, 각 검출 얼굴에 조작 순서를 매겨 간다.

유저에 의한 상하 좌우 키의 키 조작이 행하여지면, 검출 얼굴의 조작 순서는 조작의 수만큼 이동된다. 이런 방법으로, 웃는 얼굴 검출 대상으로서의 검출 얼굴이 변경된다.

도 13에는, 상하 좌우 키의 키 조작에 따라서 처리 대상의 검출 얼굴을 변경할 때의 화면 업데이트를 도시하고 있다. 도 13에서, 조작한 키를 사선으로 도시해 둔다. 각 검출 얼굴에 조작 순서가 할당된 후에, 중앙의 결정 키를 누르면 얼굴을 변경하는 모드로 들어간다. 좌측 키로 조작 순서를 1만큼 증분시키도록 얼굴 선택을 이동하고, 또한, 우측 키로 조작 순서를 1만큼 감분시키도록 얼굴 선택을 이동한다. 이동이 끝나면, 다시 결정 키로 웃는 얼굴 검출 대상의 얼굴을 결정한다.

(4) 웃는 얼굴 검출 대상의 검출 얼굴이 복수 존재하는 경우의 처리

상기 설명에서는, 웃는 얼굴 검출의 대상으로 되는 검출 얼굴을 1명에만 한 정하고 있었다. 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로 할 수 있다.

도 14에는, 웃는 얼굴 검출의 대상으로 되는 검출 얼굴을 3명으로 하였을 때에, 웃는 얼굴 검출 대상의 검출 얼굴을 변경할 때의 화면 업데이트를 도시하고 있다.

우선, 얼굴 검출을 행한 후, 예를 들면, 화면의 중앙에 가깝거나, 혹은 얼굴 영역이 크다는 등의 정보에 기초하여 피사체의 중요도를 나타내는 스코어를 매긴다고 하는 알고리즘에 따라서 우선 순위의 설정을 행한다. 우선 순위가 상위 3명까지인 피사체가 검출 대상으로 선택되고, 동일 도면의 좌측에 도시하는 바와 같이 모니터 디스플레이(25) 상의 화면에서 이들 검출 얼굴이 외곽선로 둘러싸인다.

도 14의 중앙에 도시하는 바와 같이, 유저가, 검출 대상으로 선택되어 있지 않지만 검출 대상으로 하고 싶다고 생각하고 있는 피사체의 얼굴의 부근을 터치 패널로 지시한다.

이러한 지시 조작에 응답하여, 유저가 희망하는 피사체의 우선 순위를 최상위로 변경한다. CPU(29)는 이후 해당 피사체보다도 우선 순위가 상위였던 각 피사체의 우선 순위를 각각 1씩 감분한다. 이 결과, 우선 순위가 3위였던 피사체는 4위로 밀려나고, 웃는 얼굴의 검출 대상으로부터 제외되게 된다.

새로운 우선 순위가 상위 3명까지인 피사체가 웃는 얼굴 검출 대상으로 설정된다. 도 14의 우측에 도시된 바와 같이, 이 검출 얼굴은 각 외곽선으로 둘러싸인다. 도 14의 우측에 도시된 바와 같이, 뒷렬의 가장 좌측단의 피사체가 유저의 터치 조작에 따라서 우선 순위가 최상위로 된 것에 수반하여, 뒷렬 대략 중앙의 피사 체가 검출 대상으로부터 제외되고, 이 검출 얼굴을 둘러싸고 있던 외곽선이 소실되어 있다.

(5) 피사체의 선택 방법

상기한 설명에서는, 터치 패널 또는 좌우 키 조작에 의해 피사체를 1개씩 선택한다. 유저는 터치 패널 상에서 복수의 검출 얼굴을 둘러싸는 터치 조작에 의해 동시에 복수의 검출 얼굴을 지정할 수도 있다.

도 15a 내지 도 15d에는, 웃는 얼굴 검출의 대상으로 되는 검출 얼굴을 2명으로 하고, 자동으로 선택되는 웃는 얼굴 검출 대상의 인원수분만큼 외곽선 표시하는 화면 업데이트를 도시하고 있다.

유저는, 터치 패널을 통하여, 검출 대상으로서 지정하고 싶은 얼굴을 둘러싸는 터치 패널 조작을 행한다. CPU(29)는 위치 검출에 의해 터치 좌표로부터 둘러싸인 영역을 인식하면, 계속해서 화상 패턴 검출에 의해 그 영역 내에서 얼굴 검출을 행한다.

터치 조작된 영역 내에서 얼굴 화상을 검출할 수 있으면, 그 검출 얼굴에 대하여 얼굴의 우선 순위를 최고위로 변경한다. 이때, 동일 영역 내에서 검출한 얼굴이 1명이면 그 사람을 1번째의 우선 순위로 한다. 또한, 검출 얼굴이 복수 있을 때에는, 이들 중에서의 소정의 알고리즘에 의해 우선 순위를 할당한다. 검출 얼굴이 2명을 초과할 때에는(도시의 예에서는 4명), 동일 영역 내에서의 우선 순위가 2번째까지의 검출 얼굴에 대하여 우선 순위의 앞당김을 행하지만, 3번째 이후의 검출 얼굴은 앞당김을 행하지 않는다. 이 우선 순위의 앞당김에 수반하여, 이들 피 사체보다도 우선 순위가 상위였던 각 피사체의 우선 순위를 다음으로 물린다.

OSD 표시 처리할 때에, 이 새로운 우선 순위에 따라서 지금 최상위 우선순위를 갖는 변경된 얼굴에 대하여 외곽선 작성의 처리를 행한다. 모니터 디스플레이(25)상의 OSD 상에 결과 화상을 표시시킨다.

도 15a에 도시한 바와 같이, 가장 앞렬의 좌측으로부터 2명까지의 피사체가 웃는 얼굴의 검출 대상으로 선택되어 있다.

도 15b에 도시하는 바와 같이, 유저는, 터치 패널을 통하여 뒷렬의 좌측으로부터 4명의 얼굴을 둘러싸는 조작을 행한다.

영역으로 둘러싼 얼굴 전부를 새로운 웃는 얼굴 검출 대상으로 하는 경우에는, 가장 앞렬의 좌측으로부터 2명까지의 피사체로부터 뒷렬의 좌측으로부터 4명의 검출 얼굴로, 웃는 얼굴 검출 대상이 절환된다. 뒷렬의 좌측으로부터 4명의 검출 얼굴을 각각 둘러싸는 외곽선이 표시됨과 함께, 가장 앞렬의 좌측으로부터 2명의 검출 얼굴을 둘러싸고 있던 외곽선이 소실한다.

웃는 얼굴 검출 대상의 인원수분, 즉 2명만을 웃는 얼굴 검출 대상을 절환하는 경우에는, 도 15d에 도시하는 바와 같이, 터치 패널 조작에 의해 둘러싸인 4명 중으로부터 소정의 알고리즘에 의해 우선 순위가 상위로 된 뒷렬의 좌측으로부터 3번째 및 4번째의 2명만이 웃는 얼굴 검출 대상으로 선택된다. 뒷렬의 좌측으로부터 3번째 및 4번째의 검출 얼굴을 둘러싸는 외곽선이 표시된다. 이것에 수반하여, 가장 앞렬의 좌측으로부터 2명의 검출 얼굴을 둘러싸고 있던 외곽선이 소실된다.

도 16에는, 유저의 터치 패널 조작에 따라서 웃는 얼굴 검출 대상으로 되는 검출 얼굴을 절환하기 위한 처리를 플로우차트의 형식으로 도시하고 있다.

디지털 스틸 카메라(1)는 입력 화상에 대하여 얼굴 검출 처리를 행한다. 디지털 스틸 카메라(1)는 각 검출 얼굴의 중요도를 판별하여 우선 순위를 매기고, 상위로부터 소정 인원수를 웃는 얼굴 검출 대상으로 자동 선택한다(단계 S31).

선택된 각 검출 얼굴은, 스루 화상 상에서 외곽선이 붙여진다. 유저는 모니터 디스플레이(25) 상에서, 웃는 얼굴 검출의 대상으로 되어 있는 피사체를 확인한다. 유저는 웃는 얼굴 대상을 변경하고 싶을 수 있다. 그러한 경우, 검출 대상으로서 지정하고 싶은 얼굴을 둘러싸는 터치 패널 조작을 행한다(단계 S32).

위치 검출에 의해 터치 좌표로부터 둘러싸인 영역을 인식하면, 계속해서 화상 패턴 검출에 의해 그 영역 내에서 얼굴 검출을 행한다(단계 S33). 여기서, 터치 조작된 영역 내에서 얼굴 화상을 검출할 수 있으면, 그 검출 얼굴에 대하여 얼굴의 우선 순위를 앞당긴다(단계 S34). 또한, 이 우선 순위의 앞당김에 수반하여, 이들 피사체보다도 우선 순위가 상위였던 각 피사체의 우선 순위를 다음으로 물린다.

외곽선 생성 처리는, 새로운 우선 순위에 따라 현재 최고 우선 순위를 갖는 얼굴에서 실행된다. 결과적인 화상은 모니터 디스플레이(25) 상의 OSD 상에 표시된다(단계 S35).

이와 같이, 본 발명의 실시예에 따른 디지털 스틸 카메라(1)에 따르면, 촬영자가 웃는 얼굴을 검출하여 웃는 얼굴을 찍고 싶은 피사체를 자유롭게 선택할 수 있다. 유저는 스루 화상을 표시하는 터치 패널 상의 웃는 얼굴 검출 대상으로 피 사체를 특정할 수 있다. 따라서, 촬상 장치는 스루 화상 상에 웃는 얼굴 검출 대상으로서 피사체와 비대상 피사체를 구별하여 표시할 수 있다. 예를 들면, 파티와 같은 이벤트에서의 사람들이 비교적 넓은 각도로 촬영될 때, 파티의 적어도 2명의 멤버가 웃는 것을 조건으로 하는 웃는 얼굴 검출에 기초하여 자동 촬영 조작이 실행될 수 있다.

당업자라면, 첨부된 특허청구범위 또는 그 균등물의 범위를 벗어나지 않고 설계 요구 및 다른 인자에 따라서 다양한 수정, 조합, 부조합 및 변경이 일어날 수 있음을 이해해야 한다.

도 1은 본 발명의 일 실시예에 따른 디지털 스틸 카메라의 하드웨어 구성을 모식적으로 도시한 도면.

도 2는 카메라 화상을 모니터 디스플레이 상에 스루 화상으로서 표시하는 데이터 플로우를 모식적으로 도시한 도면.

도 3은 디지털 스틸 카메라가 화상 촬영 처리할 때의 데이터 플로우를 모식적으로 도시한 도면.

도 4는 디지털 스틸 카메라가 화상 촬영할 때의 처리를 도시한 플로우차트.

도 5는 디지털 스틸 카메라가 웃는 얼굴 검출에 기초하여 자동 촬영을 행하는 동시에 촬영하는 타이밍을 피사체에 통지하기 위한 처리를 도시한 플로우차트.

도 6은 웃는 얼굴 검출 대상으로서 설정된 검출 얼굴에 외곽선을 붙인 스루 화상의 일례를 도시한 도면.

도 7은 웃는 얼굴 검출 대상으로서 설정된 검출 얼굴에 외곽선을 표시하기 위한 처리를 도시한 플로우차트.

도 8은 웃는 얼굴 검출 대상으로 선택된 검출 얼굴의 외곽선만을 표시 모드로 변경하는 스루 화상을 도시한 도면.

도 9는 웃는 얼굴 검출 대상으로 설정된 검출 얼굴의 외곽선에 아이콘을 첨부한 스루 화상을 도시한 도면.

도 10은 자동으로 선택된 웃는 얼굴 검출 대상의 얼굴을 다른 얼굴로 변경하는 조작을 설명하기 위한 도면.

도 11은 자동으로 선택된 웃는 얼굴 검출 대상의 얼굴을 다른 얼굴로 변경하는 조작을 설명하기 위한 도면.

도 12는 화상으로부터 검출된 각 검출 얼굴에 대하여 키 조작을 위한 조작 순서를 할당하는 처리를 설명하기 위한 도면.

도 13은 상하 좌우 키의 키 조작에 따라서 처리 대상의 검출 얼굴을 변경할 때의 화면 업데이트를 도시한 도면.

도 14는 웃는 얼굴 검출의 대상으로 되는 검출 얼굴을 3명으로 설정하는 화면 업데이트를 도시한 도면.

도 15a는 동시에 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로서 특정할 때의 화면 업데이트를 도시한 도면.

도 15b는 동시에 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로서 특정할 때의 화면 업데이트를 도시한 도면.

도 15c는 동시에 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로서 선택할 때의 화면 업데이트를 도시한 도면.

도 15d는 동시에 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로서 선택할 때의 화면 업데이트를 도시한 도면.

도 16은 유저의 터치 패널 조작에 따라서 웃는 얼굴 검출 대상으로 되는 검출 얼굴을 다른 얼굴로 절환하기 위한 처리를 도시한 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

1 : 디지털 스틸 카메라

10 : 광학계

10a : 드라이버

11 : 촬상 소자

12 : AFE부

13 : CDS/AGC/ADC 블록

14 : 타이밍 제너레이터

15 : V드라이버

16 : 카메라 DSP부

17 : 카메라 신호 처리부

18 : 해상도 변환부

19 : 화상 코덱 처리부

20 : 메모리 제어부

21 : 표시 제어부

22 : 미디어 제어부

23 : 버스 인터페이스 유닛

24 : 메모리 장치

25 : 모니터 디스플레이

26 : 기록 미디어

27 : 제어부

28 : UI부

29 : CPU

30 : RAM

31 : EEPROM　

32 : 플래시 발광부

Claims

피사체의 화상을 입력하는 화상 입력 수단과,

상기 입력 화상을 처리하는 화상 신호 처리 수단과,

상기 화상 신호 처리 수단에 의해 처리된 입력 화상을 표시 화면상에 표시하는 표시 수단과,

상기 화상 신호 처리 수단에 의해 처리된 입력 화상으로부터 피사체의 얼굴을 검출하는 얼굴 검출 수단과,

상기 얼굴 검출 수단에 의해 검출된 얼굴 중 하나를 웃는 얼굴 검출 대상으로 설정하는 대상 얼굴 설정 수단과,

상기 표시 수단에 의해 표시된 스루 화상(through image) 상에, 상기 대상 얼굴 설정 수단에 의해 설정된 검출 얼굴을 다른 검출 얼굴과 구별되도록 표시하는 표시 제어 수단과,

상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과, 다른 검출 얼굴을 구별되게 상이한 방법으로 표시하는 상기 표시 화면 상에서 실행된 유저의 조작에 따라서, 상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 검출 얼굴 변경 수단

을 포함하는 촬상 장치.
제1항에 있어서,

상기 웃는 얼굴 검출 대상으로서 검출 얼굴의 웃는 정도(degree of smile)를 검출하는 웃는 정도 검출 수단과,

상기 웃는 정도 검출 수단에 의해 검출된 웃는 정도가 웃는 검출 임계 레벨에 도달한 것에 따라서 촬영 처리를 제어하는 촬영 제어 수단

을 더 포함하는 촬상 장치.
제1항에 있어서,

상기 얼굴 검출 수단이 상기 입력 화상으로부터 복수의 얼굴을 검출하였을 때에, 상기 대상 얼굴 설정 수단은, 입력 화상 내의 검출 얼굴에 관련된 위치 및 다른 정보에 기초하여 검출 얼굴마다의 중요도를 판별하고, 그 중요도에 따라서 각 검출 얼굴에 우선 순위를 할당하고, 우선 순위가 높은 쪽부터 소정수의 검출 얼굴 각각을 웃는 얼굴 검출의 대상으로 설정하는 촬상 장치.
제1항에 있어서,

상기 표시 제어 수단은, 상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴에 외곽선(outline)을 붙인(attached) 스루 화상을 표시하는 촬상 장치.
제1항에 있어서,

상기 표시 제어 수단은, 상기 얼굴 검출 수단에 의해 검출된 각 검출 얼굴에 외곽선을 붙인 스루 화상을 표시하고, 상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴은, 표시 모드의 외곽선을 변경시키거나 또는 소정의 아이콘을 첨부하여 표시 되는 촬상 장치.
제2항에 있어서,

적어도 2명의 웃는 얼굴을 웃는 얼굴 검출 대상으로 설정한 경우, 상기 촬영 제어 수단은, 적어도 1명의 웃는 얼굴의 검출에 응답하여 상기 촬영 처리를 자동으로 실행하거나, 또는 선택된 모든 피사체로부터 웃는 얼굴의 검출에 응답하여 상기 촬영 처리를 자동으로 실행하는 촬상 장치.
제1항에 있어서,

상기 표시 수단은 터치 패널을 포함하고,

상기 얼굴 변경 수단은, 상기 터치 패널에서 실행된 유저 조작에 따라서 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 촬상 장치.
제1항에 있어서,

상기 표시 수단은 상기 표시 화면 상의 방향을 지시하는 방향 조작 키를 포함하고,

상기 얼굴 검출 수단은 상기 입력 화상으로부터 복수의 얼굴을 검출하고, 각 검출 얼굴에 조작 순서를 부여하고, 상기 대상 얼굴 설정 수단은 각 검출 얼굴의 중요도에 따라서 웃는 얼굴 검출 대상으로 복수의 검출 얼굴을 설정하고,

상기 검출 얼굴 변경 수단은 상기 방향 조작 키로 유저에 의해 지정된 검출 얼굴을 조작 순서로 식별하고, 상기 검출된 얼굴의 우선 순위를 앞당겨서 웃는 얼굴 검출 대상으로서 식별된 검출 얼굴을 설정하는 촬상 장치.
제7항에 있어서,

상기 얼굴 검출 수단은 상기 입력 화상으로부터 복수의 얼굴을 검출하고, 상기 대상 얼굴 설정 수단은 각 검출 얼굴의 중요도에 따라서 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로 설정하고,

상기 검출 얼굴 변경 수단은, 상기 검출 얼굴의 우선 순위를 앞당겨서 상기 웃는 얼굴 검출 대상을 상기 터치 패널 상에서 유저가 지정한 검출 얼굴로 변경하는 촬상 장치.
제7항에 있어서,

상기 얼굴 검출 수단은 상기 입력 화상으로부터 복수의 얼굴을 검출하고, 상기 대상 얼굴 설정 수단은 각 검출 얼굴의 중요도에 따라서 복수의 검출 얼굴을 웃는 얼굴 검출의 대상으로 설정하고,

상기 검출 얼굴 변경 수단은, 검출 얼굴의 우선 순위를 앞당겨서 상기 웃는 얼굴 검출 대상을, 상기 터치 패널로 상기 표시 화면 상에서 유저가 지정한 영역 내의 검출 얼굴로 변경하는 촬상 장치.
제10항에 있어서,

웃는 얼굴 검출의 대상으로서의 피사체의 수는 N명으로 제한되고,

상기 터치 패널로 상기 표시 화면 상에서 유저가 지정한 영역에 N명 이상의 검출 얼굴이 포함될 경우, 상기 검출 얼굴 변경 수단은 상기 영역 내의 각 검출 얼굴의 중요도를 판별하고, 높은 우선 순위를 갖는 쪽부터 N명의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정하는 촬상 장치.
피사체의 입력 화상 상에서 촬영 조작을 실행하는 방법으로서,

입력 화상을 처리하는 단계와,

상기 처리된 입력 화상을 표시 화면 상에 표시하는 단계와,

상기 처리된 입력 화상으로부터 피사체의 얼굴을 검출하는 단계와,

상기 검출된 얼굴중 하나를 웃는 얼굴 검출 대상으로서 설정하는 단계와,

상기 표시 화면 상에 표시된 스루 화상 상에, 설정된 검출 얼굴이 다른 검출 얼굴과 구별되게 상이한 방식으로 설정된 검출 얼굴을 표시하는 단계와,

상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과 다른 검출 얼굴을 구별되도록 상이한 방식으로 표시하는 상기 표시 화상 상에서 실행된 유저 조작에 따라서, 상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계

를 포함하는 방법.
제12항에 있어서,

얼굴 검출 단계에서 상기 입력 화상으로부터 검출된 복수의 얼굴과 더불어, 상기 웃는 얼굴 검출 대상으로서 상기 검출 얼굴을 설정하는 단계는, 상기 입력 화상 내의 검출 얼굴에 관련된 위치와 다른 정보에 기초하여 각 검출 얼굴의 중요도를 판별하고, 각각의 검출 얼굴의 중요도에 따라서 검출 얼굴에 우선 순위를 할당하며, 우선 순위가 높은 쪽부터 소정 수의 검출 얼굴 각각을 웃는 얼굴 검출 대상으로 설정하는 단계를 포함하는 방법.
제12항에 있어서,

상기 검출 얼굴을 표시하는 단계는, 상기 웃는 얼굴 검출 대상으로 설정된 상기 검출 얼굴에 외곽선을 붙인 스루 화상을 표시하는 단계를 포함하는 촬상 방법.
제12항에 있어서,

상기 검출 얼굴을 표시하는 단계는, 상기 각 얼굴에 외곽선을 붙인 검출 얼굴의 스루 화상을 표시하는 단계를 포함하며, 상기 웃는 얼굴 검출 대상으로 설정된 상기 검출 얼굴은 표시 모드에서 외곽선을 변경시키거나, 또는 소정의 아이콘을 첨부하여 표시되는 방법.
제12항에 있어서,

웃는 얼굴 검출 대상으로 설정된 상기 검출 얼굴의 웃는 정도를 검출하는 단계와,

적어도 2 이상의 검출 얼굴이 웃는 얼굴 검출 대상으로 설정되는 경우, 적어도 하나의 웃는 얼굴의 검출에 응답하여, 또는 선택된 모든 피사체의 웃는 얼굴의 검출에 응답하여 촬영 조작을 자동으로 실행하는 단계

를 더 포함하는 방법.
제12항에 있어서,

상기 표시 화면은 터치 패널을 포함하고,

상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계는, 상기 터치 패널 상에서 실행된 유저 조작에 응답하여 검출 대상을 변경하는 단계를 포함하는 촬상 방법.
제12항에 있어서,

상기 피사체의 얼굴을 검출하는 단계는, 상기 입력 화상으로부터의 복수의 얼굴을 검출하고 각 검출 얼굴에 조작 순서를 부여하는 단계를 포함하고,

상기 검출 얼굴을 웃는 얼굴 검출 대상으로 설정하는 단계는, 각 검출 얼굴의 중요도에 따라서 상기 복수의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정하는 단계를 포함하고,

상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계는, 방향 조작 키로 유저에 의해 지정된 검출 얼굴을 상기 조작 순서로 식별하고, 상기 검출 얼굴의 우선 순위를 앞당겨서 상기 식별된 검출 얼굴을 웃는 얼굴 검출 대상으로 설정 하는 단계를 포함하는 방법.
제17항에 있어서,

상기 피사체의 얼굴을 검출하는 단계는, 상기 입력 화상으로부터 복수의 얼굴을 검출하는 단계를 포함하고,

상기 검출 얼굴을 웃는 얼굴 검출 대상으로 설정하는 단계는, 각 검출 얼굴의 중요도에 따라서 상기 복수의 검출 얼굴을 웃는 얼굴 검출 대상으로 설정하는 단계를 포함하며,

상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계는, 상기 검출 얼굴의 우선 순위를 앞당겨서 상기 웃는 얼굴 검출 대상을 상기 터치 패널로 유저가 지정한 검출 얼굴로 변경하는 단계를 포함하는 방법.
제17항에 있어서,

상기 피사체의 얼굴을 검출하는 단계는 상기 입력 화상으로부터 복수의 얼굴을 검출하는 단계를 포함하고,

상기 검출 얼굴을 상기 웃는 얼굴 검출 대상으로서 설정하는 단계는 각 검출 얼굴의 중요도에 따라서 웃는 얼굴 검출 대상으로서 복수의 검출 얼굴을 설정하는 단계를 포함하고,

상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계는, 상기 터치 패널 상의 표시화면에 유저가 지정한 영역 내의 검출 얼굴의 우선 순위를 앞당겨서 검출 얼굴로 설정하는 단계를 더 포함하는 방법.
제20항에 있어서,

웃는 얼굴 검출 대상으로 설정된 피사체의 수는 N명으로 제한되고,

상기 터치 패널로 유저가 지정한 표시 화면 상의 영역 내에 N명을 초과하는 검출 얼굴이 포함된 경우, 상기 웃는 얼굴 검출 대상을 다른 검출 얼굴로 변경하는 단계는 상기 영역 내의 각 검출 얼굴의 중요도를 판별하고, 그 중요도에 따른 각 검출 얼굴에 우선 순위를 할당하며, 및 상기 우선 순위가 높은 검출 얼굴로부터 N검출 얼굴을 웃는 얼굴 대상으로 설정하는 단계를 포함하는 방법.
피사체의 입력 화상 상에서 촬영 조작을 컴퓨터가 실행하도록 한 컴퓨터 판독 가능 컴퓨터 프로그램으로서,

입력 화상을 처리하는 단계와,

상기 처리된 입력 화상을 표시 화면 상에 표시하는 단계와,

처리된 입력 화상으로부커 피사체의 얼굴을 검출하는 단계와,

상기 검출 얼굴 중의 하나를 웃는 얼굴 검출 대상으로 설정하는 단계와,

상기 표시 화면 상에 표시된 스루 화상 상에서 설정된 검출 얼굴을 다른 검출 얼굴과 구별되게 상이한 방식으로 설정된 검출 얼굴을 표시하는 단계와,

상기 웃는 얼굴 검출 대상을, 상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과 다른 검출 얼굴을 구별되도록 상이한 방식으로 표시하는 상기 표시 화면상에 서 실행된 유저 조작에 따라서 검출된 다른 얼굴로 변경하는 단계

를 포함하는 컴퓨터 프로그램.
촬상 장치로서,

피사체의 화상을 입력하는 화상 입력부와,

상기 입력 화상을 처리하는 화상 신호 처리부와,

상기 화상 신호 처리부에 의해 처리된 입력 화상을 표시 화면 상에 표시하는 표시부와,

상기 입력 화상 처리부에 의해 처리된 입력 화상으로부터 피사체의 얼굴을 검출하는 얼굴 검출부와,

상기 얼굴 검출부에 의해 검출된 얼굴 중의 하나를 웃는 얼굴 검출 대상으로 설정하는 대상 얼굴 설정부와,

상기 표시 화면 상에 표시된 스루 화상 상에서, 설정된 검출 얼굴을 다른 검출 얼굴과 구별되도록 설정된 검출 얼굴을 표시하는 표시 제어부와,

상기 웃는 얼굴 검출 대상을, 상기 웃는 얼굴 검출 대상으로 설정된 검출 얼굴과 다른 검출 얼굴을 구별되게 상이한 방식으로 표시하는 상기 표시 화면상에서 실행된 유저 조작에 따라서 검출된 다른 얼굴로 변경하는 검출 얼굴 변경부

를 포함하는 촬상 장치.