KR20090052298A - 촬상 장치, 방법 및 프로그램 - Google Patents

Abstract

[과제] 디지털 카메라 등의 얼굴 검출 기능을 갖춘 촬상 장치에 있어서 간단한 조작으로 유사 삼차원 화상 데이터를 작성한다.

[해결 수단] 기록된 제 1 화상 데이터로부터 유사 삼차원 화상을 생성하기 위해서 사용하는 참고 화상 데이터를 생성하고, 얼굴 검출 수단에 의해 새롭게 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스루 화상 데이터와 참고 화상 데이터의 상관값을 산출해 비교하고, 비교된 상관값이 소정의 값보다 높을 때에 취득된 새로운 얼굴을 포함하는 제 2 화상 데이터와 기록된 제 1 화상 데이터로부터 유사 삼차원 화상을 생성한다.

촬상 장치

Description

촬상 장치, 방법 및 프로그램{IMAGING APPARATUS, IMAGING METHOD, AND IMAGING PROGRAM}

본 발명은 얼굴 검출 기능을 구비한 촬상 장치, 특히 검출된 얼굴을 포함하는 화상으로부터 유사 삼차원 화상을 생성하는 촬상 장치, 방법 및 프로그램에 관한 것이다.

최근, 스테레오 카메라 등의 촬상 장치에 있어서 다른 각도에 의해 촬상된 복수개의 화상을 취득하고, 그 취득된 복수개의 화상에 의거하여 유사 삼차원 화상을 생성하는 유사 삼차원 화상 생성 방법이 제안되어 있다. 특허문헌 1에 개시된 방법에 있어서는 촬상된 측면 얼굴과 정면 얼굴 등의 복수개의 화상 데이터로부터 소정 부분의 위치 정보에 의거하여 측면 얼굴과 정면 얼굴의 외형 및 얼굴 부품 영역의 가장 자리를 추출하여 유사 삼차원 화상을 생성하는 방법 등이 제안되어 있다.

[특허문헌 1] 일본 특허 공개 2002-251635호 공보

그러나, 상기한 바와 같이 측면 얼굴과 정면 얼굴 등의 다른 각도에 의해 촬상된 복수개의 화상 데이터를 취득할 때에는 유사 삼차원 화상을 생성하는데에 적합한 얼굴의 각도에 의해 촬상된 화상 데이터를 취득하는 것이 바람직하다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 간단한 조작으로 유사 삼차원 화상 데이터를 작성하는데에 적합한 얼굴의 각도에 의해 촬상된 화상 데이터를 취득하는 것을 가능하게 하는 촬상 장치, 방법 및 프로그램을 제공하는 것을 목적으로 하는 것이다.

본 발명에 의한 촬상 장치는 피사체를 촬상함으로써 스루(through) 화상 데이터 및 화상 데이터를 취득하는 촬상 수단과, 스루 화상 데이터로부터 얼굴을 검출하는 얼굴 검출 수단과, 촬상 수단에 의해 취득된 얼굴을 포함하는 제 1 화상 데이터를 기록한 기록 수단을 구비해서 이루어지는 촬상 장치에 있어서, 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하는 참고 화상 생성 수단과, 얼굴 검출 수단에 의해 새롭게 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스루 화상 데이터와 참고 화상 데이터의 상관값을 산출해 비교하는 비교 수단과, 비교 수단에 의해 비교된 상관값이 소정의 값보다 높을 때에 촬상 수단에 의해 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득 가능하게 하는 제어 수단과, 촬상 수단에 의해 취득된 제 2 화상 데이터와 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 유사 삼차원 얼굴 화상 생성 수단을 구비하는 것을 특징으로 하는 것이다.

「참고 화상 생성 수단」은 기록된 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하는 것이다. 예를 들면, 제 1 화상 데이터에 포함하는 얼굴 사이즈 및 얼굴의 횡향 각도(sideway facing angle)를 산출하여 얼굴의 사이즈를 동일하게 하고 또한 얼굴의 횡향 각도와는 다른 각도가 되도록 제 1 화상 데이터를 변환함으로써 참고 화상 데이터를 생성하는 것이어도 좋다.

또한, 「상관값」은 화상 데이터 간의 상관성을 나타내는 값이다. 예를 들면, 얼굴을 포함하는 화상 데이터와 새로운 얼굴을 포함하는 다른 화상 데이터 사이에 있어서의 얼굴 사이즈 등의 상관성을 나타내는 값이어도 좋다. 또한, 예를 들면 화상 데이터 간의 상호 상관값이어도 좋다.

또한, 「유사 삼차원 화상」은 다른 각도로부터 촬상된 동일한 특정 피사체를 포함하는 복수개의 화상으로부터 컴퓨터를 이용하여 생성되는 입체적인 화상이다. 예를 들면, 특정 피사체는 인간의 얼굴이어도 좋다.

또한, 「제 1 화상 데이터」는 촬상 수단에 의해 얼굴을 포함한 화상 데이터를 말한다. 예를 들면, 화상 데이터 전체뿐만 아니라 검출 수단에 의해 검출된 얼굴 영역 부분을 추출한 화상 데이터의 부분이어도 좋다.

또한, 「제 2 화상 데이터」는 촬상 수단에 의해 새로운 얼굴을 포함한 화상 데이터를 말한다. 예를 들면, 화상 데이터 전체뿐만 아니라 검출 수단에 의해 검출된 새로운 얼굴의 영역 부분을 추출한 화상 데이터의 부분이어도 좋다.

본 발명의 촬상 장치에 있어서, 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 촬상 수단과, 스루 화상 데이터로부터 얼굴을 검출하는 얼굴 검출 수단을 구비해서 이루어지는 촬상 장치에 있어서, 유사 삼차원 얼굴 화상을 생성하기 위해서 사용하는 제 1 및 제 2 참고 화상 데이터를 미리 기록하는 기록 수단과, 얼굴 검출 수단에 의해 검출된 얼굴을 포함하는 스루 화상 데이터와 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 촬상 수단에 의해 취득된 상기 얼굴을 포함한 제 1 화상 데이터와 얼굴 검출 수단에 의해 검출된 새로운 얼굴을 포함한 스루 화상 데이터와 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 산출된 상관값이 소정의 값보다 높을 때 촬상 수단에 의해 취득된 새로운 얼굴을 포함하는 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 유사 삼차원 얼굴 화상 생성 수단을 구비한 것이어도 좋다.

본 발명의 촬상 장치에 있어서, 스루 화상 데이터를 표시하는 표시 수단을 더 구비하고, 표시 수단이 얼굴 검출 수단에 의해 얼굴이 검출되었을 때에 스루 화상 데이터 상에 참고 화상 데이터 중 어느 하나를 중첩 표시하는 것을 특징으로 하는 것이어도 좋다. 또한, 표시 수단에 표시되는 참고 화상 데이터를 미리 선택할 수 있는 선택 수단을 구비하는 것이어도 좋다.

본 발명의 촬상 장치에 있어서 스루 화상 데이터를 표시하는 표시 수단과, 얼굴 검출 수단에 의해 얼굴이 검출되었을 때에 얼굴을 포함하는 스루 화상 데이터에 대하여 윤곽 추출함으로써 윤곽 화상을 생성하는 윤곽 화상 생성 수단과, 윤곽 화상에 소정의 화상 처리를 실시하여 변형 마스크 화상을 생성하는 마스크 생성 수 단을 더 구비하고, 표시 수단이 스루 화상 데이터 상에 변형 마스크 화상을 중첩 표시하는 것을 특징으로 하는 것이어도 좋다.

본 발명의 촬상 장치에 있어서, 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터의 삼차원 데이터로부터 제 1 및 제 2 참고 화상 데이터를 생성하도록 변환하는 참고 화상 변환 수단을 더 구비하고, 기록 수단은 참고 화상 변환 수단에 의해 변환된 제 1 및 제 2 참고 화상 데이터 및 삼차원 데이터를 기록하는 것이어도 좋다. 더욱이, 스루 화상 데이터를 표시하는 표시 수단과, 참고 화상 변환 수단에 의해 변환된 제 1 및 제 2 참고 화상 데이터 중 어느 하나의 참고 화상 데이터에 대하여 윤곽 추출함으로써 윤곽 화상을 생성하는 윤곽 화상 생성 수단과, 윤곽 화상에 소정의 화상 처리를 실시하여 변형 마스크 화상을 생성하는 마스크 생성 수단을 더 구비하고, 표시 수단이 스루 화상 데이터 상에 변형 마스크 화상을 중첩 표시하는 것을 특징으로 하는 것이어도 좋다.

본 발명의 촬상 방법은 피사체를 촬상함으로써 스루 화상 데이터를 취득하고, 스루 화상 데이터로부터 얼굴을 검출하고, 검출된 얼굴을 포함하는 제 1 화상 데이터를 취득한 촬상 방법에 있어서, 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하고, 새로운 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스루 화상 데이터와 참고 화상 데이터의 상관값을 산출해 비교하고, 비교된 상관값이 소정의 값보다 높을 때에 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하여 취득된 제 1 화상 데이터와 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 것을 특징으로 하는 것이다.

본 발명의 촬상 방법에 있어서, 피사체를 촬상함으로써 스루 화상 데이터를 취득하고 스루 화상 데이터로부터 얼굴을 검출하는 촬영 방법에 있어서, 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 제 1 및 제 2 참고 화상 데이터를 미리 기록하고, 얼굴이 검출되었을 때에 검출된 얼굴을 포함하는 스루 화상 데이터와 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 제 1 화상 데이터를 취득하고, 새로운 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스루 화상 데이터와 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 산출된 상관값이 소정의 값보다 높을 때에 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하고, 제 1 화상 데이터와 상기 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 것을 특징으로 하는 것이어도 좋다.

본 발명의 컴퓨터에 실행시키기 위한 프로그램에 있어서, 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 기능과, 스루 화상 데이터로부터 얼굴을 검출하는 기능과, 검출된 얼굴을 포함하는 제 1 화상 데이터를 기록한 기능을 컴퓨터에 실행시키기 위한 프로그램에 있어서, 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하는 기능과, 새롭게 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스루 화상 데이터와 참고 화상 데이터의 상관값을 산출해 비교하는 기능과, 비교된 상관값이 소정의 값보다 높을 때에 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하여 기록된 제 1 화상 데이터와 취득된 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 기능을 컴퓨터에 실행시키는 것을 특징으로 하는 것이다.

본 발명의 컴퓨터에 실행시키기 위한 프로그램에 있어서 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 기능과, 스루 화상 데이터로부터 얼굴을 검출하는 기능을 컴퓨터에 실행시키기 위한 프로그램에 있어서, 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 제 1 및 제 2 참고 화상 데이터를 미리 기록하는 기능과, 얼굴이 검출되었을 때에 검출된 얼굴을 포함하는 스루 화상 데이터와 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 얼굴을 포함하는 제 1 화상 데이터를 취득하고, 새롭게 얼굴이 검출되었을 때에 새롭게 검출된 얼굴을 포함하는 스루 화상 데이터와 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 산출된 상관값이 소정의 값보다 높을 때에 얼굴을 포함하는 제 2 화상 데이터를 촬상하여 제 1 화상 데이터와 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 기능을 컴퓨터에 실행시키는 것을 특징으로 하는 것이어도 좋다.

여기서, 본 발명의 촬상 장치는 단일의 장치뿐만 아니라, 예를 들면 촬상 장치(예를 들면, 디지털 카메라 등) 및 표시 장치(예를 들면, 텔레비전 등)를 유선 또는 무선에 의해 접속했을 경우와 같이 복수개의 장치를 접속함으로써 일체로 구성되는 장치도 포함하는 것이다.

<발명의 효과>

본 발명의 촬상 장치, 방법 및 프로그램에 의하면, 기록된 제 1 화상 데이터로부터 유사 삼차원 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하고, 얼굴 검출 수단에 의해 새롭게 얼굴이 검출되었을 때에 새로운 얼굴을 포함하는 스 루 화상 데이터와 참고 화상 데이터의 상관값을 산출해 비교하고, 비교된 상관값이 소정의 값보다 높을 때에 취득된 새로운 얼굴을 포함하는 제 2 화상 데이터와 기록된 제 1 화상 데이터로부터 유사 삼차원 화상을 생성하는 것이기 때문에, 간단한 조작으로 유사 삼차원 화상을 생성하는데에 적합한 얼굴 각도의 이차원 화상 데이터를 촬상할 수 있음과 아울러 적합한 유사 삼차원 화상을 작성할 수 있다.

또한, 본 발명에 의하면, 단수 또한 단량의 촬상 장치를 사용할 때에도 유사 삼차원 화상을 생성하는데에 적합한 얼굴 각도의 이차원 화상 데이터를 촬상할 수 있다.

이하, 본 발명에 있어서의 제 1 촬상 장치의 실시형태를 도면을 참조하여 상세하게 설명한다.

도 1 및 도 2는 디지털 카메라의 일례를 나타내는 것이며 각각 배면측 및 전면측에서 본 외관도이다. 디지털 카메라(1)의 본체(2)의 배면에는 도 1에 나타내는 바와 같이, 촬상자에 의한 조작을 위한 인터페이스로서 동작 모드 다이얼(11), 메뉴/OK 버튼(17), 줌 버튼(18), 십자 버튼(16), 표시/ 백(Back) 버튼(20), 포토 모드 버튼(22)이 설치되고, 또한 촬상을 위한 파인더(15), 촬상 및 재생을 위한 모니터(14) 및 릴리스 버튼(7)이 설치되어 있다.

동작 모드 다이얼(11)은 촬상 모드(풍경, 야경, 바다, 눈, 산, 꽃, 저녁놀, 파티 및 인물, 아기, 스포츠, 애완 동물 등), 얼굴 검출 모드 등의 각 촬상 모드를 스위칭하기 위한 슬라이드 스위치이다.

메뉴/OK 버튼(17)은 눌러질 때마다 셀프 타이머 온/오프, 기록 화소수나 촬상 소자 감도 등의 설정을 행하기 위한 각종 메뉴를 모니터(14)에 표시하거나, 모니터(14)에 표시된 메뉴에 근거하는 선택·설정을 결정하기 위한 버튼이다. 줌 버튼(18)은 좌우 중 어느 하나의 버튼을 누름으로써 촬상시에는 망원/광각의 조정이 행해진다.

십자 버튼(16)은 각종 설정시에 모니터(14)에 표시되는 메뉴 화면 중의 커서를 상하 좌우로 이동해서 표시하기 위한 버튼이다.

Back(백) 버튼(20)은 눌러짐으로써 각종 설정 조작을 중지하고, 모니터(14)에 1개 전의 화면을 표시하기 위한 버튼이다. 또한, 재생시에는 모니터(14)의 표시 방법을 변경하는 것이 가능하게 된다.

파인더(15)는 사용자가 피사체를 촬상할 때에 구도나 포커스를 맞추기 위해 들여다 보는 것이다. 파인더(15)로부터 보이는 피사체상은 본체(2)의 전면에 있는 파인더 창을 통해 비추어진다.

릴리스 버튼(7)은 반 누름 및 완전 누름의 2단계 조작이 가능한 조작 버튼이며 릴리스 버튼(7)을 누르면 후술의 조작계 제어부(74)를 통해서 반 누름 신호 또는 완전 누름 신호를 CPU(75)에 출력한다.

이상에서 설명한 각 버튼이나 레버 등의 조작에 의해 설정된 내용은 모니터(14) 중의 표시나 파인더(15) 내의 램프 등에 의해 확인 가능하게 되어 있다. 또한, 모니터(14)에는 촬상시에 피사체 확인용 스루 화상 데이터가 표시된다. 이에 따라, 모니터(14)는 전자 뷰 파인더로서 기능하는 것 외에 촬상 후의 정지화면이나 동영상의 재생 표시, 각종 설정 메뉴의 표시를 행한다.

또한, 본체(2)의 앞면에는, 도 2에 나타내는 바와 같이, 촬상 렌즈(3), 줌 렌즈(4), 전원 레버(8), 플래시 라이트(13) 및 AF 보조광 램프/셀프 타이머 램프(5)가 설치되고, 측면에는 미디어 슬롯(22)이 설치되어 있다.

촬상 렌즈(3)는 피사체상을 소정의 결상면상[본체(2) 내부에 있는 CCD 또는CMOS 등]에 결상시키기 위한 것이며 포커스 렌즈나 줌 렌즈 등으로 구성된다.

전원 레버(8)는 디지털 카메라(1) 전원의 온/오프를 스위칭하기 위한 레버이며, 동시에 정지 화면 촬상 모드, 동영상 촬상 모드, 재생 모드의 각 동작 모드를 스위칭하기 위한 레버이다.

플래시 라이트(13)는 릴리스 버튼(7)이 눌러져 본체(2)의 내부에 있는 셔터가 개방되어 있는 동안에 촬상에 필요한 광을 피사체에 대하여 순간적으로 발광하기 위한 것이다. 플래시 라이트(13)는 크세논관으로 구성되어 있지만 크세논관 이외의 플래시 라이트이어도 좋다.

AF 보조광 램프/셀프 타이머 램프(5)는 셀프 타이머에 의해 촬상할 때에 셔터의 개폐 타이밍 즉 노광의 시작 및 종료를 피사체에 알리기 위한 것이며, 또한 AF용으로 발광하는 보조 램프도 겸하고 있다.

미디어 슬롯(22)은 메모리 카드 등의 외부 기록 미디어(70)가 충전되기 위한 충전구이며 외부 기록 미디어가 충전되면 데이터의 판독/기록이 행하여진다.

도 3에 디지털 카메라(1)의 기능 구성을 나타내는 블록도를 나타낸다. 도 3에 나타내는 바와 같이, 디지털 카메라(1)의 조작계로서 전술한 동작 모드 다이 얼(11), 메뉴/OK 버튼(17), 줌 버튼(18), 십자 버튼(16), 표시/ 백 버튼(20), 릴리스 버튼(7), 전원 레버(8)와 포토 모드 버튼(22), 이들 스위치, 버튼, 레버류의 조작 내용을 CPU(75)에 전해주기 위한 인터페이스인 조작계 제어부(74)가 설치되어 있다.

또한, 촬상 렌즈(3)를 구성하는 것으로서 포커스 렌즈(3a) 및 줌 렌즈(3b)가 설치되어 있다. 이들 각 렌즈는 모터와 모터 드라이버로 이루어지는 포커스 렌즈 구동부(51), 줌 렌즈 구동부(52)에 의해 스텝 구동되어 광축방향으로 이동가능한 구성으로 되어 있다.

포커스 렌즈 구동부(51)는 AF 처리부(62)로부터 출력되는 포커스 구동량 데이터에 의거하여 포커스 렌즈(3a)를 스텝 구동한다. 줌 렌즈 구동부(52)는 줌 버튼(18)의 조작량 데이터에 의거하여 줌 렌즈(3b)의 스텝 구동을 제어한다.

아이리스(54)는 모터와 모터 드라이버로 이루어지는 아이리스 구동부(55)에 의해 구동된다. 이 아이리스 구동부(55)는 AE 처리부(63)로부터 출력되는 아이리스 값 데이터에 의거하여 아이리스(54)의 아이리스 지름의 조정을 행한다.

셔터(56)는 메커니컬 셔터이며 모터와 모터 드라이버로 이루어지는 셔터 구동부(57)에 의해 구동된다. 셔터 구동부(57)는 릴리스 버튼(7)의 누름 신호와 AE 처리부(63)로부터 출력되는 셔터 속도 데이터에 따라 셔터(56) 개폐의 제어를 행한다.

상기 광학계의 후방에는 촬상 소자인 CCD(58)(촬상 수단)를 갖고 있다. CCD(58)는 다수의 수광 소자가 매트릭스상으로 배치되어 이루어지는 광전면을 갖고 있으며 광학계를 통과한 피사체상이 광전면에 결상되어 광전 변환된다. 광전면의 전방에는 각 화소에 광을 집광시키기 위한 마이크로렌즈 어레이(도면에 나타내지 않음)와 RGB 각 색의 필터가 규칙적으로 배열되어 이루어지는 컬러 필터 어레이(도면에 나타내지 않음)가 배치되어 있다.

CCD(58)는 CCD 제어부(59)로부터 공급되는 수직 전송 클록 신호 및 수평 전송 클록 신호에 동기되어 화소마다 축적된 전하를 1라인씩 판독하여 화상 신호로서 출력한다. 각 화소에 있어서의 전하의 축적 시간(즉 노출 시간)은 CCD 제어부(59)로부터 주어지는 전자 셔터 구동 신호에 의해 결정된다.

CCD(58)가 출력하는 화상 신호는 아날로그 신호 처리부(60)에 입력된다. 이 아날로그 신호 처리부(60)는 화상 신호의 노이즈 제거를 행하는 상관 2중 샘플링 회로(CDS)와, 화상 신호의 게인 조정을 행하는 자동 게인 컨트롤러(AGC)와, 화상 신호를 디지털 화상 데이터로 변환하는 A/D 컨버터(ADC)로 이루어진다. 그리고 디지털 화상 데이터는 화소마다 RGB의 농도값을 갖는 CCD-RAW 데이터이다.

타이밍 생성부(72)는 타이밍 신호를 발생시키는 것이며, 이 타이밍 신호가 셔터 구동부(57), CCD 제어부(59), 아날로그 신호 처리부(60)에 입력되어 릴리스 버튼(7)의 조작, 셔터(56)의 개폐, CCD(58)의 전하 입력, 아날로그 신호 처리부(60)의 처리 동기가 취해진다.

플래시 제어부(73)는 플래시 라이트(13)의 발광 동작을 제어한다.

화상 입력 컨트롤러(61)는 상기 아날로그 신호 처리부(60)로부터 입력된 CCD-RAW 데이터를 프레임 메모리(68)에 기록한다. 이 프레임 메모리(68)는 화상 데 이터 또는 스루 화상 데이터에 대하여 후술의 각종 디지털 화상 처리를 행할 때에 사용하는 작업용 메모리이며, 예를 들면 일정 주기의 버스 클록 신호에 동기화해 데이터 전송을 실시하는 SDRAM(Synchr온ous Dynamic Random Access Memory)으로 구성되어 있다.

표시 제어부(71)는 프레임 메모리(68)에 겹납된 화상 데이터를 스루 화상 데이터로서 모니터(14)에 표시하기 위한 것이며, 예를 들면 휘도(Y) 신호와 색(C) 신호를 통합해서 1개의 신호로 한 합성 신호로 변환하여 모니터(14)에 출력한다. 스루 화상 데이터는 촬상 모드가 선택되어 있는 동안, 소정 시간 간격으로 취득되어 모니터(14)에 표시된다. 또한, 표시 제어부(71)는 외부 기록 미디어에 기억되어 미디어 제어부(69)에 의해 판독된 화상 파일에 포함되는 화상 데이터에 근거한 화상을 모니터(14)에 표시한다.

또한, 얼굴 검출부(66)는 스루 화상 데이터 또는 화상 데이터로부터 인물의 얼굴을 검출하는 것이다.

예를 들면, 일본 특허 공개 2006-202276호 공보(이하, 참고 문헌 1이라고 함)의 방법을 본 발명의 촬상 장치에 사용할 수 있다. 참고 문헌 1의 방법에서 얼굴의 추적은 움직임 벡터, 특징점 검출 등의 공지 방법이나 학습 데이터에 대하여 리샘플링시에 웨이트를 순차적으로 갱신하여 가고, 만들어진 기계를 최후에 학습 기계에 대한 웨이트를 부여하여 통합해서 서로 더하여 통합 학습 기계를 만드는 방법인 아다부스트(Adaboost)에 근거한 머신 러닝 방법을 이용하는 것이 고려된다. 예를 들면 평균 프레임 모델을 실제의 얼굴 화상에 끼워 넣고, 평균 프레임 모델 상의 각 랜드마크의 위치를 얼굴로부터 검출된 서로 대응하는 랜드마크의 위치에 합치하도록 이동시킴으로써 평균 프레임 모델을 변형시켜 얼굴의 프레임 모델을 구축함에 있어서 머신 러닝 방법에 의해 소정의 랜드마크인 것으로 알려져 있는 복수개의 샘플 화상 상의 점에 있어서의 휘도 프로파일과, 상기 랜드마크가 아닌 것으로 알려져 있는 복수개의 샘플 화상 상의 점에 있어서의 휘도 프로파일에 대하여 학습을 실시해 얻은 식별기 및 각 식별기에 대한 식별 조건을 이용하여 얼굴 화상으로부터 해당 랜드마크를 나타내는 점의 위치를 검출하는 방법이다.

또한, 일본 특허 공개 2004-334836호 공보(이하, 참고 문헌 2라고 함)의 방법을 본 발명의 촬상 장치에 사용하는 것도 가능하다. 참고 문헌 2의 방법은 화상 데이터로부터 일정한 크기의 화상 데이터를 잘라내고, 각 잘라낸 화상 데이터와 특징 부분 화상 데이터의 대조 데이터를 비교해서 상기 처리 대상 화상 중에 상기특징 부분 화상이 존재하는지의 여부를 검출하는 화상 데이터의 특징 부분 추출 방법을 사용하는 방법이다. 또한, 일본 특허 공개 2007-11970호 공보(이하, 참고 문헌 3이라고 함)의 방법을 본 발명의 촬상 장치에 적용하여 스루 화상 데이터 중 인물의 얼굴 영역 이외에 동물의 얼굴 등을 특정 피사체로서 검출해도 좋다. 또한, 얼굴에 포함되는 얼굴의 특징을 갖는 영역(예를 들면, 피부색을 갖는, 눈을 갖는, 얼굴 형상을 갖는 등)을 얼굴 영역으로서 검출하는 것도 가능하게 한다.

상술한 얼굴을 검출하는 방법은 정면 얼굴 검출뿐만 아니라, 상기 방법에 의해 측면 얼굴 및 후두부의 검출도 가능하다.

AF 처리부(62)는 얼굴 검출부(66)에 의해 인식된 얼굴을 테두리 표시부(78) 에 의해 표시된 추적 범위 내에 대하여 초점 위치를 검출하여 포커스 렌즈 구동량 데이터를 출력한다. 본 실시형태에 있어서, 초점 위치의 검출 방법으로서는, 예를 들면 포커스가 맞은 상태에서는 화상의 합초(合焦) 평가값(대조값)이 높게 된다는 특징을 이용하여 합초 위치를 검출하는 패시브 방식이 적용된다. 또한, 도면에 나타나 있지 않은 측거 센서에 의한 측거 결과를 사용하는 액티브 방식을 적용해도 좋다.

AE 처리부(63)는 테두리 표시부(78)에 의해 표시된 추적 테두리(도 13의 F1참조) 내에 대하여 피사체 휘도를 측정하고, 측정한 피사체 휘도에 의거하여 아이리스 값이나 셔터 속도 등을 결정하고, 아이리스 값 데이터나 셔터 속도 데이터를 출력한다.

화상 처리부(67)는 화상 데이터에 대하여 감마 보정, 선예도 보정, 대조 보정, 색보정 등의 화질 보정 처리를 실시함과 아울러, CCD-RAW 데이터를 휘도 신호인 Y 데이터와, 청색 색차 신호인 Cb 데이터 및 적색 색차 신호인 Cr 데이터로 이루어지는 YC 데이터로 변환하는 YC 처리를 행한다.

이 화상 데이터는 릴리스 버튼(7)이 완전 눌러짐으로써 CCD(58)로부터 화상 신호가 출력되어 아날로그 신호 처리부(60), 화상 입력 컨트롤러(61) 경유로 프레임 메모리(68)에 겹납된 화상 데이터에 근거한 화상이다.

화상 데이터의 화소수의 상한은 CCD(58)의 화소수에 의해 결정되지만, 예를 들면 사용자가 설정가능한 화질 설정(파인, 노멀 등의 설정)에 의해 기록 화소수를 변경할 수 있다. 한편, 스루 화상 데이터의 화소수는 화상 데이터보다 적어도 되 고, 예를 들면 화상 데이터 데이터의 1/16 정도의 화소수로 받아들여도 좋다.

압축/신장 처리부(65)는 화상 처리부(67)에 의해 화질 보정 등의 처리가 행해진 화상 데이터에 대하여, 예를 들면 JPEG 등의 압축 형식으로 압축 처리를 하여 화상 파일을 생성한다. 이 화상 파일에는 각종 데이터 형식에 의거하여 부대 정보가 부가된다. 또한, 이 압축/신장 처리부(65)는 재생 모드에 있어서는 외부 기록 미디어(70)로부터 압축된 화상 파일을 판독하고, 신장 처리를 행한다. 신장 후의 화상 데이터는 표시 제어부(71)에 출력되고, 표시 제어부(71)는 화상 데이터에 근거한 화상을 모니터(14)에 표시한다.

미디어 제어부(69)는 도 2에 있어서의 미디어 슬롯(22)에 해당하고, 외부 기록 미디어(70)에 기억된 화상 파일 등의 판독, 또는 화상 파일의 기록을 행한다. CPU(75)는 각종 버튼, 레버, 스위치의 조작이나 각 기능 블록으로부터의 신호에 따라 디지털 카메라(1)의 본체 각부를 제어한다. 또한, CPU(75)는 도면에 나타나 있지 않은 내부 메모리에 화상 파일을 기록하는 기록 수단으로서도 기능한다.

또한, 데이터 버스(76)는 화상 입력 컨트롤러(61), 각종 처리부(62 ∼ 69, 78, 100 ∼ 102) 및 CPU(75)에 접속되어 있고, 이 데이터 버스(76)를 통해서 각종 신호, 데이터의 송수신이 행해진다.

또한, 도 4에 디지털 카메라(1)의 얼굴 검출부(66) 내의 구성 실시형태를 나타내는 블록도를 나타낸다. 얼굴 검출부(66a)는 상술한 방법(참고 문헌 1 ∼ 3 등 참조)에 의해 스루 화상 데이터 또는 화상 데이터로부터 인물의 얼굴을 검출하는 것이다.

얼굴 정보 생성부(66b)는 얼굴 검출부(66a)에 의해 검출된 얼굴을 포함하는 화상 데이터 부분으로부터 얼굴 정보(X)를 생성하는 것이다. 또한, 얼굴 정보(X)는 화상 데이터 부분에만 한정되지 않고 얼굴의 방향 각도(예를 들면, 얼굴의 횡향 각도) 및 얼굴의 사이즈 등의 얼굴에 관한 부속 정보에 관해서도 포함되는 것이다.

또한, 후술하는 참고 얼굴 정보에 있어서도 화상 데이터 부분에만 한정되지 않고 얼굴의 방향 각도(예를 들면, 얼굴의 횡향 각도) 및 얼굴의 사이즈 등의 얼굴에 관한 부속 정보에 관해서도 포함되는 것이다.

또한, 얼굴의 횡향 각도는 촬상시에 있어서의 카메라에 대한 인물의 얼굴의 방향을 나타내고, 구체적으로는 얼굴 검출부(66a)에 의해 검출된 얼굴의 부품(예를 들면, 랜드마크나 랜드마크의 집합군 등)의 사이즈, 상대 위치에 의거하여 산출된다. 예를 들면 검출된 좌측 눈과 우측 눈의 가로 방향의 길이를 비교하여 좌측 눈의 가로 방향의 길이가 우측 눈의 가로 방향의 길이보다 길 경우 촬상시에 인물이 우측 방향을 향하고 있었던 것으로 판단할 수 있다.

참고 얼굴 정보 생성부(66c)는 얼굴 정보 생성부(66b)에 의해 생성된 얼굴 정보(X)를 이용하여 참고 얼굴 정보(Y)를 생성하는 것이다. 예를 들면 얼굴 사이즈를 동일하게 하여 횡향 각도의 정부(正負)를 역전한 것을 참고 얼굴 정보(Y)로서 생성해도 좋다.

얼굴 정보 비교부(66d)는 얼굴 정보(X)와 참고 얼굴 정보(Y)를 비교하여 서로의 상관 관계(상관성)를 나타내는 값인 상관값에 대해서 산출하여 비교를 행하는 것이다. 비교 결과, 상관값이 높으면 원하는 얼굴의 상태인 것으로 판단하는 것이 다.

촬상 제어부(101)는 얼굴 정보 비교부(66d)에 의해 비교된 상관값이 높을 때에 새로운 얼굴을 포함하는 화상 데이터를 촬상(취득)하도록 촬상 수단을 제어하는 것이다.

이어서, 이상의 구성의 디지털 카메라(1)에 있어서 행해지는 제 1 실시형태에 있어서의 처리에 관하여 설명한다. 도 5는 디지털 카메라(1)의 일련의 처리 플로우차트이다. 우선, 도 5에 나타내는 바와 같이, 제 1 촬상이 개시되면(스텝 ST1), 우선 얼굴 검출부(66a)가 화상 입력 컨트롤러(61)로부터 스루 화상 데이터를 취득하고(스텝 ST2), 스루 화상 데이터에 대하여 얼굴 검출을 행한다(스텝 ST3). 얼굴 검출부(66a)에 의해 얼굴이 검출되지 않을 경우(스텝 ST4;아니오), 얼굴 검출부(66a)는 얼굴 검출을 반복해 실시한다.

한편, 얼굴 검출부(66a)에 의해 얼굴이 검출되었을 경우(스텝 ST4;예), 표시 제어부(71)는 모니터(14) 상에 검출된 얼굴에 테두리 등을 중첩 표시한다(도 13의 F1 참조). 사용자에 의해 릴리스 버튼(7)이 눌려지면 촬상이 개시된다(스텝 ST5).

얼굴 정보 생성부(66b)는 촬상됨으로써 취득된 제 1 화상 데이터로부터 얼굴 정보(X)를 생성하여 외부 기록 미디어(70)에 기록한다(스텝 ST6). 또한, 제 1 화상 데이터도 마찬가지로 외부 기록 미디어(70)에 기록한다. 참고 얼굴 정보 생성부(66c)는 기록된 제 1 얼굴 정보(X)로부터 제 1 참고 얼굴 정보(Y)를 생성한다(스텝 ST7).

예를 들면, 도 6에 나타내는 바와 같이 제 1 얼굴 정보(X)를 좌향의 얼굴이 라고 했을 경우(도 6(a) 참조), 유사 삼차원 화상 데이터를 생성하기 위해서는 얼굴 좌측면의 정보가 결손된다. 따라서, 제 2 촬상에서는 우향의 얼굴을 포함하는 화상 데이터를 취득하는 것이 바람직하다(도 6(b) 참조). 그래서, 참고 얼굴 정보 생성부(66c)는 제 1 얼굴 정보(X)로부터 얼굴 검출부(66a)에 의해 검출된 얼굴의 부품(예를 들면, 랜드마크나 랜드마크의 집합군 등)의 사이즈, 상대 위치에 근거하여 참고 얼굴 정보(Y)를 생성한다. 예를 들면, 얼굴 사이즈를 동일하게 하고, 횡향 각도의 정부를 역전한 것을 설정하도록 우향의 얼굴을 포함하는 화상 데이터인 참고 얼굴 정보(Y)를 생성한다. 이후의 설명에 있어서, 상기 각도는 얼굴의 정면 방향을 0도, 좌향을 플러스, 우향을 마이너스라고 한다. 생성된 얼굴 정보(X) 및 참고 얼굴 정보(Y)는 외부 기록 미디어(70)에 기록된다. 생성된 얼굴 정보(X) 및 참고 얼굴 정보(Y)는 프레임 메모리(68)에 기록되어도 좋다.

계속해서, 제 2 촬상이 개시된다(스텝 ST8). 우선 얼굴 검출부(66a)는 스루 화상 데이터를 취득 후(스텝 ST9), 화상 입력 컨트롤러(61)에 의해 취득된 스루 화상 데이터에 대하여 얼굴 검출을 행한다(스텝 ST10). 얼굴 검출부(66a)에 의해 새롭게 얼굴이 검출되지 않을 경우(스텝 ST11;아니오), 얼굴 검출부(66a)는 얼굴 검출을 반복해 실시한다.

한편, 얼굴 검출부(66a)에 의해 새롭게 얼굴이 검출되었을 경우(스텝 ST11;예), 얼굴 정보 생성부(66b)는 검출된 새로운 얼굴을 포함하는 화상 데이터 부분으로부터 얼굴 정보(X')를 생성하여 외부 기록 미디어(70)에 기록한다. 얼굴 정보 비교부(66d)는 얼굴 정보 생성부(66b)에 의해 새롭게 생성된 제 2 얼굴 정보(X')와 참고 얼굴 정보 생성부(66c)에 의해 생성된 참고 얼굴 정보(Y)의 상관값을 산출해 비교한다. 비교 결과, 상관값이 높고 검출된 얼굴이 원하는 상태라고 판단했을 경우(스텝 ST12;예), 촬상 제어부(101)는 촬상을 가능이라고 판단하고 자동적으로 촬상되도록 제어한다. 촬상되기 전에 얼굴 검출부(66a)에 의해 상기 새로운 얼굴을 재차 검출한다(스텝 ST13). 촬상을 행하고 제 2 화상 데이터 및 재차 검출된 얼굴을 포함하는 제 2 화상 데이터로부터 재생성되는 제 2 얼굴 정보(X')를 외부 기록 미디어(70)에 기록한다(스텝 ST14). 한편, 상관값이 낮기 때문에 검출된 얼굴이 원하는 상태가 아니라고 판단한 경우에는(스텝 ST11;아니오) 얼굴 검출을 다시 한다.

여기서 말하는 상관값은, 예를 들면 얼굴의 사이즈를 예로 하면 제 2 얼굴 정보(X')와 참고 얼굴 정보(Y)에 있어서의 얼굴 사이즈의 차이며, 제 2 얼굴 정보(X')의 얼굴 사이즈가 참고 얼굴 정보(Y)에 비해서 같은 정도의 경우에 상관값이 높다고 할 수 있다. 상관값이 높다고 판단하기 위해서는, 예를 들면 얼굴의 사이즈 차에 대한 역치를 설정하여 얼굴 사이즈 차가 역치 이하이면 상관값이 높다고 판단해도 좋다. 얼굴의 횡향 각도에 관해서도 마찬가지로 역치를 설정하고 상관값을 산출해도 좋다.

또한, 상관값은 일본 특허 공개 평7-37034호 공보(이하, 참고 문헌 4라고 함)의 방법에 의해 산출되는 상호 상관값을 사용하는 것도 가능하다.

유사 삼차원 화상 생성부(100)는 기록된 제 1 얼굴 정보(X)와 제 2 얼굴 정보(X')로부터 유사 삼차원 화상 데이터를 생성한다(스텝 ST15). 생성된 유사 삼차원 화상 데이터를 외부 기록 미디어(70)에 기록한다(스텝 ST16).

또한, 유사 삼차원 화상 생성부(100)는 기록된 제 1 화상 데이터와 제 2 화상 데이터로부터 유사 삼차원 화상 데이터를 생성한다. 생성된 유사 삼차원 화상 데이터를 외부 기록 미디어(70)에 기록해도 좋다. 그 경우에 있어서, 상기 제 1 화상 데이터는 화상 데이터 전체여도 좋고, 얼굴 검출부(66a)에 의해 검출된 얼굴의 영역 부분을 추출한 화상 데이터 부분(예를 들면, 제 1 얼굴 정보(X))이어도 좋다. 또한, 상기 제 2 화상 데이터는 화상 데이터 전체여도 좋고, 얼굴 검출부(66a)에 의해 검출된 새로운 얼굴의 영역 부분을 추출한 화상 데이터 부분[예를 들면, 제 2 얼굴 정보(X')]이어도 좋다.

유사 삼차원 화상 데이터의 생성 방법은 주지의 기술을 적용해도 좋다. 예를 들면 일본 특허 공개 2003-248842호 공보(이하, 참고 문헌 5라고 함)의 방법을 본 발명의 촬상 장치에 사용하는 것도 가능하다. 우선, 피사체의 두부를 정면과 측면의 방향으로부터 촬상한 촬상 정보로부터 개인 특정에 필요한 얼굴의 특징점을 추출하고, 상기 얼굴의 특징점에 근거하여 두부 골격, 코, 입, 눈썹, 눈과 각 얼굴의 부품의 삼차원 구조를 복원해 이들의 각 얼굴 부품을 일체화하여 얼굴의 삼차원 형상을 복원하는 것이다.

이렇게 제 1 얼굴 정보(X)로부터 참고 얼굴 정보(Y)를 생성하고, 디지털 카메라(1)가 자동적으로 촬상하도록 제어하며, 유사 삼차원 화상의 생성에 있어서 부족한 데이터를 보충하여 제 2 촬상의 어시스트를 가능하게 한다.

또한, 촬상 제어부(101)는 자동적으로 촬상을 제어할 뿐만 아니라 검출된 얼굴이 원하는 상태라고 판단될 때까지는 릴리스 버튼(7)을 눌러도 촬상되지 않도록 제어하고, 검출된 얼굴이 원하는 상태라고 판단된 후에 릴리스 버튼(7)이 눌려짐으로써 촬상되도록 제어하는 것이어도 좋다.

이어서, 이상의 구성의 디지털 카메라(1)에 있어서 실시되는 제 2 실시형태에 있어서의 처리에 관하여 설명한다.

또한, 도 7에 디지털 카메라(1)의 얼굴 검출부(66) 내의 구성 실시형태를 나타내는 블록도를 나타낸다. 여기서는 상술한 제 1 실시형태에 따른 촬상 장치와 다른 구성에 대해서만 기재하는 것으로 하고, 상술한 실시형태와 같은 구성 요소에는 같은 부호를 붙여 상세한 설명을 생략한다.

상술한 제 1 실시형태에 추가해서, 제 2 실시형태에 있어서는 제 1 참고 얼굴 정보(Y) 및 제 2 참고 얼굴 정보(Y')가 외부 기록 미디어(70) 내의 외부 기록 미디어(70a) 및 외부 기록 미디어(70b)에 미리 기록되어 있다. 표 1의 D1은 미리 기록된 제 1 및 제 2 참고 얼굴 정보의 일례이다. 예를 들면 참고 얼굴 정보는 얼굴의 사이즈, 얼굴의 횡향 각도, 얼굴의 위치 등에 관한 정보로 구성된다.

[표 1]

도 8은 디지털 카메라(1)의 일련의 처리 플로우차트이다. 우선, 도 8에 나타내는 바와 같이, 제 1 촬상이 개시되면(스텝 ST20), 우선 얼굴 검출부(66a)는 화상 입력 컨트롤러(61)로부터 스루 화상 데이터를 취득하고(스텝 ST21), 스루 화상 데 이터에 대하여 얼굴 검출을 행한다(스텝 ST22). 얼굴 검출부(66a)에 의해 얼굴이 검출되지 않을 경우(스텝 ST23;아니오), 얼굴 검출부(66a)는 얼굴 검출을 반복해 실시한다.

한편, 얼굴 검출부(66a)에 의해 얼굴이 검출되었을 경우(스텝 ST23;예), 얼굴 정보 비교부(66d)로 이행된다. 얼굴 정보 비교부(66d)는 새롭게 검출된 제 1 얼굴 정보(X)와 미리 외부 기록 미디어(70a)에 기록된 제 1 참고 얼굴 정보(Y)의 상관값을 산출해 비교한다. 상관값이 높은 경우에는 상관값이 높은 것을 아이콘 또는 문자 등에 의해 모니터(14)에 나타낸다. 검출된 얼굴이 원하는 상태라고 판단했을 경우(스텝 ST24;예), 촬상 제어부(101)는 촬상을 가능이라고 판단하고 자동적으로 촬상되도록 제어한다(스텝 ST25). 얼굴 정보 생성부(66b)는 촬상된 제 1 화상 데이터로부터 얼굴 정보(X)를 생성하여 외부 기록 미디어(70)에 기록한다(스텝 ST26). 한편, 상관값이 낮기 때문에 검출된 얼굴이 원하는 상태가 아니라고 판단했을 경우(스텝 ST24;아니오), 얼굴 검출부(66a)는 얼굴 검출을 다시 한다.

계속해서, 제 2 촬상이 개시된다(스텝 ST27). 우선, 얼굴 검출부(66a)는 화상 입력 컨트롤러(61)에 의해 스루 화상 데이터를 취득하고(스텝 ST28), 스루 화상 데이터에 대하여 얼굴 검출을 행한다(스텝 ST29). 얼굴 검출부(66a)에 의해 새롭게 얼굴이 검출되지 않을 경우(스텝 ST30;아니오), 얼굴 검출부(66a)는 얼굴 검출을 반복해 실시한다.

또한 얼굴 검출부(66a)에 의해 새롭게 얼굴이 검출되었을 경우(스텝 ST30;예), 얼굴 정보 비교부(66d)는 새롭게 검출된 제 2 얼굴 정보(X')와 미리 외부 기 록 미디어(70b)에 기록된 제 2 참고 얼굴 정보(Y')의 상관값을 산출해 비교한다. 상관값이 높기 때문에 검출된 얼굴이 원하는 상태라고 판단했을 경우(스텝 ST31;예), 촬상 제어부(101)는 자동적으로 촬상을 행하도록 제어한다(스텝 ST32). 촬상된 제 2 화상 데이터 및 제 2 얼굴 정보(X')를 외부 기록 미디어(70)에 기록한다(스텝 ST33).

한편, 상관값이 낮기 때문에 검출된 얼굴이 원하는 상태가 아니라고 판단했을 경우(스텝 ST31;아니오), 얼굴 검출을 다시 한다. 또한, 상관값의 비교에 대해서 제 1 실시형태와 같아도 좋다. 유사 삼차원 화상 생성부(100)는 기록된 제 1 얼굴 정보(X)와 제 2 얼굴 정보(X')로부터 유사 삼차원 화상 데이터를 생성한다(스텝 ST34). 생성된 유사 삼차원 화상 데이터를 외부 기록 미디어(70)에 기록한다(스텝 ST35).

또한, 유사 삼차원 화상 생성부(100)는 기록된 제 1 화상 데이터와 제 2 화상 데이터로부터 유사 삼차원 화상 데이터를 생성한다. 생성된 유사 삼차원 화상 데이터를 외부 기록 미디어(70)에 기록해도 좋다. 그 경우에 있어서, 상기 제 1 화상 데이터는 화상 데이터 전체이어도 좋고, 얼굴 검출부(66a)에 의해 검출된 얼굴의 영역 부분을 추출한 화상 데이터 부분(예를 들면, 제 1 얼굴 정보(X))이어도 좋다. 또한, 상기 제 2 화상 데이터는 화상 데이터 전체이어도 좋고, 얼굴 검출부(66a)에 의해 검출된 새로운 얼굴의 영역 부분을 추출한 화상 데이터 부분[예를 들면, 제 2 얼굴 정보(X')]이어도 좋다.

이렇게 미리 기록해 둔 참고 얼굴 정보를 사용함으로써 디지털 카메라(1)가 간단하게 유사 삼차원 화상의 생성하는 것을 가능하게 한다.

또한, 촬상 제어부(101)는 자동적으로 촬상을 제어할 뿐만 아니라, 제 1 화상 데이터 및 제 2 화상 데이터의 촬상에 있어서 검출된 얼굴이 원하는 상태라고 판단될 때까지는 릴리스 버튼(7)을 눌러도 촬상되지 않도록 제어하고, 검출된 얼굴이 원하는 상태라고 판단된 후에 릴리스 버튼(7)이 눌러짐으로써 촬상되도록 제어하는 것이어도 좋다.

이어서, 이상의 구성의 디지털 카메라(1)에 있어서 행해지는 제 3 실시형태에 있어서의 처리에 관하여 설명한다.

또한, 도 9에 나타낸 바와 같이 디지털 카메라(1)의 얼굴 검출부(66) 내의 구성 실시형태를 나타내는 블록도를 나타낸다. 여기서는, 상술한 제 1 실시형태에 따른 촬상 장치 및 얼굴 검출부(66)에 있어서 설명에 필요한 구성에 대해서만 도면에 나타내는 것 및 기재하는 것으로 하고, 상술한 실시형태와 같은 구성 요소에는 같은 부호를 붙이고 상세한 설명을 생략한다.

윤곽 화상 생성부(66e)는 얼굴을 포함하는 화상 데이터로부터 얼굴의 윤곽 부분을 추출함으로써 윤곽 화상을 생성하는 것이다. 윤곽 화상을 생성함에 있어서 하이 패스 필터 처리나 밴드 패스 필터 처리를 이용하여 얼굴의 윤곽 부분을 추출하는 것을 가능하게 하는 것이다.

화상 변형 처리부(66f)는 윤곽 화상에 소정의 화상 처리(예를 들면, 회전이나 반전 등)를 실시하여 변형 마스크 화상을 생성하는 것이다.

또한, 도 10에 디지털 카메라(1)의 템플릿 선택부(102)의 구성 실시형태를 나타내는 블록도를 나타낸다.

템플릿 선택부(102)는 참고 얼굴 정보로서 이용하기 위해서 프레임 메모리(68)에 기록된 이차원 화상 데이터(이차원 템플릿 데이터, 예를 들면 복수개의 얼굴 윤곽 화상의 템플릿 등) 또는 삼차원 화상 데이터(삼차원 템플릿 데이터) 중 어느 하나를 선택하는 것이다. 또한, 프레임 메모리(68)에 기록하지 않고, 외부 기록 미디어(70)에 상기 이차원 템플릿 데이터 및 삼차원 템플릿 데이터를 기록해도 좋다.

도 11에 나타낸 바와 같이 삼차원 템플릿 데이터를 이용할 경우에 있어서의 디지털 카메라(1)의 템플릿 선택부(102)의 구성 실시형태를 나타내는 블록도를 나타낸다. 템플릿 선택부(102)는 주로 삼차원 템플릿 취득부(102a)와 이차원 윤곽 화상 생성부(102b) 등에 의해 구성된다.

삼차원 템플릿 취득부(102a)는 프레임 메모리(68)에 기록된 삼차원 템플릿 데이터, 또는 외부 기록 미디어(70)에 기록된 삼차원 템플릿 데이터를 취득하는 것이다.

이차원 윤곽 화상 생성부(102b)는 유사 삼차원 얼굴 화상을 생성하기 위해 삼차원 템플릿 데이터로부터 소정의 각도, 크기를 고려하여 이차원 공간에 사영 처리함으로써 제 1 및 제 2 참고 얼굴 정보를 생성하는 것이다.

통계 처리부(75a)는 참고 얼굴 정보가 이용된 빈도를 산출하여 통계 데이터를 산출하는 것이다.

선택 순서 설정부(75b)는 템플릿의 선택 순서를 나타내는 데이터를 갱신하는 것이다.

도 12는 디지털 카메라(1)의 일련의 처리 플로우차트이다.

템플릿 선택부(102)는 이차원 또는 삼차원의 템플릿 데이터가 프레임 메모리(68)에 기록되어 있는지의 여부를 판단하여 템플릿이 기록되어 있을 경우(스텝 ST40;예), 이차원 템플릿 데이터가 기록되어 있는지의 여부를 판단한다. 이차원 템플릿 데이터가 기록되어 있을 경우(스텝 ST41;예), 프레임 메모리(68)로부터 이차원 템플릿 데이터를 선택한다(스텝 ST45).

여기서, 템플릿 선택부(60)는 미리 프레임 메모리(68)에 기록된 이차원 템플릿 데이터로부터 적절하게 얼굴 정보 생성부(66b)에 의해 생성된 얼굴 정보에 근거하여 최적의 것을 선택한다. 또한, 템플릿의 종류가 많아짐으로써 최적의 템플릿을 선택하기 위한 탐색 시간이 길어진다는 문제가 있다. 그래서, 상기 문제를 해소하기 위해 템플릿 선택부(60) 및 CPU(75)는 이하와 같이 템플릿의 선택 후에 통계 처리 및 통계 데이터의 갱신 처리를 행한다. 도 15는 템플릿 선택부(60) 및 CPU(75)의 상기 처리를 나타내는 플로우차트이다.

CPU(75)는 선택된 이차원 템플릿 데이터를 참고 얼굴 정보로서 외부 기록 미디어(70)에 기록된 복수개의 참고 얼굴 정보(이차원 템플릿 데이터)를 판독한다(스텝 ST51). CPU(75) 내에 구성된 통계 처리부(75a)는 과거에 상기 참고 얼굴 정보가 이용된 빈도의 통계를 산출하도록 계산하고(스텝 ST52), 통계적으로 이용 빈도가 높은 참고 얼굴 정보부터 탐색을 개시하도록 통계 데이터를 갱신한다(스텝 ST53). CPU(75) 내에 구성된 선택 순서 설정부(75b)는 템플릿의 선택 순서를 변경하도록 결정했을 경우(스텝 ST54;예), 선택 순서를 갱신한다(스텝 ST55). 표 2의 D2는 통계 데이터의 갱신 상황을 나타낸다.

[표 2]

갱신 데이터는 일례로서 참고 얼굴 정보의 얼굴 사이즈, 각도를 이용하고 있다. 이 갱신 데이터에서는 템플릿 H가 가장 이용 빈도가 높으므로 선택 순위가 첫 번째인 것이 된다. 여기서는, 상기 통계 처리에 의해 탐색 순서를 변경하는 구성을 채용함으로써 탐색 시간의 단축을 가능하게 한다.

한편, 선택 순서 설정부(75b)는 템플릿의 선택 순서를 변경하지 않을 경우(스텝 ST54;아니오), 그대로 다음 처리로 이행한다(스텝 ST46).

한편, 이차원 템플릿 데이터가 없을 경우(스텝 ST41;예), 삼차원 템플릿 취득부(102a)는 프레임 메모리(68)로부터 삼차원 템플릿 데이터를 판독하고(스텝 ST42), 이차원 윤곽 화상 생성부(102b)는 삼차원 템플릿 데이터를 이차원 공간에 사영하는 처리를 행한다(스텝 ST43). 이차원 윤곽 화상 생성부(102b)는 삼차원 템플릿 데이터를 사영 처리함으로써 얻어진 이차원 템플릿 데이터를 생성한다. 윤곽 화상 생성부(66e)는 생성된 이차원 템플릿 데이터로부터 윤곽 부분을 추출함으로써 윤곽 화상을 생성한다(스텝 ST44). 도 13이 모니터(14)에 표시되는 인물 화상이라고 하면, 템플릿이 기록되어 있을 경우에 있어서 윤곽 화상 생성부(66e)에 의해 생성된 윤곽 화상(도 13(b))을 나타낸다.

한편, 템플릿이 기록되지 않을 경우(스텝 ST40;아니오), 외부 기록 미디어(70)에 미리 기록된 화상 데이터를 판독하고(스텝 ST47), 얼굴 검출부(66a)에 의해 화상 데이터로부터 얼굴 영역을 검출한다(스텝 ST48). 얼굴 정보 생성부(66b)에 의해 얼굴 정보를 생성한다. 윤곽 화상 생성부(66e)에 의해 생성된 얼굴 정보로부터 상기한 바와 같이 윤곽 부분을 추출하여 윤곽 화상을 생성한다(스텝 ST49). 화상 변형 처리부(66f)는 윤곽 화상에 회전, 반전 등의 변형 처리를 실시(스텝 ST50)함으로써 최종적인 윤곽 화상이 생성된다. 도 13이 모니터(14)에 표시되는 인물 화상이라고 하면, 템플릿이 기록되지 않고 있을 경우에 있어서 화상 변형 처리부(66f)를 거쳐 생성된 윤곽 화상(도 13(c))을 나타낸다.

상기 생성된 윤곽 화상을 참고 얼굴 정보의 일종으로서 평가해, 스텝 ST44, ST45, ST50에 의해 작성된 참고 얼굴 정보(윤곽 화상을 포함함)를 모니터(14)에 표시되는 스루 화상 데이터에 중첩 표시한다(스텝 ST46).

도 14는 템플릿이 기록되어 있었을 경우(스텝 ST40;예)의 윤곽 화상을 모니터(14)에 표시되는 스루 화상 데이터에 중첩 표시하는 예(도 14(a) 참조)와, 템플릿이 기록되지 않을 경우(스텝 ST40;예)의 윤곽 화상을 모니터(14)에 표시되는 스루 화상 데이터에 중첩 표시하는 예(도 14(b) 참조)를 나타낸다.

이상과 같은 구성에 의해, 인물 화상을 촬영할 때 사전에 촬영된 인물 화상에 의거하여 생성된 윤곽 화상이나 미리 기억된 템플릿을 스루 화상 데이터 상에 중첩 표시함으로써 유사 삼차원 화상 데이터를 생성하기 위한 최적인 이차원 화상 데이터의 촬상을 가능하게 할 수 있다.

이어서, 이상의 구성의 디지털 카메라(1)에 있어서 행해지는 제 4 실시형태에 있어서의 처리에 관하여 설명한다. 제 4 실시형태는 제 1 ~ 제 3 실시형태에 있어서 동영상을 촬상했을 때에 있어서의 촬상 처리에 관한 것이다. 상술한 제 1 ~ 제 3 실시형태에 따른 촬상 장치와 다른 구성에 대해서만 기재하는 것으로 하고, 상술한 실시형태와 같은 구성요소에는 같은 부호를 붙이고 상세한 설명을 생략한다.

또한, 도 17A, B는 디지털 카메라(1)의 CPU(75) 내의 구성 실시형태 등을 나타내는 블록도를 나타낸다.

기록 제어부(75c)는 동영상의 특정 프레임(예를 들면, 제 N 프레임 등)을 참고 화상으로서 프레임 메모리(68)에 기록할 것인지의 여부를 제어하는 것이다.

비교 단계 지시부(75d)는 기록된 복수개의 참고 얼굴 정보 중 어느 하나를 선택하도록 지시하여 검출된 얼굴 정보와 선택된 참고 얼굴 정보의 상관값을 얼굴 정보 비교부(66d)가 비교하여 산출하도록 지시하는 것이다.

이어서, 디지털 카메라(1)에 있어서 행해지는 제 4 실시형태에 있어서의 처리에 관하여 설명한다. 도 16은 디지털 카메라(1)의 일련의 처리 플로우차트이다. 우선, 도 17A, B에 나타내는 바와 같이, 제 1 동영상 촬상이 개시되면(스텝 ST60), 촬상 종료할 때까지(스텝 ST61;아니오) 촬상을 계속한다.

한편, 릴리스 버튼(7)을 누름으로써 촬상이 종료되면(스텝 ST61;예), 촬상된 동영상이 외부 기록 미디어(70)에 기록된다(스텝 ST62). CPU(75)는 기록된 동영상의 프레임 총수(X)를 카운트(스텝 ST62)한다. 또한, CPU(75)는 처리 완료 프레임을 N(N=카운트된 수)으로 설정하고, 초기화(N=0)를 행한다(스텝 ST64). 얼굴 검출부(66a)는 기록된 동영상의 제 N 프레임에 대하여 얼굴 검출을 행한다(스텝 ST65). 얼굴 검출부(66a)에 의해 얼굴이 검출되지 않을 경우(스텝 ST66;아니오), N=N+1과 같이 가산 처리를 행한다(스텝 ST69).

한편, 얼굴 검출부(66a)에 의해 얼굴이 검출되었을 경우(스텝 ST66;예), 비교 단계 지시부(75d)는 얼굴 검출부(66a)에 의해 검출된 얼굴 정보와 외부 기록 미디어(70a)에 기록된 제 1 참고 얼굴 정보의 상관값을 판단한다. 상관값이 높을 경우(스텝 ST67;예), 기록 제어부(75c)는 얼굴 정보 비교부(66d)로부터 프레임 메모리(68)에 제 N 프레임을 기록하는 기록 지시를 받고, 제 N 프레임을 제 1 참고 화상으로서 프레임 메모리(68)에 기록한다(스텝 ST71).

한편, 상관값이 소정의 값보다 낮을 경우(스텝 ST67;아니오), 비교 단계 지시부(75d)는 얼굴 정보 비교부(66d)의 비교 대상인 외부 기록 미디어(70b)에 기록된 제 1 참고 얼굴 정보로부터 제 2 참고 얼굴 정보로 전환하기 위한 전환 지시를 발한다. 비교 단계 지시부(75d)는 얼굴 검출부(66a)에 의해 검출된 얼굴 정보와 외부 기록 미디어(70b)에 기록된 제 2 참고 얼굴 정보의 상관값을 판단한다. 상관값이 높을 경우(스텝 ST68;예), 기록 제어부(75c)는 얼굴 정보 비교부(66d)로부터 프 레임 메모리(68)에 제 N 프레임을 기록하는 기록 지시를 받고, 제 N 프레임을 제 2 참고 화상으로서 프레임 메모리(68)에 기록한다(스텝 ST72).

프레임 메모리(68)에 제 1, 제 2 참고 화상이 기록되지 않을 경우(스텝 ST73;아니오), N=N+1과 같이 가산 처리를 행한다(스텝 ST69).

또한, 얼굴 정보 비교부(66d)에 의해 검출된 얼굴 정보와 외부 기록 미디어(70b)에 기록된 제 2 참고 얼굴 정보의 상관값을 비교하여 소정보다 상관값이 낮을 경우(스텝 ST68;아니오)에 있어서도 N=N+1과 같이 가산 처리를 행한다(스텝 ST69).

N이 프레임 총수(X)보다 작은 수이면(스텝 ST70;예) 얼굴 검출을 반복해 실시한다.

한편, 프레임 메모리(68)에 제 1 및 제 2 참고 화상이 기록되어 있을 경우(스텝 ST73;예), 유사 삼차원 화상 생성부(100)가 제 1 및 제 2 참고 화상으로부터 유사 삼차원 화상 데이터를 생성하고(스텝 ST74), 외부 기록 미디어(70)에 기록한다(스텝 ST75). N이 프레임 총수(X)와 동일할 경우(스텝 ST70;아니오) 및 유사 삼차원 화상 데이터를 기록했을 경우(스텝 ST75) 처리는 종료된다.

이상과 같은 구성에 의해 동영상으로부터 유사 삼차원 화상 데이터를 생성하는데에 적합한 이차원 화상 데이터의 추출을 가능하게 하는 것을 가능하게 한다.

이어서, 이상의 구성의 디지털 카메라(1)에 있어서 행해지는 제 5 실시형태에 있어서의 처리에 관하여 설명한다. 또한, 도 18에 주로 디지털 카메라(1)의 얼굴 검출부(66) 내의 구성 실시형태를 나타내는 블록도를 나타낸다. 여기서는, 상술 한 제 1 ∼ 4 실시형태에 따른 촬상 장치와 다른 구성에 대해서만 기재하는 것으로 하고, 상술한 실시형태와 같은 구성 요소에는 같은 부호를 붙이고 상세한 설명을 생략한다.

도 19는 디지털 카메라(1)의 일련의 처리 플로우차트이다. 우선 도 19에 나타내는 바와 같이, 얼굴 검출부(66a)는 화상 데이터를 판독하고 화상 데이터로부터 얼굴을 검출하여 검출된 얼굴을 포함하는 화상 데이터 부분인 제 1 인물 화상을 취득한다(스텝 ST80). 얼굴 정보 생성부(66b)는 상기 제 1 인물 화상으로부터 얼굴 정보를 생성하여 취득한다(스텝 ST81). 얼굴 정보 생성부(66b)는 취득된 얼굴 정보가 소정의 범위내(적합한 범위)의 각도인지의 여부를 판단한다. 소정의 범위 내에서 역치 각도를 A, B로 설정하고 얼굴의 횡향 각도를 Z 라고 하면, A < Z < B의 범위 내를 나타낸다. 소정의 범위 내이면(스텝 ST82;예), 얼굴 정보 생성부(66b)는 인물 화상을 좌우 반전함으로써 반전 화상을 생성하고, 반전 화상을 제 2 인물 화상이라고 한다(스텝 ST83). 유사 삼차원 화상 생성부(100)는 제 1 및 제 2 인물 화상으로부터 유사 삼차원 화상 데이터(삼차원 얼굴 화상)를 생성한다(스텝 ST84). 유사 삼차원 화상 생성부(100)는 생성된 유사 삼차원 화상 데이터(삼차원 얼굴 화상)를 외부 기록 미디어(70)에 기록한다(스텝 ST85).

이상과 같은 구성에 의해, 촬상된 화상이 한 장이어도 제 2 인물 화상과 같은 유사 이차원 화상 데이터를 생성함으로써 유사 삼차원 화상 데이터의 생성이 가능하게 된다.

또한, 본 발명에 있어서의 촬상 장치의 모니터(14)에 의해 화상 데이터를 재 생하는 것으로 설명했지만, 촬상 장치와 텔레비전 등의 표시 장치를 유선 또는 무선에 의해 접속함으로써 표시 장치에 의해 화상 데이터를 재생해도 좋다.

한편, 상기 실시형태에서는 본 발명에 있어서의 촬상 장치로서 디지털 카메라를 예로 들어 설명했지만 본 발명의 적용 범위는 이에 한정되지 않고, 예를 들면 카메라가 부착된 휴대 전화, 전자 촬상 기능을 갖춘 다른 전자기기에 대하서도 적용가능하다.

도 1은 디지털 카메라의 배면도이다.

도 2는 디지털 카메라의 전면도이다.

도 3은 디지털 카메라에 있어서의 기능 블록도이다.

도 4는 제 1 실시형태에 있어서의 참고 화상을 생성하기 위한 기능 블록도이다.

도 5는 제 1 실시형태에 있어서의 일련의 플로우차트이다.

도 6은 유사 삼차원 화상을 생성하기 위해 필요한 화상예를 나타낸 도면이다.

도 7은 제 2 실시형태에 있어서의 기능 블록도이다.

도 8은 제 2 실시형태에 있어서의 일련의 플로우차트이다.

도 9는 제 3 실시형태에 있어서의 기능 블록도이다.

도 10은 제 3 실시형태에 있어서의 템플릿을 선택하기 위한 기능 블록도이다.

도 11은 제 3 실시형태에 있어서의 삼차원 템플릿 데이터로부터 이차원 템플릿 데이터를 생성하기 위한 기능 블록도이다.

도 12는 제 3 실시형태에 있어서의 일련의 플로우차트이다.

도 13은 제 3 실시형태에 있어서의 디지털 카메라의 모니터 표시예 및 참고 화상예를 나타낸 도면이다.

도 14는 제 3 실시형태에 있어서의 디지털 카메라의 모니터 중첩 표시예를 나타낸 도면이다.

도 15는 제 3 실시형태에 있어서의 템플릿 선택의 플로우차트이다.

도 16은 제 4 실시형태에 있어서의 기능 블록도이다.

도 17A는 제 4 실시형태에 있어서의 일련의 플로우차트 A이다.

도 17B는 제 4 실시형태에 있어서의 일련의 플로우차트 B이다.

도 18은 제 5 실시형태에 있어서의 기능 블록도이다.

도 19는 제 5 실시형태에 있어서의 일련의 플로우차트이다.

Claims (12)

1. 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 촬상 수단;

   상기 스루 화상 데이터로부터 얼굴을 검출하는 얼굴 검출 수단; 및

   상기 촬상 수단에 의해 취득된 상기 얼굴을 포함하는 제 1 화상 데이터를 기록한 기록 수단을 구비해서 이루어지는 촬상 장치에 있어서:

   상기 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하는 참고 화상 생성 수단;

   상기 얼굴 검출 수단에 의해 새롭게 얼굴이 검출되었을 때에 그 새로운 얼굴을 포함하는 스루 화상 데이터와 상기 참고 화상 데이터의 상관값을 산출해 비교하는 비교 수단;

   상기 비교 수단에 의해 비교된 상관값이 소정의 값보다 높을 때에 상기 촬상 수단에 의해 상기 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득 가능하게 하는 제어 수단; 및

   상기 촬상 수단에 의해 취득된 제 2 화상 데이터와 상기 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 유사 삼차원 얼굴 화상 생성 수단을 구비하는 것을 특징으로 하는 촬상 장치.
2. 제 1 항에 있어서,

   상기 참고 화상 생성 수단은 상기 제 1 화상 데이터에 포함되는 얼굴의 사이즈 및 상기 얼굴의 횡향 각도를 산출하여 상기 얼굴의 사이즈를 동일하게 하고 또한 상기 얼굴의 횡향 각도와는 다른 각도가 되도록 상기 제 1 화상 데이터를 변환함으로써 상기 참고 화상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
3. 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 촬상 수단; 및

   상기 스루 화상 데이터로부터 얼굴을 검출하는 얼굴 검출 수단을 구비해서 이루어지는 촬상 장치에 있어서:

   유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 제 1 및 제 2 참고 화상 데이터를 미리 기록하는 기록 수단; 및

   상기 얼굴 검출 수단에 의해 검출된 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 상기 촬상 수단에 의해 취득된 상기 얼굴을 포함하는 제 1 화상 데이터와, 상기 얼굴 검출 수단에 의해 검출된 새로운 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 상기 촬상 수단에 의해 취득된 상기 새로운 얼굴을 포함하는 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 유사 삼차원 얼굴 화상 생성 수단을 구비하는 것을 특징으로 하는 촬상 장치.
4. 제 3 항에 있어서,

   상기 스루 화상 데이터를 표시하는 표시 수단을 더 구비하고,

   상기 표시 수단이 상기 얼굴 검출 수단에 의해 얼굴이 검출되었을 때에 상기 스루 화상 데이터 상에 상기 참고 화상 데이터 중 어느 하나를 중첩 표시하는 것을 특징으로 하는 촬상 장치.
5. 제 4 항에 있어서,

   상기 표시 수단에 표시되는 참고 화상 데이터를 미리 선택할 수 있는 선택 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
6. 제 3 항에 있어서,

   상기 스루 화상 데이터를 표시하는 표시 수단과,

   상기 얼굴 검출 수단에 의해 얼굴이 검출되었을 때에 그 얼굴을 포함하는 스루 화상 데이터에 대하여 윤곽 추출함으로써 윤곽 화상을 생성하는 윤곽 화상 생성 수단과,

   상기 윤곽 화상에 소정의 화상 처리를 실시하여 변형 마스크 화상을 생성하는 마스크 생성 수단을 더 구비하고:

   상기 표시 수단이 상기 스루 화상 데이터 상에 상기 변형 마스크 화상을 중첩 표시하는 것을 특징으로 하는 촬상 장치.
7. 제 3 항에 있어서,

   상기 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터의 삼차원 데이터로부터 상기 제 1 및 제 2 참고 화상 데이터를 생성하도록 변환하는 참고 화상 변환 수단을 더 구비하고;

   상기 기록 수단은 상기 참고 화상 변환 수단에 의해 변환된 제 1 및 제 2 참고 화상 데이터 및 상기 삼차원 데이터를 기록하는 것을 특징으로 하는 촬상 장치.
8. 제 7 항에 있어서,

   상기 스루 화상 데이터를 표시하는 표시 수단과,

   상기 참고 화상 변환 수단에 의해 변환된 제 1 및 제 2 참고 화상 데이터 중 어느 하나의 참고 화상 데이터에 대하여 윤곽 추출함으로써 윤곽 화상을 생성하는 윤곽 화상 생성 수단과,

   상기 윤곽 화상에 소정의 화상 처리를 실시하여 변형 마스크 화상을 생성하는 마스크 생성 수단을 더 구비하고;

   상기 표시 수단이 상기 스루 화상 데이터 상에 상기 변형 마스크 화상을 중첩 표시하는 것을 특징으로 하는 촬상 장치.
9. 피사체를 촬상함으로써 스루 화상 데이터를 취득하고,

   상기 스루 화상 데이터로부터 얼굴을 검출하고,

   상기 검출된 얼굴을 포함하는 제 1 화상 데이터를 취득한 촬상 방법에 있어 서:

   상기 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 참고 화상 데이터를 생성하고;

   새로운 얼굴이 검출되었을 때에 그 새로운 얼굴을 포함하는 스루 화상 데이터와 상기 참고 화상 데이터의 상관값을 산출해 비교하고;

   상기 비교된 상관값이 소정의 값보다 높을 때에 상기 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하여 상기 취득된 제 1 화상 데이터와 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 것을 특징으로 하는 촬상 방법.
10. 피사체를 촬상함으로써 스루 화상 데이터를 취득하고,

    상기 스루 화상 데이터로부터 얼굴을 검출하는 촬상 방법에 있어서:

    유사 삼차원 얼굴 화상을 생성하기 위해서 사용되는 제 1 및 제 2 참고 화상 데이터를 미리 기록하고;

    상기 얼굴이 검출되었을 때에 그 검출된 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 제 1 화상 데이터를 취득하고;

    상기 새로운 얼굴이 검출되었을 때에 그 새로운 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 상기 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하고;

    상기 제 1 화상 데이터와 상기 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 것을 특징으로 하는 촬상 방법.
11. 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 기능;

    상기 스루 화상 데이터로부터 얼굴을 검출하는 기능; 및

    상기 검출된 얼굴을 포함하는 제 1 화상 데이터를 기록한 기능을 컴퓨터에 실행시키기 위한 프로그램에 있어서:

    상기 기록된 제 1 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하기 위해서 사용하는 참고 화상 데이터를 생성하는 기능;

    상기 새롭게 얼굴이 검출되었을 때에 그 새로운 얼굴을 포함하는 스루 화상 데이터와 상기 참고 화상 데이터의 상관값을 산출해 비교하는 기능; 및

    상기 비교된 상관값이 소정의 값보다 높을 때에 상기 새로운 얼굴을 포함하는 제 2 화상 데이터를 취득하여 상기 기록된 제 1 화상 데이터와 상기 취득된 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 기능을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
12. 피사체를 촬상함으로써 스루 화상 데이터 및 화상 데이터를 취득하는 기능; 및

    상기 스루 화상 데이터로부터 얼굴을 검출하는 기능을 컴퓨터에 실행시키기 위한 프로그램에 있어서:

    유사 삼차원 얼굴 화상을 생성하기 위해 사용하는 제 1 및 제 2 참고 화상 데이터를 미리 기록하는 기능;

    상기 얼굴이 검출되었을 때에 그 검출된 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 1 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 상기 얼굴을 포함하는 제 1 화상 데이터를 취득하고, 상기 새롭게 얼굴이 검출되었을 때에 그 새롭게 검출된 얼굴을 포함하는 스루 화상 데이터와 상기 기록된 제 2 참고 화상 데이터의 상관값을 산출하여 그 산출된 상관값이 소정의 값보다 높을 때에 상기 얼굴을 포함하는 제 2 화상 데이터를 촬상하여 상기 제 1 화상 데이터와 상기 제 2 화상 데이터로부터 유사 삼차원 얼굴 화상을 생성하는 기능을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.

Images