KR101481830B1 - 구도 판정 장치, 구도 판정 방법 및 기록 매체 - Google Patents

Abstract

화상 촬영에 관하여, 지금까지보다도 고도의 구도 제어를 행할 수 있게 한다. 촬상 화상으로부터 우선 사람으로서의 피사체를 검출하고, 검출된 피사체가 복수인 경우, 이 복수의 피사체가 향하고 있는 방향의 관계성에 의해 최적 구도가 얻어지도록 한다. 예를 들면, 화면 내의 원점 좌표 P를 통과하는 수직선을 기준선으로 하여, 검출된 복수의 피사체가 향하고 있는 것으로서 판정된 방향과는 반대로 되는 방향의 화면 영역에 종합 피사체 무게 중심이 위치하는 구도를 최적의 것으로서 판정한다. 그리고, 판정된 구도가 얻어지도록, 카메라의 줌 제어, 운대의 팬 틸트 제어를 적절히 행한다.

팬 틸트, 운대, 디지털 스틸 카메라, 포커스 렌즈, 조리개, 줌 렌즈, A/D 컨버터, 메모리 카드

Description

구도 판정 장치, 구도 판정 방법 및 기록 매체{COMPOSITION DETERMINING APPARATUS, COMPOSITION DETERMINING METHOD, AND RECORDING MEDIUM}

본 발명은, 예를 들면 정지 화상으로서의 화상 데이터를 대상으로 하여, 그 화상 내용이 갖는 구도에 관한 처리를 행하도록 된 장치인, 구도 판정 장치와 그 방법에 관한 것이다. 또한, 이러한 장치가 실행하는 프로그램에 관한 것이다.

예를 들면, 좋은 인상을 부여할 수 있는 사진을 촬영하기 위한 테크닉적인 하나의 요소로서, 구도 설정을 들 수 있다. 여기서 말하는 구도는, 프레이밍이라고도 불리는 것으로, 예를 들면 사진으로서의 화면 내에서의 피사체의 배치를 말한다.

양호한 구도로 하기 위한 일반적, 기본적인 방법은 몇 가지 있지만, 일반적인 카메라 유저가 좋은 구도의 사진을 촬영하는 것은, 사진 촬영에 관한 충분한 지식, 기술을 갖고 있지 않는 한, 결코 간단한 것이 아니다. 이러한 것으로부터 보면, 예를 들면 양호한 구도의 사진 화상을 손쉽고 간단하게 얻을 수 있는 기술 구성이 요구되게 된다.

예를 들면 특허 문헌 1에는, 자동 추적 장치로서, 일정 시간 간격의 화상간 의 차를 검출하여, 화상간의 차의 무게 중심을 산출하고, 이 무게 중심의 이동량, 이동 방향으로부터 피사체 화상의 촬상 화면에 대한 이동량, 이동 방향을 검출하여 촬상 장치를 제어하고, 피사체 화상을 촬상 화면의 기준 영역 내에 설정하는 기술 구성이 개시되어 있다.

또한, 특허 문헌 2에는, 자동 추적 장치로서, 인물을 자동 추적하는 경우에, 인물의 얼굴이 화면 중앙으로 되도록 화면 상의 인물상 전체의 면적에 대하여 그 인물 상의 상측으로부터 20%의 면적으로 되는 위치를 화면 중앙으로 하여 추적함으로써 인물의 얼굴을 확실하게 촬영하면서 추적할 수 있게 한 기술이 개시되어 있다.

이들 기술 구성을 구도 결정의 관점으로부터 보면, 인물로서의 피사체를 자동적으로 탐색하여, 촬영 화면에서 임의의 결정된 구도로 그 피사체를 배치시키는 것이 가능하게 되어 있다.

[특허 문헌 1] 일본 특허 공개 소화 59-208983호 공보

[특허 문헌 2] 일본 특허 공개 2001-268425호 공보

예를 들면 피사체에 관한 소정의 상황, 상태 등에 대응해서는, 최적 구도도 서로 달라지는 경우가 있다고 생각된다. 그러나, 상기 특허 문헌에 의한 기술에서는, 추적한 피사체를 임의의 고정적인 구도로 배치시킬 수밖에 없다. 따라서, 피사체의 상황 등에 대응하여 구도를 변경하여 촬영하는 것은 불가능하게 된다.

그래서, 본원 발명에서는, 예를 들면 사진 등으로서의 화상에 대하여 양호한 구도가 손쉽게 얻어지도록 하기 위한 기술을 제안하는 것을 목표로 하는 것으로 한 후에, 그 때에, 피사체의 상황ㆍ상태의 변화에도 적응하여 보다 고도로 유연성이 있는 구도의 결정이 행하여지도록 하는 것을 목적으로 한다.

그래서 본 발명은 상기한 과제를 고려하여, 구도 판정 장치로서 다음과 같이 구성한다.

즉, 화상 내에서의 특정한 피사체를 검출하는 피사체 검출 수단과, 상기 피사체 검출 수단에 의해 검출되는 피사체인 검출 피사체마다, 상기 검출 피사체가 상기 화상 내에서 향하고 있는 방향을 나타내는 피사체 방향 정보를 검출하는 피사체 방향 검출 수단과, 상기 피사체 방향 정보에 기초하여 구도를 판정하는 구도 판정 수단을 구비하고, 상기 구도 판정 수단은, 상기 피사체 검출 수단에 의해 복수의 피사체가 검출되었을 때에, 상기 복수의 피사체에 대응하는 복수의 상기 피사체 방향 정보의 관계에 기초하여 구도를 판정하고, 그 판정 결과로서 얻은 구도에서 상기 화상 내에 설정된 화상 영역 분할선으로부터의 오프셋량을 피사체의 수에 따라 설정하고, 피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 나타내는 방향이 서로 다른 피사체 방향 정보의 관계에 기초하여, 적어도, 복수의 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 판정 결과로서 얻는 경우가 있도록 됨과 함께, 상기 나타내는 방향이 서로 다른 피사체 방향 정보간의 관계로서, 동일한 방향을 나타내는 최다의 피사체 방향 정보군에 대하여 전체 피사체 방향 정보의 일정 비율 이상을 차지하는 것이 존재하는 경우에는, 상기 화상 내의 모든 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 의해 분할되는 화상 내의 분할 영역 중에서, 상기 최다의 피사체 방향 정보군이 나타내는 방향과는 반대측의 분할 영역에 위치하도록 된 구도를 판정 결과로서 얻도록 되도록 구성하는 것으로 하였다.

상기 구성에서는, 화상 데이터의 화면에서 검출되는 피사체인 검출 피사체에 대하여, 그 소정 부위가 향하고 있게 되는 방향을 검출하고, 이 검출한 방향을 나타내는 피사체 방향 정보를 얻는 것이 가능하게 되어 있다.

게다가, 검출 피사체가 복수인 경우에는, 이들 복수의 검출 피사체마다 대응하는 복수의 피사체 방향 정보가 나타내는 방향의 관계에 기초하여 구도 판정을 행한다.

예를 들면, 피사체가 향하고 있게 되는 방향에 따라, 최적으로 되는 구도는 서로 달라진다는 사고를 취할 수 있지만, 본원 발명에 따르면, 복수의 피사체가 존재하는 경우의, 이들 피사체가 향하고 있는 방향의 관계성에 따라서 최적 구도가 얻어지게 된다.

피사체가 복수인 경우에는, 피사체마다 향하고 있는 방향에 대하여 어떠한 관계성이 생겨 나게 되는데, 본원 발명에 의해서는, 이러한 복수의 피사체 방향의 관계성이라고 하는, 상응하게 복잡한 조건에 대응하여 구도가 결정된다. 즉, 지금까지보다도 고도로 유연성이 있는 구도 결정을 자동적으로 행하는 것이 가능하게 되는 것이다. 이것에 의해, 본원 발명을 적용한 장치를 이용하는 유저는, 번거로운 수고를 들이는 일없이, 최적 구도의 화상을 얻는 것이 가능하게 되는 것으로서, 예를 들면 지금까지보다도 높은 편리성을 제공할 수 있게 된다.

이하, 본원 발명을 실시하기 위한 최량의 형태(이하, 실시 형태라고 함)에 대하여 설명을 행한다. 본 실시 형태로서는, 본원 발명에 기초하는 구성을, 디지털 스틸 카메라와, 이 디지털 스틸 카메라가 부착되는 운대로 이루어지는 촬상 시스템에 적용한 경우를 예로 들기로 한다.

도 1은, 본 실시 형태로서의 촬상 시스템의 외관 구성예를, 정면도에 의해 도시하고 있다.

이 도면에 도시되는 바와 같이, 본 실시 형태의 촬상 시스템은, 디지털 스틸 카메라(1)와 운대(10)로 이루어진다.

디지털 스틸 카메라(1)는, 본체 정면측의 패널에 설치되어 있는 렌즈부(3)에 의해 촬상하여 얻어지는 촬상광에 기초하여 정지 화상 데이터를 생성하고, 이것을 내부에 장전되어 있는 기억 매체에 기억시키는 것이 가능하게 되어 있다. 즉, 사진으로서 촬영한 화상을, 정지 화상 데이터로서 기억 매체에 기억 보존시키는 기능을 갖는다. 이러한 사진 촬영을 수동으로 행할 때에는, 유저는, 본체 상면부에 설치되어 있는 셔터(릴리즈) 버튼을 눌러 조작한다.

운대(10)에는, 상기 디지털 스틸 카메라(1)를 고정하도록 하여 부착할 수 있다. 즉, 운대(10)와 디지털 스틸 카메라(1)는, 상호 부착을 가능하게 하기 위한 기구 부위를 구비하고 있다.

그리고, 운대(10)에서는, 부착된 디지털 스틸 카메라(1)를, 팬 방향(수평 방향)과 틸트 방향의 양방향에 의해 움직이기 위한 팬 틸트 기구를 구비한다.

운대(10)의 팬 틸트 기구에 의해 부여되는 디지털 스틸 카메라(1)의 팬 방향, 틸트 방향 각각의 동작 방법은 예를 들면 도 2의 (a) 및 (b)에 도시되는 것으로 된다. 도 2의 (a) 및 (b)는, 운대(10)에 부착되어 있게 되는 디지털 스틸 카메라(1)를 추출하여, 각각, 평면 방향, 측면 방향으로부터 본 것이다.

우선 팬 방향에 대해서는, 디지털 스틸 카메라(1)의 본체 가로 방향과 도 2의 (a)에 도시되는 직선 X1이 동일한 방향으로 되는 위치 상태를 기준으로 하여, 예를 들면 회전축 Ct1을 회전 중심으로 하여 회전 방향+α를 따른 회전이 행하여짐으로써, 우측 방향으로의 패닝의 움직임이 부여된다. 또한, 회전 방향-α를 따른 회전이 행하여짐으로써, 좌측 방향으로의 패닝의 움직임이 부여된다.

또한, 틸트 방향에 대해서는, 디지털 스틸 카메라(1)의 본체 세로 방향이 수직 방향의 직선 Y1과 일치하는 1상태를 기준으로 하여, 예를 들면 회전축 Ct2를 회전 중심으로 하여 회전 방향+β로의 회전이 행하여짐으로써, 하측 방향으로의 패닝의 움직임이 부여된다. 또한, 회전 방향-β로의 회전이 행하여짐으로써, 상측 방향으로의 패닝의 움직임이 부여된다.

또한, 도 2의 (a) 및 (b)에 도시되는, ±α방향, 및 ±β방향의 각각에서의 최대 가동 회전 각도에 대해서는 언급하고 있지 않지만, 피사체의 포착의 기회를 가능한 한 많이 할 것을 고려하는 것이라면, 가능한 한 최대 가동 회전 각도를 크게 취하는 것이 바람직하게 된다.

도 3의 블록도는, 본 실시 형태의 디지털 스틸 카메라(1)의 내부 구성예를 도시하고 있다.

이 도면에서, 우선, 광학계부(21)는, 예를 들면 줌 렌즈, 포커스 렌즈 등도 포함하는 소정 매수의 촬상용의 렌즈군, 조리개 등을 구비하여 이루어지며, 입사된 광을 촬상광으로 하여 이미지 센서(22)의 수광면에 결상시킨다.

또한, 광학계부(21)에서는, 상기한 줌 렌즈, 포커스 렌즈, 조리개 등을 구동시키기 위한 구동 기구부도 구비되어 있는 것으로 된다. 이들 구동 기구부는, 예를 들면 제어부(27)가 실행하게 되는 줌(화면 각도) 제어, 자동 초점 조정 제어, 자동 노출 제어 등의 소위 카메라 제어에 의해 그 동작이 제어된다.

이미지 센서(22)는, 상기 광학계부(21)에서 얻어지는 촬상광을 전기 신호로 변환하는, 소위 광전 변환을 행한다. 이 때문에, 이미지 센서(22)는, 광학계부(21)로부터의 촬상광을 광전 변환 소자의 수광면에서 수광하고, 수광된 광의 강도에 따라서 축적되는 신호 전하를, 소정 타이밍에 의해 순차적으로 출력하게 된다. 이것에 의해, 촬상광에 대응한 전기 신호(촬상 신호)가 출력된다. 또한, 이미지 센서(22)로서 채용되는 광전 변환 소자(촬상 소자)로서는, 특별히 한정되는 것은 아니지만, 현 상태라면, 예를 들면 CMOS 센서나 CCD(Charge Coupled Device) 등을 들 수 있다. 또한, CMOS 센서를 채용하는 경우에는, 이미지 센서(22)에 상당하는 디바이스(부품)로서, 다음에 설명하는 A/D 컨버터(23)에 상당하는 아날로그-디지털 변환기도 포함시킨 구조로 할 수 있다.

상기 이미지 센서(22)로부터 출력되는 촬상 신호는, A/D 컨버터(23)에 입력됨으로써, 디지털 신호로 변환되고, 신호 처리부(24)에 입력된다.

신호 처리부(24)에서는, A/D 컨버터(23)로부터 출력되는 디지털의 촬상 신호에 대하여, 예를 들면 1개의 정지 화상(프레임 화상)에 상당하는 단위로 취득을 행하고, 이와 같이 하여 취득한 정지 화상 단위의 촬상 신호에 대하여 소요의 신호 처리를 실시함으로써, 1매의 정지 화상에 상당하는 화상 신호 데이터인 촬상 화상 데이터(촬상 정지 화상 데이터)를 생성할 수 있다.

상기한 바와 같이 하여 신호 처리부(24)에서 생성한 촬상 화상 데이터를 화상 정보로서 기억 매체(기억 매체 장치)인 메모리 카드(40)에 기록시키는 경우에는, 예를 들면 1개의 정지 화상에 대응하는 촬상 화상 데이터를 신호 처리부(24)로부터 인코드/디코드부(25)에 대하여 출력하게 된다.

인코드/디코드부(25)는, 신호 처리부(24)로부터 출력되어 오는 정지 화상 단위의 촬상 화상 데이터에 대하여, 소정의 정지 화상 압축 부호화 방식에 의해 압축 부호화를 실행한 후에, 예를 들면 제어부(27)의 제어에 따라서 헤더 등을 부가하여, 소정 형식으로 압축된 촬상 화상 데이터의 형식으로 변환한다. 그리고, 이와 같이 하여 생성한 촬상 화상 데이터를 미디어 컨트롤러(26)에 전송한다. 미디어 컨트롤러(26)는, 제어부(27)의 제어에 따라서, 메모리 카드(40)에 대하여, 전송되어 오는 촬상 화상 데이터를 기입하여 기록시킨다. 이 경우의 메모리 카드(40)는, 예를 들면 소정 규격에 따른 카드 형식의 외형 형상을 갖고, 내부에는, 플래시 메모리 등의 불휘발성의 반도체 기억 소자를 구비한 구성을 채용하는 기억 매체이다. 또한, 화상 데이터를 기억시키는 기억 매체에 대해서는, 상기 메모리 카드 이외의 종별, 형식 등으로 되어도 된다.

또한, 본 실시 형태로서의 신호 처리부(24)는, 앞의 설명과 같이 하여 취득되는 촬상 화상 데이터를 이용하여, 피사체 검출로서의 화상 처리를 실행하는 것도 가능하게 되어 있다. 본 실시 형태에서의 피사체 검출 처리가 어떠한 것인지에 대해서는 후술한다.

또한, 디지털 스틸 카메라(1)는 신호 처리부(24)에서 얻어지는 촬상 화상 데이터를 이용하여 표시부(33)에 의해 화상 표시를 실행시킴으로써, 현재 촬상 중인 화상인 소위 스루 화상을 표시시키는 것이 가능하게 된다. 예를 들면 신호 처리부(24)에서는, 앞의 설명과 같이 하여 A/D 컨버터(23)로부터 출력되는 촬상 신호를 취득하여 1매의 정지 화상 상당의 촬상 화상 데이터를 생성하는 것인데, 이 동작을 계속함으로써, 동화상에서의 프레임 화상에 상당하는 촬상 화상 데이터를 순차적으로 생성해 간다. 그리고, 이와 같이 하여 순차적으로 생성되는 촬상 화상 데이터를, 제어부(27)의 제어에 따라서 표시 드라이버(32)에 대하여 전송한다. 이것에 의해, 스루 화상의 표시가 행하여진다.

표시 드라이버(32)에서는, 상기한 바와 같이 하여 신호 처리부(24)로부터 입력되어 오는 촬상 화상 데이터에 기초하여 표시부(33)를 구동하기 위한 구동 신호를 생성하고, 표시부(33)에 대하여 출력해 가게 된다. 이것에 의해, 표시부(33)에서는, 정지 화상 단위의 촬상 화상 데이터에 기초하는 화상이 순차적으로 표시되어 가게 된다. 이것을 유저가 보면, 그 때에 촬상하고 있게 되는 화상이 표시부(33)에서 동화상적으로 표시되게 된다. 즉, 모니터 화상이 표시된다. 또한, 앞의 도 1에서 설명한 표시 화면부(5)가, 여기서의 표시부(33)의 화면 부분에 상당한다.

또한, 디지털 스틸 카메라(1)는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터를 재생하여, 그 화상을 표시부(33)에 대하여 표시시키는 것도 가능하게 된다.

이를 위해서는, 제어부(27)가 촬상 화상 데이터를 지정하여, 미디어 컨트롤러(26)에 대하여 메모리 카드(40)로부터의 데이터 판독을 명령한다. 이 명령에 응답하여, 미디어 컨트롤러(26)는, 지정된 촬상 화상 데이터가 기록되어 있는 메모리 카드(40) 상의 어드레스에 액세스하여 데이터 판독을 실행하고, 판독한 데이터를, 인코드/디코드부(25)에 대하여 전송한다.

인코드/디코드부(25)는, 예를 들면 제어부(27)의 제어에 따라서, 미디어 컨 트롤러(26)로부터 전송되어 온 촬상 화상 데이터로부터 압축 정지 화상 데이터로서의 실체 데이터를 취출하고, 이 압축 정지 화상 데이터에 대하여, 압축 부호화에 대한 복호 처리를 실행하여, 1개의 정지 화상에 대응하는 촬상 화상 데이터를 얻는다. 그리고, 이 촬상 화상 데이터를 표시 드라이버(32)에 대하여 전송한다. 이것에 의해, 표시부(33)에서는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터의 화상이 재생 표시되게 된다.

또한 표시부(33)에 대해서는, 상기한 모니터 화상이나 촬상 화상 데이터의 재생 화상 등과 함께, 유저 인터페이스 화상도 표시시킬 수 있다. 이 경우에는, 예를 들면 그 때의 동작 상태 등에 따라서 제어부(27)가 필요한 유저 인터페이스 화상으로서의 표시용 화상 데이터를 생성하고, 이것을 표시 드라이버(32)에 대하여 출력하게 된다. 이것에 의해, 표시부(33)에서 유저 인터페이스 화상이 표시되게 된다. 또한, 이 유저 인터페이스 화상은, 예를 들면 특정한 메뉴 화면 등과 같이 모니터 화상이나 촬상 화상 데이터의 재생 화상과는 개별로 표시부(33)의 표시 화면에 표시시키는 것도 가능하고, 모니터 화상이나 촬상 화상 데이터의 재생 화상 상의 일부에서 중첩ㆍ합성되도록 하여 표시시키는 것도 가능하다.

제어부(27)는, 예를 들면 실제에서는 CPU(Central Processing Unit)를 구비하여 이루어지는 것으로서, ROM(28), RAM(29) 등과 함께 마이크로컴퓨터를 구성한다. ROM(28)에는, 예를 들면 제어부(27)로서의 CPU가 실행할 프로그램 외에, 디지털 스틸 카메라(1)의 동작에 관련된 각종 설정 정보 등이 기억된다. RAM(29)은, CPU를 위한 주기억 장치로 된다.

또한, 이 경우의 플래시 메모리(30)는, 예를 들면 유저 조작이나 동작 이력 등에 따라서 변경(재기입)의 필요성이 있는 각종 설정 정보 등을 기억시켜 두기 위하여 사용하는 불휘발성의 기억 영역으로서 형성되는 것이다. 또한 ROM(28)에 대하여, 예를 들면 플래시 메모리 등을 비롯한 불휘발성 메모리를 채용하는 것으로 한 경우에는, 플래시 메모리(30) 대신에, 이 ROM(28)에서의 일부 기억 영역을 사용하는 것으로 하여도 된다.

조작부(31)는, 디지털 스틸 카메라(1)에 구비되는 각종 조작자와, 이들 조작자에 대하여 행하여진 조작에 따른 조작 정보 신호를 생성하여 CPU에 출력하는 조작 정보 신호 출력 부위를 일괄하여 도시하고 있다. 제어부(27)는, 조작부(31)로부터 입력되는 조작 정보 신호에 따라서 소정의 처리를 실행한다. 이것에 의해 유저 조작에 따른 디지털 스틸 카메라(1)의 동작이 실행되게 된다.

운대 대응 통신부(34)는, 운대(10) 측과 디지털 스틸 카메라(1) 측 사이에서의 소정의 통신 방식에 따른 통신을 실행하는 부위로서, 예를 들면 디지털 스틸 카메라(1)가 운대(10)에 대하여 부착된 상태에서, 운대(10) 측의 통신부와의 사이에서의 유선 혹은 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이것보다 상위로 되는 소정층에 대응하는 통신 처리를 실현하기 위한 구성을 갖고 이루어진다.

도 4는, 운대(10)의 구성예를 블록도에 의해 도시하고 있다.

앞서 설명한 바와 같이, 운대(10)는, 팬 틸트 기구를 구비하는 것이고, 이것에 대응하는 부위로서, 팬 기구부(53), 팬용 모터(54), 틸트 기구부(56), 틸트용 모터(57)를 구비한다.

팬 기구부(53)는, 운대(10)에 부착된 디지털 스틸 카메라(1)에 대하여, 도 2의 (a)에 도시한 팬(가로) 방향의 움직임을 부여하기 위한 기구를 갖고 구성되며, 이 기구의 움직임은, 팬용 모터(54)가 정역 방향으로 회전함으로써 얻어진다. 마찬가지로 하여, 틸트 기구부(56)는, 운대(10)에 부착된 디지털 스틸 카메라(1)에 대하여, 도 2의 (b)에 도시한 틸트(세로) 방향의 움직임을 부여하기 위한 기구를 갖고 구성되며, 이 기구의 움직임은, 틸트용 모터(57)가 정역 방향으로 회전함으로써 얻어진다.

제어부(51)는, 예를 들면 CPU, ROM, RAM 등이 조합되어 형성되는 마이크로컴퓨터를 갖고 이루어지며, 상기 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤한다. 예를 들면 제어부(51)가 팬 기구부(53)의 움직임을 제어할 때에는, 팬 기구부(53)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 팬용 구동부(55)에 대하여 출력한다. 팬용 구동부(55)는, 입력되는 제어 신호에 대응한 모터 구동 신호를 생성하여 팬용 모터(54)에 출력한다. 이 모터 구동 신호에 의해 팬용 모터(54)가, 예를 들면 소요의 회전 방향 및 회전 각도로 회전하고, 이 결과, 팬 기구부(53)도, 이것에 대응한 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.

마찬가지로 하여, 틸트 기구부(56)의 움직임을 제어할 때에는, 제어부(51)는, 틸트 기구부(56)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 틸트용 구동부(58)에 대하여 출력한다. 틸트용 구동부(58)는, 입력되는 제어 신호에 대응한 모터 구동 신호를 생성하여 틸트용 모터(57)에 출력한다. 이 모터 구동 신호에 의해 틸트용 모터(57)가, 예를 들면 소요의 회전 방향 및 회전 각도로 회전하고, 이 결과, 틸트 기구부(56)도, 이것에 대응한 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.

통신부(52)는, 운대(10)에 부착된 디지털 스틸 카메라(1) 내의 운대 대응 통신부(34)와의 사이에서 소정의 통신 방식에 따른 통신을 실행하는 부위로서, 운대 대응 통신부(34)와 마찬가지로 하여, 상대측 통신부와 유선 혹은 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이것보다 상위로 되는 소정층에 대응하는 통신 처리를 실현하기 위한 구성을 갖고 이루어진다.

상기한 구성의 디지털 스틸 카메라(1)와 운대(10)로 이루어지는 촬상 시스템에서는, 예를 들면, 사람을 주체적인 피사체(이후는 간단히 피사체라고 함)로서 취급하는 것으로 한 후에, 이 피사체를 탐색함과 함께, 피사체의 존재가 검출된 것이라면, 이 피사체가 찍혀 있는 화상으로서 최적으로 되는 구도(최적 구도)가 얻어지도록(프레이밍이 행하여지도록) 하여 운대(10)의 팬 틸트 기구를 구동한다. 그리고, 최적 구도가 얻어진 타이밍에서, 그 때의 촬상 화상 데이터를 기억 매체(메모리 카드(40))에 기록하는 것이 행하여진다.

즉, 본 실시 형태의 촬상 시스템에서는, 디지털 스틸 카메라에 의한 사진 촬영을 행함에 있어서, 탐색된 피사체에 대하여 최적 구도를 결정(판정)하여 촬영 기록을 행한다고 하는 동작이 자동적으로 실행된다. 이것에 의해, 유저 자신이 구도를 판단하여 촬영을 행하지 않아도, 상응하게 양질의 사진의 화상을 얻는 것이 가능하게 된다. 또한, 이러한 시스템에서는, 누군가가 카메라를 들고 촬영할 필요가 없어지므로, 그 촬영이 행하여지는 장소에 있는 전원이 피사체로 될 수 있다. 또한, 피사체로 되는 유저가, 카메라의 시야각 범위에 들어 가려고 특별히 의식하지 않아도, 피사체가 들어간 사진이 얻어지게 된다. 즉, 그 촬영 장소에 있는 사람의 자연스러운 모습을 촬영하는 기회가 증가하는 것이며, 지금까지는 그다지 없었던 분위기의 사진을 많이 얻을 수 있다.

또한, 피사체가 향하고 있게 되는 방향에 따라, 최적으로 되는 구도는 서로 달라진다는 사고를 취할 수 있지만, 본 실시 형태에 따르면, 복수의 피사체가 존재하는 경우의, 이들 피사체가 향하고 있는 방향의 관계성에 따라서, 서로 다른 최적 구도가 결정되도록 하여 구성된다. 이것에 의해, 본 실시 형태에 대응하는 구성의 장치를 이용하는 유저는, 번거로운 수고를 들이는 일없이, 최적 구도의 화상을 얻는 것이 가능하게 된다.

이후에서는, 본 실시 형태에서의 구도 제어에 관한 설명을 행한다.

도 5는, 디지털 스틸 카메라(1) 측이 구비하는, 본 실시 형태의 구도 제어에 대응한 기능 부위에 대한 구성예를 도시하고 있다.

이 도면에서 피사체 검출 처리 블록(61)은, 이미지 센서(22)에서 얻어지는 촬상 신호에 기초하여 신호 처리부(24)에서 얻어지는 촬상 화상 데이터를 이용하여, 피사체의 탐색 제어를 포함하는, 피사체 검출 처리를 실행하는 부위로 된다. 여기서의 피사체 검출 처리는, 우선 촬상 화상 데이터의 화면의 화상 내용으로부터, 사람으로서의 피사체를 변별하여 검출하는 처리를 말하는 것으로서, 여기서의 검출 결과로서 얻어지는 정보(검출 정보)는, 사람으로서의 피사체의 수와, 개개의 피사체(개별 피사체)마다에 대한 화면 내에서의 위치 정보, 및 개별 피사체마다에 대한 화상 내에서의 사이즈(점유 면적) 등으로 된다. 또한, 본 실시 형태에서는, 검출 정보로서, 개별 피사체마다 얼굴 방향(피사체 방향 정보)도 얻는다. 여기서의 얼굴 방향이란, 촬상 화상 데이터의 화면 내에서, 사람으로서의 개별 피사체가 향하고 있게 되는 방향을, 얼굴이 향하고 있는 방향에 의해 나타낸 것으로 된다.

또한, 설명을 간단하고 알기 쉬운 것으로 하기 위하여, 얼굴 방향에 대해서는, 좌측, 우측의 2단계에 의한 검출 결과를 얻게 되어 있는 것을, 이후의 설명에서의 전제로 한다. 예를 들면 피사체가 거의 정면을 향하고 있다고 볼 수 있는 경우에도, 이 경우에는, 소정의 알고리즘에 따라서, 좌측이나 우측 중 어느 한 쪽의 검출 결과로 되도록 분류된다.

또한, 구도 판정의 알고리즘 등의 구성에 따라서는, 피사체의 수 및 피사체 방향 정보만이 검출 정보로서 얻어지게 되면, 본 실시 형태로서의 구도 제어는 실현 가능하다.

상기 피사체 검출 처리의 구체적 방법으로서는, 얼굴 검출의 기술을 이용할 수 있다. 이 얼굴 검출의 방식, 방법은 몇 가지가 알려져 있지만, 본 실시 형태에서는 어느 방식을 채용할 것인지에 대해서는 특별히 한정되어서는 안되며, 검출 정밀도나 설계 난이도 등을 고려하여 적절하게 되는 방식이 채용되면 된다.

또한, 얼굴 검출의 기술의 응용에서, 상기의 얼굴 방향을 검출하는 것이 가능하게 되어 있다. 예를 들면, 얼굴 검출 처리를 눈, 코 등의 특징점을 이용한 패턴 인식에 의해 행하는 것으로 하면, 검출된 얼굴 전체에서의 이들 특징점의 위치 적, 거리적인 관계에 의해 얼굴 방향을 인식하는 것이 가능하다.

또한, 사람으로서의 개별 피사체가 향하고 있게 되는 방향을 검출함에 있어서, 예를 들면 몸 부분의 방향의 검출이라든가 시선의 검출이라든가, 상기한 얼굴 검출 기술의 응용 이외로서, 유용한 방법이 있으면, 이러한 방법을 채용하는 것에 대하여 특별히 문제는 없다. 즉, 얼굴 방향 검출을 포함하여, 개별 피사체가 향하고 있게 되는 방향(피사체 방향)을 검출하는 방법, 알고리즘 등은, 지금까지 알려져 있는 것을 포함하여, 적절하게 되는 것을 선택하여 채용하는 것으로 하면 된다．

또한, 이 피사체 검출 처리 블록(61)이 실행하는 피사체 검출 처리는, 신호 처리부(24)에서의 화상 신호 처리로서 실현할 수 있다. 앞의 설명과 같이 하여 신호 처리부(24)가 DSP에 의해 구성되는 경우, 이 피사체 검출 처리는, 신호 처리부(24)로서의 DSP에 부여하는 프로그램, 인스트럭션에 의해 실현되게 된다.

또한, 피사체 탐색 제어 시에는, 운대(10)의 팬 틸트 기구를 제어하기 위하여, 통신 제어 처리 블록(63) 경유로, 상기 팬 틸트 기구를 구동하기 위한 제어 신호를 출력한다.

피사체 검출 처리 블록(61)의 피사체 검출 처리 결과인 검출 정보는, 구도 제어 처리 블록(62)에 대하여 입력된다.

구도 제어 처리 블록(62)은, 입력받은 피사체에 대한 검출 정보를 이용하여, 최적인 것으로 간주되는 구도(최적 구도)를 결정한다. 그리고, 결정한 최적 구도를 얻기 위한 제어(구도 제어)를 실행한다. 이 경우의 구도 제어로서는, 화면 각 도(본 실시 형태에서는, 예를 들면 줌 렌즈의 제어에 따라서 변경 가능한 시야각을 말함)의 변경 제어와, 팬(좌우) 방향을 따른 촬상 방향의 제어(팬 제어)와, 틸트(상하) 방향을 따른 촬상 방향의 제어(틸트 제어)로 이루어진다. 화면 각도의 변경을 위해서는, 디지털 스틸 카메라(1)의 광학계부(21)에서의 줌 렌즈를 이동하는 제어, 혹은 촬상 화상 데이터에 대한 화상 잘라내기 등의 화상 신호 처리 중 어느 한 쪽을 행한다. 또한, 팬 제어, 틸트 제어는, 운대(10)의 팬 틸트 기구를 제어하여 움직이게 함으로써 행한다. 팬 틸트 기구의 제어를 행할 때, 구도 제어 처리 블록(62)은, 팬 틸트 기구를 적당한 위치 상태로 하기 위한 제어 신호를, 통신 제어 처리 블록(63)을 경유하여, 운대(10) 측에 송신시킨다.

또한, 상기 구도 제어 처리 블록(62)이 실행하는 구도 결정과 구도 제어의 처리는, 예를 들면, 제어부(27)(CPU)가 프로그램에 기초하여 실행하도록 구성할 수 있다. 혹은, 이것에 신호 처리부(24)가 프로그램에 기초하여 실행하는 처리를 병용한 구성으로 하는 것도 생각된다. 또한, 통신 제어 처리 블록(63)은, 운대(10) 측의 통신부(52)와의 통신 처리를 소정의 프로토콜에 따라서 실행하도록 하여 구성되는 부위로서, 운대 대응 통신부(34)에 대응하는 기능 부위로 된다.

다음으로, 도 6을 참조하여, 피사체 검출 처리 블록(61)이 실행하게 되는 피사체 검출 처리의 사례를 예시한다.

여기서, 피사체 검출 처리 블록(61)이, 도 6의 (a)에 도시하는 화상 내용의 촬상 화상 데이터를 취득하게 한다. 이 촬상 화상 데이터의 화상 내용으로서는, 사람으로서의 피사체가 1개 존재한 화상을 촬영하여 얻어진 것이다. 또한, 도 6의 (a)(및 도 6의 (b))에는, 1화면을 매트릭스 형상으로 구획한 상태를 도시하고 있지만, 이것은, 촬상 화상 데이터로서의 화면이, 소정수에 의한 수평ㆍ수직 화소의 집합으로 이루어지는 것인 것을 모식적으로 도시하고 있다.

도 6의 (a)에 도시하는 화상 내용의 촬상 화상 데이터를 대상으로 피사체 검출(얼굴 검출)을 행하는 것에 의해서는, 도면에서 도시되는 1개의 개별 피사체 SBJ의 얼굴이 검출되게 된다. 즉, 얼굴 검출 처리에 의해 1개의 얼굴이 검출됨으로써, 여기서는 1개의 개별 피사체가 검출되는 것으로 하고 있다. 그리고, 이와 같이 하여 개별 피사체를 검출한 결과로서는, 앞에서도 설명한 바와 같이, 개별 피사체의 수, 방향, 위치, 사이즈의 정보를 얻게 된다.

또한, 개별 피사체수에 관해서는, 예를 들면 얼굴 검출에 의해 검출된 얼굴의 수를 구하면 된다. 도 6의 (a)의 경우에는, 검출되는 얼굴이 1개이기 때문에, 개별 피사체수로서도 1이라는 결과가 얻어진다.

또한, 개별 피사체마다의 위치 정보에 관해서는, 적어도, 촬상 화상 데이터로서의 화상 내에서의 개별 피사체 SBJ의 무게 중심 G(X, Y)를 구하는 것으로 한다. 또한, 이 경우의 무게 중심 G(X, Y)의 기준으로 되는 촬상 화상 데이터의 화면 상의 X, Y 원점 좌표 P(0, 0)는, 예를 들면 도 7에 도시하는 바와 같이 하여, 화면 사이즈에 대응한 X축 방향(수평 방향)의 폭(수평 화면 사이즈) Cx의 중간점과, Y축 방향(수직 방향)의 폭(수직 화면 사이즈) Cy의 중간점과의 교점인 것으로 하고 있다.

또한, 이 무게 중심 G에 대한 개별 피사체의 화상 내에서의 위치의 정의라든 가, 무게 중심 G를 어떻게 하여 설정하는가에 대해서는, 예를 들면 지금까지 알려져 있는 피사체 무게 중심 검출 방식을 채용할 수 있다.

또한, 개별 피사체마다의 사이즈에 대해서는, 예를 들면 얼굴 검출 처리에 의해 얼굴 부분인 것으로서 특정, 검출되는 영역의 화소수를 구하도록 하면 된다.

또한, 개별 피사체마다의 얼굴 방향에 관해서는, 앞에서도 설명한 바와 같이, 얼굴 검출 처리에 기초하여, 예를 들면 좌측, 우측 중 어느 쪽인지가 검출되게 된다.

또한, 도 6의 (b)에 도시하는 촬상 화상 데이터를 취득하여 피사체 검출 처리 블록(61)이 피사체 검출 처리를 실행한 것으로 되면, 우선은, 얼굴 검출에 의해 2개의 얼굴이 존재하는 것이 특정되게 되므로, 개별 피사체수에 대해서는 2라는 결과가 얻어지게 된다. 여기서는, 2개의 개별 피사체 중, 좌측을 개별 피사체 SBJ0, 우측을 개별 피사체 SBJ1로 하여 식별성을 갖게 하고 있다. 또한, 개별 피사체 SBJ0, SBJ1마다 구한 무게 중심의 좌표에 대해서는, 각각, G0(X0, Y0), G1(X1, Y1)로서 나타내어져 있다.

또한, 이와 같이 하여, 2 이상의 개별 피사체가 검출되는 경우에는, 이들 복수의 개별 피사체를 한 묶음의 피사체(종합 피사체)로서 본 경우의 무게 중심인, 종합 피사체 무게 중심 Gt(Xg, Yg)를 구하게 된다.

이 종합 피사체 무게 중심 Gt를 어떻게 하여 설정할 것인지에 대해서는, 몇 가지 생각할 수 있지만, 여기서는, 가장 간이한 예로서, 검출된 복수의 개별 피사체 중에서, 화면의 좌단과 우단의 양단에 위치하는 개별 피사체의 무게 중심을 연 결하는 선분 상의 중간점을 종합 피사체 무게 중심 Gt로서 설정한 경우를 도시하고 있다. 이 종합 피사체 무게 중심 Gt는, 예를 들면 후술하는 바와 같이 하여 구도 제어에서 이용할 수 있는 정보이며, 개별 피사체의 무게 중심의 정보가 취득되면 연산에 의해 구해지는 정보이다. 따라서, 종합 피사체 무게 중심 Gt에 대해서는, 피사체 검출 처리 블록(61)에 의해 구하고, 이것을 검출 정보로서 출력하는 것으로 하여도 되지만, 구도 제어 처리 블록(62)이, 검출 정보로서 취득한 개별 피사체의 무게 중심의 위치를 나타내는 정보 중으로부터, 좌우 양단에 위치하는 개별 피사체의 무게 중심에 관한 정보를 이용하여 구하도록 하여도 된다.

또한, 그 밖에는 예를 들면, 복수의 개별 피사체의 사이즈에 따라서 가중치 계수를 부여하고, 이 가중치 계수를 이용하여, 예를 들면 사이즈가 큰 개별 피사체에 종합 피사체 무게 중심 Gt의 위치가 가깝게 되도록 배려한 설정 방법도 생각할 수 있다.

또한, 개별 피사체의 사이즈에 대해서는, 예를 들면 개별 피사체 SBJ0, SBJ1마다, 그 검출된 얼굴이 점유하게 되는 화소수를 구하는 것으로 하면 된다.

계속해서는, 도 8~도 10을 참조하여, 본 실시 형태에서의 제1 예로서의 구도 제어에 의해 얻어지는 구도에 대한 설명을 행한다.

도 8에는, 피사체 탐색의 결과에 의해 피사체를 검출하였을 때의 촬상 화상 데이터로서, 1개의 개별 피사체 SBJ0이 촬상된 화상 내용이 얻어진 경우를 도시하고 있다.

또한, 본 실시 형태에서는, 디지털 스틸 카메라(1)를 부착한 운대(10)를 통 상적으로 설치한 경우에는, 가로로 긴 화상이 촬상되도록 하여 디지털 스틸 카메라(1)의 방향이 설정된다. 따라서, 제1 예나 후술하는 제2 예에서는, 촬상에 의해 가로로 긴 화상이 얻어지는 것을 전제로 한다.

상기 도 8에 도시한 바와 같이 하여 1개의 개별 피사체가 검출된 경우에는, 우선, 이 개별 피사체 SBJ0의 촬상 화상 데이터의 화면 내에서의 점유율이, 최적으로 간주되는 소정값으로 되도록 개별 피사체의 사이즈를 변경한다. 예를 들면, 개별 피사체가 검출된 단계에서, 이 개별 피사체의 화면 내에서의 점유율이 상기한 소정값보다 작은 경우, 개별 피사체의 점유율이 소정값으로까지 커지도록 화면 각도를 좁게 해 가는 줌 제어를 실행시킨다. 또한, 개별 피사체의 화면 내에서의 점유율이 소정값보다 큰 경우에는, 개별 피사체의 점유율이 소정값으로까지 작아지도록 화면 각도를 넓게 해 가는 줌 제어를 실행시킨다. 이러한 줌 제어에 의해, 구도로서 우선은, 검출된 개별 피사체피가 1개인 경우에서의 피사체 사이즈가 적정하게 되게 된다.

다음으로, 검출된 개별 피사체피가 1개인 경우에서의 화면 상에서의 피사체의 위치(피사체 위치)는, 다음과 같이 하여 조정된다.

이 피사체 위치에 대해서는, 검출된 얼굴 방향의 정보를 이용한다. 이 도 8의 경우의 개별 피사체 SBJ는, 얼굴 방향이 좌측인 것으로서 검출되어 있는 것으로 한다. 이 때, 이 도 8에 도시되는 화상 내용의 화면을 실제로 본 것으로 한 경우, 이것을 보는 사람으로부터는, 화면에서, 개별 피사체 SBJ의 얼굴이 좌측을 향하고 있는 것처럼 하여 보이게 된다. 덧붙여서 말하면, 이 개별 피사체 SBJ로서의 실제 의 인물 자신은, 현실에는, 촬상을 행한 촬상 장치와 마주 대하는 방향을 정면으로 하여, 이것보다 우측을 향하고 있게 된다.

또한, 이 피사체 위치 조정 시에는, 화상 내의 원점 좌표 P(0, 0)를 통과하는 수직선, 즉 Y축 선과 일치하는 직선으로서, 피사체 위치 조정의 기준선으로 되는 화상 영역 분할선 Ld를 가상적으로 설정한다.

그리고, 이 경우와 같이 하여 얼굴 방향이 좌측이라고 검출된 경우에는, 개별 피사체 SBJ0의 무게 중심 G를, 상기 화상 영역 분할선 Ld에 대응하는 위치(X=0)로부터, 수평 오프셋량 θx로 표현되는 우측 방향으로의 이동량에 따라서 이동시킨 위치(수평 시프트 위치)에 배치시킨다. 이를 위해서는, 무게 중심 G가, 상기 수평 시프트 위치에 오도록 하여, 운대(10)의 팬 기구를 구동시키는 제어를 실행한다.

일반적으로, 피사체를 화면의 중앙에 위치시킨 구도는, 좋지 않은 구도의 전형으로 되어 있다. 그래서, 예를 들면 3분할법이라는가 황금률법 등으로 대표되도록 하여, 화면 중앙으로부터 임의의 규칙에 따라서 피사체의 위치를 어긋나게 하는 편이, 좋은 구도가 얻어지는 것으로 된다. 본 실시 형태로서는, 이러한 구도 결정의 방법에 따라, 우선은, 화면 수평 방향에서의 개별 피사체 SBJ의 위치(무게 중심 G)에 대하여, 화면 중앙에 대하여 일정량(수평 오프셋량 θx)만큼 이동시키도록 하고 있는 것이다.

게다가, 또한, 본 실시 형태에서는, 도 8에 예시하는 바와 같이, 검출된 개별 피사체의 얼굴 방향이 좌측이면, 그 무게 중심 G의 수평 방향에서의 위치에 대하여, Y축 선을 따른 화상 영역 분할선 Ld에 의해 2분할되는 좌우의 화상 영역(분 할 영역) 중에서, 얼굴 방향이 나타내는 「좌」와는 반대측의 「우」측의 화상 영역에 있도록 시킴으로써, 화면에서는, 검출 피사체 SBJ의 얼굴이 향하고 있는 방향인 좌측에서 공간이 얻어지도록 하고 있다. 이러한 구도로 함으로써, 예를 들면, 얼굴 방향이 좌측으로 되는 개별 피사체 SBJ의 무게 중심 G를, 좌우 방향에서의 화면 중앙에 대응시킨(일치시킨) 피사체 위치로 하는 경우나, 화상 영역 분할선 Ld에 대하여 좌측 방향의 화상 영역으로 하는 경우와 비교하여, 보다 양호한 구도를 얻을 수 있다.

본 실시 형태에서의 수평 오프셋량 θx로서의 실값을 결정하는 알고리즘에 대해서는 다양하게 생각되지만, 여기서는, 3분할법에 기초하여 행하는 것으로 하고 있다. 3분할법은, 가장 기본적인 구도 설정 방법의 하나로서, 정사각형의 화면을 수직 방향과 수평 방향의 각각을 따라서 3등분하는 가상선 상에 피사체를 위치시킴으로써 양호한 구도를 얻고자 하는 것이다.

예를 들면, 도 8은, 수평 화면 사이즈 Cx를 3등분하도록 된 화면 세로 방향을 따른 2개의 가상선 중, 우측의 가상선 상에서 무게 중심 G가 위치하도록 하여, 수평 오프셋량 θx가 설정되어 있는 것이다. 이것에 의해, 개별 피사체의 얼굴 방향에 따른 수평 방향에서의 피사체 위치로서 최적으로 되는 구도 중 1개가 얻어지게 되는 것이다.

또한, 도시에 의한 설명은 생략하지만, 검출된 1개의 개별 피사체 SBJ에 대하여, 얼굴 방향에 대하여 우측인 것이 검출되어 있는 경우에는, 도 8에 도시되는 위치에 대하여, 화상 영역 분할선 Ld를 기준으로 하여 선대칭으로 되는 수평 위치 에 개별 피사체 SBJ의 무게 중심 G가 위치하게 된다. 즉, 이 경우의 수평 오프셋량 θx로서는, 도 8의 경우의 실값의 플러스/마이너스를 반전한 값이 설정되고, 이 수평 오프셋량 θx에 기초한 팬 제어가 행하여진다.

또한, 도 9의 (a)와 같이, 2개의 개별 피사체 SBJ0, SBJ1이 검출된 경우에는, 구도 제어로서, 우선, 개별 피사체 SBJ0, SBJ1의 화상 부분의 집합으로 이루어지게 되는 종합 피사체 화상 부분의 사이즈(예를 들면 화면 전체에 대한 피사체 화상 부분의 점유율로서도 파악할 수 있음)에 대하여, 예를 들면 개별 피사체수가 2인 경우에 대응하여 최적인 것으로서 설정된 값으로 되도록 하여 조정(줌 제어)을 행한다.

또한, 상기한 종합 피사체 화상 부분을 어떻게 하여 정의하여 그 사이즈를 구할 것인지에 대해서는 몇 가지 생각되지만, 예를 들면, 검출된 복수의 개별 피사체마다의 화상 부분의 사이즈를 서로 더하도록 하여 구할 수 있다. 혹은, 검출된 복수의 개별 피사체가 모두 포함되도록 하여 가상적으로 그린 선에 의해 둘러싸이는 화상 부분의 사이즈로서 구하는 것도 생각된다.

또한, 이들 2개의 개별 피사체 SBJ0, SBJ1에 대한 수평 방향에서의 피사체 위치에 관해서는, 이들 2개의 개별 피사체 SBJ0, SBJ1마다의 얼굴 방향의 정보를 이용한다.

이 도 9의 (a)에 도시되는 2개의 개별 피사체 SBJ0, SBJ1의 얼굴 방향은, 모두 좌측으로 검출되어 있는 것으로 한다. 즉, 2개 있는 개별 피사체의 모든 얼굴 방향이 동일하게 되어 있고, 이들 얼굴 방향이 이 경우에는 좌측으로 되어 있는 것 이다.

이 경우에는, 도 8에 도시한 1개의 개별 피사체 SBJ의 얼굴 방향이 좌측이었던 경우에 준하여, 화면 좌측에 공간이 생기도록, 개별 피사체 SBJ0, SBJ1로 이루어지는 종합 피사체 화상 부분을, 얼굴 방향이 나타내는 「좌측」과는 반대로 되는, 화상 영역 분할선 Ld의 우측에 치우쳐서 위치시키도록 한다. 이를 위해서는, 예를 들면 도시하고 있는 바와 같이, 우측으로 소정량 어긋나게 하기 위한 수평 오프셋량 θx를 설정한 후에, 2개의 개별 피사체 SBJ0, SBJ1로 이루어지는 종합 피사체 화상 부분의 무게 중심인, 종합 피사체 무게 중심 Gt에 대하여, 화상 영역 분할선 Ld인 원점 좌표 P(0, 0)를 통과하는 수직선(Y축 선)으로부터 수평 오프셋량 θx만큼 이동한 위치에 오도록, 팬 제어를 행하게 된다.

또한, 도시는 하고 있지 않지만, 2개의 개별 피사체 SBJ0, SBJ1의 얼굴 방향이 모두 우측으로 동일한 경우에는, 도 9의 (a)의 위치에 대하여, 화상 영역 분할선 Ld를 기준으로 하여 선대칭으로 되는 위치(Y축 선에 대하여 좌측의 화면 영역에서 동일한 수평 오프셋량 θx의 절대값만큼 이동한 위치)에 종합 피사체 무게 중심 Gt가 있도록 하여 팬 제어를 행하게 된다.

단, 이와 같이 개별 피사체가 복수인 경우에, 개별 피사체수가 1인 경우일 때에 최적으로 되는 수평 오프셋량 θx를 부여한 것으로 하면, 우측(혹은 좌측)으로 지나치게 치우쳐진 인상의 구도로 되기 쉽다. 그래서, 도 9의 (a)에 도시되는 바와 같이 개별 피사체수가 2인 경우에서는, 수평 오프셋량 θx에 대하여, 도 8에 도시한 개별 피사체수가 1인 경우보다도 작은 값(절대값)을 소정 규칙에 따라서 설 정하는 것으로 하고 있다．

또한, 도 9의 (b)에는, 2개의 개별 피사체 SBJ0, SBJ1에 대하여 검출된 얼굴 방향이, 각각 좌측, 우측으로 되어 있는 경우의 예를 도시하고 있다. 또한, 이것은, 개별 피사체수가 2인 경우에, 각각의 얼굴 방향이 동일하지 않은 경우의 일례를 도시하고 있다.

이 경우의 수평 방향에서의 종합 피사체 화상 부분의 위치에 대해서는, 도시하는 바와 같이 하여, 2개의 개별 피사체 SBJ0, SBJ1의 종합 피사체 무게 중심 Gt가, 화상 영역 분할선 Ld 상에 위치하도록 하여 조정(팬 제어)을 행한다.

이것에 의해 얻어지는 구도에서는, 2개의 개별 피사체 SBJ0, SBJ1로 이루어지는 종합 피사체 화상 부분은, 수평 방향에서 화면의 대략 중앙에 위치하게 된다. 그러나, 피사체가 복수로 되고, 또한, 이들 피사체가 동일한 방향을 향하고 있지 않은 화상인 경우, 종합 피사체 화상 부분이 중앙에 왔다고 하여도, 그 구도는 상응하게 양호한 것으로 된다．

또한, 도 10에서는, 3개의 개별 피사체 SBJ0, SBJ1, SBJ2가 검출된 경우를 도시하고 있다.

이 경우의 구도 제어로서도, 우선, 개별 피사체 SBJ0, SBJ1, SBJ2로 이루어지는 종합 피사체 화상 부분의 사이즈에 대하여, 개별 피사체수가 3인 경우에 대응하여 최적인 것으로서 설정된 값으로 되도록 하여 조정(줌 제어)을 행한다.

게다가, 종합 피사체 화상 부분의 수평 방향에서의 위치에 대해서는, 이 경우에도, 각 개별 피사체마다 검출된 얼굴 방향의 정보를 이용하게 된다. 도 10에 서는, 3개의 개별 피사체 SBJ0, SBJ1, SBJ2의 얼굴 방향이 모두 좌측에서 동일한 것으로 한다.

이 경우에는, 도 9의 (a)의 경우에 준하여, 개별 피사체 SBJ0, SBJ1로 이루어지는 화상 영역 부분을 화상 영역 분할선 Ld보다도 우측의 화상 영역에 치우쳐서 위치시키도록 하여, 수평 오프셋량 θx의 설정과, 이것에 의해 결정되는 소요 위치에의 종합 피사체 무게 중심 Gt의 이동을 위한 팬 제어를 행하게 된다. 또한, 만일 3개의 개별 피사체 SBJ0, SBJ1, SBJ2의 얼굴 방향이 모두 우측으로 동일한 경우에는, 종합 피사체 무게 중심 Gt는, 도 10의 위치에 대하여, 화상 영역 분할선 Ld를 기준으로 하여 선대칭으로 되는 수평 위치에 있도록 하여 팬 제어가 행하여지게 된다.

또한, 이 때에 설정되는 수평 오프셋량 θx는, 도 9의 (a)의 검출된 개별 피사체가 2개인 경우보다도, 작은 절대값을 설정하게 된다. 이것에 의해, 예를 들면 개별 피사체수가 3으로 되는 경우에 따라서, 수평 방향에서의 피사체 위치는 보다 최적으로 되어, 양호한 구도가 얻어지게 된다.

또한, 이 제1 예의 구도 제어에 있어서, 3개의 개별 피사체 SBJ0, SBJ1, SBJ2의 얼굴 방향이 모두 동일하지 않았던 경우에는, 도 9의 (b)에 준하여, 화상 영역 분할선 Ld(Y축 선) 상에 종합 피사체 무게 중심 Gt가 위치하는 구도가 얻어지도록 한다.

지금까지의 설명에 따르면 제1 예의 구도 제어에서의 수평 방향의 위치 조정은, 우선, 개별 피사체마다 검출되는 얼굴 방향에 대응시키고 있는 것을 알 수 있 다. 즉, 가장 기본적인 제어로서, 개별 피사체수가 1인 경우에는, 그 개별 피사체에서 검출된 얼굴 방향이 좌측, 우측 중 어느 쪽인가에 대응하여, 그 무게 중심 G(종합 피사체 무게 중심 Gt)에 대하여, 화상 영역 분할선 Ld(Y축 선)의 우측 영역, 혹은 좌측 영역에 대하여 소정량만큼 어긋나게 하여 위치시키도록(무게 중심 G의 수평 오프셋을 행하도록) 하여, 화면 내에서는 피사체가 향하고 있는 쪽에 공간이 생기도록 하고 있다.

그리고, 개별 피사체수가 복수(2 이상)인 경우에는, 개별 피사체의 얼굴 방향이 모두 동일하면, 상기한 위치 조정에 따라서, 종합 피사체 무게 중심 Gt의 수평 오프셋을 행하게 되고, 모두 동일하지 않으면, 수평 오프셋을 행하지 않고, 종합 피사체 무게 중심 Gt에는 화상 영역 분할선 Ld에 대응한 X좌표를 부여하여, 종합 피사체 화상 부분이 화면 내의 대략 중앙에 있도록 한다.

게다가, 종합 피사체 무게 중심 Gt(무게 중심 G는 개별 피사체수가 1인 경우의 종합 피사체 무게 중심 Gt라고 간주함)의 수평 오프셋을 행함에 있어서는, 도 8~도 10에 의해 설명한 바와 같이 하여, 수평 오프셋량 θx를, 개별 피사체수에 따라서 변경하는 것으로 하고 있다. 이것에 의해, 화면에서의 종합 피사체 화상 부분의 수평 방향을 따른 위치에 대하여, 개별 피사체수에 따른 최적의 위치가 얻어지도록 배려하고 있다．

도 11은, 상기 도 8~도 10에 의해 설명한 제1 예로서의 구도 제어에 대응하여, 도 5에 도시한 피사체 검출 처리 블록(61), 구도 제어 처리 블록(62), 및 통신 제어 처리 블록(63)이 실행하는 것으로 되는 수순예를 도시하고 있다. 또한, 이 도면에 도시하는 처리는, DSP로서의 신호 처리부(24), 제어부(27)에서의 CPU가 프로그램을 실행함으로써 실현되는 것으로서 볼 수 있다. 이러한 프로그램은, 예를 들면 ROM 등에 대하여 제조 시 등에 기입하여 기억시키는 것 외에, 리무버블의 기억 매체에 기억시켜 둔 후에, 이 기억 매체로부터 인스톨(업데이트도 포함)시키도록 하여 DSP 대응의 불휘발성의 기억 영역이나 플래시 메모리(30) 등에 기억시키는 것이 생각된다. 또한, USB나 IEEE1394 등의 데이터 인터페이스 경유에 의해, 다른 호스트로 되는 기기로부터의 제어에 의해 프로그램의 인스톨을 행할 수 있도록 하는 것도 생각된다. 또한, 네트워크 상의 서버 등에서의 기억 장치에 기억시켜 둔 후에, 디지털 스틸 카메라(1)에 네트워크 기능을 갖게 하는 것으로 하고, 서버로부터 다운로드하여 취득할 수 있게 구성하는 것도 생각된다.

또한, 이후의 플로우차트의 설명에서는, 지금까지 사용해 온 「종합 피사체 무게 중심(Gt)」, 및 「종합 피사체 화상 부분」의 어구는, 검출되어 있는 개별 피사체수가 2 이상인 경우에만 적용하는 것이 아니라, 1인 경우에도 적용한다. 즉, 예를 들면 도 8에 도시한 무게 중심 G가, 검출되어 있는 개별 피사체수가 1인 경우의 개별 피사체 무게 중심 Gt로 되는 것이며, 또한, 도 8의 개별 피사체 SBJ만으로 이루어지는 화상 부분이, 검출되어 있는 개별 피사체수가 1인 경우의 종합 피사체 화상 부분으로 된다.

우선, 스텝 S101~스텝 S106까지는, 피사체를 탐색하여 검출하기 위한 수순으로 되고, 주로 피사체 검출 처리 블록(61)이 실행하는 것으로 된다.

스텝 S101에서는, 이미지 센서(22)로부터의 촬상 신호에 기초한 촬상 화상 데이터를 취득하여 취득한다. 스텝 S102에서는, 상기 스텝 S101에 의해 취득한 촬상 화상 데이터를 이용하여 피사체 검출 처리를 실행한다. 여기서의 피사체 검출 처리로서는, 예를 들면 우선, 앞서 설명한 얼굴 검출 등의 방법에 의해, 촬상 화상 데이터로서의 화면 내용에서 개별 피사체가 존재하는지의 여부에 대한 검출을 행한다. 그리고, 개별 피사체가 존재하는 경우에는, 개별 피사체수, 개별 피사체마다의 위치(무게 중심), 사이즈, 및 개별 피사체마다의 얼굴 방향을, 검출 정보로서 얻게 된다.

스텝 S103에서는, 상기 스텝 S102에 의한 피사체 검출 처리의 결과로서, 개별 피사체의 존재가 검출되었는지의 여부에 대한 판별을 행한다. 여기서 개별 피사체의 존재가 검출되지 않았다(검출되는 개별 피사체수가 0)고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S104로 진행하여, 화면 각도를 넓게 하기 위한 줌 렌즈의 이동 제어(줌 아웃 제어)를 실행한다. 이와 같이 하여 화면 각도를 넓게 함으로써, 보다 넓은 범위가 촬상되게 되므로, 그만큼 개별 피사체를 포착하기 쉬워진다. 또한, 이와 함께, 스텝 S105에 의해, 피사체 탐색을 위해 운대(10)의 팬 틸트 기구를 움직이기 위한 제어(팬 틸트 제어)를 실행한다. 이 때에는, 피사체 검출 처리 블록(61)이 팬 틸트 제어를 위한 제어 신호를 통신 제어 처리 블록(63)에 전달하고, 운대(10)의 통신부(52)에 대하여 송신되도록 하여 제어를 행한다.

또한, 상기 피사체 탐색을 위한 팬 틸트 제어로서, 운대(10)의 팬 틸트 기구를 어떠한 패턴으로 움직이는가에 대해서는, 예를 들면 탐색이 효율적으로 행하여지는 것을 배려하여 결정하는 것으로 하면 된다．

또한, 스텝 S106에서는, 모드 플래그 f에 대하여 0을 설정(f=0)하고, 스텝 S101로 되돌아가게 된다.

이와 같이 하여, 촬상 화상 데이터의 화상 내용에서 적어도 1개의 개별 피사체가 검출될 때까지는, 스텝 S101~스텝 S106의 수순이 반복된다. 이 때, 디지털 스틸 카메라(1)와 운대(10)로 이루어지는 시스템은, 피사체 탐색을 위해, 디지털 스틸 카메라(1)가 팬 방향 및 틸트 방향으로 움직여지고 있는 상태로 되어 있다.

그리고, 스텝 S103에서 개별 피사체의 존재가 검출되었다고 하여 긍정의 판별 결과가 얻어진 것으로 되면, 스텝 S107 이후의 수순으로 진행한다. 스텝 S107 이후의 수순은, 주로 구도 제어 처리 블록(62)이 실행하는 것으로 된다．

스텝 S107에서는, 현재의 모드 플래그 f에 설정되어 있는 값이 무엇인지를 판별한다.

f==0이라고 판별된 경우에는, 구도 제어로서, 최초의 러프한 피사체 포착 모드를 실행할 경우인 것을 나타내는 것이며, 도면과 같이 하여 스텝 S108로부터 시작되는 수순을 실행한다.

스텝 S108에서는, 종합 피사체 무게 중심 Gt가, 촬상 화상 데이터의 화면(촬상 화상 데이터의 화상 내용을 나타냈다고 할 때에 얻어지는 화면)에서의 원점 좌표 P(0, 0)(도 7 참조)에 위치하고 있는지의 여부에 대한 판별을 행한다. 여기서, 종합 피사체 무게 중심 Gt는, 아직 원점 좌표에 위치하고 있지 않다고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S109에 의해, 종합 피사체 무게 중심 Gt가 원점 좌표에 위치하도록 하여, 운대(10)의 팬 틸트 기구를 움직이기 위한 제어를 실 행하고, 스텝 S101로 되돌아간다. 이와 같이 하여, 개별 피사체의 존재가 검출되어 있는 상태에서의 최초의 구도 제어의 수순인 포착 모드는, 종합 피사체 무게 중심 Gt를, 우선은 초기의 기준 위치인 원점 좌표에 대하여 위치시키도록 하여 운대(10)의 팬 틸트 기구를 제어함으로써, 검출된 개별 피사체가 찍혀 있게 되는 화상 영역을 화면 내의 중앙에 위치시키고자 하는 것이다.

또한, 상기 스텝 S109로서의 팬 틸트 제어를 실제로 행함에 있어서의 알고리즘의 일례를 여기서 설명해 둔다.

모드 플래그 f==0의 상태에서 개별 피사체가 검출되는 상태에서는, 피사체 검출 처리 블록(61)은, 하기의 수학식 1에 의해 표현되는 연산을 행하여, 팬 방향에서의 필요 이동량 Span과 틸트 방향에서의 필요 이동량 Stilt를 구하게 된다. 하기의 수학식 1에서, n은 검출된 개별 피사체수를 나타내고, P(Xi, Yi)는 0번으로부터 n-1번까지의 번호가 부여된 개별 피사체 중의 i번째의 개별 피사체의 무게 중심의 X, Y좌표를 나타낸다. 확인을 위해, 도 7에 도시한 바와 같이, 이 경우에서의 원점 좌표(0, 0)는, 화면에서의 수평 방향에서의 중점과 수직 방향에서의 중점과의 교점으로 된다.

예를 들면 스텝 S108에서는, 상기한 바와 같이 하여 구해지는 필요 이동량 Span, Stilt의 절대값이 소정값(엄밀하게는 0으로 되지만, 0보다 큰 값으로 되어도 됨) 이내인지의 여부를 판별함으로써, 종합 피사체 무게 중심 Gt가 원점 좌표 P에 있는지의 여부와 동등한 판별을 행할 수 있다. 그리고, 스텝 S109에서는, 필요 이동량 Span, Stilt의 절대값이 소정값 이내로 되도록 하여 팬 틸트 제어를 실행하게 된다. 또한, 이 때의 팬 틸트 제어 시의 팬 기구부(53), 틸트 기구부(56)의 속도는 일정하게 하여도 되지만, 예를 들면, 필요 이동량 Span, Stilt가 커짐에 따라서 속도를 높게 해 가거나 하여 가변시키는 것이 생각된다. 이와 같이 하면, 패닝 혹은 틸팅에 의한 필요 이동량이 커졌을 때에도, 비교적 단시간에 종합 피사체 무게 중심 Gt를 원점 좌표에 근접시키는 것이 가능하게 된다.

그리고, 스텝 S108에서, 종합 피사체 무게 중심 Gt가 원점 좌표에 위치하였다고 하여 긍정의 판별 결과가 얻어진 것으로 되면, 스텝 S110에 의해 모드 플래그 f에 대하여 1을 설정(f=1)하여 스텝 S101로 되돌아간다. 이 스텝 S110에 의해 모드 플래그 f에 대하여 1이 설정된 상태는, 구도 제어에서의 최초의 수순인 포착 모드는 완료하고, 다음의 제1 구도의 조정 제어(구도 조정 모드)를 실행할 상태인 것을 나타낸다.

그리고, 모드 플래그 f==1로 되어 제1 구도 조정 모드를 실행할 경우에는, 스텝 S107로부터 스텝 S111로 진행하게 된다. 제1 구도 조정 모드는, 검출된 개별 피사체수와 개별 피사체마다의 얼굴 방향의 조합에 따른 최적 구도를 얻기 위하여 줌(화면 각도) 조정과 팬 제어를 행하는 것이다. 또한, 화면 각도 조정과 팬 제어에 따라서는 화면 내에서의 개별 피사체의 사이즈나 개별 피사체의 위치가 변화하는 결과를 발생시킨다.

스텝 S111에서는, 현재 검출되어 있는 개별 피사체수가 몇 개인지를 판별하고, 1이면 스텝 S112로부터 시작되는 수순을 실행한다.

스텝 S112에서는, 검출되어 있는 개별 피사체수가 1인 것에 대응한 목표 피사체 사이즈를 설정한다. 여기서의 목표 피사체 사이즈란, 화면에서의 종합 피사체 화상 부분의 사이즈로서 구도적으로 최적으로 간주되는 것을 말하며, 예를 들면 도 8과의 대응에서는, 「(1개의) 개별 피사체 SBJ0의 촬상 화상 데이터의 화면 내에서의 점유율이, 최적으로 간주되는 소정의 범위값」에 상당한다.

스텝 S113에서는, 개별 피사체의 사이즈가 OK인지의 여부에 대하여 판별한다. 개별 피사체의 사이즈가 OK인 상태란, 그 때에 검출되어 있는 개별 피사체의 사이즈가, 상기 스텝 S112에 의해 설정된 목표 피사체 사이즈로 되어 있는 상태이다. 스텝 S113에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S114로 진행하여, 개별 피사체의 사이즈가 목표 피사체 사이즈로 되도록 줌 렌즈의 구동 제어(줌 제어)를 실행하고, 스텝 S101로 되돌아간다.

또한, 이 때에는, 종합 피사체 무게 중심 Gt의 수평 방향(좌우 방향)에서의 위치에 관해서는, 스텝 S109에서 설정된 Ｘ좌표(X=0)에 대응하는 위치를 유지하도록 하여 줌 제어를 행하게 된다. 이것에 의해, 개별 피사체를 좌우 방향에서 대략 중앙에 위치시킨 상태를 유지할 수 있다. 또한, 피사체 탐색 동작의 실행 시에서는, 스텝 S104에 의해 줌 아웃 제어가 행하여지므로, 스텝 S114로서의 줌 제어 시에는 줌인 제어로 되는 경우가 많다고 생각된다. 그러나, 어떠한 원인에 의해, 그 때에 검출된 개별 피사체의 사이즈가, 목표 피사체 사이즈보다도 커져 있는 상태에 따라서 스텝 S113에서 부정의 판별 결과가 얻어진 경우, 스텝 S114에서는 줌 아웃을 실행시켜, 실제의 개별 피사체의 사이즈가 목표 피사체 사이즈로 되도록 제어하게 된다.

그리고, 스텝 S113에서 긍정의 판별 결과가 얻어진 것이면 스텝 S115 이후의 수순으로 진행하게 된다.

스텝 S115에서는, 수평 오프셋량 θx를 설정한다.

여기서, 본 실시 형태에서의 제1 구도 제어에서는, 수평 오프셋량 θx에 대해서는, 하기의 수학식 2에 의해 구하는 것으로 한다.

상기 수학식 2에서, D는, 얼굴 방향 혹은 복수의 얼굴 방향의 조합(관계성)에 기초하여, +1, -1, 0 중 어느 하나가 설정되는 계수이다. Cx는, 수평 화면 사이즈를 나타낸다. Cx/6의 항은, 3분할법에 기초하여 얻어지는 세로 방향을 따른 가상선의 X좌표에 대응한 것이다. n은, 검출되어 있는 개별 피사체수를 나타낸다.

스텝 S115에 도달한 경우, 검출되어 있는 개별 피사체수는 1이므로, n=1로 된다. 또한, 얼굴 방향은, 좌측이나 우측 중 어느 한 쪽으로 된다. 계수 D는, 얼굴 방향이 좌측인 경우에는 + 1로 되고, 우측인 경우에는 - 1로 된다.

그러면, 검출되어 있는 1개의 개별 피사체의 얼굴 방향이 좌측인 경우에는, θx=-Cx/6으로 된다. 이 수평 오프셋량 θx는, 원점 좌표 P(0, 0)를 통과하는 수 직선(화상 영역 분할선 Ld:Y축 선)으로부터, Cx/6만큼 우측으로 이동한 수직선의 위치를 나타내게 되는데, 이 수직선의 위치는, 정확히, 3분할법에 따른 2개의 가상선 중, 우측에 있는 가상선과 동일하게 된다.

한편, 검출되어 있는 1개의 개별 피사체의 얼굴 방향이 우측인 경우에는, 수평 오프셋량 θx=Cx/6으로 되고, 원점 좌표 P(0, 0)를 통과하는 수직선(화상 영역 분할선 Ld:Y축 선)으로부터, Cx/6만큼 좌측으로 이동한 수직선의 위치를 나타내게 된다. 그리고, 이 수직선의 위치는, 정확히, 3분할법에 따른 2개의 가상선 중, 좌측에 있는 가상선과 동일하게 된다.

스텝 S116에서는, 종합 피사체 무게 중심 Gt(이 경우에는, 개별 피사체수가 1이므로, 도 8의 무게 중심 G와 종합 피사체 무게 중심 Gt는 동일하게 됨)가, 상기 스텝 S115에 의해 설정된 수평 오프셋량 θx에 대응하는 X좌표 상에 위치하고 있는지의 여부의 판별 처리를 행한다. 여기서 부정의 판별 결과가 얻어진 경우에는, 스텝 S117로 진행한다.

스텝 S117에서는, 수평 오프셋량 θx에 대응하는 X좌표 상에 종합 피사체 무게 중심 Gt가 위치하는 상태로 되도록 팬 제어를 실행하고, 스텝 S101로 되돌아간다.

그리고, 상기 스텝 S117의 제어에 의해, 수평 오프셋량 θx에 대응하는 X좌표 상에 종합 피사체 무게 중심 Gt가 위치하는 상태에 도달한 것으로 되면, 스텝 S116에서 긍정의 판별 결과가 얻어지게 된다. 이와 같이 하여 스텝 S116에서 긍정의 판별 결과가 얻어졌을 때에는, 개별 피사체(SBJ)의 무게 중심은, 도 8에 의해 도시한 바와 같이 하여, 그 얼굴 방향에 따라서, 화상 영역 분할선 Ld로부터 수평 오프셋량 θx만큼 좌측 또는 우측으로 이동한 위치에 있게 된다.

스텝 S116에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S118로 진행하여, 모드 플래그 f에 대하여 2를 설정하고 스텝 S101로 되돌아간다. 이 모드 플래그 f==2로 되어 있는 상태는, 이후의 설명으로부터도 이해되는 바와 같이, 제1 구도 조정이 완료되고, 다음의 제2 구도 조정 모드를 실행한 후에 릴리즈 동작을 실행할 것을 나타낸다.

또한, 스텝 S111에서, 검출되어 있는 개별 피사체수가 2 이상이라고 판별한 경우에는, 스텝 S119로부터 시작되는 수순을 실행한다.

스텝 S119에서는, 목표 피사체 사이즈를 설정하는 처리를 행한다. 개별 피사체수가 2 이상으로 되는 경우, 최적 구도를 얻기 위한 목표 피사체 사이즈는, 예를 들면 개별 피사체수에 따라서 서로 달라지게 된다. 그래서, 스텝 S119에서는, 스텝 S102에서 검출된 개별 피사체수에 따른 소정의 목표 피사체 사이즈를 설정한다. 또한, 확인을 위해 설명해 두면, 개별 피사체수가 2 이상인 경우의 목표 피사체 사이즈는, 검출되어 있는 모든 개별 피사체로 이루어지는 종합 피사체 화상 부분을 대상으로 한 것으로 된다．

스텝 S120에서는, 개별 피사체의 사이즈가 OK인지의 여부에 대하여 판별한다. 즉, 이 때의 개별 피사체에 대한 검출 정보로부터 구해지는 종합 피사체 화상 부분의 사이즈가, 상기 스텝 S120에 의해 설정된 목표 피사체 사이즈로 되어 있는지의 여부에 대하여 판별한다.

스텝 S120에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S121로 진행한다. 스텝 S121에서는, 스텝 S114에 준하여, 이 때 검출되어 있는 개별 피사체의 종합 피사체 화상 부분의 사이즈가, 스텝 S119에 의해 설정된 목표 피사체 사이즈로 되도록 줌 렌즈의 구동 제어(줌 제어)를 실행하고, 스텝 S101로 되돌아간다.

이것에 대하여, 스텝 S120에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S122로 진행한다.

스텝 S122에서는, 복수의 개별 피사체마다 검출된 얼굴 방향에 대하여, 이들이 모두 동일한지의 여부의 판별 처리를 행한다.

우선, 스텝 S122에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S123 이후의 수순을 실행한다. 스텝 S123에서는, 앞서 설명한 수학식 2에 의해 수평 오프셋량 θx를 설정한다.

이 경우에는, 수학식 2에서의 계수 D에는, 검출되어 있는 동일한 얼굴 방향이, 좌측, 우측 중 어느 쪽을 나타내고 있는 것인지에 따라서, +1과 -1 중 어느 한 쪽이 대입된다. 또한, n에는, 검출되어 있는 개별 피사체수에 따른 2 이상의 수가 대입되게 된다. 이것으로부터도 이해되는 바와 같이, 수학식 2에 의해서는, 개별 피사체수가 많아짐에 따라서, 구해지는 θx의 절대값은 작아진다. 즉, 도 8, 도 9의 (a), 도 10에 의해서도 설명한 바와 같이, 개별 피사체수가 많아짐에 따라서, 종합 피사체 화상 부분의 좌우에서의 화상 영역 분할선 Ld로부터의 오프셋량은 적어져 가게 된다.

이것에 대하여, 스텝 S122에서, 부정의 판별 결과가 얻어진 경우에는, 스텝 S124에 의해, 수평 오프셋량 θx=0을 설정한다.

또한, 이 스텝 S124의 처리에서도, 수학식 2에 의한 연산을 행함으로써, θx=0을 설정할 수 있다. 즉, 스텝 S122에서 부정의 판별 결과가 얻어진 경우(즉 복수의 얼굴 방향이 동일하지 않은 경우)에는, 스텝 S124에서, 계수 D에 대하여 0을 대입하여 수학식 2의 연산을 행하도록 알고리즘을 구성하는 것이다.

스텝 S123, 또는 스텝 S124의 수순을 실행한 후에는, 스텝 S125 이후의 수순으로 진행한다.

스텝 S125, S126, S127에서는, 앞서 설명한 스텝 S116, S117, S118과 마찬가지로 하여, 종합 피사체 무게 중심 Gt가, 스텝 S123 또는 스텝 S124에 의해 설정된 수평 오프셋량 θx에 대응하는 X좌표 상에 위치하는 상태에 도달할 때까지 팬 제어를 실행한다. 이 제어에 의해, 복수의 개별 피사체의 얼굴 방향이 동일한 경우에는, 그 수에 따른 수평 오프셋량 θx분만큼, 좌측 또는 우측 방향으로 종합 피사체 화상 부분(종합 피사체 무게 중심 Gt)이 이동된 상태가 얻어지게 된다. 이 상태에 도달하면, 스텝 S125에서 긍정의 판별 결과가 얻어지게 되어, 스텝 S127에 의해 모드 플래그 f에 대하여 2를 설정하고, 스텝 S101로 되돌아간다.

이와 같이 하여, 모드 플래그 f에 대하여 2가 설정된 상태에서는, 구도 제어로서, 도 8~도 10에 의해 설명한, 개별 피사체수에 따른 사이즈 조정과, 이들 개별 피사체마다의 얼굴 방향 혹은 그 조합에 따른 수평 방향에서의 위치 조정까지의 수순이 완료된 상태인 것으로 된다. 따라서, 스텝 S107에서 모드 플래그 f가 2라고 판별된 경우에는, 스텝 S128 이후의 수순에 의해, 제2 구도 조정 모드를 실행한다.

예를 들면, 도 8~도 10에서의 구도 제어의 설명에서는, 그 설명을 간단한 것으로 하기 위해, 화면 상하 방향에서의 개별 피사체의 무게 중심의 위치를 어떻게 하여 설정할 것인지에 대해서는 언급하고 있지 않지만, 실제에서는, 화면의 중앙으로부터 예를 들면 임의의 필요량만큼 상측 방향으로 이동(오프셋)시키는 편이, 보다 좋은 구도로 되는 경우가 있다. 그래서, 본 실시 형태의 구도 제어의 실제로서는, 최적 구도로서 보다 양호한 것이 얻어지도록 하여 종합 피사체 무게 중심 Gt의 세로(수직) 방향의 오프셋량도 설정하는 것으로 하고 있다. 이를 위한 수순이, 제2 구도 조정 모드로 되는 것이고, 스텝 S128 및 다음에 설명하는 스텝 S129로서 실행된다.

스텝 S128에서는, 종합 피사체 무게 중심 Gt(개별 피사체가 1개인 경우에는 그 개별 피사체의 무게 중심 G로 됨)의 위치에 대하여, 화면 상의 원점 좌표 P를 통과하는 수평 직선(X축)으로부터 소정의 수직 오프셋량 θy만큼 오프셋되어 있는 상태에 있는지의 여부(무게 중심 오프셋이 OK인지의 여부)를 판별한다.

스텝 S128에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S129에 의해, 설정된 수직 오프셋량 θy만큼 무게 중심이 오프셋되도록 하여, 운대(10)의 틸트 기구가 움직이도록 틸트 제어를 실행하고, 스텝 S101로 되돌아간다. 그리고, 스텝 S128에서 긍정의 판별 결과가 얻어진 단계에서는, 종합 피사체 화상 부분의 수평 방향에서의 위치와, 수직 방향에서의 위치의 쌍방에 대하여, 최적 구도에 대응한 것이 얻어지고 있으며, 또한, 종합 피사체 화상 부분의 사이즈도 최적 구도에 대응한 것이 얻어지고 있게 된다. 즉, 최적 구도가 얻어지고 있는 상태로 된다.

또한, 이 스텝 S128, S129에 대응한 수직 오프셋량 θy의 실값을 어떻게 하여 설정할 것인지에 대해서는, 몇 가지의 방법이 생각되기 때문에, 여기서는 특별히 한정되어서는 안된다. 가장 간단한 설정 중 하나로서는, 예를 들면 3분할법에 기초하여, 세로 방향에서의 중심 위치로부터, 수직 화면 사이즈 Cy의 1/6에 상당하는 길이의 값을 공급하는 것이 생각된다. 물론, 예를 들면 개별 피사체수라든가, 얼굴 방향 및 그 조합에 따른 서로 다른 값을 소정의 규칙에 따라서 설정하도록 구성하는 것도 생각된다.

그리고, 스텝 S128에 의해 긍정의 판별 결과가 얻어진 경우에는, 스텝 S130으로부터 시작되는, 릴리즈 동작에 대응한 처리 수순을 실행한다. 여기서의 릴리즈 동작이란, 그 때에 얻어진 촬상 화상 데이터를, 정지 화상 데이터로서 기억 매체(메모리 카드(40))에 기억시키기 위한 동작을 말한다. 즉, 수동에 의한 셔터 조작을 행하고 있는 경우에서는, 이 셔터 조작에 응답하여, 그 때에 얻어진 촬상 화상 데이터를 정지 화상 데이터로서 기억 매체에 대하여 기록하는 동작에 해당한다.

스텝 S130에서는, 현재에 릴리즈 동작을 실행 가능한 조건을 충족시키고 있는지의 여부를 판별한다. 조건으로서는 예를 들면, 합초 상태에 있는 것(오토 포커스 제어가 유효하게 설정되어 있는 경우), 운대(10)의 팬 틸트 기구가 정지 상태에 있는 것 등을 들 수 있다.

상기 스텝 S130에서 부정의 판별 결과가 얻어진 경우에는, 처리를 스텝 S101로 되돌린다. 이것에 의해, 릴리즈 동작을 실행할 수 있는 조건이 충족되는 상태로 되는 것을 대기할 수 있다. 그리고, 스텝 S130에서 긍정의 판별 결과가 얻어지 면, 스텝 S131에 의해 릴리즈 동작을 실행한다. 이와 같이 하여, 본 실시 형태에서는, 최적 구도의 촬상 화상 데이터를 기록할 수 있다.

릴리즈 동작이 종료된 것으로 되면, 스텝 S132에 의해 주어진 파라미터에 대하여 초기 설정을 행한다. 이 처리에 의해, 모드 플래그 f에 대해서는 초기값인 0이 설정된다. 또한, 줌 렌즈의 위치도, 미리 설정된 초기 위치로 되돌려진다.

그리고, 스텝 S132의 처리를 실행한 후에는 처리를 스텝 S101로 되돌린다. 이와 같이 하여 처리를 스텝 S132로부터 스텝 S101로 되돌림으로써, 피사체를 탐색하고, 이 탐색에 의해 검출되게 된 개별 피사체가 향하고 있는 방향과 개별 피사체수에 따른 최적 구도를 얻어 촬상 기록(릴리즈 동작)을 행한다고 하는 동작이, 자동적으로 반복하여 실행되게 된다.

또한, 상기 도 11의 경우에서의 릴리즈 동작은, 촬상 화상으로부터 정지 화상을 기록 매체에 기록하는 동작으로 되는 것이지만, 본 실시 형태에서의 릴리즈 동작은, 보다 광의로는, 상기한 정지 화상을 기록 매체에 기록하는 것을 포함시켜, 예를 들면 촬상 화상으로부터 필요한 정지 화상 데이터를 취득하는 것을 가리킨다. 따라서, 예를 들면 본 실시 형태의 디지털 스틸 카메라(1)에 의해, 데이터 인터페이스 등을 경유하여 다른 기록 장치 등에 전송하기 위해, 촬상 화상으로부터 정지 화상 데이터를 취득하는 동작도, 릴리즈 동작으로 되는 것이다.

지금까지 설명한 도 11의 수순에서는, 우선, 스텝 S108, S109에 의해, 앞의 수학식 1에 의해 구해지는 필요 이동량 Span, Stilt에 기초하여, 검출된 1 이상의 개별 피사체의 종합 피사체 무게 중심 Gt를 화면에서의 원점 좌표 P에 위치시킨다 고 하는, 포착을 위한 팬 틸트 제어를 행하는 것으로 하고 있다. 그리고, 다음의 단계로서, 개별 피사체수, 및 개별 피사체마다 검출되는 얼굴 방향의 관계성(동일인지의 여부)에 기초하여, 수평 오프셋량 θx를 구하고, 종합 피사체 무게 중심 Gt에 대하여, 원점 좌표 P를 통과하는 수직선(화상 영역 분할선 Ld:Y축 선)을 기준으로, 수평 오프셋량 θx에 대응하는 거리만큼, 좌측 혹은 우측 방향으로 이동시키기 위한 팬 제어를 행한다. 또한, 설정된 수직 오프셋량 θy가 나타내는 이동량에 기초하여, 종합 피사체 무게 중심 Gt에 대하여, 원점 좌표 P를 통과하는 수평 직선(X축)을 기준으로, 수직 오프셋량 θy에 대응하는 거리만큼, 상측 방향(혹은 하측 방향)으로 이동시키기 위한 틸트 제어를 행한다.

이것으로부터 보면, 도 11의 수순에서의 팬 틸트 제어는,

에 의해 필요 이동량 Span, Stilt를 구한 후에, 필요 이동량 Span에 대응한 화면 내에서의 이동량을 얻기 위한 팬 기구의 제어와, 필요 이동량 Stilt에 대응한 화면 내에서의 이동량을 얻기 위한 틸트 기구의 제어를 행하고 있는 것이라고 할 수 있다.

계속해서는, 본 실시 형태에서의 제2 구도 제어에 대하여 설명한다.

제2 구도 제어의 예로서, 도 12에는, 3개의 개별 피사체 SBJ0, SBJ1, SBJ2가 검출된 상태를 도시하고 있다. 이들 개별 피사체 중, 개별 피사체 SBJ0, SBJ2에 대하여 검출되어 있는 얼굴 방향은 좌측인 것에 대하여, 개별 피사체 SBJ1에 대하여 검출되어 있는 얼굴 방향은 우측인 것으로 한다. 이 경우, 모든 개별 피사체의 얼굴 방향이 동일하게 되어 있지는 않으므로, 제1 구도 제어의 경우이면, 도 9의 (b) 등에서 설명한 바와 같이, 종합 피사체 무게 중심 Gt는, 원점 좌표 P를 통과하는 수직선(화상 영역 분할선 Ld:Y축 선) 상에 있도록 구도가 설정된다.

그러나, 3개의 개별 피사체 중에서, 예를 들면 과반수를 차지하는 2개의 개별 피사체 SBJ0, SBJ2가 동일한 방향을 향하고 있다(얼굴 방향이 동일하다)는 것은, 남은 1개의 개별 피사체 SBJ1의 얼굴 방향에 대응하여 향하고 있는 것으로 하는 반대 방향보다도, 이들 2개의 개별 피사체 SBJ0, SBJ2가 향하고 있는 것으로 하는 곳에, 무엇인가 중요성이 높은 것이 존재하고 있을 가능성이 높다고 할 수 있다. 이러한 견해에 기초하면, 이들 2개의 개별 피사체 SBJ0, SBJ2의 얼굴 방향이 나타내는 곳의 화면 영역에 공간을 설정하는 편이 좋은 구도로 될 가능성이 높다고 할 수 있다. 이 경우라면, 2개의 개별 피사체 SBJ0, SBJ2의 얼굴 방향이 좌측인 것으로서 검출되고 있으므로, 화면에서, 3개의 개별 피사체 SBJ0, SBJ1, SBJ2로 이루어지는 종합 피사체 화상 부분을 화상 영역 분할선 Ld보다도 우측의 화상 영역에 치우쳐 좋은 구도를 얻고자 하는 것이다.

그래서, 제2 구도 제어로서는, 복수의 개별 피사체마다 검출되는 얼굴 방향의 관계성으로서, 동일하게 되는 얼굴 방향의 수가, 개별 피사체의 전체수에서의 소정 비율 이상을 차지할 때에는, 이 동일하게 되는 얼굴 방향을 기준 얼굴 방향으 로 한다. 이 기준 얼굴 방향은, 예를 들면 복수의 개별 피사체군의 총체를 1개의 개별 피사체로서 본 경우에, 화면 내에서 향하고 있는 것으로 하는 방향을 가리키는 것이라고 할 수 있다. 그리고, 이 기준 얼굴 방향에 기초하여, 수평 오프셋량 θx를 구하여 설정하게 된다. 이러한 구도 제어에 의해, 도 12의 경우에는, 원점 좌표 P를 통과하는 수직선보다도 우측에 종합 피사체 무게 중심 Gt가 위치하도록 하여 구도가 설정되게 된다.

또한, 여기서는 도시하지 않았지만, 상기한 소정 비율 이상을 차지하는 만큼의, 동일한 얼굴 방향수가 얻어지지 않은 상태, 즉 상기한 기준 얼굴 방향을 결정할 수 없었던 경우, 본 실시 형태로서는, 종합 피사체 화상 부분이 좌우 방향에서 대략 중앙에 위치하는 구도를 설정하는 편이 바람직하다고 하는 생각에 서게 한다. 그래서, 이 경우에는, 수평 오프셋량 θx에 대해서는 0을 설정하는 것으로 한다.

도 13은, 상기한 제2 구도 제어에 대응하여 도 5에 도시한 피사체 검출 처리 블록(61), 구도 제어 처리 블록(62), 및 통신 제어 처리 블록(63)이 실행하게 되는 수순예를 도시하고 있다.

이 도 13에 도시되는 수순 중에서, 스텝 S221-1, S222-2를 제외한 스텝 S201~S232까지의 수순은, 도 11에서의 스텝 S101~S132까지의 수순과, 각각 동일하게 된다.

그리고, 스텝 S221-1과 이것에 계속되는 스텝 S222-2는, 스텝 S222에서 부정의 판별 결과가 얻어진 경우에 실행할 수순으로서 삽입되어 있다. 즉, 스텝 S222-1, S222-2는, 검출되어 있는 개별 피사체수가 복수인 경우로서, 우선은, 종합 피사 체 화상 부분의 사이즈 조정이 완료된 단계에서, 이들 개별 피사체의 얼굴 방향의 관계성으로서, 모든 얼굴 방향이 동일하지는 않았던 경우에 실행되는 것이다.

스텝 S222-1에서는, 기준 얼굴 방향을 결정하기 위한 처리를 실행한다.

이를 위해서는, 예를 들면, 앞에서도 설명한 바와 같이, 검출되어 있는 복수의 개별 피사체마다의 얼굴 방향의 관계성으로서, 동일한 얼굴 방향을 갖는 개별 피사체의 조 중에서, 그 조를 이루는 개별 피사체수가, 모든 검출되어 있는 개별 피사체수에서의 소정 비율 이상을 나타내는 것이 있는지의 여부에 대하여 판단하고, 이러한 개별 피사체의 조가 있으면, 이 조의 개별 피사체의 얼굴 방향을, 유효한 기준 얼굴 방향으로서 결정하게 된다. 또한, 이러한 개별 피사체의 조가 없으면, 기준 얼굴 방향도 없는 것으로 하는 결정을 행하게 된다.

또한, 상기한 소정 비율에 대하여, 실제로 어떠한 값을 설정할 것인지에 대해서는, 실제에서의 개별 피사체수 및 개별 피사체마다의 얼굴 방향의 관계성과의 대응에 의해, 어떠한 구도가 적절하게 되는 것인지를 고려한 후에, 적절히 결정되어도 된다. 또한, 이 소정 비율로서의 값은, 기본적으로는 고정의 1개의 값이 설정되면 되지만, 예를 들면, 결정된 개별 피사체수 등에 따라서, 서로 다른 소정값이 설정되게 되어도 된다.

또한, 기준 얼굴 방향 결정 처리를 위한 알고리즘으로서는, 상기 이외에도 생각할 수 있다. 예를 들면, 모든 개별 피사체수에서의 비율은 고려하지 않고, 단순히, 동일한 얼굴 방향을 갖는 개별 피사체의 조 중에서, 개별 피사체수가 최다인 조의 얼굴 방향을, 유효한 기준 얼굴 방향으로서 결정하는 처리도 생각할 수 있다. 이 경우에는, 예를 들면 동일한 얼굴 방향을 갖는 각 조를 이루는 개별 피사체수가 동일할 때에, 기준 얼굴 방향은 없는 것으로 한 결정이 행하여지게 된다.

스텝 S222-2에서는, 상기 스텝 S222-1의 얼굴 방향 결정 처리의 결과로서, 유효한 기준 얼굴 방향이 결정되었는지의 여부에 대한 판별을 행한다.

여기서, 긍정의 판별 결과가 얻어진 경우에는, 스텝 S223으로 진행한다. 이 경우의 스텝 S223에서는, 스텝 S222-1에서 결정된 기준 얼굴 방향에 기초하여 계수 D를 결정하여, 수평 오프셋량 θx를 구하여 설정한다.

한편, 스텝 S222-2에서 부정의 판별 결과가 얻어진 경우에는, 앞의 스텝 S222-1에서, 좌측 혹은 우측을 나타내는 유효한 기준 얼굴 방향을 결정할 수 없었던 것으로 된다. 그래서, 이 경우에는, 스텝 S224로 진행함으로써, 수평 오프셋량 θx에 대해서는 0을 설정한다. 이와 같이 하여, 스텝 S222-1, S222-2를 삽입함으로써, 도 12에 의해 설명한 바와 같은 제2 구도 제어가 실현되게 되는 것이다.

또한, 앞의 도 11 및 상기 도 13에 도시되는 각 구도 제어의 수순은, 그 전체의 흐름으로부터 보면, 검출되는 개별 피사체의 수에 따라서 최적으로 간주되는 구도를 판정, 결정하고, 이 판정한 구도의 촬상 화상 데이터가 실제로 얻어지도록(반영되도록) 하여, 줌 제어, 및 팬 틸트 제어를 적절히 실행하고 있는 것이라고 볼 수 있다.

또한, 지금까지의 구도 제어에서는, 얼굴 방향의 검출은, 좌측, 우측의 2단계에 의한 검출인 것을 전제로 하고 있었지만, 실제에서는, 예를 들면 좌측, 우측 외에, 정면도 있도록 하여 얼굴 방향 검출 처리를 구성하는 경우도 있다고 생각된 다. 이 경우에도, 본원 발명에 기초한 구도 제어는 유효하게 적용할 수 있다.

예를 들면 도 8과 같이 하여 1개의 개별 피사체가 검출된 경우에, 얼굴 방향에 대해서는 정면인 것이 더 검출된 경우인데, 1개에는, 수평 방향에서의 피사체 위치를, 화면의 대략 중앙에 위치시키는(무게 중심 G가 대략 화상 영역 분할선 Ld(Y축 선) 상에 있도록 하는) 것이 생각된다. 그러나, 이러한 구도는, 좋지 않은 구도의 대표적인 것으로 되는 경우가 많다. 그래서, 검출되는 개별 피사체가 1개인 경우에, 얼굴 방향이 정면인 경우에는, 도 8과 마찬가지의 구도, 혹은, 도 8의 구도에 대하여 화상 영역 분할선 Ld를 기준으로 선대칭으로 되도록 하는 구도로 하여 수평 오프셋량 θx를 결정하는 것도 생각된다. 이와 같이 하면, 3분할법에 입각한 양호한 구도가 얻어진다.

또한, 2 이상의 개별 피사체가 검출되어 있는 경우에, 예를 들면 모든 개별 피사체의 얼굴 방향이 정면을 나타내고 있거나, 혹은 기준 얼굴 방향이 정면인 경우에는, 수학식 2의 계수 D를 0으로 설정한 후의 수평 오프셋량 θ를 구하도록 하여 구성하는 것이 생각된다.

또한, 얼굴 방향으로서 상하 방향에 대해서도 검출 가능하게 되어 있는 경우에는, 이 상하 방향에서의 얼굴 방향의 검출 결과에 따라서, 본원 발명에 기초한 구도 제어를 행하는 것도 가능하다. 이 경우에는, 수평 방향을 따른 화상 영역 분할선 Ld(예를 들면 원점 좌표를 통과하는 수평 방향의 선(X축 선)으로 할 수 있음)를 기준으로 하여, 상하 방향에서의 종합 피사체 무게 중심 Gt의 이동을 행하게 된다.

또한, 얼굴 방향에 대하여, 좌우 방향과 상하 방향을 합성한 경사 방향의 검출도 가능하게 되어 있을 때에는, 이 경사 방향이 검출된 얼굴 방향에 따른 구도 제어도 행하는 것이 가능하다. 이 경우에는, 검출된 비스듬한 얼굴 방향과 직교하여 화면을 가로 지르는 선(예를 들면 원점 좌표를 통과하는 선)을 화상 영역 분할선 Ld로서 설정하고, 이 화상 영역 분할선 Ld에 의해 분할된 화상 영역 중 어느 한 쪽의 측에 종합 피사체 무게 중심 Gt를 이동시키도록 하는 것이 생각된다.

또한, 예를 들면, 얼굴 방향에 대하여, 좌우 방향(혹은 상하 방향)에서, 예를 들면 2단계, 혹은 3단계보다도 많은 단계에 의해, 방향의 검출을 행할 수 있게 되어 있는 경우에는, 이와 같이 하여 검출된 방향의 단계(정도)에 따라서 수평 오프셋량 θx(혹은 수직 오프셋량 θy)를 가변하도록 하는 알고리즘을 채용하는 것이 생각된다.

또한, 기준선이 통과하는 기준점은, 이 경우에는, 도 7에서 도시한 바와 같이, 화면에서의 원점 좌표로 하고 있지만, 이 기준점의 위치에 대해서는, 예를 들면 보다 양호한 구도를 얻는 것 등을 목적으로 하여, 원점 좌표 이외의 위치가 설정되어도 되는 것이다.

도 14는, 본 실시 형태의 촬상 시스템의 변형예로서의 구성예를 도시하고 있다.

이 도면에서는, 우선, 디지털 스틸 카메라(1)로부터 통신 제어 처리 블록(63)을 경유하여, 촬상에 기초하여 신호 처리부(24)에서 생성되는 촬상 화상 데이터를, 운대(10)에 대하여 송신하도록 되어 있다.

이 도면에서는, 운대(10)의 구성으로서 통신 제어 처리 블록(71), 팬 틸트 제어 처리 블록(72), 피사체 검출 처리 블록(73), 및 구도 제어 처리 블록(74)이 도시되어 있다.

통신 제어 처리 블록(71)은, 도 4의 통신부(52)에 대응하는 기능 부위로서, 디지털 스틸 카메라(1) 측의 통신 제어 처리 블록부(63)(운대 대응 통신부(34))와의 통신 처리를 소정의 프로토콜에 따라서 실행하도록 하여 구성되는 부위이다.

통신 제어 처리 블록(71)에 의해 수신된 촬상 화상 데이터는, 피사체 검출 처리 블록(73)에 전달된다. 이 피사체 검출 블록(73)은, 예를 들면 도 5에 도시한 피사체 검출 처리 블록(61)과 동등한 피사체 검출 처리가 적어도 가능한 만큼의 신호 처리부를 구비하여 구성되고, 취득한 촬상 화상 데이터를 대상으로 하여 피사체 검출 처리를 실행하고, 그 검출 정보를 구도 제어 처리 블록(74)에 출력한다.

구도 제어 처리 블록(74)은, 도 5의 구도 제어 처리 블록(62)과 동등한 구도 제어를 실행 가능하게 되어 있고, 이 구도 제어 처리의 결과로서 팬 제어, 틸트 제어를 행할 때에는, 그를 위한 제어 신호를 팬 틸트 제어 처리 블록(72)에 대하여 출력한다.

팬 틸트 제어 처리 블록(72)은, 예를 들면 도 4에서의 제어부(51)가 실행하는 제어 처리 중에서, 팬 틸트 제어에 관한 처리의 실행 기능에 대응하는 것으로, 입력되는 제어 신호에 따라서 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤하기 위한 신호를 팬용 구동부(55), 틸트용 구동부(58)에 대하여 출력한다. 이것에 의해, 구도 제어 처리 블록(62)에서 판정한 구도가 얻어지도록 하여 패닝, 틸팅 이 행하여진다.

이와 같이 하여, 도 14에 도시하는 촬상 시스템은, 디지털 스틸 카메라(1)로부터 운대(10)에 촬상 화상 데이터를 송신시키는 것으로 하여, 운대(10) 측에 의해, 취득한 촬상 화상 데이터에 기초하는 피사체 검출 처리와 구도 제어를 실행하도록 하여 구성하고 있는 것이다.

도 15는, 본 실시 형태의 촬상 시스템에 대한 다른 변형예로서의 구성예를 도시하고 있다. 또한, 이 도면에서, 도 14와 동일 부분에는 동일 부호를 붙이고 설명을 생략한다.

이 시스템에서는, 운대(10) 측에서 촬상부(75)가 구비된다. 이 촬상부(75)는, 예를 들면 촬상을 위한 광학계와 촬상 소자(이미저)를 구비하여, 촬상광에 기초한 신호(촬상 신호)를 얻게 되어 있음과 함께, 이 촬상 신호로부터 촬상 화상 데이터를 생성하기 위한 신호 처리부로 이루어진다. 이것은, 예를 들면 도 3에 도시한 광학계부(21), 이미지 센서(22), A/D 컨버터(23), 및 신호 처리부(24)에서 촬상 화상 데이터를 얻기까지의 신호 처리단으로 이루어지는 부위에 대응하는 구성으로 된다. 촬상부(75)에 의해 생성되는 촬상 화상 데이터는 피사체 검출 처리 블록(73)에 출력된다. 또한, 촬상부(75)가 촬상광을 취득하는 방향(촬상 방향)은, 예를 들면 운대(10)에 재치되는 디지털 스틸 카메라(1)의 광학계부(21)(렌즈부(3))의 촬상 방향과 가능한 한 일치하도록 하여 설정된다.

이 경우의 피사체 검출 처리 블록(73) 및 구도 제어 처리 블록(74)은, 상기 도 14와 마찬가지로 하여 피사체 검출 처리, 구도 제어 처리를 실행한다. 단, 이 경우의 구도 제어 처리 블록(74)은, 팬 틸트 제어 외에, 릴리즈 동작을 실행시키는 타이밍에 대응해서는 릴리즈 지시 신호를, 통신 제어 처리 블록(71)으로부터 디지털 스틸 카메라(1)에 대하여 송신시킨다. 디지털 스틸 카메라(1)에서는, 릴리즈 지시 신호가 수신됨에 따라서 릴리즈 동작을 실행하게 된다.

이와 같이 하여 다른 변형예에서는, 피사체 검출 처리와 구도 제어에 관해서, 릴리즈 동작 자체에 관한 것 이외의 모든 제어ㆍ처리를 운대(10) 측에서 완결하여 행할 수 있다．

또한, 도 11, 도 13에 도시되는 구도 제어에서 실행되는 팬 제어, 틸트 제어는, 운대(10)의 팬 틸트 기구의 움직임을 제어함으로써 행하는 것으로 하고 있지만, 운대(10) 대신에, 예를 들면, 디지털 스틸 카메라(1)의 렌즈부(3)에 대해서는, 반사경에 의해 반사된 촬상광이 입사되도록 한 후에, 촬상광에 기초하여 얻어지는 화상에 대하여 패닝ㆍ틸팅된 결과가 얻어지도록 하여 상기 반사광을 움직이는 구성을 채용하는 것도 생각된다.

또한, 디지털 스틸 카메라(1)의 이미지 센서(22)로부터 화상으로서 유효한 촬상 신호를 취득하기 위한 화소 영역을 수평 방향과 수직 방향으로 시프트시킨다고 하는 제어를 행함으로써도, 패닝ㆍ틸팅이 행하여지는 것과 동등한 결과를 얻을 수 있다. 이 경우에는, 운대(10) 혹은 이것에 준하는, 디지털 스틸 카메라(1) 이외의 팬 틸트를 위한 장치부를 준비할 필요가 없이, 디지털 스틸 카메라(1) 단체에 의해 본 실시 형태로서의 구도 제어를 완결시키는 것이 가능하게 된다．

또한, 광학계부(21)에서의 렌즈의 광축을 수평ㆍ수직 방향으로 변경할 수 있 는 기구를 구비하여, 이 기구의 움직임을 제어하도록 구성하여도, 패닝ㆍ틸팅을 행하는 것이 가능하다.

또한, 본원 발명에 기초하는 구도 판정을 위한 구성은, 지금까지 실시 형태로서 설명해 온 촬상 시스템 이외에도 적용할 수 있다. 그래서 이후, 본원 발명에 의한 구도 판정의 적용예에 대하여 설명한다.

우선, 도 16은, 본원 발명에 의한 구도 판정을, 디지털 스틸 카메라 등의 촬상 장치 단체에 대하여 적용한 것으로, 예를 들면 촬상 모드 시에서 촬상 장치에 의해 촬상하고 있는 화상이 적정한 구도로 되었을 때에, 이것을 표시에 의해 유저에게 통지하고자 하는 것이다.

이 때문에 촬상 장치가 구비할 구성으로서, 여기서는 피사체 검출ㆍ구도 판정 처리 블록(81), 통지 제어 처리 블록(82), 표시부(83)를 도시하고 있다.

피사체 검출ㆍ구도 판정 처리 블록(81)은, 촬상 화상 데이터를 취득하여, 예를 들면 도 5의 피사체 검출 처리 블록(61)과 동등한 피사체 검출 처리와, 이 피사체 검출 처리의 결과로서의 검출 정보를 이용하여, 예를 들면 도 5와 동등한 구도 판정을 위한 처리를 행하게 된 부위이다.

예를 들면 유저는, 촬상 장치를 촬상 모드로 설정한 후에, 촬상 장치를 손에 들고 있어, 언제라도 릴리즈 조작(셔터 버튼 조작)을 행하면 촬상 화상의 기록을 행할 수 있는 상황에 있는 것으로 한다.

이러한 상태 하에서, 피사체 검출ㆍ구도 판정 처리 블록(81)에서는, 그 때에 촬상하여 얻어지는 촬상 화상 데이터를 취득하여 피사체 검출을 행한다. 그렇게 하면 구도 제어 처리에 의해서는, 우선, 검출된 개별 피사체의 수 등에 따라서 최적 구도가 어떠한 것인지가 특정되게 되는데, 이 경우의 구도 판정 처리로서는, 그 때에 얻어진 촬상 화상 데이터의 화상 내용의 구도와, 최적 구도와의 일치성, 유사도를 구하게 된다. 그리고, 예를 들면 유사도가 일정 이상으로 되었을 때에, 실제로 촬영하여 얻어지는 촬상 화상 데이터의 화상 내용이 최적 구도로 되었다고 판정하게 된다. 또한, 예를 들면 실제에서는, 촬상 화상 데이터의 화상 내용의 구도와 최적 구도가 일치하였다고 간주될 정도의, 소정 이상의 유사도가 얻어지면, 최적 구도라고 판단하게 하여 알고리즘을 구성하는 것이 생각된다. 또한, 여기서의 일치성, 유사도를 어떻게 하여 구할 것인지에 대해서는 다양한 알고리즘을 생각할 수 있으므로, 여기서는, 그 구체예에 대해서는 특별히 언급하지 않는다.

이와 같이 하여 촬상 화상 데이터의 화면 내용이 최적 구도로 된 것의 판정 결과의 정보는 통지 제어 처리 블록(82)에 대하여 출력된다. 통지 제어 처리 블록(82)은, 상기한 정보의 입력에 따라서, 현재에 촬상되고 있는 화상이 최적 구도인 것을 유저에게 통지하기 위한 소정 양태에 의한 표시가 표시부(83)에서 행하여지도록 표시 제어를 실행한다. 또한, 통지 제어 처리 블록(82)은, 촬상 장치가 구비하는 마이크로컴퓨터(CPU) 등에 의한 표시 제어 기능과, 표시부(83)에 대한 화상 표시를 실현하기 위한 표시용 화상 처리 기능 등에 의해 실현된다. 또한, 여기서의 최적 구도인 것의 유저에의 통지는, 전자음, 혹은 합성 음성 등을 비롯한 음에 의해 행하여지도록 구성하여도 된다.

또한, 표시부(83)는, 예를 들면 본 실시 형태의 디지털 스틸 카메라(1)의 표 시부(33)에 대응하는 것으로, 예를 들면 촬상 장치에서의 소정 위치에 대하여 그 디스플레이 패널이 표출되도록 하여 형성되고, 촬영 모드 시에는 소위 스루 화상이라고 불리는, 그 때에 촬상되는 화상이 표시되는 것이 일반적이다. 따라서, 이 촬상 장치의 실제에서는, 표시부(83)에서, 스루 화상에 대하여 중첩되는 양태에서 최적 구도인 것을 통지하는 내용의 화상이 표시되게 된다. 유저는, 이 최적 구도인 것을 통지하는 표시가 나타났을 때에 릴리즈 조작을 행하게 된다. 이것에 의해, 사진 촬영의 지식이나 기술이 뛰어나지 않은 유저라도, 양호한 구도의 사진 촬영을 간단히 행하는 것이 가능하게 된다.

또한, 도 17도, 상기 도 16과 마찬가지로 디지털 스틸 카메라 등의 촬상 장치 단체에 대하여 본원 발명에 의한 구도 판정을 적용한 것으로 된다．

우선, 이 도면에 도시하는 구성에서는, 도 16과 마찬가지로, 피사체 검출ㆍ구도 판정 처리 블록(81)에 의해, 그 때의 촬상에 의해 얻어지는 촬상 화상 데이터를 취득하여 피사체 검출 처리를 행함과 함께, 피사체 검출 정보에 기초하여, 상기한 촬상 화상 데이터의 화상 내용이 최적 구도인지의 여부를 판정하게 된다. 그리고, 최적 구도로 된 것을 판정하면, 이것을 릴리즈 제어 처리 블록(84)에 대하여 통지한다.

릴리즈 제어 처리 블록(84)은, 촬상 화상 데이터를 기록하기 위한 제어를 실행하는 부위로 되고, 예를 들면 촬상 장치가 구비하는 마이크로컴퓨터가 실행하는 제어 등에 의해 실현된다. 상기한 통지를 받은 릴리즈 제어 처리 블록(84)은, 그 때에 얻어진 촬상 화상 데이터가, 예를 들면 기억 매체에 기억되도록 하여 화상 신 호 처리, 기록 제어 처리를 실행한다.

이러한 구성이면, 예를 들면 최적의 구도의 화상이 촬상되었을 때에는, 자동적으로 그 촬상 화상의 기록이 행하여지도록 한 촬상 장치를 얻을 수 있다.

또한, 상기 도 16 및 도 17의 구성은, 예를 들면 스틸 카메라의 범주이면, 예를 들면 도 1에 의해 도시되는 바와 같은 구성의 디지털 스틸 카메라에 적용할 수 있는 것 외에, 은염 필름 등에 촬상 화상을 기록하는 소위 은염 카메라로 불리는 것에도, 예를 들면 광학계에 의해 얻어진 촬상광을 분광하여 취득하는 이미지 센서와, 이 이미지 센서로부터의 신호를 입력하여 처리하는 디지털 화상 신호 처리부 등을 형성함으로써 적용이 가능하다.

또한, 도 18은, 이미 존재하는 화상 데이터에 대하여 화상 편집을 행하는 편집 장치에 본원 발명을 적용한 예이다.

이 도면에서는 편집 장치(90)가 도시되어 있다. 여기서의 편집 장치(90)는, 이미 존재하는 화상 데이터로서, 예를 들면 기억 매체에 기억되어 있던 것을 재생하여 얻은 화상 데이터(재생 화상 데이터)를 얻게 되어 있다. 또한, 기억 매체로부터 재생한 것 외에, 예를 들면 네트워크 경유로 다운로드한 것을 취득하여도 된다. 즉, 편집 장치(90)가 취득할 촬상 화상 데이터를 어떠한 경로로 취득할 것인지에 대해서는, 특별히 한정되어서는 안된다.

편집 장치(90)가 취득한 것으로 되는 재생 촬상 화상 데이터는, 트리밍 처리 블록(91)과 피사체 검출ㆍ구도 판정 처리 블록(92)의 각각에 대하여 입력된다.

우선, 피사체 검출ㆍ구도 판정 처리 블록(92)은, 예를 들면 우선, 도 16, 도 17과 마찬가지의 피사체 검출 처리를 실행하여 검출 정보를 출력한다. 그리고, 이 검출 정보를 이용한 구도 판정 처리로서, 이 경우에는, 입력되는 재생 촬상 화상 데이터로서의 전체 화면에서, 최적 구도가 얻어지게 되는 소정의 종횡비에 의한 화상 부분(최적 구도의 화상 부분)이 어디인지를 특정한다. 그리고, 최적 구도의 화상 부분이 특정되면, 예를 들면 그 화상 부분의 위치를 나타내는 정보(트리밍 지시 정보)를 트리밍 처리 블록(91)에 대하여 출력한다.

트리밍 처리 블록(91)은, 상기한 바와 같이 하여 트리밍 지시 정보가 입력된 것에 응답하여, 입력되는 재생 촬상 화상 데이터로부터, 트리밍 지시 정보가 나타내는 화상 부분을 추출하기 위한 화상 처리를 실행하고, 추출한 화상 부분을 1개의 독립된 화상 데이터로서 출력한다. 이것이 편집 촬상 화상 데이터로 된다.

이러한 구성이면, 예를 들면 화상 데이터의 편집 처리로서, 원래 있는 화상 데이터의 화상 내용으로부터 최적 구조로 되는 부분을 추출한 내용의 화상 데이터를 신규로 얻는다고 하는 트리밍이 자동적으로 행하여지게 된다. 이러한 편집 기능은, 예를 들면 퍼스널 컴퓨터 등에 인스톨되는 화상 데이터 편집을 위한 어플리케이션이라든가, 화상 데이터를 관리하는 어플리케이션에서의 화상 편집 기능 등에 의해 채용하는 것이 생각된다.

도 19는, 본원 발명의 구도 판정을 디지털 스틸 카메라 등의 촬상 장치에 적용한 구성의 일례이다.

여기서는 도시하고 있지 않은 촬상부에 의해 촬상하여 얻어지는 촬상 화상 데이터는, 촬상 장치(100) 내의 피사체 검출ㆍ구도 판정 처리 블록(101), 파일 작 성 처리 블록(103)에 대하여 입력하는 것으로 하고 있다. 또한, 이 경우에, 촬상 장치(100) 내에 입력된 촬상 화상 데이터는, 예를 들면 릴리즈 조작 등에 따라서 기억 매체에 기억될 것으로 된 촬상 화상 데이터로서, 여기서는 도시하고 있지 않은, 촬상부에서의 촬상에 의해 얻어진 촬상 신호에 기초하여 생성된 것이다.

우선 피사체 검출ㆍ구도 판정 처리 블록(101)에서는, 입력받은 촬상 화상 데이터를 대상으로 피사체 검출을 행하고, 그 검출 정보에 기초하여 최적 구도가 어떠한 것인지를 판정하게 된다. 구체적으로는, 예를 들면 도 18의 경우와 마찬가지로 하여, 입력받은 촬상 화상 데이터의 전체 화면에서 최적 구도로 되는 화상 부분을 특정한 정보가 얻어지게 되면 된다. 그리고, 이와 같이 하여 얻은 최적 구도에 대한 판정 결과를 나타내는 정보를, 메타데이터 작성 처리 블록(102)에 대하여 출력한다.

메타데이터 작성 처리 블록(102)에서는, 입력받은 정보에 기초하여, 대응하는 촬상 화상 데이터로부터 최적 구도를 얻기 위하여 필요한 정보로 이루어지는 메타데이터(구도 편집 메타데이터)를 작성하고, 파일 작성 처리 블록(103)에 대하여 출력한다. 이 구도 편집 메타데이터의 내용으로서는, 예를 들면, 대응하는 촬상 화상 데이터로서의 화면에서 트리밍하는 화상 영역 부분이 어디인지를 나타낼 수 있는 위치 정보 등으로 된다.

이 도면에 도시하는 촬상 장치(100)에서는, 촬상 화상 데이터에 대하여, 소정 형식에 의한 정지 화상 파일로서 관리되도록 하여 기억 매체에 기록하는 것으로 된다. 이것에 대응하여, 파일 작성 처리 블록(103)은, 촬상 화상 데이터를, 정지 화상 파일 형식으로 변환(작성)한다.

파일 작성 처리 블록(103)은, 우선, 입력되는 촬상 화상 데이터에 대하여, 화상 파일 형식에 대응한 화상 압축 부호화를 행하고, 촬상 화상 데이터로 이루어지는 파일 본체 부분을 작성한다. 이것과 함께, 메타데이터 작성 처리 블록(102)으로부터 입력된 구도 편집 메타데이터를, 소정의 저장 위치에 대하여 저장하도록 하여 헤더 및 부가 정보 블록 등의 데이터 부분을 작성한다. 그리고, 이들 파일 본체 부분, 헤더, 부가 정보 블록 등으로부터 정지 화상 파일을 작성하고, 이것을 출력한다. 이것에 의해, 도시하는 바와 같이 하여, 기억 매체에 기록할 정지 화상 파일로서는, 촬상 화상 데이터와 함께 메타데이터(구도 편집 메타데이터)가 포함되는 구조를 가진 것이 얻어지게 된다.

도 20은, 상기 도 19의 장치에 의해 작성된 정지 화상 파일에 대하여 편집을 행하는 편집 장치의 구성예를 도시하고 있다.

도면에 도시하는 편집 장치(110)는, 정지 화상 파일의 데이터를 취득하여, 우선 메타데이터 분리 처리 블록(111)에 입력한다. 메타데이터 분리 처리 블록(111)은, 정지 화상 파일의 데이터로부터, 파일 본체 부분에 상당하는 촬상 화상 데이터와 메타데이터를 분리한다. 분리하여 얻어진 메타데이터에 대해서는 메타데이터 해석 처리 블록(112)에 대하여 출력하고, 촬상 화상 데이터에 대해서는 트리밍 처리 블록(113)에 대하여 출력한다.

메타데이터 해석 처리 블록(112)은, 취득한 메타데이터를 해석하는 처리를 실행하는 부위로 된다. 그리고, 해석 처리로서, 구도 편집 메타데이터에 대해서 는, 그 내용인 최적 구도를 얻기 위한 정보로부터, 적어도, 대응하는 촬상 화상 데이터를 대상으로 하여 트리밍을 행하는 화상 영역을 특정한다. 그리고, 이 특정된 화상 영역의 트리밍을 지시하는 트리밍 지시 정보를 트리밍 처리 블록(113)에 대하여 출력한다.

트리밍 처리 블록(113)은, 앞의 도 18의 트리밍 처리 블록(91)과 마찬가지로, 메타데이터 분리 처리 블록(111) 측으로부터 입력한 촬상 화상 데이터로부터, 상기 메타데이터 분리 처리 블록(112)으로부터 입력되는 트리밍 지시 정보가 나타내는 화상 부분을 추출하기 위한 화상 처리를 실행하고, 추출한 화상 부분을 1개의 독립된 화상 데이터인, 편집 촬상 화상 데이터로서 출력한다.

상기 도 19, 도 20에 도시되는 촬상 장치와 편집 장치로 이루어지는 시스템에 따르면, 예를 들면 촬영 등에 의해 얻은 오리지널의 정지 화상 데이터(촬상 화상 데이터)는 그대로 무가공으로 보존해 둘 수 있도록 한 후에, 이 오리지널 정지 화상 데이터로부터 메타데이터를 이용하여, 최적 구도로 되는 화상을 추출하는 편집을 행할 수 있게 된다. 또한, 이러한 최적 구도에 대응한 추출 화상 부분의 결정은, 자동적으로 행하여지는 것으로 된다．

도 21은, 비디오 카메라 등으로서의 동화상의 촬영 기록이 가능한 촬상 장치에 본원 발명을 적용한 예이다.

이 도면에 도시하는 촬상 장치(120)에는, 동화상 데이터가 입력된다. 이 동화상 데이터는, 예를 들면 동일한 촬상 장치(120)가 갖게 되는 촬상부에 의해 촬상을 행하여 얻어지는 촬상 신호에 기초하여 생성되는 것이다. 이 동화상 데이터는, 촬상 장치(120)에서의 피사체 검출ㆍ구도 판정 처리 블록(122), 및 파일 작성ㆍ기록 처리 블록(124)에 대하여 입력된다.

이 경우의 피사체 검출ㆍ구도 판정 처리 블록(122)은, 입력되어 오는 동화상 데이터에 대한 구도의 양부 판정을 행한다. 예를 들면, 피사체 검출ㆍ구도 판정 처리 블록(122)에서는, 미리 양호하게 되는 구도가 어떠한 것인지에 대한 파라미터(양호 구도 대응 파라미터)를 유지하고 있다. 이 파라미터로서는, 검출되는 개별 피사체수와, 개별 피사체마다 검출하여 얻은 얼굴 방향의 정보에 따라서 적절하다고 하여 설정된 목표 피사체 사이즈나 수평 오프셋량 θ 등으로 된다. 그리고, 피사체 검출ㆍ구도 판정 처리 블록(122)은, 입력되어 오는 동화상 데이터에 대하여, 예를 들면 계속적으로 어떠한 구도로 되어 있는지에 대한 구도 판정을 행함(예를 들면 동화상 데이터에서의 실제의 개별 피사체의 점유율, 피사체간 거리 K 등의 구도 파라미터를 구함)과 함께, 이 판정 결과로서 얻어진 동화상 데이터의 구도 파라미터와, 상기한 양호 구도 파라미터를 비교한다. 그리고, 동화상 데이터의 구도 파라미터가 양호 구도 대응 파라미터에 대하여 일정 이상의 유사도를 갖고 있으면 양호한 구도라고 판정되고, 상기 유사도가 일정 이하이면, 양호한 구도가 아니라고 판정된다.

피사체 검출ㆍ구도 판정 처리 블록(122)은, 상기한 바와 같이 하여 동화상 데이터에 대하여 양호한 구도가 얻어지고 있다고 판정하였을 때에는, 메타데이터 작성 처리 블록(123)에 대하여, 동화상 데이터에서, 금회, 상기한 양호한 구도가 얻어지고 있다고 판정한 화상 구간(양호 구도 화상 구간)이 어디인지를 나타내는 정보(양호 구도 화상 구간 지시 정보)를 출력한다. 양호 구도 화상 구간 지시 정보는, 예를 들면 동화상 데이터에서의 양호 구도 화상 구간으로서의 개시 위치와 종료 위치를 나타내는 정보 등으로 된다.

이 경우의 메타데이터 작성 처리 블록(123)은, 다음에 설명하는 동화상 기록 처리 블록(124)에 의해 기억 매체에 파일로서 기록되는 동화상 데이터에 대한, 각종 필요한 메타데이터를 생성하는 것으로 된다. 게다가, 상기한 바와 같이 하여 피사체 검출ㆍ구도 판정 처리 블록(122)으로부터 양호 구도 화상 구간 지시 정보를 입력한 경우에는, 입력된 양호 구도 화상 구간 지시 정보가 나타내는 화상 구간이 양호한 구도인 것을 나타내는 메타데이터를 생성하고, 동화상 기록 처리 블록(124)에 대하여 출력한다.

동화상 기록 처리 블록(124)은, 입력받은 동화상 데이터에 대하여, 소정 형식에 의한 동화상 파일로서 관리되도록 하여 기억 매체에 기록하기 위한 제어를 실행한다. 그리고, 메타데이터 작성 처리 블록(123)으로부터 메타데이터가 출력되어 온 경우에는, 이 메타데이터가, 동화상 파일에 부수되는 메타데이터에 포함되도록 하여 기록되도록 하기 위한 제어를 실행한다.

이것에 의해, 도시하는 바와 같이 하여, 기억 매체에 기록되는 동화상 파일은, 촬상에 의해 얻어졌다고 하는 동화상 데이터에, 양호한 구도가 얻어진 화상 구간을 나타내는 메타데이터가 부수된 내용을 갖게 된다.

또한, 상기한 바와 같이 하여 메타데이터에 의해 표시되는, 양호한 구도가 얻어진 화상 구간은, 어느 정도의 시간 폭을 갖는 동화상에 의한 화상 구간으로 되 어도 되고, 동화상 데이터로부터 추출한 정지 화상에 의한 것으로 되어도 된다. 또한, 상기한 메타데이터 대신에, 양호한 구도가 얻어진 화상 구간의 동화상 데이터 혹은 정지 화상 데이터를 생성하여, 이것을 동화상 파일에 부수되는 부차적인 화상 데이터 정지 화상 데이터(혹은 동화상 파일과 독립된 파일)로서 기록하는 구성도 생각된다.

또한, 도 21에 도시되는 바와 같이 하여, 촬상 장치(120)에 대하여 피사체 검출ㆍ구도 판정 처리 블록(122)을 구비하는 구성에서는, 피사체 검출ㆍ구도 판정 처리 블록(122)에 의해 양호 구도 화상 구간이라고 판정된 동화상의 구간만을 동화상 파일로서 기록하도록 구성하는 것도 생각된다. 나아가서는, 피사체 검출ㆍ구도 판정 처리 블록(122)에 의해 양호 구도라고 판정된 화상 구간에 대응하는 화상 데이터를, 데이터 인터페이스 등을 경유하여 외부 기기에 출력하도록 하는 구성도 생각할 수 있다.

도 22는, 인쇄를 행하는 인쇄 장치에 본원 발명을 적용한 예이다.

이 경우에는, 인쇄 장치(130)가, 인쇄할 화상 내용을 갖는 화상 데이터(정지 화상)를 취득하는 것으로 되어 있고, 이와 같이 하여 취득한 데이터는, 트리밍 처리 블록(131), 및 피사체 검출ㆍ구도 판정 처리 블록(132)에 대하여 입력된다.

우선, 피사체 검출ㆍ구도 판정 처리 블록(132)은, 도 18의 피사체 검출ㆍ구도 판정 처리 블록(92)과 마찬가지의 피사체 검출 처리ㆍ구도 판정 처리를 실행함으로써, 입력되는 화상 데이터의 전체 화면에서의 최적 구도의 화상 부분을 특정하는 처리를 실행하고, 이 처리 결과에 따른 내용의 트리밍 지시 정보를 생성하여 트 리밍 처리 블록(131)에 대하여 출력한다.

트리밍 처리 블록(131)은, 도 18의 트리밍 처리 블록(91)과 마찬가지로 하여, 입력한 화상 데이터로부터, 트리밍 지시 정보가 나타내는 화상 부분을 추출하기 위한 화상 처리를 실행한다. 그리고, 이 추출한 화상 부분의 데이터를, 인쇄용 화상 데이터로서 인쇄 제어 처리 블록(133)에 대하여 출력한다.

인쇄 제어 처리 블록(133)은, 입력받은 인쇄용 화상 데이터를 이용하여, 여기서는 도시하고 있지 않은 인쇄 기구를 동작시키기 위한 제어를 실행한다.

이러한 동작에 의해, 인쇄 장치(130)에 의해서는, 입력한 화상 데이터의 화상 내용으로부터, 최적 구도가 얻어지게 되는 화상 부분이 자동적으로 추출되어, 1매의 화상으로서 인쇄되게 된다.

도 23에 도시되는 예는, 예를 들면 정지 화상 파일을 다수 기억하여, 이들 정지 화상 파일을 이용한 서비스를 제공하기 위한 장치, 시스템에 적용하기에 바람직하다.

기억부(141)에는, 다수의 정지 화상 파일이 기억된다.

피사체 검출ㆍ구도 판정 처리 블록(142)은, 소정의 타이밍에서, 기억부(141)에 기억되어 있는 정지 화상 파일을 취득하고, 그 파일 본체부에 저장되는 정지 화상 데이터를 취출한다. 그리고, 이 정지 화상 데이터를 대상으로 하여, 예를 들면 도 19의 피사체 검출ㆍ구도 판정 처리 블록(101)과 마찬가지의 처리를 실행하여 최적 구도에 대한 판정 결과를 나타내는 정보를 얻어, 이 정보를 메타데이터 작성 처리 블록(143)에 대하여 출력한다.

메타데이터 작성 처리 블록(143)은, 입력받은 정보에 기초하여, 앞의 도 19의 메타데이터 작성 처리 블록(102)과 마찬가지로, 메타데이터(구도 편집 메타데이터)를 작성한다. 게다가, 이 경우에는, 작성한 메타데이터를, 기억부(141)에 기억되는 메타데이터 테이블에 등록한다. 이 메타데이터 테이블은, 동일한 기억부(141)에 기억되는 정지 화상 데이터와의 대응 관계가 표시되도록 하여 메타데이터를 저장하여 이루어지는 정보 단위로 된다. 즉, 메타데이터 테이블에 의해서는, 메타데이터(구도 편집 메타데이터)와, 이 메타데이터를 작성하기 위하여 피사체 검출ㆍ구도 판정 처리 블록(101)에 의해 피사체 검출 처리 및 구도 판정 처리의 대상으로 된 정지 화상 파일과의 대응이 표시된다.

그리고, 예를 들면 외부로부터의 정지 화상 파일의 요구에 따라서, 기억부(141)에 기억되어 있는 정지 화상 파일을 출력할(예를 들면 서버이면, 클라이언트로부터의 다운로드 요구에 따라서 정지 화상 파일을 다운로드하는 경우 등으로 됨) 때에는, 정지 화상 파일 출력 처리 블록(144)이, 기억부(141)로부터 요구된 정지 화상 파일을 검색하여 취득함과 함께, 이 검색한 정지 화상 파일에 대응하는 메타데이터(구도 편집 메타데이터)도, 메타데이터 테이블로부터 검색하여 취득하게 된다.

그리고, 이 정지 화상 파일 출력 처리 블록(144)은, 예를 들면 도 20에 도시한 메타데이터 해석 처리 블록(112), 및 트리밍 처리 블록(113)에 상당하는 기능 블록을 적어도 갖고 이루어진다.

정지 화상 파일 출력 처리 블록(144)에서는, 내부의 메타데이터 작성 처리 블록에 의해, 취득한 메타데이터를 해석하여 트리밍 지시 정보를 얻는다. 그리고, 동일한 내부의 트리밍 처리 블록에 의해, 취득한 정지 화상 파일에 저장되는 정지 화상 데이터를 대상으로 하여, 상기 트리밍 지시 정보에 따른 트리밍을 실행한다. 그리고, 트리밍에 의해 얻어진 화상 부분을 재차 1개의 정지 화상 데이터로서 생성하고, 이것을 출력한다.

상기 도 23의 시스템 구성은, 다양한 서비스에의 적용을 생각할 수 있다.

예를 들면, 하나로는 네트워크 경유에 의한 사진의 프린트 서비스에 적용할 수 있다. 즉, 유저는, 프린트 서비스의 서버에, 프린트(인쇄)하고자 하는 화상 데이터(정지 화상 파일)를 네트워크 경유로 업 로드한다. 서버에서는, 이와 같이 하여 업 로드되어 온 정지 화상 파일을 기억부(141)에 기억해 두고, 이 파일에 대응하는 메타데이터도 작성하여 메타데이터 테이블에 등록해 둔다. 그리고, 실제로 인쇄 출력할 때에는, 정지 화상 파일 출력 처리 블록(144)에 의해, 최적 구도를 추출한 정지 화상 데이터를 인쇄용의 화상 데이터로서 출력한다. 즉, 이 서비스에 의해서는, 사진 프린트를 의뢰하면, 최적 구도로 보정되어 프린트된 것이 보내져 오는 것이다.

또한 하나로는, 예를 들면 블로그 등의 서버에도 적용할 수 있다. 기억부(141)에는, 블로그의 텍스트의 데이터와 함께 업 로드된 화상 데이터를 기억시키는 것으로 한다. 이것에 의해, 예를 들면 블로그의 페이지에는, 유저가 업 로드한 화상 데이터로부터 최적 구도를 추출한 화상을 접착시키는 것이 가능하게 된다.

또한, 상기 도 14~도 23에 의해 설명한 예는 일부로서, 본원 발명에 의한 구 도 판정을 적용할 수 있는 장치, 시스템, 어플리케이션 소프트웨어 등은 이 이외에도 생각할 수 있다.

또한, 지금까지의 실시 형태의 설명에서는, 피사체(개별 피사체)는, 사람인 것을 전제로 하고 있지만, 예를 들면, 사람 이외의 동물을 피사체로 하는 경우에도, 본원 발명을 적용하는 것을 생각할 수 있다.

또한, 피사체 검출의 대상으로 되는 화상 데이터는, 촬상으로부터 유래하여 얻어지는 것(촬상 화상 데이터)에만 한정되어서는 안되며, 예를 들면, 그림이라든가 디자인 화상 등의 화상 내용을 갖는 화상 데이터를 대상으로 하는 것도 생각된다.

또한, 본원 발명 하에서 판정되는 구도(최적 구도)는, 반드시, 3분할법 등의 구도 설정 방법에 대하여, 검출된 개별 피사체의 수의 요소를 가미하는 방법에 의해 결정된 구도에 한정되는 것은 아니다. 예를 들면 일반적으로는 좋지 않다고 여겨지는 구도이어도, 구도의 설정대로에서는, 유저가 재미를 느끼거나, 오히려 좋다고 느끼는 경우도 있다고 생각된다. 따라서, 본원 발명 하에서 판정되는 구도(최적 구도)로서는, 실용성, 엔터테인먼트성 등을 고려하여 임의로 설정되면 되며, 실제에서는 특별히 제한은 없다.

도 1은 본 발명의 실시 형태로서의 촬상 시스템(디지털 스틸 카메라, 운대)의 외관 구성예를 도시하는 도면.

도 2는 실시 형태의 촬상 시스템의 동작으로서, 운대에 부착된 디지털 스틸 카메라의 팬 방향 및 틸트 방향을 따른 움직임의 예를 모식적으로 도시하는 도면.

도 3은 실시 형태의 디지털 스틸 카메라의 구성예를 도시하는 도면.

도 4는 실시 형태의 운대의 구성예를 도시하는 도면.

도 5는 실시 형태의 디지털 스틸 카메라가 구도 제어에 대응하여 구비하는 것으로 되는 기능을 블록 단위의 구성에 의해 도시하는 도면.

도 6은 개별 피사체의 무게 중심과, 복수의 개별 피사체에 대한 종합 피사체 무게 중심을 설명하는 도면.

도 7은 촬상 화상 데이터의 화면에 설정한 원점 좌표를 설명하는 도면.

도 8은 제1 구도 제어에서의, 검출된 개별 피사체수가 1인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 9는 제1 구도 제어에서의, 검출된 개별 피사체수가 2인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 10은 제1 구도 제어에서의, 검출된 개별 피사체수가 3인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 11은 제1 구도 제어를 위한 처리 수순예를 도시하는 플로우차트.

도 12는 제2 구도 제어에서의, 검출된 개별 피사체수가 3인 경우의 구도 제 어예를 모식적으로 도시하는 도면.

도 13은 제2 구도 제어를 위한 처리 수순예를 도시하는 플로우차트.

도 14는 실시 형태의 촬상 시스템의 변형예로서의 구성예를 도시하는 도면.

도 15는 실시 형태의 촬상 시스템의 다른 변형예로서의 구성예를 도시하는 도면.

도 16은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 17은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 18은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 19는 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 20은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 21은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 22는 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

도 23은 본원 발명에 기초하는 구도 판정의 적용예를 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 디지털 스틸 카메라

2 : 셔터 버튼

3 : 렌즈부

10 : 운대

21 : 광학계

22 : 이미지 센서

23 : A/D 컨버터

24 : 신호 처리부

25 : 인코드/디코드부

26 : 미디어 컨트롤러

27 : 제어부

28 : ROM

29 : RAM

30 : 플래시 메모리

31 : 조작부

32 : 표시 드라이버

33 : 표시부

34 : 운대 대응 통신부

40 : 메모리 카드

51 : 제어부

52 : 통신부

53 : 팬 기구부

54 : 팬용 모터

55 : 팬용 구동부

56 : 틸트 기구부

57 : 틸트용 모터

58 : 틸트용 구동부

61 : 피사체 검출 처리 블록

62 : 구도 제어 처리 블록

63 : 통신 제어 처리 블록

SBJ(SBJ0~n) : 개별 피사체

71 : 통신 제어 처리 블록

72 : 팬 틸트 제어 처리 블록

73 : 피사체 검출 처리 블록

74 : 구도 제어 처리 블록

75 : 촬상부

81, 92, 101, 122, 132, 142 : 피사체 검출ㆍ구도 판정 처리 블록

82 : 통지 제어 처리 블록

83 : 표시부

84 : 릴리즈 제어 처리 블록

91, 131 : 트리밍 처리 블록

102, 123, 143 : 메타데이터 작성 처리 블록

103 : 파일 작성 처리 블록

111 : 메타데이터 분리 처리 블록

112 : 메타데이터 해석 처리 블록

113 : 트리밍 처리 블록

124 : 파일 작성ㆍ기록 처리 블록

133 : 인쇄 제어 처리 블록

141 : 기억부

144 : 정지 화상 파일 출력 처리 블록

Claims (10)

1. 화상 내에서의 특정한 피사체를 검출하는 피사체 검출 수단과,

   상기 피사체 검출 수단에 의해 검출되는 피사체인 검출 피사체마다, 상기 검출 피사체가 상기 화상 내에서 향하고 있는 방향을 나타내는 피사체 방향 정보를 검출하는 피사체 방향 검출 수단과,

   상기 피사체 방향 정보에 기초하여 구도를 판정하는 구도 판정 수단을 구비하고,

   상기 구도 판정 수단은, 상기 피사체 검출 수단에 의해 복수의 피사체가 검출되었을 때에, 상기 복수의 피사체에 대응하는 복수의 상기 피사체 방향 정보의 관계에 기초하여 구도를 판정하고, 그 판정 결과로서 얻은 구도에서 상기 화상 내에 설정된 화상 영역 분할선으로부터의 오프셋량을 피사체의 수에 따라 설정하고,

   피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 나타내는 방향이 서로 다른 피사체 방향 정보의 관계에 기초하여, 적어도, 복수의 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 판정 결과로서 얻는 경우가 있도록 됨과 함께,

   상기 나타내는 방향이 서로 다른 피사체 방향 정보간의 관계로서, 동일한 방향을 나타내는 최다의 피사체 방향 정보군에 대하여 전체 피사체 방향 정보의 일정 비율 이상을 차지하는 것이 존재하는 경우에는, 상기 화상 내의 모든 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 의해 분할되는 화상 내의 분할 영역 중에서, 상기 최다의 피사체 방향 정보군이 나타내는 방향과는 반대측의 분할 영역에 위치하도록 된 구도를 판정 결과로서 얻도록 되는, 구도 판정 장치.
2. 화상 내에서의 특정한 피사체를 검출하는 피사체 검출 수단과,

   상기 피사체 검출 수단에 의해 검출되는 피사체인 검출 피사체마다, 상기 검출 피사체가 상기 화상 내에서 향하고 있는 방향을 나타내는 피사체 방향 정보를 검출하는 피사체 방향 검출 수단과,

   상기 피사체 방향 정보에 기초하여 구도를 판정하는 구도 판정 수단을 구비하고,

   상기 구도 판정 수단은, 상기 피사체 검출 수단에 의해 복수의 피사체가 검출되었을 때에, 상기 복수의 피사체에 대응하는 복수의 상기 피사체 방향 정보의 관계에 기초하여 구도를 판정하고, 그 판정 결과로서 얻은 구도에서 상기 화상 내에 설정된 화상 영역 분할선으로부터의 오프셋량을 피사체의 수에 따라 설정하고,

   피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 나타내는 방향이 서로 다른 피사체 방향 정보의 관계에 기초하여, 적어도, 복수의 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 판정 결과로서 얻는 경우가 있도록 됨과 함께,

   상기 나타내는 방향이 서로 다른 피사체 방향 정보간의 관계로서, 동일한 방향을 나타내는 최다의 피사체 방향 정보군에 대하여 전체 피사체 방향 정보의 일정 비율 이상을 차지하는 것이 존재하지 않는 경우에는, 상기 화상 내의 모든 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 최적 구도인 것으로서 판정하는, 구도 판정 장치.
3. 제1항 또는 제2항에 있어서,

   상기 구도 판정 수단은, 상기 검출 피사체의 수가 많아짐에 따라 상기 오프셋량을 줄이는, 구도 판정 장치.
4. 제3항에 있어서,

   상기 오프셋량은, 상기 화상 영역 분할선으로부터, 상기 화상 내의 영역에서의 전체의 검출 피사체로 이루어지는 화상 부분에 설정된 무게 중심까지의 거리인, 구도 판정 장치.
5. 제4항에 있어서,

   상기 구도 판정 수단은,

   피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 상기 무게 중심이, 상기 화상 영역 분할선에 의해 분할되는 화상 내의 분할 영역 중에서, 상기 복수의 피사체 방향 정보가 나타내는 방향과는 반대측의 분할 영역에 위치하도록 된 구도를 판정 결과로서 얻는, 구도 판정 장치.
6. 제1항 또는 제2항에 있어서,

   판정된 상기 구도로 된 경우에, 유저로의 통지를 행하는 통지 제어 처리 수단을 더 구비하는, 구도 판정 장치.
7. 제1항에 있어서,

   상기 구도 판정 수단은,

   상기 판정 결과로서 얻은 구도에서, 상기 화상 영역 분할선으로부터 상기 무게 중심까지의 거리에 대해서는, 상기 검출 피사체의 수에 기초하여 설정하도록 되어 있는, 구도 판정 장치.
8. 제1항 또는 제2항에 있어서,

   상기 구도 판정 수단에 의해 판정된 구도가 얻어지도록 기구를 제어하는 구도 제어 처리 수단을 더 구비하는, 구도 판정 장치.
9. 화상 내에서의 특정한 피사체를 검출하는 피사체 검출 수순과,

   상기 피사체 검출 수순에 의해 검출되는 피사체인 검출 피사체마다, 상기 검출 피사체가 상기 화상 내에서 향하고 있는 방향을 나타내는 피사체 방향 정보를 검출하는 피사체 방향 검출 수순과,

   상기 피사체 방향 정보에 기초하여 구도를 판정하는 수순으로서, 상기 피사체 검출 수순에 의해 복수의 피사체가 검출되었을 때에, 상기 복수의 피사체에 대응하는 복수의 상기 피사체 방향 정보의 관계에 기초하여 구도를 판정하고, 그 판정 결과로서 얻은 구도에서 상기 화상 내에 설정된 화상 영역 분할선으로부터의 오프셋량을 피사체의 수에 따라 설정하는 구도 판정 수순

   을 실행하고,

   피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 나타내는 방향이 서로 다른 피사체 방향 정보의 관계에 기초하여, 적어도, 복수의 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 판정 결과로서 얻는 경우가 있도록 됨과 함께,

   상기 나타내는 방향이 서로 다른 피사체 방향 정보간의 관계로서, 동일한 방향을 나타내는 최다의 피사체 방향 정보군에 대하여 전체 피사체 방향 정보의 일정 비율 이상을 차지하는 것이 존재하는 경우에는, 상기 화상 내의 모든 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 의해 분할되는 화상 내의 분할 영역 중에서, 상기 최다의 피사체 방향 정보군이 나타내는 방향과는 반대측의 분할 영역에 위치하도록 된 구도를 판정 결과로서 얻도록 되는, 구도 판정 방법.
10. 화상 내에서의 특정한 피사체를 검출하는 피사체 검출 수순과,

    상기 피사체 검출 수순에 의해 검출되는 피사체인 검출 피사체마다, 상기 검출 피사체가 상기 화상 내에서 향하고 있는 방향을 나타내는 피사체 방향 정보를 검출하는 피사체 방향 검출 수순과,

    상기 피사체 방향 정보에 기초하여 구도를 판정하는 수순으로서, 상기 피사체 검출 수순에 의해 복수의 피사체가 검출되었을 때에, 상기 복수의 피사체에 대응하는 복수의 상기 피사체 방향 정보의 관계에 기초하여 구도를 판정하고, 그 판정 결과로서 얻은 구도에서 상기 화상 내에 설정된 화상 영역 분할선으로부터의 오프셋량을 피사체의 수에 따라 설정하는 구도 판정 수순

    을 구도 판정 장치에 실행시키고,

    피사체 방향 정보가 나타내는 방향의 모두가 동일하지는 않게 되는 관계인 경우에는, 나타내는 방향이 서로 다른 피사체 방향 정보의 관계에 기초하여, 적어도, 복수의 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 대응하여 위치하도록 된 구도를 판정 결과로서 얻는 경우가 있도록 됨과 함께,

    상기 나타내는 방향이 서로 다른 피사체 방향 정보간의 관계로서, 동일한 방향을 나타내는 최다의 피사체 방향 정보군에 대하여 전체 피사체 방향 정보의 일정 비율 이상을 차지하는 것이 존재하는 경우에는, 상기 화상 내의 모든 검출 피사체로 이루어지는 화상 부분에 설정한 무게 중심이, 상기 화상 내에 설정한 화상 영역 분할선에 의해 분할되는 화상 내의 분할 영역 중에서, 상기 최다의 피사체 방향 정보군이 나타내는 방향과는 반대측의 분할 영역에 위치하도록 된 구도를 판정 결과로서 얻도록 되는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.

Images