KR20090039595A - 구도 판정 장치, 구도 판정 방법, 프로그램 - Google Patents

Abstract

본 발명은, 화상 촬영에 관한 것으로서, 지금까지 보다도 고도의 구도 제어를 행할 수 있도록 하기 위해, 촬상 화상으로부터 우선 사람으로서의 피사체를 검출하고, 검출된 피사체수가 하나인 경우에는 화면 내의 피사체 사이즈의 점유율이 소정 범위치 내가 되는 구도를 최적 구도로서 판정하고, 2개인 경우에는 피사체 사이 거리가 화면 수평 사이즈의 1/3이 되는 구도를, 3개 이상인 경우에는, 피사체 사이 거리가 화면 수평 사이즈의 1/2이 되는 구도를 최적 구도로서 판정한다. 그리고, 판정된 최적 구도가 얻어지도록, 카메라의 줌 제어, 운대의 팬·틸트 제어를 적절히 행한다.

디지털 스틸 카메라, 셔터 버튼, 렌즈부, 운대

Description

구도 판정 장치, 구도 판정 방법, 프로그램{COMPOSITION DETERMINING APPARATUS, COMPOSITION DETERMINING METHOD AND PROGRAM}

본 발명은, 예를 들면 정지화로서의 화상 데이터를 대상으로 하여, 그 그림(image) 내용이 갖는 구도(composition)를 판정하게 이루어진 장치인, 구도 판정 장치와 그 방법에 관한 것이다. 또한, 이와 같은 장치가 실행하는 프로그램에 관한 것이다.

예를 들면, 좋은 인상을 줄 수 있는 사진을 촬영하기 위한 테크닉적인 한 요소로서, 구도 설정을 들 수 있다. 여기서 말하는 구도는, 프레이밍(framing)이라고 하는 것으로, 예를 들면 사진으로서의 화면 내에서의 피사체의 배치를 말한다.

양호한 구도로 하기 위한 일반적, 기본적인 수법은 몇 가지 있지만, 일반적인 카메라 유저가 좋은 구도의 사진을 촬영하는 것은, 사진 촬영에 관한 충분한 지식, 기술을 갖지 않는 한, 결코 간단한 것이 아니다. 이것에서 보면, 예를 들면 양호한 구도의 사진 화상을 손쉽고 간단하게 얻을 수 있는 기술 구성이 요구되게 된 다.

예를 들면 특허 문헌 1에는, 자동 트랙킹(tracking) 장치로서, 일정 시간 간격의 화상 사이의 차를 검출하여, 화상 사이의 차의 중심을 산출하고, 이 중심의 이동량, 이동 방향으로부터 피사체 화상의 촬상 화면에 대한 이동량, 이동 방향을 검출하여 촬상 장치를 제어하고, 피사체 화상을 촬상 화면의 기준 영역 내에 설정하는 기술 구성이 개시되어 있다.

또한, 특허 문헌 2에는, 자동 트랙킹 장치로서, 인물을 자동 트랙킹하는 경우에, 인물의 얼굴이 화면 중앙이 되도록 화면 위의 인물상 전체의 면적에 대해 그 인물 위의 상측부터 20%의 면적이 되는 위치를 화면 중앙으로서 트랙킹함에 의해 인물의 얼굴을 확실하게 촬영하면서 트랙킹할 수 있도록 한 기술 구성이 개시되어 있다.

이들의 기술 구성을 구도 결정의 관점에서 보면, 인물로서의 피사체를 자동적으로 탐색하여, 촬영 화면에 있어서 어느 정해진 구도로 그 피사체를 배치시키는 것이 가능하게 되어 있다.

특허 문헌 1 : 일본 특개소59-208983호 공보

특허 문헌 2 : 일본 특개2001-268425호 공보

예를 들면, 피사체에 관한 소정의 상황, 상태 등에 대응하여서는, 최적 구도 도 달라져 오는 일이 있다고 고려된다. 그러나, 상기 특허 문헌에 의한 기술에서는 , 트랙킹한 피사체를 어느 고정적인 구도로 배치시키는 것밖에 할 수 없다. 따라서 피사체의 상황 등에 대응하여 구도를 변경하여 촬영하는 것은 할 수 없게 된다. 그래서, 본원 발명에서는, 예를 들면 사진 등으로서의 화상에 관해 양호한 구도가 손쉽게 얻어지도록 하기 위한 기술을 제안하는 것을 목표로 하면서도, 그 때에, 피사체의 상황·상태의 변화에도 적응하여 보다 고도이고 유연성 있는 구도의 결정을 행할 수 있도록 하는 것을 목적으로 한다.

그래서 본 발명은 상기한 과제를 고려하여, 구도 판정 장치로서 다음과 같이 구성한다.

즉, 화상 데이터에 의거한 화상중에 있어서의 특정한 피사체의 존재를 검출하는 피사체 검출 수단과, 이 피사체 검출 수단에 의해 검출된 피사체인 검출 피사체의 수에 따라 구도를 판정하는 구도 판정 수단을 구비하여 구도 판정 장치를 구성하는 것으로 하였다.

상기 구성에서는, 화상 데이터에 의거한 화상 중에서 검출되는 피사체의 수에 따라 최적이 되는 구도의 판정이 행하여진다. 예를 들면 1화면 내에서 존재하는 피사체의 수에 따라, 최적이 되는 구도는 달라지는 것이나, 본원 발명에 의하면, 피사체수라는 상황의 변화에 적응하여 최적 구도를 얻을 수 있게 되는 것이다.

이와 같이 하여 본 발명에 의해서는, 화상 데이터가 갖는 화상의 내용에 관해, 피사체수에 따른 최적 구도를 얻는 것이 가능해진다. 즉, 단순하게 어떤 고정적인 구도에 의한 피사체의 배치가 행하여지는 경우와 비교하여, 보다 고도이고 유연성이 있는 구도 결정이 자동적으로 행하여진다. 이로써, 본원 발명을 적용한 장치를 이용하는 유저는, 번거로운 수고를 가하는 일 없이, 최적 구도의 화상을 얻는 것이 가능해지는 것이고, 예를 들면 지금까지보다도 높은 편리성을 제공할 수 있게 된다.

이하, 본원 발명을 실시하기 위한 최선의 형태(이하, 실시의 형태라고 한다)에 관해 설명을 행한다. 본 실시의 형태로서는, 본원 발명에 의거한 구성을, 디지털 스틸 카메라와, 이 디지털 스틸 카메라가 부착된 운대((pan/tilt head)로 이루어지는 촬상 시스템에 적용한 경우를 예로 드는 것으로 한다.

도 1은, 본 실시의 형태로서의 촬상 시스템의 외관 구성예를, 정면도에 의해 도시하고 있다.

이 도면에 도시되는 바와 같이, 본 실시의 형태의 촬상 시스템은, 디지털 스틸 카메라(1)와 운대(10)로 이루어진다.

디지털 스틸 카메라(1)는, 본체 정면측의 패널에 마련되어 있는 렌즈부(3)에 의해 촬상하여 얻어지는 촬상광에 의거하여 정지화상 데이터를 생성하고, 이것을 내부에 장전되어 있는 기억 매체에 기억시키는 것이 가능하게 되어 있다. 즉, 사진으로서 촬영한 화상을, 정지화상 데이터로서 기억 매체에 기억 보존시키는 기능을 갖는다. 이와 같은 사진 촬영을 수동으로 행할 때에는, 유저는, 본체 윗면부에 마련되어 있는 셔터(릴리즈) 버튼을 푸시 조작한다.

운대(10)에는, 상기 디지털 스틸 카메라(1)를 고정하도록 하여 부착할 수 있다. 즉, 운대(10)와 디지털 스틸 카메라(1)는, 상호의 부착을 가능하게 하기 위한 기구 부위를 구비하고 있다.

그리고, 운대(10)에서는, 부착된 디지털 스틸 카메라(1)를, 팬 방향(수평 방향)과 틸트 방향의 양방향에 의해 움직이기 위한 팬·틸트 기구를 구비한다.

운대(10)의 팬·틸트 기구에 의해 주어지는 디지털 스틸 카메라(1)의 팬 방향, 틸트 방향 각각의 움직이는 방식은 예를 들면 도 2(a) (b)에 도시되는 것으로 된다. 도 2(a) (b)는, 운대(10)에 부착되어 있게 되는 디지털 스틸 카메라(1)를 빼내어 각각 평면 방향, 측면 방향에서 본 것이다.

우선 팬 방향에 관해서는, 디지털 스틸 카메라(1)의 본체 횡방향과 도 2(a)에 도시되는 직선(X1)이 같은 방향이 되는 위치 상태를 기준으로 하여, 예를 들면 회전축(Ct1)을 회전 중심으로 하여 회전 방향(+α)에 따른 회전이 행하여짐으로써, 오른쪽 방향으로의 패닝의 움직임이 주어진다. 또한, 회전 방향(-α)에 따른 회전이 행하여짐으로써, 왼쪽 방향으로의 패닝의 움직임이 주어진다.

또한, 틸트 방향에 관해서는, 디지털 스틸 카메라(1)의 본체 종방향이 수직 방향의 직선(Y1)과 일치하는 한 상태를 기준으로 하여, 예를 들면 회전축(Ct2)을 회전 중심으로 하여 회전 방향(+β)으로의 회전이 행하여짐으로써, 아래방향으로의 패닝의 움직임이 주어진다. 또한, 회전 방향(-β)으로의 회전이 행하여짐으로써, 윗방향으로의 패닝의 움직임이 주어진다.

또한, 도 2(a) (b)에 도시되는, ±α 방향, 및 ±β 방향의 각각에서의 최대 가동회전 각도에 관해서는 언급하고 있지 않지만, 피사체의 포착의 기회를 가능한 한 많게 하여야 할 것을 고려하는 것이라면, 가능한 한 최대 가동 회전 각도를 크게 취하는 것이 바람직한 것이 된다.

도 3의 블록도는, 본 실시의 형태의 디지털 스틸 카메라(1)의 내부 구성예를 도시하고 있다.

이 도면에서, 우선, 광학계부(21)는, 예를 들면 줌렌즈, 포커스 렌즈 등도 포함하는 소정 매수의 촬상용의 렌즈군, 조리개 등을 구비하여 이루어지고, 입사된 광을 촬상광으로서 이미지 센서(22)의 수광면에 결상시킨다.

또한, 광학계부(21)에서는, 상기한 줌렌즈, 포커스 렌즈, 조리개 등을 구동시키기 위한 구동 기구부도 구비되어 있는 것이 된다. 이들의 구동 기구부는, 예를 들면 제어부(27)가 실행하게 되는 줌(화각) 제어, 자동 초점 조정 제어, 자동 노출 제어 등의 이른바 카메라 제어에 의해 그 동작이 제어된다.

이미지 센서(22)는, 상기 광학계부(21)에서 얻어지는 촬상광을 전기 신호로 변환하는, 이른바 광전 변환을 행한다. 이 때문에, 이미지 센서(22)는, 광학계부(21)로부터의 촬상광을 광전 변환 소자의 수광면에 수광하고, 수광된 광의 강도에 따라 축적되는 신호 전하를, 소정 타이밍에 의해 순차로 출력하게 된다. 이로 써, 촬상광에 대응한 전기 신호(촬상 신호)가 출력된다. 또한, 이미지 센서(22)로서 채용되는 광전 변환 소자(촬상 소자)로서는, 특히 한정되는 것이 아니지만, 현재 상태라면, 예를 들면 CMOS 센서나 CCD(Charge Coupled Device) 등을 들 수 있다. 또한, CMOS 센서를 채용하는 경우에는, 이미지 센서(22)에 상당하는 디바이스(부품)로서, 다음에 기술하는 A/D 컨버터(23)에 상당하는 아날로그-디지털 변환기도 포함한 구조로 할 수 있다.

상기 이미지 센서(22)로부터 출력되는 촬상 신호는, A/D 컨버터(23)에 입력됨으로써, 디지털 신호로 변환되고, 신호 처리부(24)에 입력된다.

신호 처리부(24)에서는, A/D 컨버터(23)로부터 출력되는 디지털의 촬상 신호에 관해, 예를 들면 하나의 정지화(프레임 화상)에 상당하는 단위로 받아들임을 행하고, 이와 같이 하여 받아들인 정지화 단위의 촬상 신호에 관해 소요되는 신호 처리를 시행함으로써, 1장의 정지화에 상당하는 화상 신호 데이터인 촬상 화상 데이터(촬상 정지화상 데이터)를 생성할 수 있다.

상기한 바와 같이 하여 신호 처리부(24)에서 생성한 촬상 화상 데이터를, 화상 정보로서 기억 매체(기억 매체 장치)인 메모리 카드(40)에 기록시키는 경우에는, 예를 들면 하나의 정지화에 대응하는 촬상 화상 데이터를 신호 처리부(24)로부터 인코드/디코드부(25)에 대해 출력하게 된다.

인코드/디코드부(25)는, 신호 처리부(24)로부터 출력되어 오는 정지화 단위의 촬상 화상 데이터에 관해, 소정의 정지화상 압축 부호화 방식에 의해 압축 부호화를 실행한 다음, 예를 들면 제어부(27)의 제어에 따라 헤더 등을 부가하여, 소정 형식으로 압축된 촬상 화상 데이터의 형식로 변환한다. 그리고, 이와 같이 하여 생성한 촬상 화상 데이터를 미디어 컨트롤러(26)에 전송한다. 미디어 컨트롤러(26)는, 제어부(27)의 제어에 따라, 메모리 카드(40)에 대해, 전송되어 오는 촬상 화상 데이터를 기록하여 기록시킨다. 이 경우의 메모리 카드(40)는, 예를 들면 소정 규격에 따른 카드 형식의 외형 형상을 가지며, 내부에는, 플래시 메모리 등의 불휘발성의 반도체 기억 소자를 구비한 구성을 채택하는 기억 매체이다. 또한, 화상 데이터를 기억시키는 기억 매체에 관해서는, 상기 메모리 카드 이외의 종별, 형식 등으로 되어도 좋다.

또한, 본 실시의 형태로서의 신호 처리부(24)는, 앞서의 설명과 같이 하여 취득된 촬상 화상 데이터를 이용하여, 피사체 검출로서의 화상 처리를 실행하는 것도 가능하게 되어 있다. 본 실시의 형태에서의 피사체 검출 처리가 어떠한 것인가에 관해서는 후술한다.

또한, 디지털 스틸 카메라(1)는 신호 처리부(24)에서 얻어지는 촬상 화상 데이터를 이용하여 표시부(33)에 의해 화상 표시를 실행시킴으로써, 현재 촬상중의 화상인 이른바 스루 화상(image)을 표시시키는 것이 가능하게 된다. 예를 들면 신호 처리부(24)에서는, 앞서의 설명과 같이 하여 A/D 컨버터(23)로부터 출력되는 촬상 신호를 받아들여서 1장의 정지화 상당의 촬상 화상 데이터를 생성하는 것인데, 이 동작을 계속함으로써, 동화에 있어서의 프레임 화상에 상당하는 촬상 화상 데이터를 순차로 생성하여 간다. 그리고, 이와 같이 하여 순차로 생성되는 촬상 화상 데이터를, 제어부(27)의 제어에 따라 표시 드라이버(32)에 대해 전송한다. 이로써, 스루 화상의 표시가 행하여진다.

표시 드라이버(32)에서는, 상기한 바와 같이 하여 신호 처리부(24)로부터 입력되어 오는 촬상 화상 데이터에 의거하여 표시부(33)를 구동하기 위한 구동 신호를 생성하고, 표시부(33)에 대해 출력하여 가도록 된다. 이로써, 표시부(33)에서는, 정지화 단위의 촬상 화상 데이터에 의거한 화상이 순차로 표시되어 가게 된다. 이것을 유저가 보면, 그 때에 촬상하고 있다고 되는 화상이 표시부(33)에서 동화적으로 표시되게 된다. 즉, 모니터 화상이 표시된다. 또한, 앞서의 도 1에서 설명한 표시 화면부(5)가, 여기서의 표시부(33)의 화면 부분에 상당한다.

또한, 디지털 스틸 카메라(1)는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터를 재생하고, 그 화상을 표시부(33)에 대해 표시시키는 것도 가능하게 된다.

이를 위해서는, 제어부(27)가 촬상 화상 데이터를 지정하여, 미디어 컨트롤러(26)에 대해 메모리 카드(40)로부터의 데이터 판독을 명령한다. 이 명령에 응답하여, 미디어 컨트롤러(26)는, 지정된 촬상 화상 데이터가 기록되어 있는 메모리 카드(40)상의 어드레스에 액세스하여 데이터 판독을 실행하고, 판독한 데이터를, 인코드/디코드부(25)에 대해 전송한다.

인코드/디코드부(25)는, 예를 들면 제어부(27)의 제어에 따라, 미디어 컨트롤러(26)로부터 전송되어 온 촬상 화상 데이터로부터 압축 정지화 데이터로서의 실체 데이터를 취출하고, 이 압축 정지화 데이터에 관해, 압축 부호화에 대한 복호 처리를 실행하여, 하나의 정지화에 대응하는 촬상 화상 데이터를 얻는다. 그리고, 이 촬상 화상 데이터를 표시 드라이버(32)에 대해 전송한다. 이로써, 표시부(33)에서는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터의 화상이 재생 표시되게 된다.

또한 표시부(33)에 대해서는, 상기한 모니터 화상이나 촬상 화상 데이터의 재생 화상 등과 함께, 유저 인터페이스 화상도 표시시킬 수 있다. 이 경우에는, 예를 들면 그 때의 동작 상태 등에 따라 제어부(27)가 필요한 유저 인터페이스 화상으로서의 표시용 화상 데이터를 생성하고, 이것을 표시 드라이버(32)에 대해 출력하게 된다. 이로써, 표시부(33)에서 유저 인터페이스 화상이 표시되게 된다. 또한, 이 유저 인터페이스 화상은, 예를 들면 특정한 메뉴 화면 등과 같이 모니터 화상이나 촬상 화상 데이터의 재생 화상과는 개별적으로 표시부(33)의 표시 화면에 표시시키는 것도 가능하고, 모니터 화상이나 촬상 화상 데이터의 재생 화상상의 일부에서 중첩·합성되도록 하여 표시시키는 것도 가능하다.

제어부(27)는, 예를 들면 실제로는 CPU(Central Processing Unit)를 구비하여 이루어지는 것으로, ROM(28), RAM(29) 등과 함께 마이크로 컴퓨터를 구성한다. ROM(28)에는, 예를 들면 제어부(27)로서의 CPU가 실행하여야 할 프로그램 외에, 디지털 스틸 카메라(1)의 동작에 관련된 각종의 설정 정보 등이 기억된다. RAM(29)은, CPU를 위한 주기억 장치가 된다.

또한, 이 경우의 플래시 메모리(30)는, 예를 들면, 유저 조작이나 동작 이력 등에 따라 변경(재기록)의 필요성이 있는 각종의 설정 정보 등을 기억시켜 두기 위해 사용하는 불휘발성의 기억 영역으로서 마련되는 것이다. 또한 ROM(28)에 관해, 예를 들면 플래시 메모리 등을 비롯한 불휘발성 메모리를 채용하는 것으로 한 경우에는, 플래시 메모리(30)에 대신하여, 이 ROM(28)에서의 일부 기억 영역을 사용하는 것으로 하여도 좋다.

조작부(31)는, 디지털 스틸 카메라(1)에 구비되는 각종 조작자와, 이들의 조작자에 대해 행하여진 조작에 따른 조작 정보 신호를 생성하여 CPU에 출력하는 조작 정보 신호 출력 부위를 일괄하여 나타내고 있다. 제어부(27)는, 조작부(31)로부터 입력되는 조작 정보 신호에 따라 소정의 처리를 실행한다. 이로써 유저 조작에 따른 디지털 스틸 카메라(1)의 동작이 실행되게 된다.

운대 대응 통신부(34)는, 운대(10)측과 디지털 스틸 카메라(1)측 사이에서의 소정의 통신 방식에 따른 통신을 실행하는 부위이고, 예를 들면 디지털 스틸 카메라(1)가 운대(10)에 대해 부착된 상태에서, 운대(10)측의 통신부와의 사이에서의 유선 또는 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이것보다 상위가 되는 소정 층에 대응하는 통신 처리를 실현하기 위한 구성을 가지고 이루어진다.

도 4는, 운대(10)의 구성예를 블록도에 의해 도시하고 있다. 앞서 기술한 바와 같이, 운대(10)는, 팬·틸트 기구를 구비하는 것이고, 이에 대응하는 부위로서, 팬 기구부(53), 팬용 모터(55), 틸트 기구부(56), 틸트용 모터(57)를 구비한다.

팬 기구부(53)는, 운대(10)에 부착된 디지털 스틸 카메라(1)에 관해, 도 2(a)에 도시한 팬(횡) 방향의 움직임을 주기 위한 기구를 가지고 구성되고, 이 기구의 움직임은, 팬용 모터(54)가 정역방향으로 회전함에 의해 얻어진다. 마찬가지 로 하여, 틸트 기구부(53)는, 운대(10)에 부착된 디지털 스틸 카메라(1)에 관해, 도 2(b)에 도시한 틸트(종) 방향의 움직임을 주기 위한 기구를 가지고 구성되고, 이 기구의 움직임은, 틸트용 모터(57)가 정역방향으로 회전함에 의해 얻어진다.

제어부(51)는, 예를 들면 CPU, ROM, RAM 등이 조합되어 형성되는 마이크로 컴퓨터를 가지고 이루어지고, 상기 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤한다. 예를 들면 제어부(51)가 팬 기구부(53)의 움직임을 제어할 때는, 팬 기구부(53)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 팬용 구동부(55)에 대해 출력한다. 팬용 구동부(55)는, 입력되는 제어 신호에 대응한 모터 구동 신호를 생성하여 팬용 모터(55)에 출력한다. 이 모터 구동 신호에 의해 팬용 모터(55)가, 예를 들면 소요되는 회전 방향 및 회전 각도로 회전하고, 이 결과, 팬 기구부(53)도, 이에 대응한 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.

마찬가지로 하여, 틸트 기구부(56)의 움직임을 제어할 때에는, 제어부(51)는, 틸트 기구부(56)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 틸트용 구동부(58)에 대해 출력한다. 틸트용 구동부(58)는, 입력된 제어 신호에 대응한 모터 구동 신호를 생성하여 틸트용 모터(57)에 출력한다. 이 모터 구동 신호에 의해 틸트용 모터(57)가, 예를 들면 소요되는 회전 방향 및 회전 각도로 회전하고, 이 결과, 틸트 기구부(56)도, 이에 대응하는 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.

통신부(52)는, 운대(10)에 부착된 디지털 스틸 카메라(1) 내의 운대 대응 통신부(34)와의 사이에서 소정의 통신 방식에 따른 통신을 실행하는 부위이고, 운대 대응 통신부(34)와 마찬가지로 하여, 상대측 통신부와 유선 또는 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이보다 상위가 되는 소정층에 대응하는 통신 처리를 실현하기 위한 구성을 가지고 이루어진다.

상기한 구성의 디지털 스틸 카메라(1)와 운대(10)로 이루어지는 촬상 시스템에서는, 예를 들면, 사람을 주체적인 피사체(이후는 단지 피사체라고 한다)로서 취급하는 것으로 한 다음, 이 피사체를 검출하기 위한 탐색을 행함과 함께, 피사체의 존재가 검출된 것이면, 이 피사체가 찍혀 있는 화상으로서 최적이 되는 구도(최적 구도)가 얻어지도록(프레이밍이 행하여지도록) 하여 운대(10)의 팬·틸트 기구를 구동한다. 그리고, 최적 구도가 얻어진 타이밍에서, 그 때의 촬상 화상 데이터를 기억 매체(메모리 카드(40))에 기록한 것이 행하여진다.

즉, 본 실시의 형태의 촬상 시스템에서는, 디지털 스틸 카메라에 의한 사진 촬영을 행함에 즈음하여, 탐색된 피사체에 관해 최적 구도를 결정(판정)하여 촬영 기록을 행한다는 동작이 자동적으로 실행된다. 이로써, 유저 자신이 구도를 판단하여 촬영을 행하지 않더라도, 상응하게 양질의 사진의 화상을 얻는 것이 가능해진다. 또한, 이와 같은 시스템에서는, 누군가가 카메라를 갖고 촬영할 필요가 없어지기 때문에, 그 촬영이 행하여지는 장소에 있는 전원이 피사체가 될 수 있다. 또한, 피사체가 되는 유저가, 카메라의 시야각 범위에 들어가려고 특히 의식하지 않더라도, 피사체가 수속된 사진이 얻어지게 된다. 즉, 그 촬영 장소에 있는 사람이 자연스러운 모습을 촬영하는 기회가 늘어나는 것이고, 지금까지는 별로 없었던 분위기의 사진을 많이 얻을 수 있다.

또한, 최적 구도라는 것은, 피사체수에 따라서는 달라져 오는 것이라는 사고방식을 취할 수도 있지만, 본 실시의 형태에서의 구도 결정에 관해서는, 검출된 피사체의 수에 의거하여 다른 최적 구도를 판정할 수 있도록 하여 구성된다. 이로써, 예를 들면 피사체수를 고려하지 않고 구도 결정을 행하는 것으로 한 경우와 비교하면, 종합적으로는, 본 실시의 형태 쪽이 보다 양질의 화상을 얻는 것이 가능해진다.

이후에서는, 본 실시의 형태에서의 구도 제어에 관한 설명을 행하여 간다.

도 5는, 디지털 스틸 카메라(1)측이 구비하는, 본 실시의 형태의 구도 제어에 대응한 기능 부위에 관한 구성예를 도시하고 있다.

이 도면에서 피사체 검출 처리 블록(61)은, 이미지 센서(22)에서 얻어지는 촬상 신호에 의거하여 신호 처리부(24)에서 얻어지는 촬상 화상 데이터를 이용하여, 피사체의 탐색 제어를 포함하는, 피사체 검출 처리를 실행하는 부위가 된다. 여기서의 피사체 검출 처리는, 우선 촬상 화상 데이터의 화면의 그림 내용으로부터, 사람으로서의 피사체를 변별하여 검출하는 처리를 기술하는 것이고, 여기서의 검출 결과로서 얻어지는 정보(검출 정보)는, 사람으로서의 피사체의 수와, 개개의 피사체(개별 피사체)마다에 관한 화면 내에서의 위치 정보, 및 개별 피사체마다에 관한 화상 내에서의 사이즈(점유 면적) 등이 된다. 또한, 구도 판정의 알고리즘 등의 구성에 의해서는, 피사체의 수만이 검출 정보로서 얻어지도록 되면, 본 실시의 형태로서의 구도 제어는 실현 가능하다.

또한, 여기서의 피사체 검출 처리의 구체적 수법으로서는, 얼굴 검출의 기술 을 이용할 수 있다. 또한, 얼굴 검출의 방식, 수법도 몇 가지 알려져 있는데, 본 실시의 형태에서는 어느 방식을 채용하는 것인지에 관해서는 특히 한정되어야 할 것이 아니라, 검출 정밀도나 설계 난이도 등을 고려하여 적당하게 되는 방식이 채용되면 좋다.

또한, 이 피사체 검출 처리 블록(61)이 실행하는 피사체 검출 처리는, 신호 처리부(24)에서의 화상 신호 처리로서 실현할 수 있다. 앞서의 설명과 같이 하여 신호 처리부(24)가 DSP에 의해 구성되는 경우, 이 피사체 검출 처리는, 신호 처리부(24)로서의 DSP에 주는 프로그램, 이스트랙션에 의해 실현되게 된다.

또한, 피사체 탐색 제어시에서는, 운대(10)의 팬·틸트 기구를 제어하기 위해, 통신 제어 처리 블록(63) 경유로, 상기 팬·틸트 기구를 구동하기 위한 제어 신호를 출력한다.

피사체 검출 처리 블록(61)의 피사체 검출 처리 결과인 검출 정보는, 구도 제어 처리 블록(62)에 대해 입력된다.

구도 제어 처리 블록(62)은, 입력된 피사체에 관한 검출 정보를 이용하여, 최적이라고 간주되는 구도(최적 구도)를 결정한다. 그리고, 결정한 최적 구도를 얻기 위한 제어(구도 제어)를 실행한다. 이 경우의 구도 제어로서는, 화각(畵角)(본 실시의 형태에서는, 예를 들면 줌렌즈의 제어에 따라 변경 가능한 시야각(視野角)을 말한다)의 변경 제어와, 팬(좌우) 방향에 따른 촬상 방향의 제어(팬 제어)와, 틸트(상하) 방향에 따른 촬상 방향의 제어(틸트 제어)로 이루어진다. 화각 변경을 위해서는, 디지털 스틸 카메라(1)의 광학계부(21)에서의 줌렌즈를 이동하는 줌 제 어, 또는 촬상 화상 데이터에 대한 화상 절취 등의 화상 신호 처리의 적어도 어느 한쪽을 행한다. 또한, 팬 제어, 틸트 제어는, 운대(10)의 팬·틸트 기구를 제어하여 움직임에 의해 행한다. 팬·틸트 기구의 제어를 행할 때, 구도 제어 처리 블록(62)은, 팬·틸트 기구를 마땅한 위치 상태로 하기 위한 제어 신호를, 통신 제어 처리 블록(63)을 경유하여, 운대(10)측에 송신시킨다.

또한, 상기 구도 제어 처리 블록(62)이 실행하는 구도 결정과 구도 제어의 처리는, 예를 들면, 제어부(27)(CPU)가 프로그램에 의거하여 실행하도록 구성할 수 있다. 또한, 이것에 신호 처리부(24)가 프로그램에 의거하여 실행하는 처리를 병용한 구성으로 하는 것도 고려된다. 또한, 통신 제어 처리 블록(63)은, 운대(10)측의 통신부(52)와의 통신 처리를 소정의 프로토콜에 따라 실행하도록 하여 구성되는 부위이고, 운대 대응 통신부(34)에 대응하는 기능 부위가 된다.

다음에, 도 6을 참조하여, 피사체 검출 처리 블록(61)이 실행하게 되는 피사체 검출 처리의 사례를 들어 둔다.

여기서, 피사체 검출 처리 블록(61)이, 도 6(a)에 도시하는 그림 내용의 촬상 화상 데이터를 받아들였다고 한다. 이 촬상 화상 데이터의 그림 내용으로서는, 사람으로서의 피사체가 하나 존재한 그림을 촬영하여 얻어진 것이다. 또한, 도 6(a)(및 도 6(b))에는, 1화면을 매트릭스형상으로 구획한 상태를 도시하고 있지만, 이것은, 촬상 화상 데이터로서의 화면이, 소정 수에 의한 수평·수직 픽셀의 집합으로 이루어지는 것을 모식적으로 나타내고 있다.

도 6(a)에 도시하는 그림 내용의 촬상 화상 데이터를 대상으로 피사체 검출 (얼굴 검출)을 행함에 의해서는, 도면에서 도시되는 하나의 개별 피사체(SBJ)의 얼굴이 검출되게 된다. 즉, 얼굴 검출 처리에 의해 하나의 얼굴이 검출됨에 의해, 여기서는 하나의 개별 피사체가 검출되는 것으로 하고 있다. 그리고, 이와 같이 하여 개별 피사체를 검출한 결과로서는, 앞에서도 기술한 바와 같이 개별 피사체의 수, 위치, 사이즈의 정보를 얻게 된다.

우선, 개별 피사체수에 관해서는, 예를 들면 얼굴 검출에 의해 검출된 얼굴의 수를 구하면 좋다. 도 6(a)의 경우에는, 검출된 얼굴이 하나이기 때문에, 개별 피사체수로서도 하나인 결과가 얻어진다.

또한, 개별 피사체마다의 위치 정보에 관해서는, 적어도, 촬상 화상 데이터로서의 화상 내에서의 개별 피사체(SBJ)의 중심(重心)(G)(X,Y)을 구한 것으로 한다. 또한, 이 경우의 중심(G)(X,Y)의 기준이 되는 촬상 화상 데이터의 화면 위의 X,Y 원점 좌표(P(0,0))는, 예를 들면 도 7에 도시하는 바와 같이 하여, 화면 사이즈에 대응한 X축방향(수평 방향)의 폭(수평화 사이즈)(Cx)의 중간점과, Y축방향(수직 방향)의 폭(수직화 사이즈)(Cy)의 중간점의 교점인 것으로 하고 있다.

또한, 이 중심(G)에 관한 개별 피사체의 화상 내에서의 위치의 정의라던지, 중심(G)을 어떻게 하여 설정하는지에 관해서는, 예를 들면 지금까지 알려져 있는 피사체 중심 검출 방식을 채용할 수 있다.

또한, 개별 피사체마다의 사이즈에 관해서는, 예를 들면 얼굴 검출 처리에 의해 얼굴 부분이라고 하여 특정, 검출되는 영역의 화소수를 구하도록 하면 좋다.

또한, 도 6(b)에 도시하는 촬상 화상 데이터를 받아들여서 피사체 검출 처리 블록(61)이 피사체 검출 처리를 실행하였다고 되면, 우선은, 얼굴 검출에 의해 2개의 얼굴이 존재하는 것이 특정되게 되기 때문에, 개별 피사체수에 관해서는 2라는 결과가 얻어지게 된다. 여기서는, 2개의 개별 피사체중, 좌측을 개별 피사체(SBJ0), 우측을 개별 피사체(SBJ1)로 하여 식별성을 주고 있다. 또한, 개별 피사체(SBJ0, SBJ1)마다 구한 중심의 좌표에 관해서는, 각각, G0(X0, Y0), G1(X1,Y1)로서 나타나고 있다.

또한, 이와 같이 하여, 2 이상의 개별 피사체가 검출되는 경우에는, 이들 복수의 개별 피사체를 하나의 통합된 피사체(종합 피사체)로서 본 경우의 중심인, 총합 피사체 중심(Gt)(Xg,Yg)을 구하게 된다.

이 총합 피사체 중심(Gt)을 어떻게 하여 설정하는지에 관해서는, 몇 가지 생각할 수 있지만, 여기서는, 가장 간이한 예로서, 검출된 복수의 개별 피사체중에서, 화면의 좌단과 우단의 양단에 위치하는 개별 피사체의 중심을 이은 선분상의 중간점을 총합 피사체 중심(Gt)으로서 설정한 경우를 나타내고 있다. 이 총합 피사체 중심(Gt)은, 예를 들면 후술하는 바와 같이 하여 구도 제어에서 이용할 수 있는 정보이고, 개별 피사체의 중심의 정보가 취득되면 연산에 의해 구하여지는 정보이다. 따라서, 총합 피사체 중심(Gt)에 관해서는, 피사체 검출 처리 블록(61)에 의해 구하고, 이것을 검출 정보로서 출력하는 것으로 하여도 좋지만, 구도 제어 처리 블록(62)이, 검출 정보로서 취득한 개별 피사체의 중심의 위치를 나타내는 정보중에서, 좌우 양단에 위치하는 개별 피사체의 중심에 관한 정보를 이용하여 구하도록 하여도 좋다.

또한, 그 밖에는 예를 들면, 복수의 개별 피사체의 사이즈에 따라 무게 부여 계수를 주고, 이 무게 부여 계수를 이용하여, 예를 들면 사이즈가 큰 개별 피사체에 총합 피사체 중심(Gt)의 위치가 가까워지도록 배려한 설정 수법도 고려할 수 있다.

또한, 개별 피사체의 사이즈에 관해서는, 예를 들면 개별 피사체(SBJ0, SBJ1)마다, 그 검출된 얼굴이 점유하게 되는 화소수를 구한 것으로 하면 좋다.

계속해서는, 도 8 내지 도 10을 참조하여, 본 실시의 형태에서의 제 1 예로서의 구도 제어에 의해 얻어지는 구도에 관한 설명을 행한다.

도 8(a)에는, 구도 제어 전의 피사체 검출의 결과에 의해 얻어진 촬상 화상 데이터로서, 하나의 개별 피사체(SBJ0)가 촬상된 그림 내용이 얻어진 경우를 도시하고 있다. 또한, 본 실시의 형태에서는, 디지털 스틸 카메라(1)를 부착한 운대(10)를 통상에 설치한 경우에는, 횡장(橫長)의 화상이 촬상되도록 하여 디지털 스틸 카메라(1) 방향이 설정된다. 따라서, 제 1 예에서는, 촬상에 의해 횡장의 화상이 얻어지는 것을 전제로 한다.

상기 도 8(a)에 도시한 바와 같이 하여 하나의 개별 피사체가 검출된 경우에는, 예를 들면 도 8(a)로부터 도 8(b)로의 천이로서 나타내도록 하여, 이 개별 피사체(SBJ)의, 촬상 화상 데이터의 화면 내에서의 점유율이 소정치가 되도록 하여 화각을 좁게 하여 가는 줌 제어를 실행시켜서, 개별 피사체의 사이즈를 변경하게 된다. 또한, 도 8(a) (b)에서는, 개별 피사체(SBJ0)의 사이즈를 확대하기 위해 화각을 좁게 하는 방향으로의 변경을 행하고 있는 경우를 나타내고 있지만, 개별 피 사체가 검출된 단계에서, 그 개별 피사체의 화면 내에서의 점유율이 상기한 소정치를 넘고 있던 경우에는, 이 점유율이 소정치까지 작아지도록 하여, 화각을 넓게 하여 가는 줌 제어를 실행시키게 된다.

또한, 개별 피사체가 하나인 경우의 화면 내에서의 그 위치에 관해서인데, 본 실시의 형태의 경우, 좌우 방향에 관해서는, 거의 중앙이 되도록 위치시키는 것으로 하고 있다. 이를 위해서는, 예를 들면 개별 피사체(SJB0)의 중심(G)의 좌우 방향에서의 위치를, 거의 중앙이 되도록 하면 좋다.

다음에, 도 9(a)에 도시하는 바와 같이 하여, 2개의 개별 피사체가 검출된 경우에는, 구도 제어로서, 우선, 이들 2개의 개별 피사체(SBJ0, SBJ1) 사이의 거리(피사체 사이 거리)(K)를 구한다. 이 거리(K)는, 예를 들면 개별 피사체(SBJ0)의 중심(G0)의 X좌표(X0)와 개별 피사체(SBJ1)의 중심(G1)의 X좌표(X1)의 차(X1-X0)에 의해 표현할 수 있다. 그리고, 상기한 바와 같이 하고 구하여지는 피사체 사이 거리(K)가, 도 9(b)에 도시하는 바와 같이 하여, 수평화 사이즈(Cx)의 1/3(K=Cx/3)이 되도록 화각의 조정을 행한다. 또한, 이 경우에도, 2개의 개별 피사체(SBJ0, SBJ1)가 비치는 영역은, 좌우 방향에서 거의 화면의 중앙이 되도록 하여 배치하도록 되어 있고, 이를 위해서는, 예를 들면, 이들의 개별 피사체(SBJ0, SBJ1)에 관한 총합 피사체 중심(Gt)을, 좌우 방향에서의 중앙의 위치에 배치하게 된다.

또한, 피사체 사이 거리(K)를 수평화 사이즈(Cx)의 1/3로 하는 것은, 3분할법이라고 일컬어지는 구도 설정의 수법에 의거하고 있다. 3분할법은, 가장 기본적인 구도 설정 수법의 하나이고, 사각형형의 화면을 수직 방향과 수평 방향의 각각 에 따라 3등분한 가상 선상에 피사체를 위치시킴에 의해 양호한 구도를 얻고자 하는 것이다. 피사체 사이 거리(K)=Cx/3가 되도록 한 다음에, 상기한 바와 같이 하여 총합 피사체 중심(Gt)을 좌우 방향에서의 중앙에 위치시키면, 개별 피사체(SBJ0)의 중심(G0)은, 화면 종방향에 따른 좌측의 가상 선상에 거의 위치하는 것이 되고, 또한, 개별 피사체(SBJ1)의 중심(G1)은, 화면 종방향에 따른 우측의 가상 선상에 거의 위치하는 것이 된다. 즉 3분할법에 따른 구도가 얻어지게 된다.

또한, 도 10(a)와 같이 하여, 3개의 개별 피사체가 검출된 경우의 구도 제어로서는, 화면 내에서 가장 좌측에 위치하는 개별 피사체(SBJ0)와, 가장 우측에 위치하는 개별 피사체(SBJ2) 사이의 피사체 사이 거리(K)를 구한다. 즉, 피사체 사이 거리(K)를 구하는 데는, 개별 피사체가 n개 검출되어 있는 경우에, 화면좌로부터 우에 걸쳐서의 개별 피사체에 0번부터 n-1번까지의 번호를 할당하는 것으로 한 다음, 화면에서 가장 좌측에 위치하는 개별 피사체(SBJ0)의 중심(G0)의 X좌표를(X0), 화면에서 가장 우측에 위치하는 개별 피사체(SBJ)(n-1)의 중심(Gn-1)의 X좌표를 (Xn-1)로 하여, (Xn-1)-(X0)에 의해 표시된 일반식으로 구할 수 있다.

그리고, 이 경우에는, 이 피사체 사이 거리(K)에 관해, 도 9(b)에 도시하는 바와 같이 하여, 수평화 사이즈(Cx)의 1/2이 되도록 하여 화각의 제어를 행한다. 또한, 좌우에서의 피사체 위치에 관해서는, 종합 피사체(Gt)가 화면 좌우 방향에서의 거의 중앙에 위치하도록 하여, 3개 개별 피사체가 존재하는 영역 부분이, 화면 좌우 방향에서 거의 중앙에 오도록 한다. 본 실시의 형태로서는, 3 이상의 개별 피사체가 검출된 경우에, 이 도 10에 도시되는 구도 제어를 행하는 것으로 한다.

3 이상의 개별 피사체가 화면 내에 있는 경우에는, 예를 들면 3분할법에 충실하게 따라 피사체 사이 거리(K)를 수평화 사이즈(Cx)의 1/3로 하는 것보다도, 또한 수평화 사이즈(Cx)에 대한 피사체 사이 거리(K)의 비율을 크게 한 편이 일반적으로는 좋은 구도가 얻어진다. 그래서, 본 실시의 형태로서는, 상기한 바와 같이 하여, 3 이상의 개별 피사체가 검출된 경우에는, 피사체 사이 거리(K)=Cx/2가 되는 구도를 형성하는 것으로 하고 있다.

이와 같이 하여 본 실시의 형태에서는, 검출되는 개별 피사체가 하나인 경우와, 2인 경우와, 3 이상인 경우에서, 각각 다른 화각의 조정에 의한 구도 제어를 행하도록 되어 있다.

도 11은, 상기 도 8 내지 도 10에 의해 설명한 제 1 예로서의 구도 제어에 대응하여, 도 5에 도시한 피사체 검출 처리 블록(61), 구도 제어 처리 블록(62), 및 통신 제어 처리 블록(63)이 실행하는 것이 되는 순서예를 도시하고 있다. 또한, 이 도면에 도시하는 처리는, DSP로서의 신호 처리부(24), 제어부(27)에서의 CPU가 프로그램을 실행함으로써 실현되는 것으로서 볼 수 있다. 이와 같은 프로그램은, 예를 들면 ROM 등에 대해 제조시 등에 기록하여 기억시키는 외에, 리무버블한 기억 매체에 기억시켜 둔 다음, 이 기억 매체로부터 인스톨(최신 정보도 포함한다)시키도록 하여 DSP 대응의 불휘발성의 기억 영역이나 플래시 메모리(30) 등에 기억시키는 것이 고려된다. 또한, USB나 IEEE1394 등의 데이터 인터페이스 경유에 의해, 다른 호스트가 되는 기기로부터의 제어에 의해 프로그램의 인스톨을 행하도록 하는 것도 고려된다. 또한, 네트워크상의 서버 등에서의 기억 장치에 기억시켜 둔 다음, 디지털 스틸 카메라(1)에 네트워크 기능을 주는 것으로 하여, 서버로부터 다운로드하여 취득할 수 있도록 구성하는 것도 고려된다.

우선, 스텝 S101 내지 스텝 S106까지는, 피사체를 탐색하여 검출하기 위한 순서가 되고, 주로 피사체 검출 처리 블록(61)이 실행하게 된다.

스텝 S101에서는, 이미지 센서(22)로부터의 촬상 신호에 의거한 촬상 화상 데이터를 받아들여서 취득한다. 스텝 S102에서는, 상기 스텝 S101에 의해 취득한 촬상 화상 데이터를 이용하여 피사체 검출 처리를 실행한다. 여기서의 피사체 검출 처리로서는, 예를 들면 우선, 앞서 기술한 얼굴 검출 등의 수법에 의해, 촬상 화상 데이터로서의 화면 내용에서 개별 피사체가 존재하는지의 여부에 관한 검출을 행하는 것이고, 개별 피사체가 존재하는 경우에는, 적어도 개별 피사체수, 개별 피사체마다의 위치(중심), 사이즈를 검출 정보로서 얻도록 된다.

스텝 S103에서는, 상기 스텝 S102에 의한 피사체 검출 처리의 결과로서, 개별 피사체의 존재가 검출되었는지의 여부에 관한 판별을 행한다. 여기서 개별 피사체의 존재가 검출되지 않았다(검출되는 개별 피사체수가 0이다)고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S104로 진행하여, 화각을 넓게 하기 위한 줌렌즈의 이동 제어(줌 아웃 제어)를 실행한다. 이와 같이 하여 화각을 넓게 함으로써, 보다 넓은 범위가 촬상되는 것으로 되기 때문에, 그만큼 개별 피사체를 포착하기 쉬워진다. 또한, 이와 함께, 스텝 S105에 의해, 피사체 탐색을 위해 운대(10)의 팬·틸트 기구를 움직이기 위한 제어(팬·틸트 제어)를 실행한다. 이 때에는, 피사체 검출 처리 블록(61)이 팬·틸트 제어를 위한 제어 신호를 통신 제어 처리 블록(63) 에 건네주고, 운대(10)의 통신부(52)에 대해 송신되도록 하여 제어를 행한다.

또한, 상기 피사체 탐색을 위한 팬·틸트 제어로서, 운대(10)의 팬·틸트 기구를 어떤 패턴으로 움직이는지에 관해서는, 예를 들면 탐색이 효율적으로 행하여지는 것을 배려하여 정하는 것으로 하면 좋다.

또한, 스텝 S106에서는, 모드 플래그(f)에 대해 0을 설정(f=0)하고, 스텝 S101로 되돌아오게 된다.

이와 같이 하여, 촬상 화상 데이터의 그림 내용에서 적어도 하나의 개별 피사체가 검출될 때까지는, 스텝 S101 내지 스텝 S106의 순서가 반복된다. 이 때, 디지털 스틸 카메라(1)와 운대(10)로 이루어지는 시스템은, 피사체 탐색을 위해, 디지털 스틸 카메라(1)가 팬 방향 및 틸트 방향으로 움직이고 있는 상태로 되어 있다.

그리고, 스텝 S103에서 개별 피사체의 존재가 검출되었다고 하여 긍정의 판별 결과가 얻어졌다고 되면, 스텝 S107 이후의 순서로 진행한다. 스텝 S107 이후의 순서는, 주로 구도 제어 처리 블록(62)이 실행하는 것이 된다.

스텝 S107에서는, 현재의 모드 플래그(f)에 설정되어 있는 값이 무엇인지를 판별한다.

f==0이라고 판별된 경우에는, 구도 제어로서, 최초의 러프한 피사체 포착 모드를 실행하여야 할 경우인 것을 나타내는 것이고, 도면과 같이 하여 스텝 S108부터 시작되는 순서를 실행한다.

스텝 S108에서는, 총합 피사체 중심(Gt)이, 촬상 화상 데이터의 화면(촬상 화상 데이터의 그림 내용을 나타냈다고 한 때에 얻어지는 화면)에서의 원점 좌표(P(0,0))(도 7 참조)에 위치하고 있는지의 여부에 관한 판별을 행한다.

여기서, 총합 피사체 중심(Gt)은, 아직 원점 좌표에 위치하고 있지 않다고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S109에 의해, 총합 피사체 중심(Gt)이 원점 좌표에 위치하도록 하여, 운대(10)의 팬·틸트 기구를 움직이기 위한 제어를 실행하고, 스텝 S101로 되돌아온다. 이와 같이 하여, 개별 피사체의 존재가 검출되어 있는 상태에서의 최초의 구도 제어의 순서인 포착 모드는, 총합 피사체 중심(Gt)을, 우선 초기의 기준 위치인 원점 좌표에 대해 위치시키도록 하여 운대(10)의 팬·틸트 기구를 제어함으로써, 검출된 개별 피사체가 비치고 있다고 되는 화상 영역을 화면 내의 중앙에 위치시키려고 하는 것이다.

또한, 상기 스텝 S109로서의 팬·틸트 제어를 실제로 행함에 즈음하여서의 알고리즘의 한 예를 여기서 나타내어 둔다.

모드 플래그(f)==0의 상태에서 개별 피사체가 검출되는 상태에서는, 피사체 검출 처리 블록(61)은, 하기한 (수식 1)에 의해 나타나는 연산을 행하여, 팬 방향에서의 필요 이동량(Span)과 틸트 방향에서의 필요 이동량(Stilt)을 구하게 된다. 하기한 (수식 1)에서, n은 검출된 개별 피사체수를 나타내고, ｐ(Xi, Yi)는 0번부터 n-1번까지의 번호가 주어진 개별 피사체중의 i번째의 개별 피사체의 중심의 X,Y좌표를 나타낸다. 확인을 위해, 도 7에 도시한 바와 같이, 이 경우에서의 원점 좌표(0,0)는, 화면에서의 수평 방향에서의 중점(中點)과 수직 방향에서 중점의 교점이 된다.

[수식 1]

예를 들면, 스텝 S108에서는, 상기한 바와 같이 하여 구하여진 필요 이동량(Span, Stilt)의 절대치가 소정치 이내(엄밀하게는 0이 되지만, 0보다 큰 값으로 되어도 좋다)인지의 여부를 판별함에 의해, 총합 피사체 중심(Gt)이 원점 좌표(P)에 있는지의 여부와 동등한 판별을 행할 수 있다. 그리고, 스텝 S109에서는, 필요 이동량(Span, Stilt)의 절대치가 소정 범위 내가 되도록 하여 팬·틸트 제어를 실행하게 된다. 또한, 이 때의 팬·틸트 제어에 즈음한 팬 기구부(53), 틸트 기구부(56)의 속도는 일정하게 하여도 좋은 것이지만, 예를 들면, 필요 이동량(Span, Stilt)이 커짐에 따라 속도를 높게 하여 가는 등으로 가변시키는 것이 고려된다. 이와 같이 하면, 패닝 또는 틸팅에 의할 필요 이동량이 커진 때도, 비교적 단시간에 총합 피사체 중심(Gt)을 원점 좌표에 접근하는 것이 가능해진다.

그리고, 스텝 S108에서, 총합 피사체 중심(Gt)이 원점 좌표에 위치하였다고 하여 긍정의 판별 결과가 얻어졌다고 되면, 스텝 S110에 의해 모드 플래그(f)에 대해 1을 설정(f=1)하고 스텝 S101로 되돌아온다. 이 스텝 S109에 의해 모드 플래그(f)에 대해 1이 설정된 상태는, 구도 제어에서의 최초의 순서인 포착 모드는 완료하고, 다음의 제 1의 구도의 조정 제어(구도 조정 모드)를 실행하여야 할 상태인 것을 나타낸다.

그리고, 모드 플래그(f)==1이 되어 제 1의 구도 조정 모드를 실행하여야 할 경우에는, 스텝 S107부터 스텝 S111로 진행하게 된다. 제 1의 구도 조정 모드는, 이후의 설명으로부터도 이해되는 바와 같이, 검출된 개별 피사체수마다에 따른 최적 구도를 얻기 위한 줌(화각) 조정이 되는 것이다. 또한, 화각 조정에 의해서는 화면 내에서의 개별 피사체의 사이즈라던지, 복수의 개별 피사체간의 거리가 변화하는 결과가 생긴다.

스텝 S111에서는, 현재 검출되어 있는 개별 피사체수가 몇개인 것인지에 관해 판별한 것으로 하고 있고, 1이라면 스텝 S112부터 시작되는 순서를 실행하게 된다.

스텝 S112에서는, 검출되어 있는 개별 피사체의 사이즈가 OK인지의 여부에 관해 판별한다. 개별 피사체의 사이즈가 OK인 상태란, 도 8(b)에 도시한 바와 같이, 개별 피사체로서의 화상 부분의 화면 내에서의 점유율이 소정의 범위치에 수속되어 있는 상태이다. 스텝 S112에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S113으로 진행하여, 상기한 점유율이 소정 범위치 내가 되도록(소정의 범위치 내로 수속된다) 하여 줌렌즈의 구동 제어(줌 제어)를 실행하고, 스텝 S101로 되돌아온다. 또한, 이 때에는, 개별 피사체의 중심(G)(총합 피사체 중심(Gt))의 수평 방향(좌우 방향)에서의 위치에 관해서는, 스텝 S109에서 설정된 X좌표(X=0)에 대응하는 위치를 유지하도록 하여 줌 제어를 행하게 된다. 이로써, 개별 피사체를 좌우 방향에서 거의 중앙에 위치시켰던 상태를 유지할 수 있다. 또한, 피사체 탐색, 검출 동작의 실행시에는, 스텝 S104에 의해 줌 아웃 제어가 행하여지기 때문에, 스텝 S113 으로서의 줌 제어에 즈음하여서는 줌 인 제어가 되는 경우가 많다고 생각된다. 그러나, 어떠한 원인으로 상기한 점유율이 소정 범위치를 넘을 것 같은 화면 내용의 상태인 것에 따라 스텝 S112에 부정의 판별 결과가 얻어진 경우, 스텝 S113에서는 줌 아웃을 실행시켜서 점유율이 소정 범위치 내에 수속되도록 제어하게 된다.

그리고, 스텝 S112에서 긍정의 판별 결과가 얻어진 것이면 스텝 S114로 진행하여, 모드 플래그(f)에 대해 2를 설정하고 스텝 S101로 되돌아오게 된다. 또한, 모드 플래그(f)==2는, 이후의 설명으로부터도 이해되는 바와 같이, 제 1의 구도 조정이 완료되고, 다음의 제 2의 구도 조정을 실행한 다음 릴리즈 동작을 실행해야 하는 것을 나타낸다.

또한, 스텝 S111에서 개별 피사체수가 2인 것으로서 판별된 경우에는, 스텝 S115로부터 시작되는 순서를 실행한다.

스텝 S115에서는, 촬상 화상 데이터의 화면에서의 2개의 개별 피사체의 피사체 사이 거리(K)가, 도 9(b)에 도시한 바와 같이 하여, 수평화 사이즈(Cx)의 1/3이 되어 있는 상태(K==Cx/3)에 있는지의 여부에 관한 판별을 행하게 된다. 여기서 부정의 판별 결과가 얻어진 경우에는, 스텝 S116으로 진행하여, 상기한 K==Cx/3의 상태가 되도록 줌 제어를 실행한다. 또한, 이 때에도, 총합 피사체 중심(Gt)의 수평 방향에서의 위치에 관해서는, 스텝 S109에서 설정된 X좌표(X=0)를 유지하도록 하여 줌 제어를 행하게 된다. 이 점에 관해서는 후술하는 스텝 S119도 마찬가지이다. 그리고, 스텝 S115에 의해 K==Cx/3의 상태가 되어 있다고 하여 긍정의 판별 결과가 얻어진 경우에는, 스텝 S117로 진행하여 모드 플래그(f)에 대해 2를 설정하고 스텝 S101로 되돌아온다.

또한, 스텝 S111에서 개별 피사체수가 3 이상인 것으로서 판별된 경우에는, 스텝 S118로부터 시작되는 순서를 실행한다.

스텝 S118에서는, 촬상 화상 데이터의 화면에서의 피사체 사이 거리(K)(이 경우에는, 화면 내에서의 가장 왼쪽의 개별 피사체의 중심부터, 화면 내에서 가장 오른쪽의 개별 피사체의 중심까지의 거리가 된다)가, 도 10(b)에 도시한 바와 같이 하여, 수평화 사이즈(Cx)의 1/2이 되어 있는 상태(K==Cx/2)에 있는지의 여부에 관한 판별을 행한다. 여기서 부정의 판별 결과가 얻어진 경우에는, 스텝 S119로 진행하여, K==Cx/2가 되도록 줌 제어를 실행한다. 그리고, K==Cx/3의 상태가 되어 있다고 하여 긍정의 판별 결과가 얻어진 경우에는, 스텝 S120으로 진행하여 모드 플래그(f)에 대해 2를 설정하고 스텝 S101로 되돌아오게 된다.

이와 같이 하여, 모드 플래그(f)에 대해 2가 설정된 상태에서는, 도 8 내지 도 10에 의해 설명한, 개별 피사체가 하나, 2개, 또는3 이상인 경우에 대응한 구도 제어까지의 순서가 완료된 상태인 것이 된다. 그래서, 스텝 S107에서 모드 플래그(f)가 2라고 판별된 경우에는, 스텝 S121 이후의 순서에 의해, 제 2의 구도 조정 모드를 실행한다.

예를 들면, 도 8 내지 도 10에서의 구도 제어의 설명에서는, 그 설명을 간단한 것으로 하기 위해, 화면 상하방향에서의 개별 피사체의 중심의 위치를 어떻게 하여 설정하는지에 관해서는 언급하고 있지 않지만, 실제로는, 화면의 중앙으로부터 예를 들면 어떤 필요량만큼 윗방향으로 이동(오프셋)시킨 쪽이, 보다 좋은 구도 가 되는 경우가 있다. 그래서, 본 실시의 형태의 구도 제어의 실제로서는, 최적 구도로서 보다 양호한 것이 얻어지도록 하여 총합 피사체 중심(Gt)의 세로(수직)방향의 오프셋량을 설정할 수 있도록 되어 있다. 이를 위한 순서가, 제 2의 구도 조정 모드가 되는 것이고, 스텝 S121 및 다음에 설명하는 스텝 S122로서 실행된다.

스텝 S121에서는, 총합 피사체 중심(Gt)(개별 피사체가 하나인 경우는 그 개별 피사체의 중심(G)이 된다)의 위치에 관해, 화면 위의 원점 좌표(P)를 통과하는 수평 직선(X축)으로부터 소정의 오프셋량 만큼 오프셋하고 있는 상태에 있는지의 여부(중심 오프셋이 OK인지의 여부)를 판별한다.

스텝 S121에 부정의 판별 결과가 얻어진 경우에는, 스텝 S122에 의해, 설정된 오프셋량 만큼 중심이 오프셋 되도록 하여, 운대(10)의 틸트 기구가 작동하도록 틸트 제어를 실행하고, 스텝 S101로 되돌아온다. 그리고, 스텝 S121에서 긍정의 판별 결과가 얻어진 단계에서는, 개별 피사체 수에 따른 최적 구도가 얻어져 있는 것으로 되는 상태가 얻어진 것이 된다.

또한, 이 스텝 121, S122에 대응한 중심 오프셋으로서의 오프셋량의 값을 어떻게 하여 설정하는 것인지에 관해서는, 몇 가지의 수법이 생각되기 때문에, 여기서는 특히 한정되어야 할 것이 아니다. 가장 간단한 설정의 하나로서는, 예를 들면 3분할법에 의거하여, 종방향에서의 중심 위치로부터, 수직화 사이즈(Cy)의 1/6에 상당하는 길이의 오프셋 값을 주는 것이 생각된다. 물론, 예를 들면 개별 피사체수에 따른 다른 오프셋 값을 소정의 규칙에 따라 설정하도록 구성하는 것도 생각된다.

그리고, 스텝 S121에 의해 긍정의 판별 결과가 얻어진 경우에는, 스텝 S123으로부터 시작되는, 릴리즈 동작에 대응한 처리 순서를 실행한다. 여기서의 릴리즈 동작이란, 그 때에 얻어지고 있는 촬상 화상 데이터를, 정지화상 데이터로서 기억 매체(메모리 카드(40))에 기억시키기 위한 동작을 말한다. 즉, 수동에 의한 셔터 조작을 행하고 있는 경우에는, 이 셔터 조작에 응답하여, 그 때에 얻어지고 있던 촬상 화상 데이터를 정지화상 데이터로서 기억 매체에 대해 기록하는 동작에 해당한다.

스텝 S123에서는, 현재에 릴리즈 동작을 실행 가능한 조건을 충족시키고 있는지의 여부를 판별한다. 조건으로서는 예를 들면, 초점 맞추기 상태에 있을 것(오토 포커스 제어가 유효하게 설정되어 있는 경우), 운대(10)의 팬·틸트 기구가 정지 상태에 있을 것, 등을 들 수 있다.

상기 스텝 S123로 부정의 판별 결과가 얻어진 경우에는, 스텝 S101로 되돌아온다. 이로써, 릴리즈 동작을 실행할 수 있는 조건이 충족되는 상태가 되는 것을 대기할 수 있다. 그리고, 스텝 S123에서 긍정의 판별 결과가 얻어지면, 스텝 S104에 의해 릴리즈 동작을 실행한다. 이와 같이 하여, 본 실시의 형태에서는, 최적 구도의 촬상 화상 데이터를 기록할 수 있다.

릴리즈 동작이 종료되었다고 되면, 스텝 S125에 의해 소요되는 파라미터에 관해 초기 설정을 행한다. 이 처리에 의해, 모드 플래그(f)에 대해서는 초기치인 0이 설정된다. 또한, 줌렌즈의 위치도, 미리 설정된 초기 위치로 되돌아온다.

그리고, 스텝 S125의 처리를 실행한 후는 스텝 S101로 되돌아온다. 이와 같 이 하여 스텝 S125로부터 스텝 S101로 되돌아옴에 의해, 피사체를 탐색하고, 이 탐색에 의해 검출되게 된 개별 피사체수에 따른 최적 구도를 얻어서 촬상 기록(릴리즈 동작)을 행한다는 동작이, 자동적으로 반복하여 실행되게 된다.

또한, 상기 도 11의 경우에서의 릴리즈 동작은, 촬상 화상으로부터 정지화상을 기록 매체에 기록한 동작이 되는 것이지만, 본 실시의 형태에서의 릴리즈 동작은, 보다 광의로는, 상기한 정지화상을 기록 매체에 기록하는 것을 포함하고, 예를 들면 촬상 화상으로부터 필요한 정지화상 데이터를 취득하는 것을. 가리킨다. 따라서, 예를 들면 본 실시의 형태의 디지털 스틸 카메라(1)에 의해, 데이터 인터페이스 등을 경유하여 다른 기록 장치 등에 전송하기 위해, 촬상 화상으로부터 정지화상 데이터를 취득하는 동작도, 릴리즈 동작이 되는 것이다.

또한, 상기 도 11에서, 스텝 S111에 의한 판별 결과에 따라, 스텝 S112, S113에 대응하는 줌 제어, 스텝 S115, S116에 대응하는 줌 제어, 또는 스텝 S118, S119에 의한 줌 제어를 실행한다는 구성은, 현재 검출되어 있는 개별 피사체수에 따라 구도 판정 방법을 변경하고 있는 것이라고 볼 수 있다.

여기서 말하는 구도 판정 방법의 변경이란, 예를 들면 구도 판정, 구도 제어를 위한 알고리즘을 변경하는 것, 또는 구도 판정, 구도 제어를 위한 파라미터를 변경하는 것을 말한다. 스텝 S111에 의해 검출되는 개별 피사체 수가 1이라고 판별한 경우에는, 스텝 S112, S113에 의해, 개별 피사체로서의 화상 부분의 화면 내에서의 점유율에 의거하여 줌 제어를 행하는 것에 대해, 스텝 S111에 의해 검출된 개별 피사체 수가 2 이상이라고 판별한 경우에는, 상기한 점유율이 아니라, 피사체 사이 거리(K)에 의거하여 줌 제어를 행한다. 이것은, 개별 피사체의 사이즈 조정에 관한 구도 판정, 구도 제어에 해당하고, 그를 위한 알고리즘을, 검출되는 개별 피사체 수에 따라 변경하고 있다고 할 수 있다. 또한, 검출되는 개별 피사체 수가 2 이상인 경우에는, 개별 피사체 수가 2의 경우와 3 이상인 경우에서, 최적 구도라고 판정되는 피사체 사이 거리(K)에 관해, Cx/3와 Cx/2와 같이 하여 다른 값이 설정된다. 이것은, 검출되는 개별 피사체 수에 따라, 개별 피사체의 사이즈 조정에 관한 구도 판정, 구도 제어를 위한 파라미터를 변경하고 있다고 할 수 있다.

계속해서는, 본 실시의 형태에서의 제 2의 구도 제어에 관해 설명한다. 제 2의 구도 제어에서는, 검출되는 개별 피사체 수에 따라, 이후 설명하는 바와 같이 하여 촬상 화상 데이터로서의 화면 설정(구도)에 관해 종장(vertical)과 횡장(horizontal)으로 전환을 행한다.

제 2의 구도 제어에서는, 우선, 초기 상태로서 횡장의 구도가 설정된 상태에서 피사체의 검출을 행하는 것으로 한다.

그리고, 예를 들면 도 12(a)에 도시하는 바와 같이 하여 촬상 화상 데이터의 화면 내에서 하나의 개별 피사체(SBJ0)가 검출되었다고 한다. 이와 같이 하여 검출된 개별 피사체 수가 하나인 경우, 제 2의 구도 제어에서는, 도 12(a)로부터 도 12(b)로의 천이로서 나타내는 바와 같이, 구도를 종장으로 설정하게 된다.

게다가, 개별 피사체(SBJ0)에 관해서는, 화면 내에서의 점유율이 소정 범위치 내가 되도록 하여 사이즈의 조정(줌) 제어를 행하게 된다. 또한, 이 경우에는, 개별 피사체(SBJ0)의 수평 방향에서의 위치는 거의 중앙이 되도록 하고 있고, 수직 방향에서의 위치는, 소정 규칙에 따라 중앙보다도 윗방향으로 오프셋 되도록 하고 있도록 된다.

피사체가 하나인 경우의 구도에 관해, 특히 인물인 경우에는, 종장보다도 횡장의 구도라고 하는 쪽이, 전체적, 종합적인 구도도 양호하게 된다는 사고방식을 취할 수 있다. 그래서, 제 2의 구도 제어에서는, 이 사고방식에 의거하여, 개별 피사체가 하나일 때에는, 종장의 구도로 한 다음, 개별 피사체의 사이즈, 위치 조정을 행한다는 구도 제어를 행하는 것으로 하고 있는 것이다.

또한, 본 실시의 형태에서, 상기한 바와 같이 하여 구도를 횡장로부터 종장으로 변경하기 위해서는, 예를 들면 횡장의 구도로서 얻어지는 촬상 화상 데이터로부터 종장 사이즈분의 화상 영역을 잘라내고, 이와 같이 하여 얻어진 종장 사이즈의 화상 데이터 부분을 이용하는 것이 고려된다.

또는, 예를 들면 운대(10)에 관해, 디지털 스틸 카메라(1)를 횡치(horizon tally-oriented)에 대응하는 상태와 종치(vertically-oriented)로 하는 상태 사이에서 움직일 수 있는 기구를 마련하는 것으로 한 다음, 이 기구를 구동 제어함으로써 구도를 변경 가능하게 한 구성도 고려할 수 있다.

또한, 도 13(a)에 도시하는 바와 같이 하여, 촬상 화상 데이터의 화면 내에서 2개의 개별 피사체(SBJ0, SBJ1)가 검출되었다고 한다. 제 2의 구도 제어에서는, 이와 같이 하여 2개의 개별 피사체수가 검출된 경우에는, 그 검출시에 대응한 때인 채의 화각으로의, 피사체 사이 거리(K)가 소정의 임계치 이하인지의 여부에 관한 판단을 행하게 된다.

피사체 사이 거리(K)가 임계치 이하인 경우에는, 2개의 개별 피사체는, 서로 상당히 가까운 상태에 있다고 하는 것이 된다. 이와 같은 상태라면, 구도로서는, 횡장으로 하기보다도 종장으로 하는 쪽이 바람직하다는 사고방식을 취할 수 있다. 그래서, 이 경우에는, 도 13(a)에서 도 13(b)에의 천이로서 나타내는 바와 같이 하여, 구도를 종장으로 변경한다. 또한, 구도를 변경하기 위한 수법으로서는, 예를 들면 상기한 바와 같다. 게다가, 개별 피사체(SBJ0, SBJ1)의 사이즈와 위치가 적절한 것이 되도록 하여, 줌 제어나 팬·틸트 제어를 행하게 된다. 이 경우에도, 화면 내에서의 개별 피사체(SBJ0, SBJ1)로 이루어진다고 되는 화상 부분의 수평 방향에서의 위치는 거의 중앙이 되도록 하고 있고, 수직 방향에서의 위치는, 소정 규칙에 따라 중앙보다도 윗방향에 있도록 되어 있다.

한편, 검출된 2개의 개별 피사체(SBJ0, SBJ1)의 피사체 사이 거리(K)가 임계치를 넘고 있는 경우에는, 2개의 개별 피사체는, 서로 상응하게 떨어져 있는 것이 되지만, 이 경우에는, 구도로서는, 횡장으로 하는 것이 바람직하다고 하는 것이 된다. 그래서, 이 경우에는, 우선 도 9에 의해 설명한 바와 같은 구도 제어를 행하게 된다.

또한, 촬상 화상 데이터의 화면 내에서 3 이상의 개별 피사체(SBJ0 내지 SBJn)(n은 3 이상의 자연수)가 검출되었다고 한다. 여기서는, 3인 이상의 개별 피사체가 검출된 경우에는, 구도에 관해서는, 횡장으로 하는 쪽이 전체 구도로서 보았을 때 바람직하다는 사고방식을 취한다. 그래서, 이 경우에는, 제 2의 구도 제어로서도, 예를 들면 도 10에 의해 설명한 바와 같은 구도 제어를 행하게 된다.

도 14는, 제 2의 구도 제어에 대응하여 도 5에 도시한 피사체 검출 처리 블록(61), 구도 제어 처리 블록(62), 및 통신 제어 처리 블록(63)이 실행하는 것이 되는 순서 예를 도시하고 있다.

이 도면에서, 스텝 S201 내지 S210까지의 순서는, 도 11의 스텝 S101 내지 S110까지의 순서와 마찬가지로 된다. 단, 스텝 S204에서는, 스텝 S104와 마찬가지로 줌 아웃 제어를 실행하는 외에, 지금까지 설정되어 있던 구도가 종장이었던 때에는, 초기 상태인 횡장으로 다시 설정하기 위한 제어도 실행하게 된다.

모드 플래그(f)==1의 상태에서는, 스텝 S111과 마찬가지로 하고, 스텝 S211에 의해, 검출된 개별 피사체수에 관해, 1인지, 2인지, 또는 3 이상인지를 판정하도록 되어 있다. 우선, 스텝 S211에 개별 피사체수가 1이라고 판별된 경우에는, 스텝 S212로부터 시작되는 순서를 실행한다.

스텝 S212에서는, 지금까지에서 설정되어 있던 구도가 횡장인 경우에는, 이것을 종장으로 변경하기 위한 제어를 실행한다. 이 처리로서, 예를 들면 앞서의 설명과 같이 하여, 횡장의 구도로서 얻어지는 촬상 화상 데이터로부터 종장 사이즈분의 화상 영역을 잘라내기 위한 신호 처리를 실행하면 좋다. 이와 같은 처리는, 신호 처리부(24)에서의 구도 제어 처리 블록(62)으로서의 기능에 의해 실현하여야 할 것이 된다. 스텝 S212의 순서를 실행하면, 스텝 S213으로 진행한다.

스텝 S213 내지 스텝 S215는, 각각, 도 11의 스텝 S112 내지 S114와 같게 된다.

상기 스텝 S212 내지 S215까지의 순서에 의해, 도 12에 의해 설명한 구도 제 어(개별 피사체에 관한 윗방향으로의 오프셋을 제외)가 행하여진 것이 된다.

또한, 스텝 S211에서 개별 피사체수가 2라고 판별된 경우에는, 스텝 S216으로부터 시작되는 순서를 실행한다.

스텝 S216에서는, 검출된 2개의 개별 피사체에 관한 개별 피사체 사이 거리(K)가 임계치 이하인지의 여부에 관해 판별한다. 여기서, 긍정의 판별 결과가 얻어진 경우에는, 스텝 S217로 진행하여, 지금까지에서 설정되어 있던 구도가 횡장인 경우에는, 이것을 종장으로 변경하기 위한 제어를 실행한다. 그리고, 스텝 S213 내지 S215의 순서를 실행하게 된다.

단, 스텝 S217로부터 스텝 S213에 이른 경우, 스텝 S213 내지 S215의 순서를 실행할 때에는, 개별 피사체가 2개인 것에 대응하여 설정된, 개별 피사체가 하나인 때와는 다른 점유율에 관한 소정 범위치가 설정된다. 그리고, 2개의 개별 피사체의 점유율이, 이 소정 범위치 내에 수속되었다고 되면, 개별 피사체의 적정 사이즈가 얻어졌다고 하여, 스텝 S215에서 모드 플래그(f)에 대해 2를 설정하게 된다.

한편, 스텝 S216에서, 부정의 판별 결과가 얻어진 경우에는, 스텝 S218부터 시작되는 순서를 실행하게 된다.

스텝 S218에서는, 지금까지에서 설정되어 있던 구도가 종장이었던 경우에는, 이것을 횡장으로 변경하기 위한 제어를 실행한다. 이에 계속되는 스텝 S219 내지 S221의 순서는, 도 11의 스텝 S115 내지 S117과 마찬가지가 된다.

상기 스텝 S216 내지 S221까지의 순서, 및 스텝 S217부터 계속되는 스텝 S213 내지 S215의 순서에 의해, 개별 피사체수가 2인 경우의 제 2 예의 구도 제어 가 행하여진다. 즉, 피사체 사이 거리(K)가 짧다고 되는 경우의 화면을 종장으로 하는 구도 제어와, 피사체 사이 거리(K)가 길다고 되는 경우의 화면을 횡장으로 하는 구도 제어의 분리 사용이 행하여진다.

또한, 구도를 종장과 횡장의 어느쪽으로 설정하는 것인지에 관해, 스텝 S216에서는, 화면 수평 방향에 대응하는 개별 피사체 사이 거리(K)만을 판정의 요소로 하고 있다. 그러나, 실제로는, 예를 들면, 화면 수평(좌우)방향에 대응하는 개별 피사체 사이 거리(K)에 더하여, 화면 수직(상하) 방향에 대응하는 개별 피사체 사이 거리(Kv)도 판정 요소에 가하는 것이 고려된다. 개별 피사체 사이 거리(Kv)는, 화면에서 가장 위에 위치하는 개별 피사체의 중심과 가장 아래에 위치하는 개별 피사체의 중심과의 사이의 거리로서 정의할 수 있다.

예를 들면, 실제의 화면에서는, 상하 방향에서 2개의 개별 피사체간의 거리가 상당히 떨어져 있는 경우가 있다. 이와 같은 때에는, 예를 들어 좌우 방향에서의 2개의 개별 피사체간의 거리가 어느 정도 떨어지고 있다고 하여도, 종장의 구도로 한 쪽이 양호한 전체 구도가 되는 경우가 있다고 고려된다.

스텝 S216으로서, 화면 수평 방향에 대응하는 개별 피사체 사이 거리(K)와 함께, 화면 수직 방향에 대응하는 개별 피사체 사이 거리(Kv)를 판정 요소에 이용하는 경우의 알고리즘의 예를 들어 둔다.

예를 들면, 화면 수평 방향에 대응하는 개별 피사체 사이 거리(K)와 화면 수직 방향에 대응하는 개별 피사체 사이 거리(Kv)에 관한 비로서 K/Kv를 구한다. 그리고, 이 K/Kv에 관해, 소정의 임계치 이상인지의 여부에 관해 판별한다. K/Kv가 임계치 이상인 경우에는, 상하 방향에서의 개별 피사체간의 거리와 비교하면, 수평 방향에서의 2개의 개별 피사체간의 거리쪽이 상응하게 넓은 사이가 된다. 이 경우에는, 스텝 S218에 의해 횡장의 구도를 설정한다. 이것에 대해, K/Kv가 임계치 미만인 경우에는, 상하 방향에서의 개별 피사체간의 거리가 상응하게 떨어져 있는 것이 된다. 그래서, 이 경우에는, 스텝 S217에 의해 종장의 구도를 설정한다.

또는, 앞서의 설명과 마찬가지로, 화면 수평 방향에 대응하는 개별 피사체 사이 거리(K)와 소정의 임계치를 비교하고, 개별 피사체 사이 거리(K)가 임계치 이하이면, 이 때에는, 스텝 S217로 진행하여 종장의 구도를 설정한다. 이에 대해, 개별 피사체 사이 거리(K)가 임계치를 넘은 경우에는, 다음에 화면 수직 방향에 대응하는 개별 피사체 사이 거리(Kv)에 관해, 소정의 임계치와 비교한다. 또한, 개별 피사체 사이 거리(Kv)와 비교하는 임계치는, 개별 피사체 사이 거리(K)에 대응하는 임계치와 같은 값일 필요는 없고, 개별 피사체 사이 거리(Kv)에 대응하여 적절하게 설정된 값을 이용하면 좋다. 그리고, 개별 피사체 사이 거리(Kv)가 임계치 이내이면, 스텝 S218에 의해 횡장의 구도를 설정하지만, 임계치를 넘는 것이면, 스텝 S217에 의해 종장의 구도를 설정한다. 또는,

스텝 S211에서 개별 피사체수가 3이라고 판별된 경우에는, 스텝 S222로부터 시작되는 순서를 실행한다. 스텝 S222에서는, 지금까지에서 설정되어 있던 구도가 종장이었던 경우에는, 이것을 횡장으로 변경하기 위한 제어를 실행한다. 이에 계속되는 스텝 S223 내지 S225의 순서는, 도 11의 스텝 S118 내지 S120과 마찬가지로 된다.

지금까지의 순서를 경유한 결과로서, 모드 플래그(f)에 대해 2가 설정된 상태에서는, 스텝 S226으로부터 시작되는 순서를 실행하게 된다.

스텝 S226, S227에 의한 순서는, 도 11의 S121, S122와 마찬가지로 된다. 이 순서가 실행됨으로써, 예를 들면 앞서 도 12, 도 13에 의해 기술한 바와 같이 하여, 개별 피사체가 화면 내에서, 중앙보다도 상측에 위치하는 구도를 얻을 수 있다.

스텝 S228 내지 S230은, 도 11의 스텝 S123 내지 S125와 마찬가지로 하여, 릴리즈 동작에 관련된 순서가 된다. 이 순서가 실행됨으로써, 구도 제어에 의해 최적 구도가 얻어져 있는 촬상 화상 데이터를 기억 매체에 기록할 수 있게 된다.

또한, 앞서의 도 11 및 상기 도 14에 도시되는 각 구도 제어의 순서는, 그 전체의 흐름에서 보면, 검출되는 개별 피사체의 수에 따라 최적으로 간주되는 구도를 판정, 결정하고, 이 판정한 구도의 촬상 화상 데이터가 실제로 얻어지도록(반영되도록) 하여, 줌 제어, 및 팬·틸트 제어를 적절히 실행하고 있는 것으로 볼 수 있다.

또한, 도 11 및 도 14에 도시되는 각 구도 제어의 순서에서는, 기본적으로는, 검출되는 개별 피사체수가 하나인 경우, 2개인 경우, 3 이상인 경우의 3개의 조건 분기에 대응시켜서 구도를 판정하도록 하고 있다. 그러나, 이것은 어디까지나 한 예이고, 예를 들면 개별 피사체수가 3 이상인 경우에, 더욱 구체적인 개별 피사체수마다 구분하여 구도가 판정되도록 구성하여도 좋다.

예를 들면, 구도로서 종장과 횡장의 어느 쪽의 구도를 설정하는지, 라는 구 도 판정의 알고리즘에 관해, 도 14의 경우에는, 검출되는 개별 피사체수가 2일 때는, 개별 피사체 사이 거리(K)에 따라 종장과 횡장의 어느 한쪽이 선택되지만, 검출되는 개별 피사체수가 3 이상인 경우에는, 일률적으로 횡장을 설정하는 것으로 하고 있다. 그러나, 예를 들면, 검출되는 개별 피사체수가 3 이상인 경우라도, 검출되는 개별 피사체수마다 적합하도록 하여 설정한 임계치와, 그 때의 개별 피사체 사이 거리(K)를 비교한 결과에 의거하여, 횡장과 종장의 어느 쪽의 구도로 하는 것인지를 결정하도록 구성하여도 좋다. 즉, 검출되는 개별 피사체수가 2 이상이면, 개별 피사체 사이 거리(K)에 의거한 종장 구도와 횡장 구도의 판정을 행하도록 하여 구성할 수 있다. 또한, 이 때에도, 우선 스텝 S216에서 기술한, 수직 방향에 대응하는 개별 피사체 사이 거리(Kv)를 판정 요소에 가할 수 있다.

그런데, 본 실시의 형태의 촬상 시스템을 이용함에 즈음하여, 그 주위에서 상응하게 많은 사람이 있는 환경중에서, 특정한 하나 또는 복수의 인물만 대상으로 하여 구도 제어를 실행시키는 상황도 있다고 생각된다. 그러나, 피사체 검출 처리가 얼굴 검출 기술에 의거한 것으로 하여, 단순히 검출된 얼굴을 전부 개별 피사체수로서 인식하여 버리는 알고리즘 구성이면, 상기한 바와 같이 하여, 특정 인물만을 대상으로 하는 구도 제어는 적정하게 행하여지지 않게 되어 버린다. 특히, 본 실시의 형태의 구도 제어는, 개별 피사체수에 따라 다른 구도를 설정하기 때문에, 유저가 바라지 않는 구도가 되는 결과가 생길 가능성도 상응하게 높아진다고 생각된다.

그래서, 본 실시의 형태로서 상기한 바와 같은 상황에 대응시키는 경우에는, 도 11의 스텝 S102 또는 도 14의 스텝 S202에서의 피사체 검출 처리에서, 다음과 같은 피사체의 변별 처리가 가능하도록 구성할 수 있다.

이 경우에는, 우선, 예를 들면 디지털 스틸 카메라(1)에 대한 조작에 의해, 구도 제어의 대상으로 하는 개별 피사체(대상 개별 피사체)의 상한수를 설정할 수 있도록 하여 둔다. 설정된 대상 개별 피사체 상한수의 정보는, 예를 들면 피사체 검출 처리 블록(61)이 보존하여 두게 된다. 여기서는, 구체예로서, 대상 개별 피사체 상한수로서 2가 설정되어 있는 것으로 한다.

그리고, 예를 들면 피사체 탐색 동작(스텝 105, S205)을 실행한 결과, 도 15(a)에 도시하는 그림 내용의 촬상 화상 데이터가 얻어졌다고 한다. 이에 대응하는 스텝 S101 또는 S202의 피사체 검출 처리로서는, 얼굴 검출에 의해 4개의 개별 피사체의 존재를 검출하게 된다. 이 단계에서 검출되는 개별 피사체는, 여기서는, 「피사체 후보」로서 다루어진다. 도면에서는, 화면 내의 4개의 피사체 후보에 대해, 왼쪽으로부터 오른쪽에 걸쳐서, 피사체 후보(DSBJ0, DSBJ1, DSBJ2, DSBJ3)로 부호를 붙이고 있다.

이와 같이 하여, 단순히 얼굴 검출을 행한 결과로서는 4개의 피사체(후보 피사체)가 검출된다. 그러나, 상기한 바와 같이, 이 경우에는 대상 개별 피사체 상한수로서 2가 설정되어 있는 것으로 하고 있다. 이에 의거하여, 피사체 검출 처리 블록(61)은, 4개의 후보 피사체(DSBJ0, DSBJ1, DSBJ2, DSBJ3)중에서, 사이즈가 큰 쪽부터 차례로 2개의 후보 피사체를 선택하고, 이들의 후보 피사체를 대상 개별 피사체로 한다. 이 경우에는, 후보 피사체(DSBJ0, DSBJ1, DSBJ2, DSBJ3)중에서, 사이즈 가 가장 큰 2개는, 후보 피사체(DSBJ2, DSBJ3)인 것이 된다. 그래서, 피사체 검출 처리 블록(61)은, 도 15(b)에 도시하는 바와 같이 하여, 후보 피사체(DSBJ2, DSBJ3)를, 각각, 대상 개별 피사체(SBJ0, SBJ1)로서 취급하는 것으로 하고, 후보 피사체(DSBJ0, DSBJ1)에 대해서는, 대상 개별 피사체가 아닌 것으로 하여 무시한다. 그리고, 도 11의 스텝 S107 이후 또는 도 14의 S207 이후의 구도 제어를 위한 순서를 실행할 때에는, 대상 개별 피사체만을 제어의 대상으로 하게 된다.

이와 같은 피사체의 변별이 행하여짐으로써, 예를 들면 많은 사람이 주위에 있는 환경, 상황이라도, 촬상 시스템에 대해 가장 앞쪽의 위치에 구도 제어의 대상으로 하고 싶은 인물이 있도록 함으로써, 이들의 인물만을 대상으로 한 적정한 구도 제어에 의한 촬영을 행할 수 있게 된다.

도 16의 플로우 차트는, 도 11의 스텝 S102 또는 도 14의 스텝 S202의 피사체 검출 처리의 일부로서 실행되는, 상기한 피사체 변별을 위한 순서예를 도시하고 있다.

이 처리에서는, 예를 들면 우선, 얼굴 검출 처리에 의해 검출된 모든 피사체를 피사체 후보로서 취급하는 것으로 하고 있다. 그리고, 스텝 S301에서는, 이 피사체 후보가 적어도 하나 검출되는 것을 대기하고 있고, 피사체 후보가 검출된 것이면, 스텝 S302로 진행한다.

스텝 S302에서는, 현재에 설정되어 있는 대상 개별 피사체 상한수가, 상기 스텝 S301에 대응하여 검출된 피사체 후보수 이상인지의 여부에 관해 판별하는 것으로 하고 있다.

스텝 S302에서 긍정의 판별 결과가 얻어진 경우에는, 피사체 후보의 수가 대상 개별 피사체 상한수를 초과하지 않은 것이 된다. 그래서, 이 경우에는, 스텝 S303에 의해, 검출된 모든 피사체 후보를 대상 개별 피사체로서 취급하는 것으로 하여 설정한다.

이에 대해, 스텝 S302에서 부정의 판별 결과가 얻어진 경우에는, 피사체 후보의 수가 대상 개별 피사체 상한수보다도 많은 것이 된다. 이 경우에는, 스텝 S304에 의해, 검출된 피사체 후보의 사이즈가 큰 순서로부터, 대상 개별 피사체 상한수분의 피사체 후보를 선별한다. 그리고, 스텝 S305에 의해 선별한 피사체 후보를, 대상 개별 피사체로서 취급하는 것으로 설정한다. 이로써, 피사체 변별이 행하여지게 된다.

이와 같은 도 16의 순서를 경유함으로써, 도 11의 스텝 S102 또는 도 14의 스텝 S202의 피사체 검출 처리의 결과로서는, 상기 스텝 S303 또는 스텝 S205에 의해 설정된 대상 개별 피사체의 수, 대상 개별 피사체마다의 사이즈, 위치 등의 정보를, 검출 정보로서 구도 제어 처리 블록(62)에 출력하게 된다. 구도 제어 처리 블록(62)은, 이 검출 정보를 이용하여, 도 11의 스텝 S107 이후, 또는 도 14의 스텝 S207 이후의 구도 제어를 실행한다.

도 17은, 본 실시의 형태의 촬상 시스템의 변형예로서의 구성예를 도시하고 있다.

이 도면에서는, 우선, 디지털 스틸 카메라(1)로부터 통신 제어 처리 블록(63)을 경유하여, 촬상에 의거하여 신호 처리부(24)에 생성되는 촬상 화상 데이 터를, 운대(10)에 대해 송신하도록 되어 있다.

이 도면에서는, 운대(10)가 구성으로서 통신 제어 처리 블록(71), 팬·틸트 제어 처리 블록(72), 피사체 검출 처리 블록(73), 및 구도 제어 처리 블록(74)이 도시되어 있다.

통신 제어 처리 블록(71)은, 도 4의 통신부(52)에 대응하는 기능 부위이고, 디지털 스틸 카메라(1)측의 통신 제어 처리 블록부(63)(운대 대응 통신부(34))와의 통신 처리를 소정의 프로토콜에 따라 실행하도록 하여 구성되는 부위이다.

통신 제어 처리 블록(71)에 의해 수신된 촬상 화상 데이터는, 피사체 검출 처리 블록(73)에 건네진다. 이 피사체 검출 블록(73)은, 예를 들면 도 5에 도시한 피사체 검출 처리 블록(61)과 동등한 피사체 검출 처리가 적어도 가능한 만큼의 신호 처리부를 구비하여 구성되고, 받아들인 촬상 화상 데이터를 대상으로 하여 피사체 검출 처리를 실행하고, 그 검출 정보를 구도 제어 처리 블록(74)에 출력한다.

구도 제어 처리 블록(74)은, 도 4의 구도 제어 처리 블록(62)과 동등한 구도 제어를 실행 가능하게 되어 있고, 이 구도 제어 처리의 결과로서 팬 제어, 틸트 제어를 행할 때에는, 그를 위한 제어 신호를 팬·틸트 제어 처리 블록(72)에 대해 출력한다.

팬·틸트 제어 처리 블록(72)은, 예를 들면 도 4에서의 제어부(51)가 실행하는 제어 처리중에서, 팬·틸트 제어에 관한 처리의 실행 기능에 대응하는 것으로, 입력되는 제어 신호에 따라 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤하기 위한 신호를 팬용 구동부(55), 틸트용 구동부(58)에 대해 출력한다. 이로써, 구 도 제어 처리 블록(62)에서 판정한 구도를 얻을 수 있도록 하여 패닝, 틸팅가 행하여진다.

이와 같이 하여, 도 17에 도시하는 촬상 시스템은, 디지털 스틸 카메라(1)로부터 운대(10)에 촬상 화상 데이터를 송신시킴으로써서, 운대(10)측에 의해, 받아들인 촬상 화상 데이터에 의거한 피사체 검출 처리와 구도 제어를 실행하도록 하여 구성하고 있는 것이다.

도 18은, 본 실시의 형태의 촬상 시스템에 관한 다른 변형예로서의 구성예를 도시하고 있다. 또한, 이 도면에서, 도 17과 동일 부분에는 동일 부호를 붙이고 설명을 생략한다.

이 시스템에서는, 운대(10)측에서 촬상부(75)가 구비된다. 이 촬상부(75)는, 예를 들면 촬상을 위한 광학계와 촬상 소자(이미저)를 구비하고, 촬상광에 의거한 신호(촬상 신호)를 얻도록 되어 있음과 함께, 이 촬상 신호로부터 촬상 화상 데이터를 생성하기 위한 신호 처리부로 이루어진다. 이것은, 예를 들면 도 1에 도시한 광학계부(21), 이미지 센서(22), A/D 컨버터(23), 및 신호 처리부(24)에서 촬상 화상 데이터를 얻기까지의 신호 처리 단(段)으로 이루어지는 부위에 대응하는 구성이 된다. 촬상부(75)에 의해 생성되는 촬상 화상 데이터는 피사체 검출 처리 블록(73)에 출력된다. 또한, 촬상부(75)가 촬상광을 받아들이는 방향(촬상 방향)은, 예를 들면 운대(10)에 재치되는 디지털 스틸 카메라(1)의 광학계부(21)(렌즈부 3)의 촬상 방향과 가능한 한 일치하도록 하여 설정된다.

이 경우의 피사체 검출 처리 블록(73) 및 구도 제어 처리 블록(74)은, 상기 도 17과 마찬가지로 하여 피사체 검출 처리, 구도 제어 처리를 실행한다. 단, 이 경우의 구도 제어 처리 블록(73)은, 팬·틸트 제어에 더하여, 릴리즈 동작을 실행시키는 타이밍에 대응하여서는 릴리즈 지시 신호를, 통신 제어 처리 블록(71)으로부터 디지털 스틸 카메라(1)에 대해 송신시킨다. 디지털 스틸 카메라(1)에서는, 릴리즈 지시 신호가 수신되는 것에 따라 릴리즈 동작을 실행하게 된다.

이와 같이 하여 다른 변형예에서는, 피사체 검출 처리와 구도 제어에 관해, 릴리즈 동작 자체에 관한 이외의 모든 제어·처리를 운대(10)측에서 완결하여 행할 수 있다.

또한, 본 실시의 형태의 촬상 시스템에 의한 피사체 검출이든지 구도 제어에 관해서는, 하기한 변형을 생각할 수도 있다.

예를 들면, 지금까지에서는, 특히 수평 방향(좌우 방향)에 관한 구도 제어에 관해서는 기술하지 않지만, 예를 들면 3분할법 등에 의하면, 피사체를 중앙에 배치하는 것이 아니라, 좌우 어느 하나의 방향으로 치우치게 함에 의해서도 좋은 구도를 얻을 수 있는 것으로 되어 있다. 그래서, 실제로는, 개별 피사체수에 따른 구도 제어로서, 예를 들면 피사체 중심(개별 피사체 중심, 총합 피사체 중심)에 관한 좌우 방향에서의 소요량의 이동이 행하여지도록 구성하는 것으로 하여도 좋다.

또한, 도 11, 도 14에 도시되는 구도 제어에서 실행된 팬 제어, 틸트 제어는, 운대(10)의 팬·틸트 기구의 움직임을 제어함에 의해 행하는 것으로 하고 있지만, 운대(10)에 대신하여, 예를 들면, 디지털 스틸 카메라(1)의 렌즈부(3)에 대해서는, 반사경에 의해 반사된 촬상광이 입사되도록 한 다음에, 촬상광에 의거하여 얻어지는 화상에 대해 패닝·틸팅된 결과가 얻어지도록 하여 상기 반사광을 움직이는 구성을 채용하는 것도 생각된다.

또한, 디지털 스틸 카메라(1)의 이미지 센서(22)로부터 화상으로서 유효한 촬상 신호를 받아들이기 위한 화소 영역을 수평 방향과 수직 방향으로 시프트시킨다는 제어를 행함에 의해서도, 패닝·틸팅이 행하여지는 것과 동등한 결과를 얻을 수 있다. 이 경우에는, 운대 또는 이것에 준하는, 디지털 스틸 카메라(1) 이외의 팬·틸트를 위한 장치부를 준비할 필요가 없고, 디지털 스틸 카메라(1) 단체(單體)에 의해 본 실시의 형태로서의 구도 제어를 완결시키는 것이 가능해진다.

또한, 광학계부(21)에서의 렌즈의 광축을 수평·수직 방향으로 변경할 수 있는 기구를 구비하고, 이 기구의 움직임을 제어하도록 구성하여도, 패닝·틸팅을 행하는 것이 가능하다.

또한, 본원 발명에 의거한 구도 판정을 위한 구성은, 지금까지 실시의 형태로서 설명하여 온 촬상 시스템 이외에도 적용할 수 있다. 그래서 이후, 본원 발명에 의한 구도 판정의 적용예에 관해 기술한다.

우선, 도 19는, 본원 발명에 의한 구도 판정을, 디지털 스틸 카메라 등의 촬상 장치 단체에 대해 적용한 것으로, 예를 들면 촬상 모드시에 촬상 장치에 의해 촬상하고 있는 화상이 적정한 구도가 되었을 때에, 이것을 표시에 의해 유저에게 통지하려고 하는 것이다.

이를 위해 촬상 장치가 구비하여야 할 구성으로서, 여기서는 피사체 검출·구도 판정 처리 블록(81), 통지 제어 처리 블록(82), 표시부(83)를 나타내고 있다.

피사체 검출·구도 판정 처리 블록(81)은, 촬상 화상 데이터를 받아들여서, 예를 들면 도 5의 피사체 검출 처리 블록(61)과 동등한 피사체 검출 처리와, 이 피사체 검출 처리의 결과로서의 검출 정보를 이용하여, 예를 들면 도 5와 동등한 구도 판정을 위한 처리를 행하게 된 부위이다.

예를 들면 유저는, 촬상 장치를 촬상 모드로 설정한 다음, 촬상 장치를 손으로 갖고 있고, 언제라도 릴리즈 조작(셔터 버튼 조작)을 행하면 촬상 화상의 기록이 행하여지는 상황에 있는 것으로 한다.

이와 같은 상태하에서, 피사체 검출·구도 판정 처리 블록(81)에서는, 그 때에 촬상하여 얻어지는 촬상 화상 데이터를 받아들여서 피사체 검출을 행한다. 그러면 구도 제어 처리에 의해서는, 우선, 검출된 개별 피사체의 수 등에 따라 최적 구도가 어떤 것인지가 특정되게 되는데, 이 경우의 구도 판정 처리로서는, 그 때에 얻어져 있는 촬상 화상 데이터의 그림 내용의 구도와, 최적 구도와의 일치성, 유사도를 구하게 된다. 그리고, 예를 들면 유사도가 일정 이상이 되었을 때에, 실제로 촬영하여 얻어져 있는 촬상 화상 데이터의 그림 내용이 최적 구도가 되었다고 판정하게 된다. 또한, 예를 들면 실제로는, 촬상 화상 데이터의 그림 내용의 구도와 최적 구도가 일치하였다고 간주되는 정도의, 소정 이상의 유사도를 얻어졌으면, 최적 구도라고 판단하도록 하여 알고리즘을 구성한 것이 생각된다. 또한, 여기서의 일치성, 유사도를 어떻게 하여 구하는지에 관해서는 다양한 알고리즘을 생각할 수 있기 때문에, 여기서는, 그 구체적인 예에 관해서는 특히 언급하지 않는다.

이와 같이 하여 촬상 화상 데이터의 화면 내용이 최적 구도가 된 것의 판정 결과의 정보는 통지 제어 처리 블록(82)에 대해 출력된다. 통지 제어 처리 블록(82)은, 상기한 정보의 입력에 따라, 현재에 촬상되어 있는 화상이 최적 구도인 것을 유저에게 통지하기 위한 소정 양태에 의한 표시가 표시부(83)에 행하여지도록 표시 제어를 실행한다. 또한, 통지 제어 처리 블록(82)은, 촬상 장치가 구비하는 마이크로 컴퓨터(CPU) 등에 의한 표시 제어 기능과, 표시부(83)에 대한 화상 표시를 실현하기 위한 표시용 화상 처리기능 등에 의해 실현된다. 또한, 여기서의 최적 구도인 것의 유저에게의 통지는, 전자음, 또는 합성 음성 등을 비롯한 소리에 의해 행하여지도록 구성하여도 좋다.

또한, 표시부(83)는, 예를 들면 본 실시의 형태의 디지털 스틸 카메라(1)의 표시부(33)에 대응하는 것으로, 예를 들면 촬상 장치에서의 소정 위치에 대해 그 디스플레이 패널이 표출하도록 하여 마련되고, 촬영 모드시에는 이른바 스루 화상이라고 일컬어지는, 그 때에 촬상되어 있는 화상이 표시되는 것이 일반적이다. 따라서, 이 촬상 장치의 실제에서는, 표시부(83)에서, 스루 화상에 대해 중첩되는 양태로 최적 구도인 것을 통지하는 내용의 화상이 표시되게 된다. 유저는, 이 최적 구도인 것을 통지한 표시가 나타난 때에 릴리즈 조작을 행하게 된다. 이로써, 사진 촬영의 지식이나 기술에 뛰어나지 않은 유저라도, 양호한 구도의 사진 촬영을 간단하게 행하는 것이 가능해진다.

또한, 도 20도, 상기 도 19와 마찬가지로 디지털 스틸 카메라 등의 촬상 장치 단체에 대해 본원 발명에 의한 구도 판정을 적용한 것이 된다.

우선, 이 도면에 도시하는 구성에서는, 도 19와 마찬가지로, 피사체 검출· 구도 판정 처리 블록(81)에 의해, 그 때의 촬상에 의해 얻어지는 촬상 화상 데이터를 받아들여서 피사체 검출 처리를 행함과 함께, 피사체 검출 정보에 의거하여, 상기한 촬상 화상 데이터의 그림 내용이 최적 구도인지의 여부를 판정하게 된다. 그리고, 최적 구도가 된 것을 판정하면, 이것을 릴리즈 제어 처리 블록(84)에 대해 통지한다.

릴리즈 제어 처리 블록(84)은, 촬상 화상 데이터를 기록하기 위한 제어를 실행하는 부위가 되고, 예를 들면 촬상 장치가 구비하는 마이크로 컴퓨터가 실행하는 제어 등에 의해 실현된다. 상기한 통지를 받은 릴리즈 제어 처리 블록(84)은, 그 때에 얻어져 있는 촬상 화상 데이터가, 예를 들면 기억 매체에 기억되도록 하여 화상 신호 처리, 기록 제어 처리를 실행한다.

이와 같은 구성이라면, 예를 들면 최적인 구도의 화상이 촬상된 때에는, 자동적으로 그 촬상 화상의 기록이 행하여지도록 한 촬상 장치를 얻을 수 있다.

또한, 상기 도 19 및 도 20의 구성은, 예를 들면 스틸 카메라의 범주라면, 예를 들면 도 1에 의해 도시되는 바와 같은 구성의 디지털 스틸 카메라에 적용할 수 있는 외에, 은염 필름 등에 촬상 화상을 기록하는 이른바 은염 카메라라고 일컬어지는 것에도, 예를 들면 광학계에 의해 얻어진 촬상광을 분광하여 받아들이는 이미지 센서와, 이 이미지 센서로부터의 신호를 입력하여 처리하는 디지털 화상 신호 처리부 등을 마련함으로써 적용이 가능하다.

또한, 도 21은, 이미 존재하는 화상 데이터에 대해 화상 편집을 행하는 편집 장치에 본원 발명을 적용한 예이다.

이 도면에서는 편집 장치(90)가 도시되어 있다. 여기서의 편집 장치(90)는, 이미 존재하는 화상 데이터로서, 예를 들면 기억 매체에 기억되어 있던 것을 재생하여 얻은 화상 데이터(재생 화상 데이터)를 얻도록 되어 있다. 또한, 기억 매체로부터 재생한 것 외에, 예를 들면 네트워크 경유로 다운로드한 것을 받아들여도 좋다. 즉, 편집 장치(90)가 받아들여야 할 촬상 화상 데이터를 어떤 경로로 취득하는 것인지에 관해서는, 특히 한정되어야 할 것은 아니다.

편집 장치(90)가 받아들였다고 되는 재생 촬상 화상 데이터는, 트리밍 처리 블록(91)과 피사체 검출·구도 판정 처리 블록(92)의 각각에 대해 입력된다.

우선, 피사체 검출·구도 판정 처리 블록(92)은, 예를 들면 우선, 도 19, 도 20과 마찬가지의 피사체 검출 처리를 실행하여 검출 정보를 출력한다. 그리고, 이 검출 정보를 이용한 구도 판정 처리로서, 이 경우에는, 입력되는 재생 촬상 화상 데이터로서의 전체화면에서, 최적 구도가 얻어지게 되는 소정의 종횡비에 의한 화상 부분(최적 구도의 화상 부분)이 어디인지를 특정한다. 그리고, 최적 구도의 화상 부분이 특정되면, 예를 들면 그 화상 부분의 위치를 나타내는 정보(트리밍 지시 정보)를 트리밍 처리 블록(91)에 대해 출력한다.

트리밍 처리 블록(91)은, 상기한 바와 같이 하여 트리밍 지시 정보가 입력된 것에 응답하여, 입력되는 재생 촬상 화상 데이터로부터, 트리밍 지시 정보가 나타내는 화상 부분을 빼내기 위한 화상 처리를 실행하고, 빼낸 화상 부분을 하나가 독립한 화상 데이터로서 출력한다. 이것이 편집 촬상 화상 데이터가 된다.

이와 같은 구성이라면, 예를 들면 화상 데이터의 편집 처리로서, 원래 있는 화상 데이터의 그림 내용으로부터 최적 구조가 되는 부분을 빼낸 내용의 화상 데이터를 신규로 얻는다는 트리밍이 자동적으로 행하여지게 된다. 이와 같은 편집 기능은, 예를 들면 퍼스널 컴퓨터 등에 인스톨되는 화상 데이터 편집을 위한 어플리케이션이든지, 화상 데이터를 관리하는 어플리케이션에서의 화상 편집 기능 등으로 채용하는 것이 생각된다.

도 22는, 본원 발명의 구도 판정을 디지털 스틸 카메라 등의 촬상 장치에 적용한 구성의 한 예이다.

여기서는 도시하지 않은 촬상부에 의해 촬상하여 얻어지는 촬상 화상 데이터는, 촬상 장치(100) 내의 피사체 검출·구도 판정 처리 블록(101), 파일 작성 처리 블록(103)에 대해 입력하는 것으로 하고 있다. 또한, 이 경우에, 촬상 장치(100) 내에 입력된 촬상 화상 데이터는, 예를 들면 릴리즈 조작 등에 따라 기억 매체에 기억되어야 할 것으로 된 촬상 화상 데이터이고, 여기서는 도시하지 않은, 촬상부에서의 촬상에 의해 얻어진 촬상 신호를 기초로 생성된 것이다.

우선 피사체 검출·구도 판정 처리 블록(101)에서는, 입력된 촬상 화상 데이터를 대상으로 피사체 검출을 행하고, 그 검출 정보에 의거하여 최적 구도가 어떤 것인지를 판정하게 된다. 구체적으로는, 예를 들면 도 21의 경우와 마찬가지로 하여, 입력된 촬상 화상 데이터의 전화면에서 최적 구도가 되는 화상 부분을 특정한 정보가 얻어지게 되면 좋다. 그리고, 이와 같이 하여 얻은 최적 구도에 관한 판정 결과를 나타내는 정보를, 메타데이터 작성 처리 블록(102)에 대해 출력한다.

메타데이터 작성 처리 블록(102)에서는, 입력된 정보에 의거하여, 대응하는 촬상 화상 데이터로부터 최적 구도를 얻기 위해 필요한 정보로 이루어지는 메타데이터(구도 편집 메타데이터)를 작성하고, 파일 작성 처리 블록(103)에 대해 출력한다. 이 구도 편집 메타데이터의 내용으로서는, 예를 들면, 대응하는 촬상 화상 데이터로서의 화면에서 트리밍한 화상 영역 부분이 어디인지를 나타낼 수 있는 위치 정보 등이 된다.

이 도면에 도시하는 촬상 장치(100)에서는, 촬상 화상 데이터에 관해, 소정 형식에 의한 정지화상 파일로서 관리되도록 하여 기억 매체에 기록하는 것이 된다. 이에 대응하여, 파일 작성 처리 블록(103)은, 촬상 화상 데이터를, 정지화상 파일 형식로 변환(작성)한다.

파일 작성 처리 블록(103)은, 우선, 입력되는 촬상 화상 데이터에 관해, 화상 파일 형식에 대응한 화상 압축 부호화를 행하고, 촬상 화상 데이터로 이루어지는 파일 본체 부분을 작성한다. 이와 함께, 메타데이터 작성 처리 블록(102)으로부터 입력된 구도 편집 메타데이터를, 소정의 격납 위치에 대해 격납하도록 하여 헤더 및 부가 정보 블록 등의 데이터 부분을 작성한다. 그리고, 이들 파일 본체 부분, 헤더, 부가 정보 블록 등으로부터 정지화상 파일을 작성하고, 이것을 출력한다. 이로써, 도시하는 바와 같이 하여, 기억 매체에 기록하여야 할 정지화상 파일로서는, 촬상 화상 데이터와 동시에 메타데이터(구도 편집 메타데이터)가 포함되는 구조를 갖는 것이 얻어지게 된다.

도 23은, 상기 도 22의 장치에 의해 작성된 정지화상 파일에 관해 편집을 행하는 편집 장치의 구성예를 도시하고 있다.

도면에 도시하는 편집 장치(110)는, 정지화상 파일의 데이터를 받아들여서, 우선 메타데이터 분리 처리 블록(111)에 입력한다. 메타데이터 분리 처리 블록(111)은, 정지화상 파일의 데이터로부터, 파일 본체 부분에 상당하는 촬상 화상 데이터와 메타데이터를 분리한다. 분리하여 얻어진 메타데이터에 대해서는 메타데이터 해석 처리 블록(112)에 대해 출력하고, 촬상 화상 데이터에 대해서는 트리밍 처리 블록(113)에 대해 출력한다.

메타데이터 해석 처리 블록(112)은, 받아들인 메타데이터를 해석하는 처리를 실행하는 부위가 된다. 그리고, 해석 처리로서, 구도 편집 메타데이터에 관해서는, 그 내용인 최적 구도를 얻기 위한 정보로부터, 적어도, 대응의 촬상 화상 데이터를 대상으로 하여 트리밍을 행하는 화상 영역을 특정한다. 그리고, 이 특정된 화상 영역의 트리밍을 지시하는 트리밍 지시 정보를 트리밍 처리 블록(113)에 대해 출력한다.

트리밍 처리 블록(113)은, 앞서의 도 21의 트리밍 처리 블록(91)과 마찬가지로, 메타데이터 분리 처리 블록(111)측으로부터 입력한 촬상 화상 데이터로부터, 상기 메타데이터 분리 처리 블록(112)으로부터 입력되는 트리밍 지시 정보가 나타내는 화상 부분을 빼내기 위한 화상 처리를 실행하고, 빼낸 화상 부분을 하나가 독립한 화상 데이터인, 편집 촬상 화상 데이터로서 출력한다.

상기 도 22, 도 23에 도시되는 촬상 장치와 편집 장치로 이루어지는 시스템에 의하면, 예를 들면 촬영 등에 의해 얻은 오리지널의 정지화상 데이터(촬상 화상 데이터)는 그대로 무가공으로 보존하여 두도록 한 다음에, 이 오리지널 정지화상 데이터로부터 메타데이터를 이용하여, 최적 구도가 되는 화상을 빼내는 편집이 행하여지게 된다. 또한, 이와 같은 최적 구도에 대응한 빼내는 화상 부분의 결정은, 자동적으로 행하여지는 것이 된다.

도 24는, 비디오 카메라 등으로서의 동화상의 촬영 기록이 가능한 촬상 장치에 본원 발명을 적용한 예이다.

이 도면에 도시하는 촬상 장치(120)에는, 동화상 데이터가 입력된다. 이 동화상 데이터는, 예를 들면 같은 촬상 장치(120)가 갖는다고 되는 촬상부에 의해 촬상을 행하여 얻어지는 촬상 신호에 의거하여 생성되는 것이다. 이 동화상 데이터는, 촬상 장치(120)에서의 피사체 검출·구도 판정 처리 블록(122), 및 파일 작성·기록 처리 블록(124)에 대해 입력된다.

이 경우의 피사체 검출·구도 판정 처리 블록(122)은, 입력되어 오는 동화상 데이터에 관한 구도의 양부(良否) 판정을 행한다. 예를 들면, 피사체 검출·구도 판정 처리 블록(122)에서는, 미리 양호하다고 되는 구도가 어떤 것인지에 관한 파라미터(양호 구도 대응 파라미터)를 보존하고 있다. 이 파라미터로서는, 검출되는 개별 피사체수마다에 따라 적절하다고 하여 설정된 화면 내에서의 개별 피사체의 점유율, 피사체 사이 거리(K) 등이 되고, 그리고, 피사체 검출·구도 판정 처리 블록(122)은, 입력되어 오는 동화상 데이터에 관해, 예를 들면 계속적으로 어떤 구도로 되어 있는가에 관한 구도 판정을 행함(예를 들면 동화상 데이터에서의 실제의 개별 피사체의 점유율, 피사체 사이 거리(K) 등의 구도 파라미터를 구한다)과 함께, 이 판정 결과로서 얻어진 동화상 데이터의 구도 파라미터와, 상기한 양호 구도 파라미터를 비교한다. 그리고, 동화상 데이터의 구도 파라미터가 양호 구도 대응 파라미터에 대해 일정 이상의 유사도를 갖고 있으면 양호한 구도라고 판정되고, 상기 유사도가 일정 이하이면, 양호한 구도가 아니라고 판정된다.

피사체 검출·구도 판정 처리 블록(122)은, 상기한 바와 같이 하여 동화상 데이터에 관해 양호한 구도가 얻어져 있다고 판정한 때에는, 메타데이터 작성 처리 블록(123)에 대해, 동화상 데이터에서, 금회, 상기한 양호한 구도가 얻어지고 있다고 판정한 화상 구간(양호 구도 화상 구간)이 어디인지를 나타내는 정보(양호 구도 화상 구간 지시 정보)를 출력한다. 양호 구도 화상 구간 지시 정보는, 예를 들면 동화상 데이터에서의 양호 구도 화상 구간으로서의 시작 위치와 종료 위치를 나타내는 정보 등이 된다.

이 경우의 메타데이터 작성 처리 블록(123)은, 다음에 설명하는 동화상 기록 처리 블록(124)에 의해 기억 매체에 파일로서 기록되는 동화상 데이터에 관한, 각종 소요되는 메타데이터를 생성하는 것이 된다. 게다가, 상기한 바와 같이 하여 피사체 검출·구도 판정 처리 블록(122)으로부터 양호 구도 화상 구간 지시 정보를 입력한 경우에는, 입력된 양호 구도 화상 구간 지시 정보가 나타내는 화상 구간이 양호한 구도인 것을 나타내는 메타데이터를 생성하고, 동화상 기록 처리 블록(124)에 대해 출력한다.

동화상 기록 처리 블록(124)은, 입력된 동화상 데이터에 관해, 소정 형식에 의한 동화상 파일로서 관리되도록 하여 기억 매체에 기록하기 위한 제어를 실행한다. 그리고, 메타데이터 작성 처리 블록(123)으로부터 메타데이터가 출력되어 온 경우에는, 이 메타데이터가, 동화상 파일에 부수되는 메타데이터에 포함한다 하여 기록되게 하기 위한 제어를 실행한다.

이로써, 도시하는 바와 같이 하여, 기억 매체에 기록되는 동화상 파일은, 촬상에 의해 얻어졌다고 하는 동화상 데이터에, 양호한 구도가 얻어져 있는 화상 구간을 나타내는 메타데이터가 부수된 내용을 갖는 것이 된다.

또한, 상기한 바와 같이 하여 메타데이터에 의해 나타나는, 양호한 구도가 얻어져 있는 화상 구간은, 어느 정도의 시간 폭을 갖는 동화상에 의한 화상 구간으로 되어도 좋고, 동화상 데이터로부터 빼낸 정지화상에 의한 것으로 되어도 좋다. 또한, 상기한 메타데이터에 대신하여, 양호한 구도가 얻어져 있는 화상 구간의 동화상 데이터 또는 정지화상 데이터를 생성하여, 이것을 동화상 파일에 부수되는 부차적인 화상 데이터 정지화상 데이터(또는 동화상 파일과 독립한 파일)로서 기록하는 구성도 생각된다.

또한, 도 24에 도시되는 바와 같이 하여, 촬상 장치(120)에 대해 피사체 검출·구도 판정 처리 블록(122)을 구비하는 구성에서는, 피사체 검출·구도 판정 처리 블록(122)에 의해 양호 구도 화상 구간이라고 판정된 동화상의 구간만을 동화상 파일로서 기록하도록 구성하는 것도 생각된다. 나아가서는, 피사체 검출·구도 판정 처리 블록(122)에 의해 양호 구도라고 판정된 화상 구간에 대응하는 화상 데이터를, 데이터 인터페이스 등을 경유하여 외부 기기에 출력하는 구성도 생각할 수 있다.

도 25는, 인쇄를 행하는 인쇄 장치에 본원 발명을 적용한 예이다. 이 경우에 는, 인쇄 장치(130)가, 인쇄하여야 할 화상 내용을 갖는 화상 데이터(정지화)를 받아들이는 것으로 되어 있고, 이와 같이 하여 받아들인 데이터는, 트리밍 처리 블록(131), 및 피사체 검출·구도 판정 처리 블록(132)에 대해 입력된다.

우선, 피사체 검출·구도 판정 처리 블록(132)은, 도 21의 피사체 검출·구도 판정 처리 블록(92)과 마찬가지의 피사체 검출 처리·구도 판정 처리를 실행함으로써, 입력되는 화상 데이터의 전화면에서의 최적 구도의 화상 부분을 특정하는 처리를 실행하고, 이 처리 결과에 따른 내용의 트리밍 지시 정보를 생성하여 트리밍 처리 블록(131)에 대해 출력한다.

트리밍 처리 블록(131)은, 도 21의 트리밍 처리 블록(91)과 마찬가지로 하여, 입력한 화상 데이터로부터, 트리밍 지시 정보가 나타내는 화상 부분을 빼내기 위한 화상 처리를 실행한다. 그리고, 이 빼낸 화상 부분의 데이터를, 인쇄용 화상 데이터로서 인쇄 제어 처리 블록(133)에 대해 출력한다.

인쇄 제어 처리 블록(133)은, 입력된 인쇄용 화상 데이터를 이용하여, 여기서는 도시하지 않은 인쇄 기구를 동작시키기 위한 제어를 실행한다.

이와 같은 동작에 의해, 인쇄 장치(130)에 의해서는, 입력한 화상 데이터의 그림 내용으로부터, 최적 구도가 얻어져 있다고 되는 화상 부분이 자동적으로 빼내지고, 1장의 그림으로서 인쇄되게 된다.

도 26에 도시되는 예는, 예를 들면 정지화상 파일을 다수 기억하고, 이들의 정지화상 파일을 이용한 서비스를 제공하기 위한 장치, 시스템에 적용하기 알맞다.

기억부(141)에는, 다수의 정지화상 파일이 기억된다.

피사체 검출·구도 판정 처리 블록(142)은, 소정의 타이밍에서, 기억부(141)에 기억되어 있는 정지화 파일을 받아들이고, 그 파일 본체부에 격납되는 정지화상 데이터를 취출한다. 그리고, 이 정지화상 데이터를 대상으로 하여, 예를 들면 도 22의 피사체 검출·구도 판정 처리 블록(101)과 같은 처리를 실행하여 최적 구도에 관한 판정 결과를 나타내는 정보를 얻고, 이 정보를 메타데이터 작성 처리 블록(143)에 대해 출력한다.

메타데이터 작성 처리 블록(143)은, 입력된 정보에 의거하여, 앞서의 도 22의 메타데이터 작성 처리 블록(102)과 마찬가지로, 메타데이터(구도 편집 메타데이터)를 작성한다. 게다가, 이 경우에는, 작성한 메타데이터를, 기억부(141)에 기억되는 메타데이터 테이블에 등록한다. 이 메타데이터 테이블은, 같은 기억부(141)에 기억되는 정지화상 데이터와의 대응 관계가 나타나도록 하여 메타데이터를 격납하여 이루어지는 정보 단위가 된다. 즉, 메타데이터 테이블에 의해서는, 메타데이터(구도 편집 메타데이터)와, 이 메타데이터를 작성하기 위해 피사체 검출·구도 판정 처리 블록(101)에 의해 피사체 검출 처리 및 구도 판정 처리의 대상이 된 정지화상 파일과의 대응이 나타난다.

그리고, 예를 들면 외부로부터의 정지화 파일의 요구에 따라, 기억부(141)에 기억되어 있는 정지화상 파일을 출력할(예를 들면 서버라면, 클라이언트로부터의 다운로드 요구에 따라 정지화상 파일을 다운로드하는 경우 등이 됨) 때에는, 정지화 파일 출력 처리 블록(144)이, 기억부(141)로부터 요구된 정지화상 파일을 검색하고 받아들임과 함께, 이 검색한 정지화 파일에 대응하는 메타데이터(구도 편집 메타데이터)도, 메타데이터 테이블로부터 검색하여 받아들이도록 된다.

그리고, 이 정지화상 파일 출력 처리 블록(144)은, 예를 들면 도 23에 도시한 메타데이터 해석 처리 블록(112), 및 트리밍 처리 블록(113)에 상당하는 기능 블록을 적어도 가지고 이루어진다.

정지화상 파일 출력 처리 블록(144)에서는, 내부의 메타데이터 작성 처리 블록에 의해, 받아들인 메타데이터를 해석하여 트리밍 지시 정보를 얻는다. 그리고, 같은 내부의 트리밍 처리 블록에 의해, 받아들인 정지화상 파일에 격납되는 정지화상 데이터를 대상으로 하여, 상기 트리밍 지시 정보에 따른 트리밍을 실행한다. 그리고, 트리밍에 의해 얻어진 화상 부분을 다시 하나의 정지화상 데이터로서 생성하고, 이것을 출력한다.

상기 도 26의 시스템 구성은, 다양한 서비스에의 적용을 생각할 수 있다.

예를 들면, 하나로는 네트워크 경유로의 사진의 프린트 서비스에 적용할 수 있다. 즉, 유저는, 프린트 서비스의 서버에, 프린트(인쇄)하여 받고 싶은 화상 데이터(정지화상 파일)를 네트워크 경유로 업 로드한다. 서버에서는, 이와 같이 하여 업 로드되어 온 정지화상 파일을 기억부(141)에 기억하여 두고, 이 파일에 대응하는 메타데이터도 작성하여 메타데이터 테이블에 등록하여 둔다. 그리고, 실제로 인쇄 출력할 때에는, 정지화상 파일 출력 처리 블록(144)에 의해, 최적 구도를 빼낸한 정지화상 데이터를 인쇄용의 화상 데이터로서 출력한다. 즉, 이 서비스에 의해서는, 사진 프린트를 의뢰하면, 최적 구도로 보정되어 프린트된 것이 보내 오는 것이다.

또한 하나로는, 예를 들면 블록 등의 서버에도 적용할 수 있다. 기억부(141)에는, 블록의 텍스트의 데이터와 함께 업 로드된 화상 데이터를 기억시키는 것으로 한다. 이로써, 예를 들면 블록의 페이지에는, 유저가 업 로드한 화상 데이터로부터 최적 구도를 빼낸 화상을 첨부시키는 것이 가능해진다.

또한, 상기 도 17 내지 도 26에 의해 설명한 예는 일부이고, 본원 발명에 의한 구도 판정을 적용할 수 있는 장치, 시스템, 어플리케이션 소프트웨어 등은 그 밖에도 생각된다.

또한, 지금까지의 실시의 형태의 설명에서는, 피사체(개별 피사체)는, 사람인 것을 전제로 하고 있지만, 예를 들면, 동물이나 식물이든지, 사람 이외의 종류의 것을 피사체로 하는 경우에도, 본원 발명을 적용하는 것이 생각된다.

또한, 피사체 검출의 대상이 되는 화상 데이터는, 촬상에 유래하여 얻어지는 것(촬상 화상 데이터)만으로 한정되어야 할 것이 아니라, 예를 들면, 회화라든지 디자인 화상 등의 그림 내용을 갖는 화상 데이터를 대상으로 하는 것도 생각된다.

또한, 본원 발명하에서 판정되는 구도(최적 구도)는, 반드시, 3분할법만에 의거하여 정해지는 것으로 한정되지 않는다. 예를 들면, 3분할법과 함께, 황금률에 의한 구도 설정의 수법도 알려져 있는데, 황금률 등의 다른 수법을 채용하는 것에 대해서도 특히 지장은 없다. 나아가서는, 상기 3분할법이든지, 황금률 등, 일반적으로 좋다고 되는 구도만으로 한정되는 것이 아니다. 예를 들면 일반적으로는 좋지 않다고 되는 구도라도, 구도의 설정에 따라서는, 유저가 재미를 느끼거나, 오히려 좋다고 느끼는 경우도 있다고 생각된다. 따라서, 본원 발명하에서 판정되는 구도( 최적 구도)로서는, 실용성, 엔터테인먼트성 등을 고려하여 임의로 설정되면 좋고, 실제로는 특히 제한은 없다.

도 1은 본 발명의 실시의 형태로서의 촬상 시스템(디지털 스틸 카메라, 운대)의 외관 구성예를 도시하는 도면.

도 2는 실시의 형태의 촬상 시스템의 동작으로서, 운대에 부착된 디지털 스틸 카메라의 팬 방향 및 틸트 방향에 따른 움직임의 예를 모식적으로 도시하는 도면.

도 3은 실시의 형태의 디지털 스틸 카메라의 구성예를 도시하는 도면.

도 4는 실시의 형태의 운대의 구성예를 도시하는 도면.

도 5는 실시의 형태의 디지털 스틸 카메라가 구도 제어에 대응하여 구비하는 것이 되는 기능을 블록 단위의 구성에 의해 도시하는 도면.

도 6은 개별 피사체의 중심과, 복수의 개별 피사체에 관한 총합 피사체 중심을 설명하는 도면.

도 7은 촬상 화상 데이터의 화면에 설정한 원점 좌표를 설명하는 도면.

도 8은 제 1의 구도 제어에서의, 검출된 개별 피사체가 하나인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 9는 제 1의 구도 제어에서의, 검출된 개별 피사체가 2개인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 10은 제 1의 구도 제어에서의, 검출된 개별 피사체가 3 이상인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 11은 제 1의 구도 제어를 위한 처리 순서예를 도시하는 플로우 차트.

도 12는 제 2의 구도 제어에서의, 검출된 개별 피사체가 하나인 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 13은 제 2의 구도 제어에서의, 검출된 개별 피사체가 2개가 되고, 또한, 이들 개별 피사체간의 거리가 일정 이하의 상태에서 검출(포착)된 경우의 구도 제어예를 모식적으로 도시하는 도면.

도 14는 제 2의 구도 제어를 위한 처리 순서예를 도시하는 플로우 차트.

도 15는 실시의 형태에서의 피사체 변별을 설명하기 위한 도면.

도 16은 실시의 형태에서의 피사체 변별을 실현하기 위한 처리 순서예를 도시하는 플로우 차트.

도 17은 실시의 형태의 촬상 시스템의 변형예로서의 구성예를 도시하는 도면.

도 18은 실시의 형태의 촬상 시스템의 다른 변형예로서의 구성예를 도시하는 도면.

도 19는 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 20은 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 21은 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 22는 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 23은 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 24는 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 25는 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

도 26은 본원 발명에 의거한 구도 판정의 적용예를 도시하는 도면.

(도면의 주요 부분에 대한 부호의 설명)

1 : 디지털 스틸 카메라 2 : 셔터 버튼

3 : 렌즈부 10 : 운대

21 : 광학계 22 : 이미지 센서

23 : A/D 컨버터 24 : 신호 처리부

25 : 인코드/디코드부 26 : 미디어 컨트롤러

27 : 제어부 28 : ROM

29 : RAM 30 : 플래시 메모리

31 : 조작부 32 : 표시 드라이버

33 : 표시부 34 : 운대(pan/tilt head) 대응 통신부

40 : 메모리 카드 51 : 제어부

52 : 통신부 53 : 팬(pan) 기구부

54 : 팬용 모터 55 : 팬용 구동부

56 : 틸트 기구부 57 : 틸트용 모터

58 : 틸트용 구동부 61 : 피사체 검출 처리 블록

62 : 구도 제어 처리 블록 63 : 통신 제어 처리 블록

SBJ(SBJ0 내지 n) : 개별 피사체 71 : 통신 제어 처리 블록

72 : 팬·틸트 제어 처리 블록 73 : 피사체 검출 처리 블록

74 : 구도 제어 처리 블록 75 : 촬상부

81, 92, 101, 122, 132, 142 : 피사체 검출·구도 판정 처리 블록

82 : 통지 제어 처리 블록 83 : 표시부

84 : 릴리즈 제어 처리 블록 91, 131 : 트리밍 처리 블록

102, 123, 143 : 메타데이터 작성 처리 블록

103 : 파일 작성 처리 블록 111 : 메타데이터 분리 처리 블록

112 : 메타데이터 해석 처리 블록 113 : 트리밍 처리 블록

124 : 파일 작성·기록 처리 블록 133 : 인쇄 제어 처리 블록

141 : 기억부 144 : 정지화 파일 출력 처리 블록

Claims (11)

1. 화상 데이터에 의거한 화상 중에 있어서의 특정한 피사체의 존재를 검출하는 피사체 검출 수단과,

   상기 피사체 검출 수단에 의해 검출된 피사체인 검출 피사체의 수에 따라 구도를 판정하는 구도 판정 수단을 구비하는 것을 특징으로 하는 구도 판정 장치.
2. 제 1항에 있어서,

   상기 구도 판정 수단은, 상기 검출 피사체의 수에 따라 구도 판정 방법을 변경하는 것을 특징으로 하는 구도 판정 장치.
3. 제 1항에 있어서,

   상기 구도 판정 수단은, 상기 검출 피사체의 수에 따라 구도 판정의 알고리즘을 변경하는 것을 특징으로 하는 구도 판정 장치.
4. 제 2항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수가 2 이상인 경우에, 좌우 양단에 위치하는 피사체간의 거리의, 화상 수평 방향의 길이에 대한 비율에 관해, 상기 검출 피사체의 수에 따라 다른 값을 설정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
5. 제 2항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수에 따라, 직사각형의 상기 화상을, 종장과 횡장의 어느것으로 하는지를 판정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
6. 제 5항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수가 소정치 이상인 경우에서는, 좌우 양단에 위치하는 피사체간의 거리에 의거하여, 직사각형의 상기 화상을, 종장과 횡장의 어느것으로 하는지를 판정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
7. 제 6항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수가 소정치 이상인 경우로서, 2 이상의 소정의 값인 경우에, 좌우 양단에 위치하는 피사체간의 거리에 의거하여, 직사각형의 상기 화상을, 종장과 횡장의 어느것으로 하는지를 판정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
8. 제 5항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수가 소정치 이상인 경우에서는, 좌우 양단에 위치하는 피사체간의 거리와 상하 양단에 위치하는 피사체간의 거리에 의거하여, 직사각형의 상기 화상을, 종장과 횡장의 어느것으로 하는지를 판정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
9. 제 8항에 있어서,

   상기 구도 판정 수단은,

   상기 검출 피사체의 수가 소정치 이상인 경우로서, 2 이상의 소정의 값인 경우에, 좌우 양단에 위치하는 피사체간의 거리와 상하 양단에 위치하는 피사체간의 거리에 의거하여, 직사각형의 상기 화상을, 종장과 횡장의 어느것으로 하는지를 판정하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
10. 화상 데이터에 의거한 화상중에 있어서의 특정한 피사체의 존재를 검출하는 피사체 검출 순서와,

    상기 피사체 검출 순서에 의해 검출된 피사체인 검출 피사체의 수에 따라 구도를 판정하는 구도 판정 순서를 실행하는 것을 특징으로 하는 구도 판정 방법.
11. 화상 데이터에 의거한 화상 중에 있어서의 특정한 피사체의 존재를 검출하는 피사체 검출 순서와,

    상기 피사체 검출 순서에 의해 검출된 피사체인 검출 피사체의 수에 따라 구도를 판정하는 구도 판정 순서를 구도 판정 장치에 실행시키는 것을 특징으로 하는 프로그램.

Images