KR20090100242A - 구도 판정 장치, 구도 판정 방법, 프로그램 - Google Patents

구도 판정 장치, 구도 판정 방법, 프로그램 Download PDF

Info

Publication number
KR20090100242A
KR20090100242A KR1020090016148A KR20090016148A KR20090100242A KR 20090100242 A KR20090100242 A KR 20090100242A KR 1020090016148 A KR1020090016148 A KR 1020090016148A KR 20090016148 A KR20090016148 A KR 20090016148A KR 20090100242 A KR20090100242 A KR 20090100242A
Authority
KR
South Korea
Prior art keywords
subject
still
information
composition
detected
Prior art date
Application number
KR1020090016148A
Other languages
English (en)
Inventor
신고 요시즈미
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090100242A publication Critical patent/KR20090100242A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

과제
필요로 하는 구도 판정 결과가 더욱 정확하게 얻어지도록 한다.
해결 수단
받아들인 화상 데이터에 의거한 화상 내에서의 피사체를 검출하는 피사체 검출 처리와, 화상 데이터에 의거한 화상, 또는 피사체 검출 처리에 의해 검출되는 피사체를 대상으로 하여 정지의 상태를 검출하는 정지 검출 처리와, 이 정지 검출 처리의 검출 결과에 의거하여, 피사체 검출 처리에 의해 검출되는 피사체중에서, 현실 피사체, 또는 비현실 피사체만을 대상으로 하여 구도를 판정하는 구도 판정 처리를 실행하도록 하여 구성한다.

Description

구도 판정 장치, 구도 판정 방법, 프로그램{COMPOSITION DETERMINATION DEVICE, COMPOSITION DETERMINATION METHOD, AND PROGRAM}
본 발명은, 화상 데이터의 그림 내용이 갖는 구도(構圖)에 관한 판정을 행하도록 된 장치인, 구도 판정 장치와 그 방법에 관한 것이다. 또한, 이와 같은 장치가 실행하는 프로그램에 관한 것이다.
예를 들면, 감상자(鑑賞者)에게 좋은 인상을 줄 수 있는 사진을 촬영하기 위한 테크닉적인 한 요소로서, 구도 설정을 들 수 있다. 여기서 말하는 구도는, 프레이밍이라고도 일컬어지는 것으로, 예를 들면 사진으로서의 화상프레임 내에서의 피사체의 배치 상태를 말한다.
양호한 구도로 하기 위한 일반적, 기본적인 수법은 몇가지가 있지만, 일반적인 카메라 유저가 좋은 구도의 사진을 촬영하는 것은, 사진 촬영에 관한 충분한 지식, 기술을 갖지 않는 한, 결코 간단한 것은 아니다. 이것으로 보면, 예를 들면 양호한 구도의 사진 화상을 손쉽고 간단하게 얻을 수 있는 기술이 요구되게 된다.
예를 들면 특허문헌1에는, 자동 추적 장치(automatic tracking device)로서, 일정 시간 간격의 화상 사이의 차를 검출하여, 화상 사이의 차의 중심(重心)을 산출하고, 이 중심의 이동량, 이동 방향으로부터 피사체 화상의 촬상 화면에 대한 이동량, 이동 방향을 검출하여 촬상 장치를 제어하고, 피사체 화상을 촬상 화면의 기준 영역 내로 설정하는 기술이 개시되어 있다.
또한, 특허문헌2에는, 자동 추적 장치로서, 인물을 자동 추적하는 경우에, 인물의 얼굴이 화면 중앙이 되도록 화면상의 인물상(人物像) 전체의 면적에 대해 그 인물상의 상측으로부터 20%의 면적이 되는 위치를 화면 중앙으로 하여 추적함에 의해 인물의 얼굴을 확실하게 촬영하면서 추적할 수 있도록 한 기술이 개시되어 있다.
이들의 기술 구성을 구도 결정의 관점에서 보면, 인물로서의 피사체를 자동적으로 탐색하고, 촬영 화면에 있어서 어떤 정해진 구도로 그 피사체를 배치시키는 것이 가능해진다.
또한, 특허문헌3에는, 감시 카메라에 의해 촬상되는 화상에 의해 얼굴 인식을 행하는 경우에 있어서, 포스터나 팻말 등에 포함되는 얼굴화상을 효과적으로 마스킹하기 위한 기술로서, 예를 들면 폐점 시간(closing hours) 이후에 고객이나 종업원이 존재하지 않는 시간대에 있어서, 촬상에 의해 얻은 화상의 일부를 마스킹하는 마스킹 패턴을 발생시키고, 얼굴화상 추출 수단에 의해, 화상에서 도래자(到來者; arriving person)가 아닌 얼굴화상이 추출될 수 없는 상태까지 마스킹 패턴을 변화시키면서 반복하여, 이 마스킹 패턴을 이용하여, 화상이 마스킹됨에 의해 화상 에서 도래자가 아닌 얼굴화상이 추출될 수 없는 상태가 된 마스킹 패턴을 기억하고, 이 기억한 마스킹 패턴에 의해 화상에 마스킹을 시행하여 얼굴화상 검출을 행하는 구성이 개시되어 있다.
특허문헌1 : 일본 특개소59-208983호 공보
특허문헌2 : 일본 특개2001-268425호 공보
특허문헌3 : 일본 특개2007-156693호 공보
본원 발명에서는, 하나의 예로서, 사람으로서의 피사체를 대상으로 구도 판정을 행하는 것으로서, 이 때에 포스터 등에 찍혀 있는 얼굴이나 오브제의 얼굴 등, 단순한 상(像)만이고 현실에는 사람으로서 존재하지 않는 피사체를, 구도 판정의 대상으로부터 제외하는, 또는 이와 같은 피사체만을 구도 판정의 대상으로 하는 것이 가능하게 하여, 필요로 하는 구도 판정 결과가 보다 정확하게 얻어지도록 하는 것을 목적으로 한다. 게다가, 이와 같은 구도 판정을 행하는 장치 등으로서, 지금까지보다도 응용 범위가 넓고 우수한 것을 제공할 수 있도록 하는 것을 목적으로 한다.
그래서 본 발명은 상기한 과제를 고려하여, 구도 판정 장치로서 다음과 같이 구성한다.
즉, 받아들인 화상 데이터에 의거한 화상 내에서의 피사체를 검출하는 피사체 검출 수단과, 화상 데이터에 의거한 화상, 또는 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하여 정지하고 있는지의 여부를 검출하는 정지 검출 수단과, 이 정지 검출 수단의 검출 결과에 의거하여, 상기 피사체 검출 수단에 의해 검출되는 피사체중에서, 현실 피사체, 또는 비현실 피사체만을 대상으로 하여 구도를 판정하는 구도 판정 수단을 구비하는 것으로 하였다.
상기 구성에서는, 화상 데이터에 의거한 화상, 또는 피사체 검출 수단에 의 해 검출되는 피사체를 대상으로 하여 정지 검출이 행하여짐으로써, 상기 화상에 있어서의 정지 영역, 또는 피사체 검출에 의해 검출되는 피사체중에서 정지하고 있는 것이 인식된다. 그리고, 이와 같은 정지 검출의 결과를 이용함으로써, 피사체 검출 수단에 의해 검출되는 피사체중에서 현실 피사체, 또는 비현실 피사체의 어느 한쪽만을 구도 판정의 대상으로서 설정할 수 있다.
이와 같이 본원 발명의 구도 판정 처리에서는, 현실 피사체, 또는 비현실 피사체의 어느 하나만을 구도 판정의 대상으로 함에 있어서, 화상 또는 피사체에 관한 정지 검출을 이용하고 있다. 이와 같이 하여 정지 검출을 이용함에 의해, 예를 들면 화상 내에서, 같은 피사체로서, 현실에 존재하는 것과, 예를 들면 단순한 상(像) 등으로서 현실에는 존재하지 않는 것이 혼재하는 상태라도, 정확하게, 그 어느 하나를 구도 판정의 대상으로 하는 것이 가능해진다.
이와 같이 하여 본 발명은, 같은 피사체로서, 현실에 존재하는 것과, 예를 들면 단순한 형상 등으로서 현실에는 존재하지 않는 것이 혼재하고 있는 상황에 있어서, 그 어느 하나를 대상으로 하여 구도 판정을 정확하게 행할 수 있는 것을 제공할 수 있다. 이로써, 예를 들면 지금까지와 같이 하고, 현실에 존재하는 피사체와, 현실에는 존재하지 않는 피사체를 같은 피사체로서 검출하는 기술을 적용하여 구도 판정을 행하는 것과 비교하면, 그 응용 범위는 대폭적으로 넓어져서, 유저에게 있어서도 사용하기 쉬운 것이 된다.
이후, 본원 발명을 실시하기 위한 최선의 형태(이후, 실시의 형태라고 한다)에 관한 설명을 하여 감에 있어서, 구도, 화상프레임, 화각(畵角), 촬상 시야각이라는 단어를 이용하는 것으로 한다.
구도는, 프레이밍이라고 일컬어지는 것으로, 예를 들면 화상프레임 내에서의 피사체의 배치 상태를 말한다.
화상프레임은, 예를 들면 화상이 끼워넣어지도록 하여 보이는 1화면 상당의 영역 범위를 말하고, 일반적으로는 세로가 긴 또는 가로가 긴 직사각형으로서의 바깥테두리 형상을 갖는다.
화각은, 줌 각(角) 등이라고 일컬어지는 것으로, 촬상 장치의 광학계에 있어서의 줌렌즈의 위치에 의해 정해지는 화상프레임에 수습되는 범위를 각도에 의해 표시한 것이다. 일반적으로는, 촬상 광학계의 초점 거리와, 상면(이미지 센서, 필름)의 사이즈에 의해 정해지는 것으로 되어 있지만, 여기서는, 초점 거리에 대응하여 변화할 수 있는 요소를 화각이라고 한다.
촬상 시야각은, 정위치에 놓인 촬상 장치에 의해 촬상하여 얻어지는 화상의 화상프레임에 수습되는 범위에 관해, 상기한 화각에 더하여, 팬(수평) 방향에 있어서의 흔드는 각도와, 틸트(수직) 방향에 있어서 각도(앙각(仰角), 부각(俯角))에 의해 정해지는 것을 말한다.
예를 들면, 구도는, 화상 시야각에 의해 정해지는 화상프레임 내에 수습된 피사체의 배치 상태를 가리키는 것이 된다.
우선, 본원 발명을 실시하기 위한 최선의 형태(이후, 실시의 형태라고 한다) 는, 구도 판정을 행하도록 하여 구성되는 장치 또는 시스템으로 되지만, 본 실시의 형태의 구성을 설명함에 앞서, 예를 들면 촬상에 의해 얻어진 피사체를 대상으로 하여, 자동적으로 구도의 조정을 행하는 것으로 한 경우를 생각하여 본다. 또한, 여기서의 피사체는, 사람인 것으로 한다.
도 1의 (a)에는, 예를 들면 촬상에 의해 얻어진 화상 내용예로서, 화상프레임 내에 하나의 피사체(301)가 존재하고 있는 상태가 도시되어 있다.
그리고, 구도 판정 처리의 알고리즘으로서는, 예를 들면 도 1의 (a)에 도시되는 화상으로부터, 우선, 피사체(301)가 하나 존재하는 것을 검출하고, 이 검출 결과에 의거하여, 이 피사체(301)가 찍혀 있는 화상으로서 최적이 되는 구도(최적 구도)는, 도 1의 (b)에 도시하는 것으로서 판정하도록 구성할 수 있다. 예를 들면, 이 경우에는, 화상프레임(300) 내의 피사체(301)를 어떤 사이즈까지 확대하여 거의 중앙에 위치시킨 배치 상태(구도)로 되어 있다.
또한, 도 2에서는, 구도 판정 처리로서, 예를 들면 도 2의 (a)에 화상을 입력한 경우에는, 이 화상으로부터 2개의 피사체(301A, 301B)가 존재하는 것을 검출하고, 이 검출 결과에 의거하여, 도 2의 (b)의 화상 내용을 최적 구도로서 판정하고 있는 것이 도시되어 있다. 또한, 도 2의 (b)는, 이들의 피사체(301A, 301B)를 어느 정도의 사이즈까지 확대하여, 좌우에 거의 균등하게 배치시킨 구도로 되어 있다.
여기서, 상기한 구도 판정에 있어서, 사람으로서의 피사체 검출은, 예를 들면 얼굴 검출의 기술을 적용할 수 있지만, 단순히, 얼굴 검출 기술을 이용하는 것 으로 한 경우에는, 다음과 같은 부적합함이 생긴다.
즉, 예를 들면 도 3에 도시하는 바와 같이 하여, 화상프레임(300) 내에서, 현실로는 사람인 피사체(301)와 함께, 인물의 얼굴이 찍혀 있는(그려져 있다) 포스터(얼굴화상 포스터)(302)도 존재하는 경우, 피사체 검출로서 얼굴 검출 기술을 이용하고 있는 경우에는, 구도 판정에 이용하여야 할 피사체로서, 피사체(301)만이 아니라, 얼굴화상 포스터(302)에 찍혀 있는 얼굴의 부분도 피사체인 것으로서 검출하게 된다.
이 경우, 정확하게는 현실의 사람으로서의 피사체는 하나뿐이기 때문에, 본래라면, 도 1의 (b)에 준하여 피사체(301)만을 클로즈업하는 구도 판정 결과가 얻어져야 할 것이다. 그러나, 실제로는 2개의 피사체가 존재한다고 검출한 것에 의거하여, 구도 판정 결과로서도, 예를 들면 도 2의 (b)에 준하여, 피사체(301)와 얼굴화상 포스터(302)의 얼굴을 함께 클로즈업하는 그림을 최적 구도인 것으로서 판정하여 버리게 된다.
그래서, 본 실시의 형태로서는, 이후 설명하는 바와 같이 하여, 예를 들면 사람을 주체적인 피사체(이후, 단지 피사체라고 한다)로 한 다음의 구도 판정에 있어서, 포스터, 팻말 등에 찍혀 있는(그려져 있는) 얼굴(인물)인지, 입체적인 동상(銅像)이나 조각 등의 사람이나 얼굴로 대표되는, 현실에 사람으로서 존재하고 있는 것이 아닌 피사체(비현실 피사체)는 제외하여, 현실에 사람으로서 그곳에 존재하고 있는 피사체(현실 피사체)만을 대상으로 하는 정확한 구도 판정 결과를 얻을 수 있도록 하는 기술 구성을 제안하는 것이다.
도 4는, 본 실시의 형태로서의 구도 판정에 관한 구성을 개념적으로 도시한 도면(제 1 예)이다.
이 도면에는, 구도 판정을 실행하는 부위로서 구도 판정 블록(200)이 도시되어 있다. 이 구도 판정 블록(200)은, 화상 데이터를 받아들여서 구도 판정을 실행하는 것으로 되어 있고, 도시하는 바와 같이 하여, 피사체 검출 처리부(201), 정지 검출 처리부(202), 구도 판정 처리부(203)로 이루어지는 것으로 한다.
피사체 검출 처리부(201)는, 받아들인 화상 데이터를 이용하여 피사체 검출 처리를 실행하는 부위가 된다.
여기서의 피사체 검출 처리는, 우선 화상 데이터의 그림 내용으로부터, 사람으로서의 피사체를 식별하여 검출하는 처리를 말하는 것이고, 여기서의 검출 결과로서 얻어지는 정보(개별 피사체 검출 정보)는, 사람으로서의 피사체의 수와, 개개의 피사체(개별 피사체)마다에 관한 화상프레임 내에서의 위치 정보(예를 들면 화상프레임 내의 위치이라면 화소의 매트릭스하에서의 X좌표, Y좌표에 의해 표현할 수 있다), 및 개별 피사체마다에 관한 화상 내에서의 사이즈(점유 면적) 등이 된다.
상기 피사체 검출 처리의 구체적 수법으로서는, 얼굴 검출의 기술을 이용할 수 있다. 이 얼굴 검출의 방식, 수법은 몇가지가 알려져 있는데, 본 실시의 형태에서는 어느 방식을 채용하는 것인지에 관해서는 특히 한정되어야 할 것이 아니고, 검출 정밀도나 설계 난이도, 또한, 후술하는 정지 검출에 채용하는 수법과의 균형 등을 고려하여 적당하게 되는 방식이 채용되면 좋다.
또한, 이 단계에서의 피사체 검출 처리의 수법, 알고리즘은, 현실의 사람으로서 존재하고 있는 것이 찍힌 현실 피사체와, 비현실 피사체를 구별하는 일 없이 피사체로서 검출하는 것이면 좋다.
그리고, 이 경우의 피사체 검출 처리부(201)는, 상기 개별 피사체 검출 정보의 집합으로 이루어지는 정보를 검출 피사체 정보로서 출력한다.
또한, 이 피사체 검출 처리부(201)가 실행하는 피사체 검출 처리는, 화상 신호 처리로서 실현할 수 있다. 예를 들면 화상 신호 처리를 DSP(Digital Signal Processor)에 의해 실행하도록 구성하는 경우, 이 피사체 검출 처리는, DSP에 주는 프로그램, 인스트럭션에 의해 실현할 수 있다. 또한, 다음의 정지 검출 처리부(202)를 위시하여, 이후에 설명하는, 화상 신호 처리에 의해 그 기능을 실현 가능한 부위에 관해서는, 상기한 것을 마찬가지로 할 수 있는 것이다.
또한, 받아들인 화상 데이터는, 분기되어, 정지 검출 처리부(202)에도 입력한다.
여기서의 정지 검출 처리부(202)는, 예를 들면 화상 신호 처리에 의해, 받아들인 화상 데이터의 화상(화상프레임)에서, 움직임이 없고, 정지하고 있게 되는 영역(정지 영역)을 검출하는 처리를 실행한다. 이 검출 처리에 의해서는, 화상 데이터의 화상에 있어서 정지 영역의 위치, 분포를 나타내는 정보(검출 정지 영역 정보)를 얻을 수 있다. 또한, 검출 정지 영역 정보로서는, 예를 들면 정지 영역으로서 검출된 화소에 관한 분포를 나타내는 것을 생각할 수 있다.
이 경우의 구도 판정 처리부(203)는, 피사체 검출 처리부(201)로부터 출력되 는 검출 피사체 정보와, 정지 검출 처리부(202)로부터 출력되는 검출 정지 영역 정보를 받아들여서 입력하고, 최종적으로, 현실 피사체만을 대상으로 하여 최적 구도를 판정하는, 구도 판정 처리를 실행한다.
또한, 구도 판정 처리부(203)로서의 구도 판정의 처리는, 예를 들면 CPU(Central Processing Unit)가 프로그램을 실행함에 의해 실현할 수 있다. 즉, 소프트웨어에 의해 실현할 수 있다. 또한, 필요에 따라, 소프트웨어 또는 하드웨어에 의한 화상 신호 처리를 병용하는 구성으로 되어도 좋다.
도 10의 플로우 차트는, 상기 도 4에 도시하는 구도 판정 블록(200)에서 피사체 검출 처리부(201), 정지 검출 처리부(202), 구도 판정 처리부(203)가 실행하는 처리의 순서예를 도시하고 있다.
또한, 이 도면에 도시하는 처리 순서예는, 어디까지나 한 예이고, 도 4에 도시하는 구도 판정 블록(200)이 실행하는 처리 순서는, 이것으로 한정되어야 할 것이 아니다. 도 4로서는, 어디까지나, 결과적으로, 구도 판정 처리부(203)가, 피사체 검출 처리부(201)로부터의 검출 피사체 정보와, 정지 검출 처리부(202)로부터의 검출 정지 영역 정보에 의거하여 현실 피사체만을 대상으로 하여 최적 구도를 판정하도록 되면 좋다. 이 점에 관해서는, 이후 설명하는 제 2 예 내지 제 6 예에 관해서도 마찬가지이다.
또한, 여기서 기술하고 있는, 도 4에서의 블록 구성과 도 10의 스텝과의 대응 관계는, 당연하게 생각되는 하나의 예이고, 그 이외의 대응이 채택되어도 좋다. 이 점에 관해서도, 이후에 설명하는 블록도와 플로우 차트와의 관계에 있어서도, 마찬가지이다.
스텝 S101에서는, 우선, 피사체 검출 처리부(201)와 정지 검출 처리부(202)가 화상 데이터의 받아들임(입력)을 실행한다.
스텝 S102, S103은, 피사체 검출 처리부(201)가 실행하는 순서가 된다.
피사체 검출 처리부(201)는, 스텝 S102에 의해 상술한 피사체 검출 처리를 실행하고, 스텝 S103에 의해, 그 검출 결과인 검출 피사체 정보를 출력한다.
또한, 정지 검출 처리부(202)는, 상기 스텝 S102, S103과 병행하여, 스텝 S104, S105의 순서를 실행한다.
스텝 S104에서는, 입력한 화상 데이터의 화상프레임 내의 화상에 있어서의 정지 영역을 검출한다.
이 제 1 예에 대응하는 정지 영역의 검출에는, 예를 들면, 움직임 검출의 수법을 응용할 수 있다. 즉, 예를 들면 프레임(또는 필드)에 상당하는 시간적으로 전후하는 화상에 있어서 변화(움직임)량이 일정 이하인 영역을 검출하도록 된다. 그리고, 스텝 S105에 의해 검출 결과인 검출 정지 영역 정보를 출력한다.
스텝 S106은, 구도 판정 처리부(203)가 실행하게 된다.
스텝 S106으로서, 구도 판정 처리부(203)는, 스텝 S103에 의해 출력되는 검출 피사체 정보와, 스텝 S105에 의해 출력되는 검출 정지 영역 정보를 입력하게 된다. 그리고 나서, 우선, 구도 판정 처리부(203)는, 검출 피사체 정보가 나타내는 개별 피사체(검출 개별 피사체)중에서, 비현실 피사체를 제외하고, 현실 피사체만을 선별하는 처리(선별 처리)를 실행한다.
예를 들면 실제에 있어서, 현실의 사람은, 예를 들면 얼굴 자체가 흔들리거나, 또한, 얼굴 자체가 움직이지 않더라도, 깜박거리거나, 얼굴의 표정이 변화하거나 하는 등, 얼굴의 부분에 관해 움직임으로서 파악할 수 있는 변화가 생긴다. 따라서, 스텝 S104에 대응하는 정지 검출 처리부(202)에 의한 정지 검출 처리에 의해서는, 화상에 있어서 현실의 사람이 찍혀 있다고 되는 영역, 즉 현실 피사체가 검출된 위치를 포함하는 영역은 움직임이 있는 것으로서 검지되고, 정지 영역으로서는 검출되지 않은 영역이 된다.
이에 대해, 비현실 피사체에 상당하는 포스터나 팻말의 얼굴 등은, 상기한 현실의 사람과 같은 움직임이 전혀 없기 때문에, 상기한 정지 검출 처리에 의해서는, 비현실 피사체가 검출된 위치를 포함하는 영역은, 정지 영역으로서 검출되게 된다.
그래서, 구도 판정 처리부(203)는, 상기한 선별 처리를 위해, 검출 피사체 정보가 나타내는 검출 개별 피사체마다의 위치 정보와, 검출 정지 영역 정보가 나타내는 정지 영역의 분포를 비교하도록 된다. 즉, 이 비교 처리의 결과로서, 검출 개별 피사체중에서, 그 위치 정보가 정지 영역에 포함되어 있던 것이, 움직임이 없는 정지하고 있는 피사체, 즉 비현실 피사체인 것이 된다. 이에 대해, 그 위치 정보가 정지 영역에 포함되지 않은 것이, 움직임이 있는 피사체, 즉 현실 피사체인 것이 된다. 이와 같이 하여, 본 실시의 형태에서는, 현실 피사체만을 선별할 수 있다. 또한, 이와 같은 처리는, 개념적으로는, 검출 개별 피사체에 관해, 현실 피사체와 비현실 피사체의 어느 것인지를 판정하고 있는 것으로서 볼 수도 있다.
그리고, 구도 판정 처리부(203)는, 상기한 바와 같이 하여 선별한 현실 피사체만을, 구도 판정에 이용하여야 할 개별 피사체(대상 개별 피사체)로서 설정한다.
다음에, 구도 판정 처리부(203)는, 스텝 S107로서의 처리를 실행한다.
스텝 S107에서는, 상기 스텝 S106에 의해 설정된 대상 개별 피사체의 검출 피사체 정보를 이용하여, 소정의 알고리즘에 의해 구도 판정을 위한 처리를 실행한다.
또한, 구도 판정의 알고리즘에 관한 예, 또한, 구도 판정의 결과의 이용예 등에 관해서는 후술한다.
도 5는, 실시의 형태에 있어서의 제 2 예로서의 구도 판정 블록(200)의 구성을 도시하고 있다.
이 도면에서의 구도 판정 블록(200)도, 도 4의 제 1 예와 마찬가지로, 피사체 검출 처리부(201), 정지 검출 처리부(202), 및 구도 판정 처리부(203)를 구비하여 이루어진다.
이 경우에는, 우선, 피사체 검출 처리부(201)가 화상 데이터를 받아들여서 개별 피사체(현실 피사체와 비현실 피사체를 포함한다)의 검출을 행하고, 그 검출 결과인 검출 피사체 정보를, 구도 판정 처리부(203)와, 정지 검출 처리부(202)에 대해 출력한다.
이 경우의 정지 검출 처리부(202)는, 정지 검출 처리로서, 입력한 검출 피사체 정보에 의거하여, 검출된 개별 피사체중에서 정지하고 있게 되는 피사체(정지 피사체)를 검출한다. 또한, 여기서 검출되는 정지 피사체는, 즉, 비현실 피사체에 상당하게 된다.
여기에서의 제 2 예에 있어서의 정지 피사체의 검출에도, 예를 들면, 하나에는 움직임 검출을 이용할 수 있다. 즉, 전후의 검출 개별 피사체의 샘플 타이밍에 의해 얻어지는 검출 피사체 정보가 나타내는 위치 정보의 변화를 검지함으로써, 그 변화량이 일정 이하가 되는 것을 정지 피사체인 것으로서 검출하면 좋다.
또한, 이 제 2 예와 같이 하여, 피사체 검출을 행한 후의 단계에서, 정지하고 있게 되는 피사체(정지 피사체)를 검출하려고 하는 구성에서는, 다음과 같은 정지 검출의 수법도 생각할 수 있다.
하나로는, 표정 검출의 수법을 응용할 수 있다. 얼굴의 표정에 관해서는, 현실 피사체라면 당연히 변화할 수 있지만, 비현실 피사체에서는 얼굴의 표정이 변화하는 일이 없기 때문이다.
예를 들면, 피사체 검출 처리부(201)가 소정 방식에 의한 얼굴 검출 처리에 의해 개별 피사체 검출을 행하는 것으로 한 다음, 이 얼굴 검출 처리에 의해 검출된 개별 피사체의 얼굴의 화상 부분을 잘라낸 화상(얼굴화상)의 정보를, 정지 검출 처리부(202)가 수취하도록 한다. 정지 검출 처리부(202)는, 수취한 얼굴화상을 대상으로 하여, 표정의 변화량을 구하고, 이 변화량이 일정 이하가 되는 얼굴화상에 대응하는 검출 개별 피사체를, 정지 피사체인 것으로서 검출한다.
또한, 한 예로서, 상기한 표정 검출에 관해서는, 앞서 본 출원인이 출원한 특개2008-42319호 공보에 기재되는 표정 평가의 수법을 적용할 수 있다. 여기서의 표정 평가는, 정규화한 얼굴화상과 판별축 정보를 기초로, 얼굴화상에 있어서의 얼 굴의 표정의 정도를 평가하는 연산을 행하고, 표정 평가치를 얻고자 하는 것이다. 예를 들면, 단위 시간에 있어서의 표정 평가치의 변화량을 구함으로써, 이 변화량이 일정 이하인 얼굴화상에 대응하는 검출 개별 피사체를 정지 피사체인 것으로서 검출할 수 있다.
또한, 또 하나로는, 눈꺼풀의 움직임, 즉, 깜박거림을 검출하는 수법을 응용하는 것도 고려된다. 이것도, 현실 피사체라면 당연히 깜박거리지만, 비현실 피사체에서는, 통상, 깜박거림은 있을 수 없다고 할 수 있다.
이 경우에도, 예를 들면, 피사체 검출 처리부(201)가 소정 방식에 의한 얼굴 검출 처리에 의해 개별 피사체 검출을 행하는 것으로 한 다음, 이 얼굴 검출 처리에 의해 검출된 개별 피사체의 얼굴의 화상 부분을 잘라낸 화상(얼굴화상)의 정보를, 정지 검출 처리부(202)가 수취하도록 한다. 정지 검출 처리부(202)는, 수취한 얼굴화상으로부터 눈의 부분을 또한 잘라낸다. 그리고, 이 잘라낸 눈(目) 화상중에서 깜박거리지 않는다고 판정한 것에 대응하는 검출 개별 피사체를, 정지 피사체인 것으로서 검출한 것이다.
이와 같은 깜박거림 검출의 수법으로서, 하나로는, 앞서 본 출원인이 출원한 특개2004-343315호 공보에 기재되는 수법을 적용할 수 있다. 여기서의 수법은, 우선 피부색 검출을 포함하는 얼굴 검출 처리에 의하여 얼굴 검출을 행하고, 검출된 피부색 영역 내의 백색의 영역(백영역), 즉 눈의 부분을 검출하고, 이 눈의 부분을 포함하는 영역(눈 영역)을 받아 들인다. 그리고, 이 눈 영역에서의 흰색의 정보의 비율을 산출한다. 이 산출 결과로서는, 시간 경과에 따라, 깜박거리지 않는 상태에 서는 흰색의 정보의 비율이 많고, 깜박거림에 따라 눈꺼풀이 닫힌 때에는 흰색의 정보가 최소가 되도록 변화하게 된다. 그리고, 예를 들면, 시간 경과에 따른 흰색의 정보의 산출 결과가 일정하고, 상기한 바와 같은 변화가 생기는 일이 없는 눈 영역에 대응하는 검출 개별 피사체를 정지 피사체로서 검출하면 좋다.
이와 같이 하여, 정지 검출의 수법, 알고리즘은, 상기한 예를 비롯하여 몇가지를 생각할 수 있다. 본 실시 형태로서는, 이들의 수법, 알고리즘중의 어느 하나를 응용하는 것으로 하여도 좋고, 2 이상을 복합적으로 응용하여도 좋다. 그리고, 정지 검출 처리부(202)는, 상기한 바와 같이 하여 검출한 정지 피사체마다의 검출 개별 피사체 정보를 갖고 이루어지는 정보를, 검출 정지 피사체 정보로서 출력한다.
구도 판정 처리부(203)는, 피사체 검출 처리부(201)로부터의 검출 피사체 정보와, 정지 검출 처리부(202)로부터의 검출 정지 피사체 정보를 이용하여 최종적으로, 현실 피사체를 대상으로 하는 구도 판정을 행한다.
이를 위한 구도 판정 처리부(203)의 처리예로서는, 우선, 현실 피사체를 선별하는 처리를 실행한다. 이 처리로서는, 받아들인 검출 피사체 정보가 나타내는 검출 개별 피사체의 위치 정보와, 검출 정지 피사체 정보가 나타내는 정지 피사체의 위치 정보를 비교한다. 이와 같이 하여 비교를 행하고, 검출 피사체 정보가 나타내는 검출 개별 피사체중에서, 그 위치 정보가 검출 정지 피사체 정보가 나타내는 정지 피사체의 위치 정보와 일치하는 것이 비현실 피사체가고, 일치하지 않는 것이 현실 피사체인 것이 된다.
그리고, 현실 피사체인 것으로서 인식된 검출 개별 피사체를 대상 개별 피사체로서 설정한다.
그리고 나서, 구도 판정 처리부(203)는, 입력한 검출 피사체 정보중에서, 대상 개별 피사체가 된 개별 피사체에 관한 개별 피사체 검출 정보를 취출하고, 이 개별 피사체 검출 정보를 이용하여 구도 판정 처리를 실행한다.
또한, 상기한 표정 검출, 깜박거림 검출을 응용한 정지 검출은, 앞서 도 4에 도시한 제 1 예의 구성에서도 적용할 수 있다. 예를 들면, 정지 검출부(202)는, 받아들인 화상 데이터에 관해 우선 얼굴 검출을 행하고, 이로써 얻어지는 얼굴화상을 이용하여, 상기한 표정 검출, 깜박거림 검출에 의한 정지 검출을 행한다. 그리고, 구도 판정 처리부(203)는, 피사체 검출 처리부(201)로부터의 검출 피사체 정보가 나타내는 각 검출 개별 피사체의 위치와, 정지 검출 처리부(202)에서 정지 상태에 있다고 하게 되는 얼굴화상의 위치를 비교함에 의해, 현실 피사체를 선별할 수 있다.
도 11의 플로우 차트는, 상기 도 5에 의해 기술된 구성에 의한 제 2 예의 구도 판정 블록(200)에서 실행되는 처리의 순서예를 도시한 것이다.
또한, 도 5의 구성에서도, 구도 판정 처리부(203)는, 피사체 검출 처리부(201)로부터의 검출 피사체 정보와, 정지 검출 처리부(202)로부터의 검출 정지 피사체 정보를 이용하여 최종적으로, 현실 피사체를 대상으로 하는 구도 판정이 행하여지도록 되면 좋은 것이고, 도 11에 의해 도시하는 처리의 순서는, 어디까지나 한 예가 되는 것이다.
여기서는, 우선, 피사체 검출 처리부(201)가, 스텝 S201 내지 S203의 처리를 실행한다. 스텝 S201에서는, 화상 데이터의 받아들임(입력)을 행한다.
스텝 S202에서는, 입력한 화상 데이터를 기초로 피사체 검출 처리를 실행하고, 스텝 S203에 의해 그 검출 결과인 검출 피사체 정보를 출력한다.
스텝 S204, S205는, 정지 검출 처리부(202)가 실행하는 처리가 된다.
스텝 S204에서는, 상기 스텝 S203에 의해 피사체 검출 처리부(201)로부터 출력되는 검출 피사체 정보를 입력하고, 상기한 바와 같이 하여, 검출 피사체 정보가 나타내는 검출 개별 피사체중에서 정지 피사체를 검출하고, 스텝 S205에 의해, 이 검출 결과를 나타내는 검출 정지 피사체 정보를 출력한다.
스텝 S206, S207은, 구도 판정 처리부(203)가 실행하는 처리가 된다.
스텝 S206에서는, 스텝 S203에 의해 피사체 검출 처리부(201)로부터 출력된 검출 피사체 정보와, 스텝 S205에 의해 정지 검출 처리부(202)로부터 출력된 검출 정지 피사체 정보를 입력한 다음, 이들의 정보에 의거하여, 도 5에 의한 설명과 같이 하여 검출 피사체 정보가 나타내는 검출 개별 피사체중에서 현실 피사체를 선별하고, 선별한 현실 피사체를, 대상 개별 피사체로서 설정한다. 그리고, 스텝 S207에 의해, 상기 대상 개별 피사체의 검출 개별 피사체 정보에 의거하여, 구도 판정의 처리를 실행한다.
도 6은, 실시에 형태에서의 제 3 예로서의 구도 판정 블록(200)의 구성예를 도시하고 있다. 이 도면에 도시하는 구성은, 도 4에 도시한 제 1 예의 구성을 기초로 하여, 구도 판정 처리부(203)가 행하고 있던 현실 피사체를 선별하는 처리를, 피사체 선별 처리부(204)로서 잘라낸 것으로서 볼 수 있다.
즉, 이 경우에서는, 우선, 도 4와 마찬가지로, 피사체 검출 처리부(201)가 받아들인 화상 데이터에 의거하여 피사체 검출 처리를 행하여 검출 피사체 정보를 출력하고, 정지 검출 처리부(202)도, 받아들인 화상 데이터에 의거하여, 화상프레임 내에서의 정지 영역의 검출을 행하여 검출 정지 영역 정보를 출력한다.
이 경우에서는, 상기 검출 피사체 정보와 검출 정지 영역 정보를, 피사체 선별 처리부(204)가 입력한다. 피사체 선별 처리부(204)는, 검출 피사체 정보와 검출 정지 영역 정보를 이용하여, 도 4에서의 구도 판정 처리부(203)가 실행하고 있던 것과 마찬가지로 하여 현실 피사체를 선별하기 위한 처리(선별 처리)를 실행한다. 그리고, 피사체 선별 처리부(204)는, 이 피사체 선별 처리에 의해 현실 피사체인 것으로서 선별된 개별 피사체마다에 관한 검출 개별 피사체 정보를, 구도 판정 처리부(203)에 출력한다.
구도 판정 처리부(203)는, 피사체 선별 처리부(204)로부터 출력되는 현실 피사체인 것으로서 선별된 개별 피사체마다에 관한 검출 개별 피사체 정보를, 대상 개별 피사체의 개별 피사체 정보인 것으로서 취급하여, 구도 판정 처리를 실행한다.
도 12의 플로우 차트는, 상기 도 6에 도시한 구성에 의한 제 3 예의 구도 판정 블록(200)에서 실행되는 처리의 순서예를 도시하고 있다.
스텝 S301 내지 S305까지의 순서는, 도 10의 스텝 S101 내지 S105와 마찬가지로 하여, 화상 데이터의 받아들임을 실행한 다음, 이 화상 데이터에 의거하여, 피사체 검출 처리부(201)가 피사체 검출 처리를 행하여 검출 피사체 정보를 출력하고, 또한, 정지 검출 처리부(202)가 정지 영역의 검출을 행하여 검출 정지 영역 정보를 출력하는 것이 된다.
이 경우의 스텝 S306은, 피사체 선별 처리부(204)가 실행하게 된다.
스텝 S306에서는, 도 10의 스텝 S106으로서 설명한 것과 같은 처리에 의한 선별 처리를 실행하여, 검출 개별 피사체중에서 현실 피사체를 선별한다.
그리고 나서, 스텝 S306에서는, 검출 피사체 정보를 이루는 검출 개별 피사체 정보중에서, 상기 선별 처리에 의해 현실 피사체로서 선별된 검출 개별 피사체의 검출 개별 피사체 정보를, 구도 판정 처리부(204)에 대해 출력한다.
스텝 S307은, 구도 판정 처리부(203)가, 상기 스텝 S306에 의해 출력된 검출 개별 피사체 정보를 대상 개별 피사체에 대한 것으로서 입력하고, 이 검출 개별 피사체 정보에 의거하여 구도 판정 처리를 실행한다.
도 7은, 실시의 형태에 있어서의 제 4 예로서의 구도 판정 블록(200)의 구성예를 도시하고 있다. 이 도면에 도시하는 구성은, 도 5에 도시한 제 2 예의 구성을 기초로 하여, 구도 판정 처리부(203)가 행하고 있던 현실 피사체를 선별하는 처리를, 피사체 선별 처리부(204)로서 잘라낸 것으로서 볼 수 있다.
이 경우에는, 우선, 피사체 검출 처리부(201)가 화상 데이터를 받아들여서, 도 5와 마찬가지의 피사체 검출 처리를 실행한다. 그리고, 그 검출 결과인 검출 피사체 정보를, 이 경우에는, 정지 검출 처리부(202)와, 피사체 검출 처리부(204)에 대해 출력한다.
정지 검출 처리부(202)는, 도 5와 마찬가지의 정지 피사체의 검출 처리를 실행하고, 그 검출 결과인 검출 정지 피사체 정보를 피사체 선별 처리부(204)에 대해 출력한다.
피사체 선별 처리부(204)는, 상기한 바와 같이 하여 출력되는 검출 피사체 정보와 검출 정지 피사체 정보를 입력하여, 앞서 도 5에서 기술한 바와 같이 하여 구도 판정 처리부(203)에서 실행하고 있던 것과 마찬가지의 선별 처리를 실행하여 현실 피사체를 선별하고, 검출 개별 피사체 정보로부터, 선별한 현실 피사체에 대응하는 검출 개별 피사체 정보를 잘라내어 모으고, 이것을 구도 판정 처리부(203)에 출력한다.
구도 판정 처리부(203)는, 상기 피사체 선별 처리부(204)로부터의 검출 개별 피사체 정보를, 대상 개별 피사체에 대응하는 검출 개별 피사체 정보로서 입력하고, 이 검출 개별 피사체 정보에 의거하여 구도 판정을 행한다.
도 13의 플로우 차트는, 상기 도 7에 도시한 구성에 의한 제 4 예의 구도 판정 블록(200)에서 실행되는 처리의 순서예를 도시하고 있다.
스텝 S401 내지 S405까지의 순서는, 도 11의 스텝 S201 내지 S205와 마찬가지로 하여, 화상 데이터의 받아들임을 실행한 다음, 이 화상 데이터에 의거하여, 피사체 검출 처리부(201)가 피사체 검출 처리를 행하여 검출 피사체 정보를 출력하고, 또한, 정지 검출 처리부(202)가 정지 영역의 검출을 행하여 검출 정지 영역 정보를 출력하는 것이 된다.
이 경우의 스텝 S406은, 피사체 선별 처리부(204)가 실행하게 된다.
스텝 S406에서는, 도 11의 스텝 S206에서 설명한 것과 같은 처리에 의한 선별 처리를 실행하여, 검출 개별 피사체중에서 현실 피사체를 선별한다.
그리고 나서, 스텝 S406에서는, 검출 피사체 정보를 이루는 검출 개별 피사체 정보중에서, 상기 선별 처리에 의해 현실 피사체로서 선별된 검출 개별 피사체의 검출 개별 피사체 정보를, 구도 판정 처리부(204)에 대해 출력한다.
스텝 S407은, 구도 판정 처리부(203)가, 상기 스텝 S406에 의해 출력된 검출 개별 피사체 정보를 대상 개별 피사체에 대한 것으로서 입력하고, 이 검출 개별 피사체 정보에 의거하여 구도 판정 처리를 실행한다.
도 8은, 실시의 형태의 제 5 예로서의 구도 판정 블록(200)의 구성예를 도시하고 있다.
이 도면에 도시하는 구도 판정 블록(200)은, 피사체 검출 처리부(201), 정지 검출 처리부(202), 및 구도 판정 처리부(203)에 더하여, 마스킹 처리부(205)가 구비되어 이루어진다.
이 경우, 구도 판정 블록(200)이 외부로부터 받아들였다고 되는 화상 데이터는, 우선, 마스킹 처리부(205)와 정지 검출 처리부(202)가 입력한다.
정지 검출 처리부(202)는, 받아들인 화상 데이터의 화상(화상프레임)에서의 정지 영역을 검출하고, 그 검출 결과인 검출 정지 영역 정보를, 마스킹 처리부(205)에 출력한다.
마스킹 처리부(205)는, 정지 검출 처리부(202)로부터의 검출 정지 영역 정보에 의거하여, 입력한 화상 데이터의 화상(화상프레임)에 있어서, 피사체 검출 처리 부(201)에 의한 피사체 검출 처리의 대상으로부터 제외하여야 할 무효 영역(검출 대상 무효 영역)을 설정한다. 이를 위해서는, 마스킹 처리부(205)는, 입력한 화상 데이터에 대응하는 전(全) 화상 영역중에서, 검출 정지 영역 정보가 나타내는 정지 영역과 일치하는 영역을, 검출 대상 무효 영역으로서 설정한다. 또한, 화상 데이터의 전 화상 영역에 있어서, 검출 대상 무효 영역 이외의 영역에 관해서는 검출 대상 유효 영역이라고 말하는 것으로 한다.
다음에 마스킹 처리부(205)는, 마스킹 처리로서, 입력한 화상 데이터에 관해, 상기한 바와 같이 하여 설정한 검출 대상 무효 영역을 반영시키는 처리를 실행한다. 즉, 이 경우의, 피사체 검출 처리부(201)는, 피사체 검출 처리를 실행함에 즈음하여, 검출 대상 무효 영역을 대상으로 하여서는 피사체 검출 처리를 실행하지 않도록 구성하는 것이지만, 피사체 검출 처리부(201)에 의해, 화상 데이터에 있어서의 검출 대상 무효 영역을 인식할 수 있도록 하기 위한 처리를 실행한다. 이와 같은 처리의 구체예로서, 하나로는, 화상 데이터의 메타데이터로서, 검출 대상 무효 영역이 되는 화소 범위를 나타내는 데이터(또는 역으로 검출 대상 유효 영역이 되는 화소 범위를 나타내는 데이터로 되어도 좋다)를 부가하는 것이 고려된다. 또는, 화상 데이터에 관해, 검출 대상 무효 영역에 관해서는 예를 들면 소정의 고정색에 개서하는 등, 피사체가 나타나지 않는 내용으로 변경하여 버리는 화상 처리를 실행하는 것도 고려된다.
그리고, 마스킹 처리부(205)는, 상기한 마스킹 처리가 시행된 화상 데이터(마스킹 화상 데이터)를 피사체 검출 처리부(201)에 대해 출력한다.
피사체 검출 처리부(201)에서는, 입력한 마스킹 화상 데이터를 이용하여 피사체 검출 처리를 실행한다.
마스킹 화상 데이터에 관해서는, 상기한 바와 같이 마스킹 처리에 의해, 정지 상태에 있는 화상 영역은, 피사체 검출 처리의 대상이 되지 않도록 되어 있다. 따라서, 피사체 검출 처리부(201)는, 움직임이 있다고 되는 화상 영역만을 대상으로 하여 피사체 검출 처리를 실행하게 된다. 따라서, 이 경우의 피사체 검출 처리에 의해서는, 검출된 개별 피사체가, 그대로 현실 피사체인 것이 된다. 즉, 이 도면에 도시되는 구성에서는, 정지 검출의 결과에 의거하여 마스킹 처리부(205)가 마스킹 처리를 실행함에 의해, 검출 개별 피사체로부터, 비현실 피사체를 제외하여 현실 피사체만을 선별하는 처리(즉, 검출 개별 피사체인지 비현실 피사체인 것인지의 판정 처리)를 행하고 있는 것으로 볼 수 있다.
그래서, 이 경우의 피사체 검출 처리부(201)는, 상기한 바와 같이 하여 검출한 개별 피사체마다의 개별 피사체 정보로 이루어지는 검출 피사체 정보를, 구도 판정 처리부(203)에 출력한다.
구도 판정 처리부(203)는, 상기한 바와 같이 하여 출력되는 검출 피사체 정보를 입력하여 구도 판정 처리를 실행한다. 이로써 얻어지는 구도 판정 결과는, 화상 데이터의 화상에서 존재하는 것이 되는 피사체중, 비현실 피사체를 제외하고, 현실 피사체로서의 개별 피사체만을 대상으로 한 적정한 것이 얻어지게 된다.
도 14의 플로우 차트는, 상기 도 8에 도시한 구성에 의한 제 5 예의 구도 판정 블록(200)에서 실행되는 처리의 순서예를 도시하고 있다.
스텝 S501에서는, 정지 검출 처리부(202)와 마스킹 처리부(205)가 화상 데이터의 받아들임을 행한다.
스텝 S502 내지 S504는, 마스킹 처리부(205)가 실행한다.
스텝 S502는, 현재에 있어서 정지 검출 처리부(202)로부터 입력하고 있는 검출 정지 영역 정보에 의거하여 앞의 도 8에서의 설명과 같이 하여 검출 무효 영역을 설정하고, 스텝 S503에 의해, 마찬가지로 도 8에 의해 설명한 마스킹 처리를 실행한다. 그리고, 스텝 S504에 의해 마스킹 처리를 경유한 화상 데이터인 마스킹 화상 데이터를 출력한다.
또한, 스텝 S502 내지 504와 병행하여 행하여지는 것으로 되어 있는 스텝 S505, S506은, 정지 검출 처리부(202)가 실행한다.
스텝 S505는, 스텝 S501에 의해 받아들여서 입력한 화상 데이터로부터 정지 영역을 검출하고, 스텝 S506은, 그 검출 결과인 검출 정지 영역 정보를, 마스킹 처리부(205)에 대해 출력한다. 확인을 위해, 스텝 S502에서는, 이와 같이 하여 출력된 검출 정지 영역 정보를 이용하고 있다.
스텝 S507, S508은, 피사체 검출 처리부(201)가 실행한다.
스텝 S507은, 스텝 S504에 의해 출력된 마스킹 화상 데이터를 대상으로 하여, 앞의 도 8에 의한 설명과 같이 하여 피사체 검출 처리를 실행하고, 스텝 S508에 의해, 그 검출 결과인 검출 피사체 정보를 구도 판정 처리부(203)에 대해 출력한다.
스텝 S509에서는, 구도 판정 처리부(203)가, 상기 검출 피사체 정보를 이용 하여 구도 판정을 실행한다.
도 9는, 실시의 형태의 제 6 예로서의 구도 판정 블록(200)의 구성예를 도시하고 있다.
이 도면에 도시하는 구도 판정 블록(200)도, 피사체 검출 처리부(201), 정지 검출 처리부(202), 및 구도 판정 처리부(203), 및 마스킹 처리부(205)를 갖고 형성되어 있는 점에서는, 도 8의 제 5 예와 마찬가지이지만, 그리고 나서, 제 6 예에서는, 다음과 같은 구성을 갖는다.
이 경우, 구도 판정 블록(200)이 받아들였다고 되는 화상 데이터는, 마스킹 처리부(205)가 입력한다. 마스킹 처리부(205)는, 도 8의 경우와 같은 처리에 의해, 정지 검출 처리부(202)로부터 입력하는 검출 정지 피사체 정보를 이용하여 입력한 화상 데이터에 대한 마스킹 처리를 실행하여, 마스킹 화상 데이터를 피사체 검출 처리부(201)에 대해 출력한다.
피사체 검출 처리부(201)에서는, 입력한 마스킹 화상 데이터를 이용하여 피사체 검출 처리를 실행하고, 검출한 개별 피사체에 관한 검출 개별 피사체 정보로 이루어지는 검출 피사체 정보를 구도 판정 처리부(203)에 대해 출력한다.
구도 판정 처리부(203)는, 입력한 검출 피사체 정보에 의거하여 구도 판정 처리를 실행한다.
이 경우의 정지 검출 처리부(202)는, 피사체 검출 처리부(201)로부터 출력되는 검출 피사체 정보를 입력하여, 예를 들면 도 5, 도 7의 정지 검출 처리부(202)와 같은 처리에 의해, 검출 피사체 정보가 나타내는 검출 개별 피사체중에서, 정지 상태에 있다고 되는 정지 피사체를 검출한다. 그리고 이 경우에는, 검출 결과로서, 검출한 정지 피사체마다에 관한 위치 정보, 즉, 화상 데이터의 화상에 있어서 정지 피사체가 어디에 있는 것인지를 나타낼 수 있는 정보를, 검출 정지 피사체 정보로서 출력하도록 한다.
마스킹 처리부(205)는, 입력한 화상 데이터에 관해, 그 화상 영역 내에서, 입력한 검출 정지 피사체 정보가 나타내는 정지 피사체마다의 위치 정보가 대응하는 영역을 검출 대상 무효 영역으로서 설정하여 마스킹 처리를 실행하고, 마스킹 화상 데이터를 생성하여 출력한다.
이와 같이 하여 생성되는 마스킹 화상 데이터는, 상기한 바와도 같이 정지 피사체로서 검출된 검출 개별 피사체가 위치하고 있게 되는 영역에 관해 검출 대상 무효 영역으로서 설정되어 있는 것이고, 역으로 말하면, 현실 피사체로서의 검출 개별 피사체가 위치하고 있는 영역에 관해서는 검출 대상 유효 영역으로 되어 있다. 따라서, 이 마스킹 화상 데이터를 입력하는 피사체 검출 처리부(201)에 의해서는, 화상 내에 존재하고 있는 피사체중에서, 비현실 피사체(정지 피사체)를 제외한 현실 피사체만이 개별 피사체로서 검출할 수 있다.
그리고, 구도 판정 처리부(203)는, 이와 같이 하여 검출된 개별 피사체의 검출 개별 피사체 정보에 의거하여 구도 판정을 실행하게 된다. 즉, 현실 피사체만을 대상으로 한 구도 판정이 적정하게 행하여지게 된다.
또한, 이와 같은 구성에서는, 적절한 소정의 트리거, 타이밍으로써, 마스킹 처리부(205)에서의 검출 대상 무효 영역의 설정을 클리어한다.
도 15의 플로우 차트는, 상기 도 9에 도시한 구성에 의한 제 6 예의 구도 판정 블록(200)에서 실행되는 처리를 순서로서 도시하고 있다.
이 경우의 스텝 S601은, 마스킹 처리부(205)가 화상 데이터를 받아들여서 입력하는 순서가 된다.
다음에, 마스킹 처리부(205)는, 스텝 S602 내지 S604의 순서를 실행한다.
스텝 S602에서는, 현재에 있어서 정지 검출 처리부(202)로부터 출력되고 있는 검출 정지 피사체 정보를 입력하여, 입력한 화상 데이터의 화상에 있어서의 마스킹 영역(검출 대상 무효 영역)을 설정하고, 스텝 603에 의해, 설정한 마스킹 영역을 반영시키기 위한 마스킹 처리를 화상 데이터에 실시하여 마스킹 화상 데이터를 얻고, 스텝 S603에서 마스킹 화상 데이터를 출력한다.
스텝 S605, S606은 피사체 검출 처리부(201)가 실행한다.
스텝 S605에서는, 상기 스텝 S604에 의해 출력된 마스킹 화상 데이터를 입력하여 피사체 검출 처리를 실행하고, 스텝 S606에 의해, 검출된 개별 피사체마다의 검출 개별 피사체 정보로 이루어지는 검출 피사체 정보를 출력한다. 이와 같이 하여 출력되는 검출 개별 피사체 정보를, 구도 판정 처리부(203)가 실행하는 스텝 S609와, 정지 검출 처리부(202)가 실행하는 스텝 S607에서 이용하게 된다.
우선, 정지 검출 처리부(202)는, 스텝 S607에 의해, 입력한 검출 개별 피사체 정보에 의거하여 정지 피사체를 검출하고, 그 검출 결과로서, 앞에서도 기술한 바와 같이, 예를 들면 검출한 정지 피사체마다의 위치 정보(검출 개별 피사체 정보)로 이루어지는 검출 정지 피사체 정보를 마스킹 처리부(205)에 대해 출력한다.
또한, 구도 판정 처리부(203)는, 입력한 검출 피사체 정보에 의거하여 구도 판정 처리를 실행한다.
지금까지 설명한 제 1 예 내지 제 6 예에 의한 구도 판정 블록(200)의 구성, 즉, 실시의 형태로서의 기본적인 구도 판정의 구성에 의해서는, 화상 데이터의 화상에서 존재하는 피사체로서, 현실 피사체와 비현실 피사체가 혼재하고 있다고 하여도, 구도 판정의 대상으로서 제외하여야 할 비현실 피사체에 관해서는 정확하게 제외하여, 현실 피사체만을 대상으로 하는 적절한 구도 판정을 행하는 것이 가능해진다.
그리고 나서, 현실 피사체와 비현실 피사체를 선별함에 즈음하여서는, 화상 데이터의 화상, 또는 검출 피사체에 관한 정지 검출의 결과, 즉, 화상의 움직임에 관한 검출을 이용하는 것으로 한다. 따라서, 화상 데이터의 그림 내용이 시간 진행에 따라 변화하였다고 하여도, 그 때의 그림 내용에 따라 정지하고 있는 영역 또는 피사체를 다이내믹하게 특정하여 가는 것이 가능하고, 항상, 현실 피사체와 비현실 피사체를 정확하게 선별하는 것이 가능해진다.
예를 들면, 특허문헌3에서는, 얼굴화상 검출에 즈음하여, 포스터의 얼굴 등의 얼굴화상(본 실시의 형태의 비현실 피사체에 상당)이 검출되지 않도록 마스킹 패턴을 발생시키는 구성이 기재되어 있다. 그러나, 이 구성에서는, 단락 0060에도 기재되어 있는 바와 같이, 적절한 마스킹 패턴의 발생은, 본 실시의 형태로의 현실 피사체에 상당하는 고객이나 종업원 등의 현실의 사람의 얼굴이 검출 대상의 화상 내에 존재하지 않는 조건으로, 캘리브레이션(초기 설정)으로서 행하여져야 하고, 환언하면, 비현실 피사체와 현실 피사체가 혼재하는 화상 내용에 대응하여서는, 적절한 마스킹 패턴을 발생시키기는 어렵다.
이에 대해, 본 실시의 형태에서는, 상기한 바와도 같이, 화상(화상프레임) 내에 현실 피사체와 비현실 피사체가 혼재하고, 그위에 또한, 시간 경과에 따라 그림 내용이 변화하는 상황에도 대응하고, 적절하게 마스킹 처리가 행하여지고, 결과로서, 현실 피사체만을 대상으로 한 구도 판정을 실행시킬 수 있다. 이로써, 본 실시의 형태로서는, 예를 들면, 특허문헌1 등에 있어서의 정점(定點) 감시 시스템 등에 적용한 경우에도, 상기한 바와 같은 캘리브레이션적인 동작을 미리 실행시킬 필요가 없고, 또한, 어떠한 사정으로, 영업 시간 동안에 포스터가 붙은 상황에도 대응하여, 포스터의 얼굴 등은 제외할 수 있게 된다. 이와 같이 하여, 본 실시의 형태의 구성은, 지금까지보다도 사영하기 쉽고, 성능적으로도 우수한 것을 제공할 수 있다.
그리고 또한, 본 실시의 형태의 구성을 채택함으로써, 예를 들면 특허문헌3에서와 같은 정점 감시 시스템 정도의 용도로 한정되는 일 없이, 다양한 용도에 사용할 수 있는 유연성이 주어지게도 된다.
그래서, 계속해서, 본 실시의 형태의 구도 판정의 구성을 적용한 장치예, 시스템 구성예를 몇가지 들어 가기로 한다.
우선, 본 실시의 형태의 구도 판정을, 디지털 스틸 카메라와, 이 디지털 스틸 카메라가 부착된 플랫폼으로 이루어지는 촬상 시스템에 적용한 것에 관해 설명한다. 이 본 실시의 형태에 대응하는 촬상 시스템에 의해서는, 구도 판정에 의해 판정한 구도에 맞추어서 정지화의 촬상 기록이 가능하게 된다.
도 16은, 본 실시의 형태에 대응한 촬상 시스템의 외관 구성예를, 정면도에 의해 도시하고 있다.
이 도면에 도시되는 바와 같이, 본 실시의 형태의 촬상 시스템은, 디지털 스틸 카메라(1)와 플랫폼(10)으로 이루어진다.
디지털 스틸 카메라(1)는, 본체 정면측의 패널에 마련되어 있는 렌즈부(3)에 의해 촬상하여 얻어지는 촬상광에 의거하여 정지화상 데이터를 생성하고, 이것을 내부에 장전되어 있는 기억 매체에 기억시키는 것이 가능하게 되어 있다. 즉, 사진으로서 촬영한 화상을, 정지화상 데이터로서 기억 매체에 기억 보존시키는 기능을 갖는다. 이와 같은 사진 촬영을 수동으로 행할 때에는, 유저는, 본체 윗면부에 마련되어 있는 셔터(릴리스) 버튼을 누름 조작한다.
플랫폼(10)에는, 상기 디지털 스틸 카메라(1)를 고정하도록 하여 부착할 수 있다. 즉, 플랫폼(10)과 디지털 스틸 카메라(1)는, 서로의 부착을 가능하게 하기 위한 기구부위를 구비하고 있다.
그리고, 플랫폼(10)에서는, 부착된 디지털 스틸 카메라(1)를, 팬 방향(수평 방향)과 틸트 방향의 양방향에 의해 움직이기 위한 팬·틸트 기구를 구비한다.
플랫폼(10)의 팬·틸트 기구에 의해 주어지는 디지털 스틸 카메라(1)의 팬 방향, 틸트 방향 각각의 움직이는 방식은 예를 들면 도 17의 (a), (b)에 도시되는 것으로 된다. 도 17의 (a), (b)는, 플랫폼(10)에 부착되어 있는 것으로 되는 디지털 스틸 카메라(1)를 떼어내서, 각각, 평면 방향, 측면 방향에서 본 것이다.
우선 팬 방향에 관해서는, 디지털 스틸 카메라(1)의 본체 횡방향과 도 17의 (a)에 도시되는 직선(X1)이 같은 방향이 되는 위치 상태를 기준으로 하여, 예를 들면 회전축(Ct1)을 회전 중심으로 하여 회전 방향(+α)에 따른 회전이 행하여짐으로써, 우방향으로의 패닝의 움직임이 주어진다. 또한, 회전 방향(-α)에 따른 회전이 행하여짐으로써, 좌방향으로의 패닝의 움직임이 주어진다.
또한, 틸트 방향에 관해서는, 디지털 스틸 카메라(1)의 본체 종방향이 수직 방향의 직선(Y1)과 일치하는 위치 상태를 기준으로 하여, 예를 들면 회전축(Ct2)을 회전 중심으로 하여 회전 방향(+β)으로 회전이 행하여짐으로써, 하방향으로의 패닝의 움직임이 주어진다. 또한, 회전 방향(-β)으로의 회전이 행하여짐으로써, 상방향으로의 패닝의 움직임이 주어진다.
또한, 도 17의 (a), (b)에 도시되는, ±α방향, 및 ±β 방향의 각각에 있어서의 최대 가동 회전 각도에 관해서는 언급하지 않지만, 피사체의 포착의 기회를 가능한 한 많게 하여야 할 것을 고려하는 것이면, 가능한 한 최대 가동 회전 각도를 크게 취하는 것이 바람직하게 된다.
도 18은, 본 실시의 형태에 대응하는 촬상 시스템의 내부를, 기능 동작마다 대응한 블록 구성에 의해 도시하고 있다. 이 도면에서, 디지털 스틸 카메라(1)는, 촬상 블록(61), 구도 판정 블록(62), 팬·틸트·줌 제어 블록(63), 및 통신 제어 처리 블록(64)을 구비하여 이루어지는 것으로 되어 있다.
촬상 블록(61)은, 촬상에 의해 얻어진 화상을 화상 신호의 데이터(촬상 화상 데이터)로서 출력하는 부위이고, 촬상을 위한 광학계, 촬상 소자(이미지 센서), 및 촬상 소자로부터 출력되는 신호로부터 촬상 화상 데이터를 생성하는 신호 처리 회로 등을 갖고 이루어지는 부위이다.
구도 판정 블록(62)은, 촬상 블록(61)으로부터 출력되는 촬상 화상 데이터를 받아들여서 입력하고, 이 촬상 화상 데이터를 기초로 하여 구도 판정을 위한 처리를 실행한다. 이 구도 판정 블록(62)으로서는, 앞서 도 4 내지 도 9에 의해 도시한 구도 판정 블록(200)의 어느 하나를 적용할 수 있다. 즉, 이 구도 판정 블록(62)은, 촬상 화상 데이터의 화상 내에 비현실 피사체가 존재하고 있는 상황에서도, 이것을 제외하여, 현실 피사체만을 대상으로 하는 구도 판정을 실행한다.
팬·틸트·줌 제어 블록(63)은, 구도 판정 블록(62)으로부터 입력한 구도 판정 결과의 정보가 나타내는 촬상 화상의 구도가 되는 촬상 시야각을 얻기 위한 팬·틸트·줌 제어(구도 제어)를 실행한다.
즉, 판정 결과가 나타내는 구도가 되는 촬상 방향을 디지털 스틸 카메라(1)가 향하기 위한, 플랫폼(10)의 팬·틸트 기구에 관한 이동량을 구하고, 이 구한 이동량에 따른 이동을 지시하는 팬·틸트 제어 신호를 생성한다.
또한, 판정 결과가 나타내는 구도가 되는 화각을 얻기 위한 줌 위치를 구하고, 이 줌 위치가 되도록 하여, 촬상 블록(61)이 구비하게 되는 줌 기구를 제어한다.
통신 제어 블록(64)은, 플랫폼(10)측에 구비되는 통신 제어 블록(71)과의 사이에서 소정의 통신 프로토콜에 따라 통신을 실행하기 위한 부위가 된다. 상기 팬·틸트·줌 제어 블록(63)이 생성한 팬·틸트 제어 신호는, 통신 제어 블록(64)의 통신에 의해, 플랫폼(10)의 통신 제어 블록(71)에 대해 송신된다.
플랫폼(10)은, 예를 들면 도시하는 바와 같이 하여, 통신 제어 블록(71), 및 팬·틸트 제어 처리 블록(72)을 갖고 있다.
통신 제어 블록(71)은, 디지털 스틸 카메라(1)측의 통신 제어 블록(64)과의 사이에서의 통신을 실행하기 위한 부위이고, 상기한 팬·틸트 제어 신호를 수신한 경우에는, 이 팬·틸트 제어 신호를 팬·틸트 제어 처리 블록(72)에 대해 출력한다.
팬·틸트 제어 처리 블록(72)은, 여기서는 도시하지 않은 플랫폼(10)측의 마이크로 컴퓨터 등이 실행하는 제어 처리중에서, 팬·틸트 제어에 관한 처리의 실행 기능에 대응하는 것이 된다. 이 팬·틸트 제어 처리 블록(72)은, 입력한 팬·틸트 제어 신호에 따라, 여기서는 도시하지 않은 팬 구동 기구부, 틸트 구동 기구부를 제어한다. 이로써, 판정된 구도에 따른 수평 시야각과 수직 시야각을 얻기 위한 패닝, 틸팅이 행하여진다.
또한, 구도 판정 블록(62)에 의해 피사체가 검출되지 않은 때에는, 팬·틸트·줌 제어 블록(63)은, 예를 들면 지령에 따라 피사체 탐색을 위한 팬·틸트·줌 제어를 행할 수 있도록 되어 있다.
상기 도 18에 도시한 구성의 디지털 스틸 카메라(1)와 플랫폼(10)으로 이루어지는 촬상 시스템에서는, 예를 들면, 사람을 주체적인 피사체(이후는 단지 피사체라고 한다)로서 취급하는 것으로 한 다음, 이 피사체를 탐색함과 함께, 피사체의 존재가 검출되는 것이면, 이 피사체가 찍혀 있는 화상으로서 최적이 되는 구도(최 적 구도)를 얻을 수 있도록(프레이밍이 행하여지도록) 하여 플랫폼(10)의 팬·틸트 기구를 구동한다. 그리고, 최적 구도가 얻어진 타이밍에서, 그 때의 촬상 화상 데이터를 기억 매체에 기록(촬상 기록)시키는 것이 가능해진다. 또한, 촬상 기록의 지시(릴리스 동작의 지시)는, 예를 들면 도 18의 구성하에서는, 팬·틸트·줌 제어 블록(63)이, 구도 맞춤을 위한 팬·틸트·줌 제어가 완료된 타이밍으로써, 예를 들면 촬상 블록(61) 등의 하여야 할 부위에 대해 행하도록 되면 좋다. 또는, 구도 판정 블록(62)에 있어서, 촬상 화상 데이터의 화상에서 얻어진 실제의 구도와, 판정한 최적 구도와의 근사도가 일정 이상이 되었다고 판단한 타이밍에서, 릴리스의 지시가 행하여지도록 하여도 좋다.
이와 같이, 도 18의 촬상 시스템에서는, 디지털 스틸 카메라에 의한 사진 촬영을 행함에 즈음하여, 우선, 탐색된 피사체에 관해 최적 구도를 결정(판정)하여 촬영 기록을 행한다는 동작이 자동적으로 실행된다. 이로써, 유저 자신이 구도를 판단하여 촬영을 행하지 않더라도, 상응하게 양질의 사진의 화상을 얻는 것이 가능해진다. 또한, 이와 같은 시스템에서는, 누군가가 카메라를 갖고 촬영할 필요가 없어지기 때문에, 그 촬영이 행하여지는 장소에 있는 전원(全員)이 피사체가 될 수 있다. 또한, 피사체가 되는 유저가, 카메라의 시야각 범위에 들어가려고 특히 의식하지 않더라도, 피사체가 수습된 사진을 얻을 수 있게 된다. 즉, 그 촬영 장소에 있는 사람의 자연스러운 모습을 촬영할 기회가 증가하는 것이고, 지금까지에는 별로 없었던 분위기의 사진을 많이 얻을 수 있다.
또한, 피사체가 향하여 있게 되는 방향에 의해, 최적이 되는 구도는 달라진 다는 사고방식을 취할 수 있지만, 본 실시의 형태에 의하면, 복수의 피사체가 존재하는 경우의, 이들 피사체가 향하고 있는 방향의 관계성에 따라, 다른 최적 구도가 결정되도록 하여 구성된다. 이로써, 본 실시의 형태에 대응하는 구성의 장치를 이용하는 유저는, 번거로운 수고를 하는 일 없이, 최적 구도의 화상을 얻는 것이 가능해진다.
그리고 나서, 상기한 촬상 시스템은, 본 실시의 형태로서의 구도 판정을 행하도록 되어 있기 때문에, 예를 들면 포스터의 인물(비현실 피사체) 등에 잘못하여 반응하는 일 없이, 현실의 사람(현실 피사체)만을 대상으로 하는 적절한 구도를 갖는 화상의 촬상 기록이 가능하게 되어 있는 것이다.
도 19는, 상기 도 18에 도시한 본 실시의 형태 대응의 촬상 시스템에 관한 변형예를 도시하고 있다. 이 도면에서는, 우선, 디지털 스틸 카메라(1)에 있어서, 촬상 블록(61)에 의해 얻어지는 촬상 화상 데이터를, 통신 제어 처리 블록(64)으로부터 플랫폼(10)측의 통신 제어 블록(71)에 대해 송신하도록 되어 있다.
이 도면에서는, 플랫폼(10)의 구성으로서 통신 제어 처리 블록(71), 팬·틸트 제어 처리 블록(72), 및 구도 판정 블록(73)이 도시되어 있다.
통신 제어 처리 블록(71)에 의해 수신된 촬상 화상 데이터는, 구도 판정 블록(73)에 대해 출력된다. 이 구도 판정 블록(73)도, 앞서 도 4 내지 도 9에 의해 도시한 구도 판정 블록(200)의 어느 하나의 구성이 적용되는 것으로, 입력한 촬상 화상 데이터를 기초로 하여 현실 피사체만을 대상으로 하는 구도 판정 처리를 실행한다. 그리고, 이 경우에는, 구도 판정 결과에 의거하여, 예를 들면, 도 18의 팬· 틸트·줌 제어 블록(63)과 같이 하여, 판정된 구도를 얻을 수 있는 촬상 방향으로 하기 위한 팬 기구부와 틸트 기구부의 이동량을 구하고, 이 이동량을 지시하는 팬·틸트 제어 신호를 팬·틸트 제어 처리 블록(72)에 대해 출력한다. 이로써, 구도 제어 처리 블록(73)에서 판정한 구도를 얻을 수 있도록 하여 패닝, 틸팅이 행하여진다.
이와 같이 하여, 도 19에 도시하는 촬상 시스템은, 디지털 스틸 카메라(1)로부터 플랫폼(10)에 촬상 화상 데이터를 송신시키는 것으로 하고, 플랫폼(10)측에 의해, 받아들인 촬상 화상 데이터에 의거한 구도 판정과 이에 따른 팬·틸트 제어(구도 제어)를 실행하도록 하여 구성하고 있는 것이다. 또한, 이 도 19에 도시하는 구성에서는, 촬상 시야각의 제어(구도 제어)로서, 줌(화각) 제어를 행하고 있지 않지만, 이것은, 실시의 형태하에서는, 구도 제어로서, 팬·틸트·줌의 각 제어가 필수가 아닌 것을 나타내고 있다. 예를 들면, 조건·상황에 따라서는, 팬 제어만, 틸트 제어만, 또는 줌 제어만에 의해서도, 판정된 구도에 따른 구도 제어를 실현할 수 있는 것이다.
도 20은, 본 실시의 형태에 대응하는 촬상 시스템에 관한 다른 변형예로서의 구성예를 도시하고 있다. 또한, 이 도면에서, 도 19와 동일 부분에는 동일 부호를 붙이고 설명을 생략한다.
이 시스템에서는, 플랫폼(10)측에 촬상 블록(75))이 구비된다. 이 촬상 블록(75))은, 예를 들면 도 18, 도 19의 촬상 블록과 마찬가지로, 촬상을 위한 광학계와 촬상 소자(이미지 센서)를 구비하고, 촬상광에 의거한 신호(촬상 신호)를 얻 도록 되어 있음과 함께, 이 촬상 신호로부터 촬상 화상 데이터를 생성하기 위한 신호 처리부로 이루어진다.
촬상 블록(75))에 의해 생성되는 촬상 화상 데이터는, 구도 판정 블록(73)에 출력된다.
또한, 촬상 블록(75))이 촬상광을 받아들이는 방향(촬상 방향)은, 예를 들면 플랫폼(10)에 재치되는 디지털 스틸 카메라의 촬상 방향과 될 수 있는 한 일치하도록 하여 설정하는 것이 바람직하다.
이 경우의 구도 판정 블록(73), 및 팬·틸트 제어 처리 블록(72)은, 상기 도 19와 마찬가지로 하여 구도 판정과, 이 구도 판정 결과에 따른 팬·틸트 기구의 구동 제어를 실행한다.
단, 이 경우의 구도 판정 블록(73)은, 디지털 스틸 카메라(1)에 릴리스 동작을 실행시키는 타이밍(촬상 블록(75)으로부터의 촬상 화상 데이터의 화상에 관해, 판정 구도를 얻을 수 있다고 하는 타이밍)에 대응하여서는, 통신 제어 처리 블록(71) 경유로 디지털 스틸 카메라(1)에 대해, 릴리스 지시 신호를 송신시킨다. 디지털 스틸 카메라(1)에서는, 릴리스 지시 신호가 수신된 것에 따라 릴리스 동작을 실행하고, 그 때에 촬상 블록(75)에 의해 얻을 수 있다고 하는 촬상 화상 데이터를 기초로 한 화상 데이터의 촬상 기록을 실행한다.
이와 같이 하여 다른 변형예에서는, 구도 판정 및 구도 제어에 관해, 릴리스 동작 자체에 관한 이외의 모든 제어·처리를 플랫폼(10)측에서 완결하여 행할 수 있다.
또한, 상기한 설명에서는, 팬 제어, 틸트 제어에 관해서는, 플랫폼(10)의 팬·틸트 기구의 움직임을 제어함에 의해 행하는 것으로 하고 있지만, 플랫폼(10)에 대신하여, 예를 들면, 디지털 스틸 카메라(1)의 광학계부(21)에 대해서는, 반사경에 의해 반사된 촬상광이 입사되도록 한 다음에, 촬상광에 의거하여 얻어지는 화상에 관해 패닝·틸팅된 결과를 얻을 수 있도록 하여 상기 반사광을 움직이는 구성을 채용하는 것도 고려된다.
또한, 디지털 스틸 카메라(1)의 촬상 소자(이미지 센서(22))로부터 화상으로서 유효한 촬상 신호를 받아들이기 위한 화소 영역을 수평 방향과 수직 방향으로 시프트시킨다는 제어를 행함에 의해서도, 패닝·틸팅이 행하여지는 것과 동등한 결과를 얻을 수 있다. 이 경우에는, 플랫폼(10) 또는 이에 준하는, 디지털 스틸 카메라(1) 이외의 팬·틸트를 위한 장치부를 준비할 필요가 없고, 디지털 스틸 카메라(1) 단체에 의해 본 실시의 형태로서의 구도 제어를 완결시키는 것이 가능해진다.
또한, 화각 제어(줌 제어)에 관해서도, 줌렌즈의 구동에 대신하여, 촬상 화상 데이터로부터 일부 화상 영역을 잘라낸다는 화상 처리를 실행함에 의해 실현 가능하다.
또한, 디지털 스틸 카메라(1)의 광학계부에 있어서의 렌즈의 광축을 수평·수직 방향으로 변경할 수 있는 기구를 구비하고, 이 기구의 움직임을 제어하도록 구성하여도, 패닝·틸팅을 행하는 것이 가능하다.
계속해서, 본 실시의 형태의 구도 판정의 구성을, 상기 촬상 시스템 이외에 적용한 예에 관해 들어 간다.
우선, 도 21은, 실시의 형태로서의 구도 판정을, 디지털 스틸 카메라 등의 촬상 장치 단체에 대해 적용한 것으로, 예를 들면 촬상 모드시에 있어서 촬상 장치에 의해 촬상하고 있는 화상이, 판정 결과에 따른 적정한 구도가 되었을 때에, 이것을 표시에 의해 유저에게 통지하려고 하는 것이다.
이를 위해 촬상 장치가 구비하여야 할 구성으로서, 여기서는 구도 판정 블록(81), 통지 제어 처리 블록(82), 표시부(83)를 나타내고 있다. 여기서의 구도 판정 블록(81)이, 도 4 내지 도 9에 도시한 구도 판정 블록(200)으로서의 어느 하나의 구성을 채택하는 것이 된다.
예를 들면 유저는, 촬상 장치를 촬상 모드로 설정한 다음, 촬상 장치를 손에 갖고 있고, 언제라도 릴리스 조작(셔터 버튼 조작)을 행하면 촬상 화상의 기록을 행할 수 있는 상황에 있는 것으로 한다.
이와 같은 상태하에서, 구도 판정 블록(81)에서는, 우선, 그 때에 촬상하여 얻어지는 촬상 화상 데이터를 받아들여서, 앞에서 기술한 일련의 구도 판정의 처리를 실행하여, 최적 구도를 판정한다.
그리고 나서, 또한, 이 경우의 구도 판정 블록(81)에서는, 그 때에 실제로 얻어진 촬상 화상 데이터의 그림 내용의 구도와, 판정된 최적 구도와의 일치성, 유사도를 구하게 된다. 그리고, 예를 들면 유사도가 일정 이상이 되었을 때에, 실제로 촬영하여 얻어진 촬상 화상 데이터의 그림 내용이 최적 구도가 되었다고 판정한다. 또한, 예를 들면 실제에 있어서는, 촬상 화상 데이터의 그림 내용의 구도와 최 적 구도가 일치하였다고 간주될 정도의, 소정 이상의 유사도가 얻어졌으면, 최적 구도라고 판단하도록 하여 알고리즘을 구성하는 것이 생각된다. 또한, 여기서의 일치성, 유사도를 어떻게 하여 구할 것인지에 관해서는 다양한 알고리즘을 생각할 수 있기 때문에, 여기서는, 그 구체예에 관해서는 특히 언급하지 않는다.
이와 같이 하여 촬상 화상 데이터의 화면 내용이 최적 구도가 된 것의 판정 결과의 정보는 통지 제어 처리 블록(82)에 대해 출력된다. 통지 제어 처리 블록(82)은, 상기한 정보의 입력에 응하여, 현재에 있어서 촬상되고 있는 화상이 최적 구도인 것을 유저에게 통지하기 위한 소정 양태에 의한 표시가 표시부(83)에 행하여지도록 표시 제어를 실행한다. 또한, 통지 제어 처리 블록(82)은, 촬상 장치가 구비하는 마이크로 컴퓨터(CPU) 등에 의한 표시 제어 기능과, 표시부(83)에 대한 화상 표시를 실현하기 위한 표시용 화상 처리 기능 등에 의해 실현된다. 또한, 여기서의 최적 구도인 것의 유저에게의 통지는, 전자 음, 또는 합성 음성 등을 비롯한 소리에 의해 행하여지도록 구성하여도 좋다.
또한, 표시부(83)는, 예를 들면 본 실시의 형태의 디지털 스틸 카메라(1)의 표시부(33)에 대응하는 것으로, 예를 들면 촬상 장치에 있어서의 소정 위치에 대해 그 디스플레이 패널이 표출하도록 하여 마련되고, 촬영 모드시에는 이른바 스루화(畵)라고 불리는, 그 때에 촬상되어 있는 화상이 표시되는 것이 일반적이다. 따라서, 이 촬상 장치의 실제로서는, 표시부(83)에서, 스루화에 대해 중첩되는 양태로 최적 구도인 것을 통지하는 내용의 화상이 표시되게 된다. 유저는, 이 최적 구도인 것을 통지하는 표시가 나타난 때에 릴리스 조작을 행하도록 된다. 이로써, 사진 촬 영의 지식이나 기술에 뛰어나지 않은 유저라도, 양호한 구도의 사진 촬영을 간단하게 행하는 것이 가능해진다.
또한, 도 22도, 상기 도 21과 마찬가지로 디지털 스틸 카메라 등의 촬상 장치 단체에 대해 실시의 형태의 구도 판정의 구성을 적용한 것이 된다.
우선, 이 도면에 도시하는 구성에서는, 도 21과 마찬가지로, 구도 판정 블록(81)에 의해, 입력되는 촬상 화상 데이터를 기초로 하여 최적 구도를 판정하는 처리를 실행함과 함께, 그 후의 타이밍에서 얻어지는 촬상 화상 데이터의 그림 내용이 상기한 최적 구도인지의 여부를 판정하도록 된다. 그리고, 최적 구도가 된 것을 판정하면, 이것을 릴리스 제어 처리 블록(84)에 대해 통지한다.
릴리스 제어 처리 블록(84)은, 촬상 화상 데이터를 기록하기 위한 제어를 실행하는 부위가 되고, 예를 들면 촬상 장치가 구비하는 마이크로 컴퓨터가 실행하는 제어 등에 의해 실현된다. 상기한 통지를 받은 릴리스 제어 처리 블록(84)은, 그 때에 얻어진 촬상 화상 데이터가, 예를 들면 기억 매체에 기억되도록 하여 화상 신호 처리, 기록 제어 처리를 실행한다.
이와 같은 구성이라면, 예를 들면 최적인 구도의 화상이 촬상된 때에는, 자동적으로 그 촬상 화상의 기록이 행하여지도록 한 촬상 장치를 얻을 수 있다.
또한, 상기 도 21 및 도 22의 구성은, 예를 들면 스틸 카메라의 범주라면, 예를 들면 도 1에 의해 도시되는 바와 같은 구성의 디지털 스틸 카메라에 적용할 수 있는 외에, 은염 필름 등에 촬상 화상을 기록하는 이른바 은염 카메라라고 일컬어지는 것에도, 예를 들면 광학계에 의해 얻어진 촬상광을 분광하여 받아들이는 이 미지 센서와, 이 이미지 센서로부터의 신호를 입력하여 처리하는 디지털 화상 신호 처리부 등을 마련함으로써 적용이 가능하다.
도 23은, 실시의 형태의 구도 판정의 구성을 디지털 스틸 카메라 등의 촬상 장치에 적용한 구성의 한 예이다. 이 도면에 도시하는 촬상 장치(100)는, 도시하는 바와 같이 하여, 구도 판정 블록(101), 메타데이터 작성 처리 블록(102), 파일 작성 처리 블록(103)을 구비한다. 여기서는, 구도 판정 블록(101)이, 앞의 도 4 내지 도 9의 어느 하나에 도시한 구성을 갖는 것이 된다.
여기서는 도시하지 않은 촬상 블록에 의해 촬상하여 얻어지는 촬상 화상 데이터는, 촬상 장치(100) 내의 구도 판정 블록(101), 파일 작성 처리 블록(103)에 대해 입력하는 것으로 한다. 또한, 이 경우에 있어서, 촬상 장치(100) 내에 입력된 촬상 화상 데이터는, 예를 들면 릴리스 조작 등에 따라 기억 매체에 기억되어야 할 것으로 된 촬상 화상 데이터이고, 여기서는 도시하지 않은, 촬상 블록에서의 촬상에 의해 얻어진 촬상 신호를 기초로 생성된 것이다.
우선 구도 판정 블록(101)에서는, 비현실 피사체(정지 피사체)를 제외한 현실 피사체를 대상으로 하는 구도 판정을 행한다. 그리고 나서, 이 경우의 구도 판정 처리로서는, 또한, 이 구도 판정 결과에 의거하여, 입력된 촬상 화상 데이터의 전 화상 영역에 있어서, 판정된 최적 구도를 얻을 수 있다고 되는 소정의 종횡비에 의한 화상 부분(최적 구도의 화상 부분)이 어디인지를 특정하는 처리를 실행한다. 그리고, 특정한 최적 구도의 화상 부분을 나타내는 정보를, 메타데이터 작성 처리 블록(102)에 대해 출력한다.
메타데이터 작성 처리 블록(102)에서는, 입력된 정보에 의거하여, 대응하는 촬상 화상 데이터로부터 최적 구도를 얻기 위해 필요한 정보로 이루어지는 메타데이터(구도 편집 메타데이터)를 작성하고, 파일 작성 처리 블록(103)에 대해 출력한다. 이 구도 편집 메타데이터의 내용으로서는, 예를 들면, 대응하는 촬상 화상 데이터로서의 화면에 있어서 트리밍하는 화상 영역 부분이 어디인지를 나타낼 수 있는 위치 정보 등이 된다.
이 도면에 도시하는 촬상 장치(100)에서는, 촬상 화상 데이터에 관해, 소정 형식에 의한 정지화상 파일로서 관리되도록 하여 기억 매체에 기록하는 것으로 된다. 이것에 대응하여, 파일 작성 처리 블록(103)은, 촬상 화상 데이터를, 정지화상 파일 형식으로 변환(작성)한다.
파일 작성 처리 블록(103)은, 우선, 입력되는 촬상 화상 데이터에 관해, 화상 파일 형식에 대응한 화상 압축 부호화를 행하고, 촬상 화상 데이터로 이루어지는 파일 본체 부분을 작성한다. 이와 함께, 메타데이터 작성 처리 블록(102)으로부터 입력된 구도 편집 메타데이터를, 소정의 격납 위치에 대해 격납하도록 하여 헤더 및 부가 정보 블록 등의 데이터 부분을 작성한다. 그리고, 이들 파일 본체 부분, 헤더, 부가 정보 블록 등으로부터 정지화상 파일을 작성하고, 이것을 출력한다. 이로써, 도시하는 바와 같이 하여, 기억 매체에 기록하여야 할 정지화상 파일로서는, 촬상 화상 데이터와 함께 메타데이터(구도 편집 메타데이터)가 포함되는 구조를 갖은 것이 얻어지게 된다.
도 24는, 상기 도 23의 장치에 의해 작성된 정지화상 파일에 관해 편집을 행 하는 편집 장치의 구성예를 도시하고 있다.
도면에 도시하는 편집 장치(110)는, 정지화상 파일의 데이터를 받아들여서, 우선 메타데이터 분리 처리 블록(111)에 입력한다. 메타데이터 분리 처리 블록(111)은, 정지화상 파일의 데이터로부터, 파일 본체 부분에 상당하는 촬상 화상 데이터와 메타데이터를 분리한다. 분리하여 얻어진 메타데이터에 관해서는 메타데이터 해석 처리 블록(112)에 대해 출력하고, 촬상 화상 데이터에 관해서는 트리밍 처리 블록(113)에 대해 출력한다.
메타데이터 해석 처리 블록(112)은, 받아들인 메타데이터를 해석하는 처리를 실행하는 부위가 된다. 그리고, 해석 처리로서, 구도 편집 메타데이터에 관해서는, 그 내용인 최적 구도를 얻기 위한 정보로부터, 적어도, 대응하는 촬상 화상 데이터를 대상으로 하여 트리밍을 행하는 화상 영역을 특정한다. 그리고, 이 특정된 화상 영역의 트리밍을 지시하는 트리밍 지시 정보를 트리밍 처리 블록(113)에 대해 출력한다.
트리밍 처리 블록(113)은, 앞의 도 23의 트리밍 처리 블록(91)과 마찬가지로, 메타데이터 분리 처리 블록(111)측으로부터 입력한 촬상 화상 데이터로부터, 상기 메타데이터 분리 처리 블록(112)으로부터 입력되는 트리밍 지시 정보가 나타내는 화상 부분을 잘라내기 위한 화상 처리를 실행하고, 잘라낸 화상 부분을 하나의 독립한 화상 데이터인, 편집 촬상 화상 데이터로서 출력한다.
상기 도 23, 도 24에 도시되는 촬상 장치와 편집 장치로 이루어지는 시스템에 의하면, 예를 들면 촬영 등에 의해 얻은 오리지널의 정지화상 데이터(촬상 화상 데이터)는 그대로 무가공으로 보존하여 두도록 한 다음에, 이 오리지널 정지화상 데이터로부터 메타데이터를 이용하여, 최적 구도가 되는 화상을 잘라낸 편집을 행할 수 있게 된다. 또한, 이와 같은 최적 구도에 대응한 잘라낸 화상 부분의 결정은, 자동적으로 행하여지는 것이고, 유저에게 있어서는, 매우 편집이 간단하게 된다.
또한, 도 24에 도시하는 편집 장치로서의 기능은, 예를 들면 퍼스널 컴퓨터 등에 인스톨되는 화상 데이터 편집을 위한 어플리케이션이거나, 화상 데이터를 관리하는 어플리케이션에 있어서의 화상 편집 기능 등으로 채용하는 것이 고려된다.
도 25는, 비디오 카메라 등으로서의 동화상의 촬영 기록이 가능한 촬상 장치에, 실시의 형태의 구도 판정의 구성을 적용한 예이다.
이 도면에 도시하는 촬상 장치(120)에는, 동화상 데이터가 입력된다. 이 동화상 데이터는, 예를 들면 같은 촬상 장치(120)가 갖는다고 되는 촬상부에 의해 촬상을 행하여 얻어지는 촬상 신호에 의거하여 생성되는 것이다. 이 동화상 데이터는, 촬상 장치(120)에 있어서의 구도 판정 블록(122), 및 파일 작성·기록 처리 블록(124)에 대해 입력된다.
이 경우의 구도 판정 블록(122)은, 앞서 도 4 내지 도 9의 어느 하나에 도시한 구성에 의해, 입력되어 오는 동화상 데이터의 화상에 관해, 현실 피사체만을 대상으로 하는 구도 판정을 행하여 최적 구도를 구한다. 그리고 나서, 또한, 상기 동화상 데이터의 화상의 실제로 구도에 관해, 판정한 최적 구도와의 차를 비교함에 의해, 양부(良否) 판정을 행한다. 예를 들면 후술하는 구도 판정의 구체예와의 대 응으로는, 구도 판정에 의해, 최적 구도에 대응한, 화상 내의 대상 개별 피사체의 점유율(사이즈), 피사체간 거리 등의 파라미터가 구하여진다. 그리고, 상기한 비교에 즈음하여서는, 이들의 최적 구도에 대응하는 파라미터와, 동화상 데이터의 화상에서 실제로 얻어진 파라미터를 비교하면 좋다.
그리고, 이 비교 결과로서 쌍방의 파라미터가 일정 이상의 유사도를 갖고 있으면 양호한 구도라고 판정되고, 상기 유사도가 일정 이하이면, 양호한 구도가 아니라고 판정된다.
구도 판정 블록(122)은, 상기한 바와 같이 하여 동화상 데이터에 관해 양호한 구도를 얻을 수 있다고 판정한 때에는, 메타데이터 작성 처리 블록(123)에 대해, 동화상 데이터에 있어서, 금회, 상기한 양호한 구도를 얻을 수 있다고 판정한 화상 구간(양호 구도 화상 구간)이 어디인지를 나타내는 정보(양호 구도 화상 구간 지시 정보)를 출력한다. 양호 구도 화상 구간 지시 정보는, 예를 들면 동화상 데이터에 있어서의 양호 구도 화상 구간으로서의 시작 위치와 종료 위치를 나타내는 정보 등이 된다.
이 경우의 메타데이터 작성 처리 블록(123)은, 다음에 설명하는 동화상 기록 처리 블록(124)에 의해 기억 매체에 파일로서 기록되는 동화상 데이터에 관한, 각종 소요되는 메타데이터를 생성하는 것으로 된다. 그리고 나서, 상기한 바와 같이 하여 구도 판정 블록(122)으로부터 양호 구도 화상 구간 지시 정보를 입력한 경우에는, 입력된 양호 구도 화상 구간 지시 정보가 나타내는 화상 구간이 양호한 구도인 것을 나타내는 메타데이터를 생성하고, 동화상 기록 처리 블록(124)에 대해 출 력한다.
동화상 기록 처리 블록(124)은, 입력된 동화상 데이터에 관해, 소정 형식에 의한 동화상 파일로서 관리되도록 하여 기억 매체에 기록하기 위한 제어를 실행한다. 그리고, 메타데이터 작성 처리 블록(123)으로부터 메타데이터가 출력되어 온 경우에는, 이 메타데이터가, 동화상 파일에 부수되는 메타데이터에 포함되도록 하여 기록되도록 하기 위한 제어를 실행한다.
이로써, 도시하는 바와 같이 하여, 기억 매체에 기록되는 동화상 파일은, 촬상에 의해 얻어졌다고 하는 동화상 데이터에, 양호한 구도를 얻을 수 있는 화상 구간을 나타내는 메타데이터가 부수된 내용을 갖는 것이 된다.
또한, 상기한 바와 같이 하여 메타데이터에 의해 나타나는, 양호한 구도를 얻을 수 있는 화상 구간은, 어느 정도의 시간폭을 갖는 동화상에 의한 화상 구간으로 되어도 좋고, 동화상 데이터로부터 잘라낸 정지화상에 의한 것으로 되어도 좋다. 또한, 상기한 메타데이터에 대신하여, 양호한 구도가 얻어진 화상 구간의 동화상 데이터 또는 정지화상 데이터를 생성하여, 이것을 동화상 파일에 부수되는 부차적인 화상 데이터(또는 동화상 파일과 독립한 파일)로서 기록하는 구성도 고려된다.
또한, 도 25에 도시되는 바와 같이 하여, 촬상 장치(120)에 대해 구도 판정 블록(122)을 구비하는 구성에서는, 구도 판정 블록(122)에 의해 양호 구도 화상 구간이라고 판정된 동화상의 구간만을 동화상 파일로서 기록하도록 구성하는 것도 고려된다.
나아가서는, 구도 판정 블록(122)에 의해 양호 구도라고 판정된 화상 구간에 대응하는 화상 데이터를, 데이터 인터페이스 등을 경유하여 외부 기기에 출력하는 것 같은 구성도 고려할 수 있다.
또한, 도 23의 촬상 장치(100)에 대응하는 장치로서는, 도 24에 도시한 편집 장치 이외에, 도 26에 도시하는 인쇄 장치(130)를 고려할 수 있다.
이 경우에는, 인쇄 장치(130)가, 인쇄하여야 할 화상으로서, 정지화상 파일을 받아들이는 것으로 되어 있다. 이 정지화상 파일은, 예를 들면 촬상 장치(100)에 의해 생성하여 기록된 것을 포함하고, 도시하는 바와 같이 하여, 정지 화상으로서의 화상 데이터의 실체와, 메타데이터를 갖는 구조를 갖고 있다. 따라서, 이 메타데이터는, 도 23, 도 24에 도시한 정지화상 파일에서의 것과 동의의(同意義)의 내용의 구도 편집 메타데이터를 포함하고 있는 것이다.
이와 같이 하여 받아들인 파일은, 메타데이터 분리 처리 블록(131)이 입력한다. 메타데이터 분리 처리 블록(131)은, 도 24의 메타데이터 분리 처리 블록(111)과 마찬가지로 하여, 정지화상 파일의 데이터로부터, 파일 본체 부분에 상당하는 화상 데이터와, 이에 부수되는 메타데이터를 분리한다. 분리하여 얻어진 메타데이터에 관해서는 메타데이터 해석 처리 블록(132)에 대해 출력하고, 화상 데이터에 관해서는 트리밍 처리 블록(133)에 대해 출력한다.
메타데이터 해석 처리 블록(132)은, 받아들인 메타데이터에 관해, 도 24의 메타데이터 분리 처리 블록(111)과 같은 해석 처리를 실행하고, 트리밍 처리 블록(133)에 대해 트리밍 지시 정보를 출력한다.
트리밍 처리 블록(133)은, 도 24에서의 트리밍 처리 블록(113)과 마찬가지로 하여, 메타데이터 분리 처리 블록(131)으로부터 입력한 화상 데이터로부터, 상기 메타데이터 분리 처리 블록(132)으로부터 입력되는 트리밍 지시 정보가 나타내는 화상 부분을 잘라내기 위한 화상 처리를 실행한다. 그리고, 이 잘라낸 화상 부분으로부터 생성한 인쇄용의 형식의 화상 데이터를, 인쇄용 화상 데이터로서, 인쇄 제어 처리 블록(134)에 출력한다.
인쇄 제어 처리 블록(134)은, 입력된 인쇄용 화상 데이터를 이용하고, 여기서는 도시하지 않은 인쇄 기구를 동작시키기 위한 제어를 실행한다.
이와 같은 동작에 의해, 인쇄 장치(130)에 의해서는, 입력한 화상 데이터의 그림 내용으로부터, 최적 구도를 얻을 수 있다고 하는 화상 부분이 자동적으로 잘라내어지고, 1장의 그림으로서 인쇄되게 된다.
계속해서, 본 실시의 형태의 구도 판정을 적용한 장치, 시스템에 관한 보다 구체적인 구성예에 관해 설명한다. 이 설명에서는, 앞서 도 16, 도 17에 도시한 및 도 18에 의해 설명한 시스템 구성의 디지털 스틸 카메라(1)와 플랫폼(10)으로 이루어지는 촬상 시스템을 예로 드는 것으로 한다.
우선, 도 27에 의해, 디지털 스틸 카메라(1)에 관한 보다 실제적인 내부 구성예를 블록으로서 도시한다.
이 도면에서, 우선, 광학계부(21)는, 예를 들면 줌렌즈, 포커스 렌즈 등도 포함하는 소정 매수의 촬상용의 렌즈 군, 조리개 등을 구비하여 이루어지고, 입사된 광을 촬상광으로서 이미지 센서(22)의 수광면에 결상시킨다.
또한, 광학계부(21)에서는, 상기한 줌렌즈, 포커스 렌즈, 조리개 등을 구동시키기 위한 구동 기구부도 구비되어 있는 것으로 된다. 이들의 구동 기구부는, 예를 들면 제어부(27)가 실행하는 것이 되는 줌(화각) 제어, 자동 초점 조정 제어, 자동 노출 제어 등의 이른바 카메라 제어에 의해 그 동작이 제어된다.
이미지 센서(22)는, 상기 광학계부(21)에 얻어지는 촬상광을 전기 신호에 변환하는, 이른바 광전 변환을 행한다. 이를 위해, 이미지 센서(22)는, 광학계부(21)로부터의 촬상광을 광전 변환 소자의 수광면에 수광하고, 수광된 광의 강도에 응하여 축적되는 신호 전하를, 소정 타이밍에 의해 순차로 출력하도록 된다. 이로써, 촬상광에 대응한 전기 신호(촬상 신호)가 출력된다. 또한, 이미지 센서(22)로서 채용되는 광전 변환 소자(촬상 소자)로서는, 특히 한정되는 것이 아니지만, 현재 상태라면, 예를 들면 CMOS 센서나 CCD(Charge Coupled Device) 등을 들 수 있다. 또한, CMOS 센서를 채용하는 경우에는, 이미지 센서(22)에 상당하는 디바이스(부품)로서, 다음에 기술하는 A/D 컨버터(23)에 상당하는 아날로그-디지털 변환기도 포함하는 구조로 할 수 있다.
상기 이미지 센서(22)로부터 출력되는 촬상 신호는, A/D 컨버터(23)에 입력됨으로써, 디지털 신호로 변환되고, 신호 처리부(24)에 입력된다.
신호 처리부(24)에서는, A/D 컨버터(23)로부터 출력되는 디지털의 촬상 신호에 관해, 예를 들면 하나의 정지 화상(프레임 화상)에 상당하는 단위로 받아들임을 행하고, 이와 같이 하여 받아들인 정지 화상 단위의 촬상 신호에 관해 소요되는 신호 처리를 시행함으로써, 1장의 정지 화상에 상당하는 화상 신호 데이터인 촬상 화 상 데이터(촬상 정지화상 데이터)를 생성할 수 있다.
상기한 바와 같이 하여 신호 처리부(24)에서 생성한 촬상 화상 데이터를 화상 정보로서 기억 매체(기억 매체 장치)인 메모리 카드(40)에 기록시키는 경우에는, 예를 들면 하나의 정지화에 대응하는 촬상 화상 데이터를 신호 처리부(24)로부터 인코드/디코드부(25)에 대해 출력하도록 된다.
인코드/디코드부(25)는, 신호 처리부(24)로부터 출력되어 오는 정지화 단위의 촬상 화상 데이터에 관해, 소정의 정지화 압축 부호화 방식에 의해 압축 부호화를 실행한 다음, 예를 들면 제어부(27)의 제어에 응하여 헤더 등을 부가하여, 소정 형식으로 압축된 촬상 화상 데이터의 형식으로 변환한다. 그리고, 이와 같이 하여 생성한 촬상 화상 데이터를 미디어 컨트롤러(26)에 전송한다. 미디어 컨트롤러(26)는, 제어부(27)의 제어에 따라, 메모리 카드(40)에 대해, 전송되어 오는 촬상 화상 데이터를 기입하여 기록시킨다. 이 경우의 메모리 카드(40)는, 예를 들면 소정 규격에 따른 카드 형식의 외형 형상을 가지며, 내부에는, 플래시 메모리 등의 불휘발성의 반도체 기억 소자를 구비한 구성을 채택하는 기억 매체이다. 또한, 화상 데이터를 기억시키는 기억 매체에 관해서는, 상기 메모리 카드 이외의 종별, 형식 등으로 되어도 좋다.
또한, 본 실시의 형태로서의 신호 처리부(24)는, 앞서의 설명과 같이 하여 취득되는 촬상 화상 데이터를 이용하여, 피사체 검출로서의 화상 처리를 실행하는 것도 가능하게 되어 있다. 본 실시의 형태에 있어서의 피사체 검출 처리가 어떤 것인지에 관해서는 후술한다.
또한, 디지털 스틸 카메라(1)는 신호 처리부(24)에서 얻어지는 촬상 화상 데이터를 이용하여 표시부(33)에 의해 화상 표시를 실행시킴으로써, 현재 촬상중의 화상인 이른바 스루화를 표시시키는 것이 가능하게 된다. 예를 들면 신호 처리부(24)에서는, 앞서의 설명과 같이 하여 A/D 컨버터(23)로부터 출력되는 촬상 신호를 받아들여서 1장의 정지화 상당의 촬상 화상 데이터를 생성하는 것이지만, 이 동작을 계속함으로써, 동화에 있어서의 프레임 화상에 상당하는 촬상 화상 데이터를 순차로 생성하여 간다. 그리고, 이와 같이 하여 순차로 생성되는 촬상 화상 데이터를, 제어부(27)의 제어에 따라 표시 드라이버(32)에 대해 전송한다. 이로써, 스루화의 표시가 행하여진다.
표시 드라이버(32)에서는, 상기한 바와 같이 하여 신호 처리부(24)로부터 입력되어 오는 촬상 화상 데이터에 의거하여 표시부(33)를 구동하기 위한 구동 신호를 생성하고, 표시부(33)에 대해 출력하여 가도록 된다. 이로써, 표시부(33)에서는, 정지화 단위의 촬상 화상 데이터에 의거한 화상이 순차로 표시되어 가게 된다. 이것을 유저가 보면, 그 때에 촬상하고 있게 되는 화상이 표시부(33)에서 동화적으로 표시되게 된다. 즉, 모니터 화상이 표시된다.
또한, 디지털 스틸 카메라(1)는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터를 재생하여, 그 화상을 표시부(33)에 대해 표시시키는 것도 가능하게 된다.
이를 위해서는, 제어부(27)가 촬상 화상 데이터를 지정하여, 미디어 컨트롤러(26)에 대해 메모리 카드(40)로부터의 데이터 판독을 명령한다. 이 명령에 응답 하여, 미디어 컨트롤러(26)는, 지정된 촬상 화상 데이터가 기록되어 있는 메모리 카드(40)상의 어드레스에 액세스하여 데이터 판독을 실행하고, 판독한 데이터를, 인코드/디코드부(25)에 대해 전송한다.
인코드/디코드부(25)는, 예를 들면 제어부(27)의 제어에 따라, 미디어 컨트롤러(26)로부터 전송되어 온 촬상 화상 데이터로부터 압축 정지화 데이터로서의 실체 데이터를 취출하고, 이 압축 정지화 데이터에 관해, 압축 부호화에 대한 복호 처리를 실행하여, 하나의 정지화에 대응하는 촬상 화상 데이터를 얻는다. 그리고, 이 촬상 화상 데이터를 표시 드라이버(32)에 대해 전송한다. 이로써, 표시부(33)에서는, 메모리 카드(40)에 기록되어 있는 촬상 화상 데이터의 화상이 재생 표시되게 된다.
또한 표시부(33)에 대해서는, 상기한 모니터 화상이나 촬상 화상 데이터의 재생 화상 등과 함께, 유저 인터페이스 화상도 표시시킬 수 있다. 이 경우에는, 예를 들면 그 때의 동작 상태 등에 따라 제어부(27)가 필요한 유저 인터페이스 화상으로서의 표시용 화상 데이터를 생성하고, 이것을 표시 드라이버(32)에 대해 출력하도록 된다. 이로써, 표시부(33)에서 유저 인터페이스 화상이 표시되게 된다. 또한, 이 유저 인터페이스 화상은, 예를 들면 특정한 메뉴 화면 등과 같이 모니터 화상이나 촬상 화상 데이터의 재생 화상과는 개별적으로 표시부(33)의 표시 화면에 표시시키는 것도 가능하고, 모니터 화상이나 촬상 화상 데이터의 재생 화상상의 일부에서 중첩·합성되도록 하여 표시시키는 것도 가능하다.
구비하여 이루어지는 것으로, ROM(28), RAM(29) 등과 함께 마이크로 컴퓨터 를 구성한다. ROM(28)에는, 예를 들면 제어부(27)로서의 CPU가 실행하여야 할 프로그램 외에, 디지털 스틸 카메라(1)의 동작에 관련된 각종의 설정 정보 등이 기억된다. RAM(29)은, CPU를 위한 주기억 장치가 된다.
또한, 이 경우의 플래시 메모리(30)는, 예를 들면 유저 조작이나 동작 이력 등에 따라 변경(개서)의 필요성이 있는 각종의 설정 정보 등을 기억시켜 두기 위해 사용하는 불휘발성의 기억 영역으로서 마련되는 것이다. 또한 ROM(28)에 관해, 예를 들면 플래시 메모리 등을 비롯한 불휘발성 메모리를 채용하는 것으로 한 경우에는, 플래시 메모리(30)에 대신하여, 이 ROM(28)에서 일부 기억 영역을 사용하는 것으로 하여도 좋다.
조작부(31)는, 디지털 스틸 카메라(1)에 구비되는 각종 조작자와, 이들의 조작자에 대해 행하여진 조작에 따른 조작 정보 신호를 생성하여 CPU에 출력하는 조작 정보 신호 출력 부위를 일괄하여 나타내고 있다. 제어부(27)는, 조작부(31)로부터 입력되는 조작 정보 신호에 따라 소정의 처리를 실행한다. 이로써 유저 조작에 따른 디지털 스틸 카메라(1)의 동작이 실행되게 된다.
플랫폼 대응 통신부(34)는, 플랫폼(10)측과 디지털 스틸 카메라(1)측과의 사이에서의 소정의 통신 방식에 따른 통신을 실행하는 부위이고, 예를 들면 디지털 스틸 카메라(1)가 플랫폼(10)에 대해 부착된 상태에서, 플랫폼(10)측의 통신부와의 사이에서의 유선 또는 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이것보다 상위가 되는 소정층에 대응하는 통신 처리를 실현하기 위한 구성을 갖고 이루어진다.
도 28은, 플랫폼(10)의 구성예를 블록도에 의해 도시하고 있다.
앞서 기술한 바와 같이, 플랫폼(10)은, 팬·틸트 기구를 구비하는 것이고, 이에 대응하는 부위로서, 팬 기구부(53), 팬용 모터(54), 틸트 기구부(56), 틸트용 모터(57)를 구비한다.
팬 기구부(53)는, 플랫폼(10)에 부착된 디지털 스틸 카메라(1)에 관해, 도 17의 (a)에 도시한 팬(횡)방향의 움직임을 주기 위한 기구를 갖고 구성되고, 이 기구의 움직임은, 팬용 모터(54)가 정역방향으로 회전함에 의해 얻어진다. 마찬가지로 하여, 틸트 기구부(56)는, 플랫폼(10)에 부착된 디지털 스틸 카메라(1)에 관해, 도 17의 (b)에 도시한 틸트(종)방향의 움직임을 주기 위한 기구를 갖고 구성되고, 이 기구의 움직임은, 틸트용 모터(57)가 정역방향으로 회전함에 의해 얻어진다.
제어부(51)는, 예를 들면 CPU, ROM, RAM 등이 조합되어 형성되는 마이크로 컴퓨터를 갖고 이루어지고, 상기 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤한다. 예를 들면 제어부(51)가 팬 기구부(53)의 움직임을 제어할 때에는, 팬 기구부(53)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 팬용 구동부(55)에 대해 출력한다. 팬용 구동부(55)는, 입력되는 제어 신호에 대응한 모터 구동 신호를 생성하여 팬용 모터(54)에 출력한다. 이 모터 구동 신호에 의해 팬용 모터(54)가, 예를 들면 소요되는 회전 방향 및 회전 각도로 회전하고, 이 결과, 팬 기구부(53)도, 이것에 대응한 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.
마찬가지로 하여, 틸트 기구부(56)의 움직임을 제어할 때에는, 제어부(51)는, 틸트 기구부(56)에 필요한 이동량과 이동 방향에 대응한 제어 신호를 틸트용 구동부(58)에 대해 출력한다. 틸트용 구동부(58)는, 입력되는 제어 신호에 대응한 모터 구동 신호를 생성하여 틸트용 모터(57)에 출력한다. 이 모터 구동 신호에 의해 틸트용 모터(57)가, 예를 들면 필요한 회전 방향 및 회전 각도로 회전하고, 이 결과, 틸트 기구부(56)도, 이에 대응한 이동량과 이동 방향에 의해 움직이도록 하여 구동된다.
통신부(52)는, 플랫폼(10)에 부착된 디지털 스틸 카메라(1) 내의 플랫폼 대응 통신부(34)와의 사이에서 소정의 통신 방식에 따른 통신을 실행하는 부위이고, 플랫폼 대응 통신부(34)와 마찬가지로 하여, 상대측 통신부와 유선 또는 무선에 의한 통신 신호의 송수신을 가능하게 하기 위한 물리층 구성과, 이보다 상위가 되는 소정층에 대응하는 통신 처리를 실현하기 위한 구성을 갖고 이루어진다.
여기서, 도 18에 도시한 촬상 시스템의 구성과, 도 27, 도 28에 도시한 디지털 스틸 카메라(1), 플랫폼(10)의 구성과의 대응은, 예를 들면 다음과 같이 된다. 또한, 여기서 기술하는 대응은, 어디까지나 당연하게 생각되는 것의 하나로서 파악되어야 할 것이고, 여기서 기술하는 이외의 대응의 양태도 채택할 수 있는 것이다.
도 18의 디지털 스틸 카메라(1)에서의 촬상 블록(61)은, 예를 들면 도 27에서의 광학계부(21), 이미지 센서(22), A/D 컨버터(23), 및 신호 처리부(24)에서 촬상 화상 데이터를 얻기까지의 신호 처리단(處理段)으로 이루어지는 부위가 대응한다.
도 18의 디지털 스틸 카메라(1)에서의 구도 판정 블록(62)은, 예를 들면 도 27의 신호 처리부(24)에서의 피사체 검출, 정지 검출, 피사체 선별, 마스킹 등을 위시하는 소요되는 처리에 대응하는 화상 신호 처리 기능과, 제어부(CPU)(27)가 실행하는 것이 되는 구도 판정에 관련되는 소요되는 처리 기능이 대응한다.
도 18의 팬·틸트·줌 제어 처리 블록(63)은, 예를 들면 도 27에서의 제어부(27)가 팬·틸트·줌 제어를 위해 실행하는 처리 기능이 대응한다.
도 18의 디지털 스틸 카메라(1)에서의 통신 제어 처리 블록(64)은, 예를 들면 도 27에서의 플랫폼 대응 통신부(34)와, 이 플랫폼 대응 통신부(34)를 이용하는 통신을 위해 제어부(27)가 실행하는 처리 기능이 대응한다.
도 18의 플랫폼(10)에서의 통신 제어 블록(71)은, 예를 들면 도 28에서의 통신부(52)와, 이 통신부를 이용한 통신을 위해 제어부(51)가 실행하는 처리가 대응한다.
도 18의 팬·틸트 제어 처리 블록(72)은, 예를 들면 도 28에서의 제어부(51)가 실행하는 제어 처리중에서, 팬·틸트 제어에 관한 처리의 실행 기능에 대응하는 것으로, 입력되는 제어 신호에 따라 팬 기구부(53), 틸트 기구부(56)의 움직임을 컨트롤하기 위한 신호를 팬용 구동부(55), 틸트용 구동부(58)에 대해 출력한다.
그런데, 앞서 도 14 내지 도 15에 의해 기술하여 온, 본 실시의 형태의 기본적인 구도 판정(구도 판정 블록(200))의 구성에서는, 항상 정지 검출 처리가 일하고 있다. 실시의 형태의 구도 판정의 적용의 방식에 의해서는, 정지 검출 처리를 정상적으로 실행시키는 것에 대해 특히 문제가 없다, 또는, 적극적으로 그 필요성을 갖을 가능성도 있다.
그러나, 예를 들면 여기서 들고 있는 촬상 시스템은, 앞에서도 기술한 바와 같이, 플랫폼(10)의 팬·틸트 기구를 움직이면서 피사체 탐색을 행하고, 피사체가 검출된 것이면 실시의 형태의 구도 판정을 실행하고, 그 판정 결과에 따른 팬·틸트·줌 제어에 의해 구도 맞춤을 행하여 촬상 기록을 한다는 것이다.
그러나, 이 촬상 시스템의 경우, 디지털 스틸 카메라(1)는, 정점(定點)에 놓인 플랫폼(10)의 위에서 패닝, 틸팅, 나아가서는 줌 가변이 행하여짐으로써, 촬상 방향, 촬상 시야각이 변경되게 된다. 따라서, 피사체 탐색이 가능한 범위는, 그 때의 촬상 시스템의 배치에 따라 정해져 오게 된다. 그리고, 이 피사체 탐색 가능 범위에서 포스터의 얼굴 등의 비현실 피사체가 존재하고 있다고 하면, 예를 들면 피사체 탐색에서, 이 비현실 피사체가 개별 피사체로서 검출될 때마다, 정지 검출 처리에 의해 비현실 피사체인 것으로서 제외하는 처리를 실행하게 된다.
이 경우에 있어서, 비현실 피사체는, 촬상 시스템의 주위에서 고정한 위치에서 존재하는 것이고, 이 점에서, 그 위치가 부정(不定)의 존재가 아니다. 이와 같이 위치가 고정임에도 불구하고, 그 비현실 피사체가 검출 개별 피사체로서 검출될 때마다, 정지 검출 처리를 수반하여, 이것을 비현실 피사체로서 제외한 처리를 실행하여야 하는 것은, 효율적이 아니다. 그래서, 본 실시의 형태로서는, 지금까지의 구도 판정에 더하여, 한 번, 비현실 피사체인 것으로서 선별한 것에 관해서는, 이후에 있어서, 재차, 정지 검출 처리를 이용하여서의 비현실 피사체인지의 여부의 판정에 상당하는 처리를 실행하는 일 없이, 대상 개별 피사체로부터 제외할 수 있는 기능(중복 검출 회피 기능)이 주어지도록 구성한다. 이하, 이 점에 관해 설명한다.
도 29는, 상기한 중복 검출 회피 기능이 주어진 구도 판정 블록(62)의 구성예를 도시하고 있다. 또한, 이 도면에 도시하는 구도 판정 블록(62)은, 이후의 설명에서 이해되는 바와 같이, 도 7에 도시한 제 4 예로서의 구성을 기초로 한 다음, 중복 검출 회피 기능을 준 것으로 되어 있다.
도 29의 (a)는, 구도 판정 처리 블록(62)으로서, 정지 검출 처리에 대응한 구성을 잘라내어 도시하고 있다.
정지 검출 처리에 즈음하여서는, 우선, 도 7의 경우와 마찬가지로 하여, 피사체 검출 처리부(201)가 촬상 화상 데이터를 받아들여서 입력하여 피사체 검출 처리를 실행하고, 검출한 개별 피사체마다의 검출 개별 피사체 정보로 이루어지는 검출 피사체 정보를 정지 검출 처리부(202)에 대해 출력한다.
정지 검출 처리부(202)는, 입력한 검출 피사체 정보에 의거하여, 개개의 검출 개별 피사체마다에 관한 정지 검출을 실행하고, 그 검출 결과인 정지 피사체 정보를 얻는다. 그리고, 이 경우에는, 이와 같이 하여 얻은 정지 피사체 정보를, 정지 피사체 정보 보존부(210)에 대해 보존시키다.
또한, 정지 피사체 정보 보존부(210)는, 예를 들면, 제어부(27)와 접속되는 RAM(29)에 설정한 정지 피사체 정보를 보존하기 위한 영역이 된다. 이로써 정지 피사체 정보 보존부(210)에는, 정지 피사체, 즉 비현실 피사체에 관한 검출 개별 피사체 정보가 보존되게 된다.
그리고 나서, 도 29의 (a)에 도시되는 정지 검출 처리부(202)는, 정지 피사체의 검출을 행함에 즈음하여, 그 때에 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체의 검출 개별 피사체 정보와, 피사체 검출부(201)로부터 입력하는 검출 피사체 정보를 이루는 검출 개별 피사체 정보를 비교하여, 피사체 검출부(201)에서 검출된 개별 피사체(검출 개별 피사체 정보)중에서, 이미 정지 피사체 정보 보존부(210)에서 보존되어 있는 것에 관해서는 정지 검출 대상으로부터 제외하고, 정지 피사체 정보 보존부(210)에서 보존되어 있지 않은 피사체만을 대상으로 하여 정지 검출을 실행한다.
이와 같이 하여, 정지 검출 처리부(202)가, 우선, 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체의 검출 개별 피사체 정보를 이용하여 정지 검출 처리를 실행함에 의해, 정지 검출 처리로서는, 지금까지에 있어서 한 번 정지 피사체라고 검출된 검출 개별 피사체에 관해서는 다시 정지 검출을 실행할 필요가 없다. 이와 같이 하여, 중복 검출 회피 기능이 실현되어 있다.
또한, 피사체 검출부(201)에 의한 검출 결과인 검출 개별 피사체 정보와, 정지 피사체 정보 보존부(210)에서 보존되는 검출 개별 피사체 정보에 의해, 올바르게, 피사체 선별 처리가 행하여지기 위해서는, 피사체 검출부(201)가 생성하는 검출 개별 피사체 정보에 포함되는 정보로서, 같은 정지 피사체를 검출할 때마다 얻어지는 검출 개별 피사체 정보에 있어서, 적어도 그 정지 피사체에는 고유이고 불변한 정보가 포함되어 있을 필요가 있다. 이와 같은 정지 피사체에 불변의 정보를 비교 대상으로 하여 일치·불일치를 판정함으로써, 피사체 선별이 가능해지기 때문이다.
이와 같은 비교 대상이 되는 정보로서, 하나에는, 그 정지 피사체의 위치 정 보를 들 수 있다. 단, 실시의 형태로서 들고 있는 촬상 시스템은, 팬·틸트·줌에 의해 화상프레임에 수습된 촬상 시야각이 변화하기 때문에, 여기서의 위치 정보에 관해, 단순히 촬상 화상 내에서의 정지 피사체의 위치를 나타내는 것이라고 하면, 팬·틸트·줌의 위치 상태에 의해 변화하여 버린다. 그래서, 비교 대상이 되는 위치 정보로서는, 그 때에 촬상 시스템이 설치되어 있는 상태에서의, 정지 피사체에 관한 절대적인 위치를 나타낼 수 있는 정보(절대 위치 정보)를 이용한다.
또한, 절대 위치 정보의 구하는 방법의 수법예에 관해서는 후술한다.
도 29의 (b)는, 같은 구도 판정 블록(62)으로서, 피사체 선별을 포함하는 구도 판정 처리에 대응한 구성을 잘라내어 도시하고 있다. 이 구성으로서는, 피사체 검출 처리부(201), 구도 판정 처리부(203), 정지 피사체 정보 보존부(210), 피사체 선별 처리부(211)로 이루어지게 된다. 또한, 이 도면에서는, 설명의 편의상, 구도 판정 블록(62)과 함께 팬·틸트·줌 제어 블록(63)을 나타내고 있다.
여기서의 피사체 검출부(201)는, 도 29의 (a)와 마찬가지의 것이고, 피사체 검출 처리를 실행하여 검출 피사체 정보를 출력한다.
상기 검출 피사체 정보는, 피사체 선별 처리부(211)가 받아 들인다. 피사체 선별 처리부(211)는, 기본적으로는, 도 7의 경우와 마찬가지의 검출 알고리즘에 의해 피사체 선별의 처리를 실행한다. 단, 이 경우의 피사체 선별 처리부(211)는, 선별 처리에 즈음하여, 정지 검출 처리부(202)에 의한 검출 결과(정지 피사체의 검출 개별 피사체 정보)를 직접 이용하는 것이 아니라, 정지 피사체 정보 보존부(210)에서 보존되어 있는 정지 피사체의 검출 개별 피사체 정보를 하기와 같이 이용한다.
이 도 29의 (b)에서의 정지 피사체 정보 보존부(210)는, 도 29의 (a)에 도시한 것과 동일하다. 따라서, 정지 피사체 정보 보존부(210)에는, 지금까지의 정지 검출 처리부(202)의 정지 검출 처리에 의해 검출된 정지 피사체의 검출 개별 피사체 정보가 보존되어 있는 것이 된다.
그래서, 피사체 선별 처리부(211)는, 도 7의 경우와 마찬가지의 검출 알고리즘에 의해 피사체 선별의 처리를 실행함에 즈음하여, 정지 피사체의 검출 개별 피사체 정보는, 이 정지 피사체 정보 보존부(210)에 보존되어 있는 것을 받아들여서 이용한다.
예를 들면, 정지 검출 처리부(202)로부터의 정지 피사체의 검출 개별 피사체 정보는, 그 때의 촬상 화상 데이터에서 리얼타임이 되는 타이밍에서 얻어진 정지 피사체에 관한 정보가 된다. 따라서, 정지 검출 처리부(202)로부터의 정지 피사체의 검출 개별 피사체 정보를 직접 이용하여 피사체 선별의 처리를 실행하는 경우에는, 앞에서도 기술한 바와 같이, 한 번, 비현실 피사체인 것으로서 선별한 피사체라도, 예를 들면, 이후에 있어서, 그 피사체가 재차 검출된 때에는, 정지 검출 처리에 의해, 정지 피사체(비현실 피사체)인 것을 검출하는 것으로 되어 버린다.
이에 대해, 정지 피사체 정보 보존부(210)에 보존되는 정지 피사체의 검출 개별 피사체 정보는, 지금까지 정지 피사체인 것으로서 검출된 피사체에 대한 것이 된다. 도 29의 (b)의 피사체 선별 처리부(211)가, 이들의 정지 피사체의 검출 개별 피사체 정보에 의해 피사체 선별 처리를 행함에 의해서는, 현시점에 대응하기까지의 타이밍에 있어서, 정지 피사체라고 검출된 것에 관해서는 전부 비현실 피사체로 서 제외되고, 여기서 남은 것이 현실 피사체로서 선별되는 결과가 된다. 즉, 과거에 있어서 한 번 정지 피사체인 것으로서 검출되는 것을 제외한다는 선별이 행하여지는 것이고, 현재에 있어서 검출되는 피사체중에서, 현실 피사체로 되는 것만이 정확하게 선별된 결과를 얻을 수 있게 된다.
이 도 29의 (b)의 구도 판정 처리부(203)는, 도 7의 경우와 마찬가지로 하여, 피사체 선별 처리부(211)로부터 출력되는, 선별된 개별 피사체마다에 관한 검출 개별 피사체 정보에 의거하여 구도 판정 처리를 실행하고, 그 판정 결과의 정보를 출력한다. 그리고, 팬·틸트·줌 제어 블록(63)은, 도 18과 마찬가지로 하여, 구도 판정 블록(62)(구도 판정 처리부(203))으로부터의 구도 판정 결과의 정보가 나타내는 촬상 화상의 구도가 되는 촬상 시야각을 얻기 위한 팬·틸트·줌 제어(구도 제어)를 실행한다.
또한, 도 29의 구성은, 도 7에 도시한 제 4 예를 기초로 한 것이라고 앞에서 기술하였다. 예를 들면 도 29에서의 정지 검출 처리부(202)와 정지 피사체 정보 보존부(210)로 이루어지는 부위를, 도 7에서의 정지 검출 처리부(202)라고 파악하면, 도 29의 구성은, 도 7에 도시한 제 4 예에 대응한 것이 된다. 또한, 여기서는, 구도 판정 블록(62)으로서, 도 29의 (a)와 도 29의 (b)에서, 정지 검출 처리와, 피사체 선별·구도 판정 처리를 나누어서 나타내고 있지만, 이것은, 구도 판정 블록(62)에서, 정지 검출 처리와, 피사체 선별·구도 판정 처리를, 각각 독립하여 실행시키는 것이 가능한 것을 나타내고 있다. 따라서, 예를 들면 도 29의 (a)와 도 29의 (b)의 구성을 하나로 통합하여 나타낼 수도 있다. 이 경우에는, 도 29의 (b) 의 구성에 있어서, 정지 검출 처리부(202)를 구비하는 것으로 하여, 피사체 검출 처리부(201)로부터의 출력을, 피사체 선별 처리부(211)와 정지 검출 처리부(202)에 대해 분기하여 입력시킨다. 또한, 정지 검출 처리부(202)가 정지 피사체 정보 보존부(210)에 액세스하여 정지 피사체 정보(정지 피사체의 개별 피사체 정보)의 판독, 기록을 할 수 있도록 하여 접속한다.
도 30의 플로우 차트는, 도 29의 (a)에 도시한 구성에 의해 실행되는 정지 검출 처리의 순서예를 도시한 것이다.
우선, 피사체 검출 처리부(201)가, 스텝 S701에 의해 촬상 화상 데이터를 받아들이고, 스텝 S702에 의해 피사체 검출 처리를 실행한다.
또한, 여기서는, 피사체 검출 처리부(201)는, 상기 스텝 S702에 의한 검출 처리의 결과로서, 적어도 하나의 개별 피사체가 검출되었는지의 여부에 관한 판별을 행하는 것으로 하고 있고, 여기서 개별 피사체가 하나도 검출되지 않았다고 하여 부정의 판별 결과가 얻어진 것이면, 스텝 S701로 되돌아옴으로써, 촬상 화상 데이터의 받아들임과 피사체 검출 처리를 반복하도록 된다.
스텝 S703에서 피사체가 검출되었다고 하여 긍정의 판별 결과가 얻어진 것이면, 스텝 S704로 진행한다.
스텝 S704 이후의 순서는, 정지 검출 처리부(202)에 의한 것이 된다. 스텝 S704에서는, 최후의 스텝 S702에 의해 검출된 개별 피사체에 붙어야 할 번호를 나타내는 변수(n)에 관해, 1을 대입하는 초기화를 행한다. 또한, 변수(n)의 최대치는, 최후의 스텝 S702에 의해 검출된 개별 피사체 수(검출 개별 피사체 정보 수)가 된다.
스텝 S705에서는, n번째의 개별 피사체(검출 개별 피사체)를 검출 처리 대상으로 하여 선택하는 설정 처리를 행하는 다음, 스텝 S706에 의해, 정지 피사체 정보 보존부(210)에서 보존되어 있는 정지 피사체의 검출 개별 피사체 정보를 판독한다. 그리고, 스텝 S707에 의해, n번째의 개별 피사체의 검출 개별 피사체 정보와 일치하는 피사체를 나타내는 검출 개별 피사체 정보가, 상기 스텝 S706에 의해 판독한 정지 피사체의 검출 개별 피사체 정보중에 존재하는지의 여부에 관해 판별한다.
우선, 스텝 S707에서, 부정의 판별 결과가 얻어진 경우에는, 이 n번째의 개별 피사체는, 적어도, 현재까지에 있어서, 정지 피사체인 것으로서 검출된 것이 아니라고 하게 된다. 이 단계에서는, n번째의 개별 피사체는, 정지 피사체(비현실 피사체)인 것인지, 또는 현실 피사체인 것인지에 관해서의 특정은 되어 있지 않다. 그래서, 이 경우에는 스텝 S708에 의해, 정지 검출 처리부(202)가, 피사체 검출 처리부(201)로부터 출력되는 이 n번째의 피사체에 대응하는 검출 개별 피사체 정보에 의거하여, 이 n번째의 개별 피사체를 대상으로 하는 정지 검출 처리를 실행한다.
스텝 S708에서는, 상기 스텝 S708의 검출 결과로서, 정지 상태라는 검출 결과가 얻어졌는지의 여부에 관해 판별한다. 여기서, 부정의 판별 결과가 얻어진 경우에는, n번째의 개별 피사체는, 정지 피사체가 아니라 현실 피사체인 것이 되는데, 이 경우에는, 스텝 S710을 스킵하여 스텝 S711로 진행한다.
이에 대해, 스텝 S709에서 긍정의 판별 결과가 얻어진 경우에는, n번째의 피 사체는, 처음으로 정지 피사체인 것으로서 검출되게 된다. 그래서, 이 경우에는 스텝 S710에 의해, 이 n번째의 개별 피사체의 검출 개별 피사체 정보를, 정지 피사체 정보 보존부(210)에 대해 기록하여 보존시킨다. 이로써, 정지 피사체 정보 보존부(210)에 대해, 신규로, 하나의 정지 피사체가 등록되게 된다.
또한, 스텝 S707에서 긍정의 판별 결과가 얻어진 경우에는, n번째의 개별 피사체는, 이미 정지 피사체 정보 보존부(210)에 등록되어 있는 정지 피사체인 것이 된다. 그래서, 이 경우에는, 스텝 S708 내지 S710의 순서를 스킵하여 스텝 S711로 진행한다.
스텝 S711에서는, 현재의 변수(n)에 관해 최대치 이상인지의 여부에 관해 판별하고, 부정의 판별 결과가 얻어진 것이면, 스텝 S712에 의해 변수(n)에 관해 잉크리먼트하고 스텝 S705로 되돌아옴으로써, 다음 개별 피사체(검출 개별 피사체)를 정지 검출 대상으로 하는 처리를 반복한다.
그리고, 모든 검출 개별 피사체를 대상으로 하는 정지 검출 처리를 실행하였다고 하여, 스텝 S711에서 긍정의 판별 결과가 얻어졌다고 되면, 스텝 S701로 되돌아온다.
도 31의 플로우 차트는, 도 29의 (b)에 도시한 구성에 의해 실행되는 정지 검출 처리의 순서예를 도시한 것이다.
이 도면에서는, 우선, 피사체 검출 처리부(201)가, 스텝 S801 내지 S803에 의해, 도 30의 스텝 S701, S802, S803과 마찬가지로 하여, 촬상 화상 데이터의 받아들임, 피사체 검출 처리, 및 개별 피사체의 검출의 유무를 판별한다.
스텝 S803에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S801로 되돌아와야 하게 되지만, 이 경우의 피사체 검출 처리부(201)로서는, 스텝 S811에 의해, 피사체 탐색을 위한 팬·틸트·줌 제어를 지시한 다음, 스텝 S801로 되돌아오도록 된다. 즉, 이 경우의 스텝 S801 내지 S804의 순서는, 피사체 탐색으로서 피사체 검출을 실행하게 된다.
이 피사체 탐색의 결과로서, 스텝 S803에서 적어도 하나의 개별 피사체가 검출됨으로서 긍정의 판별 결과가 얻어진 것이면, 스텝 S804 이후의 순서로 진행한다.
스텝 S804, S805는, 예를 들면 피사체 선별 처리부(211)가 실행하는 처리가 된다.
스텝 S804에서는, 정지 피사체 정보 보존부(210)로부터 정지 피사체 정보의 판독을 행하고, 스텝 S805에 의해, 상기한 정지 피사체 정보를 이루는 정지 피사체마다의 검출 개별 피사체 정보와, 피사체 검출 처리부(201)로부터의 검출 피사체 정보를 이루는 검출 개별 피사체 정보를 이용하여, 피사체 선별 처리를 실행한다. 앞서 도 29의 (b)에서 기술한 바와 같이, 여기서 실행되는 피사체 선별 처리에 의해서는, 피사체 검출 처리부(201)에 의해 검출된 개별 피사체중에서, 지금까지에 있어서 정지 피사체인 것으로서 검출된 것은 전부 제외되게 된다.
스텝 S806은, 예를 들면 구도 판정 처리부(203)가 실행한다.
스텝 S806에서는, 금회, 피사체 검출 처리부(201)에 의해 검출된 개별 피사체중에서, 대상 개별 피사체, 즉 현실 피사체가 남아 있는지의 여부에 관해 판별한 다. 구도 판정 처리부(203)는, 상기 스텝 S805의 선별 처리에 의해 선별된 검출 개별 피사체의 검출 개별 피사체 정보의 받아들임을 행하는데, 그 결과로서, 유효한 검출 개별 피사체 정보가 하나도 존재하지 않는 경우에는, 대상 개별 피사체(현실 피사체)는 남아 있지 않다고 하게 된다. 이에 대해, 유효한 검출 개별 피사체 정보가 존재하고 있는 것이면, 대상 개별 피사체는 남아 있는 것이 된다. 여기서, 대상 개별 피사체가 남아 있지 않다고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S811에 의해 피사체 탐색을 지시한 다음, 스텝 S801로 되돌아온다. 이에 대해, 스텝 S806에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S807로 진행한다.
스텝 S807은, 구도 판정 처리부(203)가, 피사체 선별 처리부(211)로부터 받아들인 대상 개별 피사체의 검출 개별 피사체 정보에 의거하여 구도 판정 처리를 실행하고, 그 판정 결과의 정보를 팬·틸트·줌 제어 블록(63)에 송신한다.
스텝 S808은, 팬·틸트·줌 제어 블록(63)에서의 처리가 된다. 즉, 팬·틸트·줌 제어 블록(63)은, 구도 판정 결과에 따른 촬상 시야각을 얻을 수 있도록 하기 위한, 즉 구도 맞춤을 위한 팬·틸트·줌 제어를 실행한다.
상기 스텝 S808의 구도 맞춤의 처리가 시작되고 이후에서는, 스텝 S809에 의해, 실제로 그 때의 촬상 화상 데이터의 화상으로서 얻어진 구도가, 스텝 S807에 의해 판정한 구도와 마찬가지로 간주되는 상태(예를 들면 일정 이상의 근사도가 되는 상태)로 되었는지의 여부(구도가 OK인지의 여부)를 판별한 것으로 한다. 또한, 이 판별은, 예를 들면 구도 판정 처리부(203)에서, 구도 판정 결과를 출력한 후에 얻어지는 대상 개별 피사체의 검출 개별 피사체 정보의 위치 정보의 변화 등을 검 출함으로써 실현할 수 있다.
여기서, 예를 들면 어떠한 원인으로, 필요한 만큼의 팬·틸트·줌의 이동, 구동을 행하게 하였다고 하여도 구도가 OK로는 되지 않은 경우에는, 스텝 S809에서 부정의 판별 결과가 출력된다. 이 경우에는, 스텝 S811을 경유한 다음 스텝 S801로 되돌아옴으로써, 피사체 탐색을 재개시키는 것으로 한다.
이에 대해, 스텝 S809에서 구도가 OK로 되었다는 판별 결과가 얻어진 경우에는, 스텝 S810에 의해, 릴리스 동작, 즉, 그 때에 얻어진 촬상 화상 데이터를 정지 화상으로서 기록하는 동작의 실행을 지시한다. 이 릴리스 지시의 처리도, 예를 들면 여기서는, 구도 판정 처리부(203)가 실행하는 것으로서 파악하면 좋다.
그런데, 본 실시의 형태의 촬상 시스템은, 예를 들면 사용중에 있어서, 유저가, 플랫폼(10)과 함께 디지털 스틸 카메라(1)를 움직여서 지금까지와는 다른 위치 상태에서 다시 배치할 가능성이 있다.
또한, 상기한 바와 같이 하여 정지 검출 처리 및 피사체 판별 처리에, 정지 피사체 정보 보존부(210)에 보존하고 있는 정지 피사체 정보(정지 피사체의 검출 개별 피사체 정보)를 이용하는 구성에서는, 개별 피사체 정보에 있어서의 위치 정보는, 그 때의 디지털 스틸 카메라(1)의 배치 위치를 기본으로 하는 절대 위치 정보라고 하였다.
그러면, 상기한 바와 같이 하여, 디지털 스틸 카메라(1)(및 플랫폼(10))의 위치가 움직인 단계에서, 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체 정보(정지 피사체의 개별 피사체 정보)가 갖고 있는 절대 위치 정보는 잘못한 것이 되어 버리기 때문에, 이후에 있어서, 이 절대 위치 정보를 이용하는 것은 피하여야 한다. 이를 위해서는, 예를 들면 유저가, 디지털 스틸 카메라(1)(및 플랫폼(10))를 움직여서 다시 배치한 후, 예를 들면 디지털 스틸 카메라(1)에 대한 소정 조작에 의해, 정지 피사체 정보 보존부(210)에 지금까지 보존시키고 있던 정지 피사체 정보를 클리어(소거)시키고, 새롭게, 정지 검출을 수반하는 정지 피사체 정보 보존부(210)에의 정지 피사체의 등록 처리를 처음부터 실행시키도록 하는 것이 생각된다.
그리고, 이 사고방식을 더욱 추진하면, 디지털 스틸 카메라(1)(및 플랫폼(10))가 움직인 것에 따른 정지 피사체 정보 보존부(210)의 정지 피사체 정보의 클리어가 자동 실행되도록 하여, 그를 위한 조작을 불필요하게 하면, 유저에게의 편리가 도모되게 된다.
도 32는, 정지 피사체 정보 보존부(210)의 정지 피사체 정보를 자동적으로 클리어하기 위한 구성을 도시하고 있다. 이 도면에서는, 지금까지의 설명의 흐름을 고려하여, 정지 피사체 정보의 자동 클리어의 구성을, 도 29에 도시한 구성을 기초로 한 구도 판정 블록(62)에 대해 부가한 예를 나타내고 있다. 이 도면에서 도 29의 (b)와 동일 부분에는 동일 부호를 붙이고 설명을 생략한다. 또한, 이 경우의 정지 검출에 관한 구성은, 도 29의 (a)와 동일하다면 좋다.
도 32에서는, 도 29의 구성에 대해, 클리어 제어부(212), 및 가속도 센서(213)가 구비된다. 가속도 센서(213)는, 예를 들면 실제에 있어서는 디지털 스틸 카메라(1)에서의 소정 위치에 고정하여 부착되고, 자신에게 생기는 가속도, 즉 디 지털 스틸 카메라(1) 자체에 가해지는 힘에 의한 움직임을 검출한다. 클리어 제어부(212)는, 팬·틸트·줌 제어 블록(63)으로부터 출력되는 팬·틸트 제어 신호와, 가속도 센서(213)에서 검출된 가속도치에 의거하여, 정지 피사체 정보 보존부(210)에 보존하고 있는 정지 피사체 정보를 클리어하는 처리를 실행한다.
도 33의 플로우 차트는, 상기 도 32에 도시한 클리어 제어부(212)가 실행한게 되는 처리 순서예를 도시하고 있다.
클리어 제어부(212)는, 우선, 스텝 S901에 의해 가속도 센서(213)로부터 출력되고 있는 검출 신호의 받아들임을 실행하고, 스텝 S902에서, 받아들인 검출 신호가 나타내는 가속도치가, 소정의 임계치 이상인지의 여부를 판별한다. 이 스텝 S902에서 설정되는 임계치는, 예를 들면 디지털 스틸 카메라(1)를 사람이 가지고 움직였다고 할 때에 가속도 센서(213)에 의해 검출되는 일반적, 평균적인 가속도치를 기초로 하여 설정된다. 즉, 스텝 S901에서는, 그 때의 디지털 스틸 카메라(1)의 상태로서, 사람이 가지고 움직였다고 하는 경우에 대응하는 정도의 움직임을 하고 있는지의 여부를 판별하는 것이다.
스텝 S902에서 부정의 판별 결과가 얻어진 경우에는, 디지털 스틸 카메라(1)는, 팬·틸트 방향의 이동에 따른 움직임도 포함하여, 움직임이 없는 상태에 있는 것으로서 볼 수 있다. 그래서, 이 경우에는, 스텝 S901로 되돌아온다. 이에 대해, 스텝 S902에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S903 이후의 순서를 실행한다.
스텝 S903에서는, 팬·틸트·줌 제어 블록(63)으로부터 팬·틸트 제어 신호 를 받아들이는 처리를 실행하고, 다음의 스텝 S904에 의해, 현재에 있어서 팬·틸트 구동, 즉, 플랫폼(10)에 의한 팬 방향 및/또는 틸트 방향에 대한 이동이 행하여지고 있는지의 여부에 관한 판별을 행한다. 예를 들면, 스텝 S903에 의해 유효한 팬·틸트 제어 신호를 받아들일 수 없었던 경우에는, 그 때에 팬·틸트·줌 제어 블록(63)은, 팬·틸트 제어를 행하지 않고, 따라서 이에 따른 플랫폼(10)에 의한 디지털 스틸 카메라(1)의 이동도 행하여지고 있지 않는 것으로 되기 때문에, 스텝 S904에서는 부정의 판별 결과가 얻어진다. 이에 대해, 스텝 S903에 의해 유효한 팬·틸트 제어 신호가 받아들여진 것이면, 이에 따른 플랫폼(10)에 의한 디지털 스틸 카메라(1)의 이동이 실행중인 것이 되고, 긍정의 판별 결과가 얻어진다.
스텝 S904에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S905, S906을 스킵하여 스텝 S907로 진행하지만, 긍정의 판별 결과가 얻어진 것이면, 스텝 S905, S906의 순서를 실행한다.
스텝 S905에 달한 단계에서는, 플랫폼(10)에 의해 디지털 스틸 카메라(1)의 패닝, 틸팅이 실행중인 것은 알고 있지만, 이 패닝, 틸팅이 실행중의 상태에 있어서, 또한, 디지털 스틸 카메라(1)(및 플랫폼(10))가 인위적으로 움직이는 상태에 있는지의 여부는 알 수 없다. 그래서, 스텝 S905, S906에서는, 이 점에 관한 판별을 행한다.
이를 위해, 스텝 S905에서는, 기대(期待) 가속도치를 산출한다. 이 기대 가속도치는, 디지털 스틸 카메라(1)를 고정한 플랫폼(10)이 인위적으로 움직이지 않고 정위치에 정지한 상태하에서 현재의 패닝·틸팅을 실행하고 있을 때에 얻어지는 것으로서 추정, 기대되는 가속도치인 것을 말한다. 이 기대 가속도치는, 예를 들면 스텝 S903에서 받아들인 팬·틸트 제어 신호가 나타내는 이동량과, 패닝·틸팅의 이동 속도를 파라미터로 하여 소정의 함수를 이용한 연산을 실행함으로써 얻는 것이 가능하다. 팬·틸트 제어 신호가 나타내는 이동량과, 패닝·틸팅의 이동 속도에 대응하여, 가속도 센서(123)에서 검출된 가속도치는 거의 정해지는 것으로 볼 수 있다. 또한, 패닝·틸팅의 이동 속도는, 플랫폼(10)에서 채용되는 팬 기구부, 틸트 기구부의 구조이거나, 각 기구부의 모터를 구동하는 전압, 전류 등에 의해 일의적으로 구할 수 있다.
스텝 S906에서는, 상기 스텝 S905에 의해 산출한 기대 가속도치와, 앞서의 스텝 S901에서 받아들인 검출 신호가 나타내는 실제의 가속도치를 비교하여, 양자의 차가 일정 이상인지의 여부에 관해 판별한다. 또한, 기대 가속도치와 실제의 가속도치와의 차를 구한 것이 아니라, 기대 가속도치와 실제의 가속도치와의 비율을 구하고, 이 비율이 일정 이상인지의 여부를 판별하도록 하여도 좋다.
스텝 S906에서 부정의 판별 결과가 얻어진 경우에는, 플랫폼(10)은 인위적으로 움직여지지 않고 정지하여 놓인 상태에서, 패닝·틸팅의 동작을 실행중인 것이 된다. 이 경우에는, 그대로 스텝 S901로 되돌아온다. 이에 대해 스텝 S906에서 긍정의 판별 결과가 얻어진 경우에는, 플랫폼(10)은 패닝·틸팅의 동작을 실행중이고, 또한, 플랫폼(10)과 이것에 고정되어 있는 디지털 스틸 카메라(1)가 인위적으로 움직이는 상태인 것이 된다. 이 경우에는, 스텝 S907로 진행한다. 이와 같이 하여, 본 실시의 형태에서는, 패닝·틸팅의 동작이 실행 중이라도, 정확하게, 플랫 폼(10)과 이것에 고정되어 있는 디지털 스틸 카메라(1) 자체가, 플랫폼(10)의 팬·틸트 기구(가동 기구부) 이외의 힘에 의해 움직이는 상태인 것을 검지할 수 있게 되어 있다.
지금까지의 설명에서 알 수 있는 바와 같이, 스텝 S907에 이르는 경우란, 플랫폼(10)이 팬닝·틸팅의 동작을 실행하고 있는지의 여부에 관계없이, 플랫폼(10)과 이에 고정되어 있는 디지털 스틸 카메라(1)가 인위적으로 움직이는 상태인 때가 된다. 그리고, 스텝 S907에서는, 정지 피사체 정보 보존부(210)에서 보존되어 있는 정지 피사체 정보를 클리어(소거)하기 위한 처리를 실행한다.
또한, 상기한 설명에서는, 디지털 스틸 카메라(1) 및 플랫폼(10)으로 이루어지는 실시의 형태의 촬상 시스템에서 필요성이 있는 것을 전제로 하여 기술하였다. 그러나, 이 정지 피사체 정보 보존부(210)에 보존되는 정지 피사체 정보를 자동적으로 클리어한 구성은, 실시의 형태의 촬상 시스템 이외의 장치, 시스템에서 필요에 따라 적용되어도 좋은 것이다.
또한, 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체 정보를 기초로 하여 피사체 선별 처리부(211)가 피사체 선별을 행하도록 구성한 경우에는, 구도 판정 블록(62)으로서, 상기 도 29의 (및 도 32)에 도시한 것 이외에, 도 34에 도시하는 구성을 채택하는 것도 가능해진다.
또한, 도 34에서, 도 29와 동일 부분에는 동일 부호를 붙이고 중복되는 설명에 관해서는 생략한다. 또한, 정지 피사체 정보 보존부(210)의 정지 피사체 정보를 자동적으로 클리어하는 구성은, 여기서는 생략하고 있지만, 이 구성에 관해서는, 도 32 및 도 33에 의해 설명한 구성을 적용하면 좋다.
도 34에서는, 정지 검출 처리부(202)를, 피사체 선별 처리부(211)와 구도 판정 처리부(203)의 사이에 삽입한 구성으로 한다. 또한, 정지 검출 처리부(202)는 정지 피사체 정보 보존부(210)에 액세스할 수 있도록 되어 있다. 그리고 나서, 이 경우의 정지 검출 처리부(202)는, 다음의 설명에서 이해되는 바와 같이 하여, 피사체 선별 처리로서도 볼 수 있는 정지 검출 처리를 행한다.
도 35의 플로우 차트는, 도 34에 도시한 구성의 구도 판정 처리 블록(62)(및 팬·틸트·줌 제어 블록(63))에 의해 실행되는 처리의 순서예를 도시하고 있다.
우선 스텝 S1001, 스텝 S1002에 의해서는, 도 31의 스텝 S801, S802와 마찬가지로 하여, 피사체 검출 처리부(201)가 촬상 화상 데이터를 받아들여서 피사체 검출 처리를 실행한다.
다음의 스텝 S1003 내지 S1005는, 피사체 선별 처리부(211)가 실행한다.
피사체 선별 처리부(211)는, 스텝 S1003에 의해, 정지 피사체 정보 보존부(210)에서 현재 보존되어 있는 정지 피사체 정보의 판독을 행한다. 계속해서, 스텝 S1004에 의해, 피사체 검출 처리부(201)로부터 받아들인 검출 피사체 정보를 형성하는 검출 개별 피사체 정보와, 판독한 정지 피사체 정보를 형성하는 개별 피사체 정보를 이용하여, 도 31의 스텝 S805와 마찬가지의 피사체 선별 처리를 실행한다.
또한, 이 경우의 피사체 선별 처리부(203)는, 스텝 S1005에 의해, 자신의 피사체 선별 처리 결과로서, 선별된 개별 피사체가 남아 있는지의 여부에 관한 판별 을 행하는 것으로 한다. 여기서 부정의 판별 결과가 얻어진 경우에는, 스텝 S1018에 의해 피사체 탐색을 위한 팬·틸트·줌 제어를 지시하고, 스텝 S1001로 되돌아온다. 또한, 이 스텝 S1018의 피사체 탐색의 지시도, 여기서는 피사체 선별 처리부(211)가 실행하는 것으로 하여 구성하면 좋다.
이에 대해 스텝 S1005에서 긍정의 판별 결과가 얻어진 것이면, 스텝 S1006 이후의 순서로 진행한다.
또한, 이 경우에 있어서, 스텝 S1004의 피사체 선별 처리를 위해, 피사체 선별 처리부(211)가 피사체 검출 처리부(201)로부터 받아들인 검출 피사체 정보는, 예를 들면 피사체 검출 처리부(201)가 실행한 최후의 피사체 선별 처리에 의해 얻어진 것이 된다. 이에 대해, 이 때에 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체 정보는, 상기 최후의 피사체 선별 처리보다 전의 타이밍에서 실행된 최후의 정지 검출 처리와, 이것보다 이전에 행하여진 정지 검출 처리에 의해 얻어진 것으로 되어 있다. 이와 같은 피사체 선별 처리와, 정지 검출 처리 사이에서의 처리 타이밍의 어긋남은, 이후의 설명에서 알 수 있는 바와 같이, 이 경우의 정지 검출 처리부(202)는, 피사체 선별 처리부(211)의 피사체 선별 처리 결과로서 얻어지는, 선별된 검출 개별 피사체 정보를 대상으로 정지 피사체 검출을 행함에 의해 생기는 것으로 된다.
따라서, 이 경우의 피사체 선별 처리부(211)가 피사체 선별 처리에 의해 선별한 개별 피사체에는, 금회의 피사체 선별 처리를 위해 받아들인 검출 개별 피사체 정보를 얻기 위한 피사체 검출 처리보다도 전의 타이밍에서 행하여진 정지 검출 처리에 의해 검출된(정지 피사체 정보 보존부(210)에 등록된) 정지 피사체에 관해서는 제외되어 있지만, 최후의 피사체 검출 처리의 대상이 된 촬상 화상 데이터에 비로서 나타난 것으로서, 아직 정지 피사체 정보 보존부(210)에는 미등록의 비현실 피사체는, 제외되는 일 없이 선별되어 남아 있을 가능성이 있다.
그래서, 다음에 기술하는 바와 같이 하여, 정지 피사체 정보 보존부(210)는, 정지 피사체의 검출과, 이에 따른 정지 피사체 정보 보존부(210)에의 등록 처리를 실행함과 함께, 정지 피사체의 검출 결과를 이용하여, 피사체 검출 처리부(211)를 경유하기까지의 단계에서는 제외되지 않고 남아 있는 비현실 피사체를, 이 단계에서 다시 제외한다.
여기서의 정지 검출 처리부(202)가 실행하는 것이 되는 처리는, 스텝 S1006 내지 S1012가 된다.
우선, 스텝 S1006에서는, 피사체 선별 처리부(211)에서 선별된 개별 피사체(현실 피사체의 후보)에 붙이는 번호를 나타내는 변수(n)에 관해, 1을 대입하는 초기화를 행한다.
다음에, 스텝 S1007에서는, n번째의 개별 피사체에 관해 정지 검출 처리를 실행한다. 이 때의 정지 검출 처리는, 예를 들면 소정의 검출 기간 내에서, 피사체 선별 처리부(211)로부터 받아들인 n번째의 개별 피사체에 관한 검출 개별 피사체 정보의 변화(예를 들면 절대 위치 정보의 변화)를 검출하고, 그 변화량에 의거하여, n번째의 개별 피사체는 정지 피사체인지의 여부의 판정을 행하도록 하여 실행된다.
스텝 S1008에서는, 상기 스텝 S1007에 의한 정지 검출 처리의 결과로서, n번째의 개별 피사체가 정지 피사체로서 검출되었는지의 여부를 판별한 것으로 한다.
스텝 S1008에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1009로 진행하여, n번째의 개별 피사체에 대응하는 검출 개별 피사체 정보를 정지 피사체 정보 보존부에 대해 등록한 다음 스텝 S1011로 진행한다. 이에 대해, 부정의 판별 결과가 얻어진 것이면, 스텝 S1010로 진행하여, n번째의 개별 피사체를, 후단의 구도 판정 처리의 대상인 대상 개별 피사체로서 설정하고, 스텝 S1011로 진행한다.
스텝 S1011에서는, 현재의 변수(n)에 관해 최대치 이상인지의 여부에 관한 판별을 행하고, 부정의 판별 결과가 얻어지고 있는 한은, 아직도 정지 검출 처리의 대상이 되는 개별 피사체가 남아 있다고 하여, 스텝 S1012에 의해 변수(n)에 관해 잉크리먼트한 다음, 스텝 S1007로 되돌아온다.
이에 대해, 스텝 S1011에서 긍정의 판별 결과가 얻어진 경우에는, 정지 검출 처리의 대상이 되는 개별 피사체의 전부에 관한 정지 검출 처리를 완료한 것이 되기 때문에, 스텝 S1013 이후의 순서로 진행한다.
스텝 S1013은, 예를 들면 구도 판정 처리부(203)가 실행하는 것으로 볼 수 있다.
스텝 S1011에서 긍정의 판별 결과가 얻어진 단계에서는, 스텝 S1010까지의 순서가 실행되어 있음에 의해, 대상 개별 피사체로서 설정된 개별 피사체에 관한 검출 개별 피사체 정보가, 구도 판정 처리부(203)에 받아들인 상태에 있다. 그래서, 스텝 S1013에서는, 구도 판정 처리부(203)는, 검출 개별 피사체 정보의 받아들 임 상황으로부터, 대상 개별 피사체가 존재하는지의 여부에 관해 판별한다. 이 때에 구도 판정 처리부(203)가, 대상 개별 피사체로서 유효한 검출 개별 피사체 정보를, 하나도 받아들이지 않는다면, 스텝 S1003에서는 부정의 판별 결과가 얻어지고, 하나라도 받아들이고 있으면, 긍정의 판별 결과가 얻어진다.
스텝 S1013에서 부정의 판별 결과가 얻어진 경우에는, 구도 판정 처리를 실행할 필요성은 없다. 그래서, 이 경우에는, 스텝 S1018에 의해 피사체 탐색을 지시한 다음, 스텝 S1001로 되돌아온다. 이 때의 스텝 S1018은, 예를 들면 구도 판정 처리부(203)가 실행하는 것으로 보면 좋다.
이에 대해, 스텝 S1013에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1014 이후의 순서를 실행한다.
스텝 S1014 내지 S1017은, 도 31에서의 스텝 S807 내지 S810과 마찬가지로 된다. 즉, 구도 판정 처리부(203)는, 대상 개별 피사체의 검출 개별 피사체 정보에 의거하여 구도 판정 처리를 실행하고, 이 판정 결과에 따라 팬·틸트·줌 제어 블록(63)에 의해, 구도 맞춤을 위한 팬·틸트·줌 제어를 실행시킨다. 그리고, 이 팬·틸트·줌 제어에 의해 촬상 시야각이 변화된 결과, 구도가 OK라고 판정된 것이면, 릴리스 동작을 지시하여, 그 때의 촬상 화상 데이터로부터 정지화상 데이터를 취출하여 기록시킨다.
그런데, 앞서 기술한 바와 같이, 본 실시의 형태에서는, 피사체 정보 보존부(210)로 보존되어 있는 정지 피사체 정보를 이용하여 피사체 선별 처리를 적정하게 실행할 수 있도록 하기 위해, 검출 개별 피사체 정보에 있어서, 그 개별 피사체 의 위치를 나타내는 위치 정보로서는, 절대 위치 정보인 것으로 하였다. 그래서, 여기서는, 이 절대 위치 정보를 구하기 위한 수법예에 관해 설명해 가기로 한다.
도 36의 (a)는, 플랫폼(10)과, 이것에 부착되어 있는 디지털 스틸 카메라(1)를 평면으로 보고 있다. 또한, 이 도면에서는, 디지털 스틸 카메라(1)는, 플랫폼(10)의 팬 기구부(53)에 의한 팬 방향(횡방향)에서의 가동 범위 내에서, 기준으로서 설정한 위치(기준 위치 : 예를 들면 가동 범위에 있어서의 중간 위치)에 있는 것으로 된다. 기준선(L)은, 디지털 스틸 카메라(1)가 이 팬 방향에 있어서의 기준 위치에 있다고 한 경우에 있어서, 그 렌즈부(3)(광학계부(21))의 광축(촬상 광축)과 일치, 평행하게 되는 선이다. 또한, 여기서는, 설정하고 있는 화각(줌 각)을, 화각 중앙(angC), 화각 좌단(angL), 화각 우단(angR)에 의해 표현하고 있다. 또한, 화각 중앙(angC)은, 디지털 스틸 카메라(1)의 촬상 광축과 일치하는 것이고, 화각 중앙(angC)으로부터 화각 좌단(angL)까지의 각도의 크기와, 화각 중앙(angC)으로부터 화각 우단(angR)까지의 각도의 크기는 같게 된다.
또한, 여기서 설정되어 있는 화각은, 피사체 탐색 동작의 실행시에 설정되는 화각이라고 한다. 피사체 탐색시에는, 가능한 한 효율적으로 피사체가 탐색(검출)될 수 있도록 하는 것을 배려하여, 넓은 것으로서 볼 수 있는 소정의 화각으로 설정된다.
또한, 이 디지털 스틸 카메라(1) 및 플랫폼(10)이 설치되어 있는 주위에서, 도시하는 바와 같이, 디지털 스틸 카메라(1)에 대해, 지면(紙面)상에서 오른쪽 앞쪽이 되는 방향의 위치에 하나의 피사체(SBJs)가 존재하고 있는 것으로 한다.
예를 들면, 여기서 피사체 탐색을 위해, 디지털 스틸 카메라(1)를, 팬 방향에서, 상기 도 36의 (a)에 도시하는 위치 상태로부터, 도면의 지면상에서 시계 회전 방향으로 회전시키도록 하여 움직이고 있다고 한다. 그러면, 어떤 때에 도 36의 (b)에 도시하는 바와 같이 하여, 피사체(SBJs)가 화각 우단(angR)에 대응하는 화각 내의 한계 위치에 비로서 수습된 상태를 얻을 수 있게 된다. 이 때의 팬 각도, 즉, 기준선(L)으로부터 촬상 광축(화각 중앙(angC))과의 사이의 각도는, αleft°에 의해 표시하고 있다. 또한, 이 때에 실제로 얻어진다고 되는 촬상 화상에서는, 피사체(SBJs)는, 화상프레임 내에서의 가장 오른쪽에 근접하여 있는 상태가 된다.
또한, 도 36의 (b)의 상태로부터, 더욱 도면의 지면상에서 우(시계 방향)로 디지털 스틸 카메라(1)를 회전시키도록 하여 움직여 갔다고 하면, 어느 때에, 도 36의 (ｃ)에 도시하는 바와 같이 하여, 피사체(SBJs)는, 화각 좌단(angL)에 대응하는 화각 내의 한계 위치에 있는 상태에서 촬상되는 상태에 이른 것이 된다. 이 때의 팬 각도는 αright°에 의해 표시되어 있다. 또한, 이 때의 촬상 화상에서는, 피사체(SBJs)는, 화상프레임 내에서의 가장 왼쪽에 근접하여 있는 상태가 된다.
피사체 탐색시에서는 상기한 바와 같은 상황이 당연히 생기는 것에 의거하여, 절대 위치 정보를 구하기 위한 수법의 하나로서는, 다음과 같은 것을 생각할 수 있다.
예를 들면, 상기 도 36의 (a)으로부터 도 36의 (b)에의 천이로 도시하는 바와 같이 하여, 처음으로 촬상 화상의 화상프레임 내에 피사체(SBJs)가 나타나고 이것이 피사체로서 검출된 타이밍에서 정지 검출을 실행하고, 그 정지 검출 결과에 의거하여, 이 피사체(SBJs)가 정지 피사체인지의 여부를 판정하도록 한다. 여기서는, 피사체(SBJs)는 비현실 피사체인 것으로 하고 있기 때문에, 정지 피사체인 것으로서 판정되게 된다. 이와 같이 하여 정지 피사체라고 판정한 것이면, 이 피사체(SBJs)에 관한 검출 개별 피사체 정보로서, 화상프레임 내에 피사체(SBJs)가 처음으로 나타난 때의 팬 각도(αleft)를 포함하도록 된다. 그리고, 이 검출 개별 피사체 정보를, 정지 피사체 정보 보존부(210)에 등록하도록 된다. 그리고, 예를 들면 피사체 선별 처리에서는, 정지 피사체 정보에서 나타나는 팬 각도가 얻어진 때에, 처음으로 화상프레임 내에 들어 와서 검출된 개별 피사체에 관해서는, 선별 대상으로부터 제외한다는 처리를 실행시킨다. 또한, 이 피사체 선별 처리를 피사체 탐색시에서만 실행시키는 것으로 하면, 팬 각도도 피사체 탐색시의 화각하에서 얻어진 것이기 때문에, 피사체 선별은 적정하게 행하여진다.
이와 같이 하여, 상기한 처리에서는, 정지 피사체로서 검출되는 개별 피사체가 처음으로 촬상 화상의 화상프레임 내에 수습되게 되는 팬 각도(팬 위치)를, 절대 위치 정보로서 취급하도록 된다.
또한, 상기한 피사체 선별 처리에서는, 그 때의 팬 각도를 인식할 필요가 있지만, 이에 관해서는, 예를 들면 플랫폼(10)으로부터 팬 위치에 상당하는 정보를 수취하도록 하면 좋다. 팬 위치(팬 회전 각도)의 정보로서는, 예를 들면 팬용 모터(57)가 스테핑 모터라면, 구동 펄스 신호의 입력 수에 의거하여 얻을 수 있다. 또한, 스테핑 모터 이외라도, 구동 신호가 주어진 시간, 모터에 부가한 센서 등으로부터의 정보, 모터의 피드백 제어에 의해 얻어지는 정보 등을 이용하여 얻을 수 있다.
또한, 피사체 선별 처리시에 있어서, 예를 들면 피사체(SBJs)에 관한 절대 위치 정보로서의 팬 각도를 구한 때와 다른 화각이 설정되어 있는 상황이라 하여도, 그 때에 실제로 설정되어 있는 화각과, 절대 위치 정보의 팬 각도를 구한 때의 화각과의 비에 의거하여, 그 때에 피사체(SBJs)가 처음으로 화각에 나타나는 팬 각도를 구할 수 있다. 절대 위치 정보의 팬 각도를 구한 때의 화각에 관해서는, 예를 들면, 절대 위치 정보의 팬 각도를 구하는 처리가 피사체 탐색시에 있어서만 행하여지지 않는 것이면, 피사체 탐색시에 설정되는 소정의 화각을 이용하면 좋다. 또한, 절대 위치 정보의 팬 각도를 구하는 처리가, 피사체 탐색시 이외에도 행하여지는, 또는 피사체 탐색시에 있어서도 화각이 변경될 가능성이 있으면, 절대 위치 정보로서 팬 각도와 함께, 그 때의 화각 정보도 포함하도록 하면 좋다.
또한, 예를 들면, 팬 각도(αright°)보다도 큰 팬 각도의 상태로부터, 도면의 지면에서의 반시계 방향으로 디지털 스틸 카메라(1)를 회전 이동시켜 가면, 도 36의 (ｃ)의 상태가 되어, 촬상 화상의 화상프레임 내의 가장 왼쪽에 피사체(SBJs)가 나타나는 것이 된다. 이것에 대응하여서는, 정지 피사체(SBJs)의 절대 위치 정보는, 팬 각도(αright°)로 하는 것이 된다.
또한, 절대 위치 정보로서는, 다음과 같은 것도 생각할 수 있다.
상기 도 36에 의하면, 피사체(SBJs)는, 팬 각도(αleft°내지 αright°)까지의 팬 위치의 범위에서 촬상되고, 촬상 화상의 화상프레임 내에서 예를 들면 완전히 보이는 일 없이 수습되어 있는 것이 된다.
그래서, 이 피사체(SBJs)의 절대 위치 정보로서, 상기한 팬 각도(αleft°, αright°)와 같은 점으로서의 정보가 아니라, 팬 각도(αleft°내지 αright°)까지의 각도 범위를 나타내는 정보로 하는 것이 고려된다.
그리고, 상기 도 36에 의해 설명한 절대 위치 정보는, 마찬가지로, 틸트 방향에 대응하여서도 갖도록 된다. 즉, 상기 도 36에 준하여, 틸트 각도(틸트 위치)를 마찬가지로 구한다. 이와 같이 하여, 실제에 있어서는, 절대 위치 정보로서 팬 각도의 정보와 틸트 각도의 정보(팬·틸트 위치 정보)를 얻도록 된다.
단, 경우에 따라서는, 팬 방향과 틸트 방향의 어느 한쪽만이 가변이 되는 플랫폼(10)의 구성을 생각할 수도 있지만, 이 경우에는, 가변이 되는 방향에 따라, 팬 각도와 틸트 각도의 어느 하나를 절대 위치 정보로 하면 좋다. 이 점에 관해서는, 다음에 설명하는 절대 위치 정보에 관해서도 마찬가지이다.
또한, 절대치 정보에 관해서는, 다음과 같이 하여 구할 수도 있다. 도 37의 (a)는, 디지털 스틸 카메라(1)가, 기준선(L)에 대해 시계회전의 방향으로 팬 각도(αx°)만큼 회전한 위치에 있고, 또한, 수평 화각 내에서 피사체(SBJs)가 촬상되어 있는 상태가 도시되어 있다. 이 경우에 있어서, 수평 화각은 θx°에 의해 나타내고 있고, 또한, 피사체(SBJs)는, 중심 화각(angC)으로부터 반시계회전 방향으로 각도(βx°)만큼 회전한 각도에 대응하는 선상에, 그 수평 방향에서 중심(中心) 위치(중심(重心))가 대응하도록 하여 위치하고 있다.
또한, 도 37의 (a)에 의하면, 피사체(SBJs)는, 기준선(L)을 기준으로 하면, 여기서 시계회전 방향으로 각도(γx°)만큼 회전한 위치에 대응하는 선상에, 그 수 평 방향에서의 중심 위치(중심)가 대응하도록 하여 위치하고 있다고 할 수 있다.
여기서, 기준선(L)은, 그 때의 플랫폼(10)의 배치의 상태에 따라 정해지는 절대적인 것이 된다. 따라서 상기한 각도(γx°)에 의해 나타나는 피사체(SBJs)의 위치는, 기준선(L)을 기초로 하는 절대적인 것이 된다. 즉, 절대 위치 정보로서 취급할 수 있다. 또한, 이후, 이 각도(γx°)와 같이 하여, 피사체의 절대적 위치를 나타낼 수 있는 각도에 관해서는, 절대 위치 대응 각도라고 말하기로 한다. 또한, 각도(βx°)에 관해서는, 그 때의 팬 각도(αx°)하에서, 중심 화각(angC)을 기초로 하여 정해지는 피사체(SBJs)의 위치를 나타내는 것이기 때문에, 상대 위치 대응 각도라고 말하기로 한다.
그리고, 절대 위치 대응 각도는, 하기와 같이 하여 구할 수 있다.
도 37의 (b)는, 상기 도 37의 (a)에 도시한 위치 상태의 디지털 스틸 카메라(1)에 의해 촬상하여 얻어지는 촬상 화상을 도시하고 있다.
여기서, 촬상 화상의 화상프레임(300)에서의 수평 화상프레임 사이즈(예를 들면 화소 수에 의해 표현할 수 있다)를 Cx로 하고, 이 수평 화상프레임 사이즈에 있어서의 중점을 통과하는 수직선을 M으로 하여, 이 수직선(M)을 촬상 화상의 화상프레임에 있어서의 수평 방향의 기준(X축 좌표의 기준 : X=0)으로 한다. 수평 방향에 따른 X축 좌표로서는, 수직선(M)보다 오른쪽 영역이 정(正)이 되고, 왼쪽의 영역이 부(負)가 된다. 그리고, 촬상 화상의 화상프레임(300) 내에서 존재하는 피사체(SBJs)에 관한, 수평 방향에서의 좌표치는 X=a으로서 나타내고 있다. 또한, 도 37의 (b)의 경우의 X좌표치(a)는, 부(負)의 수가 된다.
여기서, 도 37의 (b)에서의 피사체(SBJs)의 중심(重心)까지의 X좌표의 좌표치(a)와 수평 화상프레임 사이즈(Cx)의 관계(비)는, 도 37의 (a)에서의 상대 위치 대응 각도(βx°)와 수평 화각(θx°)과의 관계(비)에 상당한다.
따라서, 상대 위치 각도(βx°)는,
βx°=(a/Cx)*θx … (식 1)에 의해 표시된다.
또한, 도 37의 (b)에 의하면, 팬 각도(αx°), 상대 위치 대응 각도(βx°), 및 절대 위치 대응 각도(γx°)의 관계는,
αx°=γx°-βx°… (식 2)으로 표시된다.
따라서, 절대 위치 대응 각도(γ°)로서는, 하기와 같이 하여 구할 수 있다.
γx°=(a/Cx)*θx°+αx°… (식 3)
즉, 절대 위치 대응 각도(γ°)는, 수평 화상프레임 사이즈(Cx), 촬상 화상의 화상프레임 내에서의 피사체(SBJs)의 X좌표치(a), 수평 화각(θx°), 및 팬 각도(αx°)의 파라미터에 의해 구하여지게 된다.
여기서, 상기 파라미터중, 수평 화상프레임 사이즈(Cx)는 이미 알고 있고, 촬상 화상의 화상프레임 내에서의 피사체(SBJs)의 X좌표치(β)는, 촬상 화상 내에서 검출되는 피사체에 관한 수평 방향에서의 위치 정보와 다름없기 때문에, 본 실시의 형태의 피사체 검출 처리에 의해 얻을 수 있다. 또한, 수평 화각(θx°)의 정보는, 화각(줌)제어의 정보에 의거하여 얻을 수 있다. 보다 구체적으로는, 예를 들면 광학계부(21)가 구비하는 줌렌즈의 줌 배율 1배로 설정하고 있을 때의 표준 화각의 정보를 보존하여 둔 다음, 줌 제어에 응하여 얻어지는 줌 위치와, 상기 표준 화각을 이용하여 구할 수 있다. 또한, 팬 각도(αx°)에 관해서도 팬 제어의 정보로서 얻을 수 있다.
이와 같이 하여, 본 실시의 형태의 촬상 시스템에서는, 절대 위치 대응 각도(γx°)에 관해, 특히 지장없이 간단하게 구할 수 있다.
또한, 이와 같은 절대 위치 대응 각도는, 화상프레임(300)의 단(端)에 대응한 한계 위치 부근이 아니라, 화상프레임(300)에서 보다 내측의 영역에서 피사체를 검출하고 있을 때에도, 상기한 파라미터만 취득할 수 있다면 정확하게 구할 수 있다. 따라서, 움직임이 있는 현실 피사체에 관해서도, 순서대로, 추적하도록 하여, 그 절대 위치 대응 각도를 구하여 가는 것이 가능하다.
그리고, 예를 들면 실제의 피사체 탐색시에는, 검출 개별 피사체중에서, 정지 피사체인 것이 검출되면, 이 검출된 정지 피사체를, 상기 도 37의 피사체(SBJs)로서 취급하여, 상기한 수평 화상프레임 사이즈(Cx), 촬상 화상의 화상프레임 내에서의 피사체(SBJs)의 X좌표치인 a, 수평 화각(θx°), 및 팬 각도(αx°)의 파라미터로부터, 이 정지 피사체에 관한 절대 위치 대응 각도(γx°)를 구하도록 하면 좋다.
또한, 실제에 있어서는, 마찬가지로 하여, 수직 방향에서의 절대 위치 대응 각도(γy°)도 구하게 된다. 확인을 위해, 수직 방향에서의 절대 위치 대응 각도(γy°)는, 수직 화상프레임 사이즈(Cy), 촬상 화상의 화상프레임 내에서의 피사체(SBJs)의 Y좌표치(b)(수직 화상프레임 사이즈(Cy)의 중점을 Y=0로 한다), 수직 화각(θy°), 및 틸트 각도(αy°)의 파라미터에 의해,
γy°=(b/Cy)*θy°+αy°… (식 4)에 의해 구할 수 있다.
계속해서, 상기한 바와 같이 하여 얻어지는 절대 위치 정보를 이용한 피사체 선별 처리를 위한 구성예에 관해, 도 38을 참조하여 설명한다. 또한, 확인을 위해 기술하여 두면, 이 처리는, 앞에서 든, 도 29, 도 32, 도 34의 어느 구도 판정 블록(62)에도 적용할 수 있다. 또한, 여기서의 설명에서는, 도 38에 의해 설명한, 절대 위치 대응 각도로서의 절대 위치 정보를 채용하는 경우를 받아들이는 것으로 한다.
도 38에 도시하는 피사체 선별 처리부(211)는, 피사체 위치 산출부(221)와 선별 처리부(222)로 이루어지는 것으로 한다. 또한, 도 29, 도 32, 도 34와의 대응으로는, 예를 들면 피사체 선별 처리부(211)에 관해서는 피사체 검출 처리부(201)에 포함되고, 선별 처리부(222)에 관해서는 피사체 선별 처리부(211)에 포함되는 것으로서 볼 수 있다.
피사체 검출 처리부(221)에서는, 촬상 화상 데이터를 대상으로 하는 피사체 검출 처리에 의해, 우선, 검출 개별 피사체마다의 검출 개별 피사체 정보에 있어서의 위치 정보(검출 개별 피사체 위치 정보)로서, 촬상 화상 내에서의 위치 정보(촬상 화상 내 위치 정보)를 취득하게 된다. 이 촬상 화상 내 위치 정보는, 촬상 화상으로서의 화상프레임 내에서의 X좌표치, Y좌표치에 의해 표현된다. 따라서, 예를 들면 촬상 화상 내 위치 정보는, 검출 개별 피사체(1 내지 n)에 대응하여, (X1, Y1) (X2, Y2) … (Xn, Yn)과 같이하여 얻어지게 된다.
피사체 위치 산출부(221)는, 검출 개별 피사체마다의 위치 정보로서, 상기한 촬상 화상 내 위치 정보를 받아들인 것으로 한다.
또한, 피사체 위치 산출부(221)는, 그 때의 팬 각도(αx°), 틸트 각도(αy°)의 정보와, 화각 정보로서 수평 화각(θx), 수직 화각(θy)의 정보를 받아들인다. 이들의 정보는, 도 38에서의 설명과 같이 하여 얻을 수 있다.
그리고, 피사체 위치 산출부(221)는, 이들의 정보(파라미터)를 이용하여, 검출 개별 피사체마다의 절대 위치 정보로서, 도 38에서 설명한 바와 같이 하여 수평(팬)방향에 있어서의 절대 위치 대응 각도(수평 절대 위치 대응 각도(γx°))와, 수직(틸트)방향에 있어서의 절대 위치 대응 각도(수직 절대 위치 대응 각도(γy°))를 연산에 의해 구하는 처리를 실행한다.
이와 같이 하여 구하여진 검출 개별 피사체마다의 절대 위치 정보(수평·수직 절대 위치 대응 각도)는 피사체 선별 처리부(211)에 있다고 하는 선별 처리부(222)에 대해 건네진다.
선별 처리부(222)는, 정지 피사체 정보 보존부(210)에 보존되어 있는 정지 피사체 정보로서, 이 정지 피사체 정보를 형성하는 정지 피사체마다의 개별 피사체 정보중에서, 위치 정보(정지 피사체 위치 정보)를 받아 들인다.
여기서, 상기 정지 피사체 위치 정보의 각각은, 화각 내에 있어서의 X, Y좌표에 의해 표현된 것이 아니라, 절대치 위치 정보(수평·수직 절대 위치 대응 각도)에 의해 표현되는 것으로 된다.
이를 위한 구조는, 예를 들면 다음과 같이 된다. 즉, 도 29의 (a)에 도시되는 정지 검출의 구성을 예로 채택하면, 피사체 검출 처리부(201)에서는, 정지 검출 처리부(202)에 건네주어야 할 검출 개별 피사체 정보 위치 정보로서, 상기 피사체 위치 산출부(221)에 의해 산출한 절대 위치 정보(수평·수직 절대 위치 대응 각도)를 포함하도록 된다. 그리고, 정지 검출 처리부(202)는, 검출한 정지 피사체마다의 개별 피사체 정보를 정지 피사체 정보 보존부(210)에 보존시킴에 즈음하여, 그 개별 피사체 정보에, 상기한 절대치 위치 정보를 포함하도록 된다. 이로써, 도 38의 선별 처리부(222)는, 정지 피사체 정보 보존부(210)로부터, 정지 피사체로서 등록되어 있는 피사체마다의 위치 정보로서, 절대치 위치 정보를 받아들일 수 있다.
선별 처리부(222)는, 상기한 바와 같이 하여, 정지 피사체 정보 보존부(210)에 보존되어 있는 m개의 정지 피사체마다의 정지 피사체 위치 정보로서, 절대 위치 정보인 수평·수직 절대 위치 대응 각도(γx°1, γy°1) (γx°2, γy°2) … (γx°m, γy°m)와, 피사체 위치 산출부(221)로부터 건네받는, 촬상 화상 데이터로부터 검출된 검출 개별 피사체마다의 절대 위치 정보인 수평·수직 절대 위치 대응 각도를 비교한다. 그리고, 이 비교 결과로서, 정지 피사체와 같다고 간주되는 절대 위치 정보를 갖는 검출 개별 피사체는, 대상으로서 제외하고, 정지 피사체와는 다르다고 간주되는 절대 위치 정보를 갖는 검출 개별 피사체를, 대상 개별 피사체로서 선별한다. 그리고, 이와 같이 하여 선별한 대상 개별 피사체 위치 정보를, 구도 판정 처리부(203)에 건네준다. 또한, 여기서 구도 판정 처리부(203)에 건네주어야 할 위치 정보는, 절대 위치 정보가 되어도 좋지만, 화상프레임 내에서의 구도 판정에 이용되는 것이기 때문에, 촬상 화상 내 위치 정보인 것이 구도 판정 처리에서는 취급하기 쉽기 때문에 바람직하다. 이 도면에 도시되는 구성과의 대응이라면, 선별 처리부(222)가 예를 들면 피사체 위치 산출부(221)로부터 촬상 화상 내 위치 정보를 수취하도록 하면, 구도 판정 처리부(203)에 촬상 화상 내 위치 정보를 건네줄 수 있다.
또한, 여기서 피사체 선별 처리의 변형예로서, 피사체 검출 처리에 의해, 예를 들면 얼굴의 특징 등을 검출함에 의해, 피사체마다의 개별 인식(개인 인식, 개체 인식)이 가능하게 되는 경우의 구성예를 도 39에 도시한다. 또한, 이 도면에 도시하는 구성은, 예를 들면 피사체 선별 처리부(211)가 구비하는 것으로서 볼 수 있다.
이 경우의 피사체 검출 처리부(201)는, 상기한 바와 같이 하여 피사체 검출 처리로서, 검출 개별 피사체마다의 화상의 특징을 검출하는 등에 의해 개별 인식을 행하도록 되어 있다. 이와 같은 개별 인식을 위한 기술은, 여기서는 특히 한정되어야 할 것이 아니고, 예를 들면 지금까지 알려져 있는 것을 채용하면 좋다.
이와 같은 피사체 검출 처리에 의해 얻어지는 검출 개별 피사체 정보로서는, 예를 들면 지금까지 설명한 위치 정보를 비롯한 정보 외에, 개별 인식을 가능하게 하기 위한 속성 정보(예를 들면 그 개별 피사체의 화상적 특징을 나타내는 정보)를 포함하게 된다.
그래서, 도 39에서의 선별 처리부(223)는, 피사체 검출 처리부(211)로부터, 검출 개별 피사체마다의 검출 개별 피사체 정보로서, 상기한 검출 개별 피사체마다의 속성 정보(검출 개별 피사체 속성 정보)를 받아 들인다.
또한, 이 경우에 있어서, 정지 피사체 정보 보존부(210)가 보존하는 정지 피 사체마다의 개별 피사체 정보에도, 상기한 속성 정보가 포함되도록 하는 구조를 주어 두는 것으로 한다. 이 구조는, 예를 들면 도 38에서 설명한, 정지 피사체마다의 개별 피사체 정보에, 절대 위치 정보를 포함하기 위한 구성에 준하면 좋다.
선별 처리부(223)는, 검출 개별 피사체 속성 정보와 함께, 정지 피사체 정보 보존부(210)로부터, 정지 피사체마다의 개별 피사체 정보에 포함되는 속성 정보(정지 피사체 속성 정보)를 받아 들인다.
그리고, 선별 처리부(223)는, 상기 검출 개별 피사체가 갖는 속성 정보와, 정지 피사체 속성 정보를 비교하여, 정지 피사체 속성 정보와 일치한다고 간주되는 검출 개별 피사체를 제외하고, 정지 피사체 속성 정보와 일치하지 않는다고 간주되는 검출 개별 피사체를 선별한다. 그리고 선별 결과로서, 선별된 검출 개별 피사체에 대응하는 검출 개별 피사체 속성 정보를, 위치 정보 변환부(224)에 대해 출력한다.
여기서, 검출 개별 피사체 속성 정보에는, 같은 검출 개별 피사체 정보에서 포함되는 위치 정보와 대응시키는 태그, ID의 기능을 갖는 정보(대응 데이터)를 포함시키고 있다고 한다.
위치 정보 변환부(224)는, 선별 처리부(223)로부터 출력되는 검출 개별 피사체 속성 정보와, 모든 검출 개별 피사체의 검출 개별 피사체 위치 정보를 받아 들인다. 그리고, 받아들인 검출 개별 피사체 위치 정보중에서, 선별 처리부(223)로부터 받아들인 검출 개별 피사체 속성 정보와 대응시켜져 있는 것을 선택한다. 그리고, 선택한 검출 개별 피사체 위치 정보를, 대상 개별 피사체 위치 정보로서, 구도 판정 처리부(203)에 대해 출력한다.
계속해서, 지금까지 기술하여 온 실시의 형태의 촬상 시스템(디지털 스틸 카메라(1), 플랫폼(10))에 의한 구도 판정 처리, 및 구도 맞춤의 제어(구도 제어)에 관한 보다 구체예에 관해, 설명하여 가는 것으로 한다.
또한, 여기서 드는 예는, 어디까지나 한 예이고, 예를 들면 정지 피사체(비현실 피사체)를 제외한 현실 피사체만을 대상으로 하는 한, 구도 제어의 구체예에 관해서는 다양하게 생각할 수 있는 것이다.
우선, 도 40을 참조하여, 피사체 검출 처리부(201)가 실행하게 되는 피사체 검출 처리의 보다 구체적인 예를 들어 둔다. 또한, 여기서는 얼굴 검출을 기준으로 한 피사체 검출을 행하는 것을 전제로 한다.
여기서, 피사체 검출 처리부(201)가, 도 40의 (a)에 도시하는 그림 내용의 촬상 화상 데이터를 받아들였다고 한다. 이 촬상 화상 데이터의 그림 내용으로서는, 사람으로서의 피사체가 하나 존재한 그림을 촬영하여 얻어진 것이다. 또한, 도 40의 (a)(및 도 40의 (b))에는, 1화면을 매트릭스형상으로 구획한 상태를 도시하고 있지만, 이것은, 촬상 화상 데이터로서의 화면이, 소정 수에 의한 수평·수직 화소의 집합으로 이루어지는 것을 모식적으로 나타내고 있다.
도 40의 (a)에 도시하는 그림 내용의 촬상 화상 데이터를 대상으로 피사체 검출(얼굴 검출)을 행함에 의해서는, 도면에서 도시되는 하나의 개별 피사체(SBJ)의 얼굴이 검출되게 된다. 즉, 얼굴 검출 처리에 의해 하나의 얼굴이 검출되는 것으로써, 여기서는 하나의 개별 피사체가 검출되는 것으로 한다. 그리고, 이와 같이 하여 개별 피사체를 검출한 결과로서는, 개별 피사체의 수, 방향, 위치, 사이즈의 정보를 얻도록 된다.
또한, 개별 피사체 수에 관해서는, 예를 들면 얼굴 검출에 의해 검출된 얼굴의 수를 구하면 좋다.
도 40의 (a)의 경우에는, 검출되는 얼굴이 하나이기 때문에, 개별 피사체 수로서도 1이라는 결과가 얻어진다.
또한, 개별 피사체마다의 위치 정보로서는, 앞에서 기술한 바와 같이, 화상프레임 내의 위치 정보, 또한 절대 위치 정보가 되지만, 이들의 위치 정보가 구체적으로 나타내는 것으로서는, 개별 피사체(SBJ)의 중심인 것으로 한다.
예를 들면, 촬상 화상의 화상프레임 내에서의 개별 피사체(SBJ)의 중심(G)으로서는, 앞에서도 기술한 바와 같이, (X,Y)에 의해 표현되게 된다. 또한, 확인을 위해, 이 경우의 중심(G)(X,Y)의 기준이 되는 촬상 화상 데이터의 화면상의 X,Y 원점 좌표(P)(0,0)는, 예를 들면 도 41에 도시하는 바와 같이 하여, 화면 사이즈에 대응한 X축방향(수평 방향)의 폭(수평화 사이즈)(Cx)의 중간점과, Y축방향(수직 방향)의 폭(수직화 사이즈)(Cy)의 중간점의 교점인 것으로 한다.
또한, 이 중심(G)에 관한 개별 피사체의 화상 내에서의 위치의 정의인 것이나, 중심(G)을 어떻게 하여 설정하는지에 관해서는, 예를 들면 지금까지 알려져 있는 피사체 중심 검출 방식을 채용할 수 있다.
또한, 개별 피사체마다의 사이즈에 관해서는, 예를 들면 얼굴 검출 처리에 의해 얼굴 부분이라고 하여 특정, 검출되는 영역의 화소 수를 구하도록 하면 좋다.
또한, 개별 피사체마다의 얼굴 방향에 관해서는, 앞에서도 기술한 바와 같이, 얼굴 검출 처리에 의거하여, 예를 들면 좌, 우의 어느 쪽인지를 검출하게 된다.
또한, 도 40의 (b)에 도시하는 촬상 화상 데이터를 받아들여서 피사체 검출 처리부(201)가 피사체 검출 처리를 실행하였다고 되면, 우선, 얼굴 검출에 의해 2개의 얼굴이 존재하는 것이 특정되게 되기 때문에, 개별 피사체 수에 관해서는 2인 것의 결과가 얻어지게 된다. 여기서는, 2개의 개별 피사체중, 좌측을 개별 피사체(SBJ0), 우측을 개별 피사체(SBJ1)로서 식별성을 주고 있다. 또한, 개별 피사체(SBJ0, SBJ1)마다 구한 중심의 좌표에 관해서는, 각각, G0(X0, Y0), G1(X1, Y1)로서 나타나 있다.
또한, 이와 같이 하여, 2 이상의 개별 피사체가 검출되는 경우에는, 이들 복수의 개별 피사체를 하나의 정리된 피사체(총합 피사체)로서 본 경우의 중심인, 총합 피사체 중심(Gt)(Xg, Yg)을 구하게 된다.
이 총합 피사체 중심(Gt)을 어떻게 하여 설정하는지에 관해서는, 몇가지를 생각할 수 있지만, 여기서는, 가장 간이한 예로서, 검출된 복수의 개별 피사체중에서, 화면의 좌단과 우단의 양단에 위치하는 개별 피사체의 중심을 잇는 선분상의 중간점(中間点)을 총합 피사체 중심(Gt)으로서 설정한 경우를 나타내고 있다. 이 총합 피사체 중심(Gt)은, 예를 들면 후술하는 바와 같이 하여 구도 제어에서 이용할 수 있는 정보이고, 개별 피사체의 중심의 정보가 취득되면 연산에 의해 구해지는 정보이다. 따라서, 총합 피사체 중심(Gt)에 관해서는, 피사체 검출 처리부(201) 에 의해 구하고, 이것을 검출 정보로서 출력하는 것으로 하여도 좋지만, 구도 제어 처리 블록(62)이, 검출 정보로서 취득한 개별 피사체의 중심의 위치를 나타내는 정보중에서, 좌우 양단에 위치하는 개별 피사체의 중심에 관한 정보를 이용하여 구하도록 하여도 좋다.
또한, 그 밖에는 예를 들면, 복수의 개별 피사체의 사이즈에 따라 무게부여 계수를 주고, 이 무게부여 계수를 이용하여, 예를 들면 사이즈가 큰 개별 피사체에 총합 피사체 중심(Gt)의 위치가 가까와지도록 배려한 설정 수법도 생각할 수 있다.
또한, 개별 피사체의 사이즈에 관해서는, 예를 들면 개별 피사체(SBJ0, SBJ1)마다, 그 검출된 얼굴이 점유하게 되는 화소 수를 구한 것으로 하면 좋다.
그리고, 본 실시의 형태로서는, 상기한 바와 같이 하여 검출한 개별 피사체에 관해, 앞서 설명한 바와 같이 하여, 현실 피사체와 비현실 피사체(정지 피사체)와의 사이에서의 선별을 행하고, 현실 피사체로서 선별한 것을, 구도 판정 대상에 맞는 대상 개별 피사체로서 설정한다.
계속해서, 도 42 내지 도 44를 참조하여, 본 실시의 형태에 있어서의 제 1 예로서의 구도 제어에 의해 얻어지는 구도에 관한 설명을 행한다.
확인을 위해, 여기서의 구도 제어란, 구도 판정 처리와, 이 구도 판정 처리에 의해 판정한 최적 구도가 되도록 구도 맞춤을 행하기 위한 제어 처리를 합쳐서 말한다.
도 42에는, 피사체 검출 처리, 피사체 선별 처리의 결과로서, 촬상 화상 데이터의 화상프레임 내에서, 하나의 대상 개별 피사체(SBJs0)의 존재가 검출된 경우 를 도시하고 있다.
또한, 예를 들면 이 도면에 도시되는 화상프레임 내에서는, 실제로는, 비현실 피사체로서 검출된 개별 피사체가 존재하고 있을 가능성이 있지만, 여기서는, 예를 들면 도면을 보기 쉽게 하는 것의 편의 등을 생각하여, 여기서의 비현실 피사체의 도시는 생략하고 있다.
또한, 본 실시의 형태에서는, 디지털 스틸 카메라(1)를 부착한 플랫폼(10)을 통상적으로 설치한 경우에는, 가로가 긴 화상이 촬상되도록 하여 디지털 스틸 카메라(1) 방향이 설정된다. 따라서, 제 1 예나 후술하는 제 2 예의 구도 제어에서는, 촬상에 의해 가로가 긴 화상이 얻어지는 것을 전제로 한다.
상기 도 42에 도시한 바와 같이 하여 하나의 대상 개별 피사체가 검출된 경우에는, 우선, 이 대상 개별 피사체(SBJs0)의 촬상 화상 데이터의 화면 내에서의 점유율이, 최적으로 간주되는 소정치가 되도록 대상 개별 피사체의 사이즈를 변경한다. 예를 들면, 대상 개별 피사체가 검출된 단계에서, 이 대상 개별 피사체의 화면 내에서의 점유율이 상기한 소정치보다 작은 경우, 대상 개별 피사체의 점유율이 소정치까지 커지도록 화각을 좁게 하여 가는 줌 제어를 실행시킨다. 또한, 대상 개별 피사체의 화면 내에서의 점유율이 소정치보다 큰 경우에는, 대상 개별 피사체의 점유율이 소정치까지 작아지도록 화각을 넓게 하여 가는 줌 제어를 실행시킨다. 이와 같은 줌 제어에 의해, 구도로서 우선은, 대상 개별 피사체가 하나인 경우에 있어서의 피사체 사이즈가 적정하게 되도록 된다. 즉, 우선은 구도로서, 피사체의 최적 사이즈를 판정하고, 이 최적 사이즈가 되도록 하여 구도 맞춤을 행하는 것이다.
다음에, 대상 개별 피사체가 하나인 경우에 있어서의 화면상에서의 피사체의 위치(피사체 위치)는, 다음과 같이 하여 조정한다.
구도 판정으로서 이 피사체 위치의 판정에 관해서는, 검출된 얼굴 방향의 정보를 이용한다. 이 도 42의 경우의 대상 개별 피사체(SBJs0)는, 얼굴 방향이 왼쪽인 것으로서 검출되어 있는 것으로 한다. 이 때, 이 도 42에 도시되는 그림 내용의 화면을 실제로 보았다고 한 경우, 이것을 보는 사람으로부터는, 화면에서, 대상 개별 피사체(SBJs0)의 얼굴이 좌측을 향하고 있는 것처럼 보이게 된다. 덧붙여서, 이 대상 개별 피사체(SBJs0)로서의 실제의 인물 자신은, 현실에는, 촬상을 행한 촬상 장치와 상대하는 방향을 정면으로 하여, 이것보다 우측을 향하고 있는 것이 된다.
또한, 이 피사체 위치 조정에서는, 화상중의 원점 좌표(P)(0,0)를 통과하는 수직선, 즉 Y축선과 일치한 직선으로서, 피사체 위치 조정의 기준선이 되는 화상 영역 분할선(Ld)을 가상적으로 설정한다.
그리고, 이 경우와 같이 하여 얼굴 방향이 왼쪽이라고 검출된 경우에는, 대상 개별 피사체(SBJs0)의 중심(G)이, 상기 화상 영역 분할선(Ld)에 대응하는 위치(X=0)로부터, 수평 오프셋량(△x)으로 표시되는 우방향으로의 이동량에 따라 이동시킨 위치(수평 시프트 위치)로 되는 것이 최적 구도라고 판정한다. 그리고, 이 위치에 상기 중심(G)을 배치시키기 위한 구도 맞춤을 행한다. 이를 위해서는, 중심(G)이, 상기 수평 시프트 위치에 오도록 하여, 플랫폼(10)의 팬 기구를 구동시키는 제어를 실행한다.
일반적으로, 피사체를 화면의 중앙에 위치시킨 구도는, 좋지 않은 구도의 전 형(典型)으로 되어 있다. 그래서, 예를 들면 3분할법이든지 황금률법 등으로 대표되도록 하여, 화면 중앙으로부터 어느 규칙에 따라 피사체의 위치를 비켜 놓은 편이, 좋은 구도를 얻을 수 있는 것으로 되어 있다. 본 실시의 형태로서는, 이와 같은 구도 결정의 수법에 따라, 우선은, 화면 수평 방향에서의 개별 피사체(SBJ)의 위치(중심 G)에 관해, 화면 중앙에 대해 일정량(수평 오프셋량(△x))만큼 이동시키도록 하고 있는 것이다.
그리고 나서, 또한, 본 실시의 형태에서는, 도 42에 예시하는 바와 같이, 대상 개별 피사체의 얼굴 방향이 왼쪽이라면, 그 중심(G)의 수평 방향에서의 위치에 관해, Y축선에 따른 화상 영역 분할선(Ld)에 의해 2분할된 좌우의 화상 영역(분할 영역) 중에서, 얼굴 방향이 나타내는「좌」와는 반대측인 「우」측의 화상 영역에 있도록 시킴으로써, 화면에서는, 검출 피사체(SBJ)의 얼굴이 향하고 있는 방향인 좌측에서 공간이 얻어지도록 하고 있다. 이와 같은 구도로 함으로써, 예를 들면, 얼굴 방향이 왼쪽이 되는 대상 개별 피사체(SBJs)의 중심(G)을, 좌우 방향에서의 화면 중앙에 대응시킨(일치시킨) 피사체 위치로 하는 경우나, 화상 영역 분할선(Ld)에 대해 좌방향의 화상 영역으로 하는 것 같은 경우와 비교하여, 보다 양호한 구도를 얻을 수 있다.
본 실시의 형태에 있어서의 수평 오프셋량(△x)으로서의 실치(實値)를 결정하는 알고리즘에 관해서는 다양하게 고려되지만, 여기서는, 3분할법에 의거하여 행하는 것으로 한다. 3분할법은, 가장 기본적인 구도 설정 수법의 하나이고, 사각형의 화면을 수직 방향과 수평 방향의 각각에 따라 삼등분한 가상선상에 피사체를 위 치시킴에 의해 양호한 구도를 얻고자 한 것이다.
예를 들면, 도 42는, 수평 화상프레임 사이즈(Cx)를 삼등분하게 된 화면 종방향에 따른 2개의 가상선중, 우측의 가상 선상에서 중심(G)이 위치하도록 하여, 수평 오프셋량(△x)이 설정되어 있는 것이다. 이로써, 개별 피사체의 얼굴 방향에 따른 수평 방향에서의 피사체 위치로서 최적이 되는 구도의 1개를 얻을 수 있게 되는 것이다.
또한, 도시에 의한 설명은 생략하지만, 하나의 대상 개별 피사체(SBJs)에 관해, 얼굴 방향에 관해 오른쪽인 것이 검출되어 있는 경우에는, 도 42에 도시되는 위치에 대해, 화상 영역 분할선(Ld)을 기준으로 하여 선대칭이 되는 수평 위치에 대상 개별 피사체(SBJs)의 중심(G)이 위치하도록 된다. 즉, 이 경우의 수평 오프셋량(△x)으로서는, 도 42의 경우의 실치의 정/부를 반전한 값이 설정되고, 이 수평 오프셋량(△x)에 의거한 팬 제어가 행하여진다.
또한, 도 43의 (a)와 같이, 2개의 대상 개별 피사체(SBJs0, SBJs1)의 존재가 검출된 경우에는, 구도 제어로서, 우선, 대상 개별 피사체(SBJs0, SBJs1)의 화상 부분의 집합으로 이루어진다고 되는 총합 피사체 화상 부분의 사이즈(예를 들면 화면 전체에 대한 피사체 화상 부분의 점유율로서도 파악할 수 있다)에 관해, 예를 들면 대상 개별 피사체 수가 2인 경우에 대응하여 최적이라고 하여 설정(판정)된 값이 되도록 하여 조정(줌 제어)을 행한다.
또한, 상기한 총합 피사체 화상 부분을 어떻게 정의하여 그 사이즈를 구하는 것인지에 대해서는 몇가지가 고려되지만, 예를 들면, 검출된 복수의 대상 개별 피 사체마다의 화상 부분의 사이즈를 서로 더하도록 하여 구할 수 있다. 또는, 검출된 복수의 개별 피사체가 전부 포함되도록 하여 가상적으로 그린 선에 의해 둘러싸이는 화상 부분의 사이즈로서 구하는 것도 고려된다.
또한, 이들 2개의 대상 개별 피사체(SBJs0, SBJs1)에 관한 수평 방향에 있어서 피사체 위치에 관해서는, 이들 2개의 대상 개별 피사체(SBJs0, SBJs1)마다의 얼굴 방향의 정보를 이용한다.
이 도 43의 (a)에 도시되는 2개의 대상 개별 피사체(SBJs0, SBJs1)의 얼굴 방향은, 어느 것이나 왼쪽이라고 검출되어 있는 것으로 한다. 즉, 2개인 대상 개별 피사체의 모든 얼굴 방향이 동일하게 되어 있고, 이들의 얼굴 방향이 이 경우에는 왼쪽으로 되어 있는 것이다.
이 경우에는, 도 42에 도시한 하나의 대상 개별 피사체(SBJs)의 얼굴 방향이 왼쪽이였던 경우에 준하여, 화면 좌측에 공간이 생기도록, 대상 개별 피사체(SBJs0, SBJs1)로 이루어지는 총합 피사체 화상 부분을, 얼굴 방향이 나타내는 「좌」와는 반대가 되는, 화상 영역 분할선(Ld)의 우측에 가깝게 하여 위치시키도록 한다. 즉, 이 피사체 배치가 최적 구도인 것으로서 이 경우에는 판정되어 있는 것이다. 이를 위해서는, 예를 들면 도시하고 있는 바와 같이, 우측으로 소정량 비켜 놓기 위한 수평 오프셋량(△x)을 설정한 다음, 2개의 대상 개별 피사체(SBJs0, SBJs1)로 이루어지는 총합 피사체 화상 부분의 중심인, 총합 피사체 중심(Gt)에 관해, 화상 영역 분할선(Ld)인 원점 좌표(P)(0,0)를 통과한 수직선(Y축선)으로부터 수평 오프셋량(△x)만 이동한 위치에 오도록, 팬 제어를 행하도록 된다.
또한, 도시는 하고 있지 않지만, 2개의 대상 개별 피사체(SBJs0, SBJs1)의 얼굴 방향이 어느 것이나 오른쪽이고 동일한 경우에는, 도 43의 (a)의 위치에 대해, 화상 영역 분할선(Ld)을 기준으로 하여 선대칭이 되는 위치(Y축선에 대해 좌측의 화면 영역에서 같은 수평 오프셋량(△x)의 절대치만큼 이동한 위치)에 총합 피사체 중심(Gt)이 있는 상태를 최적 구도로서 판정하기 때문에, 이 상태로 되도록 하여 팬 제어를 행하게 된다.
단, 이와 같이 대상 개별 피사체가 복수인 경우에 있어서, 대상 개별 피사체 수가 하나인 경우인 때에 최적이 되는 수평 오프셋량(△x)을 주었다고 하면, 우(또는 좌)로 너무 다가간 인상의 구도로 되기 쉽다. 그래서, 도 43의 (a)에 도시되는 바와 같이 대상 개별 피사체 수가 2인 경우에는, 수평 오프셋량(△x)에 관해서는, 도 42에 도시한 대상 개별 피사체 수가 1인 경우보다도 작은 값(절대치)을 소정 규칙에 의해 설정(판정)하는 것으로 한다.
또한, 도 43의 (b)에는, 2개의 대상 개별 피사체(SBJs0, SBJs1)에 관해 검출된 얼굴 방향이, 각각 좌, 우로 되어 있는 경우의 예를 도시하고 있다. 또한, 이것은, 개별 피사체 수가 2인 경우에 있어서, 각각의 얼굴 방향이 동일하지 않은 경우의 한 예를 나타내고 있다.
이 경우의 수평 방향에 있어서의 총합 피사체 화상 부분의 위치에 관해서는, 도시하는 바와 같이 하여, 2개의 대상 개별 피사체(SBJs0, SBJs1)의 총합 피사체 중심(Gt)이, 화상 영역 분할선(Ld)상에 위치하는 상태가 최적 구도라고 판정하고, 이 상태가 되도록 하여 조정(팬 제어)을 행한다.
이로써 얻어지는 구도에서는, 2개의 대상 개별 피사체(SBJs0, SBJs1)로 이루어지는 총합 피사체 화상 부분은, 수평 방향에서 화면의 거의 중앙에 위치하게 된다. 그러나, 피사체가 복수로 되고, 또한, 이들의 피사체가 동일한 방향을 향하지 않는 그림인 경우, 총합 피사체 화상 부분이 중앙에 왔다고 하여도, 그 구도는 상응하게 양호한 것이 된다.
또한, 도 44에서는, 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)가 검출된 경우를 도시하고 있다.
이 경우의 구도 제어로서도, 우선, 대상 개별 피사체(SBJs0, SBJs1, SBJs2)로 이루어지는 총합 피사체 화상 부분의 사이즈에 관해, 개별 피사체 수가 3인 경우에 대응하여 최적이라고 하여 설정된 값이 되도록 하여 조정(줌 제어)을 행한다.
그리고 나서, 총합 피사체 화상 부분의 수평 방향에서의 위치에 관해서는, 이 경우에도, 각 개별 피사체마다 검출된 얼굴 방향의 정보를 이용하게 된다. 도 44에서는, 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)의 얼굴 방향이 전부 왼쪽이고 동일한 것으로 한다.
이 경우에는, 도 43의 (a)의 경우에 준하여, 대상 개별 피사체(SBJs0, SBJs1)로 이루어지는 화상 영역 부분을 화상 영역 분할선(Ld)보다도 우측의 화상 영역에 가깝게 하여 위치시키도록 하여, 수평 오프셋량(△x)의 설정(판정)과, 이에 의해 정해지는(판정되다) 소요 위치로의 총합 피사체 중심(Gt)의 이동을 위한 팬 제어를 행하도록 된다. 또한, 가령 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)의 얼굴 방향이 전부 오른쪽이고 동일한 경우에는, 총합 피사체 중심(Gt)은, 도 44 의 위치에 대해, 화상 영역 분할선(Ld)을 기준으로 하여 선대칭이 되는 수평 위치에 있도록 하여 팬 제어가 행하여지게 된다.
또한, 이 때에 설정되는 수평 오프셋량(△x)은, 도 43의 (a)의 대상 개별 피사체가 2개인 경우보다도, 작은 절대치를 설정하도록 된다. 이로써, 예를 들면 대상 개별 피사체 수가 3이 되는 경우에 따라, 수평 방향에 있어서의 피사체 위치는 보다 최적으로 되고, 양호한 구도를 얻을 수 있게 된다.
또한, 이 제 1 예의 구도 제어에 있어서, 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)의 얼굴 방향이 전부 동일하지 않은 경우에는, 도 43의 (b)에 준하여, 화상 영역 분할선(Ld)(Y축선)상에 총합 피사체 중심(Gt)이 위치한 구도를 얻을 수 있도록 한다.
지금까지의 설명에 의하면 제 1 예의 구도 제어에 의한 수평 방향의 위치 조정은, 우선, 대상 개별 피사체마다 검출되는 얼굴 방향에 대응시키고 있는 것을 알 수 있다. 즉, 가장 기본적인 제어로서, 대상 개별 피사체 수가 하나인 경우에는, 그 대상 개별 피사체로 검출된 얼굴 방향이 좌, 우의 어느쪽인가에 대응하여, 그 중심(G)(총합 피사체 중심(Gt))에 관해, 화상 영역 분할선(Ld)(Y축선)의 우측 영역, 또는 좌측 영역에 대해 소정량만큼 비켜 놓아 위치시키도록(중심(G)의 수평 오프셋을 행하도록) 하여, 화면 내에서는 피사체가 향하고 있는 쪽에 공간이 생기도록 하고 있다.
그리고, 구도 제어로서, 대상 개별 피사체 수가 복수(2 이상)인 경우에는, 대상 개별 피사체의 얼굴 방향이 전부 동일하면, 상기한 위치 조정을 모방하여, 총 합 피사체 중심(Gt)의 수평 오프셋을 행하도록 되고, 전부 동일하지가 않으면, 수평 오프셋을 행하는 일 없이, 총합 피사체 중심(Gt)에는 화상 영역 분할선(Ld)에 대응한 X좌표를 주어서, 총합 피사체 화상 부분이 화면 내의 거의 중앙에 있도록 한다.
그리고 나서, 총합 피사체 중심(Gt)(중심(G)은 개별 피사체 수가 하나인 경우의 총합 피사체 중심(Gt)으로 간주한다)의 수평 오프셋을 행함에 즈음하여서는, 도 42 내지 도 44에 의해 기술한 바와 같이 하여, 수평 오프셋량(△x)을, 대상 개별 피사체 수에 따라 변경하는 것으로 한다. 이로써, 화면에 있어서의 총합 피사체 화상 부분의 수평 방향에 따른 위치에 관해, 대상 개별 피사체 수에 따른 최적의 위치를 얻을 수 있도록 배려하고 있다.
도 45는, 상기 도 42 내지 도 44에 의해 설명한 제 1 예로서의 구도 제어에 대응하여, 구도 판정 블록(62), 팬·틸트·줌 제어 블록(63)이 실행하는 것이 되는 순서예를 도시하고 있다. 또한, 이 도면에 도시되는 순서는, 도 29, 도 32, 도 34에 도시한 어느 구성에도 적용할 수 있다.
또한, 이 도면에 도시하는 처리는, DSP로서의 신호 처리부(24), 제어부(27)에서의 CPU가 프로그램을 실행함으로써 실현되는 것으로서 볼 수 있다.
또한, 이후의 플로우 차트의 설명에서는, 지금까지 사용하여 온 「총합 피사체 중심(Gt)」, 및 「총합 피사체 화상 부분」의 어구는, 검출되어 있는 개별 피사체 수가 2 이상인 경우만에 적용하는 것은 아니라, 하나인 경우에도 적용한다. 즉, 예를 들면 도 42에 도시한 중심(G)이, 검출되어 있는 개별 피사체 수가 하나인 경 우의 개별 피사체 중심(Gt)이 되는 것이고, 또한, 도 42의 개별 피사체(SBJ)만으로 이루어지는 화상 부분이, 검출되어 있는 개별 피사체 수가 하나인 경우의 총합 피사체 화상 부분이 된다.
우선, 스텝 S1101 내지 스텝 S1106까지는, 피사체를 탐색하여 검출, 및 피사체 선별을 위한 순서가 되고, 주로 피사체 검출 처리부(201)가 실행하게 된다.
스텝 S1101에서는, 이미지 센서(22)로부터의 촬상 신호에 의거한 촬상 화상 데이터를 받아들여서 취득한다. 스텝 S1102에서는, 상기 스텝 S1101에 의해 취득한 촬상 화상 데이터를 이용하여 피사체 검출 처리, 및 피사체 선별 처리를 실행한다. 여기서의 피사체 검출 처리는, 지금까지의 설명과 같이 하여, 피사체 검출 처리부(201)가 실행하게 된다. 또한, 여기서의 피사체 검출 처리에서는, 앞에서도 기술한 바와 같이, 검출 개별 피사체마다의 얼굴 방향에 대해서도 검출하여, 그 정보를 얻도록 되어 있다. 또한, 피사체 선별 처리는, 지금까지의 설명에 따라 피사체 선별 처리부(211)가 실행하게 된다.
스텝 S1103에서는, 상기 스텝 S1102에 의한 피사체 검출 처리, 피사체 선별 처리의 결과로서, 구도 판정 대상이 되는 현실 피사체의 존재, 즉 대상 개별 피사체가 존재하고 있는지(선별되었는지)의 여부에 관한 판별을 행한다. 여기서 대상 개별 피사체의 존재가 검출되지 않았다(선별된 대상 개별 피사체 수가 0이다)라고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S1104로 진행하여, 피사체 탐색시에 따른 소정의 화각(수평·수직 화각)까지 넓게 하기 위한 줌렌즈의 이동 제어(줌 아웃 제어)를 실행한다. 이와 같이 하여 화각을 넓게 함으로써, 보다 넓은 범위가 촬상되게 되기 때문에, 그만큼 피사체를 보충하기 쉬워진다. 또한, 이와 함께, 스텝 S1105에 의해, 피사체 탐색을 위해 플랫폼(10)의 팬·틸트 기구를 움직이기 위한 제어(팬·틸트 제어)를 실행한다. 이 때에는, 피사체 검출 처리부(201)가 팬·틸트 제어를 위한 제어 신호를 통신 제어 처리 블록(64)에 건네주고, 플랫폼(10)의 통신부(52)에 대해 송신되도록 하여 제어를 행한다.
또한, 상기 피사체 탐색을 위한 팬·틸트 제어로서, 플랫폼(10)의 팬·틸트 기구를 어떤 패턴으로 움직이는지에 관해서는, 예를 들면 탐색이 효율적으로 행하여지는 것을 배려하여 정하도록 하면 좋다.
또한, 스텝 S1106에서는, 모드 플래그(f)에 대해 0을 설정(f=0)하여, 스텝 S1101로 되돌아오게 된다.
이와 같이 하여, 촬상 화상 데이터의 그림 내용에서 적어도 하나의 개별 피사체가 검출될 때까지는, 스텝 S1101 내지 스텝 S1106의 순서가 반복된다. 이 때, 디지털 스틸 카메라(1)와 플랫폼(10)으로 이루어지는 시스템은, 피사체 탐색을 위해, 디지털 스틸 카메라(1)가 팬 방향 및 틸트 방향으로 움직이고 있는 상태로 되어 있다.
그리고, 스텝 S1103에서 대상 개별 피사체가 존재하고 있다고 하여 긍정의 판별 결과가 얻어졌다고 되면, 스텝 S1107 이후의 순서로 진행한다.
스텝 S1107에서는, 현재의 모드 플래그(f)에 설정되어 있는 값이 무엇인지를 판별한다.
f==0이라고 판별된 경우에는, 구도 제어로서, 최초의 러프한 피사체 포착 모 드를 실행하여야 할 경우인 것을 나타내는 것이고, 도면과 같이 하여 스텝 S1108부터 시작된 순서를 실행한다.
스텝 S1108에서는, 총합 피사체 중심(Gt)이, 촬상 화상 데이터의 화면(촬상 화상 데이터의 그림 내용을 나타냈다고 할 때에 얻어지는 화면)에서의 원점 좌표(P)(0,0)(도 41 참조)에 위치하고 있는지의 여부에 관한 판별을 행한다. 여기서, 총합 피사체 중심(Gt)은, 아직 원점 좌표에 위치하고 있지 않다고 하여 부정의 판별 결과가 얻어진 경우에는, 스텝 S1109에 의해, 총합 피사체 중심(Gt)이 원점 좌표에 위치하도록 하여, 플랫폼(10)의 팬·틸트 기구를 움직이기 위한 제어를 실행하고, 스텝 S1101로 되돌아온다. 이와 같이 하여, 개별 피사체의 존재가 검출되어 있는 상태에서의 최초의 구도 제어의 순서인 포착 모드는, 총합 피사체 중심(Gt)을, 우선은 초기의 기준 위치인 원점 좌표에 대해 위치시키도록 하여 플랫폼(10)의 팬·틸트 기구를 제어함으로써, 검출된 대상 개별 피사체가 찍혀 있다고 되는 화상 영역을 화면 내의 중앙에 위치시키려고 하는 것이다.
또한, 상기 스텝 S1109로서의 팬·틸트 제어를 실제로 행함에 즈음하여서의 알고리즘의 한 예를 여기서 나타낸다.
모드 플래그(f)==0의 상태에서 개별 피사체가 검출되는 상태에서는, 피사체 검출 처리부(201)는, 하기한 (수식 1)에 의해 표시되는 연산을 행하여, 팬 방향에 있어서의 필요 이동량(Span)과 틸트 방향에 있어서의 필요 이동량(Stilt)을 구하게 된다. 하기한 (수식 1)에서, n은 선별된 대상 개별 피사체 수을 나타내고, P(Xi, Yi)는 0번부터 n-1번까지의 번호가 주어진 대상 개별 피사체중의 i번째의 대상 개 별 피사체의 중심의 X, Y좌표를 나타낸다. 확인을 위해, 도 41에 도시한 바와 같이, 이 경우에 있어서의 원점 좌표(0, 0)는, 화면에서의 수평 방향에 있어서의 중점과 수직 방향에 있어서의 중점과의 교점이 된다.
[수식 1]
Figure 112009011880685-PAT00001
예를 들면 스텝 S1108에서는, 상기한 바와 같이 하여 구해지는 필요 이동량(Span, Stilt)의 절대치가 소정치(엄밀하게는 0이 되지만, 0보다 큰 값이 되어도 좋다) 이내인지의 여부를 판별함으로써, 총합 피사체 중심(Gt)이 원점 좌표(P)에 있는지의 여부와 동등한 판별을 행할 수 있다. 그리고, 스텝 S1109에서는, 필요 이동량(Span, Stilt)의 절대치가 소정치 이내가 되도록 하여 팬·틸트 제어를 실행하도록 된다. 또한, 이 때의 팬·틸트 제어에 즈음하여서의 팬 기구부(53), 틸트 기구부(56)의 속도는 일정하게 하여도 좋지만, 예를 들면, 필요 이동량(Span, Stilt)이 커짐에 따라 속도를 높게 하여 가는 등을 하여 가변시키는 것이 고려된다. 이와 같이 하면, 패닝 또는 틸팅에 의한 필요 이동량이 커진 때에도, 비교적 단시간에 총합 피사체 중심(Gt)을 원점 좌표에 접근하는 것이 가능해진다.
그리고, 스텝 S1108에서, 총합 피사체 중심(Gt)이 원점 좌표에 위치하였다고 하여 긍정의 판별 결과가 얻어졌다고 되면, 스텝 S1110에 의해 모드 플래그(f)에 대해 1을 설정(f=1)하고 스텝 S1101로 되돌아온다. 이 스텝 S1110에 의해 모드 플래그(f)에 대해 1이 설정된 상태는, 구도 제어에 있어서의 최초의 순서인 포착 모드는 완료하고, 다음의 제 1의 구도의 조정 제어(구도 조정 모드)를 실행하여야 할 상태인 것을 나타낸다.
그리고, 모드 플래그(f)==1이 되어 제 1의 구도 조정 모드를 실행하여야 할 경우에는, 스텝 S1107부터 스텝 S1111로 진행하게 된다. 제 1의 구도 조정 모드는, 검출된 개별 피사체 수와 개별 피사체마다의 얼굴 방향의 조합에 따른 최적 구도를 얻기 위해 줌(화각) 조정과 팬 제어를 행하는 것이다. 또한, 화각 조정과 팬 제어에 의해서는 화면 내에서의 개별 피사체의 사이즈나 개별 피사체의 위치가 변화하는 결과가 생긴다.
스텝 S1111에서는, 현재에 설정되어 있는 대상 개별 피사체 수가 몇개인지를 판별하고, 1이라면 스텝 S1112로부터 시작되는 순서를 실행한다.
스텝 S1112에서는, 검출되어 있는 대상 개별 피사체 수가 1인 것에 대응한 목표 피사체 사이즈를 설정한다. 여기서의 목표 피사체 사이즈란, 화면에 있어서의 총합 피사체 화상 부분의 사이즈로서 구도적으로 최적이라고 간주되는 것을 말하고, 예를 들면 도 42와의 대응에서는, 「(하나의) 대상 개별 피사체(SBJs0)의 촬상 화상 데이터의 화면 내에서의 점유율이, 최적으로 간주되는 소정의 범위치」에 상당한다.
스텝 S1113에서는, 대상 개별 피사체의 사이즈가 OK인지의 여부에 관해 판별한다. 대상 개별 피사체의 사이즈가 OK인 상태란, 그 때에 검출되어 있는 대상 개 별 피사체의 사이즈가, 상기 스텝 S1112에 의해 설정된 목표 피사체 사이즈로 되어 있는 상태이다. 스텝 S1113에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S1114로 진행하여, 대상 개별 피사체의 사이즈가 목표 피사체 사이즈가 되도록 줌렌즈의 구동 제어(줌 제어)를 실행하고, 스텝 S1101로 되돌아온다.
또한, 이 때에는, 총합 피사체 중심(Gt)의 수평 방향(좌우 방향)에서의 위치에 관해서는, 스텝 S1109에서 설정된 X좌표(X=0)에 대응하는 위치를 유지하도록 하여 줌 제어를 행하도록 된다. 이로써, 대상 개별 피사체를 좌우 방향에 있어서 거의 중앙에 위치시킨 상태를 유지할 수 있다. 또한, 피사체 탐색 동작의 실행시에는, 스텝 S1104에 의해 줌 아웃 제어가 행하여지기 때문에, 스텝 S1114로서의 줌 제어에 즈음하여서는 줌 인 제어로 되는 경우가 많다고 생각된다. 그러나, 어떠한 원인으로, 그 때에 검출된 개별 피사체의 사이즈가, 목표 피사체 사이즈보다도 크게 되어 있는 상태에 따라 스텝 S1113에서 부정의 판별 결과가 얻어진 경우, 스텝 S1114에서는 줌 아웃을 실행시켜서, 실제의 대상 개별 피사체의 사이즈가 목표 피사체 사이즈가 되도록 제어하게 된다.
그리고, 스텝 S1113에서 긍정의 판별 결과가 얻어졌으면 스텝 S1115 이후의 순서로 진행하게 된다.
스텝 S1115에서는, 수평 오프셋량(△x)을 설정한다.
여기서, 본 실시의 형태에서의 제 1 예의 구도 제어에서는, 수평 오프셋량(△x)에 관해서는, 하기한 (식 5)에 의해 구하는 것으로 한다.
θx=D×(Cx/6)/n… (식 5)
상기 (식 5)에 있어서, D는, 얼굴 방향 또는 복수의 얼굴 방향의 조합(관계성)에 의거하여, +1, -1, 0의 어느 하나가 설정된 계수이다. Cx는, 수평화 사이즈를 나타낸다. Cx/6의 항은, 3분할법에 의거하여 얻어지는 종방향에 따른 가상선의 X좌표에 대응한 것이다. n은, 선별(설정)되어 있는 대상 개별 피사체 수를 나타낸다.
스텝 S1115에 이른 경우, 검출되어 있는 대상 개별 피사체 수는 1이기 때문에, n=1이 된다. 또한, 얼굴 방향은, 왼쪽이나 오론쪽의 어느 한쪽이 된다. 계수(D)는, 얼굴 방향이 왼쪽인 경우에는 +1이 되고, 오른쪽인 경우에는 -1이 된다.
그러면, 선별된 하나의 대상 개별 피사체의 얼굴 방향이 왼쪽인 경우에는, θx=-Cx/6가 된다. 이 수평 오프셋량(△x)은, 원점 좌표(P)(0,0)를 통과하는 수직선(화상 영역 분할선(Ld) : Y축선)으로부터, Cx/6만큼 오른쪽으로 이동한 수직선의 위치를 나타내는 것이 되는데, 이 수직선의 위치는, 정확하게, 3분할법에 따른 2개의 가상선중, 우측에 있는 가상선과 같게 된다.
한편, 선별된 하나의 대상 개별 피사체의 얼굴 방향이 오른쪽인 경우에는, 수평 오프셋량(△x)=Cx/6이 되고, 원점 좌표(P)(0,0)를 통과하는 수직선(화상 영역 분할선(Ld) : Y축선)으로부터, Cx/6만큼 왼쪽으로 이동한 수직선의 위치를 나타내는 것이 된다. 그리고, 이 수직선의 위치는, 정확하게, 3분할법에 따른 2개의 가상선중, 좌측에 있는 가상선과 같게 된다.
스텝 S1116에서는, 총합 피사체 중심(Gt)(이 경우에는, 대상 개별 피사체 수가 1이기 때문에, 도 42의 중심(G)과 총합 피사체 중심(Gt)은 같아진다)이, 상기 스텝 S1115에 의해 설정된 수평 오프셋량(△x)에 대응하는 X좌표상에 위치하고 있는지의 여부의 판별 처리를 행한다. 여기서 부정의 판별 결과가 얻어진 경우에는, 스텝 S1117로 진행한다.
스텝 S1117에서는, 수평 오프셋량(△x)에 대응하는 X좌표상에 총합 피사체 중심(Gt)이 위치하는 상태가 되도록 팬 제어를 실행하고, 스텝 S1101로 되돌아온다.
그리고, 상기 스텝 S1117의 제어에 의해, 수평 오프셋량(△x)에 대응하는 X좌표상에 총합 피사체 중심(Gt)이 위치하는 상태에 이르렀다고 되면, 스텝 S1116에서 긍정의 판별 결과가 얻어지게 된다. 이와 같이 하여 스텝 S1116에서 긍정의 판별 결과가 얻어진 때에는, 대상 개별 피사체(SBJ)의 중심은, 도 42에 의해 도시한 바와 같이 하여, 그 얼굴 방향에 따라, 화상 영역 분할선(Ld)으로부터 수평 오프셋량(△x)만큼 좌 또는 우로 이동한 위치에 있게 된다.
스텝 S1116에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1118로 진행하여, 모드 플래그(f)에 대해 2를 설정하고 스텝 S1101로 되돌아온다. 이 모드 플래그(f)==2로 되어 있는 상태는, 후의 설명으로부터도 이해되는 바와 같이, 제 1의 구도 조정이 완료되고, 다음의 제 2의 구도 조정 모드를 실행한 다음 릴리스 동작을 실행하여야 하는 것을 나타낸다.
또한, 스텝 S1111에서, 검출되어 있는 대상 개별 피사체 수가 2 이상이라고 판별한 경우에는, 스텝 S1119로부터 시작되는 순서를 실행한다.
스텝 S1119에서는, 목표 피사체 사이즈를 설정한 처리를 행한다. 대상 개별 피사체 수가 2 이상이 되는 경우, 최적 구도를 얻기 위한 목표 피사체 사이즈는, 예를 들면 대상 개별 피사체 수에 따라 달라지게 된다. 그래서, 스텝 S1119에서는, 스텝 S1102에서 검출된 개별 피사체 수에 따른 소정의 목표 피사체 사이즈를 설정한다. 또한, 확인을 위해 기술하여 두면, 대상 개별 피사체 수가 2 이상인 경우의 목표 피사체 사이즈는, 검출되어 있는 모든 개별 피사체로 이루어지는 총합 피사체 화상 부분을 대상으로 한 것이 된다.
스텝 S1120에서는, 대상 개별 피사체의 사이즈가 OK인지의 여부에 관해 판별한다. 즉, 이 때의 대상 개별 피사체에 관한 검출 정보로부터 구해지는 총합 피사체 화상 부분의 사이즈가, 상기 스텝 S1120에 의해 설정된 목표 피사체 사이즈로 되어 있는지의 여부에 관해 판별한다.
스텝 S1120에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S1121로 진행한다. 스텝 S1121에서는, 스텝 S1114에 준하여, 이 때 검출되어 있는 대상 개별 피사체의 총합 피사체 화상 부분의 사이즈가, 스텝 S1119에 의해 설정된 목표 피사체 사이즈가 되도록 줌렌즈의 구동 제어(줌 제어)를 실행하고, 스텝 S1101로 되돌아온다.
이에 대해, 스텝 S1120에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1122로 진행한다.
스텝 S1122에서는, 복수의 대상 개별 피사체마다 검출된 얼굴 방향에 관해, 이들이 전부 동일한지의 여부의 판별 처리를 행한다.
우선, 스텝 S1122에서 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1123 이 후의 순서를 실행한다. 스텝 S1123에서는, 앞서 기술한 (식 5)에 의해 수평 오프셋량(△x)을 설정한다.
이 경우에는, (식 5)에서의 계수(D)에는, 검출되어 있는 동일한 얼굴 방향이, 좌, 우의 어느 쪽을 나타내고 있는지에 따라, +1과 -1의 어느 한쪽이 대입된다. 또한, n에는, 검출되어 있는 대상 개별 피사체 수에 따른 2 이상의 수가 대입되게 된다. 이것으로부터 이해되는 바와 같이, (식 5)에 의해서는, 대상 개별 피사체 수가 많아짐에 따라, 구해지는 θx의 절대치는 작아진다. 즉, 도 42, 도 43의 (a), 도 44에 의해서도 설명한 바와 같이, 대상 개별 피사체 수가 많아짐에 따라, 총합 피사체 화상 부분의 좌우에 있어서의 화상 영역 분할선(Ld)으로부터의 오프셋량은 적어져 가게 된다.
이에 대해, 스텝 S1122에서, 부정의 판별 결과가 얻어진 경우에는, 스텝 S1124에 의해, 수평 오프셋량(△x)=0을 설정한다.
또한, 이 스텝 S1124의 처리에서도, (식 5)에 의한 연산을 행함으로써, θx=0을 설정할 수 있다. 즉, 스텝 S1122에서 부정의 판별 결과가 얻어진 경우(즉 복수의 얼굴 방향이 동일하지 않은 경우)에는, 스텝 S1124에서, 계수(D)에 관해 0을 대입하여 (식 5)의 연산을 행하도록 알고리즘을 구성하는 것이다.
스텝 S1123, 또는 스텝 S1124의 순서를 실행한 후는, 스텝 S1125 이후의 순서로 진행한다.
스텝 S1125, S1126, S1127에서는, 앞에서 설명한 스텝 S1116, S1117, S1118과 마찬가지로 하여, 총합 피사체 중심(Gt)이, 스텝 S1123 또는 스텝 S1124에 의해 설정된 수평 오프셋량(△x)에 대응하는 X좌표상에 위치하는 상태에 이르기까지 팬 제어를 실행한다. 이 제어에 의해, 복수의 대상 개별 피사체의 얼굴 방향이 동일한 경우에는, 그 수에 따른 수평 오프셋량(△x)분만큼, 좌 또는 우방향으로 총합 피사체 화상 부분(총합 피사체 중심(Gt))이 이동된 상태가 얻어져 있게 된다. 이 상태에 이르면, 스텝 S1125에서 긍정의 판별 결과가 얻어지게 되고, 스텝 S1127에 의해 모드 플래그(f)에 대해 2를 설정하고, 스텝 S1101로 되돌아온다.
이와 같이 하여, 모드 플래그(f)에 대해 2가 설정된 상태에서는, 구도 제어로서, 도 42 내지 도 44에 의해 설명한, 대상 개별 피사체 수에 따른 사이즈 조정과, 이들의 대상 개별 피사체마다의 얼굴 방향 또는 그 조합에 따른 수평 방향에 있어서 위치 조정까지의 순서가 완료된 상태인 것이 된다. 그래서, 스텝 S1107에서 모드 플래그(f)가 2라고 판별된 경우에는, 스텝 S1128 이후의 순서에 의해, 제 2의 구도 조정 모드를 실행한다.
예를 들면, 도 42 내지 도 44에서의 구도 제어의 설명에서는, 그 설명을 간단한 것으로 하기 위해, 화면 상하방향에 있어서의 대상 개별 피사체의 중심의 위치를 어떻게 하여 설정하는 것인지에 관해서는 언급하고 있지 않지만, 실제에 있어서는, 화면의 중앙으로부터 예를 들면 어떤 필요량만큼 상방향으로 이동(오프셋)시킨 편이, 보다 좋은 구도가 되는 경우가 있다. 그래서, 본 실시의 형태의 구도 제어의 실제로서는, 최적 구도로서 보다 양호한 것이 얻어지도록 하여 총합 피사체 중심(Gt)의 세로(수직)방향의 오프셋량도 설정하는 것으로 한다. 이를 위한 순서가, 제 2의 구도 조정 모드가 되는 것이고, 스텝 S1128 및 다음에 설명하는 스텝 S1129로서 실행된다.
스텝 S1128에서는, 총합 피사체 중심(Gt)(대상 개별 피사체가 하나인 경우는 그 대상 개별 피사체의 중심(G)이 된다)의 위치에 관해, 화면상의 원점 좌표(P)를 통과하는 수평 직선(X축)으로부터 소정의 수직 오프셋량(△y)만큼 오프셋 하고 있는 상태에 있는지의 여부(중심 오프셋이 OK인지의 여부)를 판별한다.
스텝 S1128에서 부정의 판별 결과가 얻어진 경우에는, 스텝 S1129에 의해, 설정된 수직 오프셋량(△y)만큼 중심이 오프셋 되도록 하여, 플랫폼(10)의 틸트 기구가 움직이도록 틸트 제어를 실행하고, 스텝 S1101로 되돌아온다. 그리고, 스텝 S1128에서 긍정의 판별 결과가 얻어진 단계에서는, 총합 피사체 화상 부분의 수평 방향에 있어서의 위치와, 수직 방향에 있어서의 위치의 쌍방에 관해, 최적 구도에 대응한 것이 얻어진, 또한, 총합 피사체 화상 부분의 사이즈도 최적 구도에 대응한 것이 얻어진 것이 된다. 즉, 최적 구도가 얻어진 상태가 된다.
또한, 이 스텝 S1128, S1129에 대응한 수직 오프셋량(△y)의 실치를 어떻게 하여 설정하는 것인지에 관해서는, 몇가지의 수법이 고려되기 때문에, 여기서는 특히 한정되어야 할 것이 아니다. 가장 간단한 설정의 하나로서는, 예를 들면 3분할법에 의거하여, 종방향에 있어서의 중심 위치로부터, 수직화 사이즈(Cy)의 1/6에 상당하는 길이의 값을 주는 것이 고려된다. 물론, 예를 들면 대상 개별 피사체 수이거나, 얼굴 방향 및 그 조합에 따른 다른 값을 소정의 규칙에 따라 설정하도록 구성하는 것도 고려된다.
그리고, 스텝 S1128에 의해 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1130부터 시작되는, 릴리스 동작에 대응한 처리 순서를 실행한다. 여기서의 릴리스 동작이란, 지금까지 기술하여 오는 바와 같이, 그 때에 얻어진 촬상 화상 데이터를, 정지화상 데이터로서 기억 매체(메모리 카드(40))에 기억시키기 위한 동작을 말한다. 즉, 수동에 의한 셔터 조작을 행하고 있는 경우에는, 이 셔터 조작에 응답하여, 그 때에 얻어진 촬상 화상 데이터를 정지화상 데이터로서 기억 매체에 대해 기록하는 동작인 것이다.
스텝 S1130에서는, 현재에 있어서 릴리스 동작을 실행 가능한 조건을 충족시키고 있는지의 여부를 판별한다. 조건으로서는 예를 들면, 초점 맞춤 상태에 있는 것(오토 포커스 제어가 유효하게 설정되어 있는 경우), 플랫폼(10)의 팬·틸트 기구가 정지 상태에 있는 것, 등을 들 수 있다.
상기 스텝 S1130에서 부정의 판별 결과가 얻어진 경우에는, 처리를 스텝 S1101로 되돌린다. 이로써, 릴리스 동작을 실행할 수 있는 조건이 충족되는 상태가 되는 것을 대기할 수 있다. 그리고, 스텝 S1130에서 긍정의 판별 결과가 얻어지면, 스텝 S1131에 의해 릴리스 동작을 실행한다. 이와 같이 하여, 본 실시의 형태에서는, 최적 구도의 촬상 화상 데이터를 기록할 수 있다.
릴리스 동작이 종료되었다고 되면, 스텝 S1132에 의해 소요되는 파라미터에 관해 초기 설정을 행한다. 이 처리에 의해, 모드 플래그(f)에 대해서는 초기치인 0이 설정된다. 또한, 줌렌즈의 위치도, 미리 설정된 초기 위치로 되돌아온다.
그리고, 스텝 S1132의 처리를 실행한 후는 처리를 스텝 S1101로 되돌린다. 이와 같이 하여 처리를 스텝 S1132로부터 스텝 S1101로 되돌림에 의해, 피사체를 탐색하고, 이 탐색에 의해 검출되게 된 대상 개별 피사체의 향하고 있는 방향과 대상 개별 피사체 수에 따른 최적 구도를 얻고 촬상 기록(릴리스 동작)을 행한다는 동작이, 자동적으로 반복하여 실행되게 된다.
또한, 상기 도 45의 경우에 있어서의 릴리스 동작은, 촬상 화상으로부터 정지화상을 기록 매체에 기록하는 동작이 되는 것이지만, 본 실시의 형태에서의 릴리스 동작은, 보다 광의로는, 상기한 정지화상을 기록 매체에 기록하는 것을 포함하고, 예를 들면 촬상 화상으로부터 필요한 정지화상 데이터를 취득하는 것을 가리킨다. 따라서, 예를 들면 본 실시의 형태의 디지털 스틸 카메라(1)에 의해, 데이터 인터페이스 등을 경유하여 다른 기록 장치 등에 전송하기 위해, 촬상 화상으로부터 정지화상 데이터를 취득하는 동작도, 릴리스 동작이 되는 것이다.
지금까지 기술한 도 45의 순서에서는, 우선, 스텝 S1108, S1109에 의해, 앞서의 (수식 1)에서 구해지는 필요 이동량(Span, Stilt)에 의거하여, 1 이상의 대상 개별 피사체의 총합 피사체 중심(Gt)을 화면에서의 원점 좌표(P)에 위치시킨다고 하는, 포착을 위한 팬·틸트 제어를 행하는 것으로 한다. 그리고, 다음의 단계로서, 대상 개별 피사체 수, 및 대상 개별 피사체마다 검출되는 얼굴 방향의 관계성(동일한지의 여부)에 의거하여, 수평 오프셋량(△x)을 구하고, 총합 피사체 중심(Gt)에 관해, 원점 좌표(P)를 통과하는 수직선(화상 영역 분할선(Ld) : Y축선)을 기준으로, 수평 오프셋량(△x)에 대응하는 거리만큼, 좌 또는 우방향으로 이동시키기 위한 팬 제어를 행한다. 또한, 설정된 수직 오프셋량(△y)이 나타내는 이동량에 의거하여, 총합 피사체 중심(Gt)에 관해, 원점 좌표(P)를 통과하는 수평 직선(X축) 을 기준으로, 수직 오프셋량(△y)에 대응하는 거리만큼, 상방향(또는 하방향)으로 이동시키기 위한 틸트 제어를 행한다.
이와 같이 하면, 도 45의 순서에서 팬·틸트 제어는,
[수식 2]
Figure 112009011880685-PAT00002
에 의해 필요 이동량(Span, Stilt)을 구한 다음, 필요 이동량(Span)에 대응한 화면 내에서의 이동량을 얻기 위한 팬 기구의 제어와, 필요 이동량(Stilt)에 대응한 화면 내에서의 이동량을 얻기 위한 틸트 기구의 제어를 행하고 있는 것이라고 할 수 있다.
계속해서, 본 실시의 형태에서의 제 2 예로서의 구도 제어에 관해 설명한다.
제 2 예의 구도 제어에 대응하는 사례로서, 도 46에는, 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)가 선별된 상태를 도시하고 있다. 이들의 대상 개별 피사체중, 대상 개별 피사체(SBJs0, SBJs2)에 관해 검출되어 있는 얼굴 방향은 왼쪽인데 대해, 대상 개별 피사체(SBJs1)에 관해 검출되어 있는 얼굴 방향은 오른쪽인 것으로 한다. 이 경우, 모든 대상 개별 피사체의 얼굴 방향이 동일하게는 되어 있지 않기 때문에, 제 1의 구도 제어의 경우라면, 도 43의 (b) 등에서 설명한 바와 같이, 총합 피사체 중심(Gt)은, 원점 좌표(P)를 통과하는 수직선(화상 영역 분할선(Ld) : Y축선)상에 있도록 구도가 설정된다.
그러나, 3개의 대상 개별 피사체중에서, 예를 들면 과반수를 차지한 2개의 대상 개별 피사체(SBJs0, SBJs2)가 같은 방향을 향하고 있다(얼굴 방향이 동일하다)는 것은, 나머지 하나의 대상 개별 피사체(SBJs1)의 얼굴 방향에 대응하여 향하고 있다고 하는 반대 방향보다도, 이들 2개의 대상 개별 피사체(SBJs0, SBJs2)가 향하고 있다고 하는 곳에, 무엇인지 중요성이 높은 것이 존재하고 있을 가능성이 높다고 할 수 있다. 이와 같은 사고방식에 의거하면, 이들 2개의 대상 개별 피사체(SBJs0, SBJs2)의 얼굴 방향이 나타내는 곳의 화면 영역에 공간을 마련하는 편이 좋은 구도가 될 가능성이 높다고 할 수 있다. 이 경우라면, 2개의 대상 개별 피사체(SBJs0, SBJs2)의 얼굴 방향이 왼쪽인 것으로서 검출되어 있기 때문에, 화면에 있어서, 3개의 대상 개별 피사체(SBJs0, SBJs1, SBJs2)로 이루어지는 총합 피사체 화상 부분을 화상 영역 분할선(Ld)보다도 우측의 화상 영역에 가깝게 하여 좋은 구도를 얻고자 하는 것이다.
그래서, 제 2 예의 구도 제어로서는, 복수의 개별 피사체마다 검출되는 얼굴 방향의 관계성으로서, 동일하게 되는 얼굴 방향의 수가, 대상 개별 피사체의 전체 수에 있어서의 소정 비율 이상을 차지할 때에는, 이 동일하게 되는 얼굴 방향을 기준 얼굴 방향으로 한다. 이 기준 얼굴 방향은, 예를 들면 복수의 대상 개별 피사체군의 총체를 하나의 대상 개별 피사체로서 본 경우에 있어서, 화면 내에서 향하고 있다고 하는 방향을 가리키는 것이라고 할 수 있다. 그리고, 이 기준 얼굴 방향에 의거하여, 수평 오프셋량(△x)을 구하여 설정하도록 된다. 이와 같은 구도 제어에 의해, 도 46의 경우에는, 원점 좌표(P)를 통과하는 수직선보다도 우측에 총합 피사체 중심(Gt)이 위치하도록 하여 구도가 설정되게 된다.
또한, 여기서는 도시하지 않지만, 상기한 소정 비율 이상을 차지하는 만큼의, 동일한 얼굴 방향 수를 얻을 수 없는 상태, 즉 상기한 기준 얼굴 방향을 결정할 수 없던 경우, 본 실시의 형태에서는, 총합 피사체 화상 부분이 좌우 방향에 있어서 거의 중앙에 위치한 구도를 설정하는 편이 바람직하다는 생각이 든다. 그래서, 이 경우에는, 수평 오프셋량(△x)에 관해서는 0을 설정하는 것으로 한다.
도 47은, 상기한 제 2 예의 구도 제어에 대응하여 도 5에 도시한 피사체 검출 처리부(201), 구도 제어 처리 블록(62), 및 통신 제어 처리 블록(64)이 실행하게 되는 순서예를 도시하고 있다.
이 도 47에 도시되는 순서중에서, 스텝 S1221-1, S1222-2를 제외한 스텝 S1201 내지 S1232까지의 순서는, 도 45에서의 스텝 S1101 내지 S1132까지의 순서와, 각각 같게 된다.
그리고, 스텝 S1221-1과 이것에 계속되는 스텝 S1222-2는, 스텝 S1222에서 부정의 판별 결과가 얻어진 경우에 실행하여야 할 순서로서 삽입되어 있다. 즉, 스텝 S1222-1, S1222-2는, 대상 개별 피사체 수가 복수인 경우로서, 우선은, 총합 피사체 화상 부분의 사이즈 조정이 완료된 단계에서, 이들의 개별 피사체의 얼굴 방향의 관계성으로서, 모든 얼굴 방향이 동일하지 않은 경우에 실행되는 것이다.
스텝 S1222-1에서는, 기준 얼굴 방향을 결정하기 위한 처리를 실행한다.
이를 위해서는, 예를 들면, 앞에서도 기술한 바와 같이, 검출되어 있는 복수의 대상 개별 피사체마다의 얼굴 방향의 관계성으로서, 동일한 얼굴 방향을 갖는 대상 개별 피사체의 조(組)중에서, 그 조를 이루는 대상 개별 피사체 수가, 모든 대상 개별 피사체 수에 있어서 소정 비율 이상을 나타내는 것이 있는지의 여부에 관해 판단하고, 이와 같은 대상 개별 피사체의 조가 있으면, 이 조의 대상 개별 피사체의 얼굴 방향을, 유효한 기준 얼굴 방향으로서 결정하도록 된다. 또한, 이와 같은 대상 개별 피사체의 조가 없으면, 기준 얼굴 방향도 없는 것으로 하는 결정을 행하게 된다.
또한, 상기한 소정 비율에 관해, 실제로 어떤 값을 설정할 것인지에 관해서는, 실제에 있어서의 대상 개별 피사체 수 및 대상 개별 피사체마다의 얼굴 방향의 관계성과의 대응으로, 어떤 구도가 적당하게 되는지를 고려한 다음, 적절히 결정되면 좋다. 또한, 이 소정 비율로서의 값은, 기본적으로는 고정된 하나의 값이 설정되면 좋지만, 예를 들면, 결정된 대상 개별 피사체 수 등에 따라, 다른 소정치가 설정되도록 되어도 좋다.
또한, 기준 얼굴 방향 결정 처리를 위한 알고리즘으로서는, 상기 이외에도 생각할 수 있다. 예를 들면, 모든 대상 개별 피사체 수에서의 비율은 고려하지 않고, 단지, 동일한 얼굴 방향을 갖는 대상 개별 피사체의 조중에서, 대상 개별 피사체 수가 최다인 조의 얼굴 방향을, 유효한 기준 얼굴 방향으로서 결정하는 처리도 생각할 수 있다. 이 경우에는, 예를 들면 동일한 얼굴 방향을 갖는 각 조를 이루는 대상 개별 피사체 수가 같은 때에, 기준 얼굴 방향은 없는 것으로서의 결정이 행하 여지게 된다.
스텝 S1222-2에서는, 상기 스텝 S1222-1의 얼굴 방향 결정 처리의 결과로서, 유효한 기준 얼굴 방향이 결정되었는지의 여부에 관한 판별을 행한다.
여기서, 긍정의 판별 결과가 얻어진 경우에는, 스텝 S1223로 진행한다. 이 경우의 스텝 S1223에서는, 스텝 S1222-1에서 결정된 기준 얼굴 방향에 의거하여 계수(D)를 결정하고, 수평 오프셋량(△x)을 구하여 설정한다.
한편, 스텝 S1222-2에서 부정의 판별 결과가 얻어진 경우에는, 앞의 스텝 S1222-1에서, 왼쪽 또는 오른쪽을 나타내는 유효한 기준 얼굴 방향을 결정할 수 없게 된다. 그래서, 이 경우에는, 스텝 S1224로 진행함으로써, 수평 오프셋량(△x)에 관해서는 0을 설정한다. 이와 같이 하여, 스텝 S1222-1, S1222-2를 삽입함으로써, 도 46에 의해 설명한 바와 같은 제 2 예의 구도 제어가 실현되게 된다.
또한, 앞의 도 45 및 상기 도 47에 도시되는 순서에서는, 구도 판정의 처리로서 볼 수 있는 순서와, 그 판정 결과에 따른 구도 맞춤의 제어(구도 제어)를 위한 순서가 뒤얽힌 것으로 되어 있고, 또한, 스텝에 따라서는, 구도 판정과 구도 맞춤의 제어를 동시적으로 행하고 있는 것도 있지만, 이것은, 도 45 및 도 47에 도시하는 순서가, 실제에 응한 구체적인 것으로 되어 있음에 의한다. 어디까지나 실시의 형태의 기본적인 개념은, 지금까지 설명하여 온 구도 판정 블록(200), 또는 구도 판정 블록(62) 등에 나타낸 구도 판정의 구성을 적용한 것으로서 파악되어야 할 것이다. 즉, 실시의 형태의 촬상 시스템에서는, 대상 개별 피사체의 수에 따라 최적으로 간주되는 구도를 판정, 결정하고, 이 판정한 구도의 촬상 화상 데이터가 실 제로 얻어도록(반영되도록) 하여, 줌 제어, 및 팬·틸트 제어를 적절히 실행하고 있는 것으로 볼 수 있다.
또한, 도 40 이후에 의해 설명한 구도 판정, 구도 제어의 구체예에서는, 얼굴 방향의 검출은, 좌, 우의 2단계에 의한 검출인 것을 전제로 하고 있지만, 실제에 있어서는, 예를 들면 좌, 우에 더하여, 정면도 있는 것으로 하여 얼굴 방향 검출 처리를 구성하는 경우도 있다고 생각된다. 이 경우에도, 본원 발명에 의거한 구도 제어는 유효하게 적용할 수 있다.
예를 들면 도 42와 같이 하여 하나의 대상 개별 피사체가 검출된 경우에 있어서, 또한 얼굴 방향에 관해서는 정면인 것이 검출된 경우인데, 하나로는, 수평 방향에서의 피사체 위치를, 화면의 거의 중앙에 위치시키는(중심(G)이 거의 화상 영역 분할선(Ld)(Y축선)상에 있도록 하는) 것이 생각된다. 그러나, 이와 같은 구도는, 좋지 않은 구도의 대표적인 것으로 되는 것이 많다. 그래서, 검출되는 개별 피사체가 하나인 경우에 있어서, 얼굴 방향이 정면인 경우에는, 도 42와 마찬가지의 구도, 또는, 도 42의 구도에 대해 화상 영역 분할선(Ld)을 기준으로 선대칭이 되는 구도로 하도록 하여 수평 오프셋량(△x)을 결정하는 것도 고려된다. 이와 같이 하면, 3분할법에 따른 양호한 구도를 얻을 수 있다.
또한, 2 이상의 대상 개별 피사체가 검출되어 있는 경우에, 예를 들면 모든 대상 개별 피사체의 얼굴 방향이 정면을 나타내고 있는, 또는 기준 얼굴 방향이 정면인 경우에는, (식 1)의 계수(D)를 0으로 설정한 다음의 수평 오프셋량(θ)을 구하도록 하여 구성하는 것이 고려된다.
또한, 얼굴 방향으로서 상하 방향에 대해서도 검출 가능하게 되어 있는 경우에는, 이 상하 방향에 있어서의 얼굴 방향의 검출 결과에 따라, 본원 발명에 의거한 구도 제어를 행하는 것도 가능하다. 이 경우에는, 수평 방향에 따른 화상 영역 분할선(Ld)(예를 들면 원점 좌표를 통과하는 수평 방향의 선(X축선)으로 할 수 있다)을 기준으로 하여, 상하 방향에서의 총합 피사체 중심(Gt)의 이동을 행하게 된다.
또한, 얼굴 방향에 관해, 좌우 방향과 상하 방향을 합성한 경사 방향의 검출도 가능하게 되어 있을 때에는, 이 경사 방향이 검출된 얼굴 방향에 따르는 구도 제어도 행하는 것이 가능하다. 이 경우에는, 검출된 경사의 얼굴 방향으로 직교하여 화면을 가로지르는 선(예를 들면 원점 좌표를 통과하는 선)을 화상 영역 분할선(Ld)으로서 설정하고, 이 화상 영역 분할선(Ld)에 의해 분할된 화상 영역의 어느 한쪽의 측에 총합 피사체 중심(Gt)을 이동시키도록 하는 것이 고려된다.
또한, 예를 들면, 얼굴 방향에 관해, 좌우 방향(또는 상하 방향)에 있어서, 예를 들면 2단계, 또는 3단계보다도 많은 단계에 의해, 방향의 검출을 행할 수 있게 되어 있는 경우에는, 이와 같이 하여 검출된 방향의 단계(정도)에 따라 수평 오프셋량(△x)(또는 수직 오프셋량(△y))을 가변하는 알고리즘을 채용하는 것이 고려된다.
또한, 기준선이 통과하는 기준점은, 이 경우에는, 도 41에서 도시한 바와 같이, 화면에 있어서의 원점 좌표로 하고 있지만, 이 기준점의 위치에 관해서는, 예를 들면 더 양호한 구도를 얻는 것 등을 목적으로 하여, 원점 좌표 이외의 위치가 설정되어도 좋은 것이다.
또한, 상기 도 14 내지 도 23에 의해 설명한 예는 일부이고, 본원 발명에 의한 구도 판정을 적용할 수 있는 장치, 시스템, 어플리케이션 소프트웨어 등은 그 밖에도 고려된다.
또한, 지금까지의 실시의 형태의 설명에서는, 피사체(대상 개별 피사체)는, 사람인 것을 전제로 하고 있지만, 예를 들면, 사람 이외의 동물을 피사체로 하는 경우에도, 본원 발명을 적용하는 것이 고려된다.
또한, 본원 발명하에서 판정되는 구도(최적 구도)는, 반드시, 3분할법 등의 구도 설정 수법에 대해, 대상 개별 피사체 수의 요소를 가미한 수법에 의해 결정된 구도로 한정되는 것이 아니다. 예를 들면 일반적으로는 좋지 않다고 되는 구도라도, 구도의 설정 형편상, 유저가 재미를 느끼거나, 오히려 좋다고 느끼는 경우도 있다고 고려된다. 따라서, 본원 발명하에서 판정된 구도(최적 구도)로서는, 실용성, 엔터테인먼트성 등을 고려하여 임의로 설정되면 좋고, 실제로는 특히 제한은 없다.
또한, 상기 실시의 형태에서는, 검출된 개별 피사체로부터 현실 피사체와 비현실 피사체(정지 피사체)를 선별하여, 현실 피사체쪽을 구도 판정의 대상으로 한다. 이것은, 앞에서도 기술한 바와 같이, 예를 들면 포스터의 얼굴 등은 배제하고, 현실의 사람으로서의 피사체만을 대상으로 하는 최적 구도를 얻는 것이 요구되는 용도를 전제로 하고 있다.
그러나, 지금까지의 설명으로부터 자명한 바와 같이, 본원 발명에 의거하여 서는, 비현실 피사체쪽(정지 피사체)을 구도 판정의 대상으로 하도록 구성하는 것도 당연히 가능하다. 현실 피사체를 선별하는 것에 의해서는, 비현실 피사체도 선별하고 있는 것으로서 볼 수 있기 때문이다. 그리고, 이와 같은 구성도, 본원 발명에 의거한 구도 판정의 구성으로서 각종의 장치에 적용할 수 있는 것이고, 그 용도에 의해 유용으로 되는 것이다.
또한, 이에 관해, 본원 발명에 의거한 구도 판정으로서는, 예를 들면 유저 조작이나, 소정의 기기 동작 조건 등에 의거한 판별에 응하여, 구도 판정의 대상으로 하는 피사체를, 현실 피사체와 비현실 피사체로 전환되도록 하는 구성도 고려할 수 있다.
또한, 상기 실시의 형태에서는, 움직임 검출을 이용함으로써, 정지 상태에 있다고 하는 검출 개별 피사체를 정지 피사체로서 검출한 구성을 채택하고 있지만, 움직임 검출에 의거한 이외의 수법을 채택하는 것도 고려된다.
예를 들면, 온도에도 의거한 식별의 방법을 고려할 수 있다. 즉, 현실의 사람인 현실 피사체는 체온 상당의 온도를 갖고 있기 때문에, 주위 온도와는 다른 온도로 되어 있는 것이 통상적이다. 이에 대해, 포스터 등의 비현실 피사체는, 물건이기 때문에 주위 온도와 같아지는 것이 통상적이다. 이것에 의거하여, 현실 피사체와 비현실 피사체를 식별할 수 있다.
그를 위한 구성의 한 예로서는, 이른바 서모그래피의 기술을 받아들이는 등으로, 촬상 화상의 화상프레임 내에서의 온도 분포를 검지하는 것이 고려된다. 화상프레임 내에서 검출된 개별 피사체중에서 주위와 온도가 같은 것에 대해서는 비 현실 피사체(정지 피사체)로서, 같지 않은 것에 대해서는 현실 피사체인 것으로서 식별하면 좋다.
또한, 지금까지 기술하여 온 바와 같이, 본원에 의거한 구성에 있어서의 적어도 일부는, CPU나 DSP에 프로그램을 실행시킴으로써 실현할 수 있다.
이와 같은 프로그램은, 예를 들면 ROM 등에 대해 제조시 등에 기록하여 기억시키는 외에, 리무버블의 기억 매체에 기억시켜 둔 다음, 이 기억 매체로부터 인스톨(업데이트도 포함한다)시키도록 하여 DSP 대응의 불휘발성의 기억 영역이나 플래시 메모리(30) 등에 기억시키는 것이 고려된다. 또한, USB나 IEEE1394 등의 데이터 인터페이스 경유에 의해, 다른 호스트가 되는 기기로부터의 제어에 의해 프로그램의 인스톨을 행하도록 하는 것도 고려된다. 또한, 네트워크상의 서버 등에서의 기억 장치에 기억시켜 둔 다음에, 디지털 스틸 카메라(1)에 네트워크 기능을 주는 것으로 하고, 서버로부터 다운로드하여 취득할 수 있도록 구성하는 것도 고려된다.
도 1은 단순히 얼굴 검출 기술 등을 이용하여 검출한 피사체가 하나인 경우의 구도 판정예를 도시하는 도면.
도 2는 단순히 얼굴 검출 기술 등을 이용하여 검출한 피사체가 2개인 경우의 구도 판정예를 도시하는 도면.
도 3은 단순히 얼굴 검출 기술 등을 이용하여 피사체 검출을 행하는 경우, 현실의 사람만이 아니라, 포스터의 얼굴 등도 검출되는 것을 설명하는 도면.
도 4는 실시의 형태의 구도 판정 블록의 구성예(제 1 예)를 도시하는 도면.
도 5는 실시의 형태의 구도 판정 블록의 구성예(제 2 예)를 도시하는 도면.
도 6은 실시의 형태의 구도 판정 블록의 구성예(제 3 예)를 도시하는 도면.
도 7은 실시의 형태의 구도 판정 블록의 구성예(제 4 예)를 도시하는 도면.
도 8은 실시의 형태의 구도 판정 블록의 구성예(제 5 예)를 도시하는 도면.
도 9는 실시의 형태의 구도 판정 블록의 구성예(제 6 예)를 도시하는 도면.
도 10은 제 1 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차트.
도 11은 제 2 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차트.
도 12는 제 3 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차트.
도 13은 제 4 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차 트.
도 14는 제 5 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차트.
도 15는 제 6 예의 구도 판정 블록에서의 처리 순서예를 도시하는 플로우 차트.
도 16은 실시의 형태의 구도 판정 블록을 적용한, 실시의 형태로서의 촬상 시스템을 구성하는, 디지털 스틸 카메라와 플랫폼을 도시하는 도면.
도 17은 실시의 형태의 촬상 시스템의 동작으로서, 플랫폼에 부착된 디지털 스틸 카메라의 팬 방향 및 틸트 방향에 따른 움직임의 예를 모식적으로 도시하는 도면.
도 18은 실시의 형태의 촬상 시스템에 관한 내부 시스템 구성예를 도시하는 블록도.
도 19는 실시의 형태의 촬상 시스템에 관한 다른 내부 시스템 구성예를 도시하는 블록도.
도 20은 실시의 형태의 촬상 시스템에 관한 다른 내부 시스템 구성예를 도시하는 블록도.
도 21은 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 22는 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 23은 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 24는 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 25는 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 26은 촬상 시스템 이외의 실시의 형태의 구도 판정 블록에 관한 적용예를 도시하는 블록도.
도 27은 실시의 형태의 촬상 시스템을 구성하는 디지털 스틸 카메라의 내부 구성예를 도시하는 블록도.
도 28은 실시의 형태의 촬상 시스템을 구성하는 플랫폼의 내부 구성예를 도시하는 블록도.
도 29는 실시의 형태의 촬상 시스템(디지털 스틸 카메라)에 적용할 수 있는, 중복 검출 회피 기능을 구비한 구도 판정 블록의 구성예를 도시하는 블록도.
도 30은 도 29에 도시하는 구도 판정 블록에서의 정지 검출을 위한 처리 순서예를 도시하는 플로우 차트.
도 31은 도 29에 도시하는 구도 판정 블록에서의 피사체 선별, 구도 판정을 위한 처리 순서예를 도시하는 플로우 차트.
도 32는 실시의 형태의 촬상 시스템(디지털 스틸 카메라)에 적용할 수 있는, 중복 검출 회피 기능 및 정지 피사체 정보의 클리어 기능을 구비하는 구도 판정 블 록의 구성예를 도시하는 블록도.
도 33은 도 32에서의 정지 피사체 정보의 클리어 기능에 대응하는 부위가 실행하게 된다는 처리 순서예를 도시하는 플로우 차트.
도 34는 실시의 형태의 촬상 시스템(디지털 스틸 카메라)에 적용할 수 있는, 중복 검출 회피 기능을 구비하는 구도 판정 블록의 다른 구성예를 도시하는 블록도.
도 35는 도 34에 도시하는 구도 판정 블록이 실행하는 처리 순서예를 도시하는 플로우 차트.
도 36은 피사체의 절대 위치 정보를 구하는 수법예를 설명하기 위한 도면.
도 37은 피사체의 절대 위치 정보를 구하는 다른 수법예를 설명하기 위한 도면.
도 38은 절대 위치 정보를 이용한 피사체 선별 처리를 위한 구성예를 도시하는 블록도.
도 39는 개별 인식이 가능한 피사체 검출 처리가 실행되는 경우에 대응한 피사체 선별 처리를 위한 구성예를 도시하는 블록도.
도 40은 개별 피사체의 구체적인 검출의 방식과 함께, 검출 개별 피사체의 중심과, 복수의 개별 피사체의 총합 피사체 중심의 구하는 방식의 예를 설명하는 도면.
도 41은 촬상 화상 데이터의 화상프레임 내에 설정한 원점 좌표를 설명하는 도면.
도 42는 제 1 예의 구도 제어에 있어서의, 검출된 개별 피사체 수가 하나인 경우의 구도 제어예를 모식적으로 도시하는 도면.
도 43은 제 1 예의 구도 제어에 있어서의, 검출된 개별 피사체 수가 2인 경우의 구도 제어예를 모식적으로 도시하는 도면.
도 44는 제 1 예의 구도 제어에 있어서의, 검출된 개별 피사체 수가 3인 경우의 구도 제어예를 모식적으로 도시하는 도면.
도 45는 제 1 예의 구도 제어를 위한 처리 순서예를 도시하는 플로우 차트.
도 46은 제 2 예의 구도 제어에 있어서의, 검출된 개별 피사체 수가 3인 경우의 구도 제어예를 모식적으로 도시하는 도면.
도 47은 제 2 예의 구도 제어를 위한 처리 순서예를 도시하는 플로우 차트.
(도면의 주요 부분에 대한 부호의 설명)
1 : 디지털 스틸 카메라 2 : 셔터 버튼
3 : 렌즈부 10 : 플랫폼
21 : 광학계 22 : 이미지 센서
23 : A/D 컨버터 24 : 신호 처리부
25 : 인코드/디코드부 26 : 미디어 컨트롤러
27 : 제어부 28 : ROM
29 : RAM 30 : 플래시 메모리
31 : 조작부 32 : 표시 드라이버
33 : 표시부 34 : 플랫폼 대응 통신부
40 : 메모리 카드 51 : 제어부
52 : 통신부 53 : 팬 기구부
54 : 팬용 모터 55 : 팬용 구동부
56 : 틸트 기구부 57 : 틸트용 모터
58 : 틸트용 구동부 61·75 : 촬상 블록
62·73·81·101 : 구도 판정 블록 63 : 팬·틸트·줌 제어 블록
64·71 : 통신 제어 처리 블록 72 : 팬·틸트 제어 처리 블록
82 : 통지 제어 처리 블록 83 : 표시부
84 : 릴리스 제어 처리 블록 100 : 촬상 장치
102 : 메타데이터 작성 처리 블록 103 : 파일 작성 처리 블록
111·131 : 메타데이터 분리 처리 블록
112·132 : 메타데이터 해석 처리 블록
113·133 : 트리밍 처리 블록 123 : 메타데이터 작성 처리 블록
124 : 동화상 기록 처리 블록 134 : 인쇄 제어 처리 블록
201 : 피사체 검출 처리부 202 : 정지 검출 처리부
202 : 구도 판정 처리부 204 : 피사체 선별 처리부
210 : 정지 피사체 정보 보존부 211 : 피사체 선별 처리부
212 : 클리어 제어부 213 : 가속도 센서
300 : 화상프레임 301(301A, 301B) : 피사체
302 : 얼굴화상 포스터
SBJs0 내지 SBJs2 : 대상 개별 피사체

Claims (16)

  1. 받아들인 화상 데이터에 의거한 화상 내에서의 피사체를 검출하는 피사체 검출 수단과,
    상기 화상 데이터에 의거한 화상, 또는 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하여 정지의 상태를 검출하는 정지 검출 수단과,
    상기 정지 검출 수단의 검출 결과에 의거하여, 상기 피사체 검출 수단에 의해 검출되는 피사체중에서, 현실 피사체, 또는 비현실 피사체만을 대상으로 하여 구도를 판정하는 구도 판정 수단을 구비하는 것을 특징으로 하는 구도 판정 장치.
  2. 제 1항에 있어서,
    상기 정지 검출 수단은, 화상 데이터에 의거한 화상을 대상으로 하는 검출 결과로서, 이 화상 내에서 정지하고 있게 되는 정지 영역을 검출함과 함께,
    상기 정지 검출 수단에 의한 정지 영역의 검출 결과에 의거하여, 상기 피사체 검출 수단에 의해 검출되는 피사체에 관해, 현실 피사체와 비현실 피사체를 선별하는 선별 수단을 또한 구비하고,
    상기 구도 판정 수단은, 상기 선별 수단에 의해 선별된 현실 피사체, 또는 비현실 피사체를 대상으로 하여 구도를 판정하는 것을 특징으로 하는 구도 판정 장치.
  3. 제 1항에 있어서,
    상기 정지 검출 수단은, 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하는 검출 결과로서, 정지하고 있게 되는 정지 피사체를 검출함과 함께,
    상기 피사체 검출 수단에 의해 검출되는 피사체에 관해, 상기 정지 피사체로서 검출된 피사체에 관해서는 비현실 피사체로 하고, 상기 정지 피사체로서 검출되지 않은 피사체에 관해서는 현실 피사체로서 선별하는 선별 수단을 또한 구비하고,
    상기 구도 판정 수단은, 상기 선별 수단에 의해 선별된 현실 피사체, 또는 비현실 피사체를 대상으로 하여 구도를 판정하는 것을 특징으로 하는 구도 판정 장치.
  4. 제 1항에 있어서,
    상기 정지 검출 수단은, 화상 데이터에 의거한 화상을 대상으로 하는 검출 결과로서, 이 화상 내에서 정지하고 있게 되는 정지 영역을 검출함과 함께,
    상기 화상 데이터의 화면으로부터 상기 정지 영역 또는 정지 영역 이외를 피사체 판정을 위한 대상으로부터 제외하는 마스킹 처리를 실행하는 마스킹 수단을 또한 구비하고,
    상기 피사체 검출 수단은, 상기 마스킹 수단에 의한 마스킹 처리가 시행된 화상 데이터를 받아들여서 피사체 검출을 실행함으로써, 현실 피사체 또는 비현실 피사체의 어느 하나만을 피사체로서 검출하게 되고,
    상기 구도 판정 수단은, 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하여 구도를 판정하는, 것을 특징으로 하는 구도 판정 장치.
  5. 제 1항에 있어서,
    상기 정지 검출 수단은, 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하는 검출 결과로서, 정지하고 있게 되는 정지 피사체를 검출함과 함께,
    상기 화상 데이터의 화면으로부터 상기 정지 피사체의 영역, 또는 상기 정지 피사체 이외의 영역을 피사체 판정을 위한 대상으로부터 제외하는 마스킹 처리를 실행하는 마스킹 수단을 또한 구비하고,
    상기 피사체 검출 수단은, 상기 마스킹 수단에 의한 마스킹 처리가 시행된 화상 데이터를 받아들여서 피사체 검출을 실행함으로써, 현실 피사체 또는 비현실 피사체의 어느 하나만을 피사체로서 검출하게 되고,
    상기 구도 판정 수단은, 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하여 구도를 판정하는 것을 특징으로 하는 구도 판정 장치.
  6. 제 1항에 있어서,
    상기 정지 검출 수단은, 상기 피사체 검출 수단에 의해 검출되는 피사체를 대상으로 하는 검출 결과로서, 정지하고 있게 되는 정지 피사체를 검출함과 함께,
    상기 정지 피사체마다 관련된 소정의 정보로 이루어지는 정지 피사체 관련 정보를 보존하는 정보 보존 수단과,
    상기 정지 피사체 관련 정보에 의거하여, 상기 피사체 검출 수단에 의해 검 출되는 피사체로부터, 상기 정지 피사체와 일치하게 되는 피사체를 비현실 피사체로 하고, 상기 정지 피사체와 일치하지 않은 것으로 되는 피사체를 현실 피사체로서 선별하는 선별 수단을 또한 구비하고,
    상기 구도 판정 수단은, 상기 선별 수단에 의해 선별된 현실 피사체, 또는 비현실 피사체를 대상으로 하여 구도를 판정하는 것을 특징으로 하는 구도 판정 장치.
  7. 제 6항에 있어서,
    상기 정지 검출 수단은, 상기 피사체 검출 수단에 의해 검출된 다음, 또한 상기 선별 수단에 의해 선별된 상기 정지 피사체와 일치하게 되는 현실 피사체의 후보를 대상으로 하여 정지 피사체를 검출하게 되고,
    상기 구도 판정 수단은, 상기 정지 검출 수단에 의해 검출된 정지 피사체를, 대상의 현실 피사체로 하여 구도를 판정하는 것을 특징으로 하는 구도 판정 장치.
  8. 제 6항에 있어서,
    이 구도 판정 장치 자체의 움직임을 검출하는 움직임 상태 검출 수단과,
    상기 움직임 상태 검출 수단에 의해, 상기 구도 판정 장치 자체의 움직임이 검출된 것에 따라, 상기 정보 보존 수단에 보존되어 있는 정지 피사체 관련 정보를 소거하는 소거 수단을 또한 구비하는 것을 특징으로 하는 구도 판정 장치.
  9. 제 8항에 있어서,
    상기 움직임 상태 검출 수단은,
    이 구도 판정 장치를 소정의 양태로 움직일 수 있는 가동 기구부의 동작만에 의한, 상기 구도 판정 장치 자체의 움직임에 관해서는, 움직임이라고 검출하지 않게 되고,
    상기 가동 기구부가 동작중이고, 또한, 이 가동 기구부 이외의 힘에 의해서도 상기 구도 판정 장치 자체가 움직여질 때에는, 상기 움직임이라고 검출하도록 되어 있는 것을 특징으로 하는 구도 판정 장치.
  10. 제 1항에 있어서,
    팬 방향 및/또는 틸트 방향에 따라 촬상 시야각이 변경되는 촬상 장치가 촬상함에 의해 상기 촬상 화상 데이터를 얻도록 되어 있는 다음,
    상기 정지 검출 수단에 의해 검출되는 상기 정지 피사체의 위치 정보로서, 상기 촬상 화상 데이터에 의거한 화상의 화상프레임 내에서의 수평 및/또는 수직 방향에 있어서의 한계 위치에서 상기 정지 피사체가 위치하고 있을 때의, 상기 촬상 장치의 팬 위치 및/또는 틸트 위치를 나타내는 팬·틸트 위치 정보를 설정하도록 된 위치 정보 설정 수단을 또한 구비하는 것을 특징으로 하는 구도 판정 장치.
  11. 제 10항에 있어서,
    상기 정보 보존 수단은, 상기 정지 피사체 관련 정보로서 상기 팬·틸트 위 치 정보를 포함하는 것으로 되고,
    상기 선별 수단은, 상기 정지 피사체 관련 정보에 포함되는 정지 피사체마다의 상기 팬·틸트 위치 정보와, 상기 피사체 검출 수단에 의해 상기 한계 위치에서 검출된 피사체에 관한 상기 팬·틸트 위치 정보를 비교하고, 상기 정지 피사체 관련 정보에 포함되는 팬·틸트 위치 정보와 일치하게 되는 피사체를 비현실 피사체로 하고, 상기 정지 피사체 관련 정보에 포함되는 팬·틸트 위치 정보와 일치하지 않은 것으로 되는 피사체를 현실 피사체로서 선별하는 것을 특징으로 하는 구도 판정 장치.
  12. 제 1항에 있어서,
    팬 방향 및/또는 틸트 방향에 따라 촬상 시야각이 변경되는 촬상 장치가 촬상함에 의해 상기 촬상 화상 데이터를 얻도록 되어 있는 다음,
    상기 촬상 화상 데이터에 의거한 화상의 수평 및/또는 수직 방향에 있어서의 화상프레임 사이즈와, 이 상기 촬상 화상 데이터에 의거한 화상 내에서 검출된 피사체의 위치에 의거하여, 팬 방향 및/또는 수직 방향에 있어서의 절대적인 각도를 나타내는 절대 위치 대응 각도 정보를 구하고, 이 절대 위치 대응 각도 정보를, 피사체 검출 수단에 의해 검출되는 피사체에 관한 위치 정보로 하는, 위치 정보 설정 수단을 또한 구비하는 것을 특징으로 하는 구도 판정 장치.
  13. 제 12항에 있어서,
    상기 정보 보존 수단은, 상기 정지 피사체 관련 정보로서 상기 절대 위치 대응 각도 정보의 위치 정보를 포함하는 것으로 되고,
    상기 선별 수단은, 상기 정지 피사체 관련 정보에 포함되는 정지 피사체마다의 상기 절대 위치 대응 각도 정보의 위치 정보와, 상기 피사체 검출 수단에 의해 상기 한계 위치에서 검출된 피사체에 관한 상기 절대 위치 대응 각도 정보의 위치 정보를 비교하고, 상기 정지 피사체 관련 정보에 포함되는 절대 위치 대응 각도 정보의 위치 정보와 일치하게 되는 피사체를 비현실 피사체로 하고, 상기 정지 피사체 관련 정보에 포함되는 절대 위치 대응 각도 정보의 위치 정보와 일치하지 않은 것으로 되는 피사체를 현실 피사체로서 선별하는 것을 특징으로 하는 구도 판정 장치.
  14. 제 1항에 있어서,
    상기 피사체 검출 수단은, 피사체마다의 특징을 개별적으로 인식하여 피사체 검출을 행하고, 검출 정보로서, 피사체를 개별적으로 인식 가능하게 하는 개별 인식 정보를 포함하도록 되어 있음과 함께,
    상기 정보 보존 수단은, 상기 정지 피사체 관련 정보로서, 상기 정지 피사체마다의 개별 인식 정보를 포함하는 것으로 되고,
    상기 선별 수단은, 상기 정지 피사체 관련 정보에 포함되는 정지 피사체마다의 개별 인식 정보와, 상기 피사체 검출 수단의 검출 정보에 포함되는 피사체마다의 개별 인식 정보를 비교하고, 상기 정지 피사체 관련 정보에 포함되는 개별 인식 정보와 일치하게 되는 피사체를 비현실 피사체로 하고, 상기 정지 피사체 관련 정보에 포함되는 개별 인식 정보와 일치하지 않은 것으로 되는 피사체를 현실 피사체로서 선별하는 것을 특징으로 하는 구도 판정 장치.
  15. 받아들인 화상 데이터에 의거한 화상 내에서의 피사체를 검출하는 피사체 검출 순서와,
    상기 화상 데이터에 의거한 화상, 또는 상기 피사체 검출 순서에 의해 검출되는 피사체를 대상으로 하여 정지의 상태를 검출하는 정지 검출 순서와,
    상기 정지 검출 순서의 검출 결과에 의거하여, 상기 피사체 검출 순서에 의해 검출되는 피사체중에서, 현실 피사체, 또는 비현실 피사체만을 대상으로 하여 구도를 판정하는 구도 판정 순서를 실행하는 것을 특징으로 하는 구도 판정 방법.
  16. 받아들인 화상 데이터에 의거한 화상 내에서의 피사체를 검출하는 피사체 검출 순서와,
    상기 화상 데이터에 의거한 화상, 또는 상기 피사체 검출 순서에 의해 검출되는 피사체를 대상으로 하여 정지의 상태를 검출하는 정지 검출 순서와,
    상기 정지 검출 순서의 검출 결과에 의거하여, 상기 피사체 검출 순서에 의해 검출되는 피사체중에서, 현실 피사체, 또는 비현실 피사체만을 대상으로 하여 구도를 판정하는 구도 판정 순서를 구도 판정 장치에 실행시키는 것을 특징으로 하는 프로그램.
KR1020090016148A 2008-03-19 2009-02-26 구도 판정 장치, 구도 판정 방법, 프로그램 KR20090100242A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-071721 2008-03-19
JP2008071721A JP4508257B2 (ja) 2008-03-19 2008-03-19 構図判定装置、構図判定方法、プログラム

Publications (1)

Publication Number Publication Date
KR20090100242A true KR20090100242A (ko) 2009-09-23

Family

ID=40707663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090016148A KR20090100242A (ko) 2008-03-19 2009-02-26 구도 판정 장치, 구도 판정 방법, 프로그램

Country Status (6)

Country Link
US (1) US8810673B2 (ko)
EP (1) EP2104336A3 (ko)
JP (1) JP4508257B2 (ko)
KR (1) KR20090100242A (ko)
CN (1) CN101540844B (ko)
TW (1) TWI398826B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190010576A (ko) * 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5189913B2 (ja) * 2008-07-14 2013-04-24 イーストマン コダック カンパニー 画像処理装置
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
WO2011025234A2 (en) * 2009-08-24 2011-03-03 Samsung Electronics Co., Ltd. Method for transmitting image and image pickup apparatus applying the same
JP6020446B2 (ja) * 2011-04-20 2016-11-02 日本電気株式会社 画像表示システム、画像表示装置、画像表示方法及びプログラム
CN102819725A (zh) * 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
TWI446087B (zh) * 2012-08-03 2014-07-21 Wistron Corp 具有自動對焦功能之影像擷取裝置及自動對焦方法
US8825664B2 (en) * 2012-08-17 2014-09-02 Splunk Inc. Indexing preview
KR101800617B1 (ko) * 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
CN104655288A (zh) * 2013-11-25 2015-05-27 杭州美盛红外光电技术有限公司 热像检测装置和热像检测方法
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US20160148279A1 (en) * 2014-11-26 2016-05-26 Adobe Systems Incorporated Content Creation, Deployment Collaboration, and Badges
WO2016125352A1 (ja) * 2015-02-02 2016-08-11 富士フイルム株式会社 カメラ装置、撮像システム、制御方法及びプログラム
CN105991925A (zh) * 2015-03-06 2016-10-05 联想(北京)有限公司 场景构图指示方法和指示装置
CN105323491B (zh) * 2015-11-27 2019-04-23 小米科技有限责任公司 图像拍摄方法及装置
KR20170131101A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
CN106973224B (zh) * 2017-03-09 2020-08-07 Oppo广东移动通信有限公司 辅助构图的控制方法、控制装置及电子装置
JP6938270B2 (ja) * 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法
CN109963068A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理方法、系统及终端设备
CN108307120B (zh) * 2018-05-11 2020-07-17 阿里巴巴（中国）有限公司 图像拍摄方法、装置及电子终端
JP7456385B2 (ja) * 2018-10-25 2024-03-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20210303853A1 (en) * 2018-12-18 2021-09-30 Rovi Guides, Inc. Systems and methods for automated tracking on a handheld device using a remote camera
CN110248104B (zh) * 2019-07-22 2021-03-19 联想(北京)有限公司 一种图像处理方法、装置及电子设备
CN111263063A (zh) * 2020-02-17 2020-06-09 深圳传音控股股份有限公司 拍摄图像的方法、装置及设备
CN114025097B (zh) * 2020-03-09 2023-12-12 Oppo广东移动通信有限公司 构图指导方法、装置、电子设备及存储介质
CN114764891A (zh) 2021-09-16 2022-07-19 杭州天眼智联科技有限公司 用于确定物料构成的方法、装置、电子设备和可读介质
WO2023248806A1 (ja) * 2022-06-20 2023-12-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59898A (ja) 1982-06-28 1984-01-06 松下電工株式会社 高圧放電灯点灯装置
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
TW373396B (en) * 1997-10-30 1999-11-01 Hewlett Packard Co Automatic digital camera image rotation
EP1033879A4 (en) * 1998-09-18 2004-05-19 Mitsubishi Electric Corp CAMERA CONTROL SYSTEM
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
DE60040051D1 (de) 1999-12-03 2008-10-09 Fujinon Corp Automatische Folgevorrichtung
JP2001245278A (ja) * 2000-02-28 2001-09-07 Ty Assist:Kk 監視装置及び方法
US6516154B1 (en) 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
JP2004151523A (ja) * 2002-10-31 2004-05-27 Mitsubishi Electric Corp 地図データ更新装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP2004343315A (ja) 2003-05-14 2004-12-02 Sony Corp 撮像装置
JP4403364B2 (ja) * 2003-05-27 2010-01-27 ソニー株式会社 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
US7349020B2 (en) * 2003-10-27 2008-03-25 Hewlett-Packard Development Company, L.P. System and method for displaying an image composition template
JP4489608B2 (ja) 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
US8289399B2 (en) * 2004-08-09 2012-10-16 Hewlett-Packard Development Company, L.P. System and method for image capture device
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
JP4779610B2 (ja) 2005-12-02 2011-09-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP4457358B2 (ja) 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4940820B2 (ja) * 2006-08-09 2012-05-30 パナソニック株式会社 ネットワークカメラ
JP2008071721A (ja) 2006-09-15 2008-03-27 Furukawa Electric Co Ltd:The 絶縁電線およびその製造方法
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
JP2007179569A (ja) * 2007-03-09 2007-07-12 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
GB2448221B (en) * 2007-04-02 2012-02-01 Samsung Electronics Co Ltd Method and apparatus for providing composition information in digital image processing device
CN100514353C (zh) * 2007-11-26 2009-07-15 清华大学 一种基于人脸生理性运动的活体检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190010576A (ko) * 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램

Also Published As

Publication number Publication date
CN101540844B (zh) 2011-12-14
JP4508257B2 (ja) 2010-07-21
EP2104336A3 (en) 2010-04-28
US8810673B2 (en) 2014-08-19
JP2009231922A (ja) 2009-10-08
US20090256925A1 (en) 2009-10-15
TW200947356A (en) 2009-11-16
TWI398826B (zh) 2013-06-11
CN101540844A (zh) 2009-09-23
EP2104336A2 (en) 2009-09-23

Similar Documents

Publication Publication Date Title
KR20090100242A (ko) 구도 판정 장치, 구도 판정 방법, 프로그램
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
JP4894712B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
JP4851406B2 (ja) 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
CN108111768B (zh) 控制对焦的方法、装置、电子设备及计算机可读存储介质
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2006109005A (ja) 画像出力装置および撮像装置
JP5383207B2 (ja) 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体
JP4207707B2 (ja) 撮像システム
CN115812177A (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP2021022081A (ja) 撮像装置
JP2020043528A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application