JP5098917B2 - 構図判定装置、構図判定方法、プログラム - Google Patents

Description

本発明は、例えば撮像により得られた画像データの画内容から最適構図を判定する構図判定装置と、その方法に関する。さらに構図判定装置が実行するプログラムに関する。

鑑賞者が良いと感じる写真を撮影するためのテクニック的な一要素として、構図の設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画枠内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、熟練した技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。

例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。

特開昭５９−２０８９８３号公報 特開２００１−２６８４２５号公報

例として、人を被写体として想定したとすると、その被写体については、性別、年代（年齢、世代）など、属性として捉えられるいくつかの要素があることになる。上記した構図についてより良いものを求めようとすると、被写体の属性に応じて、適切とされる構図は異なってくる場合があると考えられる。
しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の属性にも適応してより適切な構図の決定が行われるようにすることを目的とする。

そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、１つは画像データを入力して、この画像データの画内容において存在する被写体を検出する被写体検出手段と、上記被写体検出手段により検出された被写体ごとの属性として、上記被写体の年代を検出する属性検出手段と、上記属性検出手段により検出された被写体ごとの属性についての所定の関係性に基づいて構図を判定する構図判定手段と、を備え、上記構図判定手段は、上記被写体ごとに検出された年代に基づいて、大人の被写体と子供の被写体が混在しているときには、大人の被写体と子供の被写体が混在していない場合よりも、画枠内において子供の被写体のほうが中央寄りの配置となるようにして被写体の位置を決定する、構図判定装置とすることとした。
また、他の１つは上記属性検出手段により検出される属性が、被写体の性別であり、上記構図判定手段は、検出された被写体数が２であり、かつ、上記属性検出手段による性別の検出結果に基づいて、２つの検出された被写体の性別が、それぞれ男性と女性である場合には、通常の場合に設定する画枠内の被写体のサイズよりも大きな男性・女性組用の被写体のサイズを設定する、構図判定装置とすることとした。

上記構成では、画像データの画内容において存在する被写体を検出するとともに、検出したこれらの被写体についての属性として、年代または性別の検出も行う。そのうえで、被写体ごとの属性である年代または性別に関する特定の関係性に適合した構図を判定することができる。

上記の構成により、本願発明によっては、被写体の属性に応じてより適切とされる構図が得られることになる。

以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。

１．撮像システムの構成
２．基本の構図判定処理例
３．年代に応じた構図判定（第１例）
４．年代に応じた構図判定（第２例）
５．性別に応じた構図判定
６．顔方向に応じた構図判定
７．アルゴリズム
８．変形例

１．撮像システムの構成

本実施形態の撮像システムの説明に先立ち、本実施形態についての説明を行っていくのにあたり、構図、画枠、画角、撮像視野角、構図なる語を用いることとする。
構図は、ここでは、フレーミングともいわれるもので、例えば画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野角は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
例えば、構図は、画像視野角によって決まる画枠内に収まる被写体の配置状態を指すものとなる。

本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。

図１は、本実施形態に対応する撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。

雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。

そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２（ａ）（ｂ）に示されるものとなる。図２（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する位置状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図２（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。

また、図３は、デジタルスチルカメラ１の内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。

上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。

上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。

また、本実施形態としての信号処理部２４は、撮像画像データを利用して被写体検出としての画像処理を実行することも可能とされている。本実施形態における被写体検出処理がどのようなものであるのかについては後述する。

また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。

表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画像が表示される。

また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。

また表示部３３に対しては、上記のスルー画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにスルー画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、スルー画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。

制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。

操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。

雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。

図４は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。

制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。

通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。

次に、図５のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この図において、デジタルスチルカメラ１は、撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。

撮像記録ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録（記憶）させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック６１における撮像画像データの記録（撮像記録）は、構図判定ブロックの指示、制御により実行される。

構図判定ブロック６２は、撮像記録ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック６２が実行する被写体検出処理（初期顔枠の設定を含む）は、図３との対応では信号処理部２４が実行するようにして構成できる。また、この信号処理部２４による被写体検出処理は、ＤＳＰ(Digital signal Processor)による画像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック６２が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部２７としてのＣＰＵがプログラムに従って実行する処理として実現できる。

パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２の指示に応じて、判定された最適構図に応じた構図、撮像視野角が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック６２は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野角をパン・チルト・ズーム制御ブロック６３に指示する。パン・チルト・ズーム制御ブロック６３は、指示された構図、撮像視野角が得られる撮像方向にデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像記録ブロック６１が備えるとされるズーム機構を制御する。

通信制御ブロック６４は、雲台１０側に備えられる通信制御ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御ブロック６４の通信により、雲台１０の通信制御ブロック７１に対して送信される。

雲台１０は、例えば図示するようにして、通信制御ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御ブロック７１は、デジタルスチルカメラ１側の通信制御ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。

パン・チルト制御処理ブロック７２は、ここでは図示していない雲台１０側のマイクロコンピュータなどが実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。

また、この場合の構図判定ブロック６２は後述するようにして被写体検出処理を実行するが、この被写体検出処理の結果として被写体が検出されないときには、パン・チルト・ズーム制御ブロック６３は、例えば指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。

２．基本の構図判定処理例

本実施形態の撮像システムによる、被写体検出処理によって複数の被写体が検出された場合の基本的な構図判定処理について説明する。なお、ここでは、説明を分かりやすいものとすることの便宜上、２つの被写体が検出された場合を例に挙げる。

ここで、構図判定ブロック６２が実行する被写体検出処理は、取り込んだ撮像画像データの画内容から、人としての被写体を弁別して検出する処理をいうものとする。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
そのうえで本実施形態では、例えば上記のようにして顔検出を応用して被写体検出を行うことに応じて、検出した被写体、即ち検出した顔の画像領域部分を基にして、その被写体についての重心(被写体重心)を設定する。以降の説明から理解されるように、この被写体重心は、構図判定処理のために有効に利用される。
被写体重心の設定の仕方についてはいくつか考えられる。最も簡単な例としては、検出した被写体の顔部分領域に対応して方形の枠(顔枠)を設定したうえで、この顔枠としての四角形の対角線の交点を、被写体重心とするものである。

図６においては、被写体検出処理によって、画枠３００内において２つの被写体ＳＢＪ１、ＳＢＪ２が検出された状態が示されている。そのうえで、この図では、検出された２つの被写体ＳＢＪ１、ＳＢＪ２とともに、被写体重心Ｇ１、Ｇ２が示される。被写体重心Ｇ１が被写体ＳＢＪ１に対応して設定されたものとなり、被写体重心Ｇ２が被写体ＳＢＪ２に対応して設定されたものとなる。

なお、この図における画枠３００は、方形のマスがマトリクス上に配列されて形成されるものとなっている。個々のマスは画枠３００に対応するフレーム画像データを形成する画素を模式的に表している。即ち、この図においては、画枠は、画素のデータの配列により形成されるものであることを模式的に示している。実際の画枠（フレーム画像領域）として採用される画素数は、例えば、水平画素数×垂直画素数＝６４０×４８０などとなる。

また、このようにして画枠３００内において複数の被写体が検出された場合には、これらの被写体全体に対応した総合的な重心(総合被写体重心)についても設定することができる。
総合被写体重心の設定の仕方についてもいくつか考えられる。図６では、検出された被写体が２つである場合に対応するものとして、２つの被写体の被写体重心Ｇ１，Ｇ２を結ぶ線分の中点を総合被写体重心Ｇｔとして設定するものとしている。

なお、総合被写体重心は、検出される被写体が３以上の場合にも対応して予め定めた所定のアルゴリズムによって設定できる。例えば検出された被写体の被写体重心を結ぶ線により多角形を形成し、この多角形について求めた重心の位置に基づいて総合被写体重心を設定することが考えられる。

そして、あくまでも一例であるが、構図判定処理として、図６に示すようにして被写体が検出された場合においては、これらの被写体の配置位置に関する構図を、次のようにして設定する。なお、ここでは、説明を簡単にするために、画枠３００内における被写体ＳＢＪ１，ＳＢＪ２の各サイズについては構図要素としては適切になっていることとする。

図６においては、画枠３００上に対して、２つの仮想線Ｌｘ、Ｌｙを設定している。仮想線Ｌｘは、画枠３００の水平サイズ（水平画素数に相当する）Ｃｘの中点を通過する垂直な線である。仮想線Ｌｙは、画枠３００の垂直サイズ（垂直画素数に相当する）Ｃｙを３等分（Ｃｙ／３）する２本の水平な線のうち、上側となる線である。

そして、上記仮想線Ｌｘ、Ｌｙの交点を目標位置ＴＰとして設定する。この目標位置ＴＰは、被写体配置の構図要素に関係するもので、最適構図とするための被写体位置を得るために総合被写体重心Ｇｔが在るべき画枠３００内の位置（座標）である。つまり、この場合の構図判定処理としては、画枠３００内にて２つの被写体を検出した場合には、その被写体重心Ｇｔが、仮想線Ｌｘ、Ｌｙの交点に位置する状態が最適構図であると判定するものである。
ちなみに、この図に示される目標位置ＴＰは、いわゆる三分割法に従って設定されている。しかし、これは一例であり、構図判定処理として、画枠３００における目標位置ＴＰを、どのような概念、構図決定手法に基づいて決定するのかについては限定されるべきではない。

図７には、上記図６に示した目標位置ＴＰに対して総合被写体重心Ｇｔを位置させたときの画内容が示される。図６に示す画内容の状態から、この図７に示す画内容とするためには、例えば構図判定ブロック６２の指示を受けたパン・チルト・ズーム制御ブロック６２が、目標位置ＴＰに対して被写体重心Ｇｔが位置するようにして、雲台１０のパン・チルト機構を駆動するための制御を実行する。
なお、判定した構図となるようにしてパン・チルト・ズームの制御を行うことについては「構図合わせ制御」ともいう。また、構図判定処理と構図合わせ制御を合わせて「構図制御」ともいう。

図７においては、被写体ＳＢＪ１、ＳＢＪ２の顔部分が、画枠３００において仮想線Ｌｙのほぼちょうど上あたりに位置している。また、この場合には、２つの被写体ＳＢＪ１，ＳＢＪ２が左右にほぼ並んだ状態となっていることに応じて、画枠３００の左右方向においては、被写体ＳＢＪ１，ＳＢＪ２を偏らせることなく、中心（仮想線Ｌｘ）からほぼ等距離となるように配置させている。
ちなみに、このような被写体の配置は、例えば三分割法の下では良い構図の典型の１つとされている。

３．年代に応じた構図判定（第１例）

図８に示される画枠３００内には２つの被写体ＳＢＪａ、ＳＢＪｃが検出されており、その位置としては、ほぼ横並びになっている。この点では、図６の場合と同様となる。
但し、図８においては、人物である被写体に関する年代の属性について、被写体ＳＢＪａは大人であり、被写体ＳＢＪｃは子供であるとする。つまり、画枠内に存在する被写体の属性としてみたときに、大人と子供という関係性を有しているものである。

一般に、被写体として大人と子供とが混在する場合、重視されるのは子供のほうであることが多い。つまり、この場合には、複数の被写体の重要度は均等ではなく、子供のほうが被写体として高い重要度を持つ。このような場合には、図６、図７による基本の構図判定に従って、２つの被写体が左右方向において中央からほぼ等距離にあるようにして構図制御を行うよりも、子供のほうを中央寄りとする配置としたほうが良い構図が得られる。

そこで、本実施形態では、複数の被写体が検出された場合において、これら被写体の年代属性について，大人と子供とが混在しているときには、子供が中央寄りで配置されるように構図判定を行う。
このための構図判定処理として、図８の場合には次のようになる。
この場合においても、基本の構図判定処理の場合と同様に、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃのそれぞれについて、被写体重心Ｇ１，Ｇ２を設定する。そして、被写体重心Ｇ１，Ｇ２を結ぶ線分上において総合被写体重心Ｇｔを設定するのであるが、この際において、図示するように、予め定めた重み付けに応じた比率により、線分の中点よりも子供の被写体ＳＢＪｃの重心Ｇ２に近い側にずらして総合被写体重心Ｇｔの位置を設定する。

なお、上記比率は、総合被写体重心Ｇｔの位置を線分の中点からずらす量を設定するももであるが、これは、次に説明する図９からも理解されるように、結果として、子供の被写体重心Ｇ２を目標位置ＴＰに対してより近づける(偏倚させる)作用を有する。このことから、上記比率については偏倚率ｇともいうことにする。
この偏倚率ｇは、例えば−１≦ｇ≦１の範囲をとるものとして定義できる。偏倚率ｇ＝０では被写体重心Ｇ１，Ｇ２を結ぶ線分の中点に総合被写体重心Ｇｔが位置する。偏倚率ｇが−１に近づくほど総合被写体重心Ｇｔの位置は大人の被写体ＳＢＪａの被写体重心Ｇ１に近くなり、ｇ＝−１では被写体重心Ｇ１と一致する。また、偏倚率ｇが１に近づくほど総合被写体重心Ｇｔの位置が子供の被写体ＳＢＪｃの被写体重心Ｇ２に近くなり、偏倚率ｇ＝１では被写体重心Ｇ２と一致する。

また、この場合においては、検出された被写体が２つで、ほぼ横並びとみてよい位置関係にあり、この点では、図６の場合と同様となる。そこで、この場合の目標位置ＴＰは、図６と同じ規則に従って図６と同じ位置に設定している。

上記図８に示すようにして判定された構図に従って構図合わせ制御を行った結果を、図９に示す。この場合の構図合わせ制御としても、図６，図７の基本例の場合と同様に、目標位置ＴＰに対して、総合被写体重心Ｇｔが位置するようにしてパン・チルト制御を行うものとなる。

例えば図９と図７を比較して分かるように、図９では、子供の被写体ＳＢＪｃのほうが、大人の被写体ＳＢＪａよりも、左右方向において中央に寄って配置された構図となっている。つまり、２つの被写体がそれぞれ大人と子供である場合に適合した、良い構図が得られている。

４．年代に応じた構図判定（第２例）

図１０の画枠３００には、２つの被写体が検出されており、年代属性による区分としては、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃがそれぞれ１つづつ検出されている状態が示されている。この大人・子供の属性からみた関係性という点では、図８の場合と同様であるが、図１０においては、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃが縦方向に沿って並んでいるとみることのできる位置関係となっている。ここでは、大人の被写体ＳＢＪａが下で、子供の被写体ＳＢＪｃが上となっている。

このようにして複数の被写体が縦方向に並んでいる状態においても、年代属性に関して、大人の被写体と子供の被写体とが混在している場合には、図８、図９の場合と同じ理由により、縦方向においても子供の被写体のほうを中央よりに配置させるほうが良い構図が得られる。

そこで、例えば図１０の場合に対応しては、次のような構図判定が行われるようにする。
この場合においても、基本例と同様のアルゴリズムにより、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃとについて、それぞれ被写体重心Ｇ１，Ｇ２を設定する。そのうえで、図８の場合に準じて、被写体重心Ｇ１，Ｇ２を結ぶ線分上において、予め定めた偏倚率ｇに従って総合被写体重心Ｇｔを設定する。
なお、このときの偏倚率ｇは、図９の第１例の場合（被写体が横並びである場合）と同じである必要はなく、被写体が縦並びとなっていることに応じて適切とされる値をしてよい。

また、図１０のようにして２つの被写体が縦並びの位置関係にある場合には、仮想線として、画枠３００の水平サイズを三等分する垂直な２本の仮想線Ｌｘ１、Ｌｘ２を設定するとともに、垂直サイズを三等分する水平な２本の仮想線Ｌｙ１、Ｌｙ２を設定する。

上記の仮想線の設定によっては、画枠内において仮想線の交点が４箇所在ることになるが、図１０の場合には、これらの交点のうち、右下に位置する、仮想線Ｌｘ２と仮想線Ｌｙ２の交点に対して目標位置ＴＰを設定する。
図１０の場合には、子供の被写体ＳＢＪｃが上で、大人の被写体ＳＢＪａが下の位置関係となっている。この位置関係の場合には、目標位置ＴＰについて、先ず、水平方向に沿う仮想線としては下側の仮想線Ｌｙ２上の交点に対して設定することとしている。
仮想線Ｌｙ２上の交点は、左側の仮想線Ｌｘ１との交点と、右側の仮想線Ｌｘ２との交点との２箇所があるが、ここでは、右側の交点に目標位置ＴＰを設定している。ここで、仮想線Ｌｙ２上における右側と左側のいずれの交点に目標位置ＴＰを設定するのかについてであるが、先ず１つには、一義的にいずれか一方に決めておくことが考えられる。また、例えば年代以外の属性であるなどの特定の他の条件に基づいて、右側と左側のいずれの交点とするのかを決定することとしてもよい。

図１１は、上記図１０により説明した構図の判定結果に従って、構図合わせ制御を行った結果を示している。
この図からも分かるように、上下の位置関係にある大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃのうち、画枠３００の縦方向において、子供の被写体ＳＢＪｃのほうが中央によって配置された構図となっている。つまり、大人よりも子供が中央よりに配置された良い構図が得られている。

また、確認のために述べておくと、大人被写体ＳＢＪａが上で、子供被写体ＳＢＪｃが下となる、図１０の場合とは逆の位置関係の場合には、構図判定処理において、垂直な仮想線Ｌｘ２(若しくは仮想線Ｌｘ１)と、水平方向に沿う上側の仮想線Ｌｙ１との交点に対して目標位置ＴＰを設定する。これにより、構図合わせの結果としては、子供被写体ＳＢＪｃが中央よりに配置される構図が得られる。

なお、図１１からも分かるように、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃが上下となる位置関係においては、偏倚率ｇを高めに設定して総合被写体重心Ｇｔを、子供側の被写体重心Ｇ１側に近づけすぎると、構図制御の結果として、子供の被写体ＳＢＪｃが中央よりも下側となる構図が得られがちになる。また、大人被写体ＳＢＪａが許容範囲を超えて画枠からはみ出しすぎてしまい、かえって良くない構図となるケースが生じる可能性も出てくる。従って、この場合の偏倚率ｇについては、図８の場合よりも小さい（０に近い）値を設定することのほうが好ましい。
また、現実には、被写体が３以上の場合において、子供の被写体の横方向にも縦方向にも大人の被写体が位置しているような状態となることは当然起こりえる。このようなことを考慮して、偏倚率ｇについては、水平方向成分と垂直方向成分とについてそれぞれ個別に求めるようにすればよい。

また、図示は省略するが、図１０の場合において基本例に構図判定処理を行った場合には、次のようになる。
即ち、被写体重心Ｇ１，Ｇ２を結ぶ線分の中点に対して総合被写体重心Ｇｔを設定するとともに、目標位置ＴＰについては、例えば垂直な仮想線Ｌｘ２(若しくは仮想線Ｌｘ１)上の画枠内での中点に対して設定することになる。この結果、上下方向に沿っては、大人の被写体ＳＢＪａと子供の被写体ＳＢＪｃとが中央からほぼ均等の距離にあるようにして配置される構図となる。

５．性別に応じた構図判定

図１２においては、画枠３００内において２つの被写体が検出され、かつ、性別の属性について、左側が男性の被写体ＳＢＪｍとされ、右側が女性の被写体ＳＢＪｗとされている状態が示されている。即ち、性別の属性としてみた場合に、男性と女性の組泡となっている関係性を有している。

ここで、構図要素の１つとして、画枠３００内における被写体のサイズを挙げることができる。つまり、画枠内において小さすぎることもなく、また、大きすぎることもなく、適切なサイズとなっていることが、良い構図を得るための一条件であるとされている。

例えば、この図１２に示される検出時の被写体ＳＢＪｍ、ＳＢＪｗのサイズでは、最適構図を満足するにはサイズが小さすぎるとする。そこで、この場合には、構図判定処理により、しかるべきサイズにまで被写体ＳＢＪｍ、ＳＢＪｗを拡大するための拡大率が設定されることになる。なお、ここでいう拡大率は、撮像により得られた画像についてのものとなるので、撮像部位におけるズーム機構に設定するズーム倍率に相当するものとなる。

この拡大率（ズーム倍率）の設定は、例えば次のようにして行う。
先にも述べたように、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠が設定される。ここでは、この枠を顔枠という。図１２においては、顔枠ＦＲとして示されている。この場合の顔枠ＦＲは、検出された被写体における顔の画像部分に対応して方形により配置されるものとなる。

次に、図１３は、上記図１２に示す画内容の下で設定された拡大率に従って構図合わせ制御としてのズーム制御を行って得られたとする画内容を示している。
図１２に示される画内容は、被写体がほぼ横並びとみて良い位置関係にある。このような場合には、最も左の被写体の顔枠ＦＲから最も右の被写体の顔枠ＦＲまでの距離を、被写体総体の水平（横方向）サイズＫとして扱う。
そして、この場合における適正な被写体サイズとは、上記被写体総体の水平サイズＫについて、画枠３００の水平サイズＣｘに対して一定の比率（占有率）ｎ（０＜ｎ＜１）を占めるときであるとして規定する。つまり、K=Cx・nが成立するようにして拡大率を設定すればよい。例えば、図１２に対応して得られている被写体検出時の被写体総体の水平サイズをK1、図１３に対応して得られている構図制御後の被写体総体の水平サイズをK2とし、拡大率（ここでは拡大率を長さとして捉えている）をZとすれば、K2=K1×Zとなるのであるから、拡大率Zは、Z=Cx・n/K1により求めることができる。
このようにして求められた拡大率Zに対応するズーム倍率により、図１２に示した状態からズーム制御を行った結果が、図１３となる。

ただし、ここで図１３に対応して設定されている拡大率は、複数の被写体が検出された場合における通常の拡大率設定のアルゴリズムに従って得られるものであるとする。
この通常のアルゴリズムに従って得られる拡大率は、例えば、２つの被写体が検出された場合であれば、これらの被写体の性別についての属性が男性同士、若しくは女性同士とされ同性である場合には、妥当であり適切な構図を得ることができる。
しかし、２つの被写体が検出された場合において、これらの被写体が男女一組とされていわゆるカップルである場合には、通常の拡大率よりも大きな拡大率による被写体サイズとするほうが、写真画像としてはより雰囲気が良くなる、即ち、より良い構図が得られる。

そこで、検出された被写体数が２であり、かつ、これら被写体の性別についての属性が、それぞれ男性、女性である場合には、構図判定処理における拡大率の設定に際して、通常時に対応する占有率ｎよりも大きな占有率ｍを使用する。

占有率ｍを使用して設定した拡大率によりズーム制御を行って得られた画内容を、図１４に示す。
占有率ｍ、ｎについてはｍ＞ｎの関係であることで、図１４に示される距離Ｋ（＝Ｃｘ・ｍ）は、図１３における距離Ｋ＝（Ｃｘ・ｎ）よりも大きなものとなっている。つまり、図１３と比較して図１４のほうが、画枠３００における男性の被写体ＳＢＪｍ及び女性の被写体ＳＢＪｗのサイズは大きく拡大されている。つまり、被写体がカップルであることに応じてより適切な構図となっている。

なお、図示による説明は省略するが、検出された２つの被写体の性別の属性が、それぞれ男性、女性でとされたうえで、これらの被写体の位置関係が画枠内において上下となっている場合においても、上記の説明に準じて、通常時よりも拡大率を大きく設定すればよい。ただし、拡大率（占有率ｍ）については、被写体の位置関係が上下であることに応じた適切な値を設定すべきであり、必ずしも、被写体の位置関係が水平である場合に設定される拡大率（占有率ｍ）と同じである必要はない。

６．顔方向に応じた構図判定

本実施形態の構図判定ブロック６２では、被写体検出処理に際して、検出した被写体ごとに、その顔方向を検出可能に構成することができる。ここでの顔方向とは、画枠内において被写体の顔が向いているものとして検出された方向をいう。
また、この顔方向の検出にあたっては、その検出結果を、例えば正面、左、右などのようにして段階的に出力する方式もあるが、ここでは、顔方向をベクトルにより検出する方式を採用するものとする。また、顔方向については、横方向の成分（左向き、正面、右向きの方向に対応する）と縦方向(上向き、正面、下向きの方向に対応する)の成分を検出することが可能であるが、ここでは説明を簡単にすることの便宜上、横方向の成分のみを検出するものとする。

横方向に対応する顔方向ベクトルに対応しては、図１７に示す座標軸を定義する。つまり、互いに直交するＸ軸、Ｙ軸を定義する。Ｘ軸は左右方向に対応し、Ｙ軸は前後方向に対応する。但し、後ろ向きの状態の頭部については顔方向を検出しないので、Ｙ軸については交点から前側のみが有効なものとして考える。
そのうえで、顔方向は、この座標において、Ｘ軸、Ｙ軸の交点から、顔が向いている方向を示す単位ベクトルＶＴとして表現される。
この単位ベクトルＶＴは、図示するようにして、Ｙ軸と一致するときを０°、左側に対応するＸ軸と一致するときを９０°、右側に対応するＸ軸と一致するときを２７０°として、左右方向に沿った顔方向に応じて０°〜９０及び０°〜２７０°の角度範囲をとる。この単位ベクトルＶＴのとる角度がθとして表されている。
この場合、左右方向に沿った顔の向き具合を示す数量値（顔方向ベクトル量）Ｓは、
Ｓ=VTsinθ
により表すことができる。
つまり、顔方向ベクトル量Ｓは、−１≦S≦１の範囲をとり、正面を向いているときに０で、左に向くほど１に近い値となり、右に向くほど−１に近くなっていく。

構図に関しては、被写体の向きが正面ではなくこれ以外の方向を向いているときには、画枠内においてその被写体の顔が向いている側、即ち被写体の視線が向いている側に大きな空間を空けた構図とすると、良い雰囲気になる。つまり、画枠内において被写体が向いている方向とは反対の方向に被写体を寄せた配置とすることでより構図が得られる。そのうえで、被写体の向きの度合いに応じて被写体を寄せる量（中心から離す距離）を変更してやると、さらに良い構図を得ることが可能にもなる。

そこで本実施形態では、被写体の属性として顔方向を検出することとして、この検出した顔方向に基づいて、画枠内における被写体の位置をずらすこととした。
そのうえで、さらに、顔方向の検出結果をベクトル量により出力することとして、このベクトル量に応じて画枠内において被写体の位置をずらす量を変更設定することとした。

図１５においては、画枠３００において、２つの被写体ＳＢＪ１，ＳＢＪ２が検出された状態を示している。これらの被写体ＳＢＪ１，ＳＢＪ２は、いずれも画枠３００（画面）において右側を向いているが、顔方向の検出結果として、被写体ＳＢＪ１については顔方向ベクトル量S1が検出され、被写体ＳＢＪ２については顔方向ベクトル量S2が検出されたものとしている。

これらの被写体ＳＢＪ１，ＳＢＪ２は、画枠３００においてほぼ横並びの位置関係にあるとみることができる。そこで、構図判定処理としては、先ず、被写体ＳＢＪ１，ＳＢＪ２ごとに被写体重心Ｇ１，Ｇ２を設定し、被写体重心Ｇ１，Ｇ２を結ぶ線分の中点に対して総合被写体重心Ｇｔを設定する。

ここで、図７，図８の基本例に従った場合には、仮想線Ｌｘ、Ｌｙの交点に対して目標位置ＴＰを設定することになる。
しかし、この場合においては、顔方向ベクトル量S1，S2を加算して得られる値に対応する移動量Δｘを所定の関数などを利用して求める。そして、この場合には、仮想線Ｌｘ、Ｌｙの交点から移動量Δｘだけ水平方向にずらした位置を、目標位置ＴＰとする。
顔方向ベクトル量S1，S2の加算値S1+S2によっては、検出された被写体全てを総合して１つの被写体としてみた総体的な顔方向ベクトル量(S_total)が示されることになる。この被写体総体の顔方向ベクトル量S_totalは、顔方向の属性についての個々の被写体間の関係性を示しているものとしてみることができる。
そして、本実施形態では、この被写体総体の顔方向ベクトル量S_totalに対応して、画枠内において、顔が向いている方向とは反対に被写体をずらす量、即ち移動量Δｘを決定しようとするものである。

具体的に、図１５においては、被写体ＳＢＪ１，ＳＢＪ２は、いずれも画枠３００(画面)内にて右側を向いている。つまり、被写体の総体としても顔方向は右向き傾向であることになる。このために、被写体ＳＢＪ１，ＳＢＪ２の顔方向ベクトル量S1,S2に基づいて求められる移動量Δｘにより設定される目標位置ＴＰは、図示するようにして、仮想線Ｌｘ、Ｌｙの交点、即ち、水平方向における中央よりも左側に位置することになる。そのうえで、仮想線Ｌｘ、Ｌｙの交点から目標位置ＴＰまでの距離は、S1+S2に対応したものとなっている。

そして、構図合わせ制御としては、このようにして移動量Δｘ分移動された目標位置ＴＰに対して、総合被写体重心Ｇｔを移動させるようにしてパン・チルト制御を行うことになる。

図１６は、上記図１５により説明した構図判定結果に従って構図合わせ制御を行って得られた画内容を示している。
このようにして、目標位置ＴＰに対して総合被写体重心Ｇｔが位置している状態では、、被写体ＳＢＪ１，ＳＢＪ２は画枠３００内において全体的に左側に偏って配置される。換言すれば、画枠３００における右側、即ち、被写体総体の顔が向いているとする方向において、左側よりも右側に大きな空間が空けられた構図となっている。かつ、右側に空けられた空間の広さ、即ち、画枠における被写体ＳＢＪ１，ＳＢＪ２の左側への偏倚量は、被写体総体の顔の向きの度合い（ベクトル量）に応じたものとなっている。
つまり、図１６では、被写体が画面内において顔を向けている方向、及び、その顔を向けている度合いに適合した良好な構図が得られている。

なお、移動量Δｘを求めるための最も簡単な例としては、単位あたりの顔方向ベクトル量に対して一定の画素数pxを対応させたうえで、被写体総体の顔方向ベクトル量をS_totalとして、Δｘ＝S_total pxにより求める、という演算を考えることができる。

また、先にも述べたように、本実施形態においては、横方向における顔方向だけではなく、縦方向における顔方向についても検出可能とされる。つまり、顔がどの程度上を向いているのか、あるいは下を向いているのかを示す、縦方向に対応した顔方向ベクトル量を求めることが可能である。
そのうえで、上記図１５及び図１６の説明に準じて、縦方向に対応する顔方向ベクトル量に基づいては、縦（垂直）方向における目標位置ＴＰの移動量であるΔｙを求めて、目標位置ＴＰを移動させるように構成することも可能である。

７．アルゴリズム

図１５のフローチャートは、本実施形態としての構図制御のための処理手順例を示している。この図に示す処理は、図５に示されるデジタルスチルカメラ１の各機能部位が必要に応じて適宜実行するものとしてみることができる。また、これらの各機能部位が実行する処理は、図１の制御部（ＣＰＵ）２７がプログラムを実行することにより実現される制御、処理の手順としてみることができる。

図１５においては、先ず、ステップＳ１０１にて、構図判定ブロック６２（信号処理部２４）により、撮像記録ブロック６１にてそのときに得られているとされる撮像画像データの取り込み（入力）を開始する。

次のステップＳ１０２では、構図判定ブロック６２（信号処理部２４）により、取り込んだ撮像画像データを利用して被写体検出処理を実行する。
この被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、これまでに述べたようにして、検出した被写体ごとに、その顔の画像部分の領域に対応して顔枠ＦＲを設定する。例えば、被写体数であるとか、被写体検出時点での被写体サイズ及び画枠内の位置などの被写体に関する基本的情報は、この顔枠ＦＲの数、サイズ、位置などにより得ることができる。また、顔枠ＦＲが設定されることに応じて、この段階で、被写体ごとの被写体重心Ｇ１、Ｇ２・・・、及び総合被写体重心Ｇｔも取得される。
なお、この顔検出の方式、手法はいくつか知られているが、本実施形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。

ステップＳ１０３においては、上記ステップＳ１０２による被写体検出処理によって少なくとも１つの被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合にはステップＳ１０２に戻り、被写体探索のための被写体検出処理を実行する。ここでの被写体探索とは、デジタルスチルカメラ１側にて雲台１０のパン／チルト方向への移動を制御するとともに、ズーム制御も行って撮像視野角を変更していくことで、被写体が存在する撮像画像データが得られる状態とすることをいう。

ステップＳ１０３において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップＳ１０４に進む。
ステップＳ１０４においては、ステップＳ１０２にて検出されたとする被写体ごとに、構図判定に必要とされる属性を検出する処理を実行させる。

これまでの説明にあっては、年代、性別、顔方向の各被写体属性に基づいた構図制御について述べたが、ここで説明するアルゴリズムでは、これら年代、性別、顔方向の属性を全て総合的に利用したうえで、構図判定処理、構図制御を実行するようにして構成する。つまり、本アルゴリズムでは、年代、性別、顔方向の全ての属性を反映して適切な構図を得ようとするものである。
このために、ステップＳ１０４においては、ステップＳ１０２に対応して検出された被写体ごとに、その属性として、年代（大人、子供）、性別（男性、女性）、顔方向についての検出を行う。

なお、この属性検出処理についても、例えば実際には、ＤＳＰとしての信号処理部２４により実行させるようにして構成すればよい。
また、これら年代、性別、顔方向の検出については、例えばこれまでに知られている技術、アルゴリズムを応用すればよい。

ステップＳ１０４の処理が終了した段階では、検出された被写体ごとに、被写体情報として、顔枠ＦＲの情報（位置、サイズなど）、被写体重心及び総合被写体重心、属性として検出された年代、性別、顔方向を示す情報が得られている。
そこでステップＳ１０５によっては、制御部２７が実行する構図判定ブロック６２の処理として、上記の被写体情報を利用して構図判定処理を実行する。
この構図判定処理により、総合被写体重心Ｇｔの修正、目標位置ＴＰの設定、ズーム倍率（被写体サイズの拡大率）などが決定される。このステップＳ１０５により得られた構図判定結果の情報は、例えばパン・チルト・ズーム制御ブロック６３に対して渡される。

ステップＳ１０６においては、パン・チルト・ズーム制御ブロック６３が構図判定結果に応じた撮像視野角が得られるようにするためのパン・チルト・ズーム制御を実行する。つまり、構図合わせ制御を実行する。

上記ステップＳ１０６による構図合わせ制御が開始されて以降においては、構図判定ブロック６２は、ステップＳ１０７により、実際にそのときの撮像画像データの画像として得られている構図が、ステップＳ１０７により判定した構図と同じであるとみなされる状態（例えば一定以上の近似度となる状態）となったか否か（構図がＯＫであるか否か）を判別することとしている。

ここで、例えば何らかの原因により、構図合わせとして必要なだけの移動量によるパン・チルト・ズーム駆動を行わせたとしても構図がＯＫにならなかった場合には、ステップＳ１０７にて否定の判別結果が得られる。この場合には、ステップＳ１０２に戻ることで、被写体探索処理を再開させることとしている。
これに対して、ステップＳ１０７にて構図がＯＫになったとの判別結果が得られた場合には、ステップＳ１０８に進む。

ステップＳ１０８においては、例えば撮像画像データの画内容について判定したとおりの構図が得られた状態の下、撮像記録すべきタイミングとなるのを待機する。
例えば、本実施形態のデジタルスチルカメラ１は、検出された被写体の顔の表情として少なくとも笑顔を検出可能とされている。そのうえで、例えば予めのユーザ操作などにより、検出された被写体が笑顔であることが検出されているタイミングでときに撮像記録を行うべきモードが設定されているとする。ステップＳ１０８は、例えばこのような笑顔撮影のモードに応じて、撮影記録すべきタイミングであるか否かについての判別を行う。つまり、現在得られている撮像画像データにおいて検出されている被写体の表情が笑顔となっているか否かについて判別する。

ステップＳ１０９においては、撮像記録タイミングがＯＫと成ったか否かについての判別を行っている。
例えば、上記ステップＳ１０８として実行する記録タイミングの判定処理期間において、検出されている被写体の表情が笑顔になったことが検出されたとする。すると、ステップＳ１０９により肯定の判別結果が得られることとなり、ステップＳ１１０に進む。これに対して、上記記録タイミングの判定処理期間を越えても検出されている被写体の表情について笑顔が検出されなければ、ステップＳ１０９において否定の判別結果が得られる。この場合には、ステップＳ１０２に戻り、被写体探索を伴う被写体検出処理を実行する。

ステップＳ１１０においては、例えば制御部２７は、撮像記録ブロック６１に対して撮像記録を指示する。これに応じて、そのときに得られている撮像画像データを、メモリカード４０に対して静止画のファイルとして記録する動作が実行される。

図１９のフローチャートは、上記図１８におけるステップＳ１０５の構図判定処理としての手順例を示している。
先ず、構図判定ブロック６２は、ステップＳ２０１により、検出された被写体に付した番号を示す変数ｎについて初期値として１を設定する。
そのうえで、ステップＳ２０２により、ｎ番目の被写体についての被写体重心Ｇｎを算出して求める。これは、先にも述べたように、最も簡単な例としては、被写体検出時において設定される顔枠の対角線の交点として求めることができる。

ステップＳ２０３においては、変数ｎについて最大値であるか否かを判別している。
ここで否定の判別結果が得られた場合には、未だ被写体重心を求めていない被写体が残っていることになる。そこで、ステップＳ２０４により変数ｎをインクリメントしてステップＳ２０２に戻ることにより、残りの被写体についての被写体重心Ｇｎを求めていくようにする。
そして、検出された全ての被写体についての被写体重心Ｇ１〜Ｇｎを求めたことによりステップＳ２０３において肯定の判別結果が得られたとすると、ステップＳ２０５に進む。

ステップＳ２０５においては、図１８のステップＳ１０４の属性検出結果として年代属性を参照することで、検出された被写体についての年代の内訳として、大人と子供とが混在しているか否かについての判別を行う。
ここで、検出された被写体が大人だけである、若しくは子供だけであるとして否定の判別結果が得られた場合にはステップＳ２０６に進む。
ステップＳ２０６においては、偏倚率ｇを考慮しない、通常の関数を利用した演算によって総合被写体重心Ｇｔを求める。例えば被写体が２つの場合であれば、各被写体の被写体重心Ｇ１，Ｇ２を結ぶ線分の中点として総合被写体重心Ｇｔが求められることになる。

これに対して、ステップＳ２０５において肯定の判別結果が得られた場合にはステップＳ２０７、Ｓ２０８の手順を実行する。
ステップＳ２０７においては偏倚率ｇを設定する。
先に述べたように、この偏倚率ｇは、子供の被写体と大人の被写体が混在している場合において、水平、垂直方向における中心に対してより子供の被写体を寄せることを目的として、通常の総合被写体重心Ｇｔの位置を、子供の被写体の被写体重心に近づけるために利用するパラメータである。
また、前述したように、この偏倚率ｇは、子供の被写体と大人の被写体との位置関係に応じて、水平方向成分に対応する値と垂直方向成分に対応して異なる値をそれぞれ設定することができる。

ステップＳ２０９においては、基本の目標位置ＴＰを設定する。つまり、画枠内における目標位置ＴＰの座標を決定する。ここでいう基本の目標位置ＴＰとは、例えば、図６、図１０などにより説明したように、顔方向ベクトルに応じた移動量Δｘにより移動される前の、基本的な目標位置設定アルゴリズムにより画枠内の位置が決定される目標位置ＴＰのことである。先に図６〜図１１などにより説明したように、この基本の目標位置ＴＰは、被写体の数や位置関係などに基づいて決定されるようになっている。

ステップＳ２１０においては、被写体ごとに求められた顔方向ベクトル量S1〜Snから目標位置ＴＰについての移動量Δｘを算出する。そして、ステップＳ２１１にて、算出された移動量Δｘに応じて目標位置ＴＰの座標を移動する処理を実行する。
なお、確認のために述べておくと、検出された被写体の全てが正面を向いているとすれば、この移動量Δｘは０が求められることになる。

ステップ２１２においては、検出された被写体が男女一組のカップルであるか否かについて判別する。つまり、検出された被写体数が２であり、かつ、性別の属性については、男性と女性の組み合わせになっているか否かについて判別する。
ステップＳ２１２により否定の判別結果が得られた場合には、ステップＳ２１３に進み、カップル以外の被写体に適用すべき通常の拡大率Ｚを設定する。
これに対してステップＳ２１２により肯定の判別結果が得られたのであれば、ステップＳ２１４に進んで、カップルの被写体に対応する拡大率Ｚを設定する。前述したように、ここで設定される拡大率は、ステップＳ２１３により設定される通常の拡大率よりも大きい値を持つものとなる。
なお、確認のために述べておくと、この拡大率Ｚは、構図合わせ制御におけるズーム制御のときに利用するズーム倍率に対応する。

ステップＳ２１５においては、構図判定ブロック６２は、パン・チルト・ズーム制御ブロック６３に対して、構図合わせの制御を指示する。このとき、構図判定ブロック６２は、パン・チルト・ズーム制御ブロック６３に対して、構図合わせ制御に用いるパラメータとして、ステップＳ２０６若しくはステップＳ２０８により求められた総合被写体重心Ｇｔ、ステップＳ２１１により求めた目標位置ＴＰの座標、ステップＳ２１３若しくはステップＳ２１４により求められた拡大率Ｚを出力する。
パン・チルト・ズーム制御ブロック６３は、上記の構図判定ブロック６２の指示に応答して、上記各パラメータを利用して、図１８のステップＳ１０６としての構図合わせ制御（パン・チルト・ズーム制御）を実行することになる。

上記図１９の処理手順によれば、大人と子供が被写体として混在する場合においては子供の被写体が中心に近づくようにする構図制御と、被写体の顔方向に応じて画枠内において被写体をしかるべき方向に寄せる構図制御と、被写体がカップルであることに応じて通常よりも大きな被写体サイズに拡大する構図制御とが組み合わされることになる。
つまり、例えば大人と子供の２つの被写体が検出されており、これらの被写体がいずれも右を向いているとすると、画枠内の左側に被写体を寄せながらも、被写体が大人のみ（若しくは子供のみ）のときよりも子供の被写体が中央寄りとなるような構図とすることが可能になる。

ただし、わかりやすい１つの例として、被写体が男女一組のカップルである場合において、二人ともかなり右を向いているとすると、顔方向ベクトルに基づいては、画枠におけるかなり左の方に目標位置ＴＰが設定されることになる。つまり、被写体は、相当に左側に寄った位置に配置される。
この場合において、図１４にて説明したように、Ｋ＝Ｃｘ・ｍとなる条件を満たすズーム倍率Ｚを設定し、このズーム倍率Ｚに従ってそのまま被写体サイズを拡大したとすると、画枠から被写体の顔がはみ出してしまうような状態となることも考えられる。この場合には、むしろ良くない構図になってしまう。

そこで、本実施形態では、属性に応じた構図制御に関して、被写体のサイズ（ズーム倍率）に関する構図制御よりも、大人と子供が混在する場合の構図制御及び顔方向に応じた構図制御を優先させることとする。そして、被写体がカップルであることに対応して設定する拡大率Ｚについては、Ｋ＝Ｃｘ・ｍとなる条件を満たす拡大率の値を最大値とする範囲において、被写体の顔が適切に画枠内に収まっているとされる状態に対応する最大限の値が設定されるように調整を行う。

図２０のフローチャートは、図１９のステップＳ２１４の被写体がカップルである場合のズーム倍率Ｚの設定処理として、上記したズーム倍率Ｚの調整を行うようにした場合の手順例を示している。

図２０のステップＳ３０１においては、先ず、図１４にて説明したＫ＝Ｃｘ・ｍとなる条件を満たす拡大率Ｚを算出する。ここで算出される拡大率Ｚが、本来、カップルの被写体に対応して設定すべき拡大率Ｚとしての値であり、カップルの被写体に対応して設定し得る拡大率Ｚの範囲における最大値となる。

ステップＳ３０２においては、現在において設定されている拡大率（現目標ズーム率）Ｚに対応して得られる構図の下での被写体の顔枠の配置状態を算出して求める。
つまり、図１９のステップＳ２０６若しくはステップＳ２０８により得られた総合被写体重心Ｇｔ、及びステップＳ２１１により得られた目標位置ＴＰの座標、及び、現拡大率Ｚをパラメータとして構図制御を行ったとするときの顔枠の位置サイズを求める。

ここで、本実施形態では、被写体の顔枠が側からはみ出さない状態であれば、被写体の顔が画枠内で写っている構図が確保されているものとして考える。そこで、ステップＳ３０３では、上記ステップＳ３０２により求めた被写体の顔枠の位置サイズの情報から、その顔枠が画枠からはみ出しているか否かについて判別する。

ここで肯定の判別結果が得られた場合には、現拡大率Ｚでは大きすぎることになる。そこで、この場合にはステップＳ３０４に進み、拡大率Ｚについて、予め定めた固定値による縮小係数dec（０＜dec＜１）を乗算して新たな現拡大率Ｚを求める。そのうえで、ステップＳ３０２に戻る。
このような処理を実行していくことで、最終的には、被写体の顔枠が画枠からはみ出さない範囲で最大の拡大率Ｚが設定された段階でステップＳ３０３にて肯定の判別結果が得られることになり、この処理を抜けることになる。つまり、このときの拡大率Ｚが、ステップＳ２１４にて設定する拡大率Ｚとなる。

なお、顔方向に応じて設定される目標位置ＴＰによっては、構図合わせ制御の結果、被写体の顔が画枠からはみ出してしまう可能性は、ステップＳ２１３により設定する通常の拡大率Ｚについてもいえる。
そこで、このための対策としては、図２０に準じた処理を、図１９のステップＳ２１３においても適用すればよい。この際には、ステップＳ３０１にて、図１３により説明したＫ＝Ｃｘ・ｎとなる条件を満たす拡大率Ｚを算出することになる。また、この場合における縮小係数decについては、必ずしもステップＳ２１４の場合と同じである必要はなく、通常の拡大率設定に適合した値を設定すればよい。

また、考え方によっては、例えば上記とは逆に、被写体サイズ（拡大率）の構図制御を、顔方向に応じた目標位置ＴＰの設定（被写体を画枠の一方に寄せる構図制御）よりも優先させるという考え方を取ることができる。
この場合には、先ず、Ｋ＝Ｃｘ・ｎ若しくはＫ＝Ｃｘ・ｍとなる条件を満たす拡大率Ｚを設定する。そのうえで、被写体ごとの顔方向ベクトル量S1〜Ｓｎにより求められる移動量Δｘを最大値として、この範囲内で、被写体の顔枠がはみ出さない適切な移動量Δｘを求めるようにすればよい。

８．変形例

次に、上記本実施形態としての撮像システムについての変形例について説明していく。
先ず、図２１に示す撮像システムでは、デジタルスチルカメラ１において、撮像記録ブロック６１により得られる撮像画像データを、通信制御処理ブロック６４から雲台１０側の通信制御ブロック７１に対して送信するようにされている。

また、この図２１においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、及び構図判定ブロック７３が示されている。
通信制御処理ブロック７１により受信された撮像画像データは、構図判定ブロック７３に対して出力される。この構図判定ブロック７３は、例えば先に図５に示した構図判定ブロック６２の構成が適用される。つまり、入力した撮像画像データを基として、被写体検出、属性検出、及び構図判定処理を実行する。そして、この場合には、例えば、判定された最適構図が得られる撮像方向（撮像視野角）とするためのパン機構部とチルト機構部の移動量を求め、この移動量を指示するパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。これにより、構図判定ブロック７３にて判定した最適構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図２１に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく構図判定とこれに応じたパン・チルト制御とを実行するようにして構成しているものである。
また、この図２１に示す構成においては、撮像視野角の制御として、ズーム（画角）制御を可能とするためには、通信制御処理ブロック６３，７１間での通信を利用して、雲台１０の構図判定ブロック７３にて判定された最適構図に応じた画角を撮像記録ブロックに指示し、この指示された画角となるように撮像記録ブロック６１がズームレンズの駆動を実行するように構成すればよい。

図２２は、本実施形態に対応する撮像システムについての他の変形例としての構成例を示している。なお、この図において、図２１と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像記録ブロック７５が備えられる。この撮像記録ブロック７５は、例えば図５の撮像記録ブロック６１と同様に、撮像のための光学系と撮像素子（イメージセンサ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部、及び撮像記録データの記録制御系から成る。
撮像記録ブロック７５により生成される撮像画像データは、構図判定ブロック７３に出力される。
なお、撮像記録ブロック７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の撮撮像方向とできるだけ一致するようにして設定することが好ましい。つまり、撮像記録ブロック７５は、デジタルスチルカメラ１側の撮像記録ブロック６１により撮像される画像とできるだけ同じとなるようにして、雲台１０にて設けられるようにする。

この場合の構図判定ブロック７３、及びパン・チルト制御処理ブロック７２は、上記図２１と同様にして構図判定と、この構図判定結果に応じたパン・チルト機構の駆動制御を実行する。
但し、この場合の構図判定ブロック７３は、デジタルスチルカメラ１に撮像記録を実行させるタイミングに対応しては、通信制御処理ブロック７１経由でデジタルスチルカメラ１に対して、撮像記録の実行を指示する指示信号を送信させる。デジタルスチルカメラ１では、この指示信号が受信されることに応じて撮像記録を実行し、そのときに撮像記録ブロック６１により得られているとされる撮像画像データの撮像記録を実行する。
このようにして他の変形例では、構図判定及び構図獲得制御に関して、撮像記録の実行動作以外の全ての制御・処理を雲台１０側で完結して行うことができる。

なお、上記の説明では、パン制御、チルト制御に関しては、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１の光学系部（２１）に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１の撮像素子（イメージセンサ２２）から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施形態としての構図獲得制御に相当する動作を完結させることが可能となる。
また、画角制御（ズーム制御）についても、ズームレンズの駆動に代えて、撮像画像データから一部画像領域を切り出すという画像処理を実行することによって実現可能である。
また、デジタルスチルカメラ１の光学系部におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。

なお、これまでの説明にあっては、デジタルスチルカメラ１が雲台１０に取り付けられた撮像システムとしているが、本実施形態としての構図判定と、構図判定結果に基づいた撮像記録の構成自体は、雲台が無くとも、デジタルスチルカメラ１単体でも実現される。
つまり、本実施形態のデジタルスチルカメラ１を、単に固定的に置いた状態とする状況であっても、そこで撮像される画像に応じて構図判定が行われ、この判定結果に応じて自動撮像記録が実行される。そして、このようなデジタルスチルカメラ１の利用の仕方であっても、状況によっては、充分に有用となるものである。

続いては、本実施形態の構図判定の基本構成を、上記撮像システム以外に適用した例について挙げていく。
先ず、図２３は、実施形態としての構図判定のための構成を、デジタルスチルカメラなどの撮像装置単体に対して適用している。この撮像装置は、例えば撮像モード時において撮像装置により撮像している画像が、判定結果に応じた適正な構図になったときに、このことを表示によってユーザに通知する。
このために撮像装置が備えるべき構成として、ここでは構図判定ブロック８１、通知制御処理ブロック８２、表示部８３を示している。ここでの構図判定ブロック８１が、図５に示した構図判定ブロック６２と同等の構成を採るものとされる。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像記録が行える状況にあるものとする。
このような状態の下、構図判定ブロック８１では、先ず、そのときに撮像して得られる撮像画像データを取り込んで、一連の構図判定の処理を実行して、最終的に最適構図を判定する。
そのうえで、さらに、この場合の構図判定ブロック８１としては、そのときに実際に得られている撮像画像データの構図と、判定された最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定する。なお、例えば実際においては、撮像画像データの構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては、多様なアルゴリズムを考えることができ、採用する構図形成要素によっても異なってくるので、ここでは、その具体例については特に言及しない。

このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。

また、表示部８３は、例えば本実施形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、適切な構図、即ち良好な画内容の写真撮影を簡単に行うことが可能になる。

また、図２４に示す例も、上記図２３と同様にデジタルスチルカメラなどの撮像装置単体に対して実施形態の構図判定の構成を適用したものとなる。
先ず、この図に示す構成においては、図２３と同様に、構図判定ブロック８１により、入力される撮像画像データを基にして最適構図を判定する処理を実行するとともに、その後のタイミングにおいて得られる撮像画像データの画内容から最適構図が何であるのかを判定し、次に、撮像画像データの画内容が、判定された最適構図となるのを判定する。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録（撮像記録）するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、デジタルスチルカメラ１を手持ちで撮像する際に、撮像画像について最適構図を有する画内容が得られたタイミングで、自動的にその撮像画像の記録が行われるようにできる。

なお、上記図２３及び図２４の構成は、例えばスチルカメラの範疇であれば、デジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。

図２５も、実施形態の構図判定の基本構成をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。この図に示す撮像装置１００は、図示するようにして、構図判定ブロック１０１、メタデータ作成処理ブロック１０２、ファイル作成処理ブロック１０３を備える。ここでは、構図判定ブロック１０１が、図２の構図判定ブロック２０２に対応する。

ここでは図示していない撮像記録ブロックにより撮像して得られる撮像画像データは、撮像装置１００内の構図判定ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像記録ブロックでの撮像により得られた撮像信号を基に生成されたものである。

先ず構図判定ブロック１０１では、定常的に繰り返し構図判定処理を実行する。
そのうえで、この場合の構図判定処理としては、さらに、判定結果に基づき、入力された撮像画像データの全画像領域において、判定された最適構図が得られるとされる所定の縦横比による画像部分（トリミング画像部分）がどこであるのかを特定する処理を実行する。そして、特定したトリミング画像部分を示す情報を、メタデータ作成処理ブロック１０２に対して出力する。
そして、このような処理を実行していく際に、構図判定ブロック１０１においては、判定結果の履歴情報（判定結果履歴情報）を保持していくようにするとともに、この判定結果履歴情報を参照して、判定した構図が消尽されている場合には、図３に準じて、以降は同じ構図判定結果に基づいたトリミング画像部分の特定を行わないようにする。若しくは図４に準じて構図判定アルゴリズムを変更して、構図判定処理とトリミング画像部分の特定を実行していく。

メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を有する画像を得るために必要な情報から成るメタデータ（編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この編集メタデータは、例えば、対応する撮像画像データとしての画面におけるトリミング画像部分がどこであるのかを示す情報などとなる。

この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（編集メタデータ）が含まれる構造を有したものが得られる。

図２６は、上記図２５の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。

メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位である。そして、解析処理として、編集メタデータを解析した場合には、最適構図が得られるトリミング画像部分を認識する。そして、この認識された画像部分のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。

上記図２５、図２６に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナルの静止画像データから、メタデータを利用して、最適構図となる画像部分を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものであり、ユーザにとっては、非常に編集が簡単になる。
なお、図２６に示す編集装置としての機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。

図２７は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に、実施形態の構図判定の構成を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における構図判定ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合は構図判定ブロック１２２が図２に示した構図判定ブロック２００に相当する。構図判定ブロック１２２は、入力されてくる動画像データの画像について、定常的に、一連の被写体検出、属性検出、構図判定の処理を行う。そのうえで、さらに、上記動画像データの画像の実際の画内容について、判定結果として得た最適構図との差違（近似度）を比較することにより、良否判定を行う。
そして、この比較結果として、実際の撮像画像にて得られている構図と、判定された最適構図とについて一定以上の近似度が得られたのであれば、良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
構図判定ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図区間)がどこであるのかを示す情報(良好構図区間指示情報)を出力する。良好構図区間指示情報)は、例えば動画像データにおける良好構図区間の開始位置と終了位置を示す情報などとされる。

そのうえで、構図判定ブロック１２２は、構図の判定結果履歴情報を保持するとともに、この判定結果履歴情報に基づいて、消尽された構図判定結果に応じては、上記の良好構図区間指示情報は作成しないようにされる。これにより、似たような構図の画像ばかりが良好構図区間として指定される結果を避けることができる。

この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして構図判定ブロック１２２から良好構図区間指示情報を入力した場合には、入力された良好構図区間指示情報により示される画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図２７に示されるようにして、撮像装置１２０に対して構図判定ブロック１２２を備える構成では、構図判定ブロック１２２により良好構図区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、構図判定ブロック１２２により良好な構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。

また、図２５の撮像装置１００に対応する装置としては、図２６に示した編集装置以外に、図２８に示す印刷装置１３０を考えることができる。
この場合には、印刷装置１３０が、印刷すべき画像として、静止画像ファイルを取り込むこととされている。この静止画像ファイルは、例えば撮像装置１００により生成して記録されたものを含み、図示するようにして、静止画としての画像データの実体と、メタデータとを有する構造を持っている。従って、このメタデータは、図２５、図２６に示した静止画像ファイルにおけるものと同意義の内容の構図編集メタデータを含んでいるものである。

このようにして取り込んだファイルは、メタデータ分離処理ブロック１３１が入力する。メタデータ分離処理ブロック１３１は、図２６のメタデータ分離処理ブロック１１１と同様にして、静止画像ファイルのデータから、ファイル本体部分に相当する画像データと、これに付随するメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１３２に対して出力し、画像データについてはトリミング処理ブロック１３３に対して出力する。

メタデータ解析処理ブロック１３２は、取り込んだメタデータについて、図２６のメタデータ分離処理ブロック１１１と同様の解析処理を実行し、トリミング処理ブロック１３３に対してトリミング指示情報を出力する。

トリミング処理ブロック１３３は、図２６におけるトリミング処理ブロック１１３と同様にして、メタデータ分離処理ブロック１３１より入力した画像データから、上記メタデータ分離処理ブロック１３２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分から生成した印刷用の形式の画像データを、印刷用画像データとして、印刷制御処理ブロック１３４に出力する。

印刷制御処理ブロック１３４は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの全体画像から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。

なお、本願発明による構図判定の構成を適用できる装置、システム、アプリケーションソフトウェアなどは、これまでに説明した撮像システム、撮像装置などのほかにも考えられる。

また、これまでの実施形態においては、顔枠である身体部位枠は方形とされているが、例えば、方形以外の形状とされたうえで、この形状に対して適切とされる方向に対するサイズの拡大が行われるようにされてよい。
また、顔枠のサイズ形状を修正したうえでの構図制御（構図判定処理、構図合わせ制御）によりどのような構図が得られるようにするのかについては多様に考えられるものであり、ここでは特に限定されるべきものではない。

また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。

実施形態としての撮像システムを構成するデジタルスチルカメラ及び雲台を示す図である。 実施形態の撮像システムについて、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。 実施形態の撮像システムを構成するデジタルスチルカメラの内部構成例を示すブロック図である。 実施形態の撮像システムを構成する雲台の内部構成例を示すブロック図である。 実施形態における撮像システムについての内部システム構成例を示すブロック図である。 構図判定処理として、基本に沿った一具体例を説明するための図である。 構図判定処理として、基本に沿った一具体例を説明するための図である。 実施形態として、大人と子供の被写体が混在する場合の構図判定処理（第１例）を説明するための図である。 実施形態として、大人と子供の被写体が混在する場合の構図判定処理（第１例）を説明するための図である。 実施形態として、大人と子供の被写体が混在する場合の構図判定処理（第２例）を説明するための図である。 実施形態として、大人と子供の被写体が混在する場合の構図判定処理（第２例）を説明するための図である。 被写体サイズ（ズーム倍率）に関する構図判定処理を説明するための図である。 被写体サイズ（ズーム倍率）に関する構図判定処理例（通常の場合）を説明するための図である。 被写体サイズ（ズーム倍率）に関する構図判定処理例（カップルの場合）を説明するための図である。 顔方向に応じた構図判定処理例を説明するための図である。 顔方向に応じた構図判定処理例を説明するための図である。 顔方向ベクトル量を説明するための図である。 実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 実施形態の構図制御における構図判定処理としての手順例を示す図である。 実施形態の構図判定処理におけるズーム倍率設定のための処理手順例を示すフローチャートである。 実施形態の撮像システムについての、他の内部システム構成例を示すブロック図である。 実施形態の撮像システムについて、他の内部システム構成例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 図２５の撮像装置に対応する編集装置の構成例を示すブロック図である。 撮像システム以外での実施形態における、構図判定ブロックの適用例を示すブロック図である。 図２５の撮像装置に対応する編集装置の構成例を示すブロック図である。

符号の説明

１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 撮像記録ブロック、６２ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４ 通信制御処理ブロック

Claims (5)

1. 画像データを入力して、この画像データの画内容において存在する被写体を検出する被写体検出手段と、
   上記被写体検出手段により検出された被写体ごとの属性として、上記被写体の年代を検出する属性検出手段と、
   上記属性検出手段により検出された被写体ごとの属性についての所定の関係性に基づいて構図を判定する構図判定手段と、を備え、
   上記構図判定手段は、上記被写体ごとに検出された年代に基づいて、大人の被写体と子供の被写体が混在しているときには、大人の被写体と子供の被写体が混在していない場合よりも、画枠内において子供の被写体のほうが中央寄りの配置となるようにして被写体の位置を決定する、
   構図判定装置。
2. 上記属性検出手段により検出される属性が、被写体の性別であり、
   上記構図判定手段は、検出された被写体数が２であり、かつ、上記属性検出手段による性別の検出結果に基づいて、２つの検出された被写体の性別が、それぞれ男性と女性である場合には、通常の場合に設定する画枠内の被写体のサイズよりも大きな男性・女性組用の被写体のサイズを設定する、
   請求項１に記載の構図判定装置。
3. 上記構図判定手段は、上記男性・女性組用の被写体のサイズに応じた画像の拡大率を設定するときには、上記被写体総体の顔の向き具合が示す方向に沿って決定された被写体の位置にて、２つの被写体の顔部分が画枠に収まるようにされた被写体のサイズに対応した上記拡大率を設定する、
   請求項２に記載の構図判定装置。
4. 画像データを入力して、この画像データの画内容において存在する被写体を検出する被写体検出手順と、
   上記被写体検出手順により検出された被写体ごとの属性として、上記被写体の年代を検出する属性検出手順と、
   上記属性検出手順により検出された被写体ごとの属性についての所定の関係性に基づいて構図を判定する構図判定手順と、を備え、
   上記構図判定手順は、上記被写体ごとに検出された年代に基づいて、大人の被写体と子供の被写体が混在しているときには、大人の被写体と子供の被写体が混在していない場合よりも、画枠内において子供の被写体のほうが中央寄りの配置となるようにして被写体の位置を決定する、
   構図判定方法。
5. 画像データを入力して、この画像データの画内容において存在する被写体を検出する被写体検出手順と、
   上記被写体検出手順により検出された被写体ごとの属性として、上記被写体の年代を検出する属性検出手順と、
   上記属性検出手順により検出された被写体ごとの属性についての所定の関係性に基づいて構図を判定する構図判定手順と、を備え、
   上記構図判定手順は、上記被写体ごとに検出された年代に基づいて、大人の被写体と子供の被写体が混在しているときには、大人の被写体と子供の被写体が混在していない場合よりも、画枠内において子供の被写体のほうが中央寄りの配置となるようにして被写体の位置を決定する、
   構図判定方法を構図判定装置に実行させるプログラム。