JP4902562B2 - 撮像装置、画像処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、被写体から顔領域を検出する機能を有するデジタルカメラ、デジタルビデオカメラ等の撮像装置や画像処理装置、および、これら装置の制御方法に関する。

従来の撮像装置において、撮像画像の中から被写体の顔領域を所定のアルゴリズムで検出し、検出した顔領域を主被写体として様々な処理を行う技術が提案されている。

例えば、特許文献１では、検出した顔領域に対して自動合焦制御（以下、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）制御と示す）を行うことが開示されている。また、特許文献２においては、ＡＦ制御に加え、検出した顔領域を基に、自動露出制御（以下、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御と示す）などの撮影条件の設定を行うことが開示されている。

以下、従来の顔検出によるＡＦ制御の処理の流れを説明する。

まず撮像装置は、顔検出動作モードである場合には、顔検出処理を行う。なお、顔検出の方法としては、特許文献１で参照されている非特許文献１〜３記載のものなどがある。

顔検出処理の結果、顔が検出されると、撮像装置は、検出された顔の数が複数であるかどうかチェックする。撮像装置は、単数である場合は単一顔処理を行い、複数の場合はユーザの操作により自動合焦処理の対象となる顔を選択する測距エリア選択モードが設定されているかどうかチェックする。測距エリア選択モードが設定されている場合は、撮像装置は、液晶モニタにどの顔を選択するかを指定するためのＧＵＩを表示する。ユーザは、自動合焦処理の対象となる顔を選択する。撮像装置は、ユーザが選択した顔を測距エリアとして設定し、ユーザにより選択されたエリアに対して自動合焦処理を行う。また、測距選択モードが設定されていない場合は、撮像装置は、中央に近い顔を測距エリアに設定して、自動合焦処理を行う。

以上のように、従来の顔検出を利用した撮像装置では、複数顔が検出された場合には主被写体となる顔として中央に近い顔を選ぶか、または、ユーザに選択させることが行われている。
特開２００３−１０７３３５号公報 特開２００３−１２７４８９号公報 テレビジョン学会誌Ｖｏｌ．４９， Ｎｏ．６ ｐｐ．７８７−７９７「顔領域抽出に有効な修正HSV表示系の提案」 電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ， Ｎｏ．１１， ｐｐ．１６２５−１６２７「静止濃淡情景画像からの顔領域を抽出する手法」 画像ラボ１９９１−１１（１９９１）「テレビ電話用顔領域検出とその効果」

例えば、３人が横に並んで撮影する場合、撮影の構図によっては右端の人物の顔を主被写体としてＡＦ制御を行いたいときがある。このような場合、従来の技術では、測距エリア選択モードが設定されていないと、中央付近に位置する顔が主被写体として自動的に選択され、自動合焦処理が行われるので、ユーザが所望する人物を主被写体とする好適な構図による撮影ができない。そのため、ユーザが、測距エリア選択モードを設定し、直接主被写体を選択する必要がある。

つまり、従来の主被写体の検出方法では、複数の顔が検出された場合、主被写体となる顔が中央付近にないときには、撮像装置は、好適な構図による撮影を行うためには、ユーザの操作が必要である。そのため、ユーザから顔を選択する操作が煩わしいとの声があがっている。

そこで、本発明は、ユーザの操作を必要とすることなく、好適な構図による撮影を支援する撮像装置、画像処理装置、及び選択方法を提供することを目的する。

黄金比に基づく好適な構図による撮影を支援する撮像装置であって、第１の撮影制御条件により、入射光から画像を生成する撮影機構と、画像フレーム内において２種類の黄金比により定まる２つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも１つ記憶している記憶手段と、前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる１の顔領域を選択する選択手段と、選択された前記顔領域に基づく第２の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段とを備えることを特徴とする。

上記にて示す構成によると、撮像装置は、複数の顔領域が検出されると、境界領域を利用して重み付けを行い、複数の顔領域に対して重み付けに得られた評価値に基づいて、主被写体となる１の顔領域を選択することができる。通常、写真等の構図として、２種類の黄金比にて定まる線分にて囲まれる領域に被写体を配置すると安定した構図となることが知られている。本発明の撮像装置は、境界領域を利用して重み付けを行うので、ユーザが主被写体となる顔領域を選択する操作を行うことなく、好適な構図による撮影を支援することができる。

ここで、前記重み付け手段は、検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する前記評価値を算出し、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

または、前記重み付け手段は、前記重み定数の加算により、前記評価値を算出するとしてもよい。

または、前記重み付け手段は、前記重み定数の乗算により、前記評価値を算出するとしてもよい。

または、前記重み付け手段は、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記顔領域と前記境界領域とが重なる面積を算出し、算出した面積に基づいて前記評価値を算出するとしてもよい。

これらの構成によると、撮像装置は、各顔領域に対して算出された評価値のうち最大となる重みに対する顔領域を主被写体として選択することにより、好適な構図による撮影を支援するので、写真等の構図として安定したものを得ることができる。

ここで、前記選択手段は、全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する１の顔領域を選択し、前記検出手段は、主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域の重心点を検出し、前記重み付け手段は、さらに、検出された重心点それぞれに対して、当該重心点が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた重心点に対する重み付けを行って、当該重心点に対する新たな評価値を算出し、前記選択手段は、取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、最大値となる評価値に対応する顔領域が複数ある場合に、重心点を用いた重み付けを行うので、主被写体となる顔領域をさらに絞り込むことができる。

ここで、前記選択手段は、全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する１の顔領域を選択し、前記検出手段は、主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域から被写体の目の位置を検出し、前記重み付け手段は、さらに、検出された目の位置それぞれに対して、当該目の位置が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた目の位置に対する重み付けを行って、当該目の位置に対する新たな評価値を算出し、前記選択手段は、取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、最大値となる評価値に対応する顔領域が複数ある場合に、目の位置を用いた重み付けを行うので、主被写体となる顔領域をさらに絞り込むことができる。

ここで、前記重み付け手段は、検出された顔領域それぞれに対して、当該顔領域の面積を算出し、算出した面積を用いた重み付けを行って、第１の重みを取得する第１の取得部と、検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第２の重みを取得する第２の取得部と、前記第１の重みと前記第２の重みとから前記評価値を算出する算出部とを備え、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、第１の重みと第２の重みとから顔領域の評価値を算出するので、顔領域が最も大きいものを主被写体として選択するのではなく、顔領域が最大でなくとも写真の構図上安定した位置にある顔領域を主被写体として選択することができる。

ここで、前記検出手段は、さらに、検出した顔領域に対する顔らしさの度合いを示す第１の値を取得し、前記重み付け手段は、検出された顔領域それぞれに対して、当該顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第２の値を取得し、前記第１の値と前記第２の値とから当該顔領域に対する評価値を算出し、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、第１の値と第２の値とから顔領域の評価値を算出するので、境界領域に重なり、且つ最も顔らしいと判断される顔領域を主被写体として選択することができる。

ここで、前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う２つの値の比であり、前記２種類の黄金比それぞれを定める２つの値は、１と２、及び２と３であり、前記境界領域は、２つ値１と２を用いた第１の黄金比にて定まる第１の黄金分割線と、２つの値２と３とを用いた第２の黄金比にて定まる第２の黄金分割線とによりはさまれる領域であるとしてもよい。

この構成によると、撮像装置は、１と２及び２と３とから定まる２種類の黄金比によりはさまれる境界領域を用いるので、フィボナッチ数列を用いた他の比により囲まれる境界領域の全て含めることができる。これにより、撮像装置は、最も広い境界領域を用いて重み付けを行うことができる。

ここで、前記記憶手段は、４つの領域情報を記憶しており、前記重み付け手段は、各領域情報にて示される境界領域それぞれに対して、前記顔領域が当該境界領域と重なるか否かを判断し、重なると判断した１以上の境界領域に対応する各重み係数を用いて前記顔領域に対する評価値を算出するとしてもよい。

この構成によると、撮像装置は、４つの境界領域毎に、顔領域が重なる場合に重み係数を用いて評価値を算出するので、多くの境界領域と重なる顔領域を主被写体として選択することができる。

１．実施の形態１
図１は、実施の形態１における撮像装置１のブロック図である。

撮像装置１は、図１にて示すように、画像入力部（撮影機構）１５１、選択部１５２、制御部１５３、データ記憶部１５４、圧縮・伸張回路１０５と、メモリカード１０６と、顔検出を行う顔検出回路１０７と、ユーザとインタラクティブな表示を行う液晶モニタ１０８と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１とから構成されている。

選択部１５２は、フラッシュメモリ１０９と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０とから構成されている。

制御部１５３は、絞りおよびシャッターの制御を行う絞り・シャッタードライバ１１２と、ズーム制御を行うズームドライバ１１３と、焦点制御を行うフォーカスドライバ１１４とから構成されている。

画像入力部１５１は、撮影レンズ１００、メカニズム１０１、撮像素子１０２、フロントエンド１０３、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０４から構成されている。

撮影レンズ１００は、被写体を結像するためのものであり、ズーム機能を実現するためのズームレンズと、被写体に合焦させるためのフォーカスレンズとからなる。

メカニズム１０１は、メカニカルシャッタ、被写体の明るさを調整するための絞りや、フィルタ等からなり、シャッターや絞りなどを行う。

撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などからなり、撮影レンズ１００により結像された被写体像を電気信号に変換して、アナログの画像データを生成し、フロントエンド１０３へ出力する。

フロントエンド１０３は、撮像素子１０２からの出力に対してゲイン調整やＡ／Ｄ（ａｎａｌｏｇｕｅ／ｄｉｇｉｔａｌ）変換を行い、画像データをデジタルデータとして出力する。

ＤＳＰ１０４は、入力された画素データを加工し、輝度・色差情報またはＲＧＢデータを生成する。

圧縮・伸張回路１０５は、ＤＳＰ１０４が生成した画像データを圧縮・伸張するデジタル信号プロセッサである。

メモリカード１０６は、圧縮された画像を保存し、ＤＲＡＭ１１１は、画像データなどを一時保存する。

以下、画像入力部１５１、選択部１５２、制御部１５３、データ記憶部１５４、及び顔検出回路１０７について説明する。

１．１ 画像入力部１５１
画像入力部１５１は、入力された画像から、顔検出回路１０７が処理する画像データを生成する。例えば、撮像素子１０２からの入力画素数と画像データのフォーマットと、顔検出回路１０７の受け取る画素数と画像データのフォーマットが異なる場合には、画像入力部１５１により解像度変換および画像データのフォーマット変換が行われる。画像入力部１５１は、顔検出回路１０７による顔検出用に変換された画像データを、データ記憶部１５４へ格納する。

このとき、顔検出がなされる前に撮影された画像は、予め決められた（予めメモリに格納されている）第１の値によるホワイトバランス調整、予め決められた（予めメモリに格納されている）第２の値による露出調整、及びシャッターの半押しによる予め定められた焦点位置に基づくピント調整等により撮影されている。なお、本発明における第１の撮影制御条件とは、予め定められた焦点位置に基づくピント調整時のレンズの焦点距離、前記第１の値、及び前記第２の値等である。

１．２ 顔検出回路１０７
顔検出回路１０７は、画像入力部１５１によりデータ記憶部１５４に格納された画像データの中から顔らしい部分（矩形からなる領域）を検出する。ここで、複数の顔らしい部分を見つけた場合は、顔検出回路１０７は、各領域（以下、顔領域という。）の始点の座標（ｘ１、ｙ１）及び終点の座標（ｘ２、ｙ２）からなる顔位置情報を生成し、生成した各顔位置情報を順次データ記憶部１５４へ格納する。これにより、撮像装置１は、顔位置情報に含まれる始点の座標及び終点の座標の各要素の組み合わせにより４つの頂点を特定することにより、顔領域を形成する矩形の領域を特定できる。例えば、始点の座標（ｘ１、ｙ１）及び終点の座標（ｘ２、ｙ２）から、4つの頂点（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ１）、（ｘ２、ｙ２）が特定される。

ここで、どの種類の画像データを利用するかは顔検出回路１０７の処理内容により異なる。例えば、輝度情報のみを入力する場合もあるし、輝度情報を縮小した画像を入力する場合もある。なお、顔検出回路１０７の処理としては、従来例として示したものなどがある。顔検出のアルゴリズムは本発明の主眼ではないので説明を割愛するが、上述したように、顔検出回路１０７は、画像中の顔らしい部分の矩形情報（始点と終点の座標）、つまり顔位置情報を出力する。

なお、顔検出回路１０７では、複数の顔らしい部分が抽出された場合には、それぞれの領域の矩形情報をすべて出力する。また、本実施の形態では、顔検出回路１０７を設けたが、これに限定されない。ＣＰＵ１１０またはＤＳＰ１０４で、顔検出処理をソフトウェア的に行っても同様の効果が期待できる。

１．３ データ記憶部１５４
データ記憶部１５４はＤＲＡＭ１１１から構成されており、画像入力部１５１にて生成された画像データ及び顔検出回路１０７にて生成された複数の顔位置情報を記憶するための領域を有している。

１．４ 選択部１５２
選択部１５２は、上述したように、ＣＰＵ１１０及びフラッシュメモリ１０９から構成されている。

選択部１５２は、検出された複数の顔位置情報それぞれにて示される顔領域のうち、どの顔領域を主被写体の領域として設定するかを決定する。

フラッシュメモリ１０９は、図１にて示すように、選択プログラム１６０を含んでいる。選択プログラム１６０は、複数の顔位置情報それぞれから特定される各顔領域に対して重み付けを行い、重み付けの結果（評価値）からどの顔領域を主被写体の領域として設定するかを決定する処理を行う。なお、選択プログラム１６０には、動作内容を示すコードの他、当該選択プログラムにて使用されるデータをも含まれる。

ＣＰＵ１１０が、選択プログラム１６０を用いることにより選択部１５２の機能を実現する。

選択部１５２は、図２に示すように、判定枠記憶部１７０と、位置による重み付け部１７１と、結果記憶部１７２と、判定部１７３とから構成されている。

判定枠記憶部１７０は、図３にて示す第１〜第４の判定枠４０１、４０２、４０３、４０４それぞれを示す判定枠情報を記憶している。

ここでは、撮像画像のサイズの一例として、縦６００×横９００ドットとして、以下説明する。

第１の判定枠４０１は、画面を水平に１：２の比率に分割する線分と２：３の比率に分割する線分にはさまれた領域である。つまり、第１の判定枠４０１は、始点を（３００、０）、終点を（３６０、６００）とする矩形領域となる。顔位置情報を用いた顔領域の特定方法と同様に、撮像装置１は、始点及び終点を用いて、これら座標の要素の組み合わせにより、第１の判定枠４０１の４つの頂点を特定することができる。

同様に、第２の判定枠４０２は、画面を水平に２：１の比率に分割する線分と３：２の比率に分割する線分にはさまれた矩形領域である。また、第３の判定枠４０３は、画面を垂直に１：２の比率に分割する線分と２：３の比率に分割する線分にはさまれた矩形領域であり、第４の判定枠４０４は、画面を垂直に２：１の比率に分割する線分と３：２の比率に分割する線分にはさまれた矩形領域である。

判定枠記憶部１７０は、具体的には、図４に示すように、判定枠テーブルＴ１０を用いて、第１〜第４の判定枠４０１、４０２、４０３、４０４それぞれに対応する始点の座標位置及び終点の座標位置を記憶している。

結果記憶部１７２は、複数の顔領域それぞれに対して重み付けがされた結果（評価値、ｗｇ）を、当該顔領域に対応する顔位置情報と対応付けて記憶する領域を有している。

次に、位置による重み付け部１７１について説明する。

位置による重み付け部１７１は、データ記憶部１５４にて格納されている複数の顔位置情報それぞれに対応する顔領域において、第１〜第４の判定枠４０１、４０２、４０３、４０４それぞれに対する判定枠情報にて示される始点、終点の座標と、顔領域に対応する顔位置情報とを用いて、当該顔領域が第１〜第４の判定枠４０１、４０２、４０３、４０４と重なる部分があるか否かを判断する。重なると判断する場合には、位置による重み付け部１７１は、顔領域と重なる判定枠に対応する重み定数を加算して、評価値を算出する。位置による重み付け部１７１は、算出した評価値と、当該評価値に対応する顔領域を示す顔位置情報とを対応付けて結果記憶部１７２へ格納する。

判定部１７３は、主被写体の顔領域として、結果記憶部１７２に格納されている複数の位置による評価値のうち最大値となる評価値に対応する顔位置情報を選択する。判定部１７３は、選択した顔位置情報を制御部１５３へ出力する。

ここで、本実施の形態における第１〜第４の判定枠４０１、４０２、４０３、４０４のそれぞれは、比率１：２および２：３は、黄金率または黄金比と呼ばれる比率に基づくものである。黄金比は、約１：１．６１８とされており、これは、フィボナッチ数列の隣り合う値の比が収束する値である。フィボナッチ数列は、連続する２つの数値を加算した結果を続く数列の値とした数列で、１，２，３，５，８，１３，２１，．．．のような値をとる数列である。本発明では、フィボナッチ数列の隣り合う値の比の範囲を、黄金比による判定枠として利用する。フィボナッチ数列を用いた他の比率は、例えば、２：３および３：５である。

これは、写真等の構図として、黄金比の領域に被写体を配置すると安定した構図となるため、写真や絵画ではこの構図を推奨していることに由来する。例えば、カメラのフレームのガイドラインとして画面を水平・垂直に３等分にしたガイドライン（図５にて示すライン５０１、５０２、５０３、５０４）などが表示されるが、このガイドラインを利用してポートレート写真等を撮影した場合には、自然とこの部分（少なくとも１つのガイドライン上）に顔が重なる形になる。本発明では、このような写真撮影において、構図的にこの部分に主被写体が来るということを利用して、検出された顔のうち、この領域に入るものに対して重み付けを行い、主被写体として選択されやすくするものである。

ここで、図５にて示すライン５０１は、図３における第１の判定枠４０１における始点（３００、０）、終点（３００、６００）とする線分に相当する。同様に、ライン５０２は、第２の判定枠４０２における始点（６００、０）、終点（６００、６００）とする線分に、ライン５０３は、第３の判定枠４０３における始点（０、２００）、終点（９００、２００）とする線分に、ライン５０４は、第４の判定枠４０４における始点（０、４００）、終点（９００、４００）とする線分に、それぞれ相当する。

なお、本発明のように黄金比による比率として１：２および２：３を用いることにより、フィボナッチ数列を用いた他の比率により囲まれる判定枠は、全て、比率１：２および２：３を用いて囲まれる判定枠に含まれている。つまり、比率１：２および２：３を用いて囲まれる判定枠が、他の全ての判定枠と比べ最も広い判定枠となっている。

なお、本発明の黄金分割線とは、例えば、画面を水平に１：２の比率に分割する線分や２：３の比率に分割する線分のことであり、境界領域とは、第１から第４の判定枠である。また、本発明の領域情報とは、本実施の形態における判定枠情報である。

１．５ 制御部１５３
制御部１５３は、上述したように絞り・シャッタードライバ１１２、ズームドライバ１１３及びフォーカスドライバ１１４から構成されている。

制御部１５３は、選択部１５２から選択された顔位置情報を受け取ると、受け取った顔位置情報にて示される顔領域を基にピント調整や露出調整やホワイトバランス調整等の処理（以下、撮影に係る処理という）を行い、調整後のピントや露出やホワイトバランス等により撮影するよう画像入力部１５１の制御を行う。

例えば、制御部１５３は、選択された顔領域に基づきピント調整を行い、調整結果に基づいて撮影するよう画像入力部１５１の制御を行う。

なお、ピント調整や露出調整やホワイトバランス調整等の処理については、公知の技術であるので、ここでの説明は省略する。

本発明における第２の撮影制御条件とは、顔領域を基にピント調整を行う際のレンズの焦点距離、露出調整時の値やホワイトバランス調整の値等である。また、本発明における撮影制御手段は、ＣＰＵ１１０と制御部１５３との協働により実現される。

１．６ 撮像装置１の処理
以下、実施の形態１における撮像装置１の撮影処理の流れについて説明する。撮影は、ピントおよび露出をあわせる処理と、メモリカードに画像を記録する処理の大きく２つに大別できる。ここでは、先にメモリカードに画像を記録する処理について説明し、次にピント及び露出判定処理について説明する。

＜画像記録処理＞
撮影レンズ１００を通過した光は、撮像素子１０２により光電変換され、データがフロントエンド１０３に送られる。フロントエンド１０３では、入力された値に対して雑音除去、ゲイン調整等を行った後、Ａ／Ｄ変換を行う。なお、撮像素子１０２がＲＧＧＢのベイヤー配列であった場合は、フロントエンド１０３からの出力はＲ，Ｇ，Ｇ，Ｂの各画素の値となる。

Ａ／Ｄ変換されたデータはＤＳＰ１０４に渡され、ここで歪み補正、キズ補正、画質補正、およびベイヤー配列のデータからＹＣｂＣｒあるいはＲＧＢ等の画素データに変換され、ＤＲＡＭ１１１に一時的に保存される。圧縮・伸張回路１０５では、ＤＲＡＭ１１１に保存された画像データを読み出し、圧縮し、結果をＤＲＡＭ１１１またはメモリカード１０６に書き込む。ＤＲＡＭ１１１に書き込んだ場合は、圧縮・伸張回路１０５は、ＤＲＡＭ１１１に格納された圧縮画像データをメモリカード１０６に転送し、保存する。

以上が、画像を記録するまでの処理である。

＜ピント・露出判定処理＞
撮影レンズ１００を通過した光は、撮像素子１０２より光電変換され、データがフロントエンド１０３に送られる。フロントエンド１０３では、入力された値に対して雑音除去、ゲイン調整等を行った後、Ａ／Ｄ変換を行う。ここまでの処理の流れは、基本的には画像記録処理と同様であるが、ピント・露出合わせの処理では、フロントエンド１０３または撮像素子１０２から出力される画像のサイズ（画素数）は画像記録処理時より少なく（小さく）てもよい。

ＤＳＰ１０４に入力された画像は、ＤＳＰ１０４により輝度・色差画像またはＲＧＢ画像に変換されＤＲＡＭ１１１に保存される。なお、処理にあたりフロントエンド１０３から入力したベイヤー配列の画像をＤＲＡＭ１１１に一時保存してもよい。

ここで、顔認識によるＡＦ制御がＯＮになっている場合には、ＤＲＡＭ１１１に保存されたベイヤー配列の画像データ、または、ＤＳＰ１０４により変換された輝度・色差画像、または、ＲＧＢ画像を顔検出回路１０７に入力し、顔検出処理を行う。

顔検出回路１０７で顔を検出した時に、単一の顔が検出された場合にはＣＰＵ１１０によりフォーカスドライバ１１４、絞り・シャッタードライバ１１２が制御され、検出した顔に対してピント調整と露出調整が行われる。また、複数の顔が検出された場合には、どの顔を主被写体とするかを選択する処理を行う。

（選択処理）
以下において、どの顔を主被写体とするかを選択する選択処理について、図６にて示すフローチャートを用いて説明する。

なお、ここでは、顔検出回路１０７により検出された順序で、データ記憶部１５４に格納されているものとする。

まず、選択部１５２の位置による重み付け部１７１は、ｉを１に初期化し（ステップＳ２０２）、検出された最初の顔領域を示す顔位置情報をデータ記憶部１５４から取得する（ステップＳ２０３）。ステップＳ２０３では、具体的には、位置による重み付け部１７１は、データ記憶部１５４にて格納されている複数の顔位置情報のうち最初に検出された顔位置情報にポインタを設定する。

次に、位置による重み付け部１７１は、設定された顔位置情報にて示される顔領域に対し評価値ｗｇｉの計算し（ステップＳ２０４）、計算された評価値と、当該評価値に対応する顔位置情報とを対応付けて結果記憶部１７２へ格納する（ステップＳ２０５）。

設定された顔領域に対する評価値ｗｇｉの計算後、位置による重み付け部１７１は、評価値の計算を行っていない他の顔領域があるか否かを判断する（ステップＳ２０６）。他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には（ステップＳ２０６における「ＹＥＳ」）、位置による重み付け部１７１は、ｉを更新し（ステップＳ２０８）、評価値の計算を行っていないｉ番目の顔領域を示す顔位置情報を取得し（ステップＳ２０９）、ステップＳ２０４へ戻る。ステップＳ２０９では、具体的には、位置による重み付け部１７１は、ｉ番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は（ステップＳ２０６における「ＮＯ」）、判定部１７３は、主被写体として、最大となる評価値ｗｇｉに対応する顔位置情報を選択し、主被写体の領域決定を終了する（Ｓ２０７）。

（重み計算処理）
ここでは、図６におけるステップＳ２０４にて行われる重みｗｇｉの計算の処理である評価値計算処理について、図７にて示すフローチャートを用いて説明する。

位置による重み付け部１７１は、まず評価値ｗｇｉを初期化（ｗｇｉ＝１．０）する（ステップＳ３０２）。次に、位置による重み付け部１７１は、第１の判定枠４０１に顔領域が重なっているどうかの判定を行う（ステップＳ３０３）。

重なっていると判断する場合には（ステップＳ３０３における「ＹＥＳ」）、位置による重み付け部１７１は、ｗｇｉに重み定数ａ１を加算する（ステップＳ３０４）。以降、同様に顔領域が判定枠４０２、４０３、４０４に重なるかどうかの検出を行い、重なると判断する場合は、評価値ｗｇｉにそれぞれ重み定数ａ２、ａ３、ａ４を加算する（ステップＳ３０５〜Ｓ３１０）。

以上の処理により、４つの判定枠の幾つに重なっているかにより重み付けが行われる。これにより、判定枠に多く重なる画像が主被写体として選択されるようになる。

なお、図７の処理フローではでは、評価値の初期値として１．０を設定したが、これに限定されない。評価値の初期値は、どのような値でもよく、例えば０．０を設定しても本実施の形態と同様の効果が期待できる。

また、本実施の形態では、位置による重み付け部１７１は、判定枠と重なっていると判断する場合に、評価値ｗｇｉに重み定数を加算しているが、これに限定されない。位置による重み付け部１７１は、判定枠と重なっていると判断する場合に、評価値ｗｇｉに重み定数を乗算してもよい。この場合、重み定数は、１より大きな値である。

また、判定枠は４つとしたが、これに限定されない。判定枠は１つ以上であればよい。例えば、水平方向の第３の判定枠４０３のみで判定を行った場合でも同様の効果が期待できる。特に、画面の横方向に写真の長辺をおく撮影の場合には、画面の上１／３程度の位置に主被写体の顔を配置することが多く、第３の判定枠のみによる判定であっても十分な効果が期待できる。

１．７ 具体例
以上の処理について、図８および図９を用いて具体的に説明を行う。図８では、撮像画像８０４において、第１の顔領域８０５、第２の顔領域８０６、第３の顔領域８０７が検出されていることを示している。

図９は、各顔領域に対して重み付けの処理が行われた結果を示している。結果記憶部１７２では、一例として、図９にて示すテーブルＴ１００を用いて各顔領域に対する評価値が格納されている。

ここでは、評価値の初期値を１．０とし、各重み定数の値を０．２とする。

位置による重み付け部１７１は、それぞれの顔領域が図８にて示す第１から第４の判定枠４０１、４０２、４０３、４０４と重なるかどうかを検査し、１つの判定枠と重なる度に０．２の重みを加算した場合の評価値の結果である。例えば、第３の顔領域８０７は２つの判定枠と重なるため、＋０．４が加算され、第３の顔領域８０７の評価値は、１．４となる。

判定部１７３は、結果記憶部１７２にて格納されているテーブルＴ１００から、最大値となる評価値（ここでは、１．４）に対応する顔位置情報を選択する。

１．８ 実施の形態１のまとめ
以上、本実施の形態によれば、複数の顔が検出された場合に、黄金比に基づいた構図情報を利用することで撮影者の意図した主被写体が選択され、ピント・露出調整処理が行われることになる。

２．実施の形態２
図１０は、本発明の実施の形態２における撮像装置２の機能ブロック図である。撮像装置２は、図１０に示すように、画像入力部６０１と、顔検出部６０２と、選択部６０３と、制御部６０４と、データ記憶部６０５から構成されている。

画像入力部６０１、顔検出部６０２、制御部６０４及びデータ記憶部６０５のそれぞれは、実施の形態１にて示す画像入力部１５１、顔検出回路１０７、制御部１５３及びデータ記憶部１５４と同様であるので、ここでの説明は省略する。

以下、選択部６０３について説明する。

２．１ 選択部６０３
選択部６０３は、顔検出部６０２にて検出された複数の顔領域のうち、どの顔領域を主被写体の領域として設定するかを決定する。

選択部６０３は、図１１にて示すように、大きさによる重み付け部７０１と、位置による重み付け部７０２と、重み付け計算部７０３と、判定部７０４と、判定枠記憶部７０５、及び結果記憶部７０６とから構成されている。

（判定枠記憶部７０５）
判定枠記憶部７０５は、実施の形態１の判定枠記憶部１７０と同様に、図３にて示すように、第１〜第４の判定枠４０１，４０２、４０３、及び４０４それぞれに対する判定枠情報を記憶している。

（結果記憶部７０６）
結果記憶部７０６は、複数の顔領域それぞれに対して重み付けがされた結果（評価値）を、当該顔領域に対応する顔位置情報、当該顔領域の面積及び重み係数と対応付けて記憶する領域を有している。

なお、重み係数については、後述する。

（大きさによる重み付け部７０１）
大きさによる重み付け部７０１は、複数の顔領域それぞれにおいて、対応する顔位置情報を用いて、顔領域の面積を算出することにより、重み付けを行う。大きさによる重み付けは、例えば、顔領域の面積そのものを重みとして設定してもよいし、顔領域の面積の大きいものから順に値が小さくなるように一意な重みを設定してもよい。なお、ここでは、顔領域の面積そのものを重みとする。

大きさによる重み付け部７０１は、算出した重み（ここでは、顔領域の面積）を、当該顔領域を示す顔位置情報と対応付けて結果記憶部７０６へ記憶する。

（位置による重み付け部７０２）
位置による重み付け部７０２は、実施の形態１と同様に、判定枠記憶部７０５にて格納されている判定枠情報と、顔領域を示す顔位置情報とを用いて、顔抽出された領域が図３にて示す領域に重なるかどうかにより重み付けを行う。ここでは、重み付けがなされた結果の値を重み係数と呼ぶ。

位置による重み付け部７０２は、算出した重み係数を、算出対象の顔領域を示す顔位置情報と対応付けて結果記憶部７０６へ記憶する。

重み付け方法としては、実施の形態１で示したように図３の各判定枠に重なる場合に重みを大きくする方法や、図３にて示す各判定枠の領域と顔抽出されたエリアの重なる部分の面積により重み付けする方法等があり、どちらを選択した場合も同様の効果が期待できる。ここでは、実施の形態１と同様に、各判定枠に重なる場合に重みを大きくする方法を用いる。

なお、図３にて示す各判定枠の領域は、一例であり、黄金率１：１．６１８に基づいた領域を判定枠として選択すれば、本実施の形態と同様の効果が期待できる。

（重み付け計算部７０３）
重み付け計算部７０３は、大きさによる重み付け部７０１と、位置による重み付け部７０２の重み付けの結果を用いて、検出された各顔領域の評価値（ｗｉ）を計算し、算出した評価値（ｗｉ）と、当該評価値に対応する顔領域を示す顔位置情報とを対応付けて結果記憶部７０６へ格納する。

評価値の計算方法としては、２つの重みの単純な加算、積算、定数倍による加算・積算などの方法があり、それぞれの方法により、大きさと位置のどちらが重視されるかなどが変化する。

例えば、ｉ番目の顔領域の大きさによる重みをｗｓｉ、位置による重み（重み係数）をｗｐｉ、定数をａ、ｂとすると、ｉ番目の顔領域の重みｗｉは、
（数式１） ｗｉ ＝ ａ×ｗｓｉ ＋ ｂ×ｗｐｉ
または、
（数式２） ｗｉ ＝ ａ×ｗｓｉ × ｂ×ｗｐｉ
で計算できる。

なお、本実施の形態では、重みの計算方法として、数式２を用いて説明する。

（判定部７０４）
判定部７０４は、主被写体として、算出された複数の評価値（ｗｉ）のうち最大値（ｍａｘ（ｗｉ））となる評価値（ｗｉ）に対応する顔位置情報を選択する。

２．２ 撮像装置２の動作について
ここでは、撮像装置２の動作について説明する。

撮像装置２の動作は、実施の形態１と同様に、画像記録処理とピント・露出判定処理とに大別される。

画像記録処理については、実施の形態１と同様であるので、ここでの説明は省略する。

ピント・露出判定処理については、複数の顔が検出された場合において、どの顔を主被写体とするかを選択する処理が、実施の形態１とは異なる。

以下において、実施の形態２における選択処理について、実施の形態１と異なる点を中心に説明する。

（選択処理）
実施の形態２における選択処理について、図１２にて示すフローチャートを用いて説明する。

なお、ここでは、顔検出部６０２により検出された順序で、データ記憶部６０５に格納されているものとする。

選択部６０３の大きさによる重み付け部７０１は、面積算出処理により、検出された複数の顔領域それぞれを、検出された順序にて顔領域の面積（ｗｓ）を算出し、算出した顔領域の面積と、対応する顔位置情報とを対応付けて順次結果記憶部７０６に格納する（ステップＳ４０１）。

位置による重み付け部７０２は、重み係数算出処理により、検出された複数の顔領域それぞれを、検出された順序にて重み係数（ｗｐ）を算出し、算出した重み係数と、対応する顔位置情報とを対応付けて順次結果記憶部７０６に格納する（ステップＳ４０２）。

選択部６０３の重み付け計算部７０３は、ｉを１に初期化し（ステップＳ４０３）、検出された最初の顔領域を示す顔位置情報を取得する（ステップＳ４０４）。ステップＳ４０４では、具体的には、重み付け計算部７０３は、結果記憶部７０６にて格納されている複数の顔位置情報のうち１番目に位置する顔位置情報にポインタを設定する。

次に、重み付け計算部７０３は、設定された顔位置情報にて示される顔領域に対し評価値ｗｉを計算し（ステップＳ４０５）、計算された評価値ｗｉと、当該評価値ｗｉに対応する顔位置情報とを対応付けて結果記憶部７０６へ格納する（ステップＳ４０６）。

設定された顔領域に対する評価値ｗｉの計算後、重み付け計算部７０３は、評価値の重み計算を行っていない他の顔領域があるか否かを判断する（ステップＳ４０７）。

他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には（ステップＳ４０７における「ＹＥＳ」）、重み付け計算部７０３は、ｉを更新し（ステップＳ４０９）、評価値の計算を行っていないｉ番目の顔領域を示す顔位置情報を取得し（ステップＳ４１０）、処理動作はステップＳ４０５へ戻る。ステップＳ４１０では、具体的には、重み付け計算部７０３は、結果記憶部７０６にて格納されているｉ番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は（ステップＳ４０７における「ＮＯ」）、判定部７０４は、主被写体として、最大となる評価値ｗｉに対応する顔位置情報を選択し、主被写体の決定を終了する（Ｓ４０８）。

なお、本実施の形態では、重み係数算出処理の前に、面積算出処理を行っているが、これに限定されない。例えば、重み係数算出処理の後、面積算出処理を行ってもよいし、双方の処理を並行して行ってもよい。

また、本実施の形態では、顔領域の面積、重み係数及び評価値それぞれを個別の処理にて算出したが、これに限定されない。例えば、図１２にて示す選択処理において、ステップＳ４０１、Ｓ４０２を省略して、ステップＳ４０３から実行するとし、ステップＳ４０５において、顔領域の面積、重み係数及び評価値それぞれを算出し、ステップＳ４０６において、算出した各値と、顔位置情報とを対応付けて結果記憶部７０６に格納してもよい。

つまり、ある顔領域に対する評価値（ｗｉ）の算出時に、顔領域の面積、重み係数のそれぞれが既に算出されていればよい。

（面積算出処理）
図１２にて示すステップＳ４０１にて行われる面積算出処理について、図１３にて示すフローチャートを用いて説明する。

まず、大きさによる重み付け部７０１は、ｉを１に初期化し（ステップＳ５０１）、検出された最初の顔領域を示す顔位置情報をデータ記憶部６０５から取得する（ステップＳ５０２）。ステップＳ５０２では、具体的には、大きさによる重み付け部７０１は、データ記憶部６０５にて格納されている１番目、つまり最初に検出された顔位置情報にポインタを設定する。

次に、大きさによる重み付け部７０１は、設定された顔位置情報にて示される顔領域の面積（ｗｓ）を計算し（ステップＳ５０３）、計算された顔領域の面積と、当該顔領域に対応する顔位置情報とを対応付けて結果記憶部７０６へ格納する（ステップＳ５０４）。

設定された顔領域の面積の計算後、大きさによる重み付け部７０１は、面積の計算を行っていない他の顔領域があるか否かを判断する（ステップＳ５０５）。他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には（ステップＳ５０５における「ＹＥＳ」）、大きさによる重み付け部７０１は、ｉを更新し（ステップＳ５０６）、面積の計算を行っていないｉ番目の顔領域を示す顔位置情報を取得し（ステップＳ５０７）、処理動作はステップＳ５０３へ戻る。ステップＳ５０７では、具体的には、大きさによる重み付け部７０１は、ｉ番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は（ステップＳ５０５における「ＮＯ」）、動作はステップＳ４０２に移行される。

（重み係数算出処理）
図１２にて示すステップＳ４０２で行われる重み係数算出処理は、図６にて示すステップＳ２０２からステップＳ２０６までを実行することで実現されるので、ここでの説明は省略する。

なお、ステップＳ２０６による判断結果が「ＮＯ」である場合には、動作はステップＳ４０３に移行される。

また、図６にて示すステップＳ２０２からステップＳ２０６を実行することで算出される評価値ｗｇｉが、当該重み係数算出処理における重み係数ｗｐｉとなる。

また、重み係数の算出に用いる顔位置情報は、結果記憶部７０６から順次取得される。

２．３ 具体例
以上の処理について、図８にて示す撮像画像８０４を用いて具体的に説明する。

なお、ここでは、評価値ｗｉを算出する際に用いられる定数ａおよびｂは共に１．０であるとし、重み係数の算出で用いられる初期値を１．０とし、各重み定数ａ１〜ａ４の値を０．２とする。

面積算出処理は、撮像画像８０４から検出された３つの顔領域（第１の顔領域８０５、第２の顔領域８０６、第３の顔領域８０７）それぞれの面積（ｗｓｉ）を算出し、算出した顔領域の面積と顔位置情報とを対応付けて結果記憶部７０６へ記憶する。図１４（ａ）は、各顔領域に対して面積算出の処理が行われた結果を示している。結果記憶部７０６では、一例として、図１４（ａ）にて示すテーブルＴ１０１を用いて各顔領域に対する面積が格納されている。

重み係数算出処理は、３つの顔領域（第１の顔領域８０５、第２の顔領域８０６、第３の顔領域８０７）それぞれの重み係数（ｗｐｉ）を算出し、算出した重み係数と顔位置情報とを対応付けて結果記憶部７０６へ記憶する。図１４（ｂ）は、各顔領域に対して重み係数算出の処理が行われた結果を示している。結果記憶部７０６では、一例として、図１４（ｂ）にて示すテーブルＴ１０２を用いて各顔領域に対する面積及び重み係数が格納されている。

その後、重み付け計算部７０３が、顔領域それぞれに対する評価値（ｗｉ）が算出し、算出した評価値と顔位置情報とを対応付けて結果記憶部７０６へ記憶する。図１４（ｃ）は、各顔領域に対して評価値の算出処理が行われた結果を示している。結果記憶部７０６では、一例として、図１４（ｃ）にて示すテーブルＴ１０２を用いて各顔領域に対する面積、重み係数及び評価値が格納されている。

ここで、大きさによる重み、つまり顔領域の面積をそのまま利用すると、テーブルＴ１０１から第２の顔領域８０６が選択されることとなる。

しかしながら、重み係数を算出し、顔領域の面積に重み係数を乗算すると、最も大きい評価値に対応する顔領域は、第３の顔領域８０７となり、この顔領域が選択されることとなる。

撮影者が黄金比の部分に主被写体を配置している場合には、図１４（ｃ）の結果による選択の方が好ましい結果となる。実施の形態１で説明したように、構図を意識した写真撮影においては、中央の顔領域８０６ではなく顔領域８０７にて示される顔が主被写体である可能性が高い。したがって、こちらの顔を選択したほうがより、撮影者の意図に近くなる。

２．４ 実施の形態２のまとめ
以上のように、黄金比の選択部分に重み付けを行う計算を行い、顔領域のうちどれを主被写体に選択するかを決定することで、撮影者の意図した被写体にピントや露出が合いやすくなる。

なお、本実施の形態においては、顔領域の面積と構図（各判定枠との重なりの判定）のみで評価値の計算を行ったが、例えば顔検出の結果として出力される顔らしさ（顔らしい度合）を、評価値の算出に加えても本実施の形体と同様の効果が期待できる。また、ａとｂを変更することにより、顔の大きさまたは、構図のどちらを優先して選択を行うかを調整することが可能である。

３．実施の形態３
実施の形態１では、顔検出回路１０７にて複数の顔領域が検出され、選択部１５２において、各顔領域に対して重み付けなされ、重み付けの結果により１つの顔領域が選択される。

しかしながら、重み付けの結果において、２以上の顔領域が同一の評価値となる場合があり、この場合、１つの顔領域を選択することができない。

そこで、本発明の実施の形態３は、実施の形態１および実施の形態２の顔検出の領域に対して図１５に示す重心点と目の位置の検出を加え、検出した重心点と目の位置を用いて、再度重み付けを行うことにより、主被写体の候補をさらに絞るものである。

図１５（ａ）において２００１は検出範囲（顔領域）、２００２は検出範囲の重心点である。また、図１５（ｂ）において２００３は検出範囲中の目の位置である。重心点は、検出した範囲の中心部分、または、眉間（目の間）の部分である。

ここでは、実施の形態１にて示す構成要素を用いて、本実施の形態について説明する。

なお、以下の説明では、重心点を用いて説明する。

顔領域に対する評価値により複数の主被写体の候補がある場合に、顔検出回路１０７は、主被写体の候補となる顔領域それぞれに対して、当該顔領域の重心点を検出し、検出した重心点を示す始点及び終点の座標を、当該顔領域を示す顔位置情報と対応付けてデータ記憶部１５４へ格納する。なお、重心点検出方法については、公知の技術であるので、ここでの説明は省略する。

選択部１５２は、主被写体の候補となる顔領域それぞれに対して、対応する重心点と各判定枠とを用いて位置による重み付け（評価値の算出）を行い、最大となる評価値に対応する重心点をデータ記憶部１５４から取得し、取得した重心点に対応する顔位置情報をデータ記憶部１５４から選択する。

ここで、動作の一例を説明する。

撮像装置１は、選択処理において、図６にて示すステップＳ２０７において、重みが最大となる全て顔位置情報を取得する。

取得した顔位置情報が２つ以上存在するか否かを判断し、存在すると判断する場合には、顔検出回路１０７において、取得した２以上の顔位置情報それぞれの重心点を検出する。選択部１５２は、検出された重心点それぞれを用いて、顔領域を用いた評価値の算出と同様の動作により、各重心点に対する評価値を算出し、最大となる評価値に対する重心点を選択する。選択部１５２は、さらに、選択した重心点に対応する顔位置情報を取得する。

以上、本実施の形態における動作を、重心点を用いて説明したが、これに限定されない。目の位置を用いてもよいし、双方を用いてよい。なお、目の位置の検出方法についても、公知の技術であるので、ここでの説明は省略する。

これにより、例えば、図１６（ａ）に示すように４つの顔領域１０１０、１０１１、１０１２及び１０１３が重なるかどうかの判定では、４人の顔領域すべてが重なってしまうような場合でも、各顔領域の重心点１０２０、１０２１、１０２２及び１０２３を用いることにより、図１６（ｂ）に示すように、判定枠に重なる顔を２つに減らすことができ、主被写体の候補を減らすことができる。

また、図１７のように、顔領域での判定では、２人とも顔が判定枠に重なってしまう場合でも、各顔領域の目の位置１０３０及び１０３１のみを判定に利用することで片方のみが重なったと判定することができる。

なお、重心点および目の位置は、構図上重要なポイントであり、この部分を黄金比の部分に配置することは構図的に自然であるため、この部分を利用して判定することで、より重要な顔に重み付けを行うことが可能になる。

以上のように、本発明の実施の形態３によれば、顔領域が大きく、複数の顔が判定枠に重なってしまう場合においても、判定領域を重心点または目の位置のみに絞ることで、検出の精度を向上することが可能になる。

本実施の形態を、実施の形態１における撮像装置１を用いて説明したが、本実施の形態における重心点又は目の位置を用いた重み付けは、実施の形態２に適用しても、上記と同様の効果が得られる。

本実施の形態では、主被写体の候補となる顔領域が複数存在する場合に、顔領域に対する重心点や、目の位置を検出したが、これに限定されない。顔検出部は、顔領域を検出した際に、併せて重心点や、目の位置を検出し、検出した顔領域と対応付けて、重心点や、目の位置を予めデータ記憶部に格納してもよい。

４．実施の形態４
ここでは、実施の形態４における監視システム１０００について、説明する。

監視システム１０００は、図１８にて示すように、監視カメラ１００１と画像処理装置１００２とから構成され、監視カメラ１００１と画像処理装置１００２とはネットワーク１００３を介して接続している。

４．１ 監視カメラ１００１
監視カメラ１００１は、図１９にて示すように、画像入力部１１００、圧縮・伸張部１１０１、データ記憶部１１０２、処理部１１０３、及び送受信部１１０４から構成されている。

画像入力部１１００は、実施の形態１における画像入力部１５１と同様であるので、ここでの説明は省略する。

データ記憶部１１０２は、画像入力部１５１にて生成された画像データを記憶する領域を有している。

圧縮・伸張部１１０１は、データ記憶部１１０２にて格納されている画像データに圧縮処理を施して、圧縮データを生成し、生成した圧縮データを送受信部１１０４を介して、画像処理装置１００２へ送信する。

処理部１１０３は、送受信部１１０４を介して、画像処理装置１００２から、顔位置情報と、ピント調整や露出調整やホワイトバランス調整等の撮影に係る処理を行うための指示とを受け取ると、受け取った顔位置情報に対して指示された処理を行う。

例えば、処理部１１０３は、画像処理装置１００２から顔位置情報及びフォーカス指示を受け取ると、受け取った顔位置情報にて示される顔領域に対して、フォーカス処理を行う。

送受信部１１０４は、圧縮・伸張部１１０１から受け取った圧縮データを、ネットワーク１００３を介して、画像処理装置１００２へ送信する。

また、送受信部１１０４は、ネットワーク１００３を介して画像処理装置１００２から受け取った顔位置情報と、撮影に係る処理を行うための指示とを、処理部１１０３へ出力する。

４．２ 画像処理装置１００２
画像処理装置１００２は、図２０にて示すように、送受信部１２００、圧縮・伸張部１２０１、顔検出部１２０２、データ記憶部１２０３、選択部１２０４、制御部１２０５及び表示部１２０６から構成されている。

顔検出部１２０２、選択部１２０４及び表示部１２０６のそれぞれは、実施の形態１における顔検出回路１０７、選択部１５２及び液晶モニタ１０８のそれぞれと同様であるので、ここでの説明は省略する。

圧縮・伸張部１２０１は、ネットワーク１００３を介して、監視カメラ１００１から圧縮データを受け取ると、受け取った圧縮データに伸張処理を施して、画像データを生成して、生成した画像データを、顔検出部１２０２及び表示部１２０６へ出力する。

データ記憶部１２０３は、顔検出部１２０２にて生成された複数の顔位置情報を記憶するための領域を有している。

制御部１２０５は、実施の形態１と同様に、絞り・シャッタードライバ、ズームドライバ及びフォーカスドライバから構成され、選択部１２０４にて選択された主被写体に対して、ピント調整や露出調整やホワイトバランス調整等の撮影に係る処理を行うための指示と、選択部１２０４にて選択された顔領域を示す顔位置情報とを、送受信部１２００を介して監視カメラ１００１へ送信する。

送受信部１２００は、制御部１２０５から受け取った撮影に係る処理を行うための指示と、顔位置情報とを、ネットワーク１００３を介して監視カメラ１００１へ送信する。

また、送受信部１２００は、ネットワーク１００３を介して監視カメラ１００１から受け取った圧縮データを圧縮・伸張部１２０１へ出力する。

４．３ 監視システム１０００の動作
ここでは、監視システム１０００の動作について、図２１にて示すフローチャートを用いて説明する。

なお、ここでは、撮影に係る処理は、一例として、フォーカスを行うフォーカス処理とする。

監視カメラ１００１は、映像を撮影し（ステップＳ６０１）、撮影した画像データから圧縮データを生成し、生成した圧縮データを画像処理装置１００２へネットワーク１００３を介して送信する（ステップＳ６０２）。

画像処理装置１００２は、監視カメラ１００１からネットワーク１００３を介して、圧縮データを受信すると、受信した圧縮データを伸張して画像データを生成する。画像処理装置１００２は、生成した画像データに対して、顔検出部１２０２による顔認識処理を施して、顔領域を検出する（ステップＳ６０３）。

画像処理装置１００２は、顔検出部１２０２の処理により顔領域が検出されると、選択部１２０４の選択処理により、主被写体を選択する（ステップＳ６０４）。なお、選択処理は、実施の形態１と同様であるので、ここでの説明は省略する。

画像処理装置１００２は、選択した主被写体である顔領域を示す顔位置情報と、フォーカス指示とを、監視カメラ１００１へネットワーク１００３を介して送信する（ステップＳ６０５）。

監視カメラ１００１は、顔位置情報と、フォーカス指示とを、画像処理装置１００２からネットワーク１００３を介して受信すると、受け取った顔位置情報にて示される顔領域に対して、フォーカス処理を施す（ステップＳ６０６）。

４．４ 実施の形態４の変形例
本実施の形態において、選択部１２０４は、実施の形態１の選択部１５２と同様であるとしたが、これに限定されない。選択部１２０４は、実施の形態２の選択部６０３と同様の動作を行ってもよい。

また、本実施の形態において、画像処理装置１００２は、監視カメラ１００１から送られてきた映像を表示する装置としたが、これに限定されない。画像処理装置１００２は、監視カメラ１００１から送られてきた映像を記録する装置であってもよい。

５．変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下の場合も本発明に含まれる。

（１）上述した各実施形態において記載した手法は、コンピュータに実行させることが可能なプログラムとして、例えば磁気ディスク（ハードディスク、フロッピー（登録商標）ディスクなど）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＢＤ−ＲＯＭなど）、半導体メモリ（ＳＤカード、コンパクトフラッシュ（登録商標）、ＵＳＢメモリなど）などの記憶装置、または、ネットワーク等の通信媒体により伝送し、コンピュータがこれらからプログラムを読み込み、実行することで、動作を制御し、実現してもよい。

（２）上記実施の形態１において、撮像装置は、４つの判定枠それぞれの全領域を用いて重み付けを行ったが、これに限定されない。

撮像装置は、４つの判定枠それぞれの領域のうち他の判定枠の領域と重なる部分領域を用いて重み付けを行ってもよい。

部分領域とは、例えば、図３にて示す部分領域４５０、４５１、４５２、４５３である。部分領域４５０、４５１は、判定枠４０１と他の判定枠とが重なる部分であり、部分領域４５２、４５３は、判定枠４０２と他の判定枠とが重なる部分である。

この場合、撮像装置は、４つの部分領域毎に、検出した顔領域が当該部分領域と重なるか否かを順次判定していき、重なると判断する場合に、評価値（ｗｇ）に当該部分領域に割り当てられた重み定数を加算する。

（３）上記実施の形態１において、４つの判定枠それぞれに重み定数ａ１〜ａ４を与え、さらに、部分領域４５０、４５１、４５２、４５３のそれぞれに対して、重みの定数ａ５〜ａ８を与えてもよい。

この場合、例えば、撮像装置は、評価値の算出対象の顔領域が第１の判定領域と重なるか否かを判断する。重なると判断する場合、撮像装置は、さらに、部分領域４５０及び４５１の何れかと重なるか否かを判断する。部分領域４５０及び４５１の何れかに重なると判断する場合には、撮像装置は、顔領域が重なっている部分領域に割り当てられた重み定数（ａ５若しくはａ６）を、評価値（ｗｇ）に加算する。部分領域４５０及び４５１の何れにも重ならないと判断する場合には、撮像装置は、第１の判定枠４０１に割り当てられた重み定数（ａ１）を、評価値（ｗｇ）に加算する。

第２から第４の判定枠に対しても、上記と同様の動作の流れとなるので、説明は省略する。

（４）上記実施の形態３において、撮像装置は、顔領域に対して重み付けを行った後、重心点又は目の位置に対して重み付けを行ったが、これに限定されない。

顔領域に対して重み付けを行う代わりに、重心点又は目の位置に対して重み付けを行ってもよい。

（５）上記実施の形態１において、顔検出回路１０７は顔位置情報とともに、目の位置を出力、つまりデータ記憶部１５４へ格納し、選択部１５２は、顔位置情報及び目の位置を用いて顔領域に対する重み付けを行ってもよい。

この場合、選択部１５２は、重み付け対象の顔領域に対して、実施の形態１と同様に位置による重み付けにより第１の重み（ｗｇ）を計算し、さらに、当該顔領域における目の位置に対して位置による重み付けにより第２の重み（ｗｇ’）を計算する。選択部１５２は、
数式 ｗ＝ｗｇ＋ｗｇ’
により、当該顔領域の評価値（ｗ）を算出する。

なお、当該顔領域の評価値（ｗ）は、第１の重みｗｇと第２の重みｗｇ’との乗算により算出してもよい。

また、位置情報及び目の位置を用いて顔領域に対する重み付けを実施の形態２に適用してもよい。

また、目の位置の代わりに、鼻の位置や重心点を用いてもよいし、目の位置、鼻の位置、重心点のうち２つ以上の情報を用いてもよい。

（６）上記各実施の形態では、検出した顔領域に対する重み付けの方法として、位置による重み付け及び大きさによる重み付けを説明したが、これに限定されない。

顔らしさによる重み付けを用いて、検出した顔領域に対する評価値を算出してもよい。

この場合、顔検出回路は、顔位置情報とともに、顔らしさを示す値をデータ記憶部へ格納する。顔らしさを示す値は、検出された顔領域に基づいて算出され、例えば、０〜２５５までの値である。この値が大きいほど顔である確率が高いことを示す。なお、顔らしさを示す値の算出方法については、公知の技術であるので、ここでは、簡単に説明する。

撮像装置は、予め人の顔の輪郭に係る複数の輪郭データを予め記憶している。顔検出回路は、検出した顔領域と予め記憶している複数の輪郭データとを用いてマッチング処理を行い、検出した顔領域に含まれる顔の輪郭と一致する若しくは類似する輪郭データを取得し、取得した輪郭データと顔領域に含まれる顔の輪郭との差分を算出し、算出した差分の値に応じて顔らしさを示す値を決定する。算出した差分が小さいほど、顔らしさを示す値は大きく、つまり２５５の値に近くなる。

顔らしさによる重み付けでは、この顔らしさを示す値そのものを重み（ｗｆ）としてもよいし、顔らしさを示す値の大きいものから順に値が小さくなるように一意な重みを設定してもよい。

例えば、実施の形態１において、位置による重み（ｗｐｉ）に、顔らしさによる重み（ｗｆｉ）を付加して、顔領域に対する評価値を算出してもよい。このとき、ｉ番目の顔領域の評価値ｗｉを算出には、例えば、
ｗｉ ＝ ｂ・ｗｐｉ ＋ ｃ・ｗｆｉ
または、
ｗｉ ＝ ｂ・ｗｐｉ × ｃ・ｗｆｉ
を用いる。なお、ｃは定数である。

または、実施の形態２において、さらに、顔らしさによる重みを加えてもよい。このとき、ｉ番目の顔領域の評価値ｗｉを算出する際に、数式１を用いるときには、
ｗｉ ＝ ａ・ｗｓｉ ＋ ｂ・ｗｐｉ ＋ ｃ・ｗｆｉ
となり、数式２を用いるときには、
ｗｉ ＝ ａ・ｗｓｉ × ｂ・ｗｐｉ × ｃ・ｗｆｉ
となる。なお、ｃは定数である。

（７）上記実施の形態２の「２．１ 選択部６０３」にて記載した各判定枠の領域と顔抽出されたエリアの重なる部分の面積により重み付けする方法の一例を以下に示す。

位置による重み付け部７０２は、重み係数の算出対象の顔領域に対して、第１〜第４の判定枠と顔領域の重なる部分の面積の合計値を算出し、算出した合計値を重みそのものとする。

または、位置による重み付け部７０２は、算出した合計値面積の大きいものから順に値が小さくなるように一意な重みを設定してもよい。

なお、重心点や目の位置に対しても、同様に、各判定枠の領域と重なる部分の面積により重み付けを行ってもよい。

（８）上記実施の形態では、検出対象として人物の顔を検出したが、これに限定されない。検出対象は、動物の顔であってもよい。

（９）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニットなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（１０）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていても良いし、一部又は全てを含むように１チップ化されてもよい。

また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（１１）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（１２）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

６．まとめ
本発明は、撮像素子からの信号を画像に変換し、記録装置に記録する撮像装置であって、画像中に含まれる顔領域を検出する顔検出部と、顔検出部が検出した複数の領域が、画像を黄金比で分割する領域に重なるかどうかにより検出された顔領域に重み付けを行い、重みの最も大きな顔領域を主被写体として選択する選択部と、選択部で選択された前記顔領域に対して、ピント・露出調整などの所定の制御を行う制御部を備えることを特徴とする。

この構成によると、顔検出部で複数の顔領域が検出された場合に、選択部で構図上主被写体が配置されやすい黄金比の部分に重なる顔領域に重み付けが行われることで、画像のレイアウト上重要となる被写体が主被写体として選択されやすくなる。これにより、制御部での制御が主被写体に対して適切に行われるようになる。

ここで、撮像装置は、選択部が判定する画像中の黄金比の領域として、画像を水平または垂直に１：２〜２：３の比に分ける線分で囲まれるエリアとしてもよい。

この構成によると、判定領域を黄金比の分割線だけではなく幅のあるエリアとして検出することができ、構図が若干ずれている場合にも黄金比の部分に配置されている顔に対して重み付けすることができる。これにより、被写体を大まかに黄金比の部分に配置した場合に対しても対応可能となる。

ここで、撮像装置は、顔検出部で顔領域の重心点、または、目の位置を検出し、選択部でこれらと黄金比で分割する領域が重なるかどうかを検出するとしてもよい。

この構成によると、撮像装置は、精度よく構図情報を利用することができる。

ここで、撮像装置は、顔検出部で抽出された顔領域に対して、顔度合の重みを出力し、選択部の重み計算で、顔領域の大きさの重み、顔度合の重み、黄金比の領域に重なることによる重みを合わせて重み計算を行うとしてもよい。

この構成によると、撮像装置は、主被写体となる顔を精度良く選択可能となる。

また、本発明によると、画像のレイアウト上重要となる被写体が主被写体として選択されやすくなる。

本発明は、撮像装置や画像処理装置を製造及び販売する産業において、経営的、つまり反復的かつ継続的に利用されうる。

本発明にかかる撮像装置、画像処理装置、撮像装置の制御方法およびプログラムは、画像の黄金比の部分で検出された顔に対して重み付けを行い優先的にピントや露出をあわせる処理を有し、デジタルカメラなどの被写体選択機能として有用である。

撮像装置１の構成を示す図である。 選択部１５２の構成を示す図である。 撮像画像のサイズが縦６００×横９００ドットである場合における第１〜第４の判定枠４０１、４０２、４０３、４０４それぞれを示す図である。 判定枠記憶部１７０が有する判定枠テーブルＴ１０のデータ構造の一例を示す図である。 カメラのフレームのガイドラインを示す図である。 選択処理の流れを示すフローチャートである。 評価値計算処理の流れを示すフローチャートである。 顔領域の検出結果の一例を示す図である。 各顔領域に対して重み付けの処理（評価値計算の処理）が行われた結果の一例を示す図である。 撮像装置２の構成を示す図である。 選択部６０３の構成を示す図である。 選択処理の流れを示すフローチャートである。 面積算出処理の流れを示すフローチャートである。 （ａ）は、面積算出処理の結果の一例を示す図であり、（ｂ）は、重み係数算出処理の結果の一例を示す図であり、（ｃ）は、評価値の算出を行った結果の一例を示す図である。 （ａ）は、検出された顔領域における重心点の一例を示す図であり、（ｂ）は、目の位置の一例を示す図である。 （ａ）は、顔検出による結果の一例を示す図であり、（ｂ）は、重心点の検出による結果の一例を示す図である。 目の位置の検出による結果の一例を示す図である。 監視システム１０００の概要を示す図である。 監視カメラ１００１の構成を示す図である。 画像処理装置１００２の構成を示す図である。 監視システム１０００の処理動作を示すフローチャートである。

符号の説明

１ 撮像装置
１００ 撮影レンズ
１０１ メカニズム
１０２ 撮像素子
１０３ フロントエンド
１０４ ＤＳＰ
１０５ 伸張回路
１０６ メモリカード
１０７ 顔検出回路
１０８ 液晶モニタ
１０９ フラッシュメモリ
１１０ ＣＰＵ
１１１ ＤＲＡＭ
１１２ シャッタードライバ
１１３ ズームドライバ
１１４ フォーカスドライバ
１５１ 画像入力部
１５２ 選択部
１５３ 制御部
１５４ データ記憶部
１７０ 判定枠記憶部
１７１ 位置による重み付け部
１７２ 結果記憶部
１７３ 判定部

Claims (18)

1. 黄金比に基づく好適な構図による撮影を支援する撮像装置であって、
   第１の撮影制御条件により、入射光から画像を生成する撮影機構と、
   画像フレーム内において２種類の黄金比により定まる２つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも１つ記憶している記憶手段と、
   前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、
   複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、
   前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる１の顔領域を選択する選択手段と、
   選択された前記顔領域に基づく第２の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段と
   を備えることを特徴とする撮像装置。
2. 前記重み付け手段は、
   検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する前記評価値を算出し、
   前記選択手段は、
   算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記重み付け手段は、
   前記重み定数の加算により、前記評価値を算出する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記重み付け手段は、
   前記重み定数の乗算により、前記評価値を算出する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記重み付け手段は、
   前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記顔領域と前記境界領域とが重なる面積を算出し、算出した面積に基づいて前記評価値を算出する
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記選択手段は、
   全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する１の顔領域を選択し、
   前記検出手段は、
   主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域の重心点を検出し、
   前記重み付け手段は、さらに、
   検出された重心点それぞれに対して、当該重心点が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた重心点に対する重み付けを行って、当該重心点に対する新たな評価値を算出し、
   前記選択手段は、
   取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記選択手段は、
   全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する１の顔領域を選択し、
   前記検出手段は、
   主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域から被写体の目の位置を検出し、
   前記重み付け手段は、さらに、
   検出された目の位置それぞれに対して、当該目の位置が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた目の位置に対する重み付けを行って、当該目の位置に対する新たな評価値を算出し、
   前記選択手段は、
   取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択する
   ことを特徴とする請求項２に記載の撮像装置。
8. 前記重み付け手段は、
   検出された顔領域それぞれに対して、当該顔領域の面積を算出し、算出した面積を用いた重み付けを行って、第１の重みを取得する第１の取得部と、
   検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第２の重みを取得する第２の取得部と、
   前記第１の重みと前記第２の重みとから前記評価値を算出する算出部とを備え、
   前記選択手段は、
   算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記重み付け手段は、
   式 ｗ ＝ ａ×ｗｓ × ｂ×ｗｐ
   又は、
   式 ｗ ＝ ａ×ｗｓ ＋ ｂ×ｗｐ
   により、前記評価値を算出し、ａは第１の定数、ｂは第２の定数、ｗｓは前記第１の重み、及びｗｐは前記第２の重みである
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記第１の重みは、算出した顔領域の面積そのものである
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記第１の取得部は、
    算出した複数の顔領域の面積それぞれに対して、面積の大きいものから順に値が小さくなるように設定値を割り当て、
    前記第１の重みは、割り当てられた設定値である
    ことを特徴とする請求項９に記載の撮像装置。
12. 前記検出手段は、さらに、
    検出した顔領域に対する顔らしさの度合いを示す第１の値を取得し、
    前記重み付け手段は、
    検出された顔領域それぞれに対して、当該顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第２の値を取得し、前記第１の値と前記第２の値とから当該顔領域に対する評価値を算出し、
    前記選択手段は、
    算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
    ことを特徴とする請求項１に記載の撮像装置。
13. 前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う２つの値の比であり、
    前記２種類の黄金比それぞれを定める２つの値は、１と２、及び２と３であり、
    前記境界領域は、
    ２つ値１と２を用いた第１の黄金比にて定まる第１の黄金分割線と、２つの値２と３とを用いた第２の黄金比にて定まる第２の黄金分割線とによりはさまれる領域である
    ことを特徴とする請求項１に記載の撮像装置。
14. 前記記憶手段は、
    ４つの領域情報を記憶しており、
    前記重み付け手段は、
    各領域情報にて示される境界領域それぞれに対して、前記顔領域が当該境界領域と重なるか否かを判断し、重なると判断した１以上の境界領域に対応する各重み係数を用いて前記顔領域に対する評価値を算出する
    ことを特徴とする請求項１に記載の撮像装置。
15. 前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う２つの値の比であり、
    前記２種類の黄金比それぞれを定める２つの値は、１と２、及び２と３であり、
    前記記憶手段は、前記４つの領域情報として、第１、第２、第３及び第４の領域情報を記憶しており、
    第１の領域情報は、画像フレーム内において水平方向に対して２種類の黄金比１：２と２：３とから定まる２つの黄金分割線によりはさまれる第１の境界領域を示し、
    第２の領域情報は、画像フレーム内において水平方向に対して２種類の黄金比２：１と３：２とから定まる２つの黄金分割線によりはさまれる第２の境界領域を示し、
    第３の領域情報は、画像フレーム内において垂直方向に対して２種類の黄金比１：２と２：３とから定まる２つの黄金分割線によりはさまれる第３の境界領域を示し、
    第４の領域情報は、画像フレーム内において垂直方向に対して２種類の黄金比２：１と３：２とから定まる２つの黄金分割線によりはさまれる第４の境界領域を示す
    ことを特徴とする請求項１４に記載の撮像装置。
16. 黄金比に基づく好適な構図による撮影を支援する画像処理装置であって、
    第１の撮影制御条件により入射光から生成された画像を外部の撮影装置から受け取る受取手段と、
    画像フレーム内において２種類の黄金比により定まる２つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも１つ記憶している記憶手段と、
    前記受取手段により受け取った画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる１の顔領域を選択する選択手段と、
    選択された前記顔領域に基づく第２の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段と
    を備えることを特徴とする画像処理装置。
17. 黄金比に基づく好適な構図による撮影を支援する撮像装置で用いられる制御方法であって、
    前記撮像装置は、
    第１の撮影制御条件により、入射光から画像を生成する撮影機構と、
    画像フレーム内において２種類の黄金比により定まる２つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも１つ記憶している記憶手段とを備え、
    前記制御方法は、
    前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出ステップと、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付けステップと、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる１の顔領域を選択する選択ステップと、
    選択された前記顔領域に基づく第２の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御ステップと
    を含むことを特徴とする制御方法。
18. 黄金比に基づく好適な構図による撮影を支援する撮像装置で用いられるコンピュータ読み取り可能な記録媒体に記録されたプログラムであって、
    前記撮像装置は、
    第１の撮影制御条件により、入射光から画像を生成する撮影機構と、
    画像フレーム内において２種類の黄金比により定まる２つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも１つ記憶している記憶手段とを備え、
    前記プログラムは、
    前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出ステップと、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付けステップと、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる１の顔領域を選択する選択ステップと、
    選択された前記顔領域に基づく第２の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御ステップと
    を含むことを特徴とするプログラム。

Images