JP4902562B2 - 撮像装置、画像処理装置、制御方法およびプログラム - Google Patents

撮像装置、画像処理装置、制御方法およびプログラム Download PDF

Info

Publication number
JP4902562B2
JP4902562B2 JP2008022708A JP2008022708A JP4902562B2 JP 4902562 B2 JP4902562 B2 JP 4902562B2 JP 2008022708 A JP2008022708 A JP 2008022708A JP 2008022708 A JP2008022708 A JP 2008022708A JP 4902562 B2 JP4902562 B2 JP 4902562B2
Authority
JP
Japan
Prior art keywords
face
area
face area
evaluation value
golden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008022708A
Other languages
English (en)
Other versions
JP2008219874A (ja
Inventor
忠則 手塚
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007027507 priority Critical
Priority to JP2007027507 priority
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2008022708A priority patent/JP4902562B2/ja
Publication of JP2008219874A publication Critical patent/JP2008219874A/ja
Application granted granted Critical
Publication of JP4902562B2 publication Critical patent/JP4902562B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23218Control of camera operation based on recognized objects
    • H04N5/23219Control of camera operation based on recognized objects where the recognized objects include parts of the human body, e.g. human faces, facial parts or facial expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor

Description

本発明は、被写体から顔領域を検出する機能を有するデジタルカメラ、デジタルビデオカメラ等の撮像装置や画像処理装置、および、これら装置の制御方法に関する。

従来の撮像装置において、撮像画像の中から被写体の顔領域を所定のアルゴリズムで検出し、検出した顔領域を主被写体として様々な処理を行う技術が提案されている。

例えば、特許文献1では、検出した顔領域に対して自動合焦制御(以下、AF(Automatic Focus)制御と示す)を行うことが開示されている。また、特許文献2においては、AF制御に加え、検出した顔領域を基に、自動露出制御(以下、AE(Automatic Exposure)制御と示す)などの撮影条件の設定を行うことが開示されている。

以下、従来の顔検出によるAF制御の処理の流れを説明する。

まず撮像装置は、顔検出動作モードである場合には、顔検出処理を行う。なお、顔検出の方法としては、特許文献1で参照されている非特許文献1〜3記載のものなどがある。

顔検出処理の結果、顔が検出されると、撮像装置は、検出された顔の数が複数であるかどうかチェックする。撮像装置は、単数である場合は単一顔処理を行い、複数の場合はユーザの操作により自動合焦処理の対象となる顔を選択する測距エリア選択モードが設定されているかどうかチェックする。測距エリア選択モードが設定されている場合は、撮像装置は、液晶モニタにどの顔を選択するかを指定するためのGUIを表示する。ユーザは、自動合焦処理の対象となる顔を選択する。撮像装置は、ユーザが選択した顔を測距エリアとして設定し、ユーザにより選択されたエリアに対して自動合焦処理を行う。また、測距選択モードが設定されていない場合は、撮像装置は、中央に近い顔を測距エリアに設定して、自動合焦処理を行う。

以上のように、従来の顔検出を利用した撮像装置では、複数顔が検出された場合には主被写体となる顔として中央に近い顔を選ぶか、または、ユーザに選択させることが行われている。
特開2003−107335号公報 特開2003−127489号公報 テレビジョン学会誌Vol.49, No.6 pp.787−797「顔領域抽出に有効な修正HSV表示系の提案」 電子情報通信学会誌Vol.74−D−II, No.11, pp.1625−1627「静止濃淡情景画像からの顔領域を抽出する手法」 画像ラボ1991−11(1991)「テレビ電話用顔領域検出とその効果」

例えば、3人が横に並んで撮影する場合、撮影の構図によっては右端の人物の顔を主被写体としてAF制御を行いたいときがある。このような場合、従来の技術では、測距エリア選択モードが設定されていないと、中央付近に位置する顔が主被写体として自動的に選択され、自動合焦処理が行われるので、ユーザが所望する人物を主被写体とする好適な構図による撮影ができない。そのため、ユーザが、測距エリア選択モードを設定し、直接主被写体を選択する必要がある。

つまり、従来の主被写体の検出方法では、複数の顔が検出された場合、主被写体となる顔が中央付近にないときには、撮像装置は、好適な構図による撮影を行うためには、ユーザの操作が必要である。そのため、ユーザから顔を選択する操作が煩わしいとの声があがっている。

そこで、本発明は、ユーザの操作を必要とすることなく、好適な構図による撮影を支援する撮像装置、画像処理装置、及び選択方法を提供することを目的する。

黄金比に基づく好適な構図による撮影を支援する撮像装置であって、第1の撮影制御条件により、入射光から画像を生成する撮影機構と、画像フレーム内において2種類の黄金比により定まる2つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも1つ記憶している記憶手段と、前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる1の顔領域を選択する選択手段と、選択された前記顔領域に基づく第2の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段とを備えることを特徴とする。

上記にて示す構成によると、撮像装置は、複数の顔領域が検出されると、境界領域を利用して重み付けを行い、複数の顔領域に対して重み付けに得られた評価値に基づいて、主被写体となる1の顔領域を選択することができる。通常、写真等の構図として、2種類の黄金比にて定まる線分にて囲まれる領域に被写体を配置すると安定した構図となることが知られている。本発明の撮像装置は、境界領域を利用して重み付けを行うので、ユーザが主被写体となる顔領域を選択する操作を行うことなく、好適な構図による撮影を支援することができる。

ここで、前記重み付け手段は、検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する前記評価値を算出し、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

または、前記重み付け手段は、前記重み定数の加算により、前記評価値を算出するとしてもよい。

または、前記重み付け手段は、前記重み定数の乗算により、前記評価値を算出するとしてもよい。

または、前記重み付け手段は、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記顔領域と前記境界領域とが重なる面積を算出し、算出した面積に基づいて前記評価値を算出するとしてもよい。

これらの構成によると、撮像装置は、各顔領域に対して算出された評価値のうち最大となる重みに対する顔領域を主被写体として選択することにより、好適な構図による撮影を支援するので、写真等の構図として安定したものを得ることができる。

ここで、前記選択手段は、全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する1の顔領域を選択し、前記検出手段は、主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域の重心点を検出し、前記重み付け手段は、さらに、検出された重心点それぞれに対して、当該重心点が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた重心点に対する重み付けを行って、当該重心点に対する新たな評価値を算出し、前記選択手段は、取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、最大値となる評価値に対応する顔領域が複数ある場合に、重心点を用いた重み付けを行うので、主被写体となる顔領域をさらに絞り込むことができる。

ここで、前記選択手段は、全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する1の顔領域を選択し、前記検出手段は、主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域から被写体の目の位置を検出し、前記重み付け手段は、さらに、検出された目の位置それぞれに対して、当該目の位置が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた目の位置に対する重み付けを行って、当該目の位置に対する新たな評価値を算出し、前記選択手段は、取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、最大値となる評価値に対応する顔領域が複数ある場合に、目の位置を用いた重み付けを行うので、主被写体となる顔領域をさらに絞り込むことができる。

ここで、前記重み付け手段は、検出された顔領域それぞれに対して、当該顔領域の面積を算出し、算出した面積を用いた重み付けを行って、第1の重みを取得する第1の取得部と、検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第2の重みを取得する第2の取得部と、前記第1の重みと前記第2の重みとから前記評価値を算出する算出部とを備え、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、第1の重みと第2の重みとから顔領域の評価値を算出するので、顔領域が最も大きいものを主被写体として選択するのではなく、顔領域が最大でなくとも写真の構図上安定した位置にある顔領域を主被写体として選択することができる。

ここで、前記検出手段は、さらに、検出した顔領域に対する顔らしさの度合いを示す第1の値を取得し、前記重み付け手段は、検出された顔領域それぞれに対して、当該顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第2の値を取得し、前記第1の値と前記第2の値とから当該顔領域に対する評価値を算出し、前記選択手段は、算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択するとしてもよい。

この構成によると、撮像装置は、第1の値と第2の値とから顔領域の評価値を算出するので、境界領域に重なり、且つ最も顔らしいと判断される顔領域を主被写体として選択することができる。

ここで、前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う2つの値の比であり、前記2種類の黄金比それぞれを定める2つの値は、1と2、及び2と3であり、前記境界領域は、2つ値1と2を用いた第1の黄金比にて定まる第1の黄金分割線と、2つの値2と3とを用いた第2の黄金比にて定まる第2の黄金分割線とによりはさまれる領域であるとしてもよい。

この構成によると、撮像装置は、1と2及び2と3とから定まる2種類の黄金比によりはさまれる境界領域を用いるので、フィボナッチ数列を用いた他の比により囲まれる境界領域の全て含めることができる。これにより、撮像装置は、最も広い境界領域を用いて重み付けを行うことができる。

ここで、前記記憶手段は、4つの領域情報を記憶しており、前記重み付け手段は、各領域情報にて示される境界領域それぞれに対して、前記顔領域が当該境界領域と重なるか否かを判断し、重なると判断した1以上の境界領域に対応する各重み係数を用いて前記顔領域に対する評価値を算出するとしてもよい。

この構成によると、撮像装置は、4つの境界領域毎に、顔領域が重なる場合に重み係数を用いて評価値を算出するので、多くの境界領域と重なる顔領域を主被写体として選択することができる。

1.実施の形態1
図1は、実施の形態1における撮像装置1のブロック図である。

撮像装置1は、図1にて示すように、画像入力部(撮影機構)151、選択部152、制御部153、データ記憶部154、圧縮・伸張回路105と、メモリカード106と、顔検出を行う顔検出回路107と、ユーザとインタラクティブな表示を行う液晶モニタ108と、DRAM(Dynamic Random Access Memory)111とから構成されている。

選択部152は、フラッシュメモリ109と、各種制御を行うCPU(Central Processing Unit)110とから構成されている。

制御部153は、絞りおよびシャッターの制御を行う絞り・シャッタードライバ112と、ズーム制御を行うズームドライバ113と、焦点制御を行うフォーカスドライバ114とから構成されている。

画像入力部151は、撮影レンズ100、メカニズム101、撮像素子102、フロントエンド103、及びDSP(Digital Signal Processor)104から構成されている。

撮影レンズ100は、被写体を結像するためのものであり、ズーム機能を実現するためのズームレンズと、被写体に合焦させるためのフォーカスレンズとからなる。

メカニズム101は、メカニカルシャッタ、被写体の明るさを調整するための絞りや、フィルタ等からなり、シャッターや絞りなどを行う。

撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などからなり、撮影レンズ100により結像された被写体像を電気信号に変換して、アナログの画像データを生成し、フロントエンド103へ出力する。

フロントエンド103は、撮像素子102からの出力に対してゲイン調整やA/D(analogue/digital)変換を行い、画像データをデジタルデータとして出力する。

DSP104は、入力された画素データを加工し、輝度・色差情報またはRGBデータを生成する。

圧縮・伸張回路105は、DSP104が生成した画像データを圧縮・伸張するデジタル信号プロセッサである。

メモリカード106は、圧縮された画像を保存し、DRAM111は、画像データなどを一時保存する。

以下、画像入力部151、選択部152、制御部153、データ記憶部154、及び顔検出回路107について説明する。

1.1 画像入力部151
画像入力部151は、入力された画像から、顔検出回路107が処理する画像データを生成する。例えば、撮像素子102からの入力画素数と画像データのフォーマットと、顔検出回路107の受け取る画素数と画像データのフォーマットが異なる場合には、画像入力部151により解像度変換および画像データのフォーマット変換が行われる。画像入力部151は、顔検出回路107による顔検出用に変換された画像データを、データ記憶部154へ格納する。

このとき、顔検出がなされる前に撮影された画像は、予め決められた(予めメモリに格納されている)第1の値によるホワイトバランス調整、予め決められた(予めメモリに格納されている)第2の値による露出調整、及びシャッターの半押しによる予め定められた焦点位置に基づくピント調整等により撮影されている。なお、本発明における第1の撮影制御条件とは、予め定められた焦点位置に基づくピント調整時のレンズの焦点距離、前記第1の値、及び前記第2の値等である。

1.2 顔検出回路107
顔検出回路107は、画像入力部151によりデータ記憶部154に格納された画像データの中から顔らしい部分(矩形からなる領域)を検出する。ここで、複数の顔らしい部分を見つけた場合は、顔検出回路107は、各領域(以下、顔領域という。)の始点の座標(x1、y1)及び終点の座標(x2、y2)からなる顔位置情報を生成し、生成した各顔位置情報を順次データ記憶部154へ格納する。これにより、撮像装置1は、顔位置情報に含まれる始点の座標及び終点の座標の各要素の組み合わせにより4つの頂点を特定することにより、顔領域を形成する矩形の領域を特定できる。例えば、始点の座標(x1、y1)及び終点の座標(x2、y2)から、4つの頂点(x1、y1)、(x1、y2)、(x2、y1)、(x2、y2)が特定される。

ここで、どの種類の画像データを利用するかは顔検出回路107の処理内容により異なる。例えば、輝度情報のみを入力する場合もあるし、輝度情報を縮小した画像を入力する場合もある。なお、顔検出回路107の処理としては、従来例として示したものなどがある。顔検出のアルゴリズムは本発明の主眼ではないので説明を割愛するが、上述したように、顔検出回路107は、画像中の顔らしい部分の矩形情報(始点と終点の座標)、つまり顔位置情報を出力する。

なお、顔検出回路107では、複数の顔らしい部分が抽出された場合には、それぞれの領域の矩形情報をすべて出力する。また、本実施の形態では、顔検出回路107を設けたが、これに限定されない。CPU110またはDSP104で、顔検出処理をソフトウェア的に行っても同様の効果が期待できる。

1.3 データ記憶部154
データ記憶部154はDRAM111から構成されており、画像入力部151にて生成された画像データ及び顔検出回路107にて生成された複数の顔位置情報を記憶するための領域を有している。

1.4 選択部152
選択部152は、上述したように、CPU110及びフラッシュメモリ109から構成されている。

選択部152は、検出された複数の顔位置情報それぞれにて示される顔領域のうち、どの顔領域を主被写体の領域として設定するかを決定する。

フラッシュメモリ109は、図1にて示すように、選択プログラム160を含んでいる。選択プログラム160は、複数の顔位置情報それぞれから特定される各顔領域に対して重み付けを行い、重み付けの結果(評価値)からどの顔領域を主被写体の領域として設定するかを決定する処理を行う。なお、選択プログラム160には、動作内容を示すコードの他、当該選択プログラムにて使用されるデータをも含まれる。

CPU110が、選択プログラム160を用いることにより選択部152の機能を実現する。

選択部152は、図2に示すように、判定枠記憶部170と、位置による重み付け部171と、結果記憶部172と、判定部173とから構成されている。

判定枠記憶部170は、図3にて示す第1〜第4の判定枠401、402、403、404それぞれを示す判定枠情報を記憶している。

ここでは、撮像画像のサイズの一例として、縦600×横900ドットとして、以下説明する。

第1の判定枠401は、画面を水平に1:2の比率に分割する線分と2:3の比率に分割する線分にはさまれた領域である。つまり、第1の判定枠401は、始点を(300、0)、終点を(360、600)とする矩形領域となる。顔位置情報を用いた顔領域の特定方法と同様に、撮像装置1は、始点及び終点を用いて、これら座標の要素の組み合わせにより、第1の判定枠401の4つの頂点を特定することができる。

同様に、第2の判定枠402は、画面を水平に2:1の比率に分割する線分と3:2の比率に分割する線分にはさまれた矩形領域である。また、第3の判定枠403は、画面を垂直に1:2の比率に分割する線分と2:3の比率に分割する線分にはさまれた矩形領域であり、第4の判定枠404は、画面を垂直に2:1の比率に分割する線分と3:2の比率に分割する線分にはさまれた矩形領域である。

判定枠記憶部170は、具体的には、図4に示すように、判定枠テーブルT10を用いて、第1〜第4の判定枠401、402、403、404それぞれに対応する始点の座標位置及び終点の座標位置を記憶している。

結果記憶部172は、複数の顔領域それぞれに対して重み付けがされた結果(評価値、wg)を、当該顔領域に対応する顔位置情報と対応付けて記憶する領域を有している。

次に、位置による重み付け部171について説明する。

位置による重み付け部171は、データ記憶部154にて格納されている複数の顔位置情報それぞれに対応する顔領域において、第1〜第4の判定枠401、402、403、404それぞれに対する判定枠情報にて示される始点、終点の座標と、顔領域に対応する顔位置情報とを用いて、当該顔領域が第1〜第4の判定枠401、402、403、404と重なる部分があるか否かを判断する。重なると判断する場合には、位置による重み付け部171は、顔領域と重なる判定枠に対応する重み定数を加算して、評価値を算出する。位置による重み付け部171は、算出した評価値と、当該評価値に対応する顔領域を示す顔位置情報とを対応付けて結果記憶部172へ格納する。

判定部173は、主被写体の顔領域として、結果記憶部172に格納されている複数の位置による評価値のうち最大値となる評価値に対応する顔位置情報を選択する。判定部173は、選択した顔位置情報を制御部153へ出力する。

ここで、本実施の形態における第1〜第4の判定枠401、402、403、404のそれぞれは、比率1:2および2:3は、黄金率または黄金比と呼ばれる比率に基づくものである。黄金比は、約1:1.618とされており、これは、フィボナッチ数列の隣り合う値の比が収束する値である。フィボナッチ数列は、連続する2つの数値を加算した結果を続く数列の値とした数列で、1,2,3,5,8,13,21,...のような値をとる数列である。本発明では、フィボナッチ数列の隣り合う値の比の範囲を、黄金比による判定枠として利用する。フィボナッチ数列を用いた他の比率は、例えば、2:3および3:5である。

これは、写真等の構図として、黄金比の領域に被写体を配置すると安定した構図となるため、写真や絵画ではこの構図を推奨していることに由来する。例えば、カメラのフレームのガイドラインとして画面を水平・垂直に3等分にしたガイドライン(図5にて示すライン501、502、503、504)などが表示されるが、このガイドラインを利用してポートレート写真等を撮影した場合には、自然とこの部分(少なくとも1つのガイドライン上)に顔が重なる形になる。本発明では、このような写真撮影において、構図的にこの部分に主被写体が来るということを利用して、検出された顔のうち、この領域に入るものに対して重み付けを行い、主被写体として選択されやすくするものである。

ここで、図5にて示すライン501は、図3における第1の判定枠401における始点(300、0)、終点(300、600)とする線分に相当する。同様に、ライン502は、第2の判定枠402における始点(600、0)、終点(600、600)とする線分に、ライン503は、第3の判定枠403における始点(0、200)、終点(900、200)とする線分に、ライン504は、第4の判定枠404における始点(0、400)、終点(900、400)とする線分に、それぞれ相当する。

なお、本発明のように黄金比による比率として1:2および2:3を用いることにより、フィボナッチ数列を用いた他の比率により囲まれる判定枠は、全て、比率1:2および2:3を用いて囲まれる判定枠に含まれている。つまり、比率1:2および2:3を用いて囲まれる判定枠が、他の全ての判定枠と比べ最も広い判定枠となっている。

なお、本発明の黄金分割線とは、例えば、画面を水平に1:2の比率に分割する線分や2:3の比率に分割する線分のことであり、境界領域とは、第1から第4の判定枠である。また、本発明の領域情報とは、本実施の形態における判定枠情報である。

1.5 制御部153
制御部153は、上述したように絞り・シャッタードライバ112、ズームドライバ113及びフォーカスドライバ114から構成されている。

制御部153は、選択部152から選択された顔位置情報を受け取ると、受け取った顔位置情報にて示される顔領域を基にピント調整や露出調整やホワイトバランス調整等の処理(以下、撮影に係る処理という)を行い、調整後のピントや露出やホワイトバランス等により撮影するよう画像入力部151の制御を行う。

例えば、制御部153は、選択された顔領域に基づきピント調整を行い、調整結果に基づいて撮影するよう画像入力部151の制御を行う。

なお、ピント調整や露出調整やホワイトバランス調整等の処理については、公知の技術であるので、ここでの説明は省略する。

本発明における第2の撮影制御条件とは、顔領域を基にピント調整を行う際のレンズの焦点距離、露出調整時の値やホワイトバランス調整の値等である。また、本発明における撮影制御手段は、CPU110と制御部153との協働により実現される。

1.6 撮像装置1の処理
以下、実施の形態1における撮像装置1の撮影処理の流れについて説明する。撮影は、ピントおよび露出をあわせる処理と、メモリカードに画像を記録する処理の大きく2つに大別できる。ここでは、先にメモリカードに画像を記録する処理について説明し、次にピント及び露出判定処理について説明する。

<画像記録処理>
撮影レンズ100を通過した光は、撮像素子102により光電変換され、データがフロントエンド103に送られる。フロントエンド103では、入力された値に対して雑音除去、ゲイン調整等を行った後、A/D変換を行う。なお、撮像素子102がRGGBのベイヤー配列であった場合は、フロントエンド103からの出力はR,G,G,Bの各画素の値となる。

A/D変換されたデータはDSP104に渡され、ここで歪み補正、キズ補正、画質補正、およびベイヤー配列のデータからYCbCrあるいはRGB等の画素データに変換され、DRAM111に一時的に保存される。圧縮・伸張回路105では、DRAM111に保存された画像データを読み出し、圧縮し、結果をDRAM111またはメモリカード106に書き込む。DRAM111に書き込んだ場合は、圧縮・伸張回路105は、DRAM111に格納された圧縮画像データをメモリカード106に転送し、保存する。

以上が、画像を記録するまでの処理である。

<ピント・露出判定処理>
撮影レンズ100を通過した光は、撮像素子102より光電変換され、データがフロントエンド103に送られる。フロントエンド103では、入力された値に対して雑音除去、ゲイン調整等を行った後、A/D変換を行う。ここまでの処理の流れは、基本的には画像記録処理と同様であるが、ピント・露出合わせの処理では、フロントエンド103または撮像素子102から出力される画像のサイズ(画素数)は画像記録処理時より少なく(小さく)てもよい。

DSP104に入力された画像は、DSP104により輝度・色差画像またはRGB画像に変換されDRAM111に保存される。なお、処理にあたりフロントエンド103から入力したベイヤー配列の画像をDRAM111に一時保存してもよい。

ここで、顔認識によるAF制御がONになっている場合には、DRAM111に保存されたベイヤー配列の画像データ、または、DSP104により変換された輝度・色差画像、または、RGB画像を顔検出回路107に入力し、顔検出処理を行う。

顔検出回路107で顔を検出した時に、単一の顔が検出された場合にはCPU110によりフォーカスドライバ114、絞り・シャッタードライバ112が制御され、検出した顔に対してピント調整と露出調整が行われる。また、複数の顔が検出された場合には、どの顔を主被写体とするかを選択する処理を行う。

(選択処理)
以下において、どの顔を主被写体とするかを選択する選択処理について、図6にて示すフローチャートを用いて説明する。

なお、ここでは、顔検出回路107により検出された順序で、データ記憶部154に格納されているものとする。

まず、選択部152の位置による重み付け部171は、iを1に初期化し(ステップS202)、検出された最初の顔領域を示す顔位置情報をデータ記憶部154から取得する(ステップS203)。ステップS203では、具体的には、位置による重み付け部171は、データ記憶部154にて格納されている複数の顔位置情報のうち最初に検出された顔位置情報にポインタを設定する。

次に、位置による重み付け部171は、設定された顔位置情報にて示される顔領域に対し評価値wgiの計算し(ステップS204)、計算された評価値と、当該評価値に対応する顔位置情報とを対応付けて結果記憶部172へ格納する(ステップS205)。

設定された顔領域に対する評価値wgiの計算後、位置による重み付け部171は、評価値の計算を行っていない他の顔領域があるか否かを判断する(ステップS206)。他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には(ステップS206における「YES」)、位置による重み付け部171は、iを更新し(ステップS208)、評価値の計算を行っていないi番目の顔領域を示す顔位置情報を取得し(ステップS209)、ステップS204へ戻る。ステップS209では、具体的には、位置による重み付け部171は、i番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は(ステップS206における「NO」)、判定部173は、主被写体として、最大となる評価値wgiに対応する顔位置情報を選択し、主被写体の領域決定を終了する(S207)。

(重み計算処理)
ここでは、図6におけるステップS204にて行われる重みwgiの計算の処理である評価値計算処理について、図7にて示すフローチャートを用いて説明する。

位置による重み付け部171は、まず評価値wgiを初期化(wgi=1.0)する(ステップS302)。次に、位置による重み付け部171は、第1の判定枠401に顔領域が重なっているどうかの判定を行う(ステップS303)。

重なっていると判断する場合には(ステップS303における「YES」)、位置による重み付け部171は、wgiに重み定数a1を加算する(ステップS304)。以降、同様に顔領域が判定枠402、403、404に重なるかどうかの検出を行い、重なると判断する場合は、評価値wgiにそれぞれ重み定数a2、a3、a4を加算する(ステップS305〜S310)。

以上の処理により、4つの判定枠の幾つに重なっているかにより重み付けが行われる。これにより、判定枠に多く重なる画像が主被写体として選択されるようになる。

なお、図7の処理フローではでは、評価値の初期値として1.0を設定したが、これに限定されない。評価値の初期値は、どのような値でもよく、例えば0.0を設定しても本実施の形態と同様の効果が期待できる。

また、本実施の形態では、位置による重み付け部171は、判定枠と重なっていると判断する場合に、評価値wgiに重み定数を加算しているが、これに限定されない。位置による重み付け部171は、判定枠と重なっていると判断する場合に、評価値wgiに重み定数を乗算してもよい。この場合、重み定数は、1より大きな値である。

また、判定枠は4つとしたが、これに限定されない。判定枠は1つ以上であればよい。例えば、水平方向の第3の判定枠403のみで判定を行った場合でも同様の効果が期待できる。特に、画面の横方向に写真の長辺をおく撮影の場合には、画面の上1/3程度の位置に主被写体の顔を配置することが多く、第3の判定枠のみによる判定であっても十分な効果が期待できる。

1.7 具体例
以上の処理について、図8および図9を用いて具体的に説明を行う。図8では、撮像画像804において、第1の顔領域805、第2の顔領域806、第3の顔領域807が検出されていることを示している。

図9は、各顔領域に対して重み付けの処理が行われた結果を示している。結果記憶部172では、一例として、図9にて示すテーブルT100を用いて各顔領域に対する評価値が格納されている。

ここでは、評価値の初期値を1.0とし、各重み定数の値を0.2とする。

位置による重み付け部171は、それぞれの顔領域が図8にて示す第1から第4の判定枠401、402、403、404と重なるかどうかを検査し、1つの判定枠と重なる度に0.2の重みを加算した場合の評価値の結果である。例えば、第3の顔領域807は2つの判定枠と重なるため、+0.4が加算され、第3の顔領域807の評価値は、1.4となる。

判定部173は、結果記憶部172にて格納されているテーブルT100から、最大値となる評価値(ここでは、1.4)に対応する顔位置情報を選択する。

1.8 実施の形態1のまとめ
以上、本実施の形態によれば、複数の顔が検出された場合に、黄金比に基づいた構図情報を利用することで撮影者の意図した主被写体が選択され、ピント・露出調整処理が行われることになる。

2.実施の形態2
図10は、本発明の実施の形態2における撮像装置2の機能ブロック図である。撮像装置2は、図10に示すように、画像入力部601と、顔検出部602と、選択部603と、制御部604と、データ記憶部605から構成されている。

画像入力部601、顔検出部602、制御部604及びデータ記憶部605のそれぞれは、実施の形態1にて示す画像入力部151、顔検出回路107、制御部153及びデータ記憶部154と同様であるので、ここでの説明は省略する。

以下、選択部603について説明する。

2.1 選択部603
選択部603は、顔検出部602にて検出された複数の顔領域のうち、どの顔領域を主被写体の領域として設定するかを決定する。

選択部603は、図11にて示すように、大きさによる重み付け部701と、位置による重み付け部702と、重み付け計算部703と、判定部704と、判定枠記憶部705、及び結果記憶部706とから構成されている。

(判定枠記憶部705)
判定枠記憶部705は、実施の形態1の判定枠記憶部170と同様に、図3にて示すように、第1〜第4の判定枠401,402、403、及び404それぞれに対する判定枠情報を記憶している。

(結果記憶部706)
結果記憶部706は、複数の顔領域それぞれに対して重み付けがされた結果(評価値)を、当該顔領域に対応する顔位置情報、当該顔領域の面積及び重み係数と対応付けて記憶する領域を有している。

なお、重み係数については、後述する。

(大きさによる重み付け部701)
大きさによる重み付け部701は、複数の顔領域それぞれにおいて、対応する顔位置情報を用いて、顔領域の面積を算出することにより、重み付けを行う。大きさによる重み付けは、例えば、顔領域の面積そのものを重みとして設定してもよいし、顔領域の面積の大きいものから順に値が小さくなるように一意な重みを設定してもよい。なお、ここでは、顔領域の面積そのものを重みとする。

大きさによる重み付け部701は、算出した重み(ここでは、顔領域の面積)を、当該顔領域を示す顔位置情報と対応付けて結果記憶部706へ記憶する。

(位置による重み付け部702)
位置による重み付け部702は、実施の形態1と同様に、判定枠記憶部705にて格納されている判定枠情報と、顔領域を示す顔位置情報とを用いて、顔抽出された領域が図3にて示す領域に重なるかどうかにより重み付けを行う。ここでは、重み付けがなされた結果の値を重み係数と呼ぶ。

位置による重み付け部702は、算出した重み係数を、算出対象の顔領域を示す顔位置情報と対応付けて結果記憶部706へ記憶する。

重み付け方法としては、実施の形態1で示したように図3の各判定枠に重なる場合に重みを大きくする方法や、図3にて示す各判定枠の領域と顔抽出されたエリアの重なる部分の面積により重み付けする方法等があり、どちらを選択した場合も同様の効果が期待できる。ここでは、実施の形態1と同様に、各判定枠に重なる場合に重みを大きくする方法を用いる。

なお、図3にて示す各判定枠の領域は、一例であり、黄金率1:1.618に基づいた領域を判定枠として選択すれば、本実施の形態と同様の効果が期待できる。

(重み付け計算部703)
重み付け計算部703は、大きさによる重み付け部701と、位置による重み付け部702の重み付けの結果を用いて、検出された各顔領域の評価値(wi)を計算し、算出した評価値(wi)と、当該評価値に対応する顔領域を示す顔位置情報とを対応付けて結果記憶部706へ格納する。

評価値の計算方法としては、2つの重みの単純な加算、積算、定数倍による加算・積算などの方法があり、それぞれの方法により、大きさと位置のどちらが重視されるかなどが変化する。

例えば、i番目の顔領域の大きさによる重みをwsi、位置による重み(重み係数)をwpi、定数をa、bとすると、i番目の顔領域の重みwiは、
(数式1) wi = a×wsi + b×wpi
または、
(数式2) wi = a×wsi × b×wpi
で計算できる。

なお、本実施の形態では、重みの計算方法として、数式2を用いて説明する。

(判定部704)
判定部704は、主被写体として、算出された複数の評価値(wi)のうち最大値(max(wi))となる評価値(wi)に対応する顔位置情報を選択する。

2.2 撮像装置2の動作について
ここでは、撮像装置2の動作について説明する。

撮像装置2の動作は、実施の形態1と同様に、画像記録処理とピント・露出判定処理とに大別される。

画像記録処理については、実施の形態1と同様であるので、ここでの説明は省略する。

ピント・露出判定処理については、複数の顔が検出された場合において、どの顔を主被写体とするかを選択する処理が、実施の形態1とは異なる。

以下において、実施の形態2における選択処理について、実施の形態1と異なる点を中心に説明する。

(選択処理)
実施の形態2における選択処理について、図12にて示すフローチャートを用いて説明する。

なお、ここでは、顔検出部602により検出された順序で、データ記憶部605に格納されているものとする。

選択部603の大きさによる重み付け部701は、面積算出処理により、検出された複数の顔領域それぞれを、検出された順序にて顔領域の面積(ws)を算出し、算出した顔領域の面積と、対応する顔位置情報とを対応付けて順次結果記憶部706に格納する(ステップS401)。

位置による重み付け部702は、重み係数算出処理により、検出された複数の顔領域それぞれを、検出された順序にて重み係数(wp)を算出し、算出した重み係数と、対応する顔位置情報とを対応付けて順次結果記憶部706に格納する(ステップS402)。

選択部603の重み付け計算部703は、iを1に初期化し(ステップS403)、検出された最初の顔領域を示す顔位置情報を取得する(ステップS404)。ステップS404では、具体的には、重み付け計算部703は、結果記憶部706にて格納されている複数の顔位置情報のうち1番目に位置する顔位置情報にポインタを設定する。

次に、重み付け計算部703は、設定された顔位置情報にて示される顔領域に対し評価値wiを計算し(ステップS405)、計算された評価値wiと、当該評価値wiに対応する顔位置情報とを対応付けて結果記憶部706へ格納する(ステップS406)。

設定された顔領域に対する評価値wiの計算後、重み付け計算部703は、評価値の重み計算を行っていない他の顔領域があるか否かを判断する(ステップS407)。

他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には(ステップS407における「YES」)、重み付け計算部703は、iを更新し(ステップS409)、評価値の計算を行っていないi番目の顔領域を示す顔位置情報を取得し(ステップS410)、処理動作はステップS405へ戻る。ステップS410では、具体的には、重み付け計算部703は、結果記憶部706にて格納されているi番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は(ステップS407における「NO」)、判定部704は、主被写体として、最大となる評価値wiに対応する顔位置情報を選択し、主被写体の決定を終了する(S408)。

なお、本実施の形態では、重み係数算出処理の前に、面積算出処理を行っているが、これに限定されない。例えば、重み係数算出処理の後、面積算出処理を行ってもよいし、双方の処理を並行して行ってもよい。

また、本実施の形態では、顔領域の面積、重み係数及び評価値それぞれを個別の処理にて算出したが、これに限定されない。例えば、図12にて示す選択処理において、ステップS401、S402を省略して、ステップS403から実行するとし、ステップS405において、顔領域の面積、重み係数及び評価値それぞれを算出し、ステップS406において、算出した各値と、顔位置情報とを対応付けて結果記憶部706に格納してもよい。

つまり、ある顔領域に対する評価値(wi)の算出時に、顔領域の面積、重み係数のそれぞれが既に算出されていればよい。

(面積算出処理)
図12にて示すステップS401にて行われる面積算出処理について、図13にて示すフローチャートを用いて説明する。

まず、大きさによる重み付け部701は、iを1に初期化し(ステップS501)、検出された最初の顔領域を示す顔位置情報をデータ記憶部605から取得する(ステップS502)。ステップS502では、具体的には、大きさによる重み付け部701は、データ記憶部605にて格納されている1番目、つまり最初に検出された顔位置情報にポインタを設定する。

次に、大きさによる重み付け部701は、設定された顔位置情報にて示される顔領域の面積(ws)を計算し(ステップS503)、計算された顔領域の面積と、当該顔領域に対応する顔位置情報とを対応付けて結果記憶部706へ格納する(ステップS504)。

設定された顔領域の面積の計算後、大きさによる重み付け部701は、面積の計算を行っていない他の顔領域があるか否かを判断する(ステップS505)。他の顔領域がある、つまり取得していない顔位置情報が存在すると判断する場合には(ステップS505における「YES」)、大きさによる重み付け部701は、iを更新し(ステップS506)、面積の計算を行っていないi番目の顔領域を示す顔位置情報を取得し(ステップS507)、処理動作はステップS503へ戻る。ステップS507では、具体的には、大きさによる重み付け部701は、i番目の顔位置情報にポインタを設定する。

他の顔領域がない、つまり検出された全ての顔位置情報を取得したと判断する場合は(ステップS505における「NO」)、動作はステップS402に移行される。

(重み係数算出処理)
図12にて示すステップS402で行われる重み係数算出処理は、図6にて示すステップS202からステップS206までを実行することで実現されるので、ここでの説明は省略する。

なお、ステップS206による判断結果が「NO」である場合には、動作はステップS403に移行される。

また、図6にて示すステップS202からステップS206を実行することで算出される評価値wgiが、当該重み係数算出処理における重み係数wpiとなる。

また、重み係数の算出に用いる顔位置情報は、結果記憶部706から順次取得される。

2.3 具体例
以上の処理について、図8にて示す撮像画像804を用いて具体的に説明する。

なお、ここでは、評価値wiを算出する際に用いられる定数aおよびbは共に1.0であるとし、重み係数の算出で用いられる初期値を1.0とし、各重み定数a1〜a4の値を0.2とする。

面積算出処理は、撮像画像804から検出された3つの顔領域(第1の顔領域805、第2の顔領域806、第3の顔領域807)それぞれの面積(wsi)を算出し、算出した顔領域の面積と顔位置情報とを対応付けて結果記憶部706へ記憶する。図14(a)は、各顔領域に対して面積算出の処理が行われた結果を示している。結果記憶部706では、一例として、図14(a)にて示すテーブルT101を用いて各顔領域に対する面積が格納されている。

重み係数算出処理は、3つの顔領域(第1の顔領域805、第2の顔領域806、第3の顔領域807)それぞれの重み係数(wpi)を算出し、算出した重み係数と顔位置情報とを対応付けて結果記憶部706へ記憶する。図14(b)は、各顔領域に対して重み係数算出の処理が行われた結果を示している。結果記憶部706では、一例として、図14(b)にて示すテーブルT102を用いて各顔領域に対する面積及び重み係数が格納されている。

その後、重み付け計算部703が、顔領域それぞれに対する評価値(wi)が算出し、算出した評価値と顔位置情報とを対応付けて結果記憶部706へ記憶する。図14(c)は、各顔領域に対して評価値の算出処理が行われた結果を示している。結果記憶部706では、一例として、図14(c)にて示すテーブルT102を用いて各顔領域に対する面積、重み係数及び評価値が格納されている。

ここで、大きさによる重み、つまり顔領域の面積をそのまま利用すると、テーブルT101から第2の顔領域806が選択されることとなる。

しかしながら、重み係数を算出し、顔領域の面積に重み係数を乗算すると、最も大きい評価値に対応する顔領域は、第3の顔領域807となり、この顔領域が選択されることとなる。

撮影者が黄金比の部分に主被写体を配置している場合には、図14(c)の結果による選択の方が好ましい結果となる。実施の形態1で説明したように、構図を意識した写真撮影においては、中央の顔領域806ではなく顔領域807にて示される顔が主被写体である可能性が高い。したがって、こちらの顔を選択したほうがより、撮影者の意図に近くなる。

2.4 実施の形態2のまとめ
以上のように、黄金比の選択部分に重み付けを行う計算を行い、顔領域のうちどれを主被写体に選択するかを決定することで、撮影者の意図した被写体にピントや露出が合いやすくなる。

なお、本実施の形態においては、顔領域の面積と構図(各判定枠との重なりの判定)のみで評価値の計算を行ったが、例えば顔検出の結果として出力される顔らしさ(顔らしい度合)を、評価値の算出に加えても本実施の形体と同様の効果が期待できる。また、aとbを変更することにより、顔の大きさまたは、構図のどちらを優先して選択を行うかを調整することが可能である。

3.実施の形態3
実施の形態1では、顔検出回路107にて複数の顔領域が検出され、選択部152において、各顔領域に対して重み付けなされ、重み付けの結果により1つの顔領域が選択される。

しかしながら、重み付けの結果において、2以上の顔領域が同一の評価値となる場合があり、この場合、1つの顔領域を選択することができない。

そこで、本発明の実施の形態3は、実施の形態1および実施の形態2の顔検出の領域に対して図15に示す重心点と目の位置の検出を加え、検出した重心点と目の位置を用いて、再度重み付けを行うことにより、主被写体の候補をさらに絞るものである。

図15(a)において2001は検出範囲(顔領域)、2002は検出範囲の重心点である。また、図15(b)において2003は検出範囲中の目の位置である。重心点は、検出した範囲の中心部分、または、眉間(目の間)の部分である。

ここでは、実施の形態1にて示す構成要素を用いて、本実施の形態について説明する。

なお、以下の説明では、重心点を用いて説明する。

顔領域に対する評価値により複数の主被写体の候補がある場合に、顔検出回路107は、主被写体の候補となる顔領域それぞれに対して、当該顔領域の重心点を検出し、検出した重心点を示す始点及び終点の座標を、当該顔領域を示す顔位置情報と対応付けてデータ記憶部154へ格納する。なお、重心点検出方法については、公知の技術であるので、ここでの説明は省略する。

選択部152は、主被写体の候補となる顔領域それぞれに対して、対応する重心点と各判定枠とを用いて位置による重み付け(評価値の算出)を行い、最大となる評価値に対応する重心点をデータ記憶部154から取得し、取得した重心点に対応する顔位置情報をデータ記憶部154から選択する。

ここで、動作の一例を説明する。

撮像装置1は、選択処理において、図6にて示すステップS207において、重みが最大となる全て顔位置情報を取得する。

取得した顔位置情報が2つ以上存在するか否かを判断し、存在すると判断する場合には、顔検出回路107において、取得した2以上の顔位置情報それぞれの重心点を検出する。選択部152は、検出された重心点それぞれを用いて、顔領域を用いた評価値の算出と同様の動作により、各重心点に対する評価値を算出し、最大となる評価値に対する重心点を選択する。選択部152は、さらに、選択した重心点に対応する顔位置情報を取得する。

以上、本実施の形態における動作を、重心点を用いて説明したが、これに限定されない。目の位置を用いてもよいし、双方を用いてよい。なお、目の位置の検出方法についても、公知の技術であるので、ここでの説明は省略する。

これにより、例えば、図16(a)に示すように4つの顔領域1010、1011、1012及び1013が重なるかどうかの判定では、4人の顔領域すべてが重なってしまうような場合でも、各顔領域の重心点1020、1021、1022及び1023を用いることにより、図16(b)に示すように、判定枠に重なる顔を2つに減らすことができ、主被写体の候補を減らすことができる。

また、図17のように、顔領域での判定では、2人とも顔が判定枠に重なってしまう場合でも、各顔領域の目の位置1030及び1031のみを判定に利用することで片方のみが重なったと判定することができる。

なお、重心点および目の位置は、構図上重要なポイントであり、この部分を黄金比の部分に配置することは構図的に自然であるため、この部分を利用して判定することで、より重要な顔に重み付けを行うことが可能になる。

以上のように、本発明の実施の形態3によれば、顔領域が大きく、複数の顔が判定枠に重なってしまう場合においても、判定領域を重心点または目の位置のみに絞ることで、検出の精度を向上することが可能になる。

本実施の形態を、実施の形態1における撮像装置1を用いて説明したが、本実施の形態における重心点又は目の位置を用いた重み付けは、実施の形態2に適用しても、上記と同様の効果が得られる。

本実施の形態では、主被写体の候補となる顔領域が複数存在する場合に、顔領域に対する重心点や、目の位置を検出したが、これに限定されない。顔検出部は、顔領域を検出した際に、併せて重心点や、目の位置を検出し、検出した顔領域と対応付けて、重心点や、目の位置を予めデータ記憶部に格納してもよい。

4.実施の形態4
ここでは、実施の形態4における監視システム1000について、説明する。

監視システム1000は、図18にて示すように、監視カメラ1001と画像処理装置1002とから構成され、監視カメラ1001と画像処理装置1002とはネットワーク1003を介して接続している。

4.1 監視カメラ1001
監視カメラ1001は、図19にて示すように、画像入力部1100、圧縮・伸張部1101、データ記憶部1102、処理部1103、及び送受信部1104から構成されている。

画像入力部1100は、実施の形態1における画像入力部151と同様であるので、ここでの説明は省略する。

データ記憶部1102は、画像入力部151にて生成された画像データを記憶する領域を有している。

圧縮・伸張部1101は、データ記憶部1102にて格納されている画像データに圧縮処理を施して、圧縮データを生成し、生成した圧縮データを送受信部1104を介して、画像処理装置1002へ送信する。

処理部1103は、送受信部1104を介して、画像処理装置1002から、顔位置情報と、ピント調整や露出調整やホワイトバランス調整等の撮影に係る処理を行うための指示とを受け取ると、受け取った顔位置情報に対して指示された処理を行う。

例えば、処理部1103は、画像処理装置1002から顔位置情報及びフォーカス指示を受け取ると、受け取った顔位置情報にて示される顔領域に対して、フォーカス処理を行う。

送受信部1104は、圧縮・伸張部1101から受け取った圧縮データを、ネットワーク1003を介して、画像処理装置1002へ送信する。

また、送受信部1104は、ネットワーク1003を介して画像処理装置1002から受け取った顔位置情報と、撮影に係る処理を行うための指示とを、処理部1103へ出力する。

4.2 画像処理装置1002
画像処理装置1002は、図20にて示すように、送受信部1200、圧縮・伸張部1201、顔検出部1202、データ記憶部1203、選択部1204、制御部1205及び表示部1206から構成されている。

顔検出部1202、選択部1204及び表示部1206のそれぞれは、実施の形態1における顔検出回路107、選択部152及び液晶モニタ108のそれぞれと同様であるので、ここでの説明は省略する。

圧縮・伸張部1201は、ネットワーク1003を介して、監視カメラ1001から圧縮データを受け取ると、受け取った圧縮データに伸張処理を施して、画像データを生成して、生成した画像データを、顔検出部1202及び表示部1206へ出力する。

データ記憶部1203は、顔検出部1202にて生成された複数の顔位置情報を記憶するための領域を有している。

制御部1205は、実施の形態1と同様に、絞り・シャッタードライバ、ズームドライバ及びフォーカスドライバから構成され、選択部1204にて選択された主被写体に対して、ピント調整や露出調整やホワイトバランス調整等の撮影に係る処理を行うための指示と、選択部1204にて選択された顔領域を示す顔位置情報とを、送受信部1200を介して監視カメラ1001へ送信する。

送受信部1200は、制御部1205から受け取った撮影に係る処理を行うための指示と、顔位置情報とを、ネットワーク1003を介して監視カメラ1001へ送信する。

また、送受信部1200は、ネットワーク1003を介して監視カメラ1001から受け取った圧縮データを圧縮・伸張部1201へ出力する。

4.3 監視システム1000の動作
ここでは、監視システム1000の動作について、図21にて示すフローチャートを用いて説明する。

なお、ここでは、撮影に係る処理は、一例として、フォーカスを行うフォーカス処理とする。

監視カメラ1001は、映像を撮影し(ステップS601)、撮影した画像データから圧縮データを生成し、生成した圧縮データを画像処理装置1002へネットワーク1003を介して送信する(ステップS602)。

画像処理装置1002は、監視カメラ1001からネットワーク1003を介して、圧縮データを受信すると、受信した圧縮データを伸張して画像データを生成する。画像処理装置1002は、生成した画像データに対して、顔検出部1202による顔認識処理を施して、顔領域を検出する(ステップS603)。

画像処理装置1002は、顔検出部1202の処理により顔領域が検出されると、選択部1204の選択処理により、主被写体を選択する(ステップS604)。なお、選択処理は、実施の形態1と同様であるので、ここでの説明は省略する。

画像処理装置1002は、選択した主被写体である顔領域を示す顔位置情報と、フォーカス指示とを、監視カメラ1001へネットワーク1003を介して送信する(ステップS605)。

監視カメラ1001は、顔位置情報と、フォーカス指示とを、画像処理装置1002からネットワーク1003を介して受信すると、受け取った顔位置情報にて示される顔領域に対して、フォーカス処理を施す(ステップS606)。

4.4 実施の形態4の変形例
本実施の形態において、選択部1204は、実施の形態1の選択部152と同様であるとしたが、これに限定されない。選択部1204は、実施の形態2の選択部603と同様の動作を行ってもよい。

また、本実施の形態において、画像処理装置1002は、監視カメラ1001から送られてきた映像を表示する装置としたが、これに限定されない。画像処理装置1002は、監視カメラ1001から送られてきた映像を記録する装置であってもよい。

5.変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下の場合も本発明に含まれる。

(1)上述した各実施形態において記載した手法は、コンピュータに実行させることが可能なプログラムとして、例えば磁気ディスク(ハードディスク、フロッピー(登録商標)ディスクなど)、光ディスク(CD−ROM,DVD−ROM,BD−ROMなど)、半導体メモリ(SDカード、コンパクトフラッシュ(登録商標)、USBメモリなど)などの記憶装置、または、ネットワーク等の通信媒体により伝送し、コンピュータがこれらからプログラムを読み込み、実行することで、動作を制御し、実現してもよい。

(2)上記実施の形態1において、撮像装置は、4つの判定枠それぞれの全領域を用いて重み付けを行ったが、これに限定されない。

撮像装置は、4つの判定枠それぞれの領域のうち他の判定枠の領域と重なる部分領域を用いて重み付けを行ってもよい。

部分領域とは、例えば、図3にて示す部分領域450、451、452、453である。部分領域450、451は、判定枠401と他の判定枠とが重なる部分であり、部分領域452、453は、判定枠402と他の判定枠とが重なる部分である。

この場合、撮像装置は、4つの部分領域毎に、検出した顔領域が当該部分領域と重なるか否かを順次判定していき、重なると判断する場合に、評価値(wg)に当該部分領域に割り当てられた重み定数を加算する。

(3)上記実施の形態1において、4つの判定枠それぞれに重み定数a1〜a4を与え、さらに、部分領域450、451、452、453のそれぞれに対して、重みの定数a5〜a8を与えてもよい。

この場合、例えば、撮像装置は、評価値の算出対象の顔領域が第1の判定領域と重なるか否かを判断する。重なると判断する場合、撮像装置は、さらに、部分領域450及び451の何れかと重なるか否かを判断する。部分領域450及び451の何れかに重なると判断する場合には、撮像装置は、顔領域が重なっている部分領域に割り当てられた重み定数(a5若しくはa6)を、評価値(wg)に加算する。部分領域450及び451の何れにも重ならないと判断する場合には、撮像装置は、第1の判定枠401に割り当てられた重み定数(a1)を、評価値(wg)に加算する。

第2から第4の判定枠に対しても、上記と同様の動作の流れとなるので、説明は省略する。

(4)上記実施の形態3において、撮像装置は、顔領域に対して重み付けを行った後、重心点又は目の位置に対して重み付けを行ったが、これに限定されない。

顔領域に対して重み付けを行う代わりに、重心点又は目の位置に対して重み付けを行ってもよい。

(5)上記実施の形態1において、顔検出回路107は顔位置情報とともに、目の位置を出力、つまりデータ記憶部154へ格納し、選択部152は、顔位置情報及び目の位置を用いて顔領域に対する重み付けを行ってもよい。

この場合、選択部152は、重み付け対象の顔領域に対して、実施の形態1と同様に位置による重み付けにより第1の重み(wg)を計算し、さらに、当該顔領域における目の位置に対して位置による重み付けにより第2の重み(wg’)を計算する。選択部152は、
数式 w=wg+wg’
により、当該顔領域の評価値(w)を算出する。

なお、当該顔領域の評価値(w)は、第1の重みwgと第2の重みwg’との乗算により算出してもよい。

また、位置情報及び目の位置を用いて顔領域に対する重み付けを実施の形態2に適用してもよい。

また、目の位置の代わりに、鼻の位置や重心点を用いてもよいし、目の位置、鼻の位置、重心点のうち2つ以上の情報を用いてもよい。

(6)上記各実施の形態では、検出した顔領域に対する重み付けの方法として、位置による重み付け及び大きさによる重み付けを説明したが、これに限定されない。

顔らしさによる重み付けを用いて、検出した顔領域に対する評価値を算出してもよい。

この場合、顔検出回路は、顔位置情報とともに、顔らしさを示す値をデータ記憶部へ格納する。顔らしさを示す値は、検出された顔領域に基づいて算出され、例えば、0〜255までの値である。この値が大きいほど顔である確率が高いことを示す。なお、顔らしさを示す値の算出方法については、公知の技術であるので、ここでは、簡単に説明する。

撮像装置は、予め人の顔の輪郭に係る複数の輪郭データを予め記憶している。顔検出回路は、検出した顔領域と予め記憶している複数の輪郭データとを用いてマッチング処理を行い、検出した顔領域に含まれる顔の輪郭と一致する若しくは類似する輪郭データを取得し、取得した輪郭データと顔領域に含まれる顔の輪郭との差分を算出し、算出した差分の値に応じて顔らしさを示す値を決定する。算出した差分が小さいほど、顔らしさを示す値は大きく、つまり255の値に近くなる。

顔らしさによる重み付けでは、この顔らしさを示す値そのものを重み(wf)としてもよいし、顔らしさを示す値の大きいものから順に値が小さくなるように一意な重みを設定してもよい。

例えば、実施の形態1において、位置による重み(wpi)に、顔らしさによる重み(wfi)を付加して、顔領域に対する評価値を算出してもよい。このとき、i番目の顔領域の評価値wiを算出には、例えば、
wi = b・wpi + c・wfi
または、
wi = b・wpi × c・wfi
を用いる。なお、cは定数である。

または、実施の形態2において、さらに、顔らしさによる重みを加えてもよい。このとき、i番目の顔領域の評価値wiを算出する際に、数式1を用いるときには、
wi = a・wsi + b・wpi + c・wfi
となり、数式2を用いるときには、
wi = a・wsi × b・wpi × c・wfi
となる。なお、cは定数である。

(7)上記実施の形態2の「2.1 選択部603」にて記載した各判定枠の領域と顔抽出されたエリアの重なる部分の面積により重み付けする方法の一例を以下に示す。

位置による重み付け部702は、重み係数の算出対象の顔領域に対して、第1〜第4の判定枠と顔領域の重なる部分の面積の合計値を算出し、算出した合計値を重みそのものとする。

または、位置による重み付け部702は、算出した合計値面積の大きいものから順に値が小さくなるように一意な重みを設定してもよい。

なお、重心点や目の位置に対しても、同様に、各判定枠の領域と重なる部分の面積により重み付けを行ってもよい。

(8)上記実施の形態では、検出対象として人物の顔を検出したが、これに限定されない。検出対象は、動物の顔であってもよい。

(9)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニットなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

(10)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。

また、上記の各装置を構成する構成要素の各部は、個別に1チップ化されていても良いし、一部又は全てを含むように1チップ化されてもよい。

また、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

(11)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

(12)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

6.まとめ
本発明は、撮像素子からの信号を画像に変換し、記録装置に記録する撮像装置であって、画像中に含まれる顔領域を検出する顔検出部と、顔検出部が検出した複数の領域が、画像を黄金比で分割する領域に重なるかどうかにより検出された顔領域に重み付けを行い、重みの最も大きな顔領域を主被写体として選択する選択部と、選択部で選択された前記顔領域に対して、ピント・露出調整などの所定の制御を行う制御部を備えることを特徴とする。

この構成によると、顔検出部で複数の顔領域が検出された場合に、選択部で構図上主被写体が配置されやすい黄金比の部分に重なる顔領域に重み付けが行われることで、画像のレイアウト上重要となる被写体が主被写体として選択されやすくなる。これにより、制御部での制御が主被写体に対して適切に行われるようになる。

ここで、撮像装置は、選択部が判定する画像中の黄金比の領域として、画像を水平または垂直に1:2〜2:3の比に分ける線分で囲まれるエリアとしてもよい。

この構成によると、判定領域を黄金比の分割線だけではなく幅のあるエリアとして検出することができ、構図が若干ずれている場合にも黄金比の部分に配置されている顔に対して重み付けすることができる。これにより、被写体を大まかに黄金比の部分に配置した場合に対しても対応可能となる。

ここで、撮像装置は、顔検出部で顔領域の重心点、または、目の位置を検出し、選択部でこれらと黄金比で分割する領域が重なるかどうかを検出するとしてもよい。

この構成によると、撮像装置は、精度よく構図情報を利用することができる。

ここで、撮像装置は、顔検出部で抽出された顔領域に対して、顔度合の重みを出力し、選択部の重み計算で、顔領域の大きさの重み、顔度合の重み、黄金比の領域に重なることによる重みを合わせて重み計算を行うとしてもよい。

この構成によると、撮像装置は、主被写体となる顔を精度良く選択可能となる。

また、本発明によると、画像のレイアウト上重要となる被写体が主被写体として選択されやすくなる。

本発明は、撮像装置や画像処理装置を製造及び販売する産業において、経営的、つまり反復的かつ継続的に利用されうる。

本発明にかかる撮像装置、画像処理装置、撮像装置の制御方法およびプログラムは、画像の黄金比の部分で検出された顔に対して重み付けを行い優先的にピントや露出をあわせる処理を有し、デジタルカメラなどの被写体選択機能として有用である。

撮像装置1の構成を示す図である。 選択部152の構成を示す図である。 撮像画像のサイズが縦600×横900ドットである場合における第1〜第4の判定枠401、402、403、404それぞれを示す図である。 判定枠記憶部170が有する判定枠テーブルT10のデータ構造の一例を示す図である。 カメラのフレームのガイドラインを示す図である。 選択処理の流れを示すフローチャートである。 評価値計算処理の流れを示すフローチャートである。 顔領域の検出結果の一例を示す図である。 各顔領域に対して重み付けの処理(評価値計算の処理)が行われた結果の一例を示す図である。 撮像装置2の構成を示す図である。 選択部603の構成を示す図である。 選択処理の流れを示すフローチャートである。 面積算出処理の流れを示すフローチャートである。 (a)は、面積算出処理の結果の一例を示す図であり、(b)は、重み係数算出処理の結果の一例を示す図であり、(c)は、評価値の算出を行った結果の一例を示す図である。 (a)は、検出された顔領域における重心点の一例を示す図であり、(b)は、目の位置の一例を示す図である。 (a)は、顔検出による結果の一例を示す図であり、(b)は、重心点の検出による結果の一例を示す図である。 目の位置の検出による結果の一例を示す図である。 監視システム1000の概要を示す図である。 監視カメラ1001の構成を示す図である。 画像処理装置1002の構成を示す図である。 監視システム1000の処理動作を示すフローチャートである。

符号の説明

1 撮像装置
100 撮影レンズ
101 メカニズム
102 撮像素子
103 フロントエンド
104 DSP
105 伸張回路
106 メモリカード
107 顔検出回路
108 液晶モニタ
109 フラッシュメモリ
110 CPU
111 DRAM
112 シャッタードライバ
113 ズームドライバ
114 フォーカスドライバ
151 画像入力部
152 選択部
153 制御部
154 データ記憶部
170 判定枠記憶部
171 位置による重み付け部
172 結果記憶部
173 判定部

Claims (18)

  1. 黄金比に基づく好適な構図による撮影を支援する撮像装置であって、
    第1の撮影制御条件により、入射光から画像を生成する撮影機構と、
    画像フレーム内において2種類の黄金比により定まる2つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも1つ記憶している記憶手段と、
    前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる1の顔領域を選択する選択手段と、
    選択された前記顔領域に基づく第2の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段と
    を備えることを特徴とする撮像装置。
  2. 前記重み付け手段は、
    検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する前記評価値を算出し、
    前記選択手段は、
    算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記重み付け手段は、
    前記重み定数の加算により、前記評価値を算出する
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記重み付け手段は、
    前記重み定数の乗算により、前記評価値を算出する
    ことを特徴とする請求項2に記載の撮像装置。
  5. 前記重み付け手段は、
    前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記顔領域と前記境界領域とが重なる面積を算出し、算出した面積に基づいて前記評価値を算出する
    ことを特徴とする請求項2に記載の撮像装置。
  6. 前記選択手段は、
    全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する1の顔領域を選択し、
    前記検出手段は、
    主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域の重心点を検出し、
    前記重み付け手段は、さらに、
    検出された重心点それぞれに対して、当該重心点が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた重心点に対する重み付けを行って、当該重心点に対する新たな評価値を算出し、
    前記選択手段は、
    取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択する
    ことを特徴とする請求項2に記載の撮像装置。
  7. 前記選択手段は、
    全ての評価値のうち、最大値となる評価値に対応する顔領域が複数存在するか否かを判断し、複数存在しないと判断する場合には、最大値となる評価値に対する1の顔領域を選択し、
    前記検出手段は、
    主被写体の候補となる顔領域が複数存在すると判断される場合には、さらに、検出した顔領域それぞれから当該顔領域から被写体の目の位置を検出し、
    前記重み付け手段は、さらに、
    検出された目の位置それぞれに対して、当該目の位置が前記領域情報にて示される境界領域と重なるときに重なり度合いに応じた目の位置に対する重み付けを行って、当該目の位置に対する新たな評価値を算出し、
    前記選択手段は、
    取得された全ての新たな評価値のうち、最大値となる新たな評価値に対する顔領域を選択する
    ことを特徴とする請求項2に記載の撮像装置。
  8. 前記重み付け手段は、
    検出された顔領域それぞれに対して、当該顔領域の面積を算出し、算出した面積を用いた重み付けを行って、第1の重みを取得する第1の取得部と、
    検出された顔領域それぞれに対して、前記顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第2の重みを取得する第2の取得部と、
    前記第1の重みと前記第2の重みとから前記評価値を算出する算出部とを備え、
    前記選択手段は、
    算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
    ことを特徴とする請求項1に記載の撮像装置。
  9. 前記重み付け手段は、
    式 w = a×ws × b×wp
    又は、
    式 w = a×ws + b×wp
    により、前記評価値を算出し、aは第1の定数、bは第2の定数、wsは前記第1の重み、及びwpは前記第2の重みである
    ことを特徴とする請求項8に記載の撮像装置。
  10. 前記第1の重みは、算出した顔領域の面積そのものである
    ことを特徴とする請求項9に記載の撮像装置。
  11. 前記第1の取得部は、
    算出した複数の顔領域の面積それぞれに対して、面積の大きいものから順に値が小さくなるように設定値を割り当て、
    前記第1の重みは、割り当てられた設定値である
    ことを特徴とする請求項9に記載の撮像装置。
  12. 前記検出手段は、さらに、
    検出した顔領域に対する顔らしさの度合いを示す第1の値を取得し、
    前記重み付け手段は、
    検出された顔領域それぞれに対して、当該顔領域が前記境界領域に重なるか否かを判断し、重なると判断する場合に、前記境界領域に対する重み定数を用いて前記顔領域に対する第2の値を取得し、前記第1の値と前記第2の値とから当該顔領域に対する評価値を算出し、
    前記選択手段は、
    算出された全ての評価値のうち、最も大きな評価値に対する顔領域を選択する
    ことを特徴とする請求項1に記載の撮像装置。
  13. 前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う2つの値の比であり、
    前記2種類の黄金比それぞれを定める2つの値は、1と2、及び2と3であり、
    前記境界領域は、
    2つ値1と2を用いた第1の黄金比にて定まる第1の黄金分割線と、2つの値2と3とを用いた第2の黄金比にて定まる第2の黄金分割線とによりはさまれる領域である
    ことを特徴とする請求項1に記載の撮像装置。
  14. 前記記憶手段は、
    4つの領域情報を記憶しており、
    前記重み付け手段は、
    各領域情報にて示される境界領域それぞれに対して、前記顔領域が当該境界領域と重なるか否かを判断し、重なると判断した1以上の境界領域に対応する各重み係数を用いて前記顔領域に対する評価値を算出する
    ことを特徴とする請求項1に記載の撮像装置。
  15. 前記黄金比は、フィボナッチ数列を形成する複数の値のうち隣り合う2つの値の比であり、
    前記2種類の黄金比それぞれを定める2つの値は、1と2、及び2と3であり、
    前記記憶手段は、前記4つの領域情報として、第1、第2、第3及び第4の領域情報を記憶しており、
    第1の領域情報は、画像フレーム内において水平方向に対して2種類の黄金比1:2と2:3とから定まる2つの黄金分割線によりはさまれる第1の境界領域を示し、
    第2の領域情報は、画像フレーム内において水平方向に対して2種類の黄金比2:1と3:2とから定まる2つの黄金分割線によりはさまれる第2の境界領域を示し、
    第3の領域情報は、画像フレーム内において垂直方向に対して2種類の黄金比1:2と2:3とから定まる2つの黄金分割線によりはさまれる第3の境界領域を示し、
    第4の領域情報は、画像フレーム内において垂直方向に対して2種類の黄金比2:1と3:2とから定まる2つの黄金分割線によりはさまれる第4の境界領域を示す
    ことを特徴とする請求項14に記載の撮像装置。
  16. 黄金比に基づく好適な構図による撮影を支援する画像処理装置であって、
    第1の撮影制御条件により入射光から生成された画像を外部の撮影装置から受け取る受取手段と、
    画像フレーム内において2種類の黄金比により定まる2つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも1つ記憶している記憶手段と、
    前記受取手段により受け取った画像から被写体の顔部分とみなされる顔領域を検出する検出手段と、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付け手段と、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる1の顔領域を選択する選択手段と、
    選択された前記顔領域に基づく第2の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御手段と
    を備えることを特徴とする画像処理装置。
  17. 黄金比に基づく好適な構図による撮影を支援する撮像装置で用いられる制御方法であって、
    前記撮像装置は、
    第1の撮影制御条件により、入射光から画像を生成する撮影機構と、
    画像フレーム内において2種類の黄金比により定まる2つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも1つ記憶している記憶手段とを備え、
    前記制御方法は、
    前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出ステップと、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付けステップと、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる1の顔領域を選択する選択ステップと、
    選択された前記顔領域に基づく第2の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御ステップと
    を含むことを特徴とする制御方法。
  18. 黄金比に基づく好適な構図による撮影を支援する撮像装置で用いられるコンピュータ読み取り可能な記録媒体に記録されたプログラムであって、
    前記撮像装置は、
    第1の撮影制御条件により、入射光から画像を生成する撮影機構と、
    画像フレーム内において2種類の黄金比により定まる2つの黄金分割線によりはさまれる境界領域を示す領域情報を少なくとも1つ記憶している記憶手段とを備え、
    前記プログラムは、
    前記撮影機構により生成された画像から被写体の顔部分とみなされる顔領域を検出する検出ステップと、
    複数の顔領域が検出されると、検出された顔領域それぞれに対して、当該顔領域と前記領域情報にて示される境界領域との重なりに基づいた重み付けを行って、当該顔領域に対する評価値を取得する重み付けステップと、
    前記複数の顔領域それぞれに対して取得された前記評価値に基づいて、主被写体となる1の顔領域を選択する選択ステップと、
    選択された前記顔領域に基づく第2の撮影制御条件により撮影するよう前記撮影機構を制御する撮影制御ステップと
    を含むことを特徴とするプログラム。
JP2008022708A 2007-02-07 2008-02-01 撮像装置、画像処理装置、制御方法およびプログラム Expired - Fee Related JP4902562B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007027507 2007-02-07
JP2007027507 2007-02-07
JP2008022708A JP4902562B2 (ja) 2007-02-07 2008-02-01 撮像装置、画像処理装置、制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008022708A JP4902562B2 (ja) 2007-02-07 2008-02-01 撮像装置、画像処理装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2008219874A JP2008219874A (ja) 2008-09-18
JP4902562B2 true JP4902562B2 (ja) 2012-03-21

Family

ID=39676203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008022708A Expired - Fee Related JP4902562B2 (ja) 2007-02-07 2008-02-01 撮像装置、画像処理装置、制御方法およびプログラム

Country Status (2)

Country Link
US (1) US8175343B2 (ja)
JP (1) JP4902562B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP4902562B2 (ja) * 2007-02-07 2012-03-21 パナソニック株式会社 撮像装置、画像処理装置、制御方法およびプログラム
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5257157B2 (ja) 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5525757B2 (ja) 2009-05-18 2014-06-18 オリンパス株式会社 画像処理装置、電子機器、及びプログラム
KR20110047540A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디지털 카메라 및 그 제어방법
US8447132B1 (en) * 2009-12-09 2013-05-21 CSR Technology, Inc. Dynamic range correction based on image content
US8675089B2 (en) 2009-12-25 2014-03-18 Samsung Electronics Co., Ltd. Apparatus and method for assisting composition of photographic image
JP4787905B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
EP2549738B1 (en) * 2011-07-19 2013-08-28 Axis AB Method and camera for determining an image adjustment parameter
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
KR101582153B1 (ko) * 2012-02-06 2016-01-04 네이버 주식회사 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
EP3032307A4 (en) * 2013-09-24 2017-02-22 Sony Corporation Imaging device, imaging method and program
JP5731033B2 (ja) * 2014-02-26 2015-06-10 オリンパス株式会社 画像処理装置、電子機器、及びプログラム
CN109981967A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 用于智能机器人的拍摄方法、装置、终端设备及介质
CN109101952A (zh) * 2018-09-04 2018-12-28 北京邮电大学 基于移动互联网的地物识别方法、装置、系统及服务器
CN109784273B (zh) * 2019-01-13 2019-10-08 北京镭特医疗科技有限公司 一种人脸识别方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200345A (ja) 1998-12-28 2000-07-18 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理形成システム、画像処理方法、画像形成方法および画像処理形成方法
US7298412B2 (en) 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
GB2382289B (en) * 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2003127489A (ja) 2001-10-26 2003-05-08 Seiko Epson Corp 記録装置、及び記録装置のホームポジション検出方法
JP2004215235A (ja) * 2002-12-18 2004-07-29 Seiko Epson Corp 出力画像の記憶色調整
JP2005044330A (ja) * 2003-07-24 2005-02-17 Sony Corp 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP4461747B2 (ja) * 2003-09-10 2010-05-12 オムロン株式会社 対象決定装置
JP4135100B2 (ja) * 2004-03-22 2008-08-20 富士フイルム株式会社 撮影装置
JP3985005B2 (ja) * 2004-09-30 2007-10-03 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4902562B2 (ja) * 2007-02-07 2012-03-21 パナソニック株式会社 撮像装置、画像処理装置、制御方法およびプログラム
JP2011019192A (ja) * 2009-07-10 2011-01-27 Toshiba Corp 画像表示装置

Also Published As

Publication number Publication date
JP2008219874A (ja) 2008-09-18
US20080187187A1 (en) 2008-08-07
US8175343B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
CA2922081C (en) Image processing apparatus, image processing method, and imaging system
US9456135B2 (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
US9756243B2 (en) Imaging controller and imaging control method and program
US10291842B2 (en) Digital photographing apparatus and method of operating the same
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
JP5791336B2 (ja) 画像処理装置及びその制御方法
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
JP4678603B2 (ja) 撮像装置及び撮像方法
US8792019B2 (en) Video creation device, video creation method and non-transitory computer-readable storage medium
JP4906034B2 (ja) 撮影装置および方法並びにプログラム
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
US20130002936A1 (en) Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP4735742B2 (ja) 撮像装置、ストロボ画像生成方法、および、プログラム
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
KR101421716B1 (ko) 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
US7639940B2 (en) Photography apparatus, photography method, and photography program using lighting condition parameters
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
TWI508555B (zh) 用於進行影像合成的影像處理設備和影像處理方法
JP4284448B2 (ja) 画像処理装置及び方法
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
JP4825093B2 (ja) 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム
CN100502471C (zh) 图像处理装置、图像处理方法和成像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees