JP5251547B2 - 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、人物などの被写体を含んだ画像の撮影を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、画像に含まれる被写体から特定のパターンを認識したことに応じて撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、複数の人物を含んだ撮影画像の撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、複数の人物の顔認識結果の相互関係に基づいて撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

最近、フィルムや感光板を使って撮影する銀塩カメラに代わって、光電変換及び蓄積を行なう画素配列の受光部をフォトダイオードにより構成した固体撮像素子で画像をキャプチャしデジタル符号処理して保存するデジタルカメラが広範に普及している。固体撮像素子として、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｒｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）を挙げることができる。例えばＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さいことや、単一の低電圧で駆動され、周辺回路と一体化が容易であるといった利点がある。

銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。

この主の撮影制御機能は、一般的に、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なう。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。撮像画像から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。

最近では、被写体画像から笑顔など特定のパターンを検出したことを利用して撮影するタイミングを決める自動撮影に関する研究開発が進められている。例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献２〜４を参照のこと）。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを挙げることができる。写真修正技術は古くから知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、これらを撮影タイミングの判断基準に用いる理由の１つである。例えば、被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。

撮像画像内に２人以上の被写体が写っている場合、「主役」と判定された特定の被写体をフォーカス合わせや画質補正の対象にして撮影制御を行なう撮影制御方法が考えられる。直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。例えば、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度をより精度よく判定できるようにした顔重要度判定装置について提案がなされている（例えば、特許文献５を参照のこと）。

また、２人以上の被写体を含んだ場合に、被写体間の相互関係に基づいて撮影制御方法も考えられる。例えば、複数人数存在する被写体の顔を認識し、顔に対する被写体距離や被写体輝度などの撮像パラメータからグループ化を行ない、グループ毎に最適な撮像パラメータを設定することで、それぞれの被写体にとって最適な撮像パラメータでの撮影を行なう撮像装置について提案がなされている（例えば、特許文献６を参照のこと）。

特開２００３−２７１９３３号公報（段落００５１〜００５３、図９） 特開２０００−３４７２７８号公報 特開２００４−２９４４９８号公報 特開２００６−２３７８０３号公報 特開２００７−２０１９８０号公報 特開２００６−３４５２５４号公報

本発明の目的は、画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて好適に撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数の人物を含んだ撮影画像の好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段と、
前記評価値Ｈ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。

また、本発明の第２の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈ_patternを出力する配置評価手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段と、
前記評価値Ｈ_pattern及びＨ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。

最近、デジタルカメラにおける撮影制御技術が進んでおり、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。

ここで、撮像画像内に２人以上の被写体が写っているときには、いずれの被写体に着目して撮影制御を行なうべきかという問題がある。例えば、「主役」と判定された特定の被写体をフォーカス合わせや画質補正の対象にして撮影制御を行なう撮影制御方法や、被写体間の相互関係に基づいて撮影制御方法が挙げられる。

後者の一例として、各検出顔の距離などの被写体間の配置に関する相互関係を基にセルフ・タイマーを設定するなどシャッターのタイミング制御を行なう方法が考えられる。しかしながら、被写体同士がすれ違うなど偶然に接近することもあり、検出顔の距離だけでは正確な撮影制御を行なうことはできない、と本発明者らは思料する。言い換えれば、検出顔の距離という単一のパラメータに基づいて撮影制御を行なうと、不要なタイミングでシャッターが切られ、あるいは逆に適切な撮影タイミングを逸してしまうことが懸念される。

これに対し、本発明の第１の側面に係る画像撮影装置は、各検出顔から笑顔度や性別、年齢といったさまざまな属性情報を検出する顔属性検出手段と、前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段をさらに備えている。そして、撮像判定手段は、評価値Ｈ_loveを評価して、前記の入力画像を撮影するタイミングを判定することによって、被写体同士の仲の良さが表現されたタイミングにおいて好適に撮影制御を行なうことが可能となる。

また、本発明の第２の側面に係る画像撮影装置は、検出顔間の距離ではなく、各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈ_patternを用いて、シャッターのタイミングやセルフ・タイマーの設定といった撮影制御を行なうようになっている。そして、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる前記の位置パターン、角度パターン、又は位置・角度パターンをあらかじめ用意しておき、配置評価手段は、前記の各検出顔の位置又は角度のなす相互関係を所定の位置パターン、角度パターン、又は位置及び角度の組み合わせからなる位置・角度パターンと比較計算して、前記評価値Ｈ_patternを求める。したがって、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いと判断されるタイミングにおいて、的確に撮影制御を実現することができる。

勿論、本発明の第２の側面に係る画像撮影装置も、各検出顔から笑顔度や性別、年齢といったさまざまな属性情報を検出する顔属性検出手段と、前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段をさらに備えることができる。このような場合、撮像判定手段は、評価値Ｈ_patternとともにＨ_loveを総合的に評価して、前記の入力画像を撮影するタイミングを判定することによって、被写体同士の仲の良さが表現されたタイミングにおいて好適に撮影制御を行なうことが可能となる。

ここで、配置評価手段は、前記の各検出顔の位置を、２以上の検出顔の高さが揃い、又は、３以上の検出顔がほぼ直線状に並ぶ位置パターンと比較計算して、前記評価値Ｈ_patternを求めるようにしてもよい。直線的な位置パターンは、２人又は３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。特に、各検出かを結んで描かれる直線が水平をなす場合、身長の違う被写体同士が顔の位置を合わせようとした結果である可能性があり、特に仲が良いと判断することができよう。

また、配置評価手段は、３以上の検出顔の位置を頂点とする多角形からなる位置パターンと比較計算して、前記評価値Ｈ_patternを求めるようにしてもよい。各検出顔を結んで多角形のような特定の幾何学パターンを形成したときには、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。多角形パターンは、上記の直線パターンよりも、さらに一体感のある写真を撮り易くなるという効果がある。人数が増えれば増えるほど、各被写体位置のアライメントが難しくなるので、多角形を完成したときに得られる達成感もより大きいものとなる。

また、配置評価手段は、２つの検出顔が内側を向く、あるいは複数の検出顔の向きが一定方向に揃う角度パターンと比較計算して、前記評価値Ｈ_patternを求めるようにしてもよい。何故ならば、被写体間で撮影のための作為を読み取ることができ、すなわち、被写体同士が親密になったと推定され、撮影制御を行なうタイミングの到来を検出することができるからである。２人の被写体に当該角度パターンを適用すると、仲の良さそうな写真を撮る上で効果があり、３人以上のグループに対して当該角度パターン適用すると一体感のある写真を撮る上で効果があると思料される。

また、前記の入力画像内で、各検出顔の位置が時間的に変化する速度を演算する速度演算手段や、各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段をさらに備え、仲良し度演算手段は、さらに各検出顔の速度又は角速度を考慮して、仲良し度を評価するようにしてもよい。各検出顔間が最も近づいたポイントで被写体間における撮影のための作為を検出することができ、あるいは、各検出顔の傾きが内側向きの角度に近づいたポイントで被写体間における撮影のための作為を検出することができるからである。

また、仲良し度演算手段は、前記顔属性検出手段により検出された各検出顔の笑顔度を考慮して、仲良し度を評価するようにしてもよい。

また、仲良し度演算手段は、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度を重み計算して、仲良し度を評価するようにしてもよい。

仲良し度演算手段は、各検出顔の移動速度と、前記顔属性検出手段により検出される（笑顔度以外の）属性情報に基づいて、各検出顔の距離に対する重みを決定するようにしてもよい。例えば、各検出顔の移動速度の合計が大きければ大きいほど当該重みを小さくする特性を利用すると、各検出顔の変化が緩やかでなければ、検出顔の距離が小さくても仲良し度を上げないように制御することができる。単にすれ違う際に検出顔が近づいても、仲良しとは推定されない。

また、仲良し度演算手段は、各検出顔から前記顔属性検出手段により検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定するようにしてもよい。例えば、大人の男性同士であればあまり近づかない方が良い写真になる、という知見が得られている場合には、大人の男性同士が顔検出されたときには重みを高くすることで、男性同士があまり近づかなくても、シャッターが切れるようになる。

また、仲良し度演算手段は、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定することができる。例えば、各検出顔の角速度の絶対値の合計が大きければ大きいほど当該重みを小さくする特性を利用すると、すなわち各検出顔の傾きの変化が緩やかでなければ、検出顔の距離が近くても仲良し度を上げないように制御することができる。

また、仲良し度演算手段は、前記顔属性検出手段により検出される、性別や年齢といった笑顔度以外の属性情報に基づいて、各検出顔の笑顔度に対する重みを決定するようにしてもよい。子供の笑顔を重視するときには、子供のときだけ当該重みの値を大きくする。また、統計的手法などに基づいて「男性の方が笑顔は少ない」という知見が得られ、これを参酌する場合には、検出顔が男性のときに女性よりも当該重みの値を大きくするなどの対応をすればよい。

また、撮影判定手段は、前記評価値Ｈ_pattern及びＨ_loveを重み計算した評価値Ｈに基づいて、前記の入力画像を撮影するタイミングを判定するようにしてもよい。ここで、評価値Ｈ_pattern及びＨ_loveの各々に対する重みα及びβを、現在の撮影モードに応じて決定するようにしてもよい。

また、本発明の第３の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像を画面に表示する表示手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段と、
前記評価値Ｈ_loveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段と、
前記評価値Ｈ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。

また、本発明の第４の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、 前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段と、
前記評価値Ｈ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。

また、本発明の第５の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、 前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈ_patternを出力する配置評価手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段と、
前記評価値Ｈ_pattern及びＨ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。

また、本発明の第６の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段、
前記の入力画像を画面に表示する表示手段、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段、
前記の各検出顔の属性情報を検出する顔属性検出手段、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈ_loveを出力する仲良し度演算手段、
前記評価値Ｈ_loveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段、
前記評価値Ｈ_loveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。

本発明の第４乃至第６の各側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第４乃至６の各側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１乃至第３の各側面に係る画像撮影装置と同様の作用効果をそれぞれ得ることができる。

本発明によれば、画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて好適に撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、複数の人物を含んだ撮影画像の好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像撮影装置は、複数の被写体を含んだ画像を撮影する際に、各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を好適に行なうことができる。

また、本発明に係る画像撮影装置は、複数の被写体を含んだ画像を撮影する際、被写体間で評価される仲良し度に応じて、被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションの画面表示をおこなうことができる。さらに、仲良し度の評価値が所定の閾値に達して撮影タイミングを判定した際に、仲良し度の評価値の大きさを視覚化したアニメーションの画面表示を行なうことができる。

また、本発明に係る画像撮影装置によれば、所定の仲良し度判定期間にわたる仲良し度の評価値Ｈ_loveに対して時間平均などの統計処理を行なって、被写体間の人間関係を判定することができる。例えば、判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加したり、判定した被写体間の人間関係をＥｘｉｆなどの撮影画像の付加情報として記録したりすることができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。 図２は、本発明の第１の実施形態に係るシステムの機能的構成を模式的に示した図である。 図３は、図２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。 図４は、仲良し度演算部１０３における仲良し度演算処理の手順の一例を示した図である。 図５は、本発明の第２の実施形態に係るシステムの機能的構成を模式的に示した図である。 図６Ａは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。 図６Ｂは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。 図６Ｃは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。 図６Ｄは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。 図６Ｅは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。 図７Ａは、被写体間の仲の良さを表す指標として適用することができる角度パターンを例示した図である。 図７Ｂは、被写体間の仲の良さを表す指標として適用することができる角度パターンを例示した図である。 図８は、速度演算部２０４が顔検出部２０１で検出される各被写体の位置情報を時系列的にトラッキングしている様子を示した図である。 図９は、角速度演算部２０５が顔検出部２０１で検出される各被写体の角度情報を時系列的にトラッキングしている様子を示した図である。 図１０は、仲良し度が高いと判定される検出顔の相互関係の例を示した図である。 図１１は、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。 図１２Ａは、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを例示した図である。 図１２Ｂは、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを例示した図である。 図１３は、撮影画像（モニタ・ディスプレイ２５）内の検出顔の傾きを示した図である。 図１４Ａは、３角形パターンの位置情報を例示した図である。 図１４Ｂは、４角形パターンの位置情報を例示した図である。 図１５Ａは、２人の被写体が内側を向く角度パターンの角度情報を例示した図である。 図１５Ｂは、複数の被写体の向きが一定方向に揃う角度パターンの角度情報を例示した図である。 図１６は、位置・角度パターンの位置・角度情報を例示した図である。 図１７は、２人の被写体ａ及びｂの検出顔の位置情報Ｄ＿ａ（ｘ，ｙ）及びＤ＿ｂ（ｘ，ｙ）が時刻ｔ_u-1からｔ_uの間に移動する様子を示した図である。 図１８は、２人の被写体ａ及びｂの検出顔の角度情報Ａ＿ａ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）及びＡ＿ｂ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）が時刻ｔ_u-1からｔ_uの間に移動する様子を示した図である。 図１９は、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順を示した図である。 図２０Ａは、各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ₁のための重みｍ₁を決定するための関数Ｆ₁の特性を示した図である。 図２０Ｂは、各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ₁のための重みｍ₁を決定するための関数Ｆ₁の特性を示した図である。 図２１Ａは、各検出顔ａ及びｂの傾きの差分に基づくスコア値Ｓ₂のための重みｍ₂を決定するための関数Ｆ₂の特性を示した図である。 図２１Ｂは、各検出顔ａ及びｂの傾きの差分に基づくスコア値Ｓ₂のための重みｍ₂を決定するための関数Ｆ₂の特性を示した図である。 図２２Ａは、仲良し度演算部１０３における仲良し度演算処理の手順の他の例を示した図である。 図２２Ｂは、被写体間の相対距離ｄを［０，１］にスケーリングする関数を示した図である。 図２２Ｃは、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示した図である。 図２２Ｄは、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示した図である。 図２２Ｅは、被写体の笑顔度を［０，１］にスケーリングする関数を示した図である。 図２３は、検出顔の傾きをパターン判定する方法を説明するための図である。 図２４は、本発明の第３の実施形態に係るシステムの機能的構成を模式的に示した図である。 図２５は、図２４に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。 図２６Ａは、被写体間の距離ｄを示した図である。 図２６Ｂは、被写体間の距離ｄに基づいて評価値ｆ１を得るための関数を示した図である。 図２７Ａは、２人の被写体ａ、ｂの笑顔度を例示した図である。 図２７Ｂは、被写体間の距離ｄに基づいて評価値ｆ１を得るための関数を示した図である。 図２８は、被写体間の距離が遠すぎる場合に表示される、お互いに現状よりも近づくことを促すための撮影支援用のアニメーションの表示例を示した図である。 図２９は、被写体間の距離が遠すぎる場合に表示される、現状よりも笑顔を作ることを促すための撮影支援用のアニメーションの表示例を示した図である。 図３０は、仲良し度の評価値Ｈ_loveが低い場合の支援情報の表示例を示した図である。 図３１は、仲良し度の評価値Ｈ_loveが高い場合の支援情報の表示例を示した図である。 図３２は、本発明の第４の実施形態に係るシステムの機能的構成を模式的に示した図である。 図３３Ａは、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。 図３３Ｂは、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。 図３４は、仲良し度の評価値Ｈ_loveを量子化する関数Ｑを示した図である。 図３５は、仲良しレベルと閾値、アイコンの種類の対応関係を記述したテーブルを示した図である。 図３６は、人間関係判定部４１０が表５に従って被写体同士の人間関係を判定する処理手順を示したフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッター機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動（例えば、被写体のフォーカス合わせやアイリス、シャッター若しくはセルフ・タイマー設定のタイミング）を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列された撮像面を有し、被写体からの入射光を電気信号に変換する。受光側には、例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログ前処理）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施すことによって、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、撮影画像をモニタ・ディスプレイ２５にスルー画像として表示出力するか、又はキャプチャすなわち記録メディアに保存するかに応じて、画像のサイズの変更を行なう。

画像コーデック処理部１９は、ＲＧＢ表色系の画像信号を、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）表色系からなる画像信号に変換した後、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。ＹＵＶ表色系へ色空間変換することで、輝度に対する解像度は高いが色に対する解像度が低いという人間の視感度特性を利用して、データ圧縮を行ない易くなる。

メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データ、記録メディア２６から読み出され画像コーデック処理部１９で復号された画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。

モニタ・ディスプレイ２５の表面にはタッチセンサが重畳されており、タッチパネルを兼ねている。タッチパネルが認識する座標と表示パネルに表示する座標は同一である。したがって、撮影者は、モニタ・ディスプレイの表示画面上で、笑顔の検出対象となる被写体や、その他のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品などを直接指定することができる。

また、モニタ・ディスプレイ２５上には、スルー画像が表示される他、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）として表示出力される。本発明では、複数の被写体を含んだ画像を撮影する際に、被写体間の仲良し度を評価するが、被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションを画面に表示したり、仲良し度の評価値の大きさを視覚化したアニメーションを撮影画像の画面に表示したりする。さらに、所定の仲良し度判定期間にわたる仲良し度の平均値を取るなどの統計処理によって、被写体間の人間関係を判定することができ、人間関係に応じたデコレーションを撮影画像の画面に表示するようにしてもよい。これらアニメーションやデコレーションの表示処理の詳細については、後述に譲る。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。

ＣＰＵ２９は、撮影画像（例えば、メモリ装置２４上に展開された画像フレーム）に含まれる画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて撮影制御を行なう。本実施形態では、画像中から認識された複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なうが、かかる撮影制御の詳細については後述に譲る。また、ＣＰＵ２９は、モニタ・ディスプレイ２５上にＯＳＤ表示するためのＧＵＩ処理を行なう。

ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・キー・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。そして、メラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

現在、顔認識技術を搭載したデジタルカメラは一般的となりつつある。本実施形態に係るデジタルスチルカメラ１は、画像中から認識された複数の人物の顔認識結果の相互関係に基づいて撮影制御を行なう。

複数の被写体間の相互関係を、例えば被写体距離を基に推定することができる。例えば、各検出顔の距離などの被写体間の配置に関する相互関係を基にセルフ・タイマーを設定するなどシャッターのタイミング制御を行なう方法が考えられる。しかしながら、被写体同士がすれ違うなど偶然に接近することもあり、検出顔の距離だけでは正確な撮影制御を行なうことはできない、と本発明者らは思料する。言い換えれば、検出顔の距離という単一のパラメータに基づいて撮影制御を行なうと、不要なタイミングでシャッターが切られ、あるいは逆に適切な撮影タイミングを逸してしまうことが懸念される。

そこで、本発明の第１の実施形態に係るデジタルスチルカメラ１では、複数の被写体を含んだ画像を撮影する際に、各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、撮影制御を行なうように構成されている。具体的には、検出顔間の距離との各顔の笑顔度並びに傾きを基に、被写体間の親密度合いを「仲良し度」とも呼ぶべき数値で表すことができる。そして、算出された仲良し度が所定の閾値を超えたことに応答して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動する。

図２には、本発明の第１の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、顔検出部１０１と、顔属性検出部１０２と、仲良し度演算部１０３と、撮像判定部１０４で構成される。

顔検出部１０１は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する。例えば、本出願人に既に譲渡されている特開２００４−１３３６３７号公報に記載されている顔検出装置を適用することができる。

顔属性検出部１０２は、処理対象となる画像から顔検出部１０１によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出部１０２は各検出顔についてのこれらの属性情報を示す属性値を出力する。例えば、Ａｄａｂｏｏｓｔなどの統計学習を用いて複数の弱判別器からなる判別器を集団学習して得られる対象物検出装置で顔属性検出部１０２を構成することができる。この種の対象物検出装置の詳細については、例えば、本出願人に既に譲渡されている特開２００５−１５７６７９号公報を参照されたい。なお、顔検出部１０１並びに顔属性検出部１０２の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。

仲良し度演算部１０３は、顔検出部１０１から出力される各検出顔の位置、大きさ、角度情報と、顔属性検出部１０２から出力される笑顔度やその他の顔属性情報を基に、被写体間の親密度合いを「仲良し度」と呼ぶ評価値Ｈ_loveで表すための演算処理を実行する。例えば、接近した２つの検出顔の視線方向がお互いを向き合う（すなわち、検出顔の法線ベクトルが互いの顔の付近で交わる）場合で、且つ、お互いの笑顔度が高い場合を仲良し度が高いと判定して、撮像制御することができる（笑顔度は顔属性検出部１０２から出力されるパラメータを利用する）。仲良し度の演算処理の詳細については、後述に譲る。

撮像判定部１０４は、仲良し度演算部１０３から出力される被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを基に被写体の相互関係を判断して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。

図３には、図２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。

顔検出部１０１による検出データを読み出し（ステップＳ１）、複数の検出顔を検出したか否かをチェックする（ステップＳ２）。そして、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。

次いで、顔属性検出部１０２から、各検出顔の笑顔度などの属性情報を読み出し（ステップＳ３）、これを仲良し度演算部１０３に投入して、演算要求を発行する（ステップＳ４）。仲良し度演算部１０３は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを計算する。例えば、２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して撮影制御を行なう。但し、仲良し度の演算処理の詳細については、後述に譲る。

次いで、撮像判定部１０４に対して評価値の演算要求を発行する（ステップＳ５）。撮像判定部１０４は、仲良し度演算部１０３から出力される仲良し度Ｈ_loveを基に、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定するための評価値Ｈを算出する。

そして、この評価値Ｈ_loveが所定の閾値を超えたときには（ステップＳ６のＹｅｓ）、ＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される（ステップＳ７）。

仲良し度演算部１０３は、２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合に、高い仲良し度を出力する。図４には、仲良し度演算部１０３が上記ステップＳ４における演算要求に応じて、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順の一例を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がａ及びｂの２人であるものとする。

仲良し度演算処理部１０３は、顔検出部１０１からの検出結果である、各検出顔ａ及びｂの位置情報（Ｘ_a，Ｙ_a）と（Ｘ_b，Ｙ_b）、大きさ（すなわち、幅Ｗ_aとＷ_b、及び、高さＨ_aとＨ_b）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、顔属性検出部１０２の検出結果である、各検出顔ａ及びｂの笑顔度Ｓ_a及びＳ_b、並びにその他の属性情報を入力パラメータに用いることができる。

検出顔ａ及びｂ間の相対距離ｄは、顔何個分離れているかで表され、以下の式（１）で計算される。そして、算出された相対距離ｄを図４中に示すようにスコア化、正規化して、第１のスコアＳ₁を求める。

また、検出顔ａ及びｂの傾きの差分ｒは、各々の検出顔ａ及びｂのロール回りの傾きＲ_aとＲ_bの絶対値の差分とし、下式（２）で求める（但し、傾きが逆（例えば、＋３０度と−３０度）も同じとみなしたいことから、絶対値をとる）。そして、検出顔間の傾きの差分ｒを図４中に示すようにスコア化、正規化して、第２のスコアＳ₂を求める。

また、各検出顔ａ及びｂの笑顔度Ｓ_a及びＳ_bを、図４中に示すようにスコア化、正規化して、第３のスコアＳ₃、第４のスコアＳ₄として求める。

そして、得られたスコア値Ｓ_iを下式（３）のように合計して、得られた評価値Ｈ_loveを評価値として、撮像判定部１０４に出力する。

また、図２２Ａには、仲良し度演算部１０３による仲良し度演算処理の手順の他の例を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がａ及びｂの２人であるものとする。

仲良し度演算処理部１０３は、顔検出部１０１からの検出結果である、各検出顔ａ及びｂの位置情報（Ｘ_a，Ｙ_a）と（Ｘ_b，Ｙ_b）、大きさ（すなわち、幅Ｗ_aとＷ_b、及び、高さＨ_aとＨ_b）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、顔属性検出部１０２の検出結果である、各検出顔ａ及びｂの笑顔度Ｓ_a及びＳ_b、並びにその他の属性情報を入力パラメータに用いる。

検出顔ａ及びｂ間の相対距離ｄは、顔何個分だけ離れているかで表され、以下の式（４）で計算される。

そして、仲良し度演算処理部１０３は、上式（４）で算出された相対距離ｄを、下式（５）並びに図２２Ｂに示す関数を用いてスコア化、正規化して、［０，１］にスケーリングされた第１のスコアＳ₁を求める。

検出顔ａ及びｂの傾きについては、図４に示した処理手順とは相違し、各々の検出顔ａ及びｂのロール回りの傾きＲ_aとＲ_bの組み合わせパターンに基づいて、［０，１］にスケーリングされた第２のスコアＳ₂を求める。まず、検出顔ａ及びａのロール回りの傾きＲ_aとＲ_bを逐次測定する。ここでは、傾きＲ_aとＲ_bは、図２３に示すように、傾きの識別番号で表される。各検出顔ａ及びｂのＸ方向の位置情報Ｘ_aとＸ_bの大小関係に応じて表１又は表２のいずれかを使用して、検出顔ａ及びｂのロール回りの傾きＲ_aとＲ_bのパターン判定を行なう。

そして、検出顔ａ及びｂのロール回りの傾きＲ_aとＲ_bのパターン判定結果を第２のスコアＳ₂として出力する。いずれの表を用いる場合も、図２２Ｃ並びに図２２Ｄに示すように、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示す場合には、Ｓ₂＝１であり、それ以外のパターンの場合にはＳ₂＝０となる。

また、各検出顔ａ及びｂの笑顔度Ｓ_a及びＳ_bを、下式（６）並びに図２２Ｅに示す関数を用いてスコア化、正規化して、［０，１］にスケーリングされた第３のスコアＳ₃、第４のスコアＳ₄を求める。

各スコアＳ₁〜Ｓ₄には重みｍ₁〜ｍ₄がそれぞれ設定されている。重みｍ₁〜ｍ₄は、総和が１００になるようにそれぞれの属性値の重要性を鑑みて設定された固定値とする。仲良し度演算部１０３は、得られたスコア値Ｓ_iを下式（７）のように重み付け加算して（但し、ｉは１乃至４の整数）、得られた評価値Ｈ_loveを評価値として算出し、撮像判定部１０４に出力する。

続いて、本発明の第２の実施形態について説明する。第２の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに各検出顔の位置又は角度のなす相互関係を評価して、撮影制御を行なうように構成されている。すなわち、各検出顔の配置が、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる位置パターン、角度パターン、又は位置・角度パターンと合致するかどうかを評価し、仲良し度とともに総合的に判断し、シャッターのタイミング決定やセルフ・タイマーの設定などを起動して、的確に撮影制御を実現するものである。

図５には、本発明の第２の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、顔検出部２０１と、顔属性検出部２０２と、パターン検出部２０３と、速度演算部２０４と、角速度演算部２０５と、仲良し度演算部２０６と、撮像判定部２０７で構成され、複数の被写体を含んだ画像を撮影する際に、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて撮影制御を行なう。

顔検出部２０１は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部２０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。

顔属性検出部２０２は、処理対象となる画像から顔検出部２０１によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出部２０１は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。なお、顔検出部２０１並びに顔属性検出部２０２の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。

パターン検出部２０３は、処理対象となる画像から顔検出部２０１によって検出された各検出顔の配置から撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。ここで言うパターンは、各検出顔間の位置パターンと、各検出顔の姿勢すなわち角度パターンに大別される。

図６には、被写体間で撮影のための作為を読み取ることができる位置パターンを例示している。

図６Ａに示すように、２以上の検出顔の高さが揃うと、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。また、図６Ｂに示すように３人以上の被写体の顔が直線的に並んだときに、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。図６Ａ並びに図６Ｂに示すような直線的な位置パターンは、２人又は３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。特に、各検出かを結んで描かれる直線が水平をなす場合、身長の違う被写体同士が顔の位置を合わせようとした結果である可能性があり、特に仲が良いと判断することができよう。

また、図６Ｃ、図６Ｄ、図６Ｅに示すように、３人、４人、５人の被写体の検出顔の位置が頂点となるような３角形、４角形、５角形を描くなど、特定の幾何学パターンを形成したときには、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。図６Ｃ、図６Ｄ、図６Ｅに示すような多角形パターンは、３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。多角形パターンは、上記の直線パターンよりも、さらに一体感のある写真を撮り易くなるという効果がある。人数が増えれば増えるほど、各被写体位置のアライメントが難しくなるので、多角形を完成したときに得られる達成感もより大きいものとなる。

また、図７には、被写体間で撮影のための作為を読み取ることができる角度パターンを例示している。図７Ａに示すように、２つの検出顔が内側を向く、あるいは、図７Ｂに示すように、複数の検出顔の向きが一定方向に揃うときには、被写体間で撮影のための作為を読み取ることができ、すなわち、被写体同士が親密になったと推定され、撮影制御を行なうタイミングの到来を検出することができる。図７Ａ並びに図７Ｂに示すような角度パターンは、２人あるいは３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。２人の被写体に当該角度パターンを適用すると、仲の良さそうな写真を撮る上で効果があり、３人以上のグループに対して当該角度パターン適用すると一体感のある写真を撮る上で効果があると思料される。

これら位置パターン並びに角度パターン、さらに配置と角度の組み合わせからなる位置・角度パターンは、例えばパターン・データとしてＥＥＰＲＯＭ３１に格納されており、パターン検出部２０３は、幾何学計算などを通じて、各検出顔の位置並びに姿勢情報が上記のいずれかの位置パターン又は角度パターンと一致するかを、比較照合し、その結果をパターンの評価値Ｈ_patternとして出力する。パターン検出処理の詳細については、後述に譲る。

速度演算部２０４並びに角速度演算部２０５は、各検出顔の位置又は姿勢の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを、それぞれ検出する。速度演算部２０４は、顔検出部２０１で検出される各被写体の位置情報を時系列的にトラッキングしている。速度演算部２０４は、図８に示すように、各検出顔間の距離を逐次測定しており、最も距離が近づいたポイントで被写体間における撮影のための作為を検出することができる。また、角速度演算部２０６は、図９に示すように、各被写体の角度を逐次測定しており、例えば各検出顔の傾きが内側向きの角度に近づいたポイントで被写体間における撮影のための作為を検出することができる。速度演算部２０４及び角度演算部２０５の各々において実施される演算処理の詳細については、後述に譲る。

仲良し度演算部２０６は、顔検出部２０１から出力される各検出顔の位置、大きさ、角度情報と、顔属性検出部２０２から出力される笑顔度やその他の顔属性情報を基に、被写体間の親密度合いを「仲良し度」と呼ぶ評価値Ｈ_loveで表すための演算処理を実行する。例えば、図１０に示すように、接近した２つの検出顔の視線方向がお互いを向き合う（すなわち、検出顔の法線ベクトルが互いの顔の付近で交わる）場合で、且つ、お互いの笑顔度が高い場合を仲良し度が高いと判定して、撮像制御することができる（笑顔度は顔属性検出部２０２から出力されるパラメータを利用する）。仲良し度の演算処理の詳細については、後述に譲る。

撮像判定部２０７は、パターン検出部２０３から得られる、複数の検出顔の相互関係が所望する位置パターン又は角度パターン（図６〜図７を参照のこと）に合致する度合いを示す評価値Ｈ_patternと、仲良し度演算部２０６から出力される被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを基に、被写体の相互関係を総合的に判断して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。

図１１には、図５に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。

顔検出部２０１による検出データを読み出し（ステップＳ１１）、複数の検出顔を検出したか否かをチェックし（ステップＳ１２）、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。

まず、パターン判定部２０３に対してパターン検出要求が発行される（ステップＳ１３）。パターン判定部２０３は、顔検出部２０１による検出顔のデータを取得すると、複数の検出顔の相互関係が所望する位置パターン又は角度パターン（図６〜図７を参照のこと）に合致するか否かを比較する。そして、複数の検出顔の相互関係が所望する位置パターン又は角度パターンのいずれかに合致する場合には（ステップＳ１４のＹｅｓ）、その合致する度合いを示す評価値Ｈ_patternを撮像判定部２０７に出力する（ステップＳ１５）。但し、パターン判定部２０３により実施される演算処理の詳細については、後述に譲る。

次いで、速度演算部２０４に対して演算要求が発行される（ステップＳ１６）。但し、速度演算部２０４により実施される演算処理の詳細については、後述に譲る。

次いで、角速度演算部２０５に対して演算要求が発行される（ステップＳ１７）。但し、角速度演算部２０５により実施される演算処理の詳細については、後述に譲る。

次いで、顔属性検出部２０２から、各検出顔の笑顔度などの属性情報を読み出し（ステップＳ１８）、これを仲良し度演算部２０６に投入して、演算要求を発行する（ステップＳ１９）。仲良し度演算部２０６は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを計算するが、その演算処理の詳細については、後述に譲る。

次いで、撮像判定部２０７に対して評価値の演算要求を発行する（ステップＳ２０）。撮像判定部２０７は、パターン検出部２０３から得られる位置パターン又は角度パターン、位置及び角度パターンと合致する度合いを示す評価値Ｈ_patternと、仲良し度演算部２０６から出力される仲良し度Ｈ_loveを基に、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定するための評価値Ｈを算出する。

そして、この評価値Ｈが所定の閾値を超えたときには（ステップＳ２１のＹｅｓ）、ＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される（ステップＳ２２）。

以下では、パターン検出部２０３、速度演算部２０４、角速度演算部２０５、仲良し度演算部２０６、撮像判定部２０７の各々で実施される演算処理について詳解する。

但し、以下の説明では、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを図１２Ａ又は図１２Ｂのように定義する。また、検出顔の角度（傾き）は、図１３に示すようにロール（ｒｏｌｌ）、ヨー（ｙａｗ）、ピッチ（ｐｉｔｃｈ）、の３軸回りであるとする。そして、ｎ番目の検出顔の位置をＤ＿ｎ（ｘ，ｙ）、その回転角をＡ＿ｎ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と標記するものとする。

位置パターン判定処理：
位置パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。

（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の位置情報Ｄ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を取得する。

（２）判定対象となる位置パターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｐ個（ｐ≧１）の位置パターン情報を取得したものとする。位置パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔ｎｏの座標位置（ｘ，ｙ）を示す位置情報Ｐ_{pos_pattern_no}（ｘ，ｙ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐ_{val_pattern}を含む。多角形パターンが一体感のある写真を撮り易くなるという効果があることは、既に述べた通りである。図１４Ａ並びに図１４Ｂには、３角形パターン、並びに４角形パターンの位置情報を例示している。

（３）ｐ回（すなわち、各位置パターン情報について）、下式（８）を用いて評価関数Ｈ_posの演算を行なう。

上記の評価関数Ｈ_posにおいて、入力された各検出顔の位置Ｄ＿１、…、Ｄ＿ｎが、位置パターン情報Ｐ_{pos_p}にマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐ_{val_p}を返し、マッチしない場合は０を返す。

角度パターン判定処理：
角度パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。

（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の角度情報Ａ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を取得する。

（２）判定対象となる角度パターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｑ個（ｑ≧１）の位置パターン情報を取得したものとする。角度パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔のロール、ヨー、ピッチの各軸回りの回転角度（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）を示す角度情報Ｐ_{angle_pattern_no}（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐ_{val_pattern}を含む。２人の被写体が内側を向く、あるいは、図７Ｂに示すように、複数の被写体の向きが一定方向に揃う角度パターンが一体感のある写真を撮り易くなるという効果があることは、既に述べた通りである。図１５Ａ並びに図１５Ｂには、２人の被写体が内側を向く角度パターン、並びに複数の被写体の向きが一定方向に揃う角度パターンの角度情報を例示している。

（３）ｑ回（すなわち、各角度パターン情報について）、下式（９）を用いて評価関数Ｈ_angleの演算を行なう。

上記の評価関数Ｈ_angleにおいて、入力された各検出顔の角度Ａ＿１、…、Ａ＿ｎが、角度パターン情報Ｐ_{angle_q}にマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐ_{val_q}を返し、マッチしない場合は０を返す。

位置・角度パターン判定処理：
位置・角度パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。

（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の位置情報を取得する。

（２）判定対象となる位置・パターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｒ個（ｒ≧１）の位置パターン情報を取得したものとする。位置・角度パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔ｎｏの座標及び角度位置（ｘ，ｙ，ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）を示す位置・角度情報Ｐ_{pos&angle_pattern_no}（ｘ，ｙ，ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐ_{val_pattern}を含む。図１６には、一体感のある写真を撮り易くなるという効果があると考えられる位置・角度パターンの位置・角度情報を例示している。

（３）ｒ回（すなわち、各位置・角度パターン情報について）、下式（１０）を用いて評価関数Ｈ_pos&angleの演算を行なう。

上記の評価関数Ｈ_pos&angleにおいて、入力された各検出顔の位置Ｄ＿１、…、Ｄ＿ｎ及び角度Ａ＿１、…、Ａ＿ｎが、位置・角度パターン情報Ｐ_{pos&angle_p}にマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐ_{val_r}を返し、マッチしない場合は０を返す。

パターン判定処理：
パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて、上記の位置パターン判定処理、角度パターン判定処理、及び位置・角度パターン判定処理の結果に基づいて実施する。具体的には、下式（１１）に示すように、各パターン判定処理の評価値Ｈ_pos、Ｈ_angle、Ｈ_pos&angleの合計からなるパターン評価値Ｈ_patternを算出し、これを撮像判定部２０７に出力する。

速度演算処理：
速度演算処理は、速度演算部２０４が、図１１に示したフローチャート中のステップＳ６の演算要求に応じて実施し、各検出顔の位置の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。

（１）時刻ｔ_u-1における各検出顔の位置情報Ｄ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を、顔検出部２０１より取得する。

（２）そして、各検出顔の移動速度を求める。

図１７には、２人の被写体ａ及びｂの検出顔の位置情報Ｄ＿ａ（ｘ，ｙ）及びＤ＿ｂ（ｘ，ｙ）が時刻ｔ_u-1からｔ_uの間に移動する様子を示している。この場合の各検出顔の移動速度（Ｘ’ａ，Ｙ’ａ）、（Ｘ’ｂ，Ｙ’ｂ）は下式（１２）により算出される。

角速度演算処理：
角速度演算処理は、角速度演算部２０５が、図１１に示したフローチャート中のステップ７の演算要求に応じて実施し、各検出顔の角度の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。

（１）時刻ｔ_u-1における各検出顔の角度情報Ａ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を、顔検出部２０１より取得する。
（２）そして、各検出顔の角速度を求める。

図１８には、２人の被写体ａ及びｂの検出顔の角度情報Ａ＿ａ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）及びＡ＿ｂ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）が時刻ｔ_u-1からｔ_uの間に回転する様子を示している。この場合の各検出顔の各速度（θ_roll’ａ，θ_yaw’ａ，θ_pitch’ａ）、（θ_roll’ｂ，θ_yaw’ｂ，θ_pitch’ｂ）は下式（１３）により算出される。

仲良し度演算処理：
仲良し度演算処理は、仲良し度演算処理部２０６が、図１１に示したフローチャート中のステップ９の演算要求に応じて実施する。

図１９には、仲良し度演算部２０６において、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がＡ及びＢの２人であるものとする。

仲良し度演算処理部２０６は、顔検出部２０１からの検出結果である、各検出顔ａ及びｂの位置情報、大きさ（すなわち幅及び高さ）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、速度演算部２０４の演算結果である各検出顔ａ及びｂの速度情報、角速度演算部２０５の演算結果である各検出顔ａ及びｂの角速度情報（ロール、ヨー、ピッチの各軸回りの角速度）、顔属性検出部２０２の検出結果である、各検出顔ａ及びｂの笑顔度並びにその他の属性情報を入力パラメータに用いることができる。

本実施形態では、被写体の検出顔の相対距離ｄ、検出顔の傾きの差分ｒ、及び各検出顔ａ及びｂの笑顔度Ｓ_a、Ｓ_bを、仲良し度を決定する要素とし、また、各要素ｉには重み係数ｍ_iが割り当てられる。各要素ｉを決定又は計算し、並びに要素毎の重み係数ｍ_iを計算するために、上記の入力パラメータが振り分けられる。

ここで、検出顔ａ及びｂの笑顔度は、顔属性検出部２０２から出力される笑顔度Ｓ_a及びＳ_bとする。また、検出顔ａ及びｂ間の相対距離ｄは、顔何個分離れているかで表され、以下の式（１４）で計算される。

また、検出顔ａ及びｂの傾きの差分ｒは、下式（１５）に示すように、各々の検出顔ａ及びｂのロール回りの傾きＲ_aとＲ_bの絶対値の差分とする（但し、傾きが逆（例えば、＋３０度と−３０度）も同じとみなしたいことから、絶対値をとる）。

そして、各要素ｉの評価値をスコア化又は正規化し、得られたスコア値Ｓ_iを各々の重み係数を用いて下式（１６）のように重み計算して、得られた評価値Ｈ_loveを評価値として、撮像判定部２０７に出力する。

続いて、各要素のスコア値Ｓ_iに乗算される重みｍ_iの算出方法について説明する。

各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ₁のための重みｍ₁は、例えば下式に示すように、各検出顔ａ及びｂの移動速度を引数とする関数Ｆ₁と、各検出顔ａ及びｂの属性情報（但し、笑顔度以外）を引数とする関数Ｇに基づいて決定することができる。検出顔の移動速度は、速度演算部２０４から得ることができる。

ここで、関数Ｆ₁を、図２０Ａ若しくは図２０Ｂに示すような、各検出顔ａ及びｂの移動速度の和Ｖ₁（下式（１８）を参照）が大きければ大きいほど減少するという特性を持つ関数である。Ｖ₁がある程度は小さい、すなわち各検出顔ａ及びｂの位置の変化が緩やかでなければ、検出顔ａ及びｂの距離が近くても仲良し度Ｈ_loveを上げないように制御することができる。

また、検出顔ａ及びｂの属性情報Ａ_a及びＡ_bとして、性別の種別と年齢層（大人と子供）という具合に区分する場合には、下表に示すように属性情報Ａ_a及びＡ_bの組み合わせに応じたＧの値を用いることができる。同表内の各欄の値はさまざまな方法で設定することができる。例えば、大人の男性同士であればあまり近づかない方が良い写真になる、という知見が得られている場合には、大人の男性同士が顔検出されたときには重みｍ₁を高くすることで、男性同士があまり近づかなくても、シャッターが切れるようになる。

各検出顔ａ及びｂの傾きの差分に基づくスコア値スコア値Ｓ₂のための重みｍ₂は、例えば下式に示すように、例えば下式（１９）に示すように、各検出顔ａ及びｂの角速度を引数とする関数Ｆ₂に基づいて決定することができる。検出顔の角速度は、角速度演算部２０５から得ることができる。

ここで、関数Ｆ₂を、図２１Ａ若しくは図２１Ｂに示すような、各検出顔ａ及びｂの角速度の絶対値の和Ｖ₂（下式（２０）を参照）が大きければ大きいほど減少するという特性を持つ関数である。Ｖ₂がある程度は小さい、すなわち各検出顔ａ及びｂの傾きの変化が緩やかでなければ、検出顔ａ及びｂの距離が近くても仲良し度Ｈ_loveを上げないように制御することができる。

検出顔ａ及びｂ毎の笑顔度に基づくスコア値Ｓ_a、Ｓ_bのための重みｍ₃、ｍ₄は、例えば、各検出顔ａ及びｂの笑顔度以外の、性別や年齢といった属性情報Ａ_a、Ａ_bを引数とする下式（２１）に示す関数Ｆ₃に基づいて決定することができる。

ここで関数Ｆ₃は、例えば以下の表を参照することで実現する。

子供の笑顔を重視するときには、子供のときだけ重みｍ₃の値を大きくする。また、統計的手法などに基づいて「男性の方が笑顔は少ない」という知見が得られ、これを参酌する場合には、検出顔Ａが男性のときに女性よりも重みｍ₃の値を大きくするなどの対応をすればよい。

仲良し度演算部２０６は、上述のように、得られたスコア値Ｓ_iを各々の重み係数を用いて上式（１６）のように重み計算して、得られた評価値Ｈ_loveを評価値として、撮像判定部２０７に出力する。そして、撮像判定部２０７は、パターン検出部２０３から得られる位置パターン又は角度パターン、位置及び角度パターンと合致する度合いを示す評価値Ｈ_patternと、仲良し度演算部２０６から出力される仲良し度Ｈ_loveを基に、下式（２２）のように評価値Ｈを算出する。

但し、上式において、α及びβは重み付け係数であり、例えば撮影モードに応じて係数値を制御するようにしてもよい。また、説明を省略するが、評価値Ｈ判定用の閾値を、Ｈ_patternやＨ_love、検出顔の属性情報パラメータ、撮影モード（被写体間の配置を重視する撮影モード、又は笑顔度など被写体の属性を重視する撮影モード）などに応じて制御するようにしてもよい。

撮像判定部２０７は、この評価値Ｈが所定の閾値を超えたことに応じて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。

続いて、本発明の第３の実施形態について説明する。第３の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに仲良し度に応じてアニメーションの画面表示を制御するように構成されている。ここで言うアニメーションとして、被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションや、撮影タイミングにおける、仲良し度の評価値の大きさを視覚化したアニメーションを挙げることができる。

図２４には、本発明の第３の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、撮影部３０１と、カメラ制御部３０２と、記憶装置部３０３と、顔検出部３０４と、顔属性検出部３０５と、表示部３０６と、システム制御部３０７と、アニメーション制御部３０８と、仲良し度演算部３０９で構成される。

撮影部３０１は、図１に示したデジタルスチルカメラ１の、光学系１０、撮像素子１１などで構成される。また、カメラ制御部３０２は、ＡＦＥ部１２、カメラＤＳＰ部１６、ＣＰＵ２９の協働的動作によって構成される。また、記憶装置部３０３は、メモリ装置２４、記録メディア２６などに相当する。

顔検出部３０４は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。

顔属性検出部３０５は、処理対象となる画像から顔検出部３０４によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出３０５は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。

なお、顔検出部３０４並びに顔属性検出部３０５の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。

表示部３０６は、モニタ２５に相当し、撮影画像やスルー画像の表示を行なう。また、表示部３０６では、撮影画像内の被写体間の仲良し度に応じた撮影支援情報からなるアニメーションの表示が行なわれる（後述）。

システム制御部３０７は、図２４に示したシステム全体の動作を統括的に制御する機能モジュールであり、ＣＰＵ２９、メモリ制御部２０、表示制御部２１、メディア制御部２２などの協働的動作によって実現される。また、システム制御部３０７は、仲良し度の評価結果に基づいて撮影タイミングを検出し、自動シャッター動作の制御、並びに、撮影時に生成されたコンテンツの記録装置部３０３への記録動作の制御も行なう。

仲良し度演算部３０９は、顔検出部３０４から出力される各検出顔の位置、大きさ、角度情報、並びに、顔属性検出部３０５から出力される笑顔度やその他の顔属性情報をシステム制御部３０７経由で受け取ると、複数の被写体間の親密度合いを、仲良し度に相当する評価値Ｈ_loveで表すための演算処理を実行する。仲良し度演算部３０９が評価値Ｈ_loveを演算するための処理手順は、図４、図２２に示した通りであり、ここでは詳細な説明を省略する。また、仲良し度演算部３０９は、システム制御部３０７からの属性値評価要求に応じて、顔属性情報の評価結果を出力する。

アニメーション制御部３０８は、撮像画像内の被写体間の仲良し度に応じてアニメーションの画面表示を制御する。例えば、顔属性情報の評価結果が満足できない場合に、システム制御部３０７からの要求に応じて、撮影支援用のアニメーションの表示出力を制御する。また、撮影タイミングが検出された際に、システム制御部３０７からの要求に応じて、仲良し度の評価値Ｈ_loveの大きさを表すアニメーションの表示出力を制御する。

図２５には、図２４に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。

システム制御部３０７は、顔検出部３０４による検出データを読み出し（ステップＳ３１）、複数の検出顔を検出したか否かをチェックする（ステップＳ３２）。そして、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。

次いで、システム制御部３０７は、顔属性検出部３０５から、各検出顔の属性情報を読み出し（ステップＳ３３）、これを仲良し度演算部３０９に投入して、属性値の評価要求を発行する（ステップＳ３４）。

仲良し度演算部３０９が、属性値評価要求に応じて評価する属性値は、具体的には、被写体ａ、ｂ間の距離ｄと各被写体ａ、ｂの笑顔度Ｓ_a、Ｓ_bとする。

被写体間の距離の評価値ｆ１は、被写体間の距離ｄから（図２６Ａを参照のこと）、図２６Ｂに示すグラフに従う関数として算出される。ここで、被写体間の距離ｄは、上式（４）から計算されるものとし、逐次測定される距離ｄが閾値ｄ_thresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。

また、２人の被写体ａ、ｂの笑顔度（図２７Ａを参照のこと）の評価値ｆ２、ｆ３は、属性情報の笑顔度Ｓ_a、Ｓ_bから図２７Ｂに従う関数を基に算出される。すなわち、各被写体ａ、ｂそれぞれの笑顔度Ｓ_a、Ｓ_bを逐次測定して、これらが閾値ｓ_thresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。

そして、すべての属性ｆ１、ｆ２、ｆ３の評価値が閾値を超えるかを判定するために、下式（２３）に示すような関数Ｆを定義する。

ステップＳ３５では、Ｆ＝１のときは属性値の評価結果が条件を満たすと判断し、Ｆ＝０のときは属性値の評価結果が条件を満たさないと評価されるものとする。

属性値の評価結果がＦ＝０のとき（ステップＳ３５のＮｏ）、システム制御部３０７は、アニメーション制御部３０８に対して、撮影支援用のアニメーションの表示出力を要求する（ステップＳ３６）。そして、アニメーション制御部３０８は、この要求に応じて、表示部３０６に撮影支援用のアニメーションを表示出力する（ステップＳ３７）。

ここで、ステップＳ３４の属性値要求の戻り値として得られた属性評価でｆ１＝０の場合、すなわち被写体間の距離が遠すぎる場合には、ステップＳ３７では、被写体ａ及びｂが現状よりもお互いに近づくことを促すために、図２８に示すような撮影支援用のアニメーションが表示される。図示の支援情報は被写体の顔の大きさ、位置から肩の位置を推定しその上に配置される。

また、ステップＳ３４の属性値要求の戻り値として得られた属性評価でｆ２＝０又はｆ３＝０の場合、すなわち被写体が笑っていない場合には、ステップＳ３７では、現状よりも笑顔を作ることを促すために、図２９に示すような撮影支援用のアニメーションが表示される。図示の支援情報は笑顔度の低い被写体の顔の位置から頭の上の位置を推定し、その上に配置される。

次いで、システム制御部３０７は、仲良し度演算部３０９に対して、評価値の演算要求を発行する（ステップＳ３８）。これに対し、仲良し度演算部３０９は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを計算する。２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して、撮影制御が行なわれる。仲良し度の演算処理は、図４又は図２２に示した処理手順に従って実行される（前述）。

次いで、システム制御部３０７は、アニメーション制御部３０８に対して、評価値用アニメーションの出力を要求する（ステップＳ３９）。アニメーション制御部３０８は、この要求に応じて、撮影タイミングにおける、仲良し度の評価値Ｈ_loveの大きさを視覚化した評価値用アニメーションを表示部３０６に表示出力する（ステップＳ４０）。

評価値用アニメーションは、例えば、仲良し度の評価値Ｈ_loveの閾値に対する大きさを、ハートマークなどの親密性を暗示するアイコンの数や色で表現した支援情報からなる。図３０には、仲良し度の評価値Ｈ_loveが低い場合の支援情報の表示例を示している。この場合、アイコンの数は少なく散在し、且つ、その色は淡く退職したものとする。また、図３１には、仲良し度の評価値Ｈ_loveが高い場合の支援情報の表示例を示している。この場合、アイコンの数は多く、且つ、その色は明瞭で、ハートマークを縁取るなど整ったレイアウトで配置される。各図に示した支援情報のようなアニメーション、すなわち数や色が変化するアイコンによって、被写体同士の仲良し度を視覚化することができる。

次いで、システム制御部３０７は、ステップＳ３８における評価値演算要求に対する仲良し度演算部３０９からの戻り値である評価値Ｈ_loveが所定の閾値を超えたかどうかをチェックする（ステップＳ４１）。評価値Ｈ_loveが所定の閾値を超えない場合には（ステップＳ４１のＮｏ）、ステップＳ３１に戻り、撮影画像中の顔検出処理から繰り返し実行する。

一方、評価値Ｈ_loveが所定の閾値を超えたときには（ステップＳ４１のＹｅｓ）、システム制御部３０７は、カメラ制御部３０２に対して撮影を指示する（ステップＳ４２）。具体的にはＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される。

続いて、本発明の第４の実施形態について説明する。第４の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに所定の仲良し度判定期間にわたる仲良し度の評価値を統計処理して、被写体間の人間関係を判定するように構成されている。例えば、判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加したり、判定した被写体間の人間関係をＥｘｉｆなどの撮影画像の付加情報として記録したりすることができる。

図３２には、本発明の第４の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、撮影部４０１と、カメラ制御部４０２と、記憶装置部４０３と、顔検出部４０４と、顔属性検出部４０５と、表示部４０６と、システム制御部４０７と、アニメーション制御部４０８と、仲良し度演算部４０９と、人間関係判定部４１０で構成される。

撮影部４０１は、図１に示したデジタルスチルカメラ１の、光学系１０、撮像素子１１などで構成される。また、カメラ制御部４０２は、ＡＦＥ部１２、カメラＤＳＰ部１６、ＣＰＵ２９の協働的動作によって構成される。また、記憶装置部４０３は、メモリ装置２４、記録メディア２６などに相当する。

顔検出部４０４は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。

顔属性検出部４０５は、処理対象となる画像から顔検出部３０４によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出３０５は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。

なお、顔検出部４０４並びに顔属性検出部４０５の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。

表示部４０６は、モニタ２５に相当し、撮影画像やスルー画像の表示を行なう。また、表示部４０６では、撮影画像内の被写体間の仲良し度に応じた撮影支援情報からなるアニメーションの表示が行なわれる（前述）。

システム制御部４０７は、図３２に示したシステム全体の動作を統括的に制御する機能モジュールであり、ＣＰＵ２９、メモリ制御部２０、表示制御部２１、メディア制御部２２などの協働的動作によって実現される。また、システム制御部４０７は、仲良し度の評価結果に基づいて撮影タイミングを検出し、自動シャッター動作の制御、並びに、撮影時に生成されたコンテンツの記録装置部４０３への記録動作の制御も行なう。

仲良し度演算部４０９は、顔検出部４０４から出力される各検出顔の位置、大きさ、角度情報、並びに、顔属性検出部４０５から出力される笑顔度やその他の顔属性情報をシステム制御部４０７経由で受け取ると、複数の被写体間の親密度合いを、仲良し度に相当する評価値Ｈ_loveで表すための演算処理を実行する（同上）。仲良し度演算部４０９が評価値Ｈ_loveを演算するための処理手順は、図４、図２２に示した通りであり、ここでは詳細な説明を省略する。また、仲良し度演算部４０９は、システム制御部４０７からの属性値評価要求に応じて、顔属性情報の評価結果を出力する。

アニメーション制御部４０８は、撮像画像内の被写体間の仲良し度に応じてアニメーションの画面表示を制御する。例えば、顔属性情報の評価結果が満足できない場合に撮影支援用のアニメーションの表示出力を制御し、撮影タイミングが検出された際に仲良し度の評価値Ｈ_loveの大きさを表すアニメーションの表示出力を制御する（同上）。

人間関係判定部４１０は、所定の仲良し度判定期間にわたって算出された被写体間の仲良し度の評価値Ｈ_loveを統計処理して、被写体間の人間関係を判定する。統計処理の一例として、仲良し度判定期間にわたって評価値Ｈ_loveを時間平均した値の大きさと、被写体の性別の相違などに基づいて、人間関係の判定を行なう。但し、判定方法の詳細については後述に譲る。

図３３及び図３３Ｂには、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。

システム制御部４０７は、顔検出部３０４による検出データを読み出し（ステップＳ５１）、複数の検出顔を検出したか否かをチェックする（ステップＳ５２）。

ここで、複数の検出顔を検出できない、すなわち、撮影画像内に複数の被写体が存在しないときには（ステップＳ５２のＮｏ）、さらに、複数の被写体が存在しなくなってからの経過時間をチェックする（ステップＳ５３）。そして、経過時間が閾値以内であればそのままステップＳ５１に戻るが、経過時間が閾値を超えているときには変数などの初期化を行なってから（ステップＳ５４）、ステップＳ５１に戻る。

一方、撮影画像内に複数の被写体が存在するときには（ステップＳ５２のＹｅｓ）、撮像判定を行なうための後段の処理に進む。

撮影判定処理では、まず、システム制御部４０７は、顔属性検出部５０５から、各検出顔の属性情報を読み出し（ステップＳ５５）、これを仲良し度演算部５０９に投入して、属性値の評価要求を発行する（ステップＳ５６）。

仲良し度演算部３０９が、属性値評価要求に応じて評価する属性値は、具体的には、被写体ａ、ｂ間の距離ｄと各被写体ａ、ｂの笑顔度Ｓ_a、Ｓ_bとする。被写体間の距離の評価値ｆ１は、被写体間の距離ｄから（図２６Ａを参照のこと）、図２６Ｂに示すグラフに従う関数として算出される。被写体間の距離ｄは、上式（４）から計算されるものとし、逐次測定される距離ｄが閾値ｄ_thresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。
また、２人の被写体ａ、ｂの笑顔度（図２７Ａを参照のこと）の評価値ｆ２、ｆ３は、属性情報の笑顔度Ｓ_a、Ｓ_bから図２７Ｂに従う関数を基に算出される。すなわち、各被写体ａ、ｂそれぞれの笑顔度Ｓ_a、Ｓ_bを逐次測定して、これらが閾値ｓ_thresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。そして、上式（２３）に示した関数Ｆを用いて、すべての属性ｆ１、ｆ２、ｆ３の評価値が閾値を超えるかを判定する。

属性値の評価結果がＦ＝０のとき（ステップＳ５７のＮｏ）、システム制御部４０７は、アニメーション制御部４０８に対して、撮影支援用のアニメーションの表示出力を要求する（ステップＳ５８）。そして、アニメーション制御部４０８は、この要求に応じて、表示部４０６に撮影支援用のアニメーションを表示出力する（ステップＳ５９）。具体的には、ステップＳ５６の属性値要求の戻り値として得られた属性評価でｆ１＝０の場合、すなわち被写体間の距離が遠すぎる場合には、ステップＳ５９では、被写体ａ及びｂが現状よりもお互いに近づくことを促すたの撮影支援用のアニメーション（図２８を参照のこと）が表示される（同上）。また、ステップＳ５６の属性値要求の戻り値として得られた属性評価でｆ２＝０又はｆ３＝０の場合、すなわち被写体が笑っていない場合には、ステップＳ５９では、現状よりも笑顔を作ることを促すための撮影支援用のアニメーション（図２９を参照のこと）が表示される（同上）。

次いで、システム制御部４０７は、仲良し度演算部４０９に対して、評価値の演算要求を発行する（ステップＳ６０）。これに対し、仲良し度演算部４０９は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈ_loveを計算する。２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して、撮影制御が行なわれる。仲良し度の演算処理は、図４又は図２２に示した処理手順に従って実行される（前述）。

次いで、システム制御部４０７は、仲良し度演算部４０９に対して、仲良しレベルの判定要求を発行する（ステップＳ６１）。これに対し、仲良し度演算部４０９は、時々刻々と算出される仲良し度の評価値Ｈ_loveを、下式（２４）を用いて所定の仲良しレベル判定期間にわたって時間平均し（但し、Ｔは仲良しレベル判定期間の長さとする）、得られた時間平均値をさらに下式（２５）及び図３４に示すような量子化関数Ｑで量子化して、０〜２の３段階からなる仲良しレベルＬを求めると、これを戻り値としてシステム制御部４０７に返す。

システム制御部４０７は、当該処理ルーチンを開始した後、若しくはステップＳ５４で初期化した後、仲良しレベル判定期間が経過したときに（ステップＳ６２のＹｅｓ）、撮影画像内の被写体間の仲良しレベルＬを得ることができる。そして、システム制御部４０７は、得られた仲良しレベルＬに基づいて、以降の処理で用いるパラメータを決定することができる。具体的には、図３５に示すように、例えば量子化された仲良しレベルＬに応じて、撮影タイミング決定時に用いる閾値や、アニメーション表示の支援情報として用いるアイコンの種類を決定する。

次いで、システム制御部３０７は、アニメーション制御部３０８に対して、評価値用アニメーションの出力を要求する（ステップＳ６３）。アニメーション制御部３０８は、この要求に応じて、撮影タイミングにおける、仲良し度の評価値Ｈ_loveの大きさを視覚化した評価値用アニメーションを表示部３０６に表示出力する（ステップＳ６４）。評価値用アニメーションの詳細については、前述並びに図３０、図３１を参照されたい。アニメーション中の支援情報には、例えば図３５に示したテーブルを参照し、仲良しレベルＬに対応する種類のアイコンが用いられる。

次いで、システム制御部４０７は、ステップＳ６０における評価値演算要求に対する仲良し度演算部４０９からの戻り値である評価値Ｈ_loveが所定の閾値を超えたかどうかをチェックする（ステップＳ６５）。ここで用いられる閾値は、例えば図３５に示したテーブルを参照し、仲良しレベルＬに対応する値が用いられる。評価値Ｈ_loveが所定の閾値を超えない場合には（ステップＳ６５のＮｏ）、ステップＳ５１に戻り、撮影画像中の顔検出処理から繰り返し実行する。

一方、評価値Ｈ_loveが所定の閾値を超えたときには（ステップＳ６５のＹｅｓ）、システム制御部４０７は、カメラ制御部４０２に対して撮影を指示する（ステップＳ６６）。図３５に示したテーブルから分るように、被写体同士の仲の良さに応じて、自動撮影が起動するまでの時間の長さを制御することができる。具体的にはＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される。

次いで、システム制御部４０７は、人間関係判定部４１０に対し、人間関係算出要求を発行する（ステップＳ６７）。これに対し、人間関係判定部４１０は、例えば、顔属性検出部４０５が検出した各被写体の性別（同性か異性か）と、仲良しレベルＬの組み合わせに基づいて、被写体同士の人間関係を判定処理する。被写体間の性別及び仲良しレベルＬと人間関係との対応関係を以下の表５に示しておく。また、図３６には、人間関係判定部４１０が表５に従って被写体同士の人間関係を判定する処理手順をフローチャートの形式で示している。

そして、システム制御部４０７は、被写体同士の人間関係に応じたデコレーションをＪＰＥＧ符号化された撮影画像に焼き込む（オーバーレイする）よう、カメラ制御部４０２に指示する（ステップＳ６８）。また、システム制御部４０７は、このＪＰＥＧ画像のＥｘｉｆ（Ｅｘｃｈａｎｇｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）に、被写体同士の人間関係を記述した文字列をメタ情報として書き出すよう指示する（ステップＳ６９）。但し、本発明の要旨は、撮影画像のデコレーションの特定の形態、人間関係の特定の保存方法に限定されるものではない。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、スチル画像の撮影機能を備えたデジタルビデオカメラ、デジタルカメラ機能を搭載した携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ノートブック・コンピュータ、あるいはデジタルカメラを外部接続するコンピュータなどの各種情報機器に対しても、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部
１０１…顔検出部
１０２…顔属性検出部
１０３…仲良し度演算部
１０４…撮像判定部
２０１…顔検出部
２０２…顔属性検出部
２０３…パターン検出部
２０４…速度検出部
２０５…角速度検出部
２０６…仲良し度演算部
２０７…撮像判定部
３０１…撮影部
３０２…カメラ制御部
３０３…記憶装置部
３０４…顔検出部
３０５…顔属性検出部
３０６…表示部
３０７…システム制御部
３０８…アニメーション制御部
３０９…仲良し度演算部
４０１…撮影部
４０２…カメラ制御部
４０３…記憶装置部
４０４…顔検出部
４０５…顔属性検出部
４０６…表示部
４０７…システム制御部
４０８…アニメーション制御部
４０９…仲良し度演算部
４１１…人間関係判定部

Claims (25)

1. 撮影する画像を入力する画像入力手段と、
   前記の入力画像に含まれる被写体の顔を検出する顔検出手段と、
   前記の検出顔の属性情報を検出する顔属性検出手段と、
   前記の入力画像内で、各検出顔の位置が時間的に変化する速度、又は、各検出顔の角度が時間的に変化する角速度を演算する速度演算手段と、
   前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、前記顔属性検出手段により検出された各検出顔の属性情報の相互関係及び各検出顔の速度又は角速度を考慮して計算する仲良し度演算手段と、
   前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
   を具備することを特徴とする画像撮影装置。
2. 撮影する画像を入力する画像入力手段と、
   前記の入力画像に含まれる被写体の顔を検出する顔検出手段と、
   前記の検出顔の属性情報を検出する顔属性検出手段と、
   前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段と、
   前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
   前記の入力画像内で各検出顔の位置が時間的に変化する速度を演算する速度演算手段と、
   を具備し、
   前記仲良し度演算手段は、各検出顔の移動速度に基づいて、各検出顔の距離に対する重みを決定する、
   ことを特徴とする画像撮影装置。
3. 撮影する画像を入力する画像入力手段と、
   前記の入力画像に含まれる被写体の顔を検出する顔検出手段と、
   前記の検出顔の属性情報を検出する顔属性検出手段と、
   前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段と、
   前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
   を具備し、
   前記仲良し度演算手段は、各検出顔から前記顔属性検出手段により検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定する、
   ことを特徴とする画像撮影装置。
4. 撮影する画像を入力する画像入力手段と、
   前記の入力画像に含まれる被写体の顔を検出する顔検出手段と、
   前記の検出顔の属性情報を検出する顔属性検出手段と、
   前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段と、
   前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
   前記の入力画像内で各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段と、
   を具備し、
   前記仲良し度演算手段は、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定する、
   ことを特徴とする画像撮影装置。
5. 前記顔検出手段が検出した２以上の検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す第２の評価値を出力する配置評価手段をさらに備え、
   前記撮影判定手段は、前記第２の評価値及び第１の評価値をそれぞれ重み付けして計算して、前記の入力画像を撮影するタイミングを判定する、
   ことを特徴とする請求項１乃至４のいずれかに記載の画像撮影装置。
6. 前記配置評価手段は、前記の各検出顔の位置又は角度のなす相互関係を所定の位置パターン、角度パターン、又は位置及び角度の組み合わせからなる位置・角度パターンと比較計算して、いずれかのパターン又はすべてのパターンとの比較結果を基に前記第２の評価値を求める、
   ことを特徴とする請求項５に記載の画像撮影装置。
7. 前記配置評価手段は、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる前記の位置パターン、角度パターン、又は位置・角度パターンを用いる、
   ことを特徴とする請求項６に記載の画像撮影装置。
8. 前記配置評価手段は、前記の各検出顔の位置を、２以上の検出顔の高さが揃い、又は、３以上の検出顔がほぼ直線状に並ぶ位置パターンと比較計算して、前記第２の評価値を求める、
   ことを特徴とする請求項５に記載の画像撮影装置。
9. 前記配置評価手段は、３以上の検出顔の位置を頂点とする多角形からなる位置パターンと比較計算して、前記第２の評価値を求める、
   ことを特徴とする請求項５に記載の画像撮影装置。
10. 前記配置評価手段は、２つの検出顔が内側を向く、あるいは複数の検出顔の向きが一定方向に揃う角度パターンと比較計算して、前記第２の評価値を求める、
    ことを特徴とする請求項５に記載の画像撮影装置。
11. 複数の撮影モードを備え、
    前記撮影判定手段は、前記第２の評価値及び第１の評価値の各々に対する重みα及びβを、現在の撮影モードに応じて決定する、
    ことを特徴とする請求項５に記載の画像撮影装置。
12. 前記の入力画像を画面に表示する表示手段と、
    前記第１の評価値の大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段と、
    をさらに備えることを特徴とする請求項１乃至４のいずれかに記載の画像撮影装置。
13. 前記アニメーション制御手段は、前記第１の評価値が所定の閾値に達しないときに、前記被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションの画面表示を制御する、
    ことを特徴とする請求項１２に記載の画像撮影装置。
14. 前記アニメーション制御手段は、前記第１の評価値が所定の閾値を超えて前記撮影判定手段が前記の入力画像を撮影するタイミングを判定した際に、前記第１の評価値の大きさを視覚化したアニメーションの画面表示を制御する、
    ことを特徴とする請求項１２に記載の画像撮影装置。
15. 所定の仲良し度判定期間にわたる前記仲良し度演算手段から出力される第１の評価値を統計処理して被写体間の人間関係を判定する人間関係判定手段をさらに備える、
    ことを特徴とする請求項１２に記載の画像撮影装置。
16. 前記人間関係判定手段が判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加するデコレーション付加手段をさらに備える、
    ことを特徴とする請求項１５に記載の画像撮影装置。
17. 前記人間関係判定手段が判定した被写体間の人間関係を撮影画像の付加情報として記録する付加情報記録手段をさらに備える、
    ことを特徴とする請求項１５に記載の画像撮影装置。
18. 撮影する画像を入力する画像入力ステップと、
    前記の入力画像に含まれる被写体の顔を検出する顔検出ステップと、
    前記の検出顔の属性情報を検出する顔属性検出ステップと、
    前記の入力画像内で、各検出顔の位置が時間的に変化する速度、又は、各検出顔の角度が時間的に変化する角速度を演算する速度演算ステップと、
    前記顔検出ステップで検出した２つの検出顔の仲良し度を表す第１の評価値を、前記顔属性検出ステップにより検出された各検出顔の属性情報の相互関係及び各検出顔の速度又は角速度を考慮して計算する仲良し度演算ステップと、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
    を有することを特徴とする画像撮影方法。
19. 撮影する画像を入力する画像入力ステップと、
    前記の入力画像に含まれる被写体の顔を検出する顔検出ステップと、
    前記の検出顔の属性情報を検出する顔属性検出ステップと、
    前記顔検出ステップで検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出ステップにより検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算ステップと、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
    前記の入力画像内で各検出顔の位置が時間的に変化する速度を演算する速度演算ステップと、
    を有し、
    前記仲良し度演算ステップでは、各検出顔の移動速度に基づいて、各検出顔の距離に対する重みを決定する、
    ことを特徴とする画像撮影方法。
20. 撮影する画像を入力する画像入力ステップと、
    前記の入力画像に含まれる被写体の顔を検出する顔検出ステップと、
    前記の検出顔の属性情報を検出する顔属性検出ステップと、
    前記顔検出ステップで検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出ステップにより検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算ステップと、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
    を有し、
    前記仲良し度演算ステップでは、各検出顔から前記顔属性検出ステップにより検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定する、
    ことを特徴とする画像撮影方法。
21. 撮影する画像を入力する画像入力ステップと、
    前記の入力画像に含まれる被写体の顔を検出する顔検出ステップと、
    前記の検出顔の属性情報を検出する顔属性検出手段と、
    前記顔検出ステップで検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出ステップにより検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算ステップと、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
    前記の入力画像内で各検出顔の角度が時間的に変化する角速度を演算する角速度演算ステップと、
    を有し、
    前記仲良し度演算ステップでは、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定する、
    ことを特徴とする画像撮影方法。
22. 撮影する画像を入力する画像入力手段、
    前記の入力画像に含まれる被写体の顔を検出する顔検出手段、
    前記の検出顔の属性情報を検出する顔属性検出手段、
    前記の入力画像内で、各検出顔の位置が時間的に変化する速度、又は、各検出顔の角度が時間的に変化する角速度を演算する速度演算手段、
    前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、前記顔属性検出手段により検出された各検出顔の属性情報の相互関係及び各検出顔の速度又は角速度を考慮して計算する仲良し度演算手段、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたことを特徴とするコンピュータ・プログラム。
23. 撮影する画像を入力する画像入力手段、
    前記の入力画像に含まれる被写体の顔を検出する顔検出手段、
    前記の検出顔の属性情報を検出する顔属性検出手段、
    前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
    前記の入力画像内で各検出顔の位置が時間的に変化する速度を演算する速度演算手段、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
    前記仲良し度演算手段は、各検出顔の移動速度に基づいて、各検出顔の距離に対する重みを決定する、
    ことを特徴とするコンピュータ・プログラム。
24. 撮影する画像を入力する画像入力手段、
    前記の入力画像に含まれる被写体の顔を検出する顔検出手段、
    前記の検出顔の属性情報を検出する顔属性検出手段、
    前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
    前記仲良し度演算手段は、各検出顔から前記顔属性検出手段により検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定する、
    ことを特徴とするコンピュータ・プログラム。
25. 撮影する画像を入力する画像入力手段、
    前記の入力画像に含まれる被写体の顔を検出する顔検出手段、
    前記の検出顔の属性情報を検出する顔属性検出手段、
    前記顔検出手段が検出した２つの検出顔の仲良し度を表す第１の評価値を、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度をそれぞれ重み付けして計算する仲良し度演算手段、
    前記第１の評価値に基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
    前記の入力画像内で各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
    前記仲良し度演算手段は、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定する、
    ことを特徴とするコンピュータ・プログラム。