JP5779367B2 - 撮像装置、撮像制御方法及び撮像制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像制御方法及び撮像制御プログラムに関し、特に、撮影時の被写体に含まれる人物の顔検出を行うことが可能な撮像装置、撮像制御方法及び撮像制御プログラムに関するものである。

デジタルカメラ等の撮像装置において、撮影時の被写体に含まれる人物の顔を検出し、当該検出された顔の表情を判別するための技術が従来用いられている。

例えば、特許文献１には、人物の被写体の顔部分における表情を表す形状を画像から抽出して得た抽出結果と、望ましいと思われる形状との一致度を算出し、算出された一致度が所定の値を越えたときに撮影を行うように構成された自動撮影システムが開示されている。

日本国特開２００４−２９４４９８号公報

しかし、特許文献１の自動撮影システムを用いた撮影においては、撮影者の意図とは異なる構図であるにも係わらず撮影が行われてしまうような場合が生じ得る。そのため、特許文献１の自動撮影システムによれば、例えば、撮影者の意図から外れた構図の画像データが数多く記録されてしまい、結果的に、撮影者の意図に適合する画像データの選別に時間を要してしまう、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、撮影者による撮影操作が行われずとも、当該撮影者の表情変化に応じ、当該撮影者の意図を極力反映した撮影を行うことが可能な撮像装置、撮像制御方法及び撮像制御プログラムを提供することを目的としている。

本発明の一態様の撮像装置は、被写体を撮影する第１の撮像部と、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を検出する顔検出部と、前記顔検出部による前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を検出する表情検出部と、前記撮影操作部における操作に伴う前記表情検出部による前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を取得する表情変化情報記録部と、前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を行う判定部と、前記撮影条件に該当するとの判定結果が前記判定部により得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を行う撮影制御部と、を有する。
本発明の一態様の撮像制御方法は、被写体を撮影する第１の撮像部と、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、を具備する撮像装置における撮像制御方法であって、前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を顔検出部が検出するステップと、前記顔検出部による前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を表情検出部が検出するステップと、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部における操作に伴う前記表情検出部による前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を表情変化情報記録部が取得するステップと、前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を判定部が行うステップと、前記撮影条件に該当するとの判定結果が前記判定部により得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を撮影制御部が行うステップと、を有する。
本発明の一態様の撮像制御プログラムは、被写体を撮影する第１の撮像部と、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、を具備する撮像装置のコンピュータに、前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を検出する工程と、前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を検出する工程と、前記撮影操作部における操作に伴う前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を取得する工程と、前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を行う工程と、前記撮影条件に該当するとの判定結果が得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を行う工程と、実行させる。

本発明における撮像装置、撮像制御方法及び撮像制御プログラムによれば、撮影者による撮影操作が行われずとも、当該撮影者の表情変化に応じ、当該撮影者の意図を極力反映した撮影を行うことができる。

本発明の実施例に係る撮像装置の要部の構成を示すブロック図。 撮影モード時に行われる処理等の一例を示すフローチャート。 笑顔度Ｒを算出する際に行われる処理の一例を示すフローチャート。 笑顔度Ｒを算出する前に検出された表情の一例を示す図。 笑顔度Ｒを算出する前に検出された表情の、図４とは異なる例を示す図。 撮影者による自発的な撮影操作が行われた場合において、図２のフローチャートに続いて行われる処理の一例を示すフローチャート。 集合度ＸＲを算出する前における被写体の一例を示す図。 集合度ＸＲを算出する前における被写体の、図７とは異なる例を示す図。 撮影者による自発的な撮影操作が行われた場合において、画像データの記録の際に行われる処理の一例を示すフローチャート。 再生モードにおける表示態様の一例を示す図。 撮影者による自発的な撮影操作が行われない場合において、図２のフローチャートに続いて行われる処理の一例を示すフローチャート。 第１の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャート。 第２の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャート。 第３の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャート。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

図１から図１４は、本発明の実施例に係るものである。

図１は、本発明の実施例に係る撮像装置の要部の構成を示すブロック図である。

撮像装置１０１は、図１に示すように、撮像装置１０１の正面側に設けられた正面撮像部１ａと、撮像装置１０１の背面側に設けられた背面撮像部１ｂと、操作部２と、計時部３と、仮記録部４と、記録媒体５と、表示部６と、通信部７と、制御部８と、を有して構成されている。

なお、本実施例の撮像装置１０１は、デジタルカメラとして構成されるものであってもよく、または、カメラ付の携帯端末装置として構成されるものであってもよい。

正面撮像部１ａは、レンズ、絞り機構、シャッター機構、焦点調整機構、及び、撮像素子等からなる第１の撮像系を具備するとともに、この第１の撮像系により撮像装置１０１の正面側に位置する被写体を撮像して画像データを得ることができるように構成されている。

背面撮像部１ｂは、レンズ、絞り機構、シャッター機構、焦点調整機構、及び、撮像素子等からなる第２の撮像系を具備するとともに、この第２の撮像系により撮像装置１０１の背面側に位置する撮影者を撮像して画像データを得ることができるように構成されている。

操作部２は、撮影者の撮影操作に応じて正面撮像部１ａにおける撮影（画像データの取得）に係る指示を行うことが可能な撮影操作部２ａと、表示部６に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）における入力操作等を行うことが可能なボタン及びスイッチ等を備えた入力操作部２ｂと、を有して構成されている。また、操作部２には、撮像装置１０１の電源のオンオフを切り替える電源ボタン、及び、記録媒体５に保存された画像ファイルの再生表示を行う再生モードのオンオフを切り替える再生ボタン等が設けられている。

計時部３は、現在の日付及び時刻を取得可能な機能を有している。また、計時部３は、制御部８の動作状況を監視することにより、撮影操作部２ａにおける撮影操作が行われないまま、表示部６におけるライブビュー表示が継続されている時間である継続時間Ｔｔを秒単位で計測可能な機能を有して構成されている。

仮記録部４は、バッファメモリを具備し、制御部８から出力される画像データ等を一時的に蓄積しておくことができるように構成されている。

記録媒体５は、撮像装置１０１に対して着脱可能なメモリカード等により構成されており、後述の画像処理部８ａにより生成された画像ファイルを記録及び保存することができる。

表示部６は、制御部８の表示制御に応じ、記録媒体５に保存された画像ファイルの再生表示、及び、正面撮像部１ａにより撮影する被写体の構図を動画にて確認可能なライブビュー表示等の種々の画像表示を行うことができるように構成されている。さらに、表示部６は、タッチパネル機能を有して構成されており、画面上に表示されるスイッチ群等の操作に応じた指示を行うことができるように構成されている。

なお、本実施例においては、背面撮像部１ｂ及び表示部６は、いずれも撮像装置１０１の背面側に設けられているものとする。そして、このような構成により、背面撮像部１ｂは、例えば、表示部６においてライブビュー表示されている画像データを見ながらシャッターチャンスを待っているような状況の撮影者を撮像した画像データを得ることができる。

通信部７は、例えば、ネットワークに接続するためのケーブルコネクタ及びアンテナ等を有して構成されており、外部機器との間におけるデータの送受信を行うことができるように構成されている。

制御部８は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を有して構成されており、操作部２の操作に応じた指示、及び、表示部６の画面上に表示されるＧＵＩの入力操作に応じた指示に基づき、撮像装置１０１の各部に対する制御等を実施できるように構成されている。また、制御部８は、正面撮像部１ａ（背面撮像部１ｂ）により撮影された画像データに基づき、位相差検出方式等の公知の手法による焦点検出を実施する。さらに、制御部８は、例えば、正面撮像部１ａ（背面撮像部１ｂ）の絞り機構の絞り量、及び、シャッタースピードの少なくともいずれか一方を制御して変化させるような、公知の手法による露出調整を実施する。

一方、制御部８は、画像処理部８ａと、顔検出部８ｂと、表情検出部８ｃと、状況検出部８ｄと、撮影制御部８ｅと、記録制御部８ｆと、を有して構成されている。

画像処理部８ａは、正面撮像部１ａにおいて取得された画像データに対して種々の画像処理を施すことにより、ライブビュー表示用の画像データの生成等を行うことができるように構成されている。

顔検出部８ｂは、画像処理部８ａの画像処理により得られる画像データのコントラストを強調した状態において略円形となっている部分を検出し、さらに、この略円形の内部の特徴点（目、鼻及び口等）の分布に基づいて人物の顔に相当する部分（顔部）を検出する。

表情検出部８ｃは、顔検出部８ｂの検出結果に基づき、画像処理部８ａの画像処理により得られる画像データに含まれる人物の表情を検出するとともに、検出した表情の変化を示す指標としての笑顔度（後述）を算出する。

状況検出部８ｄは、顔検出部８ｂにより検出された顔部の数に応じた人数の人物が画像処理部８ａの画像処理により得られる画像データに含まれているものと判定する。そして、状況検出部８ｄは、画像データに複数（２人以上）の人物が含まれているとの判定結果を得た場合において、当該複数の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度（後述）を算出する。

撮影制御部８ｅは、表情検出部８ｃによる笑顔度の算出結果、及び、状況検出部８ｄによる集合度の算出結果等が予め設定された撮影条件に該当する場合において、正面撮像部１ａによる撮影を行わせるように制御を行う。

記録制御部８ｆは、正面撮像部１ａにおいて取得された画像データに対して種々の画像処理を施すことにより、保存用の画像ファイルを生成して記録媒体５に記録させるための制御を行う。

記録制御部８ｆは、背面撮像部１ｂにおいて取得された画像データに対して種々の画像処理を施すことにより、仮記録用の画像データを生成して仮記録部４に仮記録させるための制御を行う。

また、記録制御部８ｆは、仮記録部４に蓄積された仮記録用の画像データを消去するための制御を行うことができるように構成されている。

さらに、記録制御部８ｆは、表情検出部８ｃによる笑顔度の算出結果と、状況検出部８ｄによる集合度の算出結果と、に基づき、仮記録部４に仮記録された画像データを分類するとともに、この分類結果に応じた画像データを記録媒体５に保存させるための制御を行う。

ここで、以上に述べたような構成を具備する撮像装置１０１を用いて撮影を行う場合の動作及び処理について説明を行う。

図２は、撮影モード時に行われる処理等の一例を示すフローチャートである。

まず、操作部２の電源ボタンの操作に応じて撮像装置１０１の電源がオンされると、制御部８は、操作部２の再生ボタンがオンされているか否かを検出する（図２のステップＳ１）。

制御部８は、図２のステップＳ１において、操作部２の再生ボタンがオンされていることを検出した場合には、撮像装置１０１の動作モードを再生モードに設定する（図２のステップＳ２）。その後、制御部８は、操作部２の再生ボタンがオンからオフに切り替えられると、再生モードを終了して図２のステップＳ１の処理を再度行う。

一方、制御部８は、図２のステップＳ１において、操作部２の再生ボタンがオフされていることを検出した場合には、撮像装置１０１の動作モードを撮影モードに設定した後、正面撮像部１ａによる正面側の画像データの取得を開始させるとともに、正面側の画像データを表示部６にライブビュー表示させるように動作する（図２のステップＳ３）。これに伴い、制御部８は、背面撮像部１ｂによる背面側の画像データの取得を開始させるように動作する。

また、制御部８は、例えば、正面撮像部１ａにより取得された正面側の画像データを用いた公知の手法によりぶれ量を算出し、このぶれ量の逆数に相当する画像安定度Ｄｓを正面側の画像データの安定性を示す指標として算出する（図２のステップＳ４）。

続いて、制御部８は、図２のステップＳ４の処理が行われた略直後における日付及び時刻と、継続時間Ｔｔの計測結果と、を計時部３からそれぞれ読み込む（図２のステップＳ５）。

その後、制御部８の顔検出部８ｂは、背面撮像部１ｂの撮影に応じて得られた背面側の画像データに基づいて撮像装置１０１の撮影者の顔に相当する部分（顔部）を検出する。

表情検出部８ｃは、顔検出部８ｂの検出結果に基づき、背面撮像部１ｂの撮影に応じて得られた背面側の画像データに含まれる撮影者の表情を検出する（図２のステップＳ６）とともに、後述の図３の一連の処理を行うことにより、撮影者の表情の変化を示す指標としての笑顔度Ｒ２を算出する（図２のステップＳ７）。

ここで、簡単のため、前述の笑顔度Ｒ２の算出手法と、後述の笑顔度Ｒ１、Ｒ２０及びＲ２１の算出手法と、を笑顔度Ｒの算出方法としてまとめて説明する。図３は、笑顔度Ｒを算出する際に行われる処理の一例を示すフローチャートである。図４は、笑顔度Ｒを算出する前に検出された表情の一例を示す図である。図５は、笑顔度Ｒを算出する前に検出された表情の、図４とは異なる例を示す図である。

表情検出部８ｃは、顔検出部８ｂにより検出された顔部における陰影分布を検出し、この陰影分布に基づいて当該顔部の目部及び口部を検出する（図３のステップＳ１０１）。

表情検出部８ｃは、図３のステップＳ１０１における目部の検出結果に基づき、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図４参照）を算出する（図３のステップＳ１０２）。また、表情検出部８ｃは、図３のステップＳ１０１における目部の検出結果に基づき、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図４参照）を算出する（図３のステップＳ１０３）。

表情検出部８ｃは、図３のステップＳ１０２における面積ＥＡの算出結果と、図３のステップＳ１０３における面積ＥＢの算出結果と、に基づき、面積ＥＡと面積ＥＢとの差を面積ＥＡと面積ＥＢとの和により正規化した値ＲＥを算出する（図３のステップＳ１０４）。

例えば図４に示すような、笑顔と認識できる表情においては、面積ＥＢの値が０に近づくため、ＲＥの値が大きくなる。また、例えば図５に示すような、困惑顔等の笑顔とは認識できない表情においては、面積ＥＡの値が０に近づくため、ＲＥの値が小さくなる。

表情検出部８ｃは、図３のステップＳ１０１における口部の検出結果に基づき、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図５参照）を算出する（図３のステップＳ１０５）。また、表情検出部８ｃは、図３のステップＳ１０１における口部の検出結果に基づき、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図５参照）を算出する（図３のステップＳ１０６）。

表情検出部８ｃは、図３のステップＳ１０５における面積ＬＡの算出結果と、図３のステップＳ１０６における面積ＬＢの算出結果と、に基づき、面積ＬＢと面積ＬＡとの差を面積ＬＡと面積ＬＢとの和により正規化した値ＲＬを算出する（図３のステップＳ１０７）。

例えば図４に示すような、笑顔に相当する表情においては、面積ＬＡの値が０に近づくため、ＲＬの値が大きくなる。また、例えば図５に示すような、困惑顔等の笑顔とは異なる表情においては、面積ＬＢの値が小さくなるため、ＲＬの値が小さくなる。

そして、表情検出部８ｃは、図３のステップＳ１０４において算出した値ＲＥと、図３のステップＳ１０７において算出した値ＲＬと、の和である笑顔度Ｒを算出する。（図３のステップＳ１０８）。

さらに、表情検出部８ｃは、図３のステップＳ１０１における口部の検出結果に基づき、口部に歯の部分（白色の部分）があるか否かを判定するとともに、例えば図４の矢印Ｃに示すような影が口部の端部にあるか否かを判定する（図３のステップＳ１０９）。

そして、表情検出部８ｃは、図３のステップＳ１０９において、口部に歯の部分（白色の部分）があり、かつ、口部の端部に影があるとの判定結果を得た場合には、笑顔度Ｒの値に所定値（例えば１）を加える演算を行った（図３のステップＳ１１０）後、後述の図３のステップＳ１１１の処理に移行する。

また、表情検出部８ｃは、図３のステップＳ１０９において、口部に歯の部分（白色の部分）がない、または、口部の端部に影がないとの判定結果を得た場合には、後述の図３のステップＳ１１１の処理に移行する。

さらに、表情検出部８ｃは、図３のステップＳ１０１における目部の検出結果に基づき、例えば図５の矢印Ｄに示すような皺が眉間部分（両目の間の部分）にあるか否かを判定する（図３のステップＳ１１１）。

そして、表情検出部８ｃは、図３のステップＳ１１１において、眉間部分に皺があるとの判定結果を得た場合には、笑顔度Ｒの値から所定値（例えば１）を減ずる演算を行った（図３のステップＳ１１２）後、この演算結果により笑顔度Ｒの値を確定させて処理を完了する。

また、表情検出部８ｃは、図３のステップＳ１１１において、眉間部分に皺がないとの判定結果を得た場合には、この判定結果を得た時点で笑顔度Ｒの値を確定させて処理を完了する。

すなわち、図３の一連の処理を行って得られる笑顔度Ｒが相対的に大きければ、撮影対象の人物の表情が笑顔に近いと推測することができるとともに、図３の一連の処理を行って得られる笑顔度Ｒが相対的に小さければ、撮影対象の人物の表情が笑顔とは異なる他の表情であると推測することができる。

なお、本実施例においては、人物の表情の変化を示す指標として、笑顔度Ｒ以外の他の値を用いてもよい。

一方、表情検出部８ｃは、図２のステップＳ７において算出した笑顔度Ｒ２が前回算出したものから変化したか否かを判定する（図２のステップＳ８）。

そして、表情検出部８ｃは、図２のステップＳ７において算出した笑顔度Ｒ２が前回算出したものから変化していないとの判定結果を図２のステップＳ８により得た場合には、後述の図２のステップＳ１１の処理に移行する。

また、表情検出部８ｃは、図２のステップＳ７において算出した笑顔度Ｒ２が前回算出したものから変化しているとの判定結果を図２にステップＳ８により得た場合には、図２のステップＳ７において算出した笑顔度Ｒ２に対応する背面側の画像データ（静止画像データ）を取得させるための制御を背面撮像部１ｂに対して行う（図２のステップＳ９）。

さらに、記録制御部８ｆは、図２のステップＳ９において得られた画像データに対し、図２のステップＳ４において算出された画像安定度Ｄｓの値と、図２のステップＳ５において計時部３から読み込まれた日付、時刻及び継続時間Ｔｔの値と、図２のステップＳ７において算出された笑顔度Ｒ２の値と、をそれぞれ関連付けて仮記録部４に仮記録させる（図２のステップＳ１０）。

すなわち、以上に述べたような図２のステップＳ８からステップＳ１０までの処理によれば、操作部２における自発的な撮影操作が行われずとも、撮像装置１０１の撮影者の表情の変化（笑顔度Ｒ２の値の変化）に応じた画像データが仮記録部４に順次蓄積されてゆく。

一方、制御部８は、レリーズボタンの全押し等に応じた撮影操作が撮影操作部２ａにおいて行われたか否かを判定する（図２のステップＳ１１）。

そして、制御部８は、撮影操作部２ａにおける撮影操作が行われたとの判定結果を図２のステップＳ１１により得た場合には、後述の図６のステップＳ２１の処理に移行する。また、制御部８は、撮影操作部２ａにおける撮影操作が行われていないとの判定結果を図２のステップＳ１１により得た場合には、後述の図１１のステップＳ３１の処理に移行する。

ここで、撮影操作部２ａにおける撮影操作が行われたとの判定結果が図２のステップＳ１１により得られた場合の処理等について説明を行う。図６は、撮影者による自発的な撮影操作が行われた場合において、図２のフローチャートに続いて行われる処理の一例を示すフローチャートである。

顔検出部８ｂは、撮影操作部２ａにおける撮影操作が行われたとの判定結果を得た略直後に、正面撮像部１ａの撮影に応じて得られた正面側の画像データ（ライブビュー表示用の画像データ）に基づいて被写体の顔に相当する部分（顔部）を検出する（図６のステップＳ２１）。

状況検出部８ｄは、図６のステップＳ２１における顔検出部８ｂの検出結果に基づき、撮像装置１０１の正面側の被写体に含まれる人物が何人であるかを判定するための処理を行う。

具体的には、状況検出部８ｄは、図６のステップＳ２１において顔検出部８ｂにより検出された顔部の数が１つであれば、撮像装置１０１の正面側の被写体に含まれる人物が１人であるとの判定結果を得る（図６のステップＳ２２）。また、状況検出部８ｄは、図６のステップＳ２１において顔検出部８ｂにより検出された顔部の数が２つ以上であれば、撮像装置１０１の正面側の被写体に含まれる人物が２人以上であるとの判定結果を得る（図６のステップＳ２３）。さらに、状況検出部８ｄは、図６のステップＳ２１において顔検出部８ｂにより検出された顔部の数が０であれば、撮像装置１０１の正面側の被写体に人物が含まれないとの判定結果を得る（図６のステップＳ２３）。

表情検出部８ｃは、図６のステップＳ２２において撮像装置１０１の正面側の被写体に含まれる人物が１人であるとの判定結果が得られた場合に、顔検出部８ｂの検出結果に基づいて図３の一連の処理を行うことにより、当該１人の人物の表情の変化を示す指標としての笑顔度Ｒ１０を算出し（図６のステップＳ２４）、さらに、当該１人の人物を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度Ｒ２１を算出する（図６のステップＳ２７）。さらに、制御部８は、図６のステップＳ２７における笑顔度Ｒ２１の算出処理と略同時に、背面側の画像データ（静止画像データ）を取得させるための制御を背面撮像部１ｂに対して行う。これに応じ、記録制御部８ｆは、背面側の画像データ（静止画像データ）に笑顔度Ｒ２１を関連付けて仮記録部４に仮記録させる。

状況検出部８ｄは、図６のステップＳ２３において撮像装置１０１の正面側の被写体に含まれる人物が２人以上であるとの判定結果が得られた場合に、当該２人以上の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度ＸＲ１０を算出する（図６のステップＳ２５）。また、表情検出部８ｃは、図６のステップＳ２３において撮像装置１０１の正面側の被写体に含まれる人物が２人以上であるとの判定結果が得られた場合に、顔検出部８ｂの検出結果に基づいて図３の一連の処理を行うことにより、当該２人以上の人物を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度Ｒ２１を算出する（図６のステップＳ２７）。さらに、制御部８は、図６のステップＳ２７における笑顔度Ｒ２１の算出処理と略同時に、背面側の画像データ（静止画像データ）を取得させるための制御を背面撮像部１ｂに対して行う。これに応じ、記録制御部８ｆは、背面側の画像データ（静止画像データ）に笑顔度Ｒ２１を関連付けて仮記録部４に仮記録させる。

ここで、簡単のため、前述の集合度ＸＲ１０の算出手法と、後述の集合度ＸＲ１の算出手法と、を集合度ＸＲの算出方法としてまとめて説明する。図７は、集合度ＸＲを算出する前における被写体の一例を示す図である。図８は、集合度ＸＲを算出する前における被写体の、図７とは異なる例を示す図である。

状況検出部８ｄは、正面撮像部１ａの撮影に応じて得られた正面側の画像データ（ライブビュー表示用の画像データ）と、顔検出部８ｂの検出結果と、に基づき、隣り合う位置に撮影された２つの顔部を正面側の画像データの中から抽出する。

その後、状況検出部８ｄは、正面側の画像データの中から抽出した２つの顔部において、相対的に大きく映っている顔部の幅をＸ１とし、当該抽出した２つの顔部の中心線を結ぶ距離をＸ２とする。そして、状況検出部８ｄは、距離Ｘ２の値から幅Ｘ１の値を除することにより、集合度ＸＲを算出する。

すなわち、以上に述べた演算により算出される集合度ＸＲによれば、隣り合う２人の人物同士が互いに離れた位置で撮影されている場合（図７参照）には、集合度ＸＲが相対的に大きな値となり、隣り合う２人の人物同士が互いに接近した位置で撮影されている場合（図８参照）には、集合度ＸＲが相対的に小さな値となる。

なお、以上に述べたような集合度ＸＲの算出手法によれば、撮像装置１０１の正面側の被写体に含まれる人物が３人以上である場合には、顔部の位置及び数に応じた複数の集合度ＸＲが算出される。そのため、撮像装置１０１の正面側の被写体に含まれる人物が３人以上である場合には、例えば、複数の集合度ＸＲの平均値を集合度ＸＲ１０及び集合度ＸＲ１の算出結果として用いることができる。

一方、表情検出部８ｃは、図６のステップＳ２３において撮像装置１０１の正面側の被写体に人物が含まれないとの判定結果が得られた場合に、顔検出部８ｂの検出結果に基づいて図３の一連の処理を行うことにより、当該被写体を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度Ｒ２０を算出する（図６のステップＳ２６）。さらに、制御部８は、図６のステップＳ２６における笑顔度Ｒ２０の算出処理と略同時に、背面側の画像データ（静止画像データ）を取得させるための制御を背面撮像部１ｂに対して行う。これに応じ、記録制御部８ｆは、背面側の画像データ（静止画像データ）に笑顔度Ｒ２０を関連付けて仮記録部４に仮記録させる。

そして、制御部８は、図６のステップＳ２６またはステップＳ２７の処理が完了したことを検出した際に、図２のステップＳ１１の判定結果に対応する制御、すなわち、正面側の画像データ（静止画像データ）を取得させるための制御を正面撮像部１ａに対して行う（図６のステップＳ２８）。

その後、記録制御部８ｆは、図６のステップＳ２８における正面側の画像データの取得が完了したことを検出した際に、表情検出部８ｃによる笑顔度の算出結果と、状況検出部８ｄによる集合度の算出結果と、に基づき、仮記録部４に仮記録された画像データを分類するとともに、この分類結果に応じた画像データを記録媒体５に保存させるための制御を行う（図６のステップＳ２９）。

ここで、図６のステップＳ２９において行われる処理の詳細を以下に説明する。図９は、撮影者による自発的な撮影操作が行われた場合において、画像データの記録の際に行われる処理の一例を示すフローチャートである。

記録制御部８ｆは、図６のステップＳ２８において取得された正面側の画像データに対し、図６のステップＳ２４〜ステップＳ２７の処理により算出された値を関連付けた画像ファイルを生成して記録媒体５に記録させる（図９のステップＳ１２１）。

前述の図９のステップＳ１２１の処理によれば、例えば、図６のステップＳ２８において取得された正面側の画像データに含まれる人物が１人である場合には、当該画像データに笑顔度Ｒ１０及びＲ２１の値が関連付けられた画像ファイルが記録媒体５に記録される。また、前述の図９のステップＳ１２１の処理によれば、例えば、図６のステップＳ２８において取得された正面側の画像データに含まれる人物が２人以上である場合には、当該画像データに集合度ＸＲ１０及び笑顔度Ｒ２１の値が関連付けられた画像ファイルが記録媒体５に記録される。さらに、前述の図９のステップＳ１２１の処理によれば、例えば、図６のステップＳ２８において取得された正面側の画像データに人物が含まれない場合には、当該画像データに笑顔度Ｒ２０の値が関連付けられた画像ファイルが記録媒体５に記録される。

記録制御部８ｆは、笑顔度Ｒ２０が関連付けられた背面側の画像データ（静止画像データ）、または、笑顔度Ｒ２１が関連付けられた背面側の画像データ（静止画像データ）を仮記録部４に蓄積された各画像データの中から抽出し、抽出した背面側の画像データ（静止画像データ）を第１の感情カテゴリとしての「満足」カテゴリに分類する（図９のステップＳ１２２）。そして、記録制御部８ｆは、計時部３から読み込んだ日付を「満足」カテゴリに分類した背面側の画像データ（静止画像データ）に対して関連付けた画像ファイルを生成して記録媒体５に記録させる。

前述の図９のステップＳ１２２の処理によれば、例えば、表示部６に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図で（正面側の）被写体の撮影が行われた場合等における、当該撮影者の満足感が高いと推定される表情を捉えた（背面側の）画像データが、第１の感情カテゴリとしての「満足」カテゴリに分類された状態で記録媒体５に保存される。

一方、記録制御部８ｆは、仮記録部４に蓄積された背面側の各画像データの中から、どの感情カテゴリにも分類されておらず、かつ、時系列的に最も古いものを抽出するとともに、抽出した背面側の画像データ（静止画像データ）を第１の感情カテゴリ以外の他の感情カテゴリに分類するための処理を図９のステップＳ１２３〜ステップＳ１３１において行う。

記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ１（例えば０）未満であるか否かを判定する（図９のステップＳ１２３）。

記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ１未満であるとの判定結果が図９のステップＳ１２３により得られた場合には、さらに、当該背面側の画像データに関連付けられた継続時間Ｔｔの値が閾値ＴＨ２（例えば２０秒）より大きいか否かを判定する（図９のステップＳ１２４）。

記録制御部８ｆは、仮記録部４から抽出した背面側の画像データ継続時間Ｔｔの値が閾値ＴＨ２（例えば２０秒）以下であるとの判定結果が図９のステップＳ１２４により得られた場合には、さらに、当該背面側の画像データに関連付けられた画像安定度Ｄｓの値に基づき、当該背面側の画像データが取得された際の正面側の画像データが安定しているか否かの判定を行う（図９のステップＳ１２５）。

一方、記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ１以上であるとの判定結果が図９のステップＳ１２３により得られた場合には、さらに、当該背面側の画像データに関連付けられた継続時間Ｔｔの値が閾値ＴＨ３（例えば５秒）未満である否かを判定する（図９のステップＳ１２６）。

そして、記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた継続時間Ｔｔの値が閾値ＴＨ２以下であるとの判定結果が図９のステップＳ１２４により得られた場合、当該背面側の画像データが取得された際の正面側の画像データが安定しているとの判定結果が図９のステップＳ１２５により得られた場合、または、当該背面側の画像データに関連付けられた継続時間Ｔｔの値が閾値ＴＨ３以上であるとの判定結果が図９のステップＳ１２６により得られた場合には、当該背面側の画像データ（静止画像データ）を第２の感情カテゴリとしての「通常」カテゴリに分類する（図９のステップＳ１２７）。

前述の図９のステップＳ１２７の処理によれば、例えば、表示部６に表示されるライブビュー画像を通常の撮影で想定され得る時間だけ見続けた後で、（正面側の）撮影が行われる場合等における、撮影者の普段の表情を捉えた（背面側の）画像データが、第２の感情カテゴリとしての「通常」カテゴリに分類される。

また、記録制御部８ｆは、仮記録部４から抽出した背面側の画像データが取得された際の正面側の画像データが安定していないとの判定結果が図９のステップＳ１２５により得られた場合には、当該背面側の画像データ（静止画像データ）を第３の感情カテゴリとしての「イライラ」カテゴリに分類する（図９のステップＳ１２８）。

前述の図９のステップＳ１２８の処理によれば、例えば、表示部６に表示されるライブビュー画像を長時間見続けながらも、撮影者の思惑から外れた構図で（正面側の）被写体の撮影が行われてしまった場合等における、当該撮影者の苛立ち感が高いと推定される表情を捉えた（背面側の）画像データが、第３の感情カテゴリとしての「イライラ」カテゴリに分類される。

記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた継続時間Ｔｔの値が閾値ＴＨ３未満であるとの判定結果が図９のステップＳ１２６により得られた場合には、さらに、当該背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ４（例えば１）以上であるか否かを判定する（図９のステップＳ１２９）。

そして、記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ４以上であるとの判定結果が図９のステップＳ１２９により得られた場合には、当該背面側の画像データ（静止画像データ）を第４の感情カテゴリとしての「期待」カテゴリに分類する（図９のステップＳ１３０）。さらに、記録制御部８ｆは、仮記録部４から抽出した背面側の画像データに関連付けられた笑顔度Ｒ２の値が閾値ＴＨ４未満であるとの判定結果が図９のステップＳ１２９により得られた場合には、当該背面側の画像データ（静止画像データ）を第５の感情カテゴリとしての「集中」カテゴリに分類する（図９のステップＳ１３１）。

前述の図９のステップＳ１３０の処理によれば、例えば、表示部６に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図になることが十分予測される状況で（正面側の）被写体の撮影が行われた場合等における、当該撮影者の期待感が高いと推定される表情を捉えた（背面側の）画像データが、第４の感情カテゴリとしての「期待」カテゴリに分類される。

また、前述の図９のステップＳ１３１の処理によれば、例えば、表示部６に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図になるか否かが予測不可能な状況で（正面側の）被写体の撮影が行われた場合等における、当該撮影者の集中力が高いと推定される表情を捉えた（背面側の）画像データが、第５の感情カテゴリとしての「集中」カテゴリに分類される。

一方、記録制御部８ｆは、記録媒体５に保存されている背面側の画像データを参照することにより、図９のステップＳ１２３〜ステップＳ１３１の処理を経て分類された背面側の画像データと同じ日に撮影され、かつ、同じ感情カテゴリに分類された、他の背面側の画像データが既にあるか否かを判定する（図９のステップＳ１３２）。

そして、記録制御部８ｆは、前述の他の背面側の画像データがない（記録媒体５に保存されていない）との判定結果を図９のステップＳ１３２により得た場合には、図９のステップＳ１２３〜ステップＳ１３１の処理による分類済の背面側の画像データ（静止画像データ）に対応する画像ファイルを生成して記録媒体５に記録させた（図９のステップＳ１３３）後、後述の図９のステップＳ１３４の処理に移行する。

また、記録制御部８ｆは、前述の他の背面側の画像データが既にある（記録媒体５に保存されている）との判定結果を図９のステップＳ１３２により得た場合には、後述の図９のステップＳ１３４の処理に移行する。

記録制御部８ｆは、図９のステップＳ１３２またはステップＳ１３３の処理を経た後、仮記録部４に蓄積された背面側の各画像データの分類が完了したか否かの判定を行う（図９のステップＳ１３４）。

そして、記録制御部８ｆは、仮記録部４に蓄積された背面側の各画像データの分類が完了していないとの判定結果を図９のステップＳ１３４により得た場合には、図９のステップＳ１２３からの処理を未分類の背面側の画像データに対して行う。

また、記録制御部８ｆは、仮記録部４に蓄積された背面側の各画像データの分類が完了したとの判定結果を図９のステップＳ１３４により得た場合には、仮記録部４に蓄積された背面側の各画像データを消去した（図９のステップＳ１３５）後、図９の一連の処理を完了する。

その後、制御部８は、図９の一連の処理に相当する図６のステップＳ２９の処理が完了したことを検出すると、図２のステップＳ１からの処理を再度行う。

図１０は、再生モードにおける表示態様の一例を示す図である。

なお、本実施例によれば、図９の一連の処理を経て分類及び保存された背面側の画像ファイル（画像データ）が、図２のステップＳ２の再生モード等において表示される際に、公知のものと略同様に再生表示されるものであってもよく、または、例えば図１０に示すような、分類後の感情カテゴリとの対応関係を一覧可能な状態で再生表示されるものであってもよい。

一方、本実施例の撮像装置１０１によれば、図９の一連の処理を経て分類及び保存された背面側の画像ファイル（画像データ）と、撮影者の識別情報と、を関連付けてネットワーク上のサーバへアップロードすることができる。これにより、例えば、撮影者に関する文章の作成中（または作成後）に、当該文章の作成に用いた装置（パーソナルコンピュータまたは携帯通信端末等）と、背面側の画像ファイル（画像データ）を予めアップロードしておいたサーバと、の間において通信を行うことにより、当該文章に含まれる感情表現、または、当該文章を作成した日時等に適した背面側の画像ファイル（画像データ）を当該サーバからダウンロードして当該文章に挿入することができる。

続いて、撮影操作部２ａにおける撮影操作が行われていないとの判定結果が図２のステップＳ１１により得られた場合の処理等について説明を行う。図１１は、撮影者による自発的な撮影操作が行われない場合において、図２のフローチャートに続いて行われる処理の一例を示すフローチャートである。

顔検出部８ｂは、撮影操作部２ａにおける撮影操作が行われていないとの判定結果を得た略直後に、正面撮像部１ａの撮影に応じて得られた正面側の画像データ（ライブビュー表示用の画像データ）に基づいて被写体の顔に相当する部分（顔部）を検出する（図１１のステップＳ３１）。

状況検出部８ｄは、図１１のステップＳ３１における顔検出部８ｂの検出結果に基づき、撮像装置１０１の正面側の被写体に含まれる人物が何人であるかを判定するための処理を行う。

具体的には、状況検出部８ｄは、図１１のステップＳ３１において顔検出部８ｂにより検出された顔部の数が１つであれば、撮像装置１０１の正面側の被写体に含まれる人物が１人であるとの判定結果を得る（図１１のステップＳ３２）。また、状況検出部８ｄは、図１１のステップＳ３１において顔検出部８ｂにより検出された顔部の数が２つ以上であれば、撮像装置１０１の正面側の被写体に含まれる人物が２人以上であるとの判定結果を得る（図１１のステップＳ３３）。さらに、状況検出部８ｄは、図１１のステップＳ３１において顔検出部８ｂにより検出された顔部の数が０であれば、撮像装置１０１の正面側の被写体に人物が含まれないとの判定結果を得る（図１１のステップＳ３３）。

表情検出部８ｃは、図１１のステップＳ３２において撮像装置１０１の正面側の被写体に含まれる人物が１人であるとの判定結果が得られた場合に、顔検出部８ｂの検出結果に基づいて図３の一連の処理を行うことにより、当該１人の人物の表情の変化を示す指標としての笑顔度Ｒ１を算出する（図１１のステップＳ３４）。

その後、撮影制御部８ｅは、記録媒体５に保存されている画像ファイルに関連付けられている値と、図２のステップＳ７により算出された笑顔度Ｒ２と、図１１のステップＳ３４により算出された笑顔度Ｒ１と、に基づき、例えば図１２に示すような処理を行うことにより、予め設定された第１の撮影条件に該当するか否かの判定を行う（図１１のステップＳ３５）。

図１２は、第１の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。

撮影制御部８ｅは、記録媒体５に保存されている画像データを参照することにより、笑顔度Ｒ１０及びＲ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数（例えば１０個）以上あるか否かの判定を行う（図１２のステップＳ１４１）。

そして、撮影制御部８ｅは、笑顔度Ｒ１０及びＲ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数未満であるとの判定結果を図１２のステップＳ１４１により得た場合には、予め設定された第１の撮影条件に該当しないとの判定結果を得る（図１２のステップＳ１４４）。

また、撮影制御部８ｅは、笑顔度Ｒ１０及びＲ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数以上であるとの判定結果を図１２のステップＳ１４１により得た場合には、さらに、Ｒ１×Ｒ２の値が閾値ＴＨ５より大きいか否かの判定を行う（図１２のステップＳ１４２）。なお、前述の閾値ＴＨ５は、例えば、Ｒ１０×Ｒ２１の値の平均値Ｒａ１、または、この平均値Ｒａ１に対して２σ（σは標準偏差を示す）の値を加えた値等により設定される。

撮影制御部８ｅは、Ｒ１×Ｒ２の値が閾値ＴＨ５より大きいとの判定結果を図１２のステップＳ１４２により得た場合には、予め設定された第１の撮影条件に該当するとの判定結果を得る（図１２のステップＳ１４３）。

撮影制御部８ｅは、Ｒ１×Ｒ２の値が閾値ＴＨ５以下であるとの判定結果を図１２のステップＳ１４２により得た場合には、予め設定された第１の撮影条件に該当しないとの判定結果を得る（図１２のステップＳ１４４）。

そして、撮影制御部８ｅは、予め設定された第１の撮影条件に該当するとの判定結果を図１１のステップＳ３５により得た場合には、後述の図１１のステップＳ３９の処理に移行する。また、予め設定された第１の撮影条件に該当しないとの判定結果が図１１のステップＳ３５により得られた場合には、図２のステップＳ１からの処理が再度行われる。

一方、状況検出部８ｄは、図１１のステップＳ３３において撮像装置１０１の正面側の被写体に含まれる人物が２人以上であるとの判定結果が得られた場合に、当該２人以上の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度ＸＲ１を算出する（図１１のステップＳ３６）。

その後、撮影制御部８ｅは、記録媒体５に保存されている画像データに関連付けられている値と、図２のステップＳ７により算出された笑顔度Ｒ２と、図１１のステップＳ３６により算出された集合度ＸＲ１と、に基づき、例えば図１３に示すような処理を行うことにより、予め設定された第２の撮影条件に該当するか否かの判定を行う（図１１のステップＳ３７）。

図１３は、第２の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。

撮影制御部８ｅは、記録媒体５に保存されている画像データを参照することにより、集合度ＸＲ１０及び笑顔度Ｒ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数（例えば１０個）以上あるか否かの判定を行う（図１３のステップＳ１５１）。

そして、撮影制御部８ｅは、集合度ＸＲ１０及び笑顔度Ｒ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数未満であるとの判定結果を図１３のステップＳ１５１により得た場合には、予め設定された第２の撮影条件に該当しないとの判定結果を得る（図１３のステップＳ１５５）。

また、撮影制御部８ｅは、集合度ＸＲ１０及び笑顔度Ｒ２１が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数以上であるとの判定結果を図１３のステップＳ１５１により得た場合には、さらに、集合度ＸＲ１の値が閾値ＴＨ６より小さいか否かの判定を行う（図１３のステップＳ１５２）。なお、前述の閾値ＴＨ６は、例えば、ＸＲ１０の値の平均値ＸＲａ等により設定される。

撮影制御部８ｅは、集合度ＸＲ１の値が閾値ＴＨ６以上であるとの判定結果を図１３のステップＳ１５２により得た場合には、予め設定された第２の撮影条件に該当しないとの判定結果を得る（図１３のステップＳ１５５）。

撮影制御部８ｅは、集合度ＸＲ１の値が閾値ＴＨ６より小さいとの判定結果を図１３のステップＳ１５２により得た場合には、さらに、笑顔度Ｒ２の値が閾値ＴＨ７より大きいか否かの判定を行う（図１３のステップＳ１５３）。なお、前述の閾値ＴＨ７は、例えば、Ｒ２１の値の平均値Ｒａ２等により設定される。

撮影制御部８ｅは、笑顔度Ｒ２の値が閾値ＴＨ７以下であるとの判定結果を図１３のステップＳ１５３により得た場合には、予め設定された第２の撮影条件に該当しないとの判定結果を得る（図１３のステップＳ１５５）。

撮影制御部８ｅは、笑顔度Ｒ２の値が閾値ＴＨ７より大きいとの判定結果を図１３のステップＳ１５３により得た場合には、予め設定された第２の撮影条件に該当するとの判定結果を得る（図１３のステップＳ１５４）。

そして、撮影制御部８ｅは、予め設定された第２の撮影条件に該当するとの判定結果を図１１のステップＳ３７により得た場合には、後述の図１１のステップＳ３９の処理に移行する。また、予め設定された第２の撮影条件に該当しないとの判定結果が図１１のステップＳ３７により得られた場合には、図２のステップＳ１からの処理が再度行われる。

一方、撮影制御部８ｅは、図１１のステップＳ３３において撮像装置１０１の正面側の被写体に人物が含まれないとの判定結果が得られた場合に、記録媒体５に保存されている画像データに関連付けられている値と、図２のステップＳ５において計時部３から読み込まれた継続時間Ｔｔの計測結果と、図２のステップＳ７により算出された笑顔度Ｒ２と、に基づき、例えば図１４に示すような処理を行うことにより、予め設定された第３の撮影条件に該当するか否かの判定を行う（図１１のステップＳ３８）。

図１４は、第３の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。

撮影制御部８ｅは、記録媒体５に保存されている画像データを参照することにより、笑顔度Ｒ２０が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数（例えば１０個）以上あるか否かの判定を行う（図１４のステップＳ１６１）。

そして、撮影制御部８ｅは、笑顔度Ｒ２０が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数未満であるとの判定結果を図１４のステップＳ１６１により得た場合には、予め設定された第３の撮影条件に該当しないとの判定結果を得る（図１４のステップＳ１６６）。

また、撮影制御部８ｅは、笑顔度Ｒ２０が関連付けられた状態で記録媒体５に保存されている画像ファイルが一定数以上であるとの判定結果を図１４のステップＳ１６１により得た場合には、さらに、笑顔度Ｒ２の値が予め設定された第１の範囲内にあるか否かの判定を行う（図１４のステップＳ１６２）。なお、前述の第１の範囲は、例えば、笑顔度Ｒ２０の最小値Ｒｍｉｎを基準として−１０％〜＋１０％の範囲として設定される。

撮影制御部８ｅは、笑顔度Ｒ２の値が予め設定された第１の範囲内にあるとの判定結果を図１４のステップＳ１６２により得た場合には、予め設定された第３の撮影条件に該当するとの判定結果を得る（図１４のステップＳ１６５）。

撮影制御部８ｅは、笑顔度Ｒ２の値が予め設定された第１の範囲内にないとの判定結果を図１４のステップＳ１６２により得た場合には、さらに、継続時間Ｔｔが閾値ＴＨ８（例えば６０秒）以上であるか否かの判定を行う（図１４のステップＳ１６３）。

撮影制御部８ｅは、継続時間Ｔｔが閾値ＴＨ８未満であるとの判定結果を図１４のステップＳ１６３により得た場合には、予め設定された第３の撮影条件に該当しないとの判定結果を得る（図１４のステップＳ１６６）。

撮影制御部８ｅは、継続時間Ｔｔが閾値ＴＨ８以上であるとの判定結果を図１４のステップＳ１６３により得た場合には、さらに、笑顔度Ｒ２の値が予め設定された第２の範囲内にあるか否かの判定を行う（図１４のステップＳ１６４）。なお、前述の第２の範囲は、例えば、笑顔度Ｒ２０の平均値Ｒａ３を基準として−１０％〜＋１０％の範囲として設定される。

撮影制御部８ｅは、笑顔度Ｒ２の値が予め設定された第２の範囲内にないとの判定結果を図１４のステップＳ１６４により得た場合には、予め設定された第３の撮影条件に該当しないとの判定結果を得る（図１４のステップＳ１６６）。

撮影制御部８ｅは、笑顔度Ｒ２の値が予め設定された第２の範囲内にあるとの判定結果を図１４のステップＳ１６４により得た場合には、予め設定された第３の撮影条件に該当するとの判定結果を得る（図１４のステップＳ１６５）。

そして、撮影制御部８ｅは、予め設定された第３の撮影条件に該当するとの判定結果を図１１のステップＳ３８により得た場合には、後述の図１１のステップＳ３９の処理に移行する。また、予め設定された第３の撮影条件に該当しないとの判定結果が図１１のステップＳ３８により得られた場合には、図２のステップＳ１からの処理が再度行われる。

一方、撮影制御部８ｅは、前述の第１の撮影条件、第２の撮影条件、または、第３の撮影条件のうちのいずれかに該当するとの判定結果を得た場合に、正面撮像部１ａによる撮影を行わせるように制御を行う（図１１のステップＳ３９）。

そして、記録制御部８ｆは、図１１のステップＳ３９により取得された正面側の画像データに対応する画像ファイルを生成して記録媒体５に記録させる（図１１のステップＳ４０）。

その後、制御部８は、図１１のステップＳ４０の処理が完了したことを検出すると、図２のステップＳ１からの処理を再度行う。

ところで、図６のステップＳ２９の処理により記録媒体５に保存された正面側の画像データには、撮影者が自発的に（意図的に）撮影操作を行うことにより被写体の撮影が行われた場合における、当該撮影者の表情の変化を示す指標としての笑顔度Ｒ２０またはＲ２１のいずれかが関連付けられている。そして、図１１の処理によれば、前述の第１〜第３の撮影条件のような、笑顔度Ｒ２０またはＲ２１に基づいて予め設定された撮影条件に該当する場合に、正面撮像部１ａにおける撮影が行われている。そのため、前述の図１１の処理によれば、撮影者による自発的な（意図的な）撮影操作が行われずとも、過去に行われた自発的な（意図的な）撮影における表情の変化と略同様の表情の変化が当該撮影者に表れた際に、正面撮像部１ａによる撮影が行われるようにしている。

以上に述べたように、本実施例によれば、撮影者による撮影操作が行われずとも、当該撮影者の意図を極力反映した撮影を行うことができる。

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１ａ 正面撮像部
１ｂ 背面撮像部
２ 操作部
２ａ 撮影操作部
２ｂ 入力操作部
３ 計時部
４ 仮記録部
５ 記録媒体
６ 表示部
７ 通信部
８ 制御部
８ａ 画像処理部
８ｂ 顔検出部
８ｃ 表情検出部
８ｄ 状況検出部
８ｅ 撮影制御部
８ｆ 記録制御部
１０１ 撮像装置

Claims (4)

1. 被写体を撮影する第１の撮像部と、
   前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、
   前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、
   前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を検出する顔検出部と、
   前記顔検出部による前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を検出する表情検出部と、
   前記撮影操作部における操作に伴う前記表情検出部による前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を取得する表情変化情報記録部と、
   前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を行う判定部と、
   前記撮影条件に該当するとの判定結果が前記判定部により得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を行う撮影制御部と、
   を有することを特徴とする撮像装置。
2. 前記表情変化情報記録部は、前記撮影操作部における操作に伴う前記表情検出部による前記撮影者の表情の検出結果に基づき、前記第２の撮像部により撮影された各画像を前記撮影者の感情状態に関連付けて記録するための処理を行うことにより、前記表情変化情報を取得することを特徴とする請求項１に記載の撮像装置。
3. 被写体を撮影する第１の撮像部と、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、を具備する撮像装置における撮像制御方法であって、
   前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を顔検出部が検出するステップと、
   前記顔検出部による前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を表情検出部が検出するステップと、
   前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部における操作に伴う前記表情検出部による前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を表情変化情報記録部が取得するステップと、
   前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を判定部が行うステップと、
   前記撮影条件に該当するとの判定結果が前記判定部により得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を撮影制御部が行うステップと、
   を有することを特徴とする撮像制御方法。
4. 被写体を撮影する第１の撮像部と、前記第１の撮像部による前記被写体の撮影を行わせるための操作を行うことが可能な撮影操作部と、前記被写体の撮影を行う撮影者を撮影することができるように構成された第２の撮像部と、を具備する撮像装置のコンピュータに、
   前記第２の撮像部による前記撮影者の撮影に応じて取得された画像に基づき、前記撮影者の顔部を検出する工程と、
   前記撮影者の顔部の検出結果に基づき、前記撮影者の表情を検出する工程と、
   前記撮影操作部における操作に伴う前記撮影者の表情の検出結果に基づき、前記撮影者の表情変化情報を取得する工程と、
   前記撮影者の表情の検出結果と、前記被写体に含まれる人物の数と、に応じて異なるように設定される撮影条件の判定を行う工程と、
   前記撮影条件に該当するとの判定結果が得られた場合に、前記第１の撮像部による前記被写体の撮影を行わせるための制御を行う工程と、
   を実行させることを特徴とする撮像制御プログラム。

Images