JP4885084B2 - 撮像装置、撮像方法、撮像プログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関し、特に目つむりによる失敗の少ない画像を示す画像データを取得することを可能とする撮像装置、撮像方法、及び撮像プログラムに関する。

集合写真など、多くの人物を同時に撮影する場合、目が閉じている状態を示す目つむりした人が含まれる写真が撮影されることがある。

これに関連して、特許文献１〜３には、顔検出、及び目つむり検出機能を用いて撮影により得られた連続した画像群の中から顔状態の良い画像（目つむりの無い）を自動的に選択し、記録する技術が開示されている。

また、特許文献４には、目つむりと判定された場合は、既存のデータベースより目つむりの無い補正候補となる画像データを用いて自動的に加工、修正画像を合成する技術が開示されている。

更に、特許文献５には、集合写真撮影時に連写を行い、複数の画像データから顔などの部分をユーザが指定し、その部分のデータを合成することで、失敗画像の無い集合写真を形成する技術が開示されている。

特許文献６には、集合写真撮影時に連続的に２枚以上撮影し、基となる画像にて目つむりが発生している場合、他の画像の目つむりしていない画像を合成する技術が開示されている。

また、特許文献７に開示されている技術は、「集合写真モード」に設定もしくは、ある一定以上の顔が検出された場合に自動的に「集合写真モード」で撮影するもので、「集合写真モード」では、プレビュー時に集合写真における”顔隠れ”、”よそ見”、”目つむり”などが発生している場合は、撮影不可とし、その箇所を強調表示する機能を有する。

更に、特許文献８に開示されている技術は、「目瞑り検出モード」が設定されると、複数枚連写が行われ、その内最も目つむりが少ないものを選択し、記録するもので、さらに該当の物が複数枚あった場合は、露出が最適なものを選択し記録するようになっている。
特開２００６−５３６６６号公報 特開２００６−１６３４９６号公報 特開２００６−２５４２２９号公報 特開２００６−３４４１６６号公報 特開２００１−４５３５５号公報 特開２００２−１９９２０２号公報 特開２００６−１４０６９５号公報 特開２００５−３９３６５号公報

しかしながら、特許文献１、２、３、７、８に開示されている技術は、集合写真など多数の顔が存在する場合においては、目つむりと判定される割合が高く、完全な目つむりの無い面像を得るためには、何度も撮影をやり直すこととなる場合も多いと考えられる。

また、特許文献４のような既存のデータベースを持つ場合、被写体の人数に合わせたデータが必要となるため、データ量が膨大になってしまったり、うまく合成できない被写体が発生する場合がある。更に、特許文献４では、撮影条件等が異なるため違和感の無い合成を行うのは困難である。

更に特許文献５に開示されている技術では、顔部分の合成可否をユーザーが判断して行う必要があり、多数の顔が存在する場合は、その確認に手間及び時間が掛かってしまう。

また、特許文献６に開示された技術では、基となる画像にそもそも目つむりが多い場合は、多数の合成を行うため、処理に時間が掛かる上、合成による違和感が出やすいものとなってしまう。

また、特許文献７における「集合写真モード」は、顔検出数にて自動で設定される機能を持つとしているが、関係のない人かたくさんいる場所の中での記念撮影などでは誤動作する可能性がある。

このように、上述した各特許文献に開示された技術では、目つむりによる失敗の少ない画像を撮影できることが困難であるという問題点があった。

本発明は上記問題点に鑑み、目つむりによる失敗の少ない画像を撮影することを可能とする撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。

上記目的を達成するために、請求項１の発明は、被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された複数の画像データの各々に対して、顔を検出する顔検出手段と、前記顔検出手段により検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得手段と、前記最多検出画像取得手段により取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出手段と、前記目つむり検出手段により検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得手段と、前記最少検出画像取得手段により取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択手段と、を有し、前記予め定められた条件は、前記最少検出画像取得手段により取得された最少検出画像データから、前記顔検出手段により検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む。

ここで、請求項１に記載の発明では、画像データ取得手段が被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得し、顔検出手段が前記画像データ取得手段により取得された複数の画像データの各々に対して、顔を検出し、最多検出画像取得手段が前記顔検出手段により検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得し、目つむり検出手段が前記最多検出画像取得手段により取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出し、最少検出画像取得手段が前記目つむり検出手段により検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得するので、目つむりによる失敗の少ない画像を撮影することを可能とすることができる。

また、請求項１に記載の発明は、前記最少検出画像取得手段により取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択手段を更に有する。ここで、予め定められた条件は、前記最少検出画像取得手段により取得された最少検出画像データから、前記顔検出手段により検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む。

このように、最少検出画像データが複数の場合であっても、１つの最少検出画像データを選択することができる。

また、請求項２の発明のように、前記予め定められた条件は、複数の最少検出画像データのうちで、前記被写体を撮像した際のオートフォーカス評価値が最も高い、という条件を含んでも良い。

ここで、請求項２の発明によれば、最も合焦されている画像データを取得することができる。

また、請求項１又は請求項２の発明は、請求項３の発明のように、前記選択手段により選択された最少検出画像データが示す画像における目つむりをしている顔の位置を取得する位置取得手段と、前記複数の画像データから、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する検索手段と、前記検索手段により前記目つむりをしていない顔を含む画像を示す画像データが検索された場合に、検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、前記最少検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する合成手段と、を更に有するようにしても良い。

ここで、請求項３の発明によれば、合成することにより、目つむりによる失敗を更に少くすることができる。

また、請求項３の発明は、請求項４の発明のように、画像データが示す画像を表示する表示手段と、画像データを記録する記録手段と、前記合成手段により合成された画像データが示す合成画像、及び最少検出画像データが示す合成前画像を前記表示手段により表示するように制御する表示制御手段と、ユーザに対して、前記表示手段に表示された前記合成画像及び前記合成前画像のいずれを前記記録手段に記録するか選択させ、ユーザにより選択された画像を示す画像データを前記記録手段により記録するように制御する記録制御手段と、を更に有するようにしても良い。

ここで、請求項４の発明によれば、ユーザは、合成画像データ及び合成前画像データの少なくとも一方を記録することができる。

また、請求項３の発明は、請求項５の発明のように、画像データが示す画像を表示する表示手段と、前記合成手段による画像データの合成中に、前記最少検出画像データが示す画像を前記表示手段により表示するように制御する表示制御手段と、を更に有する。

ここで、請求項５の発明によれば、比較的時間が要する合成処理の間、ユーザは最少検出画像データが示す画像を確認することができる。

また、請求項３の発明は、請求項６の発明のように、画像データが示す画像を表示する表示手段と、画像データを記録する記録手段と、前記検索手段により、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データが検索されなかった場合に、前記選択手段により選択された最少検出画像データにおける目つむりをしている顔を前記表示手段に表示するように制御する表示制御手段と、ユーザに対して、再撮影を行うか、或いは前記最少検出画像データを前記記録手段に記録するかのいずれか一方を選択させるユーザ選択手段と、を更に有する。

ここで、請求項６の発明によれば、目つむりをしている顔が撮影された場合に、ユーザは再撮影を行うか、目つむりをしている顔を含む画像を示す画像データを記録するかを選択することができる。

また、請求項３〜請求項６のいずれか１項の発明は、請求項７の発明のように、前記検索手段は、複数の目つむりをしていない顔を含む画像データが存在する場合に、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データのうち、前記被写体を撮像した際のオートフォーカス評価値が最も高い画像データを検索するようにしても良い。

ここで、請求項７の発明によれば、合成するために検索された画像データを最も合焦されている画像データとすることで、合成した際の違和感を軽減でき、更に画質を向上することができる。

また、請求項３〜請求項７のいずれか１項の発明は、請求項８の発明のように、前記検索手段により、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データが検索されなかった場合に、目つむりをしている顔を含む画像データが撮影されたことを警告する警告手段を更に有する。

ここで、請求項８の発明によれば、ユーザに警告することで、目つむりによる失敗の少ない画像を撮影することを可能とすることができる。

また、上記目的を達成するために、請求項９の発明は、被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得段階と、前記画像データ取得段階により取得された複数の画像データの各々に対して、顔を検出する顔検出段階と、前記顔検出段階により検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得段階と、前記最多検出画像取得段階により取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出段階と、前記目つむり検出段階により検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得段階と、前記最少検出画像取得段階により取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択段階と、を有し、前記予め定められた条件は、前記最少検出画像取得段階により取得された最少検出画像データから、前記顔検出段階により検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む。

請求項９の発明は、請求項１の発明と同様に作用するので、請求項１の発明と同様の効果が得られる。

また、上記目的を達成するために、請求項１０の発明は、被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得ステップと、前記画像データ取得ステップにより取得された複数の画像データの各々に対して、顔を検出する顔検出ステップと、前記顔検出ステップにより検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得ステップと、前記最多検出画像取得ステップにより取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出ステップと、前記目つむり検出ステップにより検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得ステップと、前記最少検出画像取得ステップにより取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択ステップと、を有し、前記予め定められた条件は、前記最少検出画像取得ステップにより取得された最少検出画像データから、前記顔検出ステップにより検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む処理をコンピュータに実行させる。

請求項１０の発明は、請求項１の発明と同様に作用するので、請求項１の発明と同様の効果が得られる。

本発明によれば、目つむりによる失敗の少ない画像を撮影することを可能とする撮像装置、撮像方法、及び撮像プログラムを提供することができるという効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の外観上の構成を説明する。デジタルカメラ１０の正面には、被写体像を結像させるための光学部材であるレンズ２１と、撮影する被写体の構図を決定するために用いられるファインダ２０と、ストロボ４４と、が備えられている。また、デジタルカメラ１０の上面には、撮影を実行する際に押圧操作されるレリーズボタン（所謂シャッターボタン）５６Ａと、電源スイッチ５６Ｂと、が備えられている。

なお、本実施の形態に係るデジタルカメラ１０のレリーズボタン５６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、デジタルカメラ１０では、レリーズボタン５６Ａを半押し状態にすることにより被写体の明るさが測光され、測光された被写体の明るさに基づきＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、及び絞りの状態）が設定された後、ＡＦ（Auto Focus、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

一方、デジタルカメラ１０の背面には、前述のファインダ２０の接眼部と、撮影された被写体像やメニュー画面等を表示するための上記ＬＣＤ３８と、撮影を行うモードである撮影モード及び撮影によって得られた被写体像をＬＣＤ３８に再生表示するモードである再生モードの何れかのモードに設定する際にスライド操作されるモード切替スイッチ５６Ｃと、が備えられている。

また、デジタルカメラ１０の背面には、十字カーソルボタン５６Ｄと、撮影時にストロボ４４を強制的に発光させるモードである強制発光モードを設定する際に押圧操作される強制発光スイッチ５６Ｅと、が更に備えられている。

なお、十字カーソルボタン５６Ｄは、ＬＣＤ３８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キーと、それら矢印キーの中央に存在する決定キーとを含んで構成されている。

次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の電気系の構成を説明する。

デジタルカメラ１０は、前述のレンズ２１を含んで構成された光学ユニット２２と、レンズ２１の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸長処理を行う圧縮・伸長処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてＶＲＡＭ（Video RAM）、ＳＲＡＭ又はＤＲＡＭ、フラッシュメモリのうちのいずれか１つ以上が用いられ、メモリカード５２としてスマートメディア（Smart Media(登録商標)）が用いられている。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸長処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０の作動の制御、圧縮・伸長処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６、及び外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。後述するような連続して撮像する場合には、レリーズボタン５６Ａを押下を１度だけ押下した際に、このタイミングジェネレータ３２によりＣＣＤ２４が連続して駆動される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係るレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ、及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、前述のレリーズボタン５６Ａ、電源スイッチ５６Ｂ、モード切替スイッチ５６Ｃ、十字カーソルボタン５６Ｄ、及び強制発光スイッチ５６Ｅ（同図では、「操作部５６」と総称。）はＣＰＵ４０に接続されており、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。

まず、ＣＣＤ２４は、光学ユニット２２を介した撮影を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。

メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって所定ビット、例えば８ビットのデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成した所定ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ３８は、ＣＣＤ２４による連続的な撮影によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、ＬＣＤ３８をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース３６を介して順次ＬＣＤ３８に出力する。これによってＬＣＤ３８にスルー画像が表示されることになる。

ここで、レリーズボタン５６Ａがユーザによって半押し状態とされた場合、前述のようにＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸長処理回路５４によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に記録する。

次に、本実施の形態に係る処理の概要を、図面を用いて説明する。図３は、検出された顔の数が最も多い画像データである最多検出画像データを取得する処理を示す模式図である。

集合写真を撮影する際、デジタルカメラ１０が同一の被写体に対し、同じ撮影（露出）条件にて高速に複数枚撮像し得られた各画像データに顔検出動作を実施する。このとき撮影者は通常の１枚分の撮影をしているような感覚で操作する。また、被写体である人々も、通常の１枚分の撮影をしているような感覚である。

各撮影データに対し顔検出を行った後、検出された顔の数が最も多い画像データである最多検出画像データを複数の画像データから取得する。このとき、取得される画像データは、複数枚でも良い。なお、顔検出された部分は、同図では、四角破線枠にて表している。

また、集合写真という性質上、この場合に使用される顔検出は、ＣＣＤ２４の方向を向いているものを検出するものとする。同図の場合、２名が横を向いた例が示されている。

このように、ＣＣＤ２４の方向を向いているものを検出することにより、よそ見による失敗を回避できるだけではなく、集合写真とは無関係の人を検出する誤検出が起こりにくくなる。

最多検出画像データを取得すると、次に目つむりの数が最も少ない画像データである最少検出画像データを取得する。図４は、最少検出画像データを取得する処理を示す模式図である。

同図に示されるように、まず最初に、最多検出画像データの各々に対して、最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する。そして、検出された目つむりの数が最も少ない画像データである最少検出画像データを取得する。同図の場合、左側の画像には、目つむりしている人が２名おり、右側の画像には、目つむりしている人が０名であるため、右側の画像を示す画像データが取得される。

なお、特異な例として、例えば図５に示されるように、片目のみの目つむりや、サングラスをしている人がいる場合が考えられる。片目のみの目つむりの場合、目つむりしていないと判定しても良い。また、サングラスをしている人のように、目自体が検出できなかった場合も、目つむりしていないと判定しても良い。

このように、最少検出画像データを取得すると、次にオートフォーカス評価値（以下、ＡＦ評価値と記す）が最も高い画像データを１つ選択する。図６は、ＡＦ評価値が最も高い最少検出画像データを取得する処理を示す模式図である。なお、ＡＦ評価値とは、本実施の形態では空間周波数に基づくものとなっている。空間周波数が高ければＡＦ評価値は高くなり、空間周波数が低ければＡＦ評価値は低くなる。

同図に示されるように、検出された顔の部分に対してＡＦ評価を実施し、それぞれの顔の部分のＡＦ評価値の総和が高い画像データを最もＡＦ評価値の高い画像データとして１つ選択する。同図の場合、左側の画像より右側の画像のＡＦ評価値が高いため、右側の画像を示す画像データが１つ選択される。

なお、ＡＦ評価値が同一の画像データが複数存在した場合には、そのうち任意の１つの画像データを選択するようにする。

以上が本実施の形態に係る処理の概要である。以下、フローチャートを用いて各処理の詳細を説明する。

まず、図７のフローチャートを用いて最少検出画像選択処理について説明する。ユーザが、レリーズボタン５６Ａを普通の撮影と同様に押下すると、ステップ１０１で撮影を行い、次のステップ１０２で所定枚数撮影したか否か判定する。この所定枚数とは、シャッタスピードなどにも依存するが、人が瞬に要する時間の数倍程度の時間で撮影可能な枚数とするようにしても良い。

ステップ１０２で、肯定判定すると、ステップ１０３で、複数の画像データの各々に対して、撮像素子の方向に向いている顔を検出する。そして、ステップ１０４で、検出された顔が最も多い画像を取得する。次のステップ１０５で、取得された最多検出画像データに対して、最多検出画像データが示す画像に含まれる顔の目つむりを検出し、ステップ１０６で、目つむりの数が最も少ない画像データである最少検出画像データを最多検出画像データから取得する。

そして、ステップ１０７で、目つむり最小画像のうち、ＡＦ評価値が最も高い画像を選択する。

以上説明したステップ１０１〜ステップ１０６までの処理でも、目つむりによる失敗の少ない画像を撮影することを可能とすることができる。ステップ１０７の処理は、ステップ１０６で取得された最小検出画像データが複数の場合に、予め定められた条件に応じて１つの最小検出画像データを選択する処理であり、ステップ１０７の場合は、予め定められた条件を、被写体を撮像した際のオートフォーカス評価値が最も高い、という条件としたものである。

次に、図８を用いて、目つむりしている目を、目つむりしていない目に合成する処理の概要について説明する。

同図に示されるように、まず、最小検出画像データが示す画像で目つむりしている顔の位置を検出する。そして、全ての画像データ、或いは最多検出画像データから、目つむりしている人と略同一の位置に存在する目つむりしていない顔を含む画像データを検索する。

目つむりしていない顔を含む画像データが検索されると、目を含む領域を合成し、合成画像が生成される。

この合成処理の詳細を、図９のフローチャートを用いて説明する。

まず、ステップ２０１で、上述した最少検出画像選択処理を行う。次のステップ２０２で、選択された最小検出画像データが示す画像における目つむりをしている顔の位置を取得し、ステップ２０３で、複数の画像データから、取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する。このフローチャートでは、目つむりをしていない顔を含む画像が検索されたものとする。また、上記略同一は、同一も含むものとする。

次のステップ２０４で、検索された画像データのうち、ＡＦ評価値が最も良い画像を更に選択する。これにより、合成するために検索された画像データを最も合焦されている画像データとすることで、合成した際の違和感を軽減でき、更に画質を向上することができる。

そして、ステップ２０５で検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、最小検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する。

上述した処理における位置の取得について説明する。図１０は、合成前画像と、合成前画像に合成するために用いられる合成用画像とを示す図である。同図に示されるように顔検出された矩形の対角線上の頂点の座標を位置として取得するようになっている。なお、同図に示される合成前画像の位置は、(ｘＡ、ｙＡ)、(ｘ'Ａ、ｙ'Ａ)として取得され、合成用画像の位置は、(ｘＢ、ｙＢ)、(ｘ'Ｂ、ｙ'Ｂ)として取得される。

そして、本実施の形態における略同一とは、以下の判別式を満たす場合としている。
(ｘＢ−ｘＡ）^２＋(ｙＢ−ｙＡ）^２＜α
上記αは閾値定数であり、画像の大きさ等により適宜定められるか、或いはユーザにより設定される。

また、目つむりの入れ替え時には、より自然な合成を行う必要があるため、顔の向きが同じであることを判別するようにしても良い。具体的には、顔検出部の長方形の枠の縦、横の長さがそれぞれ同一の長さであることで顔の向きを判別し、合成前画像、合成用画像の顔を検出した矩形の縦、横の長さの差分がそれぞれある一定以内の値であれば、顔が同じ向きをしているとする。

本実施の形態では、以下の式を満たす場合に顔の向きが同じであると判別する。
｜(ｘ'Ｂ−ｘＢ）^２−(ｘ'Ａ−ｘＡ）^２｜＜β
上記βは閾値定数であり、画像の大きさ等により適宜定められるか、或いはユーザにより設定される。

なお、上記２つの判別式はあくまで一例である。また、合成用画像が複数存在する場合には、上記判別式を用いて、最も合成する画像に近い数値（判別式の左辺の値が小さい）となる合成用画像を取得するようにしても良い。更に、合成用画像の候補が上記判別式を満たさない場合は、合成を行わないようにしても良い。

次に、図１１のフローチャートを用いて、目つむりをしている顔を含む画像データが撮影されたことを警告する警告処理について説明する。

まず、ステップ３０１で、上述した最少検出画像選択処理を行う。次のステップ３０２で、選択された最小検出画像データが示す画像における目つむりをしている顔の位置を取得し、ステップ３０３で、複数の画像データから、取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する。

次のステップ３０４で、検索できたか否か判定し、検索できなかった場合には、ステップ３０７で目つむりをしている顔を含む画像データが撮影されたことを警告する目つむり警告を発生し、処理を終了する。この目つむり警告とは、例えばＬＣＤ３８にその旨のメッセージを表示したり、スピーカを設けて音を発生したり、ＬＥＤを設けて点滅させるなど、種々の方法による警告である。

ステップ３０４で肯定判定した場合には、ステップ３０５で、検索された画像データのうち、ＡＦ評価値が最も高い画像を更に選択する。そして、ステップ３０６で検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、最小検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する。

このようにユーザに警告することで、目つむりによる失敗の少ない画像を撮影することを可能とすることができる。

次に、図１２のフローチャートを用いて、最少検出画像データにおける目つむりをしている顔をＬＣＤ３８に表示するように制御し、ユーザに対して、再撮影を行うか、或いは最小検出画像データをメモリカード５２に記録するかのいずれか一方を選択させる再撮影選択処理について説明する。

まず、ステップ４０１で、上述した最少検出画像選択処理を行う。次のステップ４０２で、選択された最小検出画像データが示す画像における目つむりをしている顔の位置を取得し、ステップ４０３で、複数の画像データから、取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する。

次のステップ４０４で、検索できたか否か判定し、検索できなかった場合には、ステップ４０７で目つむりをしている顔を含む画像を表示する。この顔の表示は、その顔を拡大して表示するようにしても良い。

次のステップ４０８は、ユーザの入力で分岐する処理である。ユーザに対し、このまま画像データを記録するか、再撮影をするか否か選択させるユーザインタフェースを表示し、ユーザが再撮影を選択した場合には、再びステップ４０１の処理に戻る。

一方、ユーザが記録を選択した場合には、ステップ４０９で画像データを記録し、処理を終了する。

また、上記ステップ４０４で肯定判定した場合には、ステップ４０５で、検索された画像データのうち、ＡＦ評価値が最も高い画像を更に選択する。そして、ステップ４０６で検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、最小検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する。この合成画像データを記録するようにしても良い。

上記処理により、目つむりをしている顔が撮影された場合に、ユーザは再撮影を行うか、目つむりをしている顔を含む画像を示す画像データを記録するかを選択することができる。

次に、図１３のフローチャートを用いて、合成画像、及び合成前画像をＬＣＤ３８により表示するように制御し、ユーザに対して、合成画像及び合成前画像のいずれをメモリカード５２に記録するか選択させ、ユーザにより選択された画像を示す画像データをメモリカード５２により記録するように制御する選択画像記録処理について説明する。

まず、ステップ５０１で、上述した最少検出画像選択処理を行う。次のステップ５０２で、選択された最小検出画像データが示す画像における目つむりをしている顔の位置を取得し、ステップ５０３で、複数の画像データから、取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する。このフローチャートでは、目つむりをしていない顔を含む画像が検索されたものとする。

次のステップ５０４で、検索された画像データのうち、ＡＦ評価値が最も高い画像を更に選択する。ステップ５０５で検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、最小検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する。

そして、ステップ５０６で合成前画像と合成画像を、図１４に示されるようにＬＣＤ３８に表示する。

次のステップ５０７は、ユーザの入力で分岐する処理である。ユーザに対し、合成した合成画像を示す合成画像データを記録するか、合成前の画像を示す合成前画像データを記録するか否か選択させるユーザインタフェースを表示し、ユーザが合成前の画像を示す合成前画像データを記録することを選択した場合には、ステップ５０９で合成前画像データを記録し、処理を終了する。

一方、ステップ５０７で、ユーザが合成画像データを記録することを選択した場合には、ステップ５０８で、合成画像データ及び合成前画像データを記録し、処理を終了する。

なお、ステップ５０８では、合成画像データのみを記録するようにしても良い。

この処理により、ユーザは、合成画像データ及び合成前画像データの少なくとも一方を記録することができる。

次に、図１５のフローチャートを用いて、画像データの合成中に、最少検出画像データが示す画像をＬＣＤ３８により表示するように制御する合成中表示処理を説明する。

まず、ステップ６０１で、上述した最少検出画像選択処理を行う。次のステップ６０２で、選択された最小検出画像データが示す画像における目つむりをしている顔の位置を取得し、ステップ６０３で、複数の画像データから、取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する。

次のステップ６０４で、検索できたか否か判定し、検索できなかった場合には、そのまま処理を終了する。一方、ステップ６０４で肯定判定した場合には、ステップ６０５で、目つむり最小画像を表示する。そして、ステップ６０６で、検索された画像データのうち、ＡＦ評価値が最も良い画像を更に選択する。次のステップ６０７で検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、最小検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する。この合成画像データを記録するようにしても良い。

この処理により、比較的時間が要する合成処理の間、ユーザは最少検出画像データが示す画像を確認することができる。

次に、図１６のフローチャートを用いて、最少検出画像データから、検出された顔の総数におけるＣＣＤ２４の方向に向いている顔の数の割合が所定の割合より大きい最小検出画像データを選択する割合判定処理について説明する。なお、この処理における顔検出は、ＣＣＤ２４の方向に向いていない顔も検出することが可能なものとする。

まず、ステップ７０１で、スルー画像に対して顔検出を行う。このスルー画像に対する顔検出も、被写体をＣＣＤ２４により連続して撮像する処理である。

次のステップ７０２で、画像にＮ人以上の顔（ＣＣＤ２４の方向を向いていない顔も含む）が検出されたか否か判定する。ステップ７０２で、否定判定した場合には、ステップ７０５で、スルー画像で得られた画像データを撮像した画像データとする通常の撮影を行い、処理を終了する。

一方、ステップ７０２で肯定判定した場合には、ステップ７０３で、顔が検出されたＮ人のうち、Ｍ人以上の顔がＣＣＤ２４の方向に向いているか否か判定する。このステップ７０３で否定判定した場合には、上述したステップ７０５の処理が行われる。

一方、ステップ７０３で肯定判定した場合には、ステップ７０４で上述した最少検出画像選択処理を行い、処理を終了する。

上記フローチャートでは、所定の割合をＭ／Ｎとした例を示すものである。これにより、撮影に関係のない人が、撮影画角内に入っている場合に集合写真と誤認識し、撮影に関係のない人に対しても最小検出画像選択処理を行うような無駄な処理の発生を防止できる。また、上記フローチャートでは、スルー画像を用いて処理を行うため、ユーザがレリーズボタン５６Ａを押下することなく自動的に撮影することができる。

なお、以上説明した各フローチャートの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内で処理順序を入れ替えたり、新たなステップを追加したり、不要なステップを削除したりすることができることは言うまでもない。

本実施の形態に係るデジタルカメラの外観上の構成を示す図である。 本実施の形態に係るデジタルカメラの電気系の構成を示す図である。 最多検出画像データを取得する処理を示す模式図である。 最少検出画像データを取得する処理を示す模式図である。 片目のみの目つむりや、サングラスをしている人がいる場合の最少検出画像データを取得する処理を示す模式図である。 ＡＦ評価値が最も高い最少検出画像データを取得する処理を示す模式図である。 最少検出画像選択処理を示すフローチャートである。 目つむりしている目を、目つむりしていない目に合成する処理の概要を示す図である。 合成する処理を示すフローチャートである。 合成前画像と合成用画像とを示す図である。 警告処理を示すフローチャートである。 再撮影選択処理を示すフローチャートである。 選択画像記録処理を示すフローチャートである。 合成前画像と合成用画像とがＬＣＤに表示されたものを示す図である。 合成中表示処理を示すフローチャートである。 割合判定処理を示すフローチャートである。

符号の説明

１０ デジタルカメラ
２４ ＣＣＤ
３８ ＬＣＤ
４０ ＣＰＵ
４８ メモリ
５２ メモリカード
５６Ａ レリーズボタン

Claims (10)

1. 被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得手段と、
   前記画像データ取得手段により取得された複数の画像データの各々に対して、顔を検出する顔検出手段と、
   前記顔検出手段により検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得手段と、
   前記最多検出画像取得手段により取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出手段と、
   前記目つむり検出手段により検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得手段と、
   前記最少検出画像取得手段により取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択手段と、
   を有し、
   前記予め定められた条件は、前記最少検出画像取得手段により取得された最少検出画像データから、前記顔検出手段により検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む
   撮像装置。
2. 前記予め定められた条件は、複数の最少検出画像データのうちで、前記被写体を撮像した際のオートフォーカス評価値が最も高い、という条件を更に含む請求項１に記載の撮像装置。
3. 前記選択手段により選択された最少検出画像データが示す画像における目つむりをしている顔の位置を取得する位置取得手段と、
   前記複数の画像データから、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像を示す画像データを検索する検索手段と、
   前記検索手段により前記目つむりをしていない顔を含む画像を示す画像データが検索された場合に、検索された画像データが示す画像に含まれる目つむりをしていない顔の目を含む領域に対応する画像データを、前記最少検出画像データが示す画像における目つむりをしている顔の目を含む領域に対応する画像データに合成する合成手段と、
   を更に有する請求項１又は請求項２に記載の撮像装置。
4. 画像データが示す画像を表示する表示手段と、
   画像データを記録する記録手段と、
   前記合成手段により合成された画像データが示す合成画像、及び最少検出画像データが示す合成前画像を前記表示手段により表示するように制御する表示制御手段と、
   ユーザに対して、前記表示手段に表示された前記合成画像及び前記合成前画像のいずれを前記記録手段に記録するか選択させ、ユーザにより選択された画像を示す画像データを前記記録手段により記録するように制御する記録制御手段と、
   を更に有する請求項３に記載の撮像装置。
5. 画像データが示す画像を表示する表示手段と、
   前記合成手段による画像データの合成中に、前記最少検出画像データが示す画像を前記表示手段により表示するように制御する表示制御手段と、
   を更に有する請求項３に記載の撮像装置。
6. 画像データが示す画像を表示する表示手段と、
   画像データを記録する記録手段と、
   前記検索手段により、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データが検索されなかった場合に、前記選択手段により選択された最少検出画像データにおける目つむりをしている顔を前記表示手段に表示するように制御する表示制御手段と、
   ユーザに対して、再撮影を行うか、或いは前記最少検出画像データを前記記録手段に記録するかのいずれか一方を選択させるユーザ選択手段と、
   を更に有する請求項３に記載の撮像装置。
7. 前記検索手段は、複数の目つむりをしていない顔を含む画像データが存在する場合に、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データのうち、前記被写体を撮像した際のオートフォーカス評価値が最も高い画像データを検索する請求項３〜請求項６のいずれか１項に記載の撮像装置。
8. 前記検索手段により、前記位置取得手段により取得された位置と略同一の位置に存在する目つむりをしていない顔を含む画像データが検索されなかった場合に、目つむりをしている顔を含む画像データが撮影されたことを警告する警告手段を更に有する請求項３〜請求項７のいずれか１項に記載の撮像装置。
9. 被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得段階と、
   前記画像データ取得段階により取得された複数の画像データの各々に対して、顔を検出する顔検出段階と、
   前記顔検出段階により検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得段階と、
   前記最多検出画像取得段階により取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出段階と、
   前記目つむり検出段階により検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得段階と、
   前記最少検出画像取得段階により取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択段階と、
   を有し、
   前記予め定められた条件は、前記最少検出画像取得段階により取得された最少検出画像データから、前記顔検出段階により検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む
   撮像方法。
10. 被写体を撮像素子により連続して撮像することにより前記被写体を示す複数の画像データを取得する画像データ取得ステップと、
    前記画像データ取得ステップにより取得された複数の画像データの各々に対して、顔を検出する顔検出ステップと、
    前記顔検出ステップにより検出された前記顔を含む画像を示す画像データのうち前記撮像素子の方向を向いている顔の数が最も多い画像データである最多検出画像データを前記複数の画像データから取得する最多検出画像取得ステップと、
    前記最多検出画像取得ステップにより取得された最多検出画像データに対して、該最多検出画像データが示す画像に含まれる顔の目が閉じている状態を示す目つむりを検出する目つむり検出ステップと、
    前記目つむり検出ステップにより検出された目つむりの数が最も少ない画像データである最少検出画像データを前記最多検出画像データから取得する最少検出画像取得ステップと、
    前記最少検出画像取得ステップにより取得された最少検出画像データが複数の場合に、予め定められた条件に応じて１つの最少検出画像データを選択する選択ステップと、
    を有し、
    前記予め定められた条件は、前記最少検出画像取得ステップにより取得された最少検出画像データから、前記顔検出ステップにより検出された顔の総数における前記撮像素子の方向に向いている顔の数の割合が所定の割合より大きい、という条件を含む
    処理をコンピュータに実行させる撮像プログラム。

Images