JP5381060B2 - 撮像装置およびその画像処理方法 - Google Patents

Description

本発明は、撮像装置およびその画像処理方法に関し、特に、人物を対象としたシーンにおいて、撮影者が目的とする顔にピントが合った画像を得ることができる撮像装置およびその画像処理方法に関する。

カメラの被写体として人物を対象とするシーンは多く、その人物の顔を綺麗に撮影可能であることは特に重要である。したがって、最近では顔認識機能を搭載したカメラが各社から製品化されている。「顔認識」とは、人物の目・鼻・口のパターンからが顔領域を検出する技術であり、この検出した顔領域内の肌の色再現や、エッジ強調や、露出などの画質要因について、顔が綺麗にみえるように最適化することに応用されている（重要機能１…顔認識）。

また、上記の画質要因以外では、顔にピントを合わせられることもカメラの機能として重要である。

しかし、既存のオートフォーカス機能では顔にピントを合わせ難いシーンが多々あった。例えば、焦点距離が望遠側で焦点深度が浅い撮影条件下で、複数の人物が異なる距離に居るシーンでは、撮影者の意図した人物にピントを合わせられないことがフォーカスアルゴリズム上の限界から発生していた。

この回避策の一つとして、従来技術では「ＡＦブラケット撮影」とよばれるフォーカス位置を変えて数枚撮影する方法があり、撮影後にピントが合っている画像を選択するという手法がとられてきた（重要機能２…ＡＦブラケット撮影）。

現在、この画像を選択する手法は、パーソナルコンピュータ（ＰＣ）のモニタ上で１枚、１枚、画像を再生表示して目視にて確認している。しかし、この手法は非常に手間がかかり、好ましくは撮像装置（デジタルカメラなど）に搭載されているＬＣＤ（液晶）パネルに表示した再生画像上で選択したいが、１０００万画素レベルで記録した画像をＶＧＡ（VideoGraphics Array）サイズで表示した画面上で選択するには限界があった（重要機能３…画像抽出）。

特開２００３−７５７１７号公報 特開２００６−２２７０８０号公報 特開２００５−２７７８１３号公報 特開２００３−１０７３３５号公報

ところで、従来技術には上述の３種の重要機能（１…顔認識、２…ＡＦブラケット撮影、３…画像抽出）を融合した撮影モードを併せ持つ撮像装置が存在しなかった。尚、特許文献１，２，４は、顔認識とオートフォーカスとの組み合わせについて記述されたものであり、ＡＦブラケット撮影と画像抽出については言及していない。また、特許文献３は、ＡＦブラケットと画像抽出について記述されたものであるが、顔認識については言及していない。

上述の３種の重要機能を融合した撮影モードを撮像装置が備えていれば、人物を対象としたシーンにおいて、撮影者が目的とする顔にピントが合った画像を撮像装置内で得ることができ、撮影者にとっては非常に便利である。

そこで、本発明は、撮影者が目的とする顔にピントが合った画像を撮像装置内で得ることができる撮像装置およびその画像処理方法の提供することを目的とする。

かかる目的を達成するため、請求項１に記載の撮像装置は、撮影指示を受け付ける操作手段と、フォーカス機構およびフォーカス変更機構を含む撮影光学系と、撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、記録画像データおよび表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、データを記憶する記憶手段と、表示用画像データを表示する表示手段と、操作手段、撮影光学系、固体撮像素子、画像処理手段、記憶手段および表示手段を制御する制御手段と、を備え、制御手段は、操作手段から撮影指示を受け付けると、表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを固体撮像素子から取得し、複数の記録画像データの各々の記録画像データと、画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして記憶手段に記憶させ、合焦度情報のうち最も高い合焦度情報を有する記録画像データを、複数の記録画像データから抽出し、マルチページファイルとは別のファイルとして記憶手段に記憶させるものである。

請求項２に記載の撮像装置は、撮影指示を受け付ける第１の操作手段と、選択編集指示を受け付ける第２の操作手段とフォーカス機構およびフォーカス変更機構を含む撮影光学系と、撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、記録画像データおよび表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、データを記憶する記憶手段と、表示用画像データを表示する表示手段と、第１の操作手段、第２の操作手段、撮影光学系、固体撮像素子、画像処理手段、記憶手段および表示手段を制御する制御手段と、を備え、制御手段は、第１の操作手段からの撮影指示を受け付けると、表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを固体撮像素子から取得し、複数の記録画像データの各々の記録画像データと、画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして記憶手段に記憶させ、マルチページファイルから、１つの記録画像データと該記録画像データの顔領域情報とを取得して、該記録画像データを顔領域が識別可能な表示とともに表示手段に表示し、第２の操作手段からの顔領域の選択指示を受け付けると、マルチページファイルから、該顔領域について最も高い合焦度情報を有する記録画像データを抽出し、該記録画像データをマルチページファイルとは別のファイルとして記憶手段に記憶させるものである。

また、請求項３に記載の発明は、請求項１または２に記載の撮像装置において、マルチページファイルは、複数の記録画像データを同一フォルダ内に格納することにより作成されるものである。

また、請求項４に記載の発明は、請求項１または２に記載の撮像装置において、マルチページファイルは、複数の記録画像データの各記録画像データについて撮影された順に結合することにより作成されるものである。

また、請求項５に記載の発明は、請求項１から４までのいずれかに記載の撮像装置にお
いて、別のファイルは、記憶手段にＪＰＥＧ形式で記憶されるものである。

さらに、請求項６に記載の画像処理方法は、撮影指示を受け付ける操作手段と、フォーカス機構およびフォーカス変更機構を含む撮影光学系と、撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、記録画像データおよび表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、データを記憶する記憶手段と、表示用画像データを表示する表示手段と、操作手段、撮影光学系、固体撮像素子、画像処理手段、記憶手段および表示手段を制御する制御手段と、を備えた撮像装置の画像処理方法であって、制御手段は、操作手段から撮影指示を受け付けると、表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを固体撮像素子から取得する処理と、複数の記録画像データの各々の記録画像データと、画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして記憶手段に記憶させる処理と、合焦度情報のうち最も高い合焦度情報を有する記録画像データを、複数の記録画像データから抽出し、マルチページファイルとは別のファイルとして記憶手段に記憶させる処理と、を行うようにしている。

さらに、請求項７に記載の画像処理方法は、撮影指示を受け付ける第１の操作手段と、選択編集指示を受け付ける第２の操作手段と、フォーカス機構およびフォーカス変更機構を含む撮影光学系と、撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、記録画像データおよび表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、データを記憶する記憶手段と、表示用画像データを表示する表示手段と、第１の操作手段、第２の操作手段、撮影光学系、固体撮像素子、画像処理手段、記憶手段および表示手段を制御する制御手段と、を備えた撮像装置の画像処理方法であって、制御手段は、第１の操作手段からの撮影指示を受け付けると、表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを固体撮像素子から取得する処理と、複数の記録画像データの各々の記録画像データと、画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして記憶手段に記憶させる処理と、マルチページファイルから、１つの記録画像データと該記録画像データの顔領域情報とを取得して、該記録画像データを顔領域が識別可能な表示とともに表示手段に表示する処理と、第２の操作手段からの顔領域の選択指示を受け付けると、マルチページファイルから、該顔領域について最も高い合焦度情報を有する記録画像データを抽出し、該記録画像データをマルチページファイルとは別のファイルとして記憶手段に記憶させる処理と、を行うようにしている。

本発明によれば、顔認識とＡＦブラケット撮影を組み合わせた撮影後に画像を抽出することで、撮影者の意図した人物にピントが合った画像を確実に取得することが可能になる。

以下、本発明に係る構成を図面に示す実施の形態に基づいて詳細に説明する。

１．撮像装置の構成
本実施形態では、本発明に係る撮像装置の一例としてデジタルスチルカメラ（以下、デジタルカメラ、カメラともいう）を例に説明する。図１はデジタルカメラ１の外観図を示し、（ａ）は正面図、（ｂ）は上面図、（ｃ）は裏面図を示している。

デジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、モード切り替えダイアル４が設けられており、デジタルカメラ１の正面側には、撮影光学系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

また、デジタルカメラ１の背面側には、液晶（ＬＣＤ）モニタ９、光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３、十字キーボタン１４等が設けられている。また、デジタルカメラ１の側面内部には、撮影した静止画像を保存するためのメモリカード収納するメモリカード収納部１５が設けられている。

図２は、デジタルカメラ１のシステム構成の概略を示すブロック図である。図２に示すように、デジタルカメラ１を構成する光学ユニット１００は、レンズ系１０１（不図示のズームレンズ１０１１、フォーカスレンズ１０１２よりなる）、絞り・シャッタ１０２、光学ローパスフィルタ１０３およびＣＭＯＳセンサ部１０４から構成される。また、レンズ系１０１および絞り・シャッタ１０２を総称して撮影光学系５ともいう。尚、固体撮像素子としてはＣＣＤセンサを用いても良いが、高速読み出しに特徴を有するＣＭＯＳセンサで構成することが望ましい。

レンズ系１０１は、焦点位置によってメカニズム的に移動する。また、絞り・シャッタ１０２は、撮影条件に適した絞り径への切り換えと、静止画像撮影のためのシャッタ閉じ・開き動作を行う。これらを駆動するのが光学系駆動部１０５であり、光学系駆動部１０５に駆動指示を与えるのが制御・演算部１２０（制御手段）である。

ＣＭＯＳセンサ部１０４では２次元に配列した受光素子部で結像した光学像を電荷に変換し、内蔵される駆動部から送信される読出しタイミングに従い、外部へ電気信号（撮像データ）として出力する。

本実施形態では、レリーズキー２が押下された際にＣＭＯＳセンサ部１０４から出力された撮像データを記録画像（記録画像データ）といい、レリーズキー２が押下される前のライブビュー機能動作の際にＣＭＯＳセンサ部１０４から出力された撮像データを表示用画像（表示用画像データ）という。

ＣＭＯＳセンサ部１０４で出力される撮像データは、画像処理部１１０において所定のフォーマットで画像処理され、記録画像である場合には、圧縮・伸張処理部１２４と画像記録Ｉ／Ｆ部１２５を介して最終的にはＳＤカードやコンパクトフラッシュ（登録商標）カードやＸＤピクチャーカードといった記録メディア（記憶手段）に保存される。

また、後述するライブビュー機能動作状態のときには、撮像データを画像処理部１１０で表示用画像として処理し、ＬＣＤパネル９を随時更新表示する。また、後述するように、ＬＣＤパネル９は代表画像の再生表示も行う。

画像処理部（画像処理手段）１１０は多くの処理機能で構成されるが、少なくとも後述する顔領域検知部１１２および被写体の高周波成分の積算値を取得するための被写体周波数情報取得部１１１を備えるものである。また、画像処理部１１０はＴＶビデオ信号を出力して、外部表示装置としてのテレビやモニタに表示する機能も有することが好ましい。

操作部（操作手段、第１の操作手段、第２の操作手段）１２２には、静止画像撮影のための２段押しレリーズキー２と、光学側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３、十字キーボタン１４を含む。また、操作部１２２を用いて、複数枚の再生画像の中から指定領域の合焦画像を選択する操作が実現される。

また、デジタルカメラ１内部の記憶手段であるＲＯＭ１２１には、各種データおよび各種の制御プログラム等が記録される。また、ＲＡＭ１２６には、実行中のプログラムに用いるデータ等が一時記憶される。

２．第１の実施形態
２−１．第１の実施形態の概要
第１の実施形態では、先ず撮影のフォーカス位置を変えながら複数枚の静止画像の記録を行うＡＦブラケット撮影を行う。

ＡＦブラケット撮影においては、各静止画像（以下、記録画像ともいう）については所定の画像処理および記録・保存処理を行い、同時にこれらの記録画像に対して顔認識技術を用いて記録画像中の顔領域を検出枠として検知する。

また、検知した顔領域内において所定のフィルタ処理および演算を行うことによりオートフォーカス用の検波値（以下、合焦度ともいう）を取得する。

また、ＡＦブラケット撮影により記録される複数枚の記録画像データはマルチピクチャー形式として１つのファイル（以下、マルチページファイルともいう）として記録・保存される。併せて、このときに取得された合焦度と、その合焦度がどの画像のどの領域で取得されたものであるかの情報（以下、合焦度合い判別情報ともいう）を同一のファイルに書き込む。

更に、第１の実施形態では、顔領域における合焦度を記録画像間で比較し、合焦度が最も高い記録画像を１枚抽出し、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式等の圧縮画像として記録・保存する。

以上の処理により、第１の実施形態では、３種の重要機能（顔認識、ＡＦブラケット撮影、画像抽出）を融合した撮影モードを併せ持つ撮像装置を実現できる。

尚、ＡＦブラケット撮影において、複数の人物を検出した場合は、例えば、各人物ごとのベストピント画像を抽出しても良いし、主要と思われる人物をオートで選択してその人物のみベストピント画像を抽出しても良い。人物をオートで選択するとは、例えば、画面中心にいる人物を優先するようにしても、撮影距離が近い人物を優先するようにしても良く、特に限られるものではない。また、撮影距離については、例えば、顔領域内の合焦度や、検出枠のサイズで判断するようにすれば良い。

２−２．第１の実施形態の詳細
デジタルカメラ１の動作の一例（第１の実施形態）を図３に示すフローチャートに基づいて説明する。

デジタルカメラ１の電源ボタン３を押下して電源を入れ、モード切り替えダイアル４によりＡＦブラケット撮影を行う連写モードが選択されることにより、以下の処理が開始される。

先ず、デジタルカメラ１のレリーズキー２が半押しされる（以下、第１レリーズともいう）ことで、現在の露光状態がロック（ＡＥロック）される（Ｓ２０１）。ＡＥロックにより連写中の輝度の変化、即ち、撮り始め記録画像と撮り終わり記録画像による輝度の差を防ぐことが可能となる。

次に、ＡＥロックがされた状態からデジタルカメラ１のレリーズキー２が全押し（以下、第２レリーズともいう）されたことを制御・演算部１２０が検出すると（Ｓ２０２）、デジタルカメラ１がＡＦブラケット撮影を実施して、ｎ枚の記録画像を得る（Ｓ２０３）。尚、レリーズキー２が全押しされている間は連写することが可能である。

尚、第１レリーズの状態からレリーズキー２の半押し状態が離されると、ＡＥロックが解除される。また、ＡＦブラケット撮影は、フォーカスレンズ１０１２を所定位置から駆動させて、合焦位置を至近から無限、またはその逆に動かしつつ、ｎ枚の記録画像が得られるまで行われる。

次に、各記録画像について、画像処理部１１０の顔領域検知部１１２は、各記録画像内の顔領域の検出を行い（Ｓ２０４）、検出された各顔領域の合焦度情報の取得を行う（Ｓ２０５）。尚、合焦度情報の取得は公知の手法によればよく、特に限られるものではない。当該顔領域検出（Ｓ２０４）および合焦度情報取得（Ｓ２０５）の処理は、ｎ枚の記録画像全てに対して行う。

ここで顔領域検出（Ｓ２０４）処理について、図４を参照しつつ説明する。画像処理部１１０の被写体周波数情報取得部１１１は、画面の縦・横を分割し、分割したエリア毎に被写体周波数情報を取得する機能を有する。また、分割された各ブロックは画角内のブロックの位置に相当する座標情報を有している。

例えば、図４では分割数を３２×３２とし、画面左上のブロックの座標情報を（１,１）とし、画面右下の座標情報を（３２,３２）としている。顔認識処理は、眉、目、鼻、口などの特徴を捉えるパターン認識処理を行うが、この認識されたパターンを包括するブロックを選択することで、顔領域（検出枠）を検出するものである。尚、図４では、検出枠に該当するブロックを太枠で示している。

次に、制御・演算部１２０は、顔領域検出（Ｓ２０４）で検出された複数の顔領域から特定の顔領域を自動で選択する（Ｓ２０６）。

尚、顔領域選択（Ｓ２０６）において、１枚の記録画像から複数の人物が検出された場合には、例えば、検出された全ての顔領域のそれぞれについて、最も合焦度が高い合焦度情報を持つ記録画像をそれぞれ抽出して、抽出した全ての抽出画像をそれぞれＪＰＥＧファイルとして再保存するようにしても、また、検出された顔領域の検出枠サイズを比較して、検出枠サイズが大きい顔領域について最も合焦度の高い合焦度情報を持つ記録画像をそれぞれ抽出して、抽出した全ての抽出画像をそれぞれＪＰＥＧファイルとして再保存するようにしても良い。この場合において、検出枠が同じ大きさである場合は、合焦度情報から推測される撮影距離が近い方の顔領域を選択するようにしたり、合焦度情報の出力値が高い顔領域を選択するようにすれば良い。

次に、制御・演算部１２０は、ｎ枚の記録画像の、選択された顔領域の合焦度情報を比較して（Ｓ２０７）、最も合焦度が高い合焦度情報を持つ記録画像（抽出画像）を1枚抽出する（Ｓ２０８）。

次に、制御・演算部１２０は、ｎ枚の記録画像と、各記録画像から検出した顔領域の各記録画像における座標（顔領域情報）と、各顔領域内の合焦度情報とを各記録画像に対応付けてマルチページファイルとして１つのファイルに保存する（Ｓ２０９）。更に、制御・演算部１２０は、先ほど抽出された抽出画像をＪＰＥＧファイルとして、マルチページファイルとは別に、新たに保存し（Ｓ２１０）、処理は終了する。

以下、マルチページファイルの保存（Ｓ２０９）についての詳細を説明する。ＡＦブラケット撮影により連続的にフォーカス位置を変えて複数回記録撮影したｎ枚の記録画像は、該記録画像と、各記録画像から検出した顔領域の各記録画像における座標を示す座標情報（顔領域情報）と、各顔領域内の合焦度情報とを各記録画像に対応付けて、１つのマルチページファイルとして保存される。

ここで、座標情報の保存は、例えば、顔領域として検出されたブロックの内、左上と右下のブロックの座標情報を保存すればよい。例えば、図４に示した例では、座標情報として、（１１、５）、（１２、７）、（２４、６）、（２５、７）を保存すれば良い。また、各顔領域内の合焦度情報としては、顔領域として検出されたブロックの合焦度情報を保存すれば良い。

各記録画像の座標情報と合焦度情報は、例えば、図５に示すようにＪＥＩＤＡ（日本電子工業振興協会）で規格されたＥｘｉｆ（Exchangeable Image File Format）で各記録画像が記録される場合、Ｅｘｉｆのヘッダー部タグ情報（メーカ毎の個別領域）に、カメラの機種、撮影日時、絞り、シャッタスピードなどの情報とともに書き込まれ、マルチページファイル用の記録画像データとして保存される。

そして、ｎ個のマルチページファイル用の記録画像データは、図６に示すＤＣＦ（カメラファイルシステム規格）のディレクトリ定義されるように、ＡＦブラケット撮影で撮影したｎ枚の記録画像のマルチページファイル用の記録画像データを１つのフォルダ（「連写１」フォルダ）にまとめて保存することで、マルチページファイルが作成される。

尚、マルチページファイルの保存は、画像記録Ｉ／Ｆ部１２５を介して、ＳＤカードなどの記録メディアやデジタルカメラ内部のＲＯＭ１２１に記録されることで実現される。このＥｘｉｆに記録された座標情報や合焦度情報を基にして、上記画像の抽出（Ｓ２０８）が行われる。

また、マルチページファイル保存の他の例について図７を用いて説明する。図６に示したマルチページファイルとの違いは、図７に示すマルチページファイルは、ＡＦブラケット撮影で撮影したｎ枚の記録画像のマルチページファイル用の記録画像データを結合していく点である。

図７に示すマルチページファイルにおいて、各マルチページファイル用の記録画像データは記録画像ヘッダー部と記録画像部とからなり、それぞれＡＦブラケット撮影された記録画像データの順に結合されていく。

各記録画像ヘッダー部には、記録画像の、画素数、圧縮の種類、撮影日時（分、秒を含む）、記録画像が撮影された撮像装置の機種名、露光時間、絞り、撮影感度、フォーカス位置、色空間といった各記録画像撮影時のデータである撮影条件データが含まれている。また、代表画像を識別するフラグである代表画像識別フラグと、各記録画像から検出された顔領域の各記録画像における座標を示す座標情報と、各顔領域内の合焦度情報（顔領域周波数情報）とが含まれている。さらに、記録画像のサムネイルも記録画像ヘッダー部に格納されている。

代表画像識別フラグは、代表画像と設定された記録画像とそうでない記録画像を、それぞれ１，０などで示すフラグであり、代表画像と設定された記録画像をマルチページファイルと別のファイルに保存する際に、マルチページファイルの該当する記録画像にフラグを立てることで変更される。

また、図３に示した処理を図８に示すように処理を行うようにしても良い。尚、図３に示すフローチャートにおける処理と同じ処理については、同じステップ数を付し、説明を省略する。

即ち、図３に示したフローチャートにおいては、ｎ枚のＡＦブラケット撮影が行われた（Ｓ２０３）後、各記録画像から顔領域を検出し（Ｓ２０４）、検出した顔領域について合焦度情報を取得しているが（Ｓ２０５）、図８に示すように、記録画像が撮影されるごと（Ｓ２０３−１）に、顔領域検出（Ｓ２０４）と、検出した顔領域について合焦度情報の取得（Ｓ２０５）とを行い、これらの処理をｎ枚分繰り返す（Ｓ２０３−２）ようにすることも好ましい。

このようにすることで、オートフォーカスのアルゴリズム限界のためにピントを合わせ難いシーンにおいても、顔認識とＡＦブラケット撮影を組み合わせた撮影後に画像を自動抽出することで、撮影者の意図した人物にピントが合った画像を確実に取得することが可能になる。また、撮影画像をＰＣモニタ表示で１枚、１枚、画像のピントを確認しながら選択する手間を省き、カメラ内で自動抽出するために操作性面でも簡易である。

ここまで説明した撮影された静止画像（記録画像）の中から如何にピントが合った静止画像を選ぶかの処理に併せて、以下に述べるように、静止画像の撮影時におけるピント精度の向上を図ることが好ましい。

具体的には、静止画像撮影前のプレビュー時、即ち、デジタルカメラ１のモード切り替えダイアル４により、連写モードが選択された後、レリーズキー２が半押しされる（第１レリーズ：Ｓ２０１）までのライブビュー機能動作の状態である間に取得する表示用画像についても顔認識を積極的に使用し、検出した顔領域の撮影距離をあらかじめ取得しておき、取得された距離に重点を置いてＡＦブラケット撮影を行うことで、顔にピントが合った静止画像を取得する可能性を上げるものである。尚、ライブビュー機能とは、ＣＭＯＳセンサ部１０４で出力される撮像データを、表示用画像としてＬＣＤパネル９に映し出す機能をいう。

そのため、ＡＦブラケット撮影における撮影位置の範囲を以下のように決定する。当該撮影位置の範囲の決定においては、顔認識された領域内の距離情報の取得が必要になる。距離情報の取得方法として、本実施形態では、図９に示すように、山登りスキャンによる方法を用いる。尚、山登りスキャンとは、オートフォーカスを高速に行うための専用駆動モードであり、画面内のフォーカス演算処理に必要とする画像を含む領域のみを読み出し、不要な領域は高速に掃き出し転送を行う方式をいう。また、距離情報の取得方法は、例えば、測距用センサを別途搭載し、当該センサ出力から直接距離情報を得る方法を利用するようにしても良く、上述の例に限られるものではない。

画像処理部１１０は、記録画像から顔領域を検知するための顔領域検知部１１２と記録画像の所定領域内の合焦度合いを判別するための被写体周波数情報取得部１１１とを備えており、ライブビュー機能動作の状態における表示用画像に対しても、顔領域検知部１１２と被写体周波数情報取得部１１１により山登りスキャンにより距離情報を取得できる。

図９（Ａ）は、被写体として２名の人物がデジタルカメラ１からそれぞれ１ｍと２ｍ離れて位置するシーンについて、ライブビュー機能動作におけるＬＣＤパネル９に表示された状態を示している。また、図９（Ｂ）は、被写体として２名の人物がデジタルカメラ１から、それぞれ１ｍと４ｍ離れて位置するシーンについて、ライブビュー機能動作におけるＬＣＤパネル９に表示された状態を示している。

図９（Ａ）、（Ｂ）ともに顔認識機能が動作して、表示用画像からそれぞれの人物の顔を検出し、「検出枠１」と「検出枠２」をＯＳＤ表示している。更に、このライブビュー機能動作の状態で山登りスキャンを実施したときの検出枠１内と検出枠２内の被写体高周波成分積算値を図示したものをそれぞれ図９（Ｃ）、（Ｄ）に示す。図９（Ｃ）では「検出枠２」内の被写体高周波成分積算値は２ｍでピークを持つのに対し、図９（Ｄ）では４ｍでピークを持つ。

この結果を基に、検出した人物にピントが合った画像をＡＦブラケット撮影によって取得するために、図９（Ｃ）,（Ｄ）中の黒点で示すように、検出枠のピーク付近に偏重してＡＦブラケット撮影を行う。即ち、それぞれ「検出枠１」および「検出枠２」の被写体高周波成分積算値のピークを含むように、図９（Ｃ）の場合には、ｄ１からｄ２までをＡＦブラケット撮影の撮影範囲とし、図９（Ｄ）の場合には、ｄ１からｄ３までをＡＦブラケット撮影の撮影範囲とするものである。

ここで、ライブビュー機能動作における解像度は、フレームレートを早く出力するために記録画像の解像度より低いことが多い、このため表示用画像のフォーカス精度は厳密には記録画像のフォーカス精度より落ちることとなる。そこで、図中の黒点に示すように、撮影位置をピーク位置とその前後にすることによって、記録画像と表示用画像におけるフォーカス精度差を補うことが好ましい。

このように、ＡＦブラケット撮影前のプレビュー時（ライブビュー動作時）に顔領域内の検出と領域内の距離情報を取得し、ＡＦブラケット撮影を行う焦点位置を決定することで、ピント精度効果を更に向上させることができる。

３．第２の実施形態
３−１．第２の実施形態の概要
第２の実施形態では、第１の実施形態と同様にＡＦブラケット撮影を行って、複数枚の記録画像データをマルチページファイルとして記録・保存させる。

更に、第２の実施形態では、デジタルカメラ１が再生モードに切り替えられたときには、このマルチページファイル内の１画像を代表画像として表示する。再生画面（ＬＣＤパネル９）上で操作者が合焦させたい顔領域を選んだときには、マルチページファイル内に書き込んだ合焦度合い判別情報を各記録画像の同じ顔領域間で比較し、最も合焦度の高い記録画像を抽出して、別ファイルとして再度保存しなおす。

第２の実施形態では、以上の処理により、３種の重要機能（顔認識、ＡＦブラケット撮影、画像抽出）を融合した撮影モードを併せ持つ撮像装置を実現できる。

３−２．第２の実施形態の詳細
デジタルカメラ１の動作の他の例（第２の実施形態）を図１０に示すフローチャートに基づいて説明する。尚、第１の実施形態と同じ処理については同じステップ数を付し、説明を省略する。

図１０（ａ）のフローチャートに示すように、各記録画像にて検出された各顔領域の合焦度情報の取得がなされた（Ｓ２０５）後、ｎ枚の記録画像と、各記録画像から検出した顔領域の各記録画像における座標情報（顔領域情報）と各顔領域内の合焦度情報とを各記録画像に対応付けて、マルチページファイルとして１つのファイルに保存する（Ｓ２０９）。

また、図１０（ｂ）のフローチャートに示すように、上記処理の後にデジタルカメラ１を再生モードにすると、記録したマルチページファイルはｎ枚の記録画像のうち１枚を代表画像として再生表示に使用して、ＬＣＤ９に表示する（Ｓ３０１）。

操作者がＬＣＤ９に再生表示された代表画像上で、ピントを合わせたい人物の顔領域を操作ボタン（例えば、十字キーボタン１４）とＯＳＤ（オンスクリーンディスプレイ）を用いて指定すると、制御・演算部１２０はその指定された顔領域（指定顔領域）を検出する（Ｓ３０２：顔指定領域検出処理）。

指定顔領域検出（Ｓ３０２）について、図１１を参照して詳細に説明する。

図１１は、操作者が指定顔領域を選択する際にＬＣＤ９に表示されるユーザインタフェースを示す図である。代表画像がＬＣＤ９に表示される際、顔領域をＯＳＤ枠５１１,５１２で囲んで表示する。複数のＯＳＤ枠のうち、実線で囲われているＯＳＤ枠５１２が、現在指定している顔領域を意味している。

また、非指定のＯＳＤ枠５１１は点線で表示される。操作者はＯＳＤ枠５１１を指定したい場合、十字キーボタン１４を押下することによって、ＯＳＤ枠を切り替えることができる。即ち、操作者は上述した操作によってピントを合わせたい人物についてのＯＳＤ枠表示を実線に切り替えた後、十字キーボタン下方の確定ボタン１３を押下することで、指定顔領域の決定を行うものである。

次に、制御・演算部１２０は、ｎ枚の記録画像の検出された指定顔領域の合焦度情報を比較して（Ｓ３０３）、最も合焦度の高い記録画像を１枚抽出する（Ｓ３０４）。そして制御・演算部１２０は、抽出された抽出画像をＪＰＥＧファイルとして新たに保存し（Ｓ３０５）、処理は終了する。

また、第２の実施形態で説明した処理を図１２のフローチャートに示すように処理を行うようにしても良い。尚、図１０に示したフローチャートにおける処理と同じ処理については、同じステップ数を付し、説明を省略する。

即ち、図１０（ａ）に示すフローチャートにおいては、ｎ枚のＡＦブラケット撮影が行われた（Ｓ２０３）後、各記録画像から顔領域を検出し（Ｓ２０４）、検出した顔領域について合焦度情報を取得しているが（Ｓ２０５）、図１２に示すように、記録画像が撮影されるごと（Ｓ２０３−１）に、顔領域検出（Ｓ２０４）と、検出した顔領域について合焦度情報の取得（Ｓ２０５）とを行い、これらの処理をｎ枚分繰り返す（Ｓ２０３−２）ようにすることも好ましい。

また、第２の実施の形態でも上述のように、ＡＦブラケット撮影前のプレビュー時（ライブビュー動作時）に顔領域内の検出と領域内の距離情報を取得し、ＡＦブラケット撮影を行う焦点位置を決定することで、ピント精度効果を更に向上することが好ましい。

このようにすることで、オートフォーカスのアルゴリズム限界のためにピントを合わせ難いシーンにおいても、顔認識とＡＦブラケット撮影を組み合わせた撮影後に画像を自動抽出することで、撮影者の意図した人物にピントが合った画像を確実に取得することが可能になる。また、撮影画像をＰＣモニタ表示で１枚、１枚、画像のピントを確認しながら選択する手間を省き、カメラ内で簡単に選択することが可能になる。

尚、上述の各実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

本発明に係る撮像装置の一例であるデジタルカメラの外観図を示し、（ａ）は正面図、（ｂ）は上面図、（ｃ）は裏面図を示す。 デジタルカメラの機能ブロック図の一例である。 第１の実施形態におけるデジタルカメラの動作の一例を示すフローチャートである。 顔領域検出処理を説明するための図である。 Ｅｘｉｆのヘッダー部のタグ情報を説明するための図である。 ＤＣＦのディレクトリ定義されるファイルのツリー構造およびマルチページファイルを説明するための図である。 マルチページファイルを説明するための図である。 第１の実施形態におけるデジタルカメラの動作の他の例を示すフローチャートである。 （Ａ）は、被写体として２名の人物が撮像装置から１ｍと２ｍ離れて位置するシーンについて、ライブビュー時におけるＬＣＤパネルに表示された状態を示す図、（Ｂ）は、被写体として２名の人物が撮像装置から１ｍと４ｍ離れて位置するシーンについて、ライブビュー時でのＬＣＤパネルに表示された状態を示す図、（Ｃ）は、（Ａ）に示した場合の、プレビュー状態で山登りスキャンを実施したときの検出枠１内と検出枠２内の被写体高周波成分積算値を示す図、（Ｄ）は、（Ｂ）に示した場合の、プレビュー状態で山登りスキャンを実施したときの検出枠１内と検出枠２内の被写体高周波成分積算値を示す図である。 第２の実施形態におけるデジタルカメラの動作の一例を示すフローチャートである。 顔指定領域検出処理を説明するための図である。 第２の実施形態におけるデジタルカメラの動作の他の例を示すフローチャートである。

符号の説明

１ デジタルカメラ（撮像装置）
５ 撮影光学系
６ 鏡胴ユニット
９ ＬＣＤパネル
１２ メニューボタン
１００ 光学ユニット
１０１ レンズ系
１０２ 絞り・シャッタ
１０３ 光学ローパスフィルタ
１０４ ＣＭＯＳセンサ部
１０５ 光学系駆動部
１１０ 画像処理部
１１１ 被写体周波数情報取得部
１２０ 制御・演算部
１２１ ＲＯＭ
１２２ 操作部
１２４ 圧縮・伸張処理部
１２５ 画像記録Ｉ／Ｆ部
１２６ ＲＡＭ

Claims (7)

1. 撮影指示を受け付ける操作手段と、
   フォーカス機構およびフォーカス変更機構を含む撮影光学系と、
   前記撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、
   前記記録画像データおよび前記表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、
   データを記憶する記憶手段と、
   前記表示用画像データを表示する表示手段と、
   前記操作手段、前記撮影光学系、前記固体撮像素子、前記画像処理手段、前記記憶手段および前記表示手段を制御する制御手段と、を備え、
   前記制御手段は、
   前記操作手段から撮影指示を受け付けると、前記表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して前記撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを前記固体撮像素子から取得し、
   前記複数の記録画像データの各々の記録画像データと、前記画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして前記記憶手段に記憶させ、
   前記合焦度情報のうち最も高い合焦度情報を有する記録画像データを、前記複数の記録画像データから抽出し、前記マルチページファイルとは別のファイルとして前記記憶手段に記憶させる
   ことを特徴とする撮像装置。
2. 撮影指示を受け付ける第１の操作手段と、
   選択編集指示を受け付ける第２の操作手段と、
   フォーカス機構およびフォーカス変更機構を含む撮影光学系と、
   前記撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、
   前記記録画像データおよび前記表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、
   データを記憶する記憶手段と、
   前記表示用画像データを表示する表示手段と、
   前記第１の操作手段、前記第２の操作手段、前記撮影光学系、前記固体撮像素子、前記画像処理手段、前記記憶手段および前記表示手段を制御する制御手段と、を備え、
   前記制御手段は、
   前記第１の操作手段からの撮影指示を受け付けると、前記表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して前記撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを前記固体撮像素子から取得し、
   前記複数の記録画像データの各々の記録画像データと、前記画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして前記記憶手段に記憶させ、
   前記マルチページファイルから、１つの記録画像データと該記録画像データの顔領域情報とを取得して、該記録画像データを顔領域が識別可能な表示とともに前記表示手段に表示し、
   前記第２の操作手段からの顔領域の選択指示を受け付けると、前記マルチページファイルから、該顔領域について最も高い合焦度情報を有する記録画像データを抽出し、該記録画像データを前記マルチページファイルとは別のファイルとして前記記憶手段に記憶させる
   ことを特徴とする撮像装置。
3. 前記マルチページファイルは、前記複数の記録画像データを同一フォルダ内に格納することにより作成されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記マルチページファイルは、前記複数の記録画像データの各記録画像データについて撮影された順に結合することにより作成されることを特徴とする請求項１または２に記載の撮像装置。
5. 前記別のファイルは、前記記憶手段にＪＰＥＧ形式で記憶されることを特徴とする請求項１から４までのいずれかに記載の撮像装置。
6. 撮影指示を受け付ける操作手段と、
   フォーカス機構およびフォーカス変更機構を含む撮影光学系と、
   前記撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、
   前記記録画像データおよび前記表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、
   データを記憶する記憶手段と、
   前記表示用画像データを表示する表示手段と、
   前記操作手段、前記撮影光学系、前記固体撮像素子、前記画像処理手段、前記記憶手段および前記表示手段を制御する制御手段と、を備えた撮像装置の画像処理方法であって、
   前記制御手段は、
   前記操作手段から撮影指示を受け付けると、前記表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して前記撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを前記固体撮像素子から取得する処理と、
   前記複数の記録画像データの各々の記録画像データと、前記画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして前記記憶手段に記憶させる処理と、
   前記合焦度情報のうち最も高い合焦度情報を有する記録画像データを、前記複数の記録画像データから抽出し、前記マルチページファイルとは別のファイルとして前記記憶手段に記憶させる処理
   と、を行うことを特徴とする画像処理方法。
7. 撮影指示を受け付ける第１の操作手段と、
   選択編集指示を受け付ける第２の操作手段と、
   フォーカス機構およびフォーカス変更機構を含む撮影光学系と、
   前記撮影光学系から入射される被写体像を記録画像データおよび表示用画像データに変換する固体撮像素子と、
   前記記録画像データおよび前記表示用画像データから顔領域を検知して顔領域情報を取得する顔領域検知部と、該顔領域検知部で検知された各顔領域について合焦度の度合いを示す合焦度情報を取得する被写体周波数情報取得部とを含む画像処理手段と、
   データを記憶する記憶手段と、
   前記表示用画像データを表示する表示手段と、
   前記第１の操作手段、前記第２の操作手段、前記撮影光学系、前記固体撮像素子、前記画像処理手段、前記記憶手段および前記表示手段を制御する制御手段と、を備えた撮像装置の画像処理方法であって、
   前記制御手段は、
   前記第１の操作手段からの撮影指示を受け付けると、前記表示用画像データの顔領域情報と、合焦度情報とに基づいて、合焦度の度合いがピークとなる付近に偏重して前記撮影光学系のフォーカス位置を変更して、フォーカス位置の異なる複数の記録画像データを前記固体撮像素子から取得する処理と、
   前記複数の記録画像データの各々の記録画像データと、前記画像処理手段にて得られる各々の記録画像データの顔領域情報と、合焦度情報とを単一のマルチページファイルとして前記記憶手段に記憶させる処理と、
   前記マルチページファイルから、１つの記録画像データと該記録画像データの顔領域情報とを取得して、該記録画像データを顔領域が識別可能な表示とともに前記表示手段に表示する処理と、
   前記第２の操作手段からの顔領域の選択指示を受け付けると、前記マルチページファイルから、該顔領域について最も高い合焦度情報を有する記録画像データを抽出し、該記録画像データを前記マルチページファイルとは別のファイルとして前記記憶手段に記憶させる処理
   と、を行うことを特徴とする画像処理方法。