JP4804310B2 - 撮像装置並びに画像復元方法 - Google Patents

Description

本発明は、劣化を含む入力画像から劣化を低減した復元画像を生成するための画像復元装置及び画像復元方法に関する。また、本発明は、それらを利用した撮像装置に関する。

手ぶれ補正技術は、静止画像又は動画像の撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正技術は、手ぶれを検出し、その検出結果を用いて画像を安定化させることで実現される。

静止画像に対する手ぶれ補正技術は、手ぶれ検出方法と画像の補正方法との組み合わせから成る。

手ぶれ検出方法としては、角速度センサ又は角加速度センサなどの手ぶれ検出センサを用いた方法と、画像から手ぶれを検出する方法と、がある。但し、画像解析により１枚の画像から手ぶれを検出する方法は、まだ実用化されていない。このため、通常、手ぶれ検出センサを用いて手ぶれを検出する方式が採用されている。

画像の補正方法としては、レンズ又は撮像素子を駆動制御することにより光学系側で手ぶれを補正する光学式補正方法と、画像処理により手ぶれに由来するぼけを除去する電子式補正方法と、がある。電子式補正方法を採用する場合、光学系に対する駆動機構が必要とならないため、光学式補正方法を採用する場合と比べて、コスト、サイズ及び消費電力の面でメリットがある。

手ぶれに由来するぼけを除去する画像処理は、画像復元処理とも呼ばれる。画像復元の原理自体は公知であり、それを利用した様々な提案もなされている。

例えば、下記特許文献１では、レンズの特性又はぶれによる点広がり関数（Point Spread Function）の逆特性を有する補正関数を用いて、画像を復元している。また例えば、下記特許文献２では、画像データに撮影時の手ぶれ情報を付加しておき、画像データの再生時に、付加された手ぶれ情報に基づいて画像データを補正している。

ところで、一般的に、デジタルスチルカメラ等で撮影を行った場合、画像に含まれる各被写体（人物や背景の山など）の距離は様々に異なる。被写体距離（撮像装置と被写体との間の距離）が異なれば、当然、同じ手ぶれに対する画像上のぶれ量も異なってくる。例えば、撮像装置との距離が近い被写体ほど、ぶれ量は大きい。

このため、特許文献１及び２に記載の技術のように、注目した被写体（例えば人物）の距離に適した画像劣化関数（点広がり関数）を作成し、その画像劣化関数を用いて画像全体に対し復元処理を行うようにすると、注目した被写体以外の被写体（例えば山）が収まる画像領域では、十分な復元効果は得られず、逆に画像が悪化してしまう場合もある。

この点に鑑み、下記特許文献３では、撮影時における被写界の２次元的な距離分布を検出し、被写体距離ごとに異なる点広がり関数を作成して復元処理を行っている。

特開昭６２−１２７９７６号公報 特開２００４−８８５６７号公報 特開２００２−１１２０９９号公報

上記特許文献３に記載の技術によれば、画像全体に収まる各被写体の被写体距離が異なっていても、より適切な復元効果を得ることができるが、被写界の２次元的な距離分布の算出及び被写体距離ごとに異なる点広がり関数の算出が必要となるため、復元処理に要する時間が増大してしまう。画像復元に必要な演算処理量はかなり大きく、画像サイズにも拠るが、１枚の画像に対して復元処理を施すだけでも数秒かかることもある。このため、復元処理に要する時間を削減することは重要である。

上記特許文献３には、復元処理に要する時間を削減すべく、撮影光学系の設定距離から離れている距離ゾーンの画像に対して復元処理を省略する、という提案も開示されている（上記特許文献３の段落６２参照）。しかしながら、上記特許文献３に記載の技術を実現するためには、被写界の２次元的な距離分布の算出が必須となり、煩雑である。従って、より簡素な手法にて、画像復元に関する上記の問題を解決する技術が切望されている。

そこで本発明は、簡素な手法にて、補正処理時間（復元処理時間）の低減に寄与すると共に補正処理による悪影響の低減にも寄与しうる画像復元装置及び画像復元方法を提供することを目的とする。また、本発明は、そのような画像復元装置を備えた撮像装置を提供することも目的とする。

上記目的を達成するために本発明に係る第１の画像復元装置は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元装置において、前記入力画像は、顔領域に合焦するような撮影によって得られ、当該画像復元装置は、前記顔領域についての顔検出情報を記憶する情報記録手段と、前記顔検出情報に基づいて、前記入力画像内を補正領域と非補正領域に分類する補正領域設定手段と、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備えたことを特徴とする。

補正領域と非補正領域の分類がなされ、補正領域に対して補正処理を行うことにより復元画像が生成されるため、補正処理時間の低減が見込める。また例えば、顔検出情報に基づいて顔領域以外の背景部分などを非補正領域に分類することにより、補正による悪影響の低減効果も期待できる。また、撮影に必須の合焦処理の結果を流用して補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

具体的には例えば、第１の画像復元装置において、前記顔検出情報は、前記入力画像内における前記顔領域の位置を特定する情報を含み、前記補正領域設定手段は、前記顔検出情報に基づいて、前記補正領域に前記顔領域を含ませる。

また例えば、第１の画像復元装置において、前記顔検出情報は、前記入力画像内における前記顔領域の位置を特定する情報を含み、前記補正領域設定手段は、前記顔領域が複数個ある場合、前記顔検出情報に基づいて、その複数の顔領域の内の１又は２以上の顔領域を前記補正領域に含ませる。

そして例えば、第１の画像復元装置において、前記顔検出情報は、前記入力画像内における前記顔領域のサイズを特定する情報を含み、前記補正処理手段は、前記補正領域に含まれる顔領域が複数個ある場合、前記サイズを特定する情報に基づいて前記補正領域に含まれる各顔領域に対する補正強度を設定し、その補正強度に従って前記補正処理を行うことにより前記復元画像を生成する。

これにより、補正による悪影響の更なる低減効果が期待される。

また、上記目的を達成するために本発明に係る第２の画像復元装置は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元装置において、前記入力画像内に定義された複数の部分領域に対応するコントラスト情報を記憶する情報記録手段と、 前記コントラスト情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定手段と、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備えたことを特徴とする。

補正領域と非補正領域の分類がなされ、補正領域に対して補正処理を行うことにより復元画像が生成されるため、補正処理時間の低減が見込める。また例えば、コントラスト情報に基づいてコントラストが比較的低くなる背景部分などを非補正領域に分類することにより、補正による悪影響の低減効果も期待できる。また、簡便なコントラスト検出の結果を用いて補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

また例えば、第２の画像復元装置において、前記補正処理手段は、前記コントラスト情報に基づいて前記補正領域に含まれる各部分領域に対する補正強度を設定し、その補正強度に従って前記補正処理を行うことにより前記復元画像を生成する。

これにより、補正による悪影響の更なる低減効果が期待される。

また、上記目的を達成するために本発明に係る第３の画像復元装置は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元装置において、前記入力画像は、前記入力画像内の複数の部分領域に対応する複数の測距エリアに対する測距評価を介した撮影によって得られ、当該画像復元装置は、各測距エリアにおけるエッジ成分又はコントラストに応じた評価値情報を含む測距情報を記憶する情報記録手段と、前記測距情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定手段と、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備えたことを特徴とする。

補正領域と非補正領域の分類がなされ、補正領域に対して補正処理を行うことにより復元画像が生成されるため、補正処理時間の低減が見込める。また例えば、測距情報に基づいて被写体距離の遠い背景部分などを非補正領域に分類することにより、補正による悪影響の低減効果も期待できる。また、撮影に必須の合焦処理（測距評価）の結果を流用して補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

また、上記目的を達成するために本発明に係る第４の画像復元装置は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元装置において、前記入力画像は、前記入力画像内の複数の部分領域に対応する複数の測距エリアに対する測距評価を介した撮影によって得られ、当該画像復元装置は、前記複数の測距エリアについての測距情報を記憶する情報記録手段と、前記測距情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定手段と、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備え、前記補正処理手段は、前記測距情報に基づいて前記補正領域に含まれる各部分領域に対する補正強度を設定し、その補正強度に従って前記補正処理を行うことにより前記復元画像を生成することを特徴とする。

これによっても、第３の画像復元装置と同様の効果が見込める。更に、補正強度を設定することで、補正による悪影響の更なる低減効果が期待される。

そして、上記目的を達成するために本発明に係る撮像装置は、上記の何れかに記載の画像復元装置と、撮影によって前記入力画像を得る撮像手段と、を備えたことを特徴とする。

また、上記目的を達成するために本発明に係る第１の画像復元方法は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、前記入力画像は、顔領域に合焦するような撮影によって得られ、当該画像復元方法は、前記顔領域についての顔検出情報に基づいて、前記入力画像内を補正領域と非補正領域に分類する補正領域設定ステップと、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備えたことを特徴とする。

また、上記目的を達成するために本発明に係る第２の画像復元方法は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、前記入力画像内に定義された複数の部分領域に対応するコントラスト情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定ステップと、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備えたことを特徴とする。

また、上記目的を達成するために本発明に係る第３の画像復元方法は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、前記入力画像は、前記入力画像内の複数の部分領域に対応する複数の測距エリアに対する測距評価を介した撮影によって得られ、当該画像復元方法は、各測距エリアにおけるエッジ成分又はコントラストに応じた評価値情報を含む測距情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定ステップと、前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備えたことを特徴とする。

また、上記目的を達成するために本発明に係る第４の画像復元方法は、撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、前記入力画像は、前記入力画像内の複数の部分領域に対応する複数の測距エリアに対する測距評価を介した撮影によって得られ、当該画像復元方法は、前記複数の測距エリアについての測距情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定ステップと、 前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備え、前記補正処理ステップでは、前記測距情報に基づいて前記補正領域に含まれる各部分領域に対する補正強度を設定し、その補正強度に従って前記補正処理を行うことにより前記復元画像を生成することを特徴とする。

本発明によれば、簡素な手法にて、補正処理時間（復元処理時間）の低減及び補正処理による悪影響の低減が期待できる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発 明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後述する各実施形態にて撮像装置の構成及び動作を説明するが、各実施形態において単に撮像装置と言った場合、それは、本発明の実施の形態に係る撮像装置を意味する。撮像装置は、静止画像を撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。

以下に、本発明の第１〜第８実施形態を説明するが、或る実施形態にて述べた事項は、矛盾なき限り、他の実施形態にも適用される。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態に係る撮像装置について説明する。図１は、第１実施形態に係る撮像装置の全体的構成のブロック図である。

第１実施形態に係る撮像装置は、主制御部１１、操作部１２、撮像部１４、手ぶれ検出部１５、手ぶれ信号／動きベクトル変換処理部１６、記録媒体１７、顔検出部１９、動きベクトル／画像劣化関数変換処理部２１、画像劣化関数／補正フィルタ変換処理部２２、補正領域設定部２３及び補正処理部２４、を有して構成される。

記録媒体１７は、メモリカード等の不揮発性メモリ、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性メモリ、又は、それらの組み合わせである。記録媒体１７は、画像データを含む情報を画像ファイル１８として記憶する。画像ファイル１８に格納される内容については後述する。

尚、図１には、符号１８が付された画像ファイルと、符号が付されていない画像ファイルとが示されているが、両者は同じものである（図示の便宜上、このように示した）。主として撮影時に機能する部位が図１の上方に配置され、主として補正時に機能する部位が図１の下方に配置されている。

主制御部１１は、撮像装置内の各部位の動作を統括的に制御する。操作部１２は、ユーザによる操作を受け付ける。操作部１２に与えられた操作内容は、主制御部１１に伝達される。操作部１２は、シャッタボタン１３を備える。シャッタボタン１３は、外力の印加により２段階に押下される。シャッタボタン１３を押し下げるための外力を加えると、まず、シャッタボタン１３が半分だけ押し下げられた状態となる。この状態を、半押し（ファーストレリーズ）という。この状態から更にシャッタボタン１３を押し下げると、シャッタボタン１３が完全に押し下げられた状態となる。この状態を、全押し（セカンドレリーズ）という。

［原画像データの生成］
まず、撮影時に関与する部分について説明する。

図２に、撮像部１４の内部構成図を示す。撮像部１４は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１１からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の移動を制御することによって、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、主制御部１１からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。

被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号を出力する。この電気信号は、増幅処理、デジタル信号への変換及び必要な映像信号処理を介して、画像データに変換される。この画像データは、撮像部１４の撮影によって得られた画像を表す。

撮像部１４は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行うが、シャッタボタン１３が押下された際（全押しされた際）、合焦処理を経た後の１枚の撮影画像を表す画像データを、画像ファイル１８に格納する。

この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に補正される。このため、以下、撮影時に画像ファイル１８に格納される画像データを原画像データと呼び、原画像データにて表される撮影画像を原画像とよぶ。また、画像ファイル１８に格納されるか否かに関わらず、撮像部１４の撮影によって得られる画像を撮影画像と呼ぶ。

［動きベクトルの生成］
手ぶれ検出部１５は、図３に示す如く、角速度センサ１５ａ及び１５ｂから成る。角速度センサ１５ａは、撮像装置のパン方向（水平方向）の角速度を検出し、角速度センサ１５ｂは、撮像装置のチルト方向（垂直方向）の角速度を検出する。パン方向とチルト方向は、互いに直交し、且つ、光軸にも直交する。パン方向は画像の水平方向に対応し、チルト方向は画像の垂直方向に対応する。

角速度センサ１５ａは、原画像の撮影開始から撮影終了時点まで、即ち、原画像を撮影するための露光期間中、所定のサンプリング周期（１周期の長さをｄｔで表す）にてパン方向の角速度を計測して、その計測した角速度を表す角速度データを出力する。角速度センサ１５ｂは、同じ露光期間中、所定のサンプリング間隔ｄｔにてチルト方向の角速度を計測し、その計測した角速度を表す角速度データを出力する。

角速度センサ１５ａが出力する角速度データによって表されるパン方向の角速度をθ_x’にて表し、１つのサンプリング周期ｄｔにおけるパン方向の回転角をθ_x（単位は［度］）にて表す。そして、このサンプリング周期ｄｔの間、角速度一定で撮像装置が回転すると仮定すると、下記式（１ａ）が成立する。ここで、ｆは、サンプリング周波数であって、ｆ＝１／ｄｔ（単位は［Ｈｚ］）が成立する。また、角速度センサ１５ｂが出力する角速度データによって表されるチルト方向の角速度をθ_y’にて表すと共に、１つのサンプリング周期ｄｔにおけるチルト方向の回転角をθ_y（単位は［度］）にて表し、同様に考えると、下記式（１ｂ）が成立する。
θ_x＝θ_x’／ｆ ・・・（１ａ）
θ_y＝θ_y’／ｆ ・・・（１ｂ）

ｒ（単位は［ｍｍ］（ミリメートル））を３５ｍｍフィルム換算時における焦点距離とすると、下記式（２ａ）及び（２ｂ）に示す如く、回転角θ_xによる画像上の水平方向の移動量ｄ_x及び回転角θ_yによる画像上の垂直方向の移動量ｄ_yが求まる。
ｄ_x＝ｒ・ｔａｎθ_x ・・・（２ａ）
ｄ_y＝ｒ・ｔａｎθ_y ・・・（２ｂ）

ｄ_x及びｄ_yは、夫々、３５ｍｍフィルム換算時におけるパン方向（水平方向）及びチルト方向（垂直方向）の手ぶれの大きさを表し、それらの単位は［ｍｍ］である。３５ｍｍフィルム換算時では、画像の横及び縦は３６［ｍｍ］及び２４［ｍｍ］と定まっている。従って、原画像の横の画素数及び縦の画素数を、夫々Ｘ及びＹとし、回転角θ_xによる水平方向のぶれ量をｘ［画素］、回転角θ_yによる垂直方向のぶれ量をｙ［画素］にて表すと、下記式（３ａ）及び（３ｂ）が成立する。
ｘ＝ｄ_x・（Ｘ／３６）＝ｒ・ｔａｎθ_x・（Ｘ／３６）
＝ｒ・ｔａｎ（θ_x’／ｆ）・（Ｘ／３６） ・・・（３ａ）
ｙ＝ｄ_y・（Ｙ／２４）＝ｒ・ｔａｎθ_y・（Ｙ／２４）
＝ｒ・ｔａｎ（θ_y’／ｆ）・（Ｙ／２４） ・・・（３ｂ）

式（３ａ）及び（３ｂ）を用いることにより、角速度データを、画像のぶれを表す動きベクトルに変換することができる。動きベクトルは、画像の動きをベクトルとして表現した二次元量であり、１つの動きベクトルの水平成分及び垂直成分は夫々ｘ及びｙで表される。

原画像の露光期間中にサンプリングされる角速度データの数だけ、原画像についての動きベクトルが得られ、得られた動きベクトルの始点と終点を順番に結んでいくことで、画像上の手ぶれの軌跡が得られる。また、動きベクトルの大きさは、その動きベクトルに対応するサンプリング時点における手ぶれの速度を表す。

角速度センサ１５ａ及び１５ｂが出力する角速度データは、手ぶれ信号として、手ぶれ信号／動きベクトル変換処理部１６（以下、変換処理部１６と略記する）に送られる。変換処理部１６は、与えられた手ぶれ信号と焦点距離から、上述の如く、動きベクトルを生成する。この際、変換処理部１６は、手ぶれ信号と焦点距離以外の、動きベクトルを生成するために必要な情報（Ｘなど）を、既知の情報として参照する。原画像の露光期間中における動きベクトル、即ち、原画像の撮影中における動きベクトルは、原画像データと関連付けられつつ画像ファイル１８に格納される。

［顔検出情報の生成］
第１実施形態では、顔検出部１９を利用し、撮影時の合焦（フォーカシング）処理に顔検出方式を用いる。この顔検出方式について説明する。

顔検出部１９は、シャッタボタン１３が半押しされた後、撮影画像（又は撮影画像に基づく画像）内から人物の顔を探索し、探索によって顔が検出された場合、その顔の全部又は一部を含む矩形領域を顔検出エリア（顔領域）として抽出する。

画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部１９は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように撮影画像から肌色領域を抽出することによって顔（顔検出エリア）を検出しても良いし、撮影画像内に定義した注目領域内の画像と予め記憶された基準顔画像との対比に基づいて、顔（顔検出エリア）を検出しても良い。また例えば、特開２００６−２１１１３９号公報や特開２００６−７２７７０号公報に記載の手法を用いて顔（顔検出エリア）を検出しても良い。

今、図４（ａ）に示す如く、２つの顔検出エリアＡＲ_F1及びＡＲ_F2が抽出されたとする。図４（ａ）において、符号１００は、顔検出エリアの抽出元の合焦処理用画像を表す。合焦処理用画像１００は、シャッタボタン１３が半押しされた後に得られる撮像画像そのもの、又は、その撮影画像の間引き画像である。

（ｒ１，ｃ１）及び（ｒ２，ｃ２）は、それぞれ、合焦処理用画像１００における顔検出エリアＡＲ_F1及びＡＲ_F2の配置位置を表す。或る顔検出エリアに関し、配置位置は、その顔検出エリアを形成する矩形領域の４つの角の内の、１つの角の座標位置（合焦処理用画像１００上の座標位置）で表される。ｈ１及びｗ１は、夫々、合焦処理用画像１００における顔検出エリアＡＲ_F1の高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表し、ｈ２及びｗ２は、夫々、合焦処理用画像１００における顔検出エリアＡＲ_F2の高さ及び幅を表す。或る顔検出エリアの高さと幅の積は、その顔検出エリアのサイズを表す。

複数の顔検出エリアが抽出された場合は、画像上におけるサイズが最も大きい顔検出エリアが代表顔検出エリアとされる。顔検出エリアが１つしか抽出されなかった場合は、抽出された１つの顔検出エリアが代表顔検出エリアとされる。そして、代表顔検出エリア内の画像に合焦するようにピント合わせを行う。つまり、代表顔検出エリアに対応する光学像が撮像素子３３上に結像するように、フォーカスレンズ３１の位置を制御する。

より具体的には、顔検出部１９は、シャッタボタン１３が半押しされた後、代表顔検出エリア内の画像を評価画像とし、評価画像内のエッジ成分の積算値を顔合焦評価値として算出する。エッジ成分は、例えば、評価画像内の隣接する画素間における輝度値の差分の絶対値である（輝度値は、輝度信号の値である）。このような顔合焦評価値を、フォーカスレンズ３１の位置を異ならせて複数算出する。そして、複数のフォーカスレンズ３１の位置について算出された複数の顔合焦評価値の内の、最大の顔合焦評価値に対応するフォーカスレンズ３１の位置を合焦レンズ位置として特定する。

また、いわゆるアクティブ方式を採用して合焦レンズ位置を求めるようにしてもよい。例えば、光や超音波を被写体に照射することによって代表顔検出エリアに対応する被写体距離（撮像装置と被写体との距離）を測定し、これによって、代表顔検出エリアに対応する被写体にピントが合う合焦レンズ位置を求めるようにしてもよい。

合焦レンズ位置が定まれば、自動的に撮像部１４の光学系３５の焦点距離は定まる。顔検出部１９は、定まった焦点距離を変換処理部１６に伝達する。

また、顔検出部１９は、図５（ａ）に示されるような、合焦処理用画像１００上の顔検出エリアＡＲ_F1及びＡＲ_F2の位置及びサイズを特定する顔検出情報を作成する。顔検出情報は、各顔検出エリアについての配置位置（ｒ１，ｃ１）及び（ｒ２，ｃ２）と高さ及び幅（ｈ１，ｗ１）及び（ｈ２，ｗ２）を含む。シャッタボタン１３が半押しされた後に全押しされると、フォーカスレンズ３１の位置を合焦レンズ位置に配置した状態で原画像が撮影され、作成された顔検出情報は、原画像データに関連付けられつつ画像ファイル１８に格納される。

顔検出情報は、原画像に含まれるであろう各顔検出エリアの位置及びサイズを特定することになる。合焦処理を開始してから実際に原画像を撮影するまでの間に、構図等を含む撮影に関する条件が何ら変わらなければ、合焦処理用画像１００と原画像は等価と考えることができる（但し、両画像間の画像サイズが異なる場合、その相違に由来する両画像間の相違は無視する）。

［補正時］
次に、補正時に関与する部分について説明する。画像ファイル１８が作成された後、操作部１２に対して所定の操作を行うと、或いは、自動的に、画像ファイル１８内に格納された原画像データから補正画像データを生成する画像復元処理が実行される。補正画像データは、原画像に含まれる画像のぶれが除去或いは低減された補正画像（復元画像）を表す。原画像に含まれる画像のぶれは、画像ファイル１８に格納された動きベクトルによって特定することができる。

動きベクトル／画像劣化関数変換処理部２１（以下、「変換処理部２１」という）は、画像ファイル１８に格納された動きベクトルから画像劣化関数を作成する。画像劣化関数／補正フィルタ変換処理部２２（以下、「変換処理部２２」という）は、この画像劣化関数から、原画像を補正するための補正フィルタ（画像復元フィルタ）を作成する。画像劣化関数及び補正フィルタを作成する手法として、公知の何れの手法をも採用可能である。尚、後述の第８実施形態において、画像劣化関数及び補正フィルタを作成する手法を例示する。

補正領域設定部２３は、画像ファイル１８に格納された顔検出情報に基づき、原画像内に、矩形領域である１又は２以上の部分領域を定義する。部分領域の個数は、図４（ａ）の合焦処理用画像１００から抽出された顔検出エリアの個数と等しい。従って、今の例の場合、２つの部分領域が定義される。図４（ｂ）に、原画像内に定義された部分領域Ｐ_F1及びＰ_F2を示す。図４（ｂ）において、符号１０１は、画像ファイル１８に格納された原画像を表す。また、図５（ｂ）に、部分領域Ｐ_F1及びＰ_F2の位置及びサイズを定める部分領域情報を示す。

（Ｒ１，Ｃ１）及び（Ｒ２，Ｃ２）は、それぞれ、原画像における部分領域Ｐ_F1及びＰ_F2の配置位置を表す。或る部分領域に関し、配置位置は、その部分領域を形成する矩形領域の４つの角の内の、１つの角の座標位置（原画像上の座標位置）で表される。Ｈ１及びＷ１は、夫々、原画像における部分領域Ｐ_F1の高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表し、Ｈ２及びＷ２は、夫々、原画像における部分領域Ｐ_F2の高さ及び幅を表す。或る部分領域の高さと幅の積は、その部分領域のサイズを表す。

部分領域Ｐ_F1及びＰ_F2は、それぞれ顔検出エリアＡＲ_F1及びＡＲ_F2に対応しており、図４（ａ）の合焦処理用画像１００と図４（ｂ）の原画像１０１の画像サイズが同じであれば（水平方向及び垂直方向の画素数が同じであれば）、ｒｉ＝Ｒｉ、ｃｉ＝Ｃｉ、ｈｉ＝Ｈｉ、ｗｉ＝Ｗｉ、となる（ｉは、１又は２）。

そして、補正領域設定部２３は、顔検出情報に基づき、原画像内を補正領域と非補正領域に分類する。第１実施形態では、原画像内に定義された全ての部分領域が補正領域に分類され、部分領域以外の領域は非補正領域に分類される。

補正領域に分類された各部分領域の位置及びサイズを特定する情報は、補正領域情報として補正処理部２４に与えられる。図５（ｃ）に、この補正領域情報を示す。補正領域情報には、顔検出エリアＡＲ_Fiに対応する部分領域の開始座標（Ｒｉ，Ｃｉ）と終了座標（Ｒｉ＋Ｈｉ，Ｃｉ＋Ｗｉ）が含まれる（ｉは、１又は２）。

図１の補正処理部２４は、画像ファイル１８から原画像データを読み出し、補正領域設定部２３にて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づいて、補正画像データを生成する。

図６は、補正処理部２４の内部ブロック図である。補正処理部２４は、フィルタリング部４１及びリンギング除去部４２を備える。

フィルタリング部４１は、原画像データに対して、補正フィルタを用いたフィルタリング処理を施すことによってフィルタリング画像を生成する。この際、補正領域情報に従って、補正領域に対してのみフィルタリング処理を施し、非補正領域に対してはフィルタリング処理を施さないようにする。フィルタリング画像は、原画像の補正領域内の画像のぶれが除去或いは低減された画像となる。

フィルタリング処理によって、フィルタリング画像にはリンギングが含まれうる。そこで、リンギング除去部４２では、このリンギングを除去或いは低減するためのリンギング除去処理を行う。

リンギング除去処理の原理を、図７を用いて説明する。図７では、説明の簡略化上、フィルタリング処理の対象となる画像として１次元画像を考える。図７において、符号１１１は、撮影時のぶれが全くなかったと仮定した場合に得られる理想画像（理想画像の画像データ）を表す。符合１１２は、理想画像１１１にぶれを含ませたぶれ画像（ぶれ画像の画像データ）を表す。符合１１３は、ぶれ画像１１２にフィルタリング処理を施すことによって得られるフィルタリング画像（フィルタリング画像の画像データ）を表す。符合１１４は、ぶれ画像１１２の画像データのエッジ強度を表す。符合１１５は、エッジ強度１１４に基づき、ぶれ画像１１２とフィルタリング画像１１３を加重平均処理することによって得られるリンギング除去後の画像（該画像の画像データ）を表す。

ぶれ画像１１２をフィルタリング処理して得られるフィルタリング画像１１３において、画像のエッジ部の周辺に波状の劣化が表れる。この劣化がリンギングであり、これは、エッジ強調処理等を行った場合に生じる、エッジ部前後のオーバーシュート或いはアンダーシュートと類似する現象である。一方において、ぶれ画像１１２のエッジ強度１１４は、ぶれ画像１１２のエッジ部で大きな値をとり、エッジ部から少し離れると急速に小さくなる。この特性に鑑み、リンギングが除去されるようにぶれ画像１１２とフィルタリング画像１１３の加重平均処理を行う。即ち、エッジ強度１１４が比較的大きい画像部分に対してはフィルタリング画像１１３が多く混合され、エッジ強度１１４が比較的小さい画像部分に対してはぶれ画像１１２が多く混合されるように、両画像を加重平均することによってリンギングを除去する。

実際には、リンギング除去部４２は、エッジ強度検出部４３、加重平均係数算出部４４及び加重平均部４５から成り、フィルタリング部４１にて生成されたフィルタリング画像のリンギングを除去するためのリンギング除去処理を行う。このリンギング除去処理は、原画像のエッジ強度に応じて原画像とフィルタリング画像を加重平均することにより実現される。

エッジ強度検出部４３は、原画像の各画素についてのエッジ強度を求める。エッジ強度の求め方を例示する。例えば、原画像の各画素を注目画素とし、注目画素を中心とする３×３の領域を想定する。そして、上記の３×３の領域内の各画素の画素値を、図８に示す如く、ｖ１１、ｖ１２、ｖ１３、ｖ２１、ｖ２２、ｖ２３、ｖ３１、ｖ３２、ｖ３３とする。注目画素の画素値はｖ２２であり、注目画素の左上、上、右上、左、右、左下、下、右下に位置する画素の画素値は、夫々、ｖ１１、ｖ１２、ｖ１３、ｖ２１、ｖ２３、ｖ３１、ｖ３２、ｖ３３である。画素値は、例えば輝度値である。

そして、注目画素の水平エッジ成分ｄｈと垂直エッジ成分ｄｖを、図９（ａ）に示す水平エッジ抽出オペレータと図９（ｂ）に示す垂直エッジ抽出オペレータとを用いて算出する。即ち、水平エッジ成分ｄｈと垂直エッジ成分ｄｖは、下記式（４ａ）及び（４ｂ）に従って算出される。
ｄｈ＝ｖ１１＋ｖ１２＋ｖ１３−ｖ３１−ｖ３２−ｖ３３ ・・・（４ａ）
ｄｈ＝ｖ１１＋ｖ２１＋ｖ３１−ｖ１３−ｖ２３−ｖ３３ ・・・（４ｂ）

注目画素のエッジ強度は、｛ｄｈ×ｄｈ＋ｄｖ×ｄｖ｝の平方根、或いは、ｄｈの絶対値とｄｖの絶対値の和、とされる。

加重平均係数算出部４４は、エッジ強度をフィルタリング画像の混合比率を表す加重平均係数に変換する。加重平均係数は、画素ごとに算出される。或る画素について算出されたエッジ強度をＥとした場合、その画素についての加重平均係数αは、下記式（５ａ）、（５ｂ）及び（５ｃ）によって表される。ここで、ＴＨ_L及びＴＨ_Hは、予め設定された閾値であり、ＴＨ_L＜ＴＨ_H、が成立する。
α＝０ （但し、Ｅ≦ＴＨ_L） ・・・（５ａ）
α＝（Ｅ−ＴＨ_L）／（ＴＨ_H−ＴＨ_L） （但し、ＴＨ_L＜Ｅ＜ＴＨ_H）・・・（５ｂ）
α＝１ （但し、Ｅ≧ＴＨ_H） ・・・（５ｃ）

即ち、図１０に示すごとく、或る画素に関し、Ｅ≦ＴＨ_Lであればαは０とされ、ＴＨ_L＜Ｅ＜ＴＨ_HであればαはＥの増加に従って増大し、Ｅ≧ＴＨ_Hであればαは１とされる。

加重平均部４５は、原画像データとフィルタリング部４１から与えられるフィルタリング画像を表すフィルタリング画像データとを、加重平均係数αを用いて加重平均することにより、補正画像を表す補正画像データを作成する。具体的には、補正画像を形成する画素ごとに、下記式（６）に従って加重平均処理を施すことにより、補正画像の各画素の画素値を算出する。
Ｐｓ＝α×Ｐｆ＋（１−α）×Ｐｂ ・・・（６）

ここで、Ｐｓは補正画像の画素値、Ｐｆはフィルタリング画像の画素値、Ｐｂは原画像の画素値を表す。原画像のエッジ強度が大きい画素ほど、フィルタリング画像が多く混合されることになる。

人物の顔は主要な被写体となることが多く、画像内における人物の顔のぶれが低減されれば、実質的な問題は少ない。また、顔検出方式は、例えば、ユーザの操作によって選択されたポートレート撮影モードなどで採用される。このため、特に、顔検出方式で合焦処理を行う場合においては、人物の顔のぶれが低減されれば十分と言える。そこで、本実施形態の如く、顔検出エリアに対応する部分領域のみを補正領域とし、その他の領域を非補正領域とする。これにより、補正処理時間の短縮効果が得られる。また、人物の顔との距離が遠い背景画像などは非補正領域となるため、その背景画像に補正処理が施されることによって背景画像に悪影響が生じることもない。また、撮影に必須の合焦処理の結果を流用して補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

尚、本実施形態では、顔検出エリアに対応する部分領域の全てを補正領域としたが、顔検出エリアのサイズ（即ち、部分領域のサイズ）を考慮して、補正領域と非補正領域の分類を行うようにしてもよい。例えば、或る顔検出エリアのサイズが、代表顔検出エリアのサイズから所定の閾値サイズを差し引いたサイズよりも小さい場合は、その顔検出エリアに対応する部分領域を補正領域とせず、非補正領域に分類するようにしてもよい。代表顔検出エリアに比べて随分小さいサイズの顔検出エリアの被写体距離（撮像装置と被写体との距離）は、代表顔検出エリアのそれよりも随分遠い。このような顔検出エリアに対して、補正フィルタを用いた補正処理を施しても、補正効果が小さいからであり、また、補正によって逆に悪影響が生じる場合もあるからである。

＜＜第２実施形態＞＞
このような顔検出エリアのサイズを考慮した構成例を、本発明の第２実施形態として更に説明する。図１１に、第２実施形態に係る撮像装置の全体的構成のブロック図を示す。第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置（図１）と類似している。但し、第１実施形態の撮像装置が補正領域設定部２３及び補正処理部２４を備えているのに対し、第２実施形態の撮像装置は、それらの代わりに補正領域設定部２３ａ及び補正処理部２４ａを備えている。この点を除いて、第１と第２実施形態に係る撮像装置は同様であり、同様の部分の重複する説明を原則として省略する。

以下、補正領域設定部２３ａ及び補正処理部２４ａについて説明する。第１実施形態の説明文中の記載は、矛盾なき限り、第２実施形態の説明に対しても適用される。

補正領域設定部２３ａは、図１の補正領域設定部２３と同様の機能を備える。即ち、画像ファイル１８に格納された、図５（ａ）に示すような顔検出情報に基づき、顔検出エリアに対応する部分領域（図４（ｂ）及び図５（ｂ）参照）を定義すると共に原画像内を補正領域と非補正領域とに分類する。但し、第２実施形態では、原画像内に定義された全ての部分領域が補正領域に分類されるとは限らない。

より具体的に説明する。補正領域設定部２３ａは、画像ファイル１８に格納された顔検出情報に基づいて、原画像内の各顔検出エリアに対応する部分領域での補正強度を設定する。今、説明の具体化のため、第１実施形態と同様、原画像内に部分領域Ｐ_F1及びＰ_F2が定義された場合を考える。そして、部分領域Ｐ_F1が代表顔検出エリアであったとする。

補正領域設定部２３ａは、代表顔検出エリアに対応する部分領域についての補正強度を１とし、その他の顔検出エリアに対応する部分領域については、そのサイズに応じた補正強度を設定する。今の例の場合、部分領域Ｐ_F1に対する補正強度は１とされる。部分領域Ｐ_F2に対する補正強度は、０以上１以下とされる。図１２に示す如く、部分領域Ｐ_F2のサイズが所定の下限サイズ以下である場合は部分領域Ｐ_F2に対する補正強度は０とされ、部分領域Ｐ_F2のサイズが該下限サイズより大きい場合は、部分領域Ｐ_F2のサイズの増大に伴って部分領域Ｐ_F2に対する補正強度を増大させる（例えば、そのサイズに比例して該補正強度を増大させる）。他に部分領域がある場合も同様である。

このように、顔検出エリアに対応して定義された部分領域であっても、そのサイズが下限サイズ以下である場合は補正強度が０とされ、結果として、その部分領域は非補正領域に分類される。また、部分領域以外の領域も、補正強度が０とされて非補正領域に分類される。０より大きな補正強度が設定された部分領域のみが補正領域に分類される。

補正領域設定部２３ａは、補正領域に分類された各部分領域の位置及びサイズ並びに補正領域に分類された各部分領域に対する補正強度を特定する補正領域情報を、補正処理部２４ａに伝達する。部分領域Ｐ_F2が補正領域に分類された場合、補正処理部２４ａに伝達される補正領域情報は、図２６（ａ）のようになる。この補正領域情報は、図５（ｃ）に示す補正領域情報に補正強度に関する情報を付加したものに相当する。

補正処理部２４ａは、画像ファイル１８から原画像データを読み出し、補正領域設定部２３ａにて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づいて、補正画像データを生成する。

図１３は、補正処理部２４ａの内部ブロック図である。補正処理部２４ａは、フィルタリング部４１及びリンギング除去部４２ａを備える。補正処理部２４ａにおけるフィルタリング部４１は、図６の補正処理部２４におけるそれと同じものである。

リンギング除去部４２ａは、エッジ強度検出部４３、加重平均係数算出部４４ａ及び加重平均部４５から成り、フィルタリング部４１にて生成されたフィルタリング画像のリンギングを除去するためのリンギング除去処理を行う。リンギング除去部４２ａにおけるエッジ強度検出部４３及び加重平均部４５は、図６のリンギング除去部４２におけるそれらと同じものである。

図６の補正処理部２４と図１３の補正処理部２４ａとの相違点に対応する、加重平均係数算出部４４ａについて説明する。

加重平均係数算出部４４ａは、エッジ強度検出部４３にて求められたエッジ強度を、フィルタリング画像の混合比率を表す加重平均係数に変換する。加重平均係数は、画素ごとに算出される。或る画素について算出されたエッジ強度をＥとした場合、その画素についての加重平均係数αは、第１実施形態と同様、上記式（５ａ）、（５ｂ）及び（５ｃ）によって表される。但し、この際、閾値ＴＨ_L及びＴＨ_Hは、補正領域情報に含まれる補正強度に基づいて可変設定される。

具体的には、補正強度が低い部分領域に対してほど、閾値ＴＨ_L及びＴＨ_Hのどちらか一方又は双方を大きくする。閾値ＴＨ_L及びＴＨ_Hのどちらか一方又は双方を大きくすれば、エッジ強度Ｅが同じでも加重平均係数αの値が小さくなって、フィルタリング画像の混合比率が小さくなる（図１０参照）。即ち、補正フィルタによる補正効果（補正強度）が弱まる。また、補正強度が０に設定されている領域（即ち、非補正領域）に対しては、閾値ＴＨ_L及びＴＨ_Hを十分に大きくすることで、加重平均係数を０とする。

加重平均係数算出部４４ａにて各画素ごとに算出された加重平均係数αは、加重平均部４５に伝達される。加重平均部４５は、第１実施形態と同様、この加重平均係数αを参照して補正画像データを作成する。

代表顔検出エリアに比べてサイズが小さい顔検出エリアの被写体距離（撮像装置と被写体との距離）は、代表顔検出エリアのそれよりも遠い。このような顔検出エリアに対して、補正フィルタを用いた補正処理を施しても、補正効果が比較的小さく、また、補正によって逆に悪影響が生じる場合もある。そして、このような悪影響は、顔検出エリアのサイズが小さくなるにつれて生じやすくなる。これを考慮し、本実施形態の如く処理する。これにより、この悪影響が低減される。勿論、本実施形態でも、第１実施形態と同様の効果が得られる。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。図１４は、第３実施形態に係る撮像装置の全体的構成のブロック図である。第３実施形態に係る撮像装置は、第１実施形態に係る撮像装置（図１）と類似している。但し、第３実施形態に係る撮像装置は、図１の顔検出部１９及び補正領域設定部２３を備えておらず、その代わりに、測距部５１、コントラスト情報算出部５２及び補正領域設定部２３ｂを備えている。この点を除いて、第１と第３実施形態に係る撮像装置は同様であり、同様の部分の重複する説明を原則として省略する。

但し、上記の相違点に由来して、画像ファイル１８に格納される情報が、第１と第３実施形態間で異なる。詳細は、第３実施形態の説明の中で述べる。以下、第１実施形態との相違点に着目して説明を行う。

［撮影時］
測距部５１は、合焦処理を行って、求めた焦点距離を変換処理部（手ぶれ信号／動きベクトル変換処理部）１６に伝達する。

具体的には例えば、測距部５１は、撮影画像内に定義した所定領域内のコントラスト量を評価し、そのコントラスト量が最大となるようなフォーカスレンズ３１の位置を求めて、その位置を合焦レンズ位置として特定する。或いは、後述の第５実施形態で説明する複数エリア測距方式を用いて合焦レンズ位置を求める。また、いわゆるアクティブ方式を採用するようにしてもよい。例えば、光や超音波を被写体に照射することによって被写体距離を測定し、これによって合焦レンズ位置を求めるようにしてもよい。

合焦レンズ位置が定まれば、自動的に撮像部１４の光学系３５の焦点距離は定まる。測距部５１は、定まった焦点距離を変換処理部１６に伝達する。変換処理部１６は、手ぶれ信号と焦点距離から動きベクトルを算出する。

シャッタボタン１３が押下されると（全押しされると）、第１実施形態と同様、合焦処理を経てフォーカスレンズ３１が合焦レンズ位置に配置された状態で原画像が撮影され、原画像を表す原画像データは画像ファイル１８に格納される。また、第１実施形態と同様、原画像の露光期間中における動きベクトル、即ち、原画像の撮影中における動きベクトルは、原画像データと関連付けられつつ画像ファイル１８に格納される。

コントラスト情報算出部５２は、撮影画像に基づくコントラスト検出用画像を複数のコントラスト検出エリアに分割し、各コントラスト検出エリアのコントラスト値を算出すると共に、それを含むコントラスト情報を作成する。コントラスト検出用画像は、原画像そのもの、若しくは、原画像の間引き画像、又は、フォーカスレンズ３１が合焦レンズ位置に配置された状態で得られた撮影画像そのもの、若しくは、その撮影画像の間引き画像である。

尚、コントラスト検出用画像の基となる撮影画像が原画像と異なっていても、両画像の撮影時点間で構図等を含む撮影に関する条件が何ら変わらなければ、コントラスト検出用画像と原画像は等価と考えることができる（但し、両画像間の画像サイズが異なる場合、その相違に由来する両画像間の相違は無視する）。

以下、コントラスト検出エリアを、単に検出エリアと略記する。今、図１５（ａ）に示す如く、コントラスト検出用画像を９個の検出エリアに分割する場合を例に挙げる。図１５（ａ）において、符号２００は、コントラスト検出用画像を表し、ＡＲ_Tiは９個の検出エリアを表す（ここで、ｉ＝１、２、・・・９）。また、図１６（ａ）に、作成されるコントラスト情報を示す。

ｉ＝１、２、・・・９の夫々に関し、（ｒｉ，ｃｉ）は、コントラスト検出用画像２００における検出エリアＡＲ_Tiの配置位置を表す。或る検出エリアに関し、配置位置は、その検出エリアを形成する矩形領域の４つの角の内の、１つの角の座標位置（コントラスト検出用画像２００上の座標位置）で表される。ｉ＝１、２、・・・９の夫々に関し、ｈｉ及びｗｉは、夫々、コントラスト検出用画像２００における検出エリアＡＲ_Tiの高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表す。ｉ＝１、２、・・・９の夫々に関し、ＣＯＮＴｉは、検出エリアＡＲ_Tiのコントラスト値を表す。或る検出エリアの高さと幅の積は、その検出エリアのサイズを表す。

コントラスト情報には、各検出エリアＡＲ_Tiの、配置位置（ｒｉ，ｃｉ）、高さ及び幅（ｈｉ，ｗｉ）及びコントラスト値ＣＯＮＴｉが含まれる。つまり、コントラスト情報には、各検出エリアの、コントラスト検出用画像２００上の位置及びサイズを特定する情報と、各検出エリアのコントラスト値を示す情報と、が含まれる。

シャッタボタン１３が押下されると（全押しされると）、作成されたコントラスト情報は、原画像データと関連付けられつつ画像ファイル１８に格納される。

各検出エリアについてのコントラスト値の算出手法として、様々な手法を採用可能である。例えば、或る検出エリアに関し、その検出エリア内のエッジ成分の積算値を当該検出エリアについてのコントラスト値とする。エッジ成分は、例えば、評価画像内の隣接する画素間における輝度値の差分の絶対値である。或いは、或る検出エリアにおいて、検出エリア内の輝度信号から所定の高域周波数成分を抽出し、抽出した高域周波数成分の積算値を当該検出エリアについてのコントラスト値としてもよい。或る検出エリアに関し、コントラスト値は、その検出エリアのコントラスト量に概ね比例し、コントラスト値が増加するに従って該検出エリアのコントラスト量は増大する。

［補正時］
次に、補正時に関与する部分について説明する。画像ファイル１８が作成された後、操作部１２に対して所定の操作を行うと、或いは、自動的に、画像ファイル１８内に格納された原画像データから補正画像データを生成する画像復元処理が実行される。変換処理部２１及び２２の機能は、第１実施形態（図１）におけるそれと同様である。

補正領域設定部２３ｂは、画像ファイル１８に格納されたコントラスト情報に基づき、原画像内に、矩形領域である複数の部分領域を定義する。部分領域の個数は、図１５（ａ）のコントラスト検出用画像２００に定義された検出エリアの個数と等しい。従って、今の例の場合、９つの部分領域が定義される。図１５（ｂ）に、原画像内に定義された部分領域Ｐ_T1〜Ｐ_T9を示す。図１５（ｂ）において、符号２０１は、画像ファイル１８に格納された原画像を表す。また、図１６（ｂ）に、部分領域Ｐ_T1〜Ｐ_T9の位置及びサイズを定める部分領域情報を示す。

ｉ＝１、２、・・・９の夫々に関し、（Ｒｉ，Ｃｉ）は、原画像２０１における部分領域Ｐ_Tiの配置位置を表す。或る部分領域に関し、配置位置は、その部分領域を形成する矩形領域の４つの角の内の、１つの角の座標位置（原画像２０１上の座標位置）で表される。ｉ＝１、２、・・・９の夫々に関し、Ｈｉ及びＷｉは、夫々、原画像２０１における部分領域Ｐ_Tiの高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表す。

部分領域Ｐ_Tiは検出エリアＡＲ_Tiに対応しており、図１５（ａ）のコントラスト検出用画像２００と図１５（ｂ）の原画像２０１の画像サイズが同じであれば、ｒｉ＝Ｒｉ、ｃｉ＝Ｃｉ、ｈｉ＝Ｈｉ、ｗｉ＝Ｗｉ、となる（ここで、ｉ＝１、２、・・・９）。そして、ｉ＝１、２、・・・９の夫々に関し、部分領域Ｐ_Tiとコントラスト値ＣＯＮＴｉが対応付けられる。

補正領域設定部２３ｂは、コントラスト情報に基づき、原画像内を補正領域と非補正領域に分類する。第３実施形態では、コントラスト値が所定のコントラスト閾値以上である部分領域は補正領域に分類され、それ以外の部分領域は非補正領域に分類される。例えば、コントラスト値ＣＯＮＴ５及びＣＯＮＴ６のみがコントラスト閾値以上となっており、コントラスト値ＣＯＮＴ１〜ＣＯＮＴ４及びＣＯＮＴ７〜ＣＯＮＴ９がコントラスト閾値未満である場合を考える。この場合、部分領域Ｐ_T5及びＰ_T6が補正領域に分類され、部分領域Ｐ_T1〜Ｐ_T4及びＰ_T7〜Ｐ_T9は非補正領域に分類される。

補正領域に分類された各部分領域の位置及びサイズを特定する情報は、補正領域情報として補正処理部２４に与えられる。図１６（ｃ）に、この補正領域情報を示す。今の例の場合、補正領域情報には、ｉ＝５、６の夫々に関する、部分領域Ｐ_Tiの開始座標（Ｒｉ，Ｃｉ）と終了座標（Ｒｉ＋Ｈｉ，Ｃｉ＋Ｗｉ）が含まれる。

補正処理部２４は、画像ファイル１８から原画像データを読み出し、補正領域設定部２３ｂにて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づき、第１実施形態で述べた手法にて補正画像データを生成する。

コントラストが低い画像部分（例えば空や道路）に対して補正フィルタによる補正処理を施しても、見た目には補正効果を認識できないことが多い。従って、そのような画像部分に補正を行う必要性は少ない（或いは必要性はない）。そこで、本実施形態の如く、コントラストが低い画像部分に対して補正処理を行わないようにする。これにより、補正処理時間の短縮効果が得られる。

また、撮影者が着目している主要被写体と他の被写体との間で被写体距離（撮像装置と被写体との距離）が異なると、通常、被写体距離の違いに起因して、その他の被写体に対応する画像部分のコントラストが低下する。このような画像部分に対して補正処理を施しても補正効果は比較的弱く、また、コントラストが低下するにつれて補正による悪影響が生じやすくなる。しかしながら、本実施形態によれば、コントラストが小さい画像部分は非補正領域とされるため、この悪影響が低減される。この悪影響の低減を促進するための実施形態として、次に第４実施形態を説明する。また、コントラストを検出するという簡単な処理によって補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

＜＜第４実施形態＞＞
第４実施形態は、第１実施形態を第２実施形態に変形したのと同様に、第３実施形態を変形したものに相当する。

図１７に、第４実施形態に係る撮像装置の全体的構成のブロック図を示す。第４実施形態に係る撮像装置は、第３実施形態に係る撮像装置（図１４）と類似している。但し、第３実施形態の撮像装置が補正領域設定部２３ｂ及び補正処理部２４を備えているのに対し、第４実施形態の撮像装置は、それらの代わりに補正領域設定部２３ｃ及び補正処理部２４ａを備えている。この点を除いて、第３と第４実施形態に係る撮像装置は同様であり、同様の部分の重複する説明を原則として省略する。

更に、図１７の補正処理部２４ａは、図１３に示すそれと同じものである。従って、以下、補正領域設定部２３ｃに着目して説明する。上述の各実施形態の説明文中の記載は、矛盾なき限り、第４実施形態の説明に対しても適用される。

補正領域設定部２３ｃは、図１４の補正領域設定部２３ｂと同様の機能を備える。即ち、画像ファイル１８に格納された、図１６（ａ）に示すようなコントラスト情報に基づき、各検出エリアに対応する部分領域（図１５（ｂ）及び図１６（ｂ）参照）を定義すると共に原画像内を補正領域と非補正領域とに分類する。更に、第４実施形態に係る補正領域設定部２３ｃは、画像ファイル１８に格納されたコントラスト情報に含まれるコントラスト値に応じて、各部分領域に対する補正強度も設定する。

図１８を参照して、より具体的に説明する。補正領域設定部２３ｃは、コントラスト値が所定の閾値Ｃ_Hよりも大きい部分領域に対しては補正強度を１とし、コントラスト値が所定の閾値Ｃ_Lよりも小さい部分領域に対しては補正強度を０とする。また、コントラスト値が閾値Ｃ_L以上であって且つ閾値Ｃ_H以下の部分領域に対しては補正強度を、コントラスト値に応じて０から１の間で線形に変化させる（即ち、コントラスト値の増大に伴って補正強度を増大させる。但し、上限は１）。尚、Ｃ_H＞Ｃ_L、が成立する。

例えば、第３実施形態と同様、部分領域Ｐ_T5及びＰ_T6のみが補正領域に分類された場合、コントラスト値ＣＯＮＴ５及びＣＯＮＴ６に応じて、部分領域Ｐ_T5及びＰ_T6に対しては０より大きな補正強度が設定されるが、それ以外の部分領域（即ち、非補正領域）に対する補正強度は０とされる。

補正領域設定部２３ｃは、補正領域に分類された各部分領域の位置及びサイズ並びに補正領域に分類された各部分領域に対する補正強度を特定する補正領域情報を、補正処理部２４ａに伝達する。補正処理部２４ａに伝達される補正領域情報は、図２６（ｂ）のようになる。この補正領域情報は、図１６（ｃ）に示す補正領域情報に補正強度に関する情報を付加したものに相当する。

補正処理部２４ａは、画像ファイル１８から原画像データを読み出し、補正領域設定部２３ｃにて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づき、第２実施形態で述べた手法にて補正画像データを生成する。補正領域情報に含まれる補正強度は、第２実施形態で述べたように、加重平均係数αの算出に反映され、該補正強度に従った補正処理が実行される。

コントラストが低下するにつれて補正による悪影響が生じやすくなることに鑑み、コントラスト値に応じて補正強度を変化させる。これにより、補正による悪影響がより低減される。勿論、本実施形態でも、第３実施形態と同様の効果が得られる。

＜＜第５実施形態＞＞
次に、本発明の第５実施形態について説明する。図１９は、第５実施形態に係る撮像装置の全体的構成のブロック図である。第５実施形態に係る撮像装置は、第１実施形態に係る撮像装置（図１）と類似している。但し、第５実施形態に係る撮像装置は、図１の顔検出部１９及び補正領域設定部２３を備えておらず、その代わりに、測距情報算出部５６及び補正領域設定部２３ｄを備えている。この点を除いて、第１と第５実施形態に係る撮像装置は同様であり、同様の部分の重複する説明を原則として省略する。

但し、上記の相違点に由来して、画像ファイル１８に格納される情報が、第１と第５実施形態間で異なる。詳細は、第５実施形態の説明の中で述べる。以下、第１実施形態との相違点に着目して説明を行う。

［撮影時］
第５実施形態では、撮影時の合焦処理に、複数エリア測距方式を採用している。この複数エリア測距方式について説明する。

主制御部１１と協働して、測距情報算出部５６は、撮影画像に基づく測距用画像を複数の測距エリアに分割し、フォーカスレンズ３１の位置を所定間隔で移動させながら各測距エリアについての評価値を算出し、これに基づいて焦点距離を算出すると共に測距情報を作成する。測距用画像は、シャッタボタン１３が半押しされた後に得られる撮影画像そのもの、又は、その撮影画像の間引き画像である。

或る測距エリアに関し、評価値は、その測距エリア内のエッジ成分の積算値などである。エッジ成分は、例えば、当該測距エリア内の隣接画素間の輝度値の差分の絶対値である。あるいは、或る測距エリアにおいて、その測距エリア内の輝度信号から所定の高域周波数成分を抽出し、抽出した高域周波数成分の積算値を当該測距エリアについての評価値としてもよい。エッジ成分が増大すれば、一般にコントラスト量も増大するため、結局のところ、或る測距エリアに関し、評価値は、その測距エリア内の画像のエッジ成分又はコントラスト（コントラスト量）に応じた値を有することになり、それらが増大するにつれて評価値も増大する。

以下、説明の具体化のため、図２０（ａ）に示す如く、測距用画像を９個の測距エリアに分割する場合を例に挙げる。図２０（ａ）において、符号３００は、測距用画像を表し、ＡＲ_Siは９個の測距エリアを表す（ここで、ｉ＝１、２、・・・９）。また、図２１（ａ）に、作成される測距情報を示す。

図２２に、フォーカスレンズ３１の位置と各測距エリアに対する評価値との関係例を示す。フォーカスレンズ３１の位置を、以下、レンズ位置とも呼ぶ。図２２において、曲線３１１、３１５、３１６及び３１９は、夫々、測距エリアＡＲ_S1、ＡＲ_S5、ＡＲ_S6及びＡＲ_S9についての評価値をプロットしたものである。図示の簡略化上、他の測距エリアについてのプロットは省略する。

各測距エリアについての評価値は、通常、或るレンズ位置で極大値をとる。ｉ＝１、２、・・・９の夫々に関し、測距エリアＡＲ_Siの評価値に極大値を与えるレンズ位置を極大レンズ位置と呼び、それを符合Ｌ_Miにて表すと共に、その評価値の極大値を、極大評価値と呼び、それを符合Ｅ_Miにて表す（図２１（ａ）も参照）。

或る測距エリアに関し、被写体距離が遠い場合などにおいては評価値に極大値が存在しない場合もあるが、その場合は、その測距エリアについての極大評価値は０とされると共に極大レンズ位置として十分に大きな値を設定する。図２２に示す例では、測距エリアＡＲ_S9についての評価値に極大値が存在していない。従って、極大評価値Ｅ_M9は０とされ、極大レンズ位置Ｌ_M9は十分に大きな所定値ＬＶとされる（図２１（ａ）参照）。

尚、図２１（ａ）の極大レンズ位置と極大評価値に対応する欄において、カッコ内に極大レンズ位置Ｌ_Miと極大評価値Ｅ_Miの数値例を示している。

図２０（ａ）及び図２１（ａ）を参照する。ｉ＝１、２、・・・９の夫々に関し、（ｒｉ，ｃｉ）は、測距用画像３００における測距エリアＡＲ_Siの配置位置を表す。或る測距エリアに関し、配置位置は、その測距エリアを形成する矩形領域の４つの角の内の、１つの角の座標位置（測距用画像３００上の座標位置）で表される。ｉ＝１、２、・・・９の夫々に関し、ｈｉ及びｗｉは、夫々、測距用画像３００における測距エリアＡＲ_Siの高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表す。或る測距エリアの高さと幅の積は、その測距エリアのサイズを表す。

図２１（ａ）に示す如く、測距情報算出部５６にて作成される測距情報には、各測距エリアの、配置位置（ｒｉ，ｃｉ）、高さ及び幅（ｈｉ，ｗｉ）、極大レンズ位置Ｌ_Mi並びに極大評価値Ｅ_Miが含まれる。

各測距エリアについての極大レンズ位置が特定されると、極大レンズ位置が最も近距離側にある測距エリアが代表測距エリアとして選定される。ここで、近距離側とは、ピントを合わせる被写体と撮像装置との距離がより近い側に対応している。従って、通常、代表測距エリアの収まる被写体と撮像装置との距離は、他の何れの測距エリアについてのそれよりも短い。図２２に示す例の場合、測距エリアＡＲ_S5についての極大レンズ位置が最も近距離側にあるため、測距エリアＡＲ_S5が代表測距エリアとされる。尚、実際には、測距情報に含まれる極大レンズ位置は数値によって表現され、本実施形態では、極大レンズ位置が近距離側にあればあるほど、極大レンズ位置を表す数値としてより小さな数値が与えられる（図２１（ａ）参照）。

測距情報算出部５６は、代表測距エリアとして選定された測距エリアについての極大レンズ位置を合焦レンズ位置と定めて、その合焦レンズ位置から撮像部１４の光学系３５の焦点距離を算出し、算出した焦点距離を変換処理部１６に伝達する。変換処理部１６は、手ぶれ信号と焦点距離から動きベクトルを算出する。

シャッタボタン１３が半押しされた後に全押しされると、フォーカスレンズ３１の位置を合焦レンズ位置に配置した状態で原画像が撮影され、原画像データが画像ファイルに格納されると共に、作成された測距情報も、原画像データに関連付けられつつ画像ファイル１８に格納される。また、第１実施形態と同様、原画像の露光期間中における動きベクトル、即ち、原画像の撮影中における動きベクトルは、原画像データと関連付けられつつ画像ファイル１８に格納される。

従来から、算出された焦点距離は画像ファイルに記録されていたが、代表測距エリア以外の測距エリアに関する情報は撮影終了時点で破棄されていた。一方、本実施形態では、全ての測距エリアに関する情報を測距情報として画像ファイル１８に格納する。

［補正時］
次に、補正時に関与する部分について説明する。画像ファイル１８が作成された後、操作部１２に対して所定の操作を行うと、或いは、自動的に、画像ファイル１８内に格納された原画像データから補正画像データを生成する画像復元処理が実行される。変換処理部２１及び２２の機能は、第１実施形態（図１）におけるそれと同様である。

補正領域設定部２３ｄは、画像ファイル１８に格納された測距情報に基づき、原画像内に、矩形領域である複数の部分領域を定義する。部分領域の個数は、図２０（ａ）の測距用画像３００に定義された測距エリアの個数と等しい。従って、今の例の場合、９つの部分領域が定義される。図２０（ｂ）に、原画像内に定義された部分領域Ｐ_S1〜Ｐ_S9を示す。図２０（ｂ）において、符号３０１は、画像ファイル１８に格納された原画像を表す。また、図２１（ｂ）に、部分領域Ｐ_S1〜Ｐ_S9の位置及びサイズを定める部分領域情報を示す。

ｉ＝１、２、・・・９の夫々に関し、（Ｒｉ，Ｃｉ）は、原画像３０１における部分領域Ｐ_Siの配置位置を表す。或る部分領域に関し、配置位置は、その部分領域を形成する矩形領域の４つの角の内の、１つの角の座標位置（原画像３０１上の座標位置）で表される。ｉ＝１、２、・・・９の夫々に関し、Ｈｉ及びＷｉは、夫々、原画像３０１における部分領域Ｐ_Siの高さ（垂直方向の大きさ）及び幅（水平方向の大きさ）を表す。

部分領域Ｐ_Siは測距エリアＡＲ_Siに対応しており、図２０（ａ）の測距用画像３００と図２０（ｂ）の原画像３０１の画像サイズが同じであれば、ｒｉ＝Ｒｉ、ｃｉ＝Ｃｉ、ｈｉ＝Ｈｉ、ｗｉ＝Ｗｉ、となる（ここで、ｉ＝１、２、・・・９）。そして、ｉ＝１、２、・・・９の夫々に関し、部分領域Ｐ_Siと極大レンズ位置Ｌ_Mi及び極大評価値Ｅ_Miとが対応付けられる。

補正領域設定部２３ｄは、測距情報に基づき、原画像内を補正領域と非補正領域に分類する。図２３に、この分類の１手法についてのフローチャートを示す。

まず、ステップＳ１において、補正領域設定部２３ｄは、測距情報を参照して、９つの測距エリアの中から、最も近距離側の極大レンズ位置に対応する測距エリア、即ち代表測距エリアを探索する。以下、代表測距エリアに対する極大レンズ位置をＬ_MKと表記する。

続くステップＳ２において、各測距エリアに対する極大レンズ位置Ｌ_Miと代表測距エリアに対する極大レンズ位置Ｌ_MKとの差分（Ｌ_Mi−Ｌ_MK）を、測距エリアごとに、算出する。そしてステップＳ３において、各差分（Ｌ_Mi−Ｌ_MK）を所定の閾値Ｌ_THと比較し、閾値Ｌ_THより小さな差分に対応する部分領域を補正領域に分類し、閾値Ｌ_THより大きさ差分に対応する部分領域を非補正領域に分類する。但し、Ｌ_TH＞０、である。代表測距エリアについての差分は０となるので、必然的に代表測距エリアに対応する部分領域は補正領域に分類される。

例えば、撮影時において、測距エリアＡＲ_S5が代表測距エリアとして選定されて、Ｌ_MKにＬ_M5が代入され、且つ、不等式「（Ｌ_M6−Ｌ_MK）＜Ｌ_TH」が成立すると共に不等式「（Ｌ_Mj−Ｌ_MK）＞Ｌ_TH」が成立する場合を考える（但し、ｊ＝１、２、３、４、７、８、９）。この場合、補正時においても、測距エリアＡＲ_S5が代表測距エリアとして選定され、上記２つの不等式より、部分領域Ｐ_S1〜Ｐ_S9の内、測距エリアＡＲ_S5及びＡＲ_S6に対応する部分領域Ｐ_S5及びＰ_S6のみが補正領域に分類されると共に他の７つの部分領域Ｐ_S1〜Ｐ_S4及びＰ_S7〜Ｐ_S9は非補正領域に分類される。尚、評価値に極大値が存在しなかった測距エリアに対しては、上述したように、極大レンズ位置として十分に大きな値（ＬＶ；図２１（ａ）参照）が設定されているため、その測距エリアに対応する部分領域は非補正領域に分類される。

補正領域に分類された各部分領域の位置及びサイズを特定する情報は、補正領域情報として補正処理部２４に与えられる。図２１（ｃ）に、この補正領域情報を示す。今の例の場合、補正領域情報には、ｉ＝５、６の夫々に関する、部分領域Ｐ_Siの開始座標（Ｒｉ，Ｃｉ）と終了座標（Ｒｉ＋Ｈｉ，Ｃｉ＋Ｗｉ）が含まれる。

補正処理部２４は、画像ファイル１８から原画像データを読み出し、補正領域設定部２３ｄにて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づき、第１実施形態で述べた手法にて補正画像データを生成する。

代表測距エリアに収まる被写体との間の距離が遠い被写体が現れる画像部分に対して、補正フィルタによる補正処理を施しても、見た目には補正効果を認識できないことが多く、場合によっては、その補正処理によって悪影響が生じる場合もある。そこで、本実施形態の如く、そのような画像部分に対して補正処理を行わないようにする。これにより、補正処理時間の短縮効果が得られると共に補正による悪影響が低減される。また、撮影に必須の合焦処理の結果を流用して補正領域と非補正領域の分類がなされるため、その分類に必要な追加的処理は簡素で済む。

尚、図２３を用いて説明した分類手法では、極大レンズ位置のみを用いて補正領域と非補正領域の分類を行っているが、極大評価値を用いて、この分類を行うようにしても良い。

例えば、所定の閾値Ｅ_TH以上の極大評価値に対応する部分領域を補正領域に分類し、閾値Ｅ_TH未満の極大評価値に対応する部分領域を非補正領域に分類する。つまり例えば、Ｅ_M1≧Ｅ_THであれば部分領域Ｐ_S1を補正領域に分類し、Ｅ_M1＜Ｅ_THであれば部分領域Ｐ_S1を非補正領域に分類する。他の部分領域についても同様である。但し、代表測距エリアに対応する部分領域は、無条件に、補正領域に分類されることが好ましい。

また、極大レンズ位置と極大評価値の双方を考慮して、補正領域と非補正領域の分類を行っても良い。

測距時に小さな極大評価値しか得られないような領域または極大評価値が得られないような領域のコントラストは低く、このような領域に対して補正フィルタによる補正処理を行っても、見た目には補正効果を認識できないことが多い。また、上述したように、コントラストが低い画像部分に対して補正処理を行うと悪影響が生じやすい。従って、極大評価値に応じて、上記の如く補正領域と非補正領域の分類を行っても、補正処理時間の短縮効果が得られると共に補正による悪影響が低減される。

＜＜第６実施形態＞＞
次に、第６実施形態について説明する。第６実施形態は、第１実施形態を第２実施形態に変形したのと同様に、第５実施形態を変形したものに相当する。

図２４に、第６実施形態に係る撮像装置の全体的構成のブロック図を示す。第６実施形態に係る撮像装置は、第５実施形態に係る撮像装置（図１９）と類似している。但し、第５実施形態の撮像装置が補正領域設定部２３ｄ及び補正処理部２４を備えているのに対し、第６実施形態の撮像装置は、それらの代わりに補正領域設定部２３ｅ及び補正処理部２４ａを備えている。この点を除いて、第５と第６実施形態に係る撮像装置は同様であり、同様の部分の重複する説明を原則として省略する。

更に、図２４の補正処理部２４ａは、図１３に示すそれと同じものである。従って、以下、補正領域設定部２３ｅに着目して説明する。上述の各実施形態（特に、第１、第２及び第５実施形態）の説明文中の記載は、矛盾なき限り、第６実施形態の説明に対しても適用される。

補正領域設定部２３ｅは、図１９の補正領域設定部２３ｄと同様の機能を備える。即ち、画像ファイル１８に格納された、図２１（ａ）に示すような測距情報に基づき、各測距エリアに対応する部分領域（図２０（ｂ）及び図２１（ｂ）参照）を定義すると共に原画像内を補正領域と非補正領域とに分類する。更に、第６実施形態に係る補正領域設定部２３ｅは、画像ファイル１８に格納された測距情報に基づいて、各部分領域に対する補正強度も設定する。

補正強度の設定手法について説明する。補正領域設定部２３ｅは、測距情報を参照して、９つの測距エリアの中から、最も近距離側の極大レンズ位置に対応する測距エリア、即ち代表測距エリアを探索する。第５実施形態と同様、代表測距エリアに対する極大レンズ位置をＬ_MKと表記する。補正領域設定部２３ｅは、各測距エリアに対する極大レンズ位置Ｌ_Miと代表測距エリアに対する極大レンズ位置Ｌ_MKとの差分（Ｌ_Mi−Ｌ_MK）を、測距エリアごとに、算出する。

そして、部分領域Ｐ_Siに対する補正強度をＣＩ_iで表した場合、補正領域設定部２３ｅは、下記式（７ａ）及び（７ｂ）に従って、各部分領域についての補正強度ＣＩ_iを算出する。Ｌ_THは、０以上の所定の閾値である。
ＣＩ_i＝(Ｌ_TH−(Ｌ_Mi−Ｌ_MK))/ Ｌ_TH (但し、(Ｌ_Mi−Ｌ_MK)≦Ｌ_TH)・・・（７ａ）
ＣＩ_i＝０ （但し、(Ｌ_Mi−Ｌ_MK)＞Ｌ_TH）・・・（７ｂ）

つまり、図２５に示す如く、部分領域ごとに、以下のように補正強度を設定する。差分（Ｌ_Mi−Ｌ_MK）が０の場合は補正強度を１とし、差分（Ｌ_Mi−Ｌ_MK）が閾値Ｌ_TH以上の場合は補正強度を０とし、差分（Ｌ_Mi−Ｌ_MK）が閾値Ｌ_TH未満である場合は補正強度を極大レンズ位置に応じて０から１の間で線形に変化させる（即ち、極大レンズ位置が近距離側に向かうにつれて補正強度を増大させる。但し、上限は１）。尚、評価値に極大値が存在しなかった測距エリアについては、上述したように、極大レンズ位置として十分に大きな値（ＬＶ；図２１（ａ）参照）が設定されているため、その測距エリアに対応する部分領域についての補正強度は０となる。

例えば、第５実施形態と同様、部分領域Ｐ_S5及びＰ_S6のみが補正領域に分類された場合、極大レンズ位置Ｌ_M5及びＬ_M6に応じて部分領域Ｐ_S5及びＰ_S6に対しては０より大きな補正強度が設定されるが、それ以外の部分領域（即ち、非補正領域）に対する補正強度は０とされる。

補正領域設定部２３ｅは、補正領域に分類された各部分領域の位置及びサイズ並びに補正領域に分類された各部分領域に対する補正強度を特定する補正領域情報を、補正処理部２４ａに伝達する。補正処理部２４ａに伝達される補正領域情報は、図２６（ｃ）のようになる。この補正領域情報は、図２１（ｃ）に示す補正領域情報に補正強度に関する情報を付加したものに相当する。

補正処理部２４ａは、画像ファイル１８から原画像データを読み出し、補正領域設定部２３ｅにて作成された補正領域情報及び変換処理部２２にて作成された補正フィルタに基づき、第２実施形態で述べた手法にて補正画像データを生成する。補正領域情報に含まれる補正強度は、第２実施形態で述べたように、加重平均係数αの算出に反映され、該補正強度に従った補正処理が実行される。

代表測距エリアに収まる被写体との間の距離が遠い被写体が現れる画像部分に対して、補正フィルタによる補正処理を施しても、見た目には補正効果を認識できないことが多く、場合によっては、その補正処理によって悪影響が生じる場合もある。この悪影響の程度は、差分（Ｌ_Mi−Ｌ_MK）の増加に伴って増加すると推測される。そこで、本実施形態の如く補正強度を変化させる。これにより、補正による悪影響が低減される。勿論、本実施形態でも、第５実施形態と同様の効果が得られる。

尚、極大レンズ位置のみを用いて補正強度を設定する例を上述したが、極大評価値を用いて、この設定を行うようにしても良い。また、極大評価値と極大レンズ位置の双方を考慮して、補正強度を設定するようにしてもよい。

例えば、或る部分領域に関し、極大評価値が大きいほど補正強度を１に近づけ、極大評価値が小さいほど補正強度を０に近づける。この場合、代表測距エリアに対応する部分領域についての補正強度を、無条件に１とするようにしてもよい。

＜＜第７実施形態＞＞
次に、本発明の第７実施形態を説明する。第７実施形態では、本発明に係る撮像装置の動作の全体的な流れの一例を説明する。第７実施形態に係る撮像装置の全体的構成は、上述の各実施形態に係る撮像装置の何れかと同じとされる。

図２７は、撮影時の全体的動作の流れの一例を示すフローチャートである。まず、顔検出方式、コントラスト検出方式及び複数エリア測距方式の何れか１つを選択するための方式選択処理が行われる。この方式選択処理は、例えば、操作部１２に対する操作に従って行われる。

顔検出方式が選択された場合は、上述の第１又は第２実施形態における撮影時の処理が行われる。コントラスト検出方式が選択された場合は、上述の第３又は第４実施形態における撮影時の処理が行われる。複数エリア測距方式が選択された場合は、上述の第５又は第６実施形態における撮影時の処理が行われる。

図２８は、補正時の全体的動作の流れの一例を示すフローチャートである。撮影時に顔検出方式が選択された場合は、上述の第１又は第２実施形態における補正時の処理が行われる。撮影時にコントラスト検出方式が選択された場合は、上述の第３又は第４実施形態における補正時の処理が行われる。撮影時に複数エリア測距方式が選択された場合は、上述の第５又は第６実施形態における補正時の処理が行われる。

＜＜第８実施形態＞＞
次に、本発明の第８実施形態について説明する。第８実施形態では、図１等に示される変換処理部２１及び２２による、画像劣化関数及び補正フィルタの作成手法を説明する。第８実施形態に記載の作成手法は、上述の各実施形態と組み合わせて利用される。これらの作成手法の一例は、特開２００６−１２９２３６号公報（以下、特許文献αと呼ぶ）に記載されている。この特許文献αに記載の手法を用いて画像劣化関数及び補正フィルタを作成することができる。

［画像劣化関数の作成手法］
画像劣化関数として、点広がり関数（Point Spread Function）を作成する。まず、点広がり関数について説明する。点広がり関数を、以下、ＰＳＦと記述する。

図２９を参照する。手ぶれは、空間フィルタを使って表すことができる。図２９の符号４０１は、手ぶれの軌跡、即ち、理想的な点像が撮像装置のぶれによって画像上で描く軌跡（画像のぶれの軌跡）を表す。この手ぶれの軌跡にあわせてオペレータの要素に重みを加えた空間フィルタを形成し、この空間フィルタを用いてフィルタ処理を行うと、フィルタリング過程において各画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになる。つまり、この空間フィルタを用いて、手ぶれの影響を受けた画像を作成することができる。

この手ぶれの軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして使用される。ＰＳＦの或る要素の重みは、その要素を手ぶれの軌跡が通過する時間に比例した値とされる（但し、各要素の重みの総和が１になるように正規化される）。即ち、重みは、動きベクトルの大きさの逆数に比例した値とされる。手ぶれが画像に与える影響を考えたとき、より遅い動きに対応する要素には、より大きな影響が与えられるからである。

図２９の符号４０２は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図２９の符号４０３は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。符合４０３で表されるＰＳＦにおいて、重みの比較的小さい（動きベクトルの大きさが比較的大きい）要素を比較的黒く表示し、重みの比較的大きい（動きベクトルの大きさが比較的小さい）要素を比較的白く表示している。

図１等の変換処理部１６にて生成される動きベクトルによって、手ぶれの軌跡と手ぶれの速度（即ち、手ぶれの軌跡を描く速度）とが特定される。ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素（即ち、０ではない有意な重みが付与される要素）を決定する。そして、手ぶれの速度から、ＰＳＦの要素にかける重みを決定する。手ぶれの軌跡からＰＳＦの重みをかける要素を決定する手法、及び、ＰＳＦの要素にかける重みを決定する手法については、周知であるため、説明を割愛する。

比較的速い手ぶれの速度に対応する要素には比較的小さな重みが付与され、比較的遅い手ぶれの速度に対応する要素には比較的大きな重みが付与される。或る要素に付与される重みは、その要素に対応する動きベクトルの大きさの逆数に概ね比例する。

上述の如く、各要素についての重みを決定することにより、画像劣化関数としてのＰＳＦが生成される。

［補正フィルタの作成手法］
次に、補正フィルタの作成手法について説明する。今、水平方向にＮ_X画素、垂直方向Ｎ_Yの解像度を有する二次元の画像を考える。この画像において、垂直方向にｉ番目、水平方向にｊ番目の位置にある画素の画素値をｐ（ｉ，ｊ）で表す。但し、本実施形態において用いる変数ｉ及びｊは、上述の各実施形態において記述したそれらとは異なるものとする。

空間フィルタによる画像の変換について説明する。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって画像の変換をモデル化したものに相当する。畳み込みの係数をｈ（ｌ，ｍ）とする。今、説明の簡略化上、−ｎ≦ｌ≦ｎ、且つ、−ｎ≦ｍ≦ｎ、とする。ｎは２以上の整数であり、ｌ及びｍは整数である。

注目画素の画素値をｐ（ｉ，ｊ）で表した場合、注目画素に対する畳み込みによる変換は、下記式（Ａ１）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質は、ｈ（ｌ，ｍ）の値によって決まる。ｐ'（ｉ，ｊ）は、この変換後の注目画素の画素値を表す。

撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像において、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際には画像の形成過程に劣化過程が含まれるので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。理想的な点像が、実際に撮影された画像において、どのように広がるかを表した空間フィルタがＰＳＦである。

ＰＳＦを（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）で表現すると、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ'（ｉ，ｊ）は、上記式（Ａ１）の関係を満たす。ここで、実際に観測されるのは、ボケのある画像の画素値ｐ'（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は、何らかの方法で計算する必要がある。

上記式（Ａ１）を全ての画素について書き並べると、下記式（Ａ２）に示すようになる。

これらの式を下記式（Ａ３）のように行列で表現することが可能である。ここで、Ｐ'は、画素値ｐ'（ｉ，ｊ）をラスター走査順に一次元配列したＮ_X・Ｎ_Y×１の行列であり、Ｐは、画素値ｐ（ｉ，ｊ）をラスター走査順に一次元配列したＮ_X・Ｎ_Y×１の行列であり、Ｈは、ｈ（ｌ，ｍ）を二次元に書き並べた、ＰをＰ'に変換するための行列である。
Ｐ'＝Ｈ×Ｐ ・・・（Ａ３）

Ｈの逆行列Ｈ^-1が存在すれば、Ｐ＝Ｈ^-1×Ｐ'を計算することによって、劣化した画像を表すＰ'から劣化の無い画像を表すＰを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。下記式（Ａ４）に一般逆行列の例を示す。
Ｈ^* ＝（Ｈ^t ・Ｈ＋γ・Ｉ）^-1・Ｈ^t ・・・（Ａ４）

ここで、Ｈ^* はＨの一般逆行列、Ｈ^t はＨの転置行列、γはスカラー、ＩはＨ^t ・Ｈと同じサイズの単位行列である。Ｈ^* を用いて下記式（Ａ５）を計算することで、観察された画像を表すＰ'から手ぶれが補正された画像を表すＰを得ることができる。γは補正の強さを調整するパラメータである。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。
Ｐ＝Ｈ^* ×Ｐ' ・・・（Ａ５）

図１等の変換処理部２１は、画像ファイル１８に格納された動きベクトルから画像劣化関数としてのＰＳＦを生成する。図１等の変換処理部２２は、画像劣化関数としてのＰＳＦから、例えば、空間フィルタである一般逆行列Ｈ^* を補正フィルタ（画像復元フィルタ）として生成する。Ｐ'は、画像ファイル１８に格納された原画像データにて示される原画像を表し、Ｐは、この原画像の全体を補正した画像を表す。実際には、図６等のフィルタリング部４１が、補正フィルタとしての一般逆行列Ｈ^* を原画像の補正領域に対してのみ適用することで、フィルタリング画像が生成される。

尚、原画像の画像サイズを６４０×４８０とした場合、上記式（Ａ５）におけるＰは３０７２００×１の行列、Ｈ^* は３０７２００×３０７２００の行列となる。このように、行列が非常に大きくなる場合は、上記式（Ａ４）及び式（Ａ５）を直接用いて補正を行うと演算負荷が非常に重くなる。従って、上記特許文献αに記載のように、Ｐの元になる画像のサイズを適宜小さく捉えることにより、実用的なサイズ（例えば、６３×６３）の空間フィルタを補正フィルタとして作成し、この補正フィルタを原画像の補正領域の各画素に順次適用することによって、フィルタリング画像を生成しても良い。

また、上記の手法によって生成された空間フィルタは、一般逆フィルタとも呼ばれる。このような一般逆フィルタを用いる代わりに、ウィーナフィルタや周波数フィルタを補正フィルタとして用いて補正処理（画像復元処理）を行い、これによってフィルタリング画像を得るようにしてもよい。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。例えば、第３又は第４実施形態で、検出エリアの総数を９としたが、検出エリアの総数は９以外であってもよい。同様に、第５又は第６実施形態で、測距エリアの総数を９としたが、測距エリアの総数は９以外であってもよい。

［注釈２］
各実施形態において、手ぶれ検出部１５を角速度センサにて構成する例を示したが、撮像装置の加速度を検出する加速度センサ又は撮像装置の角加速度を検出する角加速度センサにて、手ぶれ検出部１５を形成するようにしてもよい。この場合、加速度センサ又は角加速度センサが検出した加速度又は角加速度によって手ぶれ信号が形成され、この手ぶれ信号と焦点距離に基づいて動きベクトルが算出される。また、撮像装置の動きを表す別の物理量のデータに基づいて動きベクトルを算出するようにしてもよい。

［注釈３］
撮像装置内にて補正処理（画像復元処理）を行って画像ファイル１８から補正画像データを生成する例を示したが、この補正処理は、撮像装置の外部機器（不図示）にて実施することも可能である。つまり、コンピュータ等の外部機器に、図１等に示される、変換処理部２１及び２２と補正領域設定部（２３、２３ａ、２３ｂ、２３ｃ、２３ｄ又は２３ｅ）と補正処理部（２４又は２４ａ）とを設け、その外部機器に、画像ファイル１８に格納された情報を読み込ませて上記と同様の補正処理を行わせ、これによって補正画像データを生成するようにしてもよい。

［注釈４］
また、各実施形態における撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１等に示される、変換処理部２１及び２２と補正領域設定部（２３、２３ａ、２３ｂ、２３ｃ、２３ｄ又は２３ｅ）と補正処理部（２４又は２４ａ）とから成る画像復元部の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置の外部にて実現することも可能である。

ソフトウェアを用いて撮像装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、上記画像復元部にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈５］
上記の画像復元部は、ぶれを含む原画像（入力画像）から画像復元処理によって補正画像（復元画像）を生成する機能を有する。この画像復元部に、記録媒体１７が設けられていると考えることも可能である。

本発明の第１実施形態に係る撮像装置の全体的構成のブロック図である。 図１の撮像部の内部構成図である。 図１の手ぶれ検出部の内部構成図である。 図１の撮像装置にて定義される、顔検出エリア（ａ）と部分領域（ｂ）を示す図である。 図１の撮像装置にて作成される、顔検出情報、部分領域情報及び補正領域情報を示す図である。 図１の補正処理部の内部ブロック図である。 図６のリンギング除去部によるリンギング除去の原理を説明するための図である。 図６のエッジ強度検出部による、エッジ強度の算出手法を説明するための図である。 図６のエッジ強度検出部による、エッジ強度の算出手法を説明するための図である。 図６の加重平均係数算出部にて採用される、エッジ強度と加重平均係数の変換関係を表す図である。 本発明の第２実施形態に係る撮像装置の全体的構成のブロック図である。 図１１の補正領域設定部による、補正強度の算出手法を表す図である。 図１１の補正処理部の内部ブロック図である。 本発明の第３実施形態に係る撮像装置の全体的構成のブロック図である。 図１４の撮像装置にて定義される、コントラスト検出エリア（ａ）と部分領域（ｂ）を示す図である。 図１４の撮像装置にて作成される、コントラスト情報、部分領域情報及び補正領域情報を示す図である。 本発明の第４実施形態に係る撮像装置の全体的構成のブロック図である。 図１７の補正領域設定部による、補正強度の算出手法を表す図である。 本発明の第５実施形態に係る撮像装置の全体的構成のブロック図である。 図１９の撮像装置にて定義される、測距エリア（ａ）と部分領域（ｂ）を示す図である。 図１９の撮像装置にて作成される、測距情報、部分領域情報及び補正領域情報を示す図である。 図１９の撮像装置に係り、各測距エリアにおけるレンズ位置と評価値との関係を示す図である。 図１９の補正領域設定部による、補正領域と非補正領域の分類手法を表すフローチャートである。 本発明の第６実施形態に係る撮像装置の全体的構成のブロック図である。 図２４の補正領域設定部による、補正強度の算出手法を表す図である。 本発明の第２、第４又は第６実施形態に係る撮像装置の補正領域設定部によって作成される補正領域情報を示す図である。 本発明の第７実施形態に係る撮像装置における、撮影時の全体的動作の流れを示すフローチャートである。 本発明の第７実施形態に係る撮像装置における、補正時の全体的動作の流れを示すフローチャートである。 本発明の第８実施形態に係り、撮像装置に加わる手ぶれの軌跡と点広がり関数（ＰＳＦ）との関係を示す図である。

符号の説明

１４ 撮像部
１５ 手ぶれ検出部
１６ 手ぶれ信号／動きベクトル変換処理部
１８ 画像ファイル
１９ 顔検出部
２１ 動きベクトル／画像劣化関数変換処理部
２２ 画像劣化関数／補正フィルタ変換処理部
２３、２３ａ、２３ｂ、２３ｃ、２３ｄ、２３ｅ 補正領域設定部
２４、２４ａ 補正処理部
３１ フォーカスレンズ
３３ 撮像素子
４１ フィルタリング部
４２、４２ａ リンギング除去部
４３ エッジ強度検出部
４４、４４ａ 加重平均係数算出部
４５ 加重平均部
５１ 測距部
５２ コントラスト情報算出部
５６ 測距情報算出部

Claims (6)

1. 撮影によって得られる、ぶれを含む入力画像から復元画像を生成する撮像装置において、
   前記入力画像は、顔領域に合焦するような撮影によって得られ、
   当該撮像装置は、
   前記入力画像内における前記顔領域の位置を特定する情報を含む顔検出情報を記憶する情報記録手段と、
   前記顔検出情報に基づいて、前記入力画像内を補正領域と非補正領域に分類する補正領域設定手段と、
   前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備えており、
   撮影時に、前記情報記録手段により前記顔検出情報を記憶し、
   撮影後の補正時に、前記補正領域設定手段により前記分類を行うと共に、前記補正処理手段により前記復元画像を生成する
   ことを特徴とする撮像装置。
2. 前記補正領域設定手段は、前記顔検出情報に基づいて、前記補正領域に前記顔領域を含ませる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記補正領域設定手段は、前記顔領域が複数個ある場合、前記顔検出情報に基づいて、その複数の顔領域の内の１又は２以上の顔領域を前記補正領域に含ませる
   ことを特徴とする請求項１に記載の撮像装置。
4. 撮影によって得られる、ぶれを含む入力画像から復元画像を生成する撮像装置において、
   前記入力画像内に定義された複数の部分領域に対応するコントラスト情報を記憶する情報記録手段と、
   前記コントラスト情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定手段と、
   前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理手段と、を備えており、
   撮影時に、前記情報記録手段によりコントラスト情報を記憶し、
   撮影後の補正時に、前記補正領域設定手段により前記分類を行うと共に、前記補正処理手段により前記復元画像を生成する
   ことを特徴とする撮像装置。
5. 撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、
   前記入力画像は、顔領域に合焦するような撮影によって得られ、
   当該画像復元方法は、
   撮影時に、前記入力画像内における前記顔領域の位置を特定する情報を含む顔検出情報を記憶する情報記録ステップと、
   撮影後の補正時に、
   前記情報記録ステップにおいて記憶された前記顔検出情報に基づいて、前記入力画像内を補正領域と非補正領域に分類する補正領域設定ステップと、
   前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備えた
   ことを特徴とする画像復元方法。
6. 撮影によって得られる、ぶれを含む入力画像から復元画像を生成する画像復元方法において、
   撮影時に、前記入力画像内に定義された複数の部分領域に対応するコントラスト情報を記憶する情報記録ステップと、
   撮影後の補正時に、
   前記情報記録ステップにおいて記憶された前記コントラスト情報に基づいて、各部分領域を補正領域と非補正領域に分類する補正領域設定ステップと、
   前記ぶれを表すぶれ情報に基づいて前記補正領域に対して補正処理を行うことにより、前記復元画像を生成する補正処理ステップと、を備えた
   ことを特徴とする画像復元方法。

Images