JP5968026B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮影された画像に撮影情報を付加するデジタルスチルカメラ等の撮像装置に関する。

撮影光学系により結像された被写体光を撮像素子で撮像するとともに、撮影画像におけるデフォーカス量分布を検出し、画像データに対してデフォーカス量分布に基づく処理を施すという技術が開示されている（特許文献１参照）。

特開２００８−１５７５４号公報

しかしながら、特許文献１で開示されている技術は、撮影時の絞り設定値に応じた被写界深度のデフォーカス量分布に基づく処理を施す為、必ずしも撮影者所望の処理を施すことが出来ないという問題が起こりえた。特許文献１は、撮影時の絞り設定値だけで、つまり、単１の絞り設定時で得られた情報に基づいて画像データに対してデフォーカス量分布に基づく処理を施していた。

そこで、本発明は上記課題を解決し、画像品位を向上させることを目的にする。

上記目的を達成する為に、本発明の撮像装置は、撮影光学系により結像された被写体光を撮像する撮像素子と、デフォーカス量分布を生成するデフォーカス量分布生成手段と、前記前記撮像素子により撮像された撮影画像を記録する記録手段と、画像処理を行う画像処理手段と、を有する撮像装置であって、前記デフォーカス量分布生成手段は、前記撮影画像を取得したタイミングのＦナンバーと異なるＦナンバーで取得した画像からデフォーカス量分布を生成し、前記記録手段は、当該デフォーカス量分布生成手段が生成したデフォーカス量分布を前記記録する撮影画像に関連付けて記録し、前記画像処理手段は、前記関連付けて記録されているデフォーカス量分布を用いて前記記録されている撮影画像に画像処理を行うことができる構成とした。

本発明の撮像装置によれば、撮影後に作成者所望の処理を施せる為、画像品位を向上させる事が出来る。

撮像装置の構成図である 撮像素子の撮像用画素の平面図と断面図である 撮像素子の焦点検出用画素１の平面図と断面図である 撮像素子の焦点検出用画素２の平面図と断面図である 本発明の第１の実施形態のデフォーカスマップ作成フロー図である Ｆ値による被写界深度の違いを説明する図である 本発明の第２の実施形態のデフォーカスマップ作成フロー図である 本発明の画像処理方法を説明する図である

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

〔第１の実施形態〕
図１〜図６は本発明の第１の実施形態に係わる図である。以下、図を用いて第１の実施形態の作用を説明する。

（焦点算出装置の構成）
図１は本発明の撮像装置としてのデジタルスチルカメラの構成図で、撮影光学系により結像された被写体光を撮像する撮像素子を有したカメラ本体１３８と、別体の撮影レンズ１３７とで構成されており、カメラ本体１３８に対して撮影レンズ１３７が交換可能な電子カメラを示している。

まず、撮影レンズ１３７の構成について説明する。１０１は、撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は、絞りで、その開口径を調節することで撮影時の光量調節を行なう。１０３は第２レンズ群である。そして、絞り１０２及び第２レンズ群１０３は１体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は、第３レンズ群で、光軸方向の進退により、焦点検出を行なう。１１１は、ズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は、絞りアクチュエータで、絞り１０２の開口径を制御して被写体光の撮影光量を調節する。１１４は、フォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点検出を行なう。

１３６は、カメラ通信回路で、レンズに関する光学情報をカメラに渡したり、カメラに関する情報を受け取ったりする。レンズに関する光学情報とは、ズーム状態、絞り状態、フォーカス状態、レンズ枠情報等のことである。カメラ通信回路１３６は、カメラ側に設けられたレンズ通信回路１３５に、これらの情報を渡す。

次に、カメラ本体１３８について説明する。１０６は、光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は、Ｃ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。１３９は、シャッターユニットで、静止画撮影時の露光時間制御を行なう。１４０は、シャッター１３９を動かすためにシャッターアクチュエータである。

１２１は、ＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、撮影、画像処理、ボケ復元処理、記録等の１連の動作を実行する。

また、ＣＰＵ１２１では、本発明のデフォーカス量分布生成手段や記録手段に関する演算処理が行われる。デフォーカス量分布生成手段では、位相差ＡＦやコントラストＡＦ（ＴＶ−ＡＦ）が行われる。

１２４は、撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は、画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６は、フォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点検出を行なう。１２８は、絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９は、ズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３５は、レンズ通信回路、撮影レンズ１３７内のカメラ通信回路１３６と通信を行なう。１４５は、シャッター駆動回路で、シャッターアクチュエータ１４０を駆動する。

１３３は、着脱可能なフラッシュメモリで、本発明の記録手段を用いて、本発明のデフォーカス量分布生成手段で生成されたデフォーカス量分布が関連付けられた撮影画像が記録される。１４４は、カメラ内メモリであり、ＣＰＵ１２１で行なう演算に必要な各種データが保存されている。

ここで、本発明のデフォーカス量分布生成手段で用いられる位相差ＡＦについて説明する。ＣＰＵ１２１は、１対の像信号に対して相関演算を行うことで、それらの相対的な位置ずれを示す位相差を算出し、位相差に基づいて撮影レンズ１の焦点状態（焦点ずれ量）を算出（検出）する。そして、ＣＰＵ１２１は、焦点ずれ量に基づいて、合焦状態を得るためにフォーカスレンズを移動させる量を算出する。

例えば、特登録４８６１０５７号公報に開示の位相差ＡＦが本発明の位相差ＡＦに適用できる。

次に、本発明のデフォーカス量分布生成手段で用いられるコントラストＡＦについて説明する。コントラストＡＦとは、フォーカスレンズを駆動しながらイメージセンサで撮像された被写体像のコントラスト評価を行うことで合焦位置を検出する焦点検出方式である。

例えば、特開平１０−４２１７３号公報に開示のコントラストＡＦが本発明のコントラストＡＦに適用できる。

次に、本発明のデフォーカス量分布生成手段で用いられる撮像面位相差ＡＦについて説明する。本実施形態では、デフォーカス量分布生成手段で用いられるＡＦ（オートフォーカス）として、撮像面位相差ＡＦについて説明している。しかし、前述したコントラストＡＦ、もしくは位相差ＡＦを用いても同様の効果を得ることが出来る。図２、図３ないし図４は、本発明の撮像用画素と撮像面位相差ＡＦでの焦点検出用画素の構造を説明する図である。

（撮像用画素の構造）
図２は、撮像用画素の構造を説明する図であり、撮像用画素の１部分を拡大した平面図と断面図を示している。なお、本実施形態においては、図２記載の２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。図２（ａ）は撮像素子の中央に位置する２行×２列の撮像用画素の平面図である。ベイヤー配列では対角方向にＧ画素が、他の２画素にＲ画素とＢ画素が配置される。そして、２行×２列の構造が繰り返し配置される。図２（ａ）の断面Ａ−Ａを図２（ｂ）に示す。ＭＬは各撮像用画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影レンズを模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズＴＬの射出瞳ＥＰ（瞳領域ともいう）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図２（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ画素も同１の構造となっている。従って、撮像用のＲＧＢ各画素の受光可能な領域は大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

（焦点検出用画素１の構造）
図３は、焦点検出用画素１の構造を説明する図であり、撮影レンズＴＬの図３（ｂ）中ｘ方向に瞳分割を行なうための焦点検出用画素の１部分を拡大した平面図と断面図を示している。図３（ａ）は、撮像素子の中央に位置する焦点検出用画素を含む２行×２列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感である為、Ｇ画素が欠損すると画質劣化が認められやすい。その為、Ｇ画素は輝度情報の主成分をなす。１方でＲ画素もしくはＢ画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するＲ画素もしくはＢ画素は多少の欠損が生じても画質劣化に気づきにくい。

そこで、本実施形態においては、２行×２列の撮像用画素のうち、Ｇ画素は撮像用画素として残してＲ画素とＢ画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図３（ａ）においてＳＨＡ及びＳＨＢで示す。図３（ａ）の断面Ｂ−Ｂを図３（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図２（ｂ）に示した撮像用画素と同１構造である。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏倚している。

具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面右側の射出瞳ＥＰＨＢを通過した光束を受光する。ここで、焦点検出用画素ＳＨＡをｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＡで取得した第１の像信号を像信号Ａとする。

また、焦点検出用画素ＳＨＢもｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＢで取得した第２の像信号を像信号Ｂとする。すると、像信号Ａと像信号Ｂの相対的な像ずれ量から撮影レンズのデフォーカス量が算出できる。これに基づいて、撮影レンズの焦点ずれ量を調節する。

（焦点検出用画素２の構造）
図４は、焦点検出用画素２の構造を説明する図であり、図３と同様に、撮影レンズＴＬの図４（ｂ）中ｘ方向に瞳分割を行なうための焦点検出用画素の１部分を拡大した平面図と断面図を示している。図４（ａ）は、撮像素子中央に位置する焦点検出用画素を含む２行×４列の焦点検出用画素の平面図である。図４（ａ）の断面Ｃ−Ｃを図４（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図３（ｂ）に示した撮像用画素と同１構造である。また、１つの撮像素子で瞳分割を行なうため、図４（ａ）中のＲＧＢの各画素は、光電変換部ＰＤが２分割されている。

具体的には、焦点検出用画素ＤＡの光電変換部ＰＤＡは＋ｘ方向に偏倚しているため、図４（ｂ）の撮影レンズＴＬの紙面右側の射出瞳ＥＰＤＡを通過した光束を受光する。同様に、画素ＤＢの光電変換部ＰＤＢは−ｘ方向に偏倚しているため、図４（ｂ）の撮影レンズＴＬの紙面左側の射出瞳ＥＰＤＢを通過した光束を受光する。ここで、焦点検出用画素ＤＡをｘ方向に規則的に配列し、これらの焦点検出用画素群ＤＡで取得した第１の像信号を像信号Ａ´とする。また、焦点検出用画素ＤＢもｘ方向に規則的に配列し、これらの焦点検出用画素群ＤＢで取得した第２の像信号を像信号Ｂ´とする。すると、像信号Ａ´と像信号Ｂ´の相対的な像ずれ量から撮影レンズのデフォーカス量が算出できる。これに基づいて、撮影レンズのデフォーカス量（焦点ずれ量）を調節する。

しかし、例えば、特開平０１−２１６３０６のように撮像素子の受光部を２分割して、位相差検出方式を用いて焦点ずれ量を検出する技術が公開されており、本発明はこのような受光部を分割するような撮像素子においても同様の結果を得ることができる。

図３記載のＳＨＡ、ＳＨＢは、それぞれ第１の画素群、第２の画素群である。これらは、ベイヤー配列の間に、所定の規則にて分散配置される。第１の画素群、第２の画素群から得られた被写体像の位相差を用いて、ＣＰＵ１２１でこの画素群におけるデフォーカス量（焦点ずれ量）が算出される。

撮像用画素の間に、焦点検出用画素を離散的に配置する技術や、この焦点検出用画素を用いて焦点検出を行う技術は、特開２０００−２０６９１号公報で開示されていて公知の技術であるため、説明は省略する。

そして２次元平面上に配置された各焦点検出用画素の出力に基づいてこの平面のデフォーカス量分布が求められる。

（デフォーカス量分布生成の演算フロー）
次に、本発明の第１の実施形態のフローについて、図５を用いて説明する。図５は本発明の第１の実施形態の動作を説明するためのフローチャートである。

撮影者がカメラの電源スイッチをオン操作すると、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行なう。更に、メモリ内容や実行プログラムの初期化を行ない、選択されている焦点検出位置などの測距に必要な情報を読み出すと共に、撮影準備動作を実行する。

ステップＳ００１では、レンズ通信回路１３５を介して撮影レンズ内のカメラ通信回路１３６とレンズ通信を行なう。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要なレンズの諸特性データを取得し、カメラ内メモリ１４４に保存する。動作が完了するとステップＳ００２へと進む。

ステップＳ００２では、撮影者によって撮影指示がされた（Ｓ１オン）か否かを判別し、撮影指示されていなければステップＳ００２にて撮影待機状態を維持する。ステップＳ００２で撮影指示されるとステップＳ００３に移行する。

ステップＳ００３では、撮像素子の撮像動作を開始して、撮像面位相差ＡＦの為の画像を取得する。

ステップＳ００４では、位相差検出方式を用いて被写体の位相差に基づき、焦点ずれ量を検出する撮像面位相差ＡＦを行う。なお、本実施形態では撮像面位相差ＡＦを使用しているが、その他のＡＦ方式（コントラストＡＦ、位相差ＡＦ）を用いても同様な効果を得ることが出来る。

ステップＳ００５では、撮影者によって撮影指示がされた（Ｓ２オン）か否かを判別し、撮影指示されていなければステップＳ００５にて撮影待機状態を維持する。ステップＳ００５で撮影指示がされるとステップＳ００６に移行する。

ステップＳ００６では、ステップＳ００１で取得した撮影レンズ情報（Ｆナンバーなど）に基づいて、撮像素子の撮像動作を開始して、撮影画像を取得する。

ステップＳ００７では、ステップＳ００６で取得した撮影画像が取得されたタイミング時のＦナンバーと異なるＦナンバー（撮影画像のＦナンバーよりも大きなＦナンバー、撮影画像のＦナンバーよりも小さなＦナンバー）を設定して、本発明のデフォーカス（ＤｅＦ）量分布生成手段に用いるデフォーカス量分布生成用画像を取得する。本実施形態では、ステップＳ００７で取得するデフォーカス量分布生成用画像は１枚で説明しているが、デフォーカス量分布生成用画像のＦナンバーは撮影画像のＦナンバーよりも、大きなＦナンバーであっても小さなＦナンバーであっても良い。また、取得するデフォーカス量分布生成用画像は複数枚であっても同様な効果を得ることが出来る。

つまり、撮影画像のＦナンバーよりも大きなＦナンバーで取得したデフォーカス量分布生成用画像、撮影画像のＦナンバーよりも小さなＦナンバーで取得したデフォーカス量分布生成用画像の２種類を用いても良い。

また、撮影画像のＦナンバーよりも大きなＦナンバーで取得したデフォーカス量分布生成用画像を複数枚を用いても良い。つまり、撮影画像のＦナンバーよりも大きなＦナンバーであるが各々異なる大きさのＦナンバーで取得したデフォーカス量分布生成用画像を複数枚を用いても良い。

撮影画像のＦナンバーよりも小さなＦナンバーで取得したデフォーカス量分布生成用画像を複数枚を用いても良い。つまり、撮影画像のＦナンバーよりも小さなＦナンバーであるが各々異なる大きさのＦナンバーで取得したデフォーカス量分布生成用画像を２種類以上を用いても良い。

ステップＳ００８では、ステップＳ００７で取得したデフォーカス量分布生成用画像を用いて、デフォーカス量分布を生成する。ステップＳ００７で取得したデフォーカス量分布生成用画像を微小ブロックに分割し、微小ブロックごとにデフォーカス量を算出する。これにより、画面全体に渡り２次元状のデフォーカス量分布が得られる。本実施形態のように、撮影画像とは異なるＦナンバーで取得したデフォーカス量分布生成用画像を用いることで、被写界深度の異なるデフォーカス量分布を生成することが出来る。本実施形態ではデフォーカス量分布を生成する際に使用する画像として、ステップＳ００７で取得したデフォーカス量分布生成画像を用いたが、ステップＳ００６で取得した撮影画像、もしくは、撮影画像が取得されたタイミング時のＦナンバーと異なるＦナンバーで取得したデフォーカス量分布生成用画像及び撮影画像の両方を用いても同様な効果を得ることが出来る。

ここで、図６を用いて、Ｆナンバーと被写界深度の関係を説明する。図６はＦナンバーによる被写界深度の違いを示した図である。図中の「ｌ」は撮像装置から主被写体までの距離（以下、主被写体距離という）を表す。同図において、主被写体距離ｌに対して被写体にピントが合っている状態で、距離ｌよりも撮像装置から遠い部分でピントが合う後方被写界深度を「Ｄｂ」とし、距離ｌよりも近い部分でピントが合う前方被写界深度を「Ｄａ」とする。被写界深度を「Ｄ」、レンズの焦点距離を「Ｆ」、撮影レンズ部の絞りのＦナンバーを「Ｆｎｏ」とし、許容錯乱円を「σ」とすると、撮影条件から、被写界深度は下式で表される。

上式（（１）、（２）、（３））から、Ｆナンバーが小さい場合には、被写界深度「Ｄ」が浅くなり（図７−Ａ）、Ｆナンバーが大きい場合には被写界深度「Ｄ」が深くなる（図７−Ｂ）ことが分かる。また、主被写体距離が遠くなったとしても、被写界深度は深くなる。

ステップＳ００９では、ステップＳ００８で取得したデフォーカス量分布をステップＳ００６で取得した撮影画像に関連付けて、着脱可能なフラッシュメモリ１３３に記録する。本実施形態では、記録手段１３３によって撮影画像にデフォーカス量分布を関連付けて記録したが、ステップＳ００８で取得したデフォーカス量分布とステップＳ００１で取得したレンズ情報を用いて、本発明の被写体距離分布生成手段を用いて被写体距離分布を生成し、本発明の記録手段１３３を用いて撮影画像に関連付けて記録したとしても同様の効果を得ることが出来る。以上のようにして、１連のフローが終了する。被写界深度「Ｄ」が浅い場合（図７−Ａ）、主被写体付近の被写体距離分解能が高くなる。また、被写界深度「Ｄ」が深い場合（図７−Ｂ）に比べて、逆に被写体距離検知範囲が狭くなる。

以上のように、第１の実施形態によれば、撮影画像だけでなく、撮影時とは異なるＦナンバーを設定して取得したデフォーカス量分布生成用画像からも（図５、図６を用いて説明した方法などで）デフォーカス量分布を生成して、撮影画像に関連づけて記録することが出来る。その為、撮影画像に処理を施す際、撮影者所望の処理を施すことが可能となる。

例えば、図８のような近景（人：主被写体）、中景（木）、遠景（山、雲）が写っている撮影画像が取得できた場合を考えてみる。この時、撮影時に明るいＦナンバーで画像を取得していた場合、主被写体である近景の人にピントが合って、中景、遠景はボケた画像となる。そして、明るいＦナンバーから生成されたデフォーカス量分布では、近景、中景、遠景の３つの状態で全てピントを合わせられない。そこで、撮影時よりも暗いＦナンバーで取得した画像から生成されるデフォーカス量分布を用いることで、画像処理手段としてのＣＰＵ１２１にてパンフォーカス画像にする画像処理を精度よく行うことが出来る。

また、画像処理手段としてのＣＰＵ１２１にてパンフォーカス画像にする画像処理だけでなく、ボケた画像にするボケ処理（画像処理）を行うこともできる。例えば、撮影時に暗いＦナンバーで画像を取得していた場合、全体にピントが合ったような画像となる。この時、撮影時よりも明るいＦナンバーで取得したが図から生成されるデフォーカス量分布を用いることで、近景の主被写体にピントが合って、中景、遠景はボケた画像にするボケ処理を精度よく行うことが出来る。

パンフォーカスとは、写真撮影において被写界深度を深くする事によって、近距離から遠距離までピントを合わせる方法である。

ボケ表現の写真が、主たる被写体に対しスポットライトのように注意を集中させる効果があるのに対して、パンフォーカスの写真は全体に注意を分散させ、主たる被写体とその周囲の環境との関係を明確にするという効果を持つ。

なお、第１の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

〔第２の実施形態〕
図７は本発明の第２の実施形態に係わるフローチャートである。以下第２の実施形態の作用を説明する。第２の実施形態は撮影シーンに応じて、デフォーカス量分布生成用画像を取得するか否かの判定を行う部分が第１の実施形態と異なる。

ステップＳ１０１からステップＳ１０６の動作は本発明の第１の実施形態の動作を示した図７のステップＳ００１からステップＳ００６と同じ動作の為、説明を省略する。

ステップＳ１０７では、ステップＳ１０４で取得した主被写体の撮影距離に応じて、デフォーカス量分布撮影用画像を取得するか否かを判定する。例えば、主被写体距離が遠いシーンでは、前述した被写界深度の式（１）、（２）、（３）から、Ｆナンバーが大きい場合だけでなく、Ｆナンバーが小さい場合においても被写界深度が深くなる。この場合、Ｆナンバーによるデフォーカス量分布の違いがほとんどない為、撮影画像のみを用いてデフォーカス量分布を生成する。

ステップＳ１０７でデフォーカス量分布生成用画像をさらに取得すると判定された場合には、ステップＳ１０８に移行する。また、ステップＳ１０７でデフォーカス量分布生成用画像を取得しないと判定された場合には、ステップＳ１０９に移行する。ここで、第２の実施形態では主被写体距離を用いて、デフォーカス量分布撮影用画像を取得するか否か判定したが。けれども、さらに主被写体距離が遠いシーンであると考えられる風景撮影モードが選択されたか否かに応じて、デフォーカス量分布撮影用画像を取得するか否かを判定したとしても同様の効果を得ることが出来る。

ステップＳ１０８は、ステップＳ１０７でデフォーカス量（ＤｅＦ量）分布生成用画像をさらに取得すると判定された場合に行われる。なお、ステップＳ１０８の動作は第１の実施形態のフロー図７のステップＳ００７と同様の為、説明を省略する。

ステップＳ１０９は、ステップＳ１０７でデフォーカス量分布生成用画像を取得しないと判定された場合、もしくはステップＳ１０８でデフォーカス量分布生成用画像を取得した後に行われる。ステップＳ１０７でデフォーカス量分布生成用画像を取得しないと判定された場合には、ステップＳ１０６で取得した画像からデフォーカス量分布を生成する。また、ステップＳ１０８でデフォーカス量分布生成用画像を取得した後にステップＳ１０９に移行した場合には、ステップＳ１０６で取得した画像とステップＳ１０８で取得した画像とからデフォーカス量分布を生成する。

ステップＳ１１０の動作は第１の実施形態の動作を示した図７のステップＳ００９と同様の為、説明を省略する。以上のようにして、１連のフローが終了する。

以上の様に、第２の実施形態によれば、撮影シーンに応じて適切なデフォーカス量（ＤｅＦ量）分布を生成することが出来る。なお、第２の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０７ 撮像素子
１２１ ＣＰＵ
１３３ フラッシュメモリ
１３５ レンズ通信回路
１３６ カメラ通信回路
１３７ 撮影レンズ
１３８ カメラ本体
１４４ カメラ内メモリ

Claims (8)

1. 撮影光学系により結像された被写体光を撮像する撮像素子と、デフォーカス量分布を生成するデフォーカス量分布生成手段と、前記前記撮像素子により撮像された撮影画像を記録する記録手段と、画像処理を行う画像処理手段と、を有する撮像装置であって、
   前記デフォーカス量分布生成手段は、前記撮影画像を取得したタイミングのＦナンバーと異なるＦナンバーで取得した画像からデフォーカス量分布を生成し、
   前記記録手段は、当該デフォーカス量分布生成手段が生成したデフォーカス量分布を前記記録する撮影画像に関連付けて記録し、
   前記画像処理手段は、前記関連付けて記録されているデフォーカス量分布を用いて前記記録されている撮影画像に画像処理を行うことができることを特徴とする撮像装置。
2. 更に、前記デフォーカス量分布生成手段は、前記撮影画像が取得されたタイミングのＦナンバーで取得した画像を用いてデフォーカス量分布を生成し、前記記録手段は、前記デフォーカス量分布を前記撮影画像に関連付けて記録することを特徴とする請求項１に記載の撮像装置。
3. 前記デフォーカス量分布生成手段は、前記撮影画像が取得されたタイミングのＦナンバーよりも大きいＦナンバーで取得した画像又は前記撮影画像が取得されたタイミングのＦナンバーよりも小さいＦナンバーで取得した画像を用いてデフォーカス量分布を生成し、前記記録手段は、前記デフォーカス量分布を前記撮影画像に関連付けて記録することを特徴とする請求項１に記載の撮像装置。
4. 前記デフォーカス量分布生成手段は、前記撮影画像が取得されたタイミングのＦナンバーよりも大きいＦナンバーで取得した画像を用いてデフォーカス量分布を生成すると共に前記撮影画像が取得されたタイミングのＦナンバーよりも小さいＦナンバーで取得した画像を用いてデフォーカス量分布を生成し、前記記録手段は、前記２種類のデフォーカス量分布を前記撮影画像に関連付けて記録することを特徴とする請求項１に記載の撮像装置。
5. 前記撮影光学系の光学情報及び前記デフォーカス量分布を用いて被写体距離分布を生成する被写体距離分布手段を有し、前記記録手段は、前記被写体距離分布を前記撮影画像に関連付けて記録することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記デフォーカス量分布生成手段は、前記撮影画像が取得されたタイミングのＦナンバーよりも大きいＦナンバーで取得した画像からデフォーカス量分布を生成し、前記記録手段は、前記デフォーカス量分布を前記撮影画像に関連付けて記録し、前記画像処理手段は、前記関連付けられて記録されているデフォーカス量分布を用いて前記撮影画像をパンフォーカス画像に画像処理を施すことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記デフォーカス量分布生成手段は、前記撮影画像が取得されたタイミングのＦナンバーよりも小さいＦナンバーで取得した画像からデフォーカス量分布を生成し、前記記録手段は、前記デフォーカス量分布を前記撮影画像に関連付けて記録し、前記画像処理手段は、前記関連付けられて記録されているデフォーカス量分布を用いて前記撮影画像に対してボケ処理を行う画像処理を施すことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
8. 撮像素子で取得した撮影画像からデフォーカス量分布を生成し、前記デフォーカス量分布を用いて前記撮影画像に画像処理を行う撮像装置の制御方法であって、
   記録用の撮影画像を取得したタイミングのＦナンバーと異なるＦナンバーで取得した画像からデフォーカス量分布を生成し、前記記録用の撮影画像に関連付けて記録した前記デフォーカス量分布を用いて前記記録されている撮影画像に画像処理を行うことを特徴とする撮像装置の制御方法。

Images