JP5464934B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

特許文献１は、撮影レンズの焦点ずれ量（デフォーカス量）を校正するように設定された工場出荷時の調整値をユーザが自由に補正可能とする撮像装置を開示している。特許文献２は、レンズ毎の自動焦点調節（ＡＦ）を微調節する機能（ＡＦマイクロアジャストメント）を有する撮像装置を開示している。特許文献３は、撮像素子に焦点検出用画素を設けて位相差検出機能を実現した撮像装置を開示している。

特開２００１−１７４６９０号公報 特開２００５−２２７６３９号公報 特開２００９−００３１２２号公報

従来、焦点ずれ量の補正値は撮影した画像（再生画像）を確認しながら設定していたため、補正値の設定と再生画像の確認を繰り返し行わなければならず、操作が困難であった。また、レーサーのヘルメットには焦点が合っているがレーサーの顔や目には焦点が合っていない場合、焦点検出すべき対象の焦点ずれ量を知る手段が従来は提案されていなかった。

本発明は、焦点検出すべき対象の焦点ずれ量を高精度且つ簡単に知らせるための画像処理装置、撮像装置及び画像処理方法を提供することを例示的な目的とする。

本発明の一側面としての画像処理装置は、焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点状態を検出する焦点検出手段と、被写体像を光電変換して生成した信号を出力する撮像手段と、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶する制御手段と、を有し、前記制御手段は、前記画像データの撮影の際にメモリに記憶された前記複数対の像信号のうち、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出し、当該焦点ずれ量に関する情報を表示部に表示させるよう制御することを特徴とする。

本発明の別の側面としての撮像装置の制御方法は、被写体像を光電変換して生成した信号を出力する撮像手段を有する撮像装置の制御方法であって、焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点検出領域の焦点状態を検出するステップと、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶するステップと、前記画像データの撮影の際にメモリに記憶された前記複数対の像信号の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点検出されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を有することを特徴とする。
また、本発明の別の側面としてのプログラムは、被写体像を光電変換して生成した信号を出力する撮像手段を有する撮像装置を制御するためのプログラムであって、焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点検出領域の焦点状態を検出するステップと、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶するステップと、前記画像データの撮影の際にメモリに記憶された前記複数対の像信号の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点検出されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を実行させることを特徴とする。
また、本発明の他の側面としての撮像装置は、撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出する焦点検出手段と、被写体像を光電変換して生成した信号を出力する撮像手段と、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶する制御手段と、を有し、前記制御手段は、前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出し、当該焦点ずれ量に関する情報を表示部に表示させるよう制御することを特徴とする。
また、本発明の他の側面としての撮像装置の制御方法は、撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、被写体像を光電変換して生成した信号を出力する撮像手段とを有する撮像装置の制御方法であって、焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出するステップと、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶するステップと、前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を有することを特徴とする。
また、本発明の別の側面としてのプログラムは、撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、被写体像を光電変換して生成した信号を出力する撮像手段とを有する撮像装置を制御するためのプログラムであって、焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出するステップと、前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶するステップと、前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を実行させることを特徴とする。

本発明は、焦点検出すべき対象の焦点ずれ量を高精度且つ簡単に表示する画像処理装置、撮像装置及び画像処理方法を提供することができる。

本発明が適用可能な撮像装置のブロック図である 図１に示す撮像装置の撮影動作のフローチャートである。 図２のＳ３００の詳細を説明するためのフローチャートである。 図３に示すＡＦ制御を説明するための図である。 図１に示す撮像装置の焦点ずれ量の表示処理方法を説明するためのフローチャートである。 図１に示す表示部に表示される画面の例を示す図である。 図５のＳ４０５とＳ５００を説明するための図である。 指定領域と焦点検出用画素列との関係を示す図である。 図５のＳ５００の詳細を説明するためのフローチャートである。 図５の変形例のフローチャートである。 図１０のＳ４１２において表示部に表示される画面の例を示す図である。

本実施例は、撮像装置で撮像した画像を処理する画像処理装置及び画像処理方法に関する。画像処理装置は、撮像装置と一体に構成されて画像処理が撮像装置内で実行されてもよいし、撮像装置と別体のパーソナルコンピュータ（ＰＣ）などの外部処理装置として構成されてもよい。画像処理方法は、プロセッサに画像処理機能を実現させるプログラムとして具体化される。

図１は、本発明が適用可能なデジタルカメラ（撮像装置）のブロック図である。本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と接続される。

レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影レンズを有する。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退し、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向の進退により焦点調節を行う。

駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。

ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。

フォーカスアクチュエータ１１３で、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。

ズーム駆動回路１１４は、ユーザのズーム操作に応じてズームアクチュエータ１１１を駆動する。シャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。

フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。

レンズＭＰＵ１１７は、撮影レンズに係る全ての演算、制御を行い、ズーム駆動回路１１４、シャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、駆動／制御系を有する。

光学的ローパスフィルタ１２１と撮像素子１２２はレンズユニット１００からの光束によって被写体像を形成する撮像光学系として機能する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。

撮像素子１２２はＣ−ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に１つの光電変換素子が配置され、被写体像を光電変換する。撮像素子１２２は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出（撮像面位相差ＡＦ）が可能となっている。

より具体的には、撮像素子１２２は、被写体の像を形成する撮影レンズの射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子１２２は、各々が撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影レンズの射出瞳の全域を通る光を受光することができる。例えば、撮像素子１２２は、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮影用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示部１２６、操作スイッチ（ＳＷ）群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、コントラスト（ＴＶＡＦ）焦点検出部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御すると共に、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。

カメラＭＰＵ（制御部、プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行うプロセッサである。カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示部１２６、操作ＳＷ１２７、メモリ１２８、撮像面位相差焦点検出部１２９、コントラスト焦点検出部１３０を制御する。

カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報（焦点距離など）を取得したりする。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。諸パラメータは、閾値ＣＨＬＦ、閾値ＪＦＦＬＤ、閾値Ｎｕｍ＿ＴＨ、閾値Ｃｏｎ＿ＴＨ、後述する指定領域３４の焦点ずれ量の補正量を含む。

カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納した後述するプログラムを実行する。例えば、カメラＭＰＵ１２５は、後述する図２及び図３のＳ３００に示すように、撮像面位相差焦点検出部１２９やコントラスト焦点検出部１３０の検出結果に基づいてレンズＭＰＵ１１７を介してフォーカスレンズ１０４を駆動するＡＦ制御を行う。

また、後述する図５のＳ４０５やＳ５００に示すように、カメラＭＰＵ１２５は、メモリ１２８が記憶した像信号の中で指定領域３４に対応する一対の像信号を特定する特定手段１２５ｄとして機能する。更に、カメラＭＰＵ１２５は、後述する図５のＳ４０６に示すように、特定手段１２５ｄが特定した一対の像信号を使用して指定領域３４の焦点ずれ量を位相差検出方式によって算出する算出手段１２５ｅとしても機能する。

なお、画像処理装置がＰＣであれば、ＰＣのプロセッサ（ＣＰＵ）が特定手段１２５ｄ、算出手段１２５ｅとしての機能を有する。もちろん、一つのプロセッサが特定手段と算出手段の両方の機能を兼ねる必要はなく、例えば、カメラとＰＣでこれらの機能は分散されてもよい。

表示部１２６は液晶モニタ（ＬＣＤ）などから構成される。表示部１２６は、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、撮影時に選択された焦点検出領域、指定領域３４、焦点検出時の合焦状態表示や指定領域３４の焦点ずれ量などを表示する。なお、画像処理装置がＰＣであれば、撮影後の画像、指定領域３４、指定領域３４は、ＰＣのディスプレイが表示する。

操作スイッチ群（以下、単に「操作ＳＷ」と呼ぶ）１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ（ＳＷ１、ＳＷ２）、ズーム操作スイッチ、撮影モード選択スイッチ、ダイヤル、その他の入力部で構成される。操作ＳＷ１２７はファインダーに表示される複数の焦点検出領域の中で実際に焦点検出すべき焦点検出領域を設定する設定部（設定手段）として機能する。

また、操作ＳＷ１２７は、メモリ１２８に記憶された画像に指定領域３４を設定する設定部（設定手段）としても機能する。更に、操作ＳＷ１２７は、指定領域３４の焦点ずれ量の補正量を撮像装置に設定するかどうかを決定する設定部（設定手段）や、設定された補正量を有効又は無効にする設定部（設定手段）としても機能する。また、操作ＳＷ１２７は、（指定領域３４の焦点ずれ量を補正する補正量を設定するための補正量設定メニューを含む）各種メニューを選択する選択手段としても機能する。

なお、画像処理装置がＰＣであれば、この設定部（設定手段）はＰＣの各種の入力部（キーボードやマウスなどのポインティングデバイス）となる。

メモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像（撮像素子１２２が出力する画像）を記録し、画像処理装置はこの画像を処理する。メモリ１２８は、複数の焦点検出領域と、複数の焦点検出領域において撮影時に焦点検出すべき対象として選択された焦点検出領域と、各焦点検出領域に対応する一対の像信号も更に記憶する。

撮像面位相差焦点検出部１２９は、撮像素子１２２に埋め込まれた焦点検出用画素の像信号により位相差検出方式での焦点検出処理を行う焦点検出手段である。具体的には、撮像面位相差焦点検出部１２９は、撮像レンズの一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の被写体像の像（信号）のずれ量を検出することによって撮影レンズの焦点状態を検出する撮像面位相差ＡＦを行う焦点検出手段である。撮像面位相差ＡＦの原理は、特許文献３の図５〜７、図１６などにおいて説明されているものと同様である。

コントラスト（ＴＶＡＦ）焦点検出部１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分によりコントラスト検出方式での焦点検出を行う焦点検出手段である。ＴＶＡＦは、焦点を検出する領域を規定する焦点検出枠といわゆる山登り方式によってフォーカスレンズ１０４を移動してコントラストがピークとなるフォーカスレンズ１０４の位置を検出する。

本実施例は撮像面位相差ＡＦとＴＶＡＦを組み合わせたハイブリッド焦点検出手段を使用する。このため、本実施例は、撮像面位相差ＡＦで高速にフォーカスレンズ１０４を合焦位置の近傍に移動させてからＴＶＡＦで高精度にフォーカスレンズ１０４を合焦位置に位置決めすることによって応答性と焦点検出精度の両立を達成している。

以下、図２及び図３を参照して撮影時の動作について説明する。図２は撮影時の動作を説明するためのフローチャートであり、図３は図２のＳ３００の詳細を説明するためのフローチャートである。図２及び図３において、「Ｓ」はステップの略であり、これは、後述する図５、図９及び図１０でも同様である。

まず、操作ＳＷ１２７の操作により撮影ボタンが押されると撮影処理が開始される（Ｓ２００）。カメラＭＰＵ１２５は、レリーズボタンの第１ストロークにてオンとなるスイッチであるＳＷ１の状態検知を行う（Ｓ２０１）。カメラＭＰＵ１２５は、ＳＷ１が押されたと判断すると（Ｓ２０１のＯＮ）、図３に示すＡＦ制御を行う（Ｓ３００）。カメラＭＰＵ１２５は、ＳＷ１が押されるまで待機する（Ｓ２０１のＮＯ）。

まず、カメラＭＰＵ１２５は、レンズユニット１００のレンズＭＰＵ１１７と通信して撮影レンズの焦点距離（ＬＦ）データを取得する（Ｓ３０１）。次に、カメラＭＰＵ１２５は、ユーザが操作ＳＷ１２７を介して設定した焦点検出領域に対応した焦点検出用画素列の像信号を読み出す（Ｓ３０２）。

図４（ａ）は、撮像面上に離散的に配置された焦点検出領域２１ａ〜２１ｉと対応する焦点検出用画素列を示す模式図である。各焦点検出領域には、それを中心として縦横に延びる画素列が割り当てられている。ユーザが操作ＳＷ１２７で焦点検出すべき焦点検出領域２１ａを設定すると、撮像面位相差焦点検出部１２９はそれに対応する焦点検出用画素列２２ａと２３ａの像信号を読み出す。

次に、カメラＭＰＵ１２５は、焦点距離ＬＦと閾値ＣＨＬＦとを比較し、像信号から焦点ずれ量を検出する際の演算画素数を決定する（Ｓ３０３）。例えば、図４（ｂ）に示す焦点検出用画素列２３ａには、レンズの広角側で背景の影響を受け難くするために、比較的短い演算対象範囲ＮＲＧＮ、ＮＲＧＮよりも広い演算対象範囲ＭＲＧＮ、ＭＲＧＮよりも広いＷＲＧＮが設定されている。ＭＲＧＮ、ＷＲＧＮの中心は焦点検出用画素列２３ａの中心と一致し、ＷＲＧＮは焦点検出用画素列２３ａの全長に亘っている。ＷＲＧＮは、ＮＲＧＮ、ＭＲＧＮの領域でデフォーカス検出できない場合に使用する。

具体的には、カメラＭＰＵ１２５は、焦点距離ＬＦが閾値ＣＨＬＦ以上である（ＬＦ≧ＣＨＬＦ）と判断すると（Ｓ３０３のＹＥＳ）、即ち、撮影時の焦点距離ＬＦが閾値ＣＨＬＦよりも望遠側であれば、ＭＲＧＮで相関演算を行う（Ｓ３０４）。一方、カメラＭＰＵ１２５は、焦点距離ＬＦが閾値ＣＨＬＦ未満である（ＬＦ＜ＣＨＬＦ）と判断すると（Ｓ３０３のＮＯ）、即ち、撮影時のレンズの焦点距離ＬＦが閾値ＣＨＬＦよりも望遠側であれば、ＮＲＧＮで相関演算を行う（Ｓ３０５）。

次に、カメラＭＰＵ１２５は、Ｓ３０４及びＳ３０５の相関演算処理により検出した焦点ずれ量ＤＥＦの絶対値と閾値ＪＦＦＬＤとを比較する（Ｓ３０６）。ＪＦＦＬＤは合焦と見なし得るデフォーカス量の幅（合焦幅）である。カメラＭＰＵ１２５は、焦点ずれ量ＤＥＦが合焦幅内であると判断すると（｜ＤＥＦ｜≦ＪＦＦＬＤ）（Ｓ３０６のＹＥＳ）、フォーカスレンズ１０４の駆動を停止して（Ｓ３０７）ＡＦ制御を終了する（Ｓ３０９）。また、カメラＭＰＵ１２５は、合焦幅範囲外（｜ＤＥＦ｜＞ＪＦＦＬＤ）と判断すると（Ｓ３０６のＮＯ）、焦点ずれ量に応じてフォーカスレンズ１０４の駆動を行い（Ｓ３０８）、フローはＳ３０２に戻る。

ＡＦ制御を終了すると、カメラＭＰＵ１２５は、レリーズボタン第２ストロークにてオンとなるスイッチであるＳＷ２の状態検知を行う（Ｓ２０２）。カメラＭＰＵ１２５は、ＳＷ２が押されたと判断すると（Ｓ２０２のＯＮ）、撮影処理を行い（Ｓ２０３）、画像情報を生成し、ファイルへの記録を行う。この撮影処理では、例えば、ユーザが選択した焦点検出領域２１ａにピントがあった画像が得られる。カメラＭＰＵ１２５はＳＷ２が所定時間内に押されなかったと判断すると、フローはＳ２０１に戻る。

次に、カメラＭＰＵ１２５は、図４（ａ）に示す焦点検出用画素列の出力像信号情報をメモリ１２８のファイルへ記録して（Ｓ２０４）、処理を終了する（Ｓ２０５）。ファイルへの記録方法としては撮像面の画素出力値としてＲＡＷ画像ファイルに埋め込んでもよいし、別ファイルに分離して記録してもよい。

例えば、焦点検出用画素列２３ａの像信号情報は、図４（ｃ）のようにＡ像、Ｂ像（Ａ像、Ｂ像は特許文献３に定義されているものと同様である）という一対の被写体像の画素番号に対する出力値として得られる。このため、カメラＭＰＵ１２５は、図４（ｄ）に示すテーブルをメモリ１２８に記録する。図４（ｄ）において、開始座標、終了座標は図４（ａ）の左上を原点とする座標にて焦点検出用画素列２３ａの左端座標、右端座標に相当する。

以上の処理によって、撮影時は焦点検出用画素列の固定範囲の信号情報に基づいて焦点検出及び合焦処理を行い、画像と撮像面全体に関わる焦点検出用画素列の像信号の情報をメモリ１２８のファイルに記録する。

次に、図５に示すフローチャートを参照して、カメラＭＰＵ１２５が実行する焦点ずれ量の表示処理方法について説明する。

焦点ずれ量の表示処理が開始すると（Ｓ４００）、まず、カメラＭＰＵ１２５は、メモリ１２８に記憶された画像と撮影時に選択した焦点検出領域とを表示部１２６に同時に再生表示されたかどうかを判断する（Ｓ４０１）。図６（ａ）は、表示部１２６の画面を示しており、ヘルメットをかぶった被写体（人物）の画像３０に、撮影時に選択された焦点検出領域３１が示されている。カメラＭＰＵ１２５は、画像３０と焦点検出領域３１が表示部１２６に表示されるまで待機する。

次に、カメラＭＰＵ１２５は、操作ＳＷ１２７によって表示部１２６に表示された画像３０に対して指定領域３４が（例えば、ドラッグによって）設定されたかどうかを判断する（Ｓ４０２）。図６（ｂ）は、指定領域３４を矩形の点線で示している。

次に、カメラＭＰＵ１２５の特定手段１２５ｄは、メモリ１２８が記憶した像信号の中で指定領域３４に対応する一対の像信号を特定する。具体的には、カメラＭＰＵ１２５は、指定領域３４に少なくとも一部が含まれる焦点検出用画素列の数Ｎを取得する（Ｓ４０３）。図２（ｃ）は、指定領域３４に少なくとも一部が含まれる３つの焦点検出用画素列３２ａ、３２ｂ、３３ａを示しており、従って、この場合は、焦点検出用画素列の数Ｎは３となる。

次に、カメラＭＰＵ１２５は、複数の焦点検出用画素列が存在するかどうか（Ｎが１かどうか）を判断する（Ｓ４０４）。カメラＭＰＵ１２５は、Ｎ＝１であると判断すると（Ｓ４０４のＹＥＳ）、各焦点検出用画素列と指定領域３４との両者で重複する領域に対応する画素範囲を検出する（Ｓ４０５）。例えば、焦点検出用画素列の出力信号が図７に示される場合、カメラＭＰＵ１２５は、指定領域３４に相当する画素領域３５、即ち、演算開始位置の画素値（インデックス）と演算終了位置の画素値を求める。例えば、焦点検出用画素列３２ａと指定領域３４の座標が図８に示すように定義されている場合、カメラＭＰＵ１２５は、演算開始位置と演算終了位置の画素値を以下のように算出する。

演算開始位置の画素値、演算終了位置の画素値に対応する像信号情報が図４（ｄ）のテーブル形式で、Ａ像［演算開始位置画素値］〜Ａ像［演算終了位置画素値］、Ｂ像［演算開始位置画素値］〜Ｂ像［演算終了位置画素値］に記録されている。これにより、指定領域３４の像信号情報を得ることができる。

一方、Ｎが２以上であれば（Ｓ４０４のＮＯ）、カメラＭＰＵは、一つの焦点検出用画素列を選択する（Ｓ５００）。

次に、カメラＭＰＵ１２５（の算出手段１２５ｅ）は、特定手段１２５ｅが特定した一対の像信号を使用して指定領域３４の焦点ずれ量を算出する。即ち、Ｓ４０５又はＳ５００の後で、カメラＭＰＵ１２５は、指定領域３４に対応する焦点検出用画素列の画素範囲、図４（ｄ）のテーブルから得られる像信号の出力値及び位相差検出方式の相関演算を用いて指定領域３４の焦点ずれ量を算出する（Ｓ４０６）。

次に、カメラＭＰＵ１２５は、図６（ｄ）に示すように、表示部１２６に画像３０、撮影時に選択されて合焦された焦点検出領域３１、指定領域３４、指定領域３４の（焦点検出領域３１からの）焦点ずれ量３６を同時に表示する（Ｓ４０７）。図６（ｄ）では、指定領域３４の焦点ずれ量３６は「ＸＸステップ」として表示部１２６の画面の右下のフィールドに表示されているが、このフィールドの位置やサイズは限定されない。

次に、カメラＭＰＵ１２５は、指定領域の焦点ずれ量の算出を継続するかどうかを、不図示のユーザの操作がなされたかどうかに基づいて判断し（Ｓ４０８）、継続すると判断した場合には（Ｓ４０８のＹＥＳ）フローはＳ４０２に戻る。一方、カメラＭＰＵ１２５は、継続しないと判断した場合には（Ｓ４０８のＮＯ）処理を終了する（Ｓ４０９）。

以下、図９を参照して、Ｓ５００の詳細について説明する。図９は、カメラＭＰＵ１２５が実行する焦点検出用画素列選択処理Ｓ５００の詳細を説明するフローチャートである。

Ｓ５０１〜Ｓ５０６は、Ｓ４０３で求めた各焦点検出画素列について行なうルーチンである。

まず、カメラＭＰＵ１２５は、Ｓ４０５と同様に、指定領域３４に少なくとも一部が含まれる各焦点検出用画素列の指定領域３４内の画素範囲を検出する（Ｓ５０２）。

次に、カメラＭＰＵ１２５は、Ｓ５０２で求めた画素範囲の画素数Ｎｕｍ［Ｉ］をＲＡＭ１２５ｂに記憶する（Ｓ５０３）。例えば、図７に示す画素領域３５に少なくとも一部が含まれる焦点検出用画素列の画素位置は左端から第１８画素から第３５画素までで画素数Ｎｕｍ［Ｉ］＝３５−１８＋１＝１８となる。

次に、カメラＭＰＵ１２５は、Ｓ５０２で求めた画素範囲の像信号のコントラスト値Ｃｏｎ［Ｉ］をＲＡＭ１２５ｂに記憶する（Ｓ５０４）。コントラスト値は、焦点検出用画素列の像信号の隣接する画素間における出力差の絶対値の和から算出する１次コントラストや、隣接する画素間における出力差の２乗和から算出する２次コントラストを採用する。

次に、カメラＭＰＵ１２５は、Ｓ５０２で求めた画素範囲の像信号（Ａ像とＢ像）の一致度ＦＬｖｌ［Ｉ］をＲＡＭ１２５ｂに記憶する（Ｓ５０５）。像の一致度は焦点検出用画素出力の波形の一致度を評価するものであって一対の被写体像の相関演算により求める。

各焦点検出画素列に一致度を求めたら（Ｓ５０６）、カメラＭＰＵ１２５は、Ｉ個の焦点検出用画素列の中で焦点ずれ量の算出に用いる焦点検出用画素列を選択する。まず、カメラＭＰＵ１２５は、Ｎｕｍ［Ｉ］の最大値Ｎｕｍ＿ｍａｘを取得する（Ｓ５０７）。

Ｓ５０８〜Ｓ５１２は、全ての候補である焦点検出用画素列を対象として指定領域３４に含まれる画素範囲に関するルーチンである。

まず、カメラＭＰＵ１２５は、検索用インデックスＩを１に設定し、画素列個数管理用の変数Ｔｅｍｐ＿ｎｕｍをクリアする（０に設定する）（Ｓ５０８）。

次に、カメラＭＰＵ１２５は、Ｎｕｍ＿ｍａｘとＮｕｍ［Ｉ］との差分を閾値Ｎｕｍ＿ＴＨと比較する（Ｓ５０９）。カメラＭＰＵ１２５は、差分が閾値Ｎｕｍ＿ＴＨよりも大きいと判断した場合は（Ｓ５０９のＮＯ）、焦点検出用画素列のＣｏｎ［Ｉ］、ＦＬｖｌ［Ｉ］の値をクリアする（Ｓ５１０）。一方、カメラＭＰＵ１２５は、差分が閾値Ｎｕｍ＿ＴＨ以下であると判断した場合は（Ｓ５０９のＹＥＳ）、Ｔｅｍｐ＿ｎｕｍをインクリメントする（Ｓ５１１）。

Ｓ５１７〜Ｓ５１１により、Ｉ個の焦点検出用画素列のうちで指定領域との重複画素数が大きいもののみを抽出することができる。なお、Ｓ５０９〜Ｓ５１１の代わりに、指定領域に含まれる画素数を降順にソートして画素数の多いものを予め指定した個数分だけ抽出してもよい。即ち、指定領域３４に少なくとも一部が含まれ、撮像面位相差焦点検出部１２９に使用される複数の焦点検出画素列が存在する場合に、その中から指定領域３４に含まれる各焦点検出画素列の画素数が第１閾値以上のものを選択すれば同様の結果が得られる。そして、特定手段１２５ｄは、選択された焦点検出画素列に対応する像信号を特定すればよい。

次に、カメラＭＰＵ１２５は、Ｔｅｍｐ＿ｎｕｍが１であると判断すると（Ｓ５１３のＹＥＳ）、唯一の候補が得られているので処理を終了する（Ｓ５２０）。

一方、カメラＭＰＵ１２５は、Ｔｅｍｐ＿ｎｕｍが１よりも大きいと判断すると（Ｓ５１３のＮＯ）、未だに複数の候補が存在することになる。このため、カメラＭＰＵ１２５は、Ｃｏｎ［Ｉ］の最大値Ｃｏｎ＿ｍａｘを取得する（Ｓ５１４）。

Ｓ５１５〜Ｓ５１８は、候補となっている各焦点検出画素列について行なうルーチンである。まず、カメラＭＰＵ１２５は、Ｃｏｎ＿ｍａｘとＣｏｎ［Ｉ］との差分を閾値Ｃｏｎ＿ＴＨと比較する（Ｓ５１６）。なお、Ｓ５１０でＣｏｎ［Ｉ］がクリアされた焦点検出用画素列は必ずＳ５１７に移行する。カメラＭＰＵ１２５は、差分が閾値Ｃｏｎ＿ＴＨよりも大きいと判断した場合は（Ｓ５１６のＮＯ）、焦点検出用画素列のＦＬｖｌ［Ｉ］の値をクリアする（Ｓ５１７）。一方、カメラＭＰＵ１２５は、差分が閾値Ｃｏｎ＿ＴＨ以下であると判断した場合は（Ｓ５１６のＹＥＳ）、それを選択する。この結果、指定領域に含まれる画素数が多く、かつ、コントラスト値の高い焦点検出用画素列を抽出することができる。なお、コントラスト値について降順にソートしてコントラストの高い焦点検出用画素列を予め指定した個数分だけ抽出するようにしてもよい。即ち、指定領域３４に少なくとも一部が含まれ、撮像面位相差焦点検出部１２９に使用される複数の焦点検出画素列が存在する場合に、その中から指定領域３４に含まれる各焦点検出画素列のコントラスト値が第２閾値以上のものを選択すれば同様の結果が得られる。そして、特定手段１２５ｄは、選択された焦点検出画素列に対応する像信号を特定すればよい。

次に、カメラＭＰＵ１２５は、候補となっている焦点検出用画素列のうちで像一致度の最も良いもの（即ち、最大のもの）を選択し（Ｓ５１９）、処理を終了する。なお、Ｓ５１０、Ｓ５１７で指定領域に含まれる画素数が少ないか、コントラスト値が小さい焦点検出用画素列はＦｌｖｌ［Ｉ］がクリアされているためＳ５１９では選択されない。

以上の処理によって、画像の再生時にユーザが領域指定すると撮影時に使用した焦点検出領域に対して指定領域の焦点ずれ量をユーザに提示することができる。

従来、補正すべき焦点ずれ量は撮影した画像を確認しながら補正値を設定するために補正値の設定と撮影画像の確認を繰り返す必要があった。これに対して、本実施例によれば、撮影した画像を再生して合焦すべき指定領域３４を設定するのみで、その焦点ずれ量を得ることができる。

なお、撮像面位相差ＡＦの代わりに、専用の位相差ＡＦユニットを使用してもよい。位相差ＡＦユニットは不図示のエリアセンサー（ラインセンサー）から構成され、各焦点検出領域における撮影レンズの焦点状態を位相差検出方式で検出する。位相差ＡＦユニットは、被写体からの光を集光し、セパレータレンズによって２つの光束に分割し、２つの光束を異なる２つの光電変換素子列に結像する。被写体距離が変化すると、２つの光束から生じる被写体像の間の距離が変動する。光電変換素子列は被写体輝度によって定まる時間だけ電荷を蓄積し、電荷蓄積後に光電変換素子列の出力はＡＤ変換器によって量子化され、量子化された信号は相関演算回路にて相関が検出される。この相関演算により、２つの信号の間で画素単位のずれ量が算出される。位相差ＡＦユニットは、ずれ量、２つの光電素子列間の距離及び測距光学系の焦点距離から三角測量の原理を用いて光軸方向の被写体距離を測定し、これをカメラＭＰＵ１２５に出力する。即ち、位相差ＡＦユニットは、各焦点検出領域と被写体までの距離（被写体距離）に関する距離情報を取得する距離情報取得手段としても機能する。

図１０は、図５の変形例であり、Ｓ４０１〜Ｓ４０７は図５と同様であるので説明を省略する。図１０では、Ｓ４０７の代わりに、Ｓ４１１〜Ｓ４１３が追加されている。

Ｓ４０６の後で、カメラＭＰＵ１２５は、図６（ｅ）に示すように、撮影時に選択された焦点検出領域２１ａに対する指定領域３４の焦点ずれ量と、画像３０と共に記録するかどうかの選択肢の情報３７を表示部１２６に表示する（Ｓ４１１）。

ユーザが操作ＳＷ１２７を介して入力した結果、カメラＭＰＵ１２５は、指定領域３４の焦点ずれ量を保存すると判断した場合（Ｓ４１２のＹＥＳ）、画像３０のＥＸＩＦのメーカーノートに属性情報として記録する（Ｓ４１３）。一方、カメラＭＰＵ１２５は、指定領域３４の焦点ずれ量を保存しないと判断した場合（Ｓ４１２のＮＯ）、又は、Ｓ４１３の後で、フローはＳ４０８に移行する。

次に、図１１を参照して、カメラＭＰＵ１２５が、撮像装置に指定領域３４の焦点ずれ量を補正する補正量を設定する方法について説明する。図１１は、表示部１２６に表示される撮影画面を示す図である。

ユーザが操作ＳＷ１２７を操作して図示しない補正量設定メニューを選択すると、図１５の設定画面４０が表示部１２６に表示される。設定画面４０には、図１０のＳ４１２で焦点ずれ量を属性情報として保存した画像が表示される。

図１１では被写体の画像３０Ａ〜３０Ｃが焦点ずれ量を属性として持つ画像であり、画像番号３８Ａ〜３８Ｃと共に与えられている。アイコン４１ａ、４１ｂは現在表示中の画像以外で属性情報を持つ画像への表示切替を提示する。フレーム４２は現在選択されている属性情報を持つ画像を示す。現在選択されている画像は撮影時に選択された焦点検出領域３１、指定領域３４も併せて表示する。

図１１は、現在選択されている画像３０Ａに記録された補正量とカメラに補正値を設定するかどうかの選択肢の情報４３を示している。ユーザが操作ＳＷ１２７を介して「はい」ボタン４４ａを選択するとカメラの表示中の補正量がＥＥＰＲＯＭ１２５ｃに設定され、以降に画像撮影において同様の画像を撮影した時に指定領域３４へより精度良くピントの合った画像を得ることができる。ユーザが操作ＳＷ１２７を介して「いいえ」ボタン４４ｂを選択すると補正量は設定されずに現在の設定が維持される。

また、本実施例で設定した補正量はそれを算出した画像に関わる撮影シーンに有効であるので、カメラＭＰＵ１２５は、操作ＳＷ１２７の操作に応じて、補正値の設定を有効／無効に切り替えてもよい。

本実施例は、指定領域３４の焦点ずれ量の補正値を画像３０と共に記録して設定可能にしているため、操作性は向上している。なお、図６（ｅ）に示す情報３７を表示する代わりに図１１に示す情報４３を表示して、Ｓ４１３では、補正値を設定してもよい。

画像処理装置は、コンピュータとして具現化されてもよいし、撮像装置と一体であってもよい。撮像装置は、被写体の撮像に適用することができる。

１１８ レンズＭＰＵ
１２２ 撮像素子
１２５ カメラＭＰＵ
１２５ｄ 特定手段
１２５ｅ 算出手段
１２６ 表示部
１２７ 操作スイッチ群（設定手段）
１２８ メモリ
１２９ 撮像面位相差焦点検出部（焦点検出手段）

Claims (11)

1. 焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点状態を検出する焦点検出手段と、
   被写体像を光電変換して生成した信号を出力する撮像手段と、
   前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶する制御手段と、を有し、
   前記制御手段は、前記画像データの撮影の際にメモリに記憶された前記複数対の像信号のうち、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出し、当該焦点ずれ量に関する情報を表示部に表示させるよう制御することを特徴とする撮像装置。
2. 前記制御手段は、算出した前記指定領域の焦点ずれ量を前記画像データに関連づけて前記メモリに記憶することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点ずれ量を前記メモリに記憶した後で撮影動作を行う際に、前記制御手段は、前記焦点検出手段により検出された焦点状態を、前記メモリに記憶した前記焦点ずれ量を用いて補正することを特徴とする請求項２に記載の撮像装置。
4. 前記焦点ずれ量を前記メモリに記憶した後で撮影動作を行う際に、前記メモリに記憶された前記焦点ずれ量を用いて前記焦点検出手段により検出された焦点状態を補正するか否かをユーザが選択可能であることを特徴とする請求項３に記載の撮像装置。
5. 前記撮像手段は、撮影光学系の射出瞳の一部の領域を通過する光を受光する焦点検出用画素を有し、
   前記焦点検出手段は、前記焦点検出領域に対応する前記焦点検出用画素から出力された像信号を用いて焦点状態を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記メモリに記憶された像信号の中で、前記指定領域に対応する前記焦点検出用画素から出力された像信号を用いて当該指定領域の焦点ずれ量を算出することを特徴とする請求項５に記載の撮像装置。
7. 被写体像を光電変換して生成した信号を出力する撮像手段を有する撮像装置の制御方法であって、
   焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点検出領域の焦点状態を検出するステップと、
   前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶するステップと、
   前記画像データの撮影の際にメモリに記憶された前記複数対の像信号の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点検出されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、
   当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を有することを特徴とする撮像装置の制御方法。
8. 被写体像を光電変換して生成した信号を出力する撮像手段を有する撮像装置を制御するためのプログラムであって、
   焦点検出領域における被写体像に対応した一対の像信号のずれ量を検出することによって焦点検出領域の焦点状態を検出するステップと、
   前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、複数対の像信号をメモリに記憶するステップと、
   前記画像データの撮影の際にメモリに記憶された前記複数対の像信号の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応する一対の像信号を用いることにより、前記焦点検出領域で焦点検出されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、
   当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、
   を実行させることを特徴とするプログラム。
9. 撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、
   焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出する焦点検出手段と、
   被写体像を光電変換して生成した信号を出力する撮像手段と、
   前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶する制御手段と、を有し、
   前記制御手段は、前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出し、当該焦点ずれ量に関する情報を表示部に表示させるよう制御することを特徴とする撮像装置。
10. 撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、被写体像を光電変換して生成した信号を出力する撮像手段とを有する撮像装置の制御方法であって、
    焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出するステップと、
    前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶するステップと、
    前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、
    当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、を有することを特徴とする撮像装置。
11. 撮影光学系の射出瞳の異なる領域を通過する光をそれぞれ受光してＡ像信号及びＢ像信号を生成する信号生成手段と、被写体像を光電変換して生成した信号を出力する撮像手段とを有する撮像装置を制御するためのプログラムであって、
    焦点検出領域における被写体像に対応したＡ像信号とＢ像信号のずれ量を検出することによって焦点状態を検出するステップと、
    前記撮像手段が出力した信号から生成された画像データ、焦点状態を検出した前記焦点検出領域、及び、Ａ像信号とＢ像信号についての像信号情報をメモリに記憶するステップと、
    前記画像データの撮影の際にメモリに記憶された前記像信号情報の中で、撮影後に再生された当該画像データに対してユーザにより指定された指定領域に対応するＡ像信号とＢ像信号を用いることにより、前記焦点検出領域で焦点調節されて撮影された当該画像データに対する当該指定領域の焦点ずれ量を算出するステップと、
    当該焦点ずれ量に関する情報を表示部に表示させるよう制御するステップと、
    を実行させることを特徴とするプログラム。