JP6685769B2 - Information processing device, imaging device, and information processing method - Google Patents
Information processing device, imaging device, and information processing method Download PDFInfo
- Publication number
- JP6685769B2 JP6685769B2 JP2016036064A JP2016036064A JP6685769B2 JP 6685769 B2 JP6685769 B2 JP 6685769B2 JP 2016036064 A JP2016036064 A JP 2016036064A JP 2016036064 A JP2016036064 A JP 2016036064A JP 6685769 B2 JP6685769 B2 JP 6685769B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- aberration
- image
- focus detection
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は情報処理装置、撮像装置及び情報処理方法に関する。 The present invention relates to an information processing device, an imaging device, and an information processing method.
撮影光学系の焦点状態を検出する自動焦点検出（Auto Focusing、以下ＡＦと表記する）の方式として、コントラストＡＦ方式と位相差ＡＦ方式がある。コントラストＡＦ方式及び位相差ＡＦ方式は、ビデオカメラ、デジタルスチルカメラ等の撮像装置に用いられ得る。このような撮像装置では、撮像用の撮像素子が焦点検出素子としても用いられるものがある。 A contrast AF method and a phase difference AF method are available as methods of automatic focusing (Auto Focusing, hereinafter referred to as AF) for detecting the focus state of the photographing optical system. The contrast AF method and the phase difference AF method can be used for image pickup devices such as video cameras and digital still cameras. In such an image pickup apparatus, an image pickup element for image pickup is also used as a focus detection element.
コントラストＡＦ方式及び位相差ＡＦ方式では光学像を利用して焦点検出を行うため、光学像を結像する光学系の収差が焦点検出の結果に誤差を与える場合がある。このような誤差を低減するための方法が特許文献１及び特許文献２に提案されている。
Since the focus detection is performed using the optical image in the contrast AF method and the phase difference AF method, the aberration of the optical system that forms the optical image may give an error to the result of the focus detection. Methods for reducing such an error are proposed in
特許文献１には、絞り開放時と絞り込み時の焦点移動量を用いて、撮影レンズの球面収差による焦点検出誤差を補正する技術が開示されている。
特許文献２には、撮像素子から出力された信号の評価帯域に関する情報を用いて、撮影画像の焦点と焦点検出結果の焦点との差を補正するための補正値を算出する技術が開示されている。
しかしながら、特許文献１及び特許文献２に記載された補正方法では、撮影光学系からの光束を瞳分割して受光する画素を有する撮像素子を用いた焦点検出において光学系の収差の補正精度が十分ではない場合がある。
However, in the correction methods described in
本発明は、より高精度に焦点検出誤差を補正し得る情報処理装置、撮像装置及び情報処理方法を提供する。 The present invention provides an information processing device, an imaging device, and an information processing method capable of correcting a focus detection error with higher accuracy.
本発明の一実施形態によれば、撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得手段と、前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出手段と、前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得手段と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出手段と、前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正手段と、を有することを特徴とする情報処理装置が提供される。 According to one embodiment of the present invention, an image signal acquisition unit that acquires a plurality of image signals based on a plurality of light fluxes that have passed through a plurality of pupil regions having different centroids of the imaging optical system, and the plurality of image signals. Defocus value calculating means for performing focus detection based on at least one of the two, and first aberrations respectively corresponding to light fluxes passing through different pupil regions of the photographing optical system. calculating the aberration information acquisition unit, the first aberration information, a correction value for correcting said first defocus value based on said second aberration information for acquiring information and the second aberration information And a defocus value correction unit that corrects the first defocus value using the correction value to generate a second defocus value. It is provided.
本発明の一実施形態によれば、撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得工程と、前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、を有することを特徴とする情報処理方法が提供される。
According to one embodiment of the present invention, an image signal acquisition step of acquiring a plurality of image signals based on each of a plurality of light fluxes that have passed through a plurality of pupil regions having different centroids of the imaging optical system, and the plurality of image signals. Defocus value calculation step of performing focus detection based on at least one of the two, and first aberrations corresponding to light fluxes passing through different pupil regions of the photographing optical system. calculating the aberration information acquisition process, and the first aberration information, a correction value for correcting said first defocus value based on said second aberration information for acquiring information and the second aberration information And a defocus value correction step of correcting the first defocus value by using the correction value to generate a second defocus value. It is provided.
本発明によれば、より高精度に焦点検出誤差を補正し得る情報処理装置、撮像装置及び情報処理方法が提供される。 According to the present invention, there are provided an information processing device, an imaging device, and an information processing method capable of correcting a focus detection error with higher accuracy.
以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズが交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明は、レンズを交換できないタイプのデジタルカメラ及びビデオカメラに対しても適用可能である。また、本発明は、カメラを備えた任意の電子機器にも適用可能である。カメラを備えた電子機器の例としては、携帯電話機、パーソナルコンピュータ（ラップトップ型、タブレット型、デスクトップ型など）、ゲームなどが挙げられる。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. It should be noted that the embodiment has a specific and specific configuration in order to facilitate understanding and description of the invention, but the present invention is not limited to such a specific configuration. For example, an embodiment in which the present invention is applied to a single-lens reflex type digital camera whose lenses can be exchanged will be described below, but the present invention can also be applied to digital cameras and video cameras whose lens cannot be exchanged. is there. The present invention can also be applied to any electronic device equipped with a camera. Examples of electronic devices equipped with a camera include mobile phones, personal computers (laptop type, tablet type, desktop type, etc.), games, and the like.
［第１の実施形態］
（撮像装置の構成の説明−レンズユニット）
図２は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの機能構成例を示すブロック図である。本実施形態のデジタルカメラは、レンズ交換式一眼レフカメラであり、撮影光学系の一部を含むレンズユニット１００と、撮像ユニットとしてのカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。
[First Embodiment]
(Description of Configuration of Imaging Device-Lens Unit)
FIG. 2 is a block diagram illustrating a functional configuration example of a digital camera which is an example of the image pickup apparatus according to the first embodiment. The digital camera of the present embodiment is an interchangeable lens type single-lens reflex camera, and has a
レンズユニット１００は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）、及び、これらの駆動／制御系を有する。このように、レンズユニット１００は、フォーカスレンズ１０４を含み、被写体の光学像を形成する撮影レンズである。
The
第１レンズ群１０１はレンズユニット１００の入光部側の先端に配置される。第１レンズ群１０１は、光軸方向ＯＡに移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能、及び静止画撮影時に露出時間を制御するメカニカルシャッタの機能を有する。絞り１０２及び第２レンズ群１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も、光軸方向ＯＡに移動可能である。フォーカスレンズ１０４の位置に応じて、合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節が行われる。
The
駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１及び第２レンズ群１０３を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を用いて絞り１０２を駆動することにより、絞り１０２の開口径及び開閉を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。
The drive / control system includes a
レンズＭＰＵ（Micro Processing Unit）１１７は、レンズユニット１００に係る演算及び制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭの信号線を通じてカメラＭＰＵ１２５と接続され、コマンド及びデータをカメラＭＰＵ１２５と通信する。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の現在位置などに関する情報をフォーカス駆動回路１１６から取得する。レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、レンズ位置情報をカメラＭＰＵ１２５に通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８には自動焦点検出に必要な光学情報があらかじめ記憶されている。また、レンズメモリ１１８に、さらにレンズユニット１００の動作に必要なプログラムなどが記憶されていてもよい。カメラＭＰＵ１２５は、例えば、内蔵する不揮発性メモリ、あるいはレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。
A lens MPU (Micro Processing Unit) 117 calculates and controls the
（撮像装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ１２１及び撮像素子１２２）と、駆動／制御系とを有する。レンズユニット１００の第１レンズ群１０１、絞り１０２、第２レンズ群１０３及びフォーカスレンズ１０４並びにカメラ本体１２０の光学ローパスフィルタ１２１は撮影光学系を構成する。
(Explanation of the structure of the imaging device-camera body)
The
光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、ＣＭＯＳイメージセンサは、横方向（Ｘ方向）にｍ画素、縦方向（Ｙ方向）にｎ画素（ｎ、ｍは２以上の整数）が行列状に配置されたエリアセンサを含む。本実施形態の撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦが可能である瞳分割画素である。
The optical low-
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９及びコントラストＡＦ部１３０を有する。
The drive / control system includes an image
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像データに対し、例えばガンマ補正、ホワイトバランス調整処理、色補間処理、圧縮符号化処理などの画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号も生成する。すなわち、画像処理回路１２４は、位相差ＡＦ用のデータと、表示、記録及びコントラストＡＦ用の画像データとを生成し得る。
The image
カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る演算、制御を行う情報処理装置である。より具体的には、カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、及びコントラストＡＦ部１３０を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンド及びデータを通信する。カメラＭＰＵ１２５はレンズＭＰＵ１１７に対し、レンズ位置の取得要求、絞り駆動要求、フォーカスレンズ駆動要求、ズーム駆動要求、レンズユニット１００に固有の光学情報の取得要求など行う。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、種々のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。なお、レンズメモリ１１８及びＲＡＭ１２５ｂは、それぞれ本実施形態の処理のための収差情報等を記憶する第１のメモリ及び第２のメモリとして機能する。
The camera MPU (processor) 125 is an information processing device that performs calculation and control related to the
表示器１２６は、液晶ディスプレイなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。本実施形態の記録手段としてのメモリ１２８は、例えば着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
The
位相差ＡＦ部１２９は、画像処理回路１２４により得られる焦点検出用データを用いて位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データ又は画像用データとして生成する。位相差ＡＦ部１２９は、この一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（像面位相差ＡＦ）を行う。位相差ＡＦ部１２９の動作についての詳細は後述する。なお、位相差ＡＦに用いるデータが、一対、すなわち２個であることは必須ではなく、３個以上でもよい。
The phase
位相差ＡＦの処理が可能なデジタルカメラは、複数の瞳領域に対応した撮影画像である視差画像を記録することも可能である。ユーザーは、複数の視差画像から所望の画像を選択することが可能となる。これにより、所望の視差、所望の被写界深度の画像を撮影画像として記録可能となる。例えば、ユーザーは、記録する画像として、オクルージョンの少ない画像、被写体のコントラストが高い画像等を選択できる。 A digital camera capable of phase difference AF processing can also record a parallax image that is a captured image corresponding to a plurality of pupil regions. The user can select a desired image from the plurality of parallax images. As a result, an image with a desired parallax and a desired depth of field can be recorded as a captured image. For example, the user can select, as an image to be recorded, an image with less occlusion, an image with a high subject contrast, or the like.
コントラストＡＦ部１３０は、画像処理回路１２４が生成するコントラストＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理においては、フォーカスレンズ１０４を移動させてコントラストＡＦ用評価値がピークとなる位置が合焦位置として検出される。
The
このように、本実施形態のデジタルカメラは位相差ＡＦとコントラストＡＦの両方を実行可能であり、状況に応じてこれらのいずれか一方を選択的に使用したり、組み合わせて使用したりすることができる。 As described above, the digital camera according to the present embodiment can perform both the phase difference AF and the contrast AF, and it is possible to selectively use either one of them or to use them in combination depending on the situation. it can.
（焦点検出動作の説明：位相差ＡＦ）
以下、位相差ＡＦ部１２９及びコントラストＡＦ部１３０の動作についてさらに説明する。最初に、位相差ＡＦ部１２９の動作について説明する。
(Explanation of focus detection operation: Phase difference AF)
The operations of the phase
図３（ａ）は本実施形態における撮像素子１２２の画素配列を示す図である。図３（ａ）には、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲の画素２１１を、レンズユニット１００側から観察した状態が示されている。撮像素子１２２にはベイヤー配列のカラーフィルタが設けられている。奇数行目には、左から順に、緑（Ｇ）のカラーフィルタを有する画素２１１と、赤（Ｒ）のカラーフィルタを有する画素２１１とが交互に配置されている。偶数行目には、左から順に青（Ｂ）のカラーフィルタを有する画素２１１と、緑（Ｇ）のカラーフィルタを有する画素２１１とが交互に配置されている。画素２１１上には、図中に円で示されているようにオンチップマイクロレンズ２１１ｉが設けられている。また、画素２１１は、図中に矩形で示されているように、上面視においてオンチップマイクロレンズの内側に配置された光電変換部２１１ａ、２１１ｂを有する。
FIG. 3A is a diagram showing a pixel array of the
各画素２１１はＸ方向に並ぶ２つの光電変換部２１１ａ、２１１ｂを有している。換言すると、各画素２１１はＸ方向に２分割されている。この構成により、光電変換部２１１ａ、２１１ｂから出力される光電変換信号を個別に読み出すことと、２つの光電変換信号の和を読み出すことが可能である。また、２つの光電変換信号の和から一方の光電変換部からの光電変換信号を減じることで、他方の光電変換部からの光電変換信号に相当する信号を得ることができる。個々の光電変換部からの光電変換信号は位相差ＡＦ用のデータとして用いることができる。また、個々の光電変換部からの画像信号は３Ｄ（3-Dimensional）画像を構成する視差画像の生成に用いることもできる。また、光電変換信号の和を、通常の撮影画像データとして用いることができる。
Each
ここで、位相差ＡＦを行う際の光電変換信号に対する演算について説明する。後述するように、本実施形態においては、図３（ａ）のオンチップマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ、２１１ｂにより撮影光学系の射出光束を瞳分割する。光電変換部２１１ａ、２１１ｂは本実施形態中で瞳分割画素を構成する。そして、所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力を加算して得られた信号をＡＦ用Ａ像、光電変換部２１１ｂの出力を加算して得られた信号をＡＦ用Ｂ像とする。一例としては、ＡＦ用Ａ像及びＡＦ用Ｂ像は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の各色の４つの画素２１１からの信号を加算することで算出された疑似的な輝度（Ｙ）信号を用いる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像及びＡＦ用Ｂ像を生成してもよい。このようにして生成されたＡＦ用Ａ像とＡＦ用Ｂ像の間の相対的な像ずれ量を相関演算により算出することで、所定領域の焦点ずれ量（デフォーカス値）を算出することができる。
Here, the calculation for the photoelectric conversion signal when performing the phase difference AF will be described. As will be described later, in this embodiment, the on-
本実施形態では、一方の光電変換部からの出力信号と、２つの光電変換部からの出力信号の和に相当する信号との２つの信号が撮像素子１２２から読み出されるものとする。例えば、光電変換部２１１ａからの出力信号と、光電変換部２１１ａ、２１１ｂの出力信号の和に相当する出力信号とが読み出される場合を考える。この場合、光電変換部２１１ｂの出力信号は、上述の和に相当する出力信号から光電変換部２１１ａからの出力信号を減じることで取得され得る。これにより、ＡＦ用Ａ像とＡＦ用Ｂ像の両方を得ることができ、位相差ＡＦが実現され得る。なお、これらの複数の画像信号の取得は画像信号取得手段として動作するカメラＭＰＵ１２５により制御される。
In this embodiment, it is assumed that two signals, that is, an output signal from one photoelectric conversion unit and a signal corresponding to the sum of output signals from two photoelectric conversion units are read from the
図３（ｂ）は本実施形態の撮像素子１２２の読み出し回路の構成例を示す図である。撮像素子１２２は、水平走査回路１５１、垂直走査回路１５３を有する。行方向及び列方向に配列された複数の画素２１１の境界部には、列方向に並ぶ複数の画素２１１に沿って水平走査ライン１５２ａ、１５２ｂが配され、行方向に並ぶ画素２１１に沿って垂直走査ライン１５４ａ、１５４ｂが配される。各行の垂直走査ライン１５４ａは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ａとを接続する。各行の垂直走査ライン１５４ｂは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ｂとを接続する。各列の水平走査ライン１５２ａは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ａとを接続する。各列の水平走査ライン１５２ｂは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ｂとを接続する。垂直走査回路１５３は、垂直走査ライン１５４ａ、１５４ｂを介して、各画素２１１に制御信号を送信し、信号の読み出し等の制御を行う。水平走査回路１５１は、水平走査ライン１５２ａ、１５２ｂを介して、各画素２１１から信号を読み出す。
FIG. 3B is a diagram showing a configuration example of the readout circuit of the
なお、本実施形態の撮像素子１２２は、以下の２種類の読み出しモードでの信号の読み出しが可能である。第１の読み出しモードは、高精細静止画を撮影するための全画素読み出しモードである。全画素読み出しモードでは、撮像素子１２２に含まれる全ての画素２１１からの信号が読み出される。
The
第２の読み出しモードは、動画記録、あるいはプレビュー画像の表示のみを行うための間引き読み出しモードである。動画記録、あるいはプレビュー画像の表示の用途では、高精細静止画を撮影する場合と比べて要求される解像度が低い。そのため、これらの用途の場合、撮像素子１２２に含まれる全画素から信号を読み出す必要がないため、所定比率に間引いた一部の画素のみから信号を読み出す間引き読み出しモードでの動作が行われる。また、高速に読み出す必要がある場合には、同様に間引き読み出しモードが用いられる。間引きの一例としては、Ｘ方向の間引きを行う際には、複数の画素からの信号を加算してＳ／Ｎ比の改善を図り、Ｙ方向の間引きを行う際には、間引かれる行の信号出力を無視するという処理を行うことが可能である。位相差ＡＦ及びコントラストＡＦは、第２の読み出しモードで読み出された信号に基づいて行うことで、高速な処理が可能である。
The second read mode is a thinning read mode for recording a moving image or only displaying a preview image. For the purpose of recording a moving image or displaying a preview image, the required resolution is lower than that required for shooting a high-definition still image. Therefore, in these applications, it is not necessary to read out signals from all the pixels included in the
図４（ａ）及び図４（ｂ）は、本実施形態における撮影光学系の構造図である。図４（ａ）及び図４（ｂ）を参照して、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部との共役関係を説明する。撮像素子１２２内の光電変換部２１１ａ、２１１ｂと撮影光学系の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。撮影光学系の射出瞳面は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、撮影光学系のタイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化することがある。図４（ａ）では、レンズユニット１００の焦点距離が広角端と望遠端の中央にある状態を示されている。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状及び像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。
FIG. 4A and FIG. 4B are structural views of the photographing optical system in this embodiment. With reference to FIGS. 4A and 4B, the conjugate relationship between the exit pupil plane of the imaging optical system and the photoelectric conversion unit of the image sensor arranged near the image height zero, that is, near the center of the image plane will be described. . The
図４（ａ）は、撮影光学系のＸＺ断面を示している。レンズユニット１００に対応する部分として、第１レンズ群１０１、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、フォーカスレンズ１０４及び鏡筒部材１０４ｂが図示されている。鏡筒部材１０１ｂは、第１レンズ群１０１を保持する部材である。開口板１０２ａは絞り開放時の開口径を規定する部材である。絞り羽根１０２ｂは絞り込み時の開口径を調節する部材である。鏡筒部材１０４ｂは、フォーカスレンズ１０４を保持する部材である。図２で説明した第２レンズ群１０３は図４（ａ）では図示を省略している。
FIG. 4A shows an XZ section of the photographing optical system. As a portion corresponding to the
なお、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、撮影光学系を通過する光束に対する制限部材として作用する。図４（ａ）に図示された鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、像面から観察した場合の光学的な虚像を模式的に示すものであり、必ずしも実際の構造を示すものではない。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面から射出瞳までの射出瞳距離をＺｅｐとしている。
The lens barrel member 101b, the
画素２１１は像面中央近傍に配置されている。画素２１１は、最下層より順に、光電変換部２１１ａ、２１１ｂ、配線層２１１ｅ、２１１ｆ、２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材を備えている。そして２つの光電変換部２１１ａ、２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部２１１ａ、２１１ｂの表面に投影される。
The
図４（ｂ）は、撮影光学系の射出瞳面上における、光電変換部２１１ａ、２１１ｂの投影像を示したものである。図４（ｂ）には、光電変換部２１１ａ及び２１１ｂに対する投影像が、それぞれ、瞳領域ＥＰ１ａ及びＥＰ１ｂとして示されている。上述のように、画素２１１は、２つの光電変換部２１１ａ、２１１ｂのいずれか一方からの信号と、２つの光電変換部２１１ａ、２１１ｂからの信号の和とを出力することができる。２つの光電変換部２１１ａ、２１１ｂからの信号の和は、瞳領域ＥＰ１ａ、ＥＰ１ｂの両方の領域、すなわち、撮影光学系の瞳領域のほぼ全域（瞳領域ＴＬ）を通過した光束に基づく信号に対応する。このようにして、本実施形態の光電変換部２１１ａと２１１ｂは瞳分割画素を構成する。
FIG. 4B shows projected images of the
図４（ａ）において、撮影光学系を通過する光束の最外部が線分Ｌで示されている。図４（ａ）の配置では、線分Ｌの位置は、絞り１０２の開口板１０２ａの端部の位置で決定されている。そのため、図４（ａ）に示されるように、瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する投影像は撮影光学系によるケラレがほぼ発生していない。図４（ｂ）では、図４（ａ）の射出瞳面上における光束の最外部がＴＬ（１０２ａ）の符号が付された円で示されている。図４（ａ）に示されるように、円の内部に、光電変換部２１１ａ、２１１ｂの投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。撮影光学系を通過する光束は、絞りの端部でのみ制限されているため、この円は、絞り１０２の開口部に相当する。像面中央では各投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂのケラレは光軸に対して対称となる。そのため、各光電変換部２１１ａ、２１１ｂが受光する光量は等しい。
In FIG. 4A, the outermost part of the light flux passing through the photographing optical system is indicated by a line segment L. In the arrangement of FIG. 4A, the position of the line segment L is determined by the position of the end portion of the
位相差ＡＦを行う場合、画像信号取得手段として動作するカメラＭＰＵ１２５は、撮像素子１２２から上述した２種類の出力信号を読み出すように撮像素子駆動回路１２３を制御する。このとき、カメラＭＰＵ１２５は、画像処理回路１２４に対して焦点検出領域を示す情報を与える。さらに、カメラＭＰＵ１２５は、焦点検出領域内に含まれる画素２１１の出力信号から、ＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に供給するよう命令する。画像処理回路１２４はこの命令に従ってＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に出力する。画像処理回路１２４は、また、コントラストＡＦ部１３０に対してＲＡＷ画像データを供給する。
When performing the phase difference AF, the
以上説明したように、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦを行い得る機能を有している。換言すると、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦの両方について、焦点検出装置の一部を構成している。
As described above, the
なお、ここでは一例として水平方向（Ｘ方向）に射出瞳が２分割されている構成を説明したが、撮像素子１２２の一部又は全部の画素について垂直方向（Ｙ方向）に射出瞳を２分割する構成としてもよい。また、例えば、画素２１１に光電変換部を４個配置することにより、水平方向及び垂直方向の両方向に射出瞳が分割される構成としてもよい。このように垂直方向に射出瞳が分割される画素２１１を設けることにより、水平方向だけでなく垂直方向の被写体のコントラストに対応した位相差ＡＦが可能となる。
Although the configuration in which the exit pupil is divided into two in the horizontal direction (X direction) has been described here as an example, the exit pupil is divided into two in the vertical direction (Y direction) for some or all of the pixels of the
（焦点検出動作の説明：コントラストＡＦ）
次に、図５を用いて、コントラストＡＦについて説明する。コントラストＡＦは、カメラＭＰＵ１２５とコントラストＡＦ部１３０が連携してフォーカスレンズ１０４の駆動と評価値の算出を繰り返し行うことで実現される。
(Explanation of focus detection operation: contrast AF)
Next, the contrast AF will be described with reference to FIG. The contrast AF is realized by the
図５は、第１の実施形態に係るコントラストＡＦ部１３０の構成及びこれと連携するカメラＭＰＵ１２５の構成を示すブロック図である。コントラストＡＦ部１３０は、ＡＦ評価用信号処理部４０１と、ラインピーク検出部４０２と、水平積分部４０３と、ライン最小値検出部４０４と、垂直ピーク検出部４０５と、垂直積分部４０６と、垂直ピーク検出部４０７とを有する。コントラストＡＦ部１３０は、さらに、ＢＰＦ(Band Pass Filter)４０８と、ラインピーク検出部４０９と、垂直積分部４１０と、垂直ピーク検出部４１１と、減算部４１２と、領域設定部４１３とを有する。カメラＭＰＵ１２５はＡＦ制御部４５１を有する。
FIG. 5 is a block diagram showing the configuration of the
画像処理回路１２４からＲＡＷ画像データがコントラストＡＦ部１３０に入力されると、ＲＡＷ画像データはまずＡＦ評価用信号処理部４０１に入力される。ＡＦ評価用信号処理部４０１は、ＲＡＷ画像データ内のベイヤー配列信号から緑（Ｇ）信号を抽出し、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理を行う。本実施形態では、コントラストＡＦが緑（Ｇ）信号を用いて行われる場合を説明するが、他の色の信号を用いてもよく、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全色を用いて輝度（Ｙ）信号を生成してから、輝度（Ｙ）信号を用いてコントラストＡＦを行ってもよい。以後の説明では、ＡＦ評価用信号処理部４０１で生成される出力信号は、用いられた信号の種類によらず、輝度信号Ｙと呼ぶ。ＡＦ評価用信号処理部４０１は、輝度信号Ｙをラインピーク検出部４０２、水平積分部４０３、ライン最小値検出部４０４及びＢＰＦ４０８に出力する。輝度信号Ｙがこれらの各部に入力されるタイミングは、後述の各評価値を生成すべきタイミングと合致するように制御される。
When the RAW image data is input from the
カメラＭＰＵ１２５は、領域設定部４１３に焦点検出領域の設定に関する情報を出力する。領域設定部４１３は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出部４０２、４０９、水平積分部４０３、ライン最小値検出部４０４、垂直積分部４０６、４１０及び垂直ピーク検出部４０５、４０７、４１１の各部に入力される。なお、領域設定部４１３は、焦点検出領域の設定に応じて複数の領域を選択可能である。
The
Ｙピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ラインピーク検出部４０２へ入力される。ラインピーク検出部４０２は、焦点検出領域内で水平ラインごとのＹラインピーク値を算出して、垂直ピーク検出部４０５に出力する。垂直ピーク検出部４０５は、ラインピーク検出部４０２から出力されたＹラインピーク値に対し焦点検出領域内で垂直方向にピークホールドを行い、Ｙピーク評価値を生成する。Ｙピーク評価値は、高輝度被写体及び低輝度被写体の判定に有効な指標である。
A method of calculating the Y peak evaluation value will be described. The luminance signal Y gamma-corrected by the AF evaluation
Ｙ積分評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、水平積分部４０３へ入力される。水平積分部４０３は、焦点検出領域内で水平ラインごとにＹの積分値を算出して、垂直積分部４０６に出力する。垂直積分部４０６は、水平積分部４０３で算出された積分値を、焦点検出領域内で垂直方向に積分することにより、Ｙ積分評価値を生成する。Ｙ積分評価値は、焦点検出領域内全体の輝度を判断する指標として用いることができる。
A method of calculating the Y integral evaluation value will be described. The luminance signal Y gamma-corrected by the AF evaluation
Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ライン最小値検出部４０４に入力される。ライン最小値検出部４０４は、焦点検出領域内で水平ラインごとにＹライン最小値を算出して減算部４１２に出力する。また、上述のＹピーク評価値の算出方法と同様の方法によりラインピーク検出部４０２で算出されたＹラインピーク値も減算部４１２に入力される。減算部４１２は、ラインピーク値からＹライン最小値を減算して垂直ピーク検出部４０７に出力する。垂直ピーク検出部４０７は、焦点検出領域内で減算部４１２からの出力に対し垂直方向にピークホールドを行い、Ｍａｘ−Ｍｉｎ評価値を生成する。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効な指標である。
A method of calculating the Max-Min evaluation value will be described. The luminance signal Y gamma-corrected by the AF evaluation
領域ピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に入力される。ＢＰＦ４０８は、輝度信号Ｙから特定の周波数成分を抽出して焦点信号を生成し、ラインピーク検出部４０９に出力する。ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直ピーク検出部４１１に出力する。垂直ピーク検出部４１１は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内でピークホールドを行い、領域ピーク評価値を生成する。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。
A method of calculating the area peak evaluation value will be described. The luminance signal Y gamma-corrected by the AF evaluation
全ライン積分評価値の算出方法について説明する。領域ピーク評価値の算出方法と同様にして、ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直積分部４１０に出力する。垂直積分部４１０は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、焦点検出の処理における主要なＡＦ評価値である。したがって、本実施形態のコントラストＡＦには主として全ライン積分評価値が用いられる。
A method of calculating the total line integral evaluation value will be described. Similar to the method of calculating the area peak evaluation value, the line
カメラＭＰＵ１２５のＡＦ制御部４５１は、Ｙピーク評価値、Ｙ積分評価値、Ｍａｘ−Ｍｉｎ評価値、領域ピーク評価値及び全ライン積分評価値を取得する。ＡＦ制御部４５１は、レンズＭＰＵ１１７にフォーカスレンズ１０４を光軸方向に沿って所定方向に所定量移動させる指示を行う。その後、フォーカスレンズ１０４の移動後に新たに得られた画像データに基づいて再び上述の各評価値を算出する。これを繰り返すことで、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。本実施形態中では、全ライン積分評価値が最大値となる検出フォーカスレンズ位置と現時刻でのフォーカスレンズ位置の差が、コントラストＡＦ方式でのデフォーカス値に対応する。
The
本実施形態では、各種の評価値の算出に水平ライン方向及び垂直ライン方向の２方向の情報が用いられる。そのため、水平方向及び垂直方向の直交する２方向の被写体のコントラスト情報に対応した焦点検出を行うことができる。 In the present embodiment, information of two directions, that is, the horizontal line direction and the vertical line direction is used for calculating various evaluation values. Therefore, it is possible to perform focus detection corresponding to the contrast information of the subject in two directions orthogonal to each other in the horizontal direction and the vertical direction.
（焦点検出領域の説明）
図６（ａ）及び図６（ｂ）は、撮影範囲２２０内における焦点検出領域２１９の一例を示す図である。図６（ａ）は、撮影範囲２２０内に配置された焦点検出領域２１９を示す図である。上述したように、位相差ＡＦ及びコントラストＡＦは、いずれも焦点検出領域２１９に対応する画素２１１から得られた信号に基づいて行われる。焦点検出領域２１９は、５行５列の複数の焦点検出領域を含み得る。
(Explanation of focus detection area)
FIG. 6A and FIG. 6B are diagrams showing an example of the
図６（ｂ）は、焦点検出領域２１９（１，１）〜２１９（５，５）を示す。括弧内の２つの引数は、焦点検出領域２１９内の行番号及び列番号をそれぞれ示している。図６（ａ）、図６（ｂ）に示した例では、焦点検出領域２１９（１，１）〜２１９（５，５）は、５行×５列分配置されており、すなわち２５個となっている。しかしながら、焦点検出領域２１９の個数、位置及び大きさは図示したものに限定されない。
FIG. 6B shows the focus detection areas 219 (1,1) to 219 (5,5). The two arguments in parentheses indicate the row number and the column number in the
（焦点検出処理のフローの説明）
次に、図１を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るＡＦ処理の動作に関して説明する。
(Explanation of the flow of focus detection processing)
Next, with reference to FIG. 1, an operation of AF processing that can be performed in the digital camera and the auxiliary application of the present embodiment will be described.
図１は、本実施形態に係るＡＦ処理動作を示すフローチャートである。図１のフローチャートを参照しつつ、ＡＦ処理の詳細を説明する。以下のＡＦ処理動作は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンドなどを送信することによってレンズユニット１００の駆動や制御を行う場合も、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。
FIG. 1 is a flowchart showing an AF processing operation according to this embodiment. Details of the AF process will be described with reference to the flowchart of FIG. The following AF processing operation is executed by the
ステップＳ１において、カメラＭＰＵ１２５は焦点検出領域２１９を設定する。ここで設定される焦点検出領域２１９は、例えば、図６（ａ）、図６（ｂ）に示されるようなあらかじめ設定された領域であってもよく、主被写体の検出座標によって決定される領域であってもよい。例えば、図６（ａ）、図６（ｂ）の例では、焦点検出領域２１９（２，４）に人物の顔が検出可能である。この人物の顔を主被写体とした場合、焦点検出領域２１９（２，４）を焦点検出領域として設定することができる。
In step S1, the
ここでは、焦点検出領域に対して、複数の焦点検出領域のうちの代表位置座標（ｘ１，ｙ１）を設定する。例えば、位置座標（ｘ１，ｙ１）は、例えば、焦点検出領域２１９に対する重心座標であってもよい。
Here, representative position coordinates (x1, y1) of the plurality of focus detection areas are set for the focus detection area. For example, the position coordinates (x1, y1) may be barycentric coordinates for the
ステップＳ２において、カメラＭＰＵ１２５は、ステップＳ１で設定された焦点検出領域に対して、焦点検出結果としてデフォーカス値ＤＥＦ（第１のデフォーカス値）を算出する。デフォーカス値ＤＥＦは、前述した位相差ＡＦ又はコントラストＡＦを適用した焦点検出動作によって求められる。また、本動作を行うカメラＭＰＵ１２５は、デフォーカス値算出手段を構成する。なお、デフォーカス値ＤＥＦの算出に先立って、画像信号取得手段として動作するカメラＭＰＵ１２５は、互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得しているものとする。
In step S2, the
ステップＳ３において、カメラＭＰＵ１２５は、ＢＰ補正値の算出に必要なＡＦ条件のパラメータ（ＢＰ算出条件）を取得する。ＢＰ補正値とは、撮影光学系が有する設計上の光学収差及び製造誤差により生じ得る焦点検出誤差を補正するための値である。ＢＰ補正値は、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域２１９の位置座標（ｘ１，ｙ１）など、撮影光学系の変化及び焦点検出光学系の変化に伴い変化する。そのため、カメラＭＰＵ１２５は、ステップＳ２においてデフォーカス値の算出を行った際の、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域２１９の位置座標（ｘ１，ｙ１）などの情報を取得する。
In step S3, the
さらに、本実施形態の撮影光学系は瞳分割の機能を有するため、本ステップにおいてカメラＭＰＵ１２５は、焦点検出時及び撮影時に使用する信号に対応する瞳領域に関する情報（瞳領域情報）を取得する。例えば、焦点検出時には撮影光学系の瞳領域のほぼ全域を通過した光束に基づく信号を用いてコントラストＡＦを行い、撮影画像用には、光電変換部２１１ａに対応する瞳領域に対応する信号を用いるものとする。この場合には、カメラＭＰＵ１２５は、瞳領域情報として、焦点検出時の瞳領域が瞳領域ＴＬであり、撮影時の瞳領域が瞳領域ＥＰ１ａであることを示す情報を取得する。なお、撮影画像とは、鑑賞用の画像を指し、撮影とは、新たに取得したデータ又は既に取得したデータから撮影画像を生成するための画像取得の処理を含む。
Furthermore, since the photographing optical system of the present embodiment has a pupil division function, the
ステップＳ４において、カメラＭＰＵ１２５は、焦点検出に関する焦点検出情報を設定する。ここでは、ステップＳ３で取得したＢＰ算出条件を、焦点検出情報のパラメータとして設定する。焦点検出情報の例を図７（ａ）及び図７（ｂ）に示す。図７（ａ）及び図７（ｂ）は、焦点検出情報の例として、焦点状態を評価するコントラストの方向（水平，垂直）、色（赤，緑，青）及び空間周波数（Ｆｑ１，Ｆｑ２，Ｆｑ３，Ｆｑ４）の各組み合わせに対する、重み付けの大きさを示す情報についての表である。ここで設定される重み付け情報は、あらかじめ設定されている値であってもよく、検出された被写体情報に応じて変更される値としてもよいが、焦点検出用と撮影用とで、異なる情報を有するように設定する。
In step S4, the
ここで、Ｋ＿ＡＦ＿Ｈ、Ｋ＿ＡＦ＿Ｖ、Ｋ＿ＩＭＧ＿Ｈ、Ｋ＿ＩＭＧ＿Ｖは、焦点検出、撮影に関する方向に対応する係数である。Ｋ＿ＡＦ＿Ｒ、Ｋ＿ＡＦ＿Ｇ、Ｋ＿ＡＦ＿Ｂ、Ｋ＿ＩＭＧ＿Ｒ、Ｋ＿ＩＭＧ＿Ｇ、Ｋ＿ＩＭＧ＿Ｂは、焦点検出、撮影に関する各色に対応する係数である。Ｋ＿ＡＦ＿Ｆｑ１〜Ｋ＿ＡＦ＿Ｆｑ４、Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｋ＿ＩＭＧ＿Ｆｑ４は焦点検出、撮影に関する各空間周波数に対応する係数である。 Here, K_AF_H, K_AF_V, K_IMG_H, and K_IMG_V are coefficients corresponding to directions related to focus detection and shooting. K_AF_R, K_AF_G, K_AF_B, K_IMG_R, K_IMG_G, and K_IMG_B are coefficients corresponding to each color for focus detection and shooting. K_AF_Fq1 to K_AF_Fq4 and K_IMG_Fq1 to K_IMG_Fq4 are coefficients corresponding to each spatial frequency relating to focus detection and photographing.
重み付けの大きさの具体例を説明する。一例として、コントラストの方向が水平方向で緑色の信号を用い、空間周波数Ｆｑ１におけるコントラストＡＦの結果を補正する場合、焦点検出用の設定情報は、以下のように設定される。
Ｋ＿ＡＦ＿Ｈ＝１
Ｋ＿ＡＦ＿Ｖ＝０
Ｋ＿ＡＦ＿Ｒ＝０
Ｋ＿ＡＦ＿Ｇ＝１
Ｋ＿ＡＦ＿Ｂ＝０
Ｋ＿ＡＦ＿Ｆｑ１＝１
Ｋ＿ＡＦ＿Ｆｑ２＝０
Ｋ＿ＡＦ＿Ｆｑ３＝０
Ｋ＿ＡＦ＿Ｆｑ４＝０
A specific example of the weighting magnitude will be described. As an example, when a contrast signal is horizontal and a green signal is used to correct the result of the contrast AF at the spatial frequency Fq1, the focus detection setting information is set as follows.
K_AF_H = 1
K_AF_V = 0
K_AF_R = 0
K_AF_G = 1
K_AF_B = 0
K_AF_Fq1 = 1
K_AF_Fq2 = 0
K_AF_Fq3 = 0
K_AF_Fq4 = 0
このような設定情報により、焦点検出用の信号のデフォーカスＭＴＦ(Modulation Transfer Function)のピーク情報は、水平方向で緑色の信号の特性と同じであることを示すことができる。一方、撮影用の設定情報は、例えば以下のように設定される。
Ｋ＿ＩＭＧ＿Ｈ＝０．５
Ｋ＿ＩＭＧ＿Ｖ＝０．５
Ｋ＿ＩＭＧ＿Ｒ＝０．２５
Ｋ＿ＩＭＧ＿Ｇ＝０．５
Ｋ＿ＩＭＧ＿Ｂ＝０．２５
Ｋ＿ＩＭＧ＿Ｆｑ１＝０
Ｋ＿ＩＭＧ＿Ｆｑ２＝０
Ｋ＿ＩＭＧ＿Ｆｑ３＝１
Ｋ＿ＩＭＧ＿Ｆｑ４＝０
With such setting information, it can be shown that the peak information of the defocus MTF (Modulation Transfer Function) of the focus detection signal is the same as the characteristic of the green signal in the horizontal direction. On the other hand, the setting information for photographing is set as follows, for example.
K_IMG_H = 0.5
K_IMG_V = 0.5
K_IMG_R = 0.25
K_IMG_G = 0.5
K_IMG_B = 0.25
K_IMG_Fq1 = 0
K_IMG_Fq2 = 0
K_IMG_Fq3 = 1
K_IMG_Fq4 = 0
このような設定情報により、ＲＧＢの信号をＹ信号相当に変換するための重み付けが行われ、撮影画像はＹ信号（白色）で評価される。また、水平方向及び垂直方向のいずれの方向のコントラストも同等の重みで評価され、焦点検出時とは異なる空間周波数Ｆｑ３で評価される。 With such setting information, weighting is performed to convert the RGB signal into the Y signal, and the captured image is evaluated with the Y signal (white). Further, the contrast in both the horizontal direction and the vertical direction is evaluated with the same weight, and is evaluated at the spatial frequency Fq3 different from that at the time of focus detection.
ステップＳ４＿２からステップＳ５において、収差情報取得手段として動作するカメラＭＰＵ１２５は、瞳領域情報重み付け係数を用いた演算により、焦点検出又は撮影に対応する収差情報を取得する。
In steps S4_2 to S5, the
ステップＳ４＿２において、カメラＭＰＵ１２５は、ステップＳ３で取得された瞳領域に対応する複数の瞳領域情報重み付け係数を取得する。Ｋ＿ＡＦ＿ＰＴＬ、Ｋ＿ＡＦ＿ＰＡ、Ｋ＿ＡＦ＿ＰＢは、焦点検出に用いられる画像信号と複数の瞳領域の各々との対応関係を示す第１の重み付け情報である。Ｋ＿ＩＭＧ＿ＰＴＬ、Ｋ＿ＩＭＧ＿ＰＡ、Ｋ＿ＩＭＧ＿ＰＢは撮影（画像取得）に用いられる画像信号と複数の瞳領域との対応関係を示す第２の重み付け情報である。例えば、ステップＳ３において、焦点検出時の瞳領域がＴＬ、撮影時の瞳領域がＥＰ１ａとして設定されていた場合には、瞳領域情報重み付け係数は以下のように設定される。
Ｋ＿ＡＦ＿ＰＴＬ＝１
Ｋ＿ＡＦ＿ＰＡ＝０
Ｋ＿ＡＦ＿ＰＢ＝０
Ｋ＿ＩＭＧ＿ＰＴＬ＝０
Ｋ＿ＩＭＧ＿ＰＡ＝１
Ｋ＿ＩＭＧ＿ＰＢ＝０
In step S4_2, the
K_AF_PTL = 1
K_AF_PA = 0
K_AF_PB = 0
K_IMG_PTL = 0
K_IMG_PA = 1
K_IMG_PB = 0
ただし、上述の具体的な設定値は一例であり、これに限られない。また重み付けを設定する設定値の種類なども一例であり、これに限らない。 However, the specific set values described above are examples, and the present invention is not limited to this. Further, the type of setting value for setting weighting is also an example, and the present invention is not limited to this.
ステップＳ５において、カメラＭＰＵ１２５は、瞳領域情報重み付け係数を用いて収差情報を取得する。ここで、収差情報とは、ステップＳ３及びステップＳ４で設定されたＢＰ算出条件での光学系の収差状態を表す情報であり、例えば、被写体の色、方向、空間周波数ごとの撮影光学系の結像位置に関する情報である。
In step S5, the
図８（ａ）、図８（ｂ）を参照しつつ、記憶手段であるＲＡＭ１２５ｂ（カメラメモリ）又はレンズメモリ１１８に格納されている空間周波数に対応する収差情報の例を説明する。図８（ａ）は、撮影光学系のデフォーカスＭＴＦを示すグラフである。横軸は、フォーカスレンズ１０４の位置を示しており、縦軸はＭＴＦを示している。図８（ａ）に描かれている４種の曲線（ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４）は、４種類の空間周波数にそれぞれ対応するデフォーカスＭＴＦ曲線である。すなわち、４つのデフォーカスＭＴＦ曲線は、ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４の順に、空間周波数が低い方から高い方に変化した場合におけるＭＴＦの極大値の変化を示している。空間周波数Ｆｑ１（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ１と対応し、同様に、空間周波数Ｆｑ２、Ｆｑ３、Ｆｑ４（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ２、ＭＴＦ３、ＭＴＦ４とそれぞれ対応する。また、ＬＰ４、ＬＰ５、ＬＰ６、ＬＰ７は、各デフォーカスＭＴＦ曲線ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４がそれぞれ極大値になるときのフォーカスレンズ１０４の位置を示している。なお、図中の空間周波数Ｎｑは撮像素子１２２の画素ピッチに依存するナイキスト周波数を示す。
An example of the aberration information corresponding to the spatial frequency stored in the
図８（ｂ）に、本実施形態における収差情報の例を示す。図８（ｂ）は、図８（ａ）のデフォーカスＭＴＦが極大値となるフォーカスレンズ１０４の位置（ピーク位置）と空間周波数の関係を示すグラフである。ＭＴＦ＿Ｐ＿ＲＨ、…、ＭＴＦ＿Ｐ＿ＢＶで示される６種類の曲線は、色と方向の組み合わせが異なるものである。添字の（Ｒ，Ｇ，Ｂ）が色（赤，緑，青）を示しており、添字の（Ｈ，Ｖ）が方向（水平，垂直）を示している。例えば、色が赤で方向が水平の場合に対応する収差情報であるＭＴＦ＿Ｐ＿ＲＨの曲線は、空間周波数ｆと焦点検出領域２１９の位置座標（ｘ１，ｙ１）を変数（ｘ，ｙ）とし、収差係数ｒｈ（ｎ）（ｎは０から８の整数）を係数とした以下の式で表現される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ，ｘ，ｙ）
＝（ｒｈ（０）×ｘ＋ｒｈ（１）×ｙ＋ｒｈ（２））×ｆ２
＋（ｒｈ（３）×ｘ＋ｒｈ（４）×ｙ＋ｒｈ（５））×ｆ
＋（ｒｈ（６）×ｘ＋ｒｈ（７）×ｙ＋ｒｈ（８）） （１）
FIG. 8B shows an example of the aberration information in this embodiment. FIG. 8B is a graph showing the relationship between the position (peak position) of the
MTF_P_RH (f, x, y)
= (Rh (0) × x + rh (1) × y + rh (2)) × f 2
+ (Rh (3) × x + rh (4) × y + rh (5)) × f
+ (Rh (6) × x + rh (7) × y + rh (8)) (1)
本実施形態において、ｒｈ（ｎ）は、レンズユニット１００のＲＡＭ１２５ｂ（カメラメモリ）又はレンズメモリ１１８にあらかじめ記憶されるものとする。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に要求してレンズメモリ１１８からｒｈ（ｎ）を取得する。しかしながら、ｒｈ（ｎ）はＲＡＭ１２５ｂの不揮発性領域に記憶されていてもよい。この場合、カメラＭＰＵ１２５は、ｒｈ（ｎ）をＲＡＭ１２５ｂから取得する。
In the present embodiment, it is assumed that rh (n) is stored in advance in the
その他の曲線も式（１）と同様の式で表現される。赤と垂直（ＭＴＦ＿Ｐ＿ＲＶ）、緑と水平（ＭＴＦ＿Ｐ＿ＧＨ）、緑と垂直（ＭＴＦ＿Ｐ＿ＧＶ）、青と水平（ＭＴＦ＿Ｐ＿ＢＨ）、青と垂直（ＭＴＦ＿Ｐ＿ＢＶ）の各組み合わせにおける係数（ｒｖ，ｇｈ，ｇｖ，ｂｈ，ｂｖ）とする。これらの係数も同様にＲＡＭ１２５ｂ又はレンズメモリ１１８に記憶されており、カメラＭＰＵ１２５の要求により取得される。
Other curves are also expressed by the same formula as the formula (1). Coefficients (rv, gh, gv, bh, bv) for each combination of red and vertical (MTF_P_RV), green and horizontal (MTF_P_GH), green and vertical (MTF_P_GV), blue and horizontal (MTF_P_BH), and blue and vertical (MTF_P_BV). And Similarly, these coefficients are also stored in the
さらに、本実施形態においては、ＲＡＭ１２５ｂ又はレンズメモリ１１８は、各瞳領域に対応して、収差情報を記憶する。各瞳領域に対応した式（１）の収差情報を得るための処理について説明する。
Furthermore, in the present embodiment, the
ＲＡＭ１２５ｂ又はレンズメモリ１１８に記憶される係数を図９に示す。図９において、例えば、ｒｈ＿ＴＬ（ｎ）は、赤、水平及び瞳領域ＴＬの条件に対応する係数であり、ｇｖ＿Ａ（ｎ）は、緑、垂直及び瞳領域ＥＰ１ａの条件に対応する係数である。
FIG. 9 shows the coefficients stored in the
カメラＭＰＵ１２５は、焦点検出時における瞳領域、又は記録時若しくは鑑賞時に使用する撮影画像の瞳領域に対応した収差情報を、ステップＳ４＿２で設定された瞳領域重み付け係数に従って選択する。ここで瞳領域重み付け係数は、図７（ｃ）に示す、Ｋ＿ＡＦ＿ＰＴＬ、Ｋ＿ＡＦ＿ＰＡ、Ｋ＿ＡＦ＿ＰＢ、Ｋ＿ＩＭＧ＿ＰＴＬ、Ｋ＿ＩＭＧ＿ＰＡ、Ｋ＿ＩＭＧ＿ＰＢである。
The
瞳領域重み付け係数は、焦点検出用と撮影画像用とで異なる値となっているので、瞳領域重み付け係数と図９に示す係数に基づき、焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）と撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）が得られる。焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）と撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）は、以下の式（２）及び式（３）を用いて表される。 Since the pupil area weighting coefficient has different values for the focus detection and the captured image, the focus area aberration coefficient rh_AF (n) and the captured image are calculated based on the pupil area weighting coefficient and the coefficient shown in FIG. The aberration coefficient rh_IMG (n) of is obtained. The aberration coefficient rh_AF (n) for focus detection and the aberration coefficient rh_IMG (n) for a captured image are expressed using the following equations (2) and (3).
ｒｈ＿ＡＦ（ｎ）
＝ｒｈ＿ＴＬ（ｎ）×Ｋ＿ＡＦ＿ＰＴＬ
＋ｒｈ＿Ａ（ｎ）×Ｋ＿ＡＦ＿ＰＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＡＦ＿ＰＢ （２）
ｒｈ＿ＩＭＧ（ｎ）
＝ｒｈ＿ＴＬ（ｎ）×Ｋ＿ＩＭＧ＿ＰＴＬ
＋ｒｈ＿Ａ（ｎ）×Ｋ＿ＩＭＧ＿ＰＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＩＭＧ＿ＰＢ （３）
rh_AF (n)
= Rh_TL (n) × K_AF_PTL
+ Rh_A (n) x K_AF_PA
+ Rh_B (n) × K_AF_PB (2)
rh_IMG (n)
= Rh_TL (n) × K_IMG_PTL
+ Rh_A (n) x K_IMG_PA
+ Rh_B (n) × K_IMG_PB (3)
上述のステップＳ４＿２の説明で例示した瞳領域情報重み付け係数を用いて、式（２）、式（３）を計算して収差係数の重み付けを行うと、以下の式（２’）及び式（３’）が得られる。
ｒｈ＿ＡＦ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （２’）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿Ａ（ｎ） （３’）
When the equation (2) and the equation (3) are calculated and the aberration coefficient is weighted using the pupil region information weighting coefficient exemplified in the above description of step S4_2, the following equation (2 ′) and equation (3) are obtained. ') Is obtained.
rh_AF (n) = rh_TL (n) (2 ')
rh_IMG (n) = rh_A (n) (3 ′)
式（２’）及び式（３’）は、焦点検出時には、射出瞳全体に対応する収差状態に基づき後述するＢＰ補正値の演算が行われ、撮像画像の記録時等には、瞳領域ＥＰ１ａの収差状態に基づき後述するＢＰ補正値の演算が行われることを意味する。 In the expressions (2 ′) and (3 ′), the BP correction value, which will be described later, is calculated based on the aberration state corresponding to the entire exit pupil at the time of focus detection, and when the captured image is recorded, the pupil region EP1a is calculated. It means that a BP correction value, which will be described later, is calculated based on the aberration state.
なお、上述の説明では、色が赤で、方向が水平の場合の係数について例示したが、他の色、方向においても、同様の処理が可能である。 In the above description, the coefficient in the case where the color is red and the direction is horizontal has been exemplified, but the same processing can be performed for other colors and directions.
焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）を式（１）のｒｈ（ｎ）に代入すると、図１０（ａ）に示すように各色、各方向に対応した空間周波数ごとのデフォーカスＭＴＦの極大値が得られる。撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）を式（１）のｒｈ（ｎ）に代入すると、同様に、図１０（ａ）に示すように各色、各方向に対応した空間周波数ごとのデフォーカスＭＴＦの極大値が得られる。このようにして、焦点検出用及び撮影画像用のそれぞれに対応する収差情報を取得することができる。 Substituting the aberration coefficient rh_AF (n) for focus detection into rh (n) of the equation (1), the maximum value of the defocus MTF for each spatial frequency corresponding to each color and each direction as shown in FIG. Is obtained. Substituting the aberration coefficient rh_IMG (n) for the captured image into rh (n) of the equation (1), similarly, as shown in FIG. 10A, the defocus MTF for each spatial frequency corresponding to each color and each direction. The maximum value of is obtained. In this way, the aberration information corresponding to each of the focus detection and the captured image can be acquired.
このように、本実施形態によれば、焦点検出、撮影画像の各々について、瞳領域に対応する収差情報を選択し用いることができる。これにより、瞳領域ごとの収差の差を考慮した補正が可能となる。これにより、高精度なＢＰ補正値の算出が可能である。 As described above, according to the present embodiment, it is possible to select and use the aberration information corresponding to the pupil region for each of the focus detection and the captured image. As a result, it becomes possible to perform correction in consideration of the difference in aberration between the pupil regions. Accordingly, it is possible to calculate the BP correction value with high accuracy.
なお、瞳分割数（本実施形態では２個）、瞳分割の方向等の瞳分割の方法は本実施形態の方法に限定されるものではない。瞳分割の個数、方向等は、適宜変更し得る。また、レンズメモリ１１８に記憶される収差情報の情報量を低減するために、選択される瞳領域の面積が等しいか又は近い場合には、共通の収差情報を用いてもよい。例えば、図４（ｂ）のように瞳領域が線対称の系である場合には、製造誤差が大きい場合などを除き、収差情報は近い特性を持つ。よって、収差情報を共通化してもよい。 Note that the number of pupil divisions (two in this embodiment), the pupil division method such as the direction of pupil division, is not limited to the method of this embodiment. The number of pupil divisions, the direction, and the like can be changed as appropriate. Further, in order to reduce the information amount of the aberration information stored in the lens memory 118, common aberration information may be used when the areas of the selected pupil regions are equal to or close to each other. For example, when the pupil region is a line-symmetrical system as shown in FIG. 4B, the aberration information has similar characteristics except when the manufacturing error is large. Therefore, the aberration information may be shared.
本実施形態のように収差情報を関数化し、各項の係数を収差係数として記憶させておくことにより、数値データのまま記憶させた場合と比べてレンズメモリ１１８又はＲＡＭ１２５ｂ（カメラメモリ）に記憶されるデータ量が削減される。また、撮影光学系の変化及び焦点検出光学系の変化に対応することも可能となる。
By converting the aberration information into a function and storing the coefficient of each term as the aberration coefficient as in the present embodiment, the numerical value data is stored in the lens memory 118 or the
ステップＳ６において、補正値算出手段として機能するカメラＭＰＵ１２５は、ステップＳ４で取得した焦点検出情報と、ステップＳ５で取得した瞳領域に対応した収差情報から、ＢＰ補正値を算出する。ここでは、焦点検出に対応する光学系の収差情報ＢＰ１と、撮影画像に対応する光学系の収差情報ＢＰ２と、ステップＳ４で設定された色、方向、周波数の重み付け係数である焦点検出情報とを用いて、ＢＰ補正値を算出する例を説明する。
In step S6, the
まず、前述したように、式（１）のｘ，ｙに、焦点検出領域２１９の位置情報（ｘ１，ｙ１）を代入する。この計算により式（１）は、係数Ａｒｈ、Ｂｒｈ及びＣｒｈを用いて以下の式（４）のような形式で表される。
ＭＴＦ＿Ｐ＿ＲＨ１（ｆ）＝Ａｒｈ１×ｆ２＋Ｂｒｈ１×ｆ＋Ｃｒｈ１ （４）
First, as described above, the position information (x1, y1) of the
MTF_P_RH1 (f) = Arh1 × f 2 + Brh1 × f + Crh1 (4)
カメラＭＰＵ１２５は、同様にして、焦点検出に関する収差情報ＭＴＦ＿Ｐ＿ＲＶ１（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ１（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ１（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ１（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ１（ｆ）を計算する。また、カメラＭＰＵ１２５は、同様にして、撮影画像に関する収差情報ＭＴＦ＿Ｐ＿ＲＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＲＶ２（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ２（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ２（ｆ）を計算する。
Similarly, the
図１０（ａ）、図１０（ｂ）に示されるとおり、色収差、縦横方向の収差により、各曲線は乖離する。色収差が大きい場合には、色ごとの曲線が大きく乖離し、収差の縦横差が大きい場合には、水平方向と垂直方向に対応する曲線が大きく乖離する。このように、本実施形態では、色（Ｒ，Ｇ，Ｂ）と評価方向（Ｈ，Ｖ）との組み合わせごとに、空間周波数に対応したデフォーカスＭＴＦ情報を得ることができる。 As shown in FIGS. 10A and 10B, the respective curves deviate due to the chromatic aberration and the longitudinal and lateral aberrations. When the chromatic aberration is large, the curves for each color deviate greatly, and when the vertical and horizontal differences in aberration are large, the curves corresponding to the horizontal direction and the vertical direction deviate greatly. As described above, in this embodiment, the defocus MTF information corresponding to the spatial frequency can be obtained for each combination of the color (R, G, B) and the evaluation direction (H, V).
次に、カメラＭＰＵ１２５は、ステップＳ４で取得した焦点検出情報を構成する係数（図７（ａ）、図７（ｂ））で、各瞳領域に対応する収差情報を重み付けする。この動作により、収差情報が、焦点検出及び撮影画像について評価する色及び方向に関して重み付けされる。具体的には、カメラＭＰＵ１２５は、焦点検出用の空間周波数特性である収差情報ＭＴＦ＿Ｐ＿ＡＦ（ｆ）と撮影画像用の空間周波数特性である収差情報ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を、式（５）及び式（６）を用いて算出する。
Next, the
ＭＴＦ＿Ｐ＿ＡＦ（ｆ）
＝Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ１（ｆ） （５）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）
＝Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ２（ｆ） （６）
MTF_P_AF (f)
= K_AF_R × K_AF_H × MTF_P_RH1 (f)
+ K_AF_R × K_AF_V × MTF_P_RV1 (f)
+ K_AF_G × K_AF_H × MTF_P_GH1 (f)
+ K_AF_G × K_AF_V × MTF_P_GV1 (f)
+ K_AF_B × K_AF_H × MTF_P_BH1 (f)
+ K_AF_B × K_AF_V × MTF_P_BV1 (f) (5)
MTF_P_IMG (f)
= K_IMG_R × K_IMG_H × MTF_P_RH2 (f)
+ K_IMG_R × K_IMG_V × MTF_P_RV2 (f)
+ K_IMG_G × K_IMG_H × MTF_P_GH2 (f)
+ K_IMG_G × K_IMG_V × MTF_P_GV2 (f)
+ K_IMG_B × K_IMG_H × MTF_P_BH2 (f)
+ K_IMG_B × K_IMG_V × MTF_P_BV2 (f) (6)
図１１は、上述の式（５）、式（６）により得られたＭＴＦ＿Ｐ＿ＡＦ（ｆ）とＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を示すグラフである。図１１には、離散的な空間周波数Ｆｑ１からＦｑ４について、デフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ１０４の位置（ピーク位置）ＬＰ４＿ＡＦ、ＬＰ５＿ＡＦ、ＬＰ６＿ＡＦ、ＬＰ７＿ＡＦが縦軸に示されている。
FIG. 11 is a graph showing MTF_P_AF (f) and MTF_P_IMG (f) obtained by the above equations (5) and (6). In FIG. 11, the positions (peak positions) LP4_AF, LP5_AF, LP6_AF, and LP7_AF of the
次に、カメラＭＰＵ１２５は、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を、以下の式（７）及び（８）に従って算出する。算出には、空間周波数特性に係る収差情報ＭＴＦ＿Ｐ＿ＡＦ（ｆ）、ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）と、ステップＳ４で得た評価帯域Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｆｑ４、Ｋ＿ＡＦ＿Ｆｑ１〜Ｆｑ４を用いる。
Next, the
Ｐ＿ＩＭＧ
＝ＭＴＦ＿Ｐ＿ＩＭＧ（１）×Ｋ＿ＩＭＧ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＩＭＧ（２）×Ｋ＿ＩＭＧ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＩＭＧ（３）×Ｋ＿ＩＭＧ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＩＭＧ（４）×Ｋ＿ＩＭＧ＿Ｆｑ４ （７）
Ｐ＿ＡＦ
＝ＭＴＦ＿Ｐ＿ＡＦ（１）×Ｋ＿ＡＦ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＡＦ（２）×Ｋ＿ＡＦ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＡＦ（３）×Ｋ＿ＡＦ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＡＦ（４）×Ｋ＿ＡＦ＿Ｆｑ４ （８）
P_IMG
= MTF_P_IMG (1) × K_IMG_Fq1
+ MTF_P_IMG (2) × K_IMG_Fq2
+ MTF_P_IMG (3) × K_IMG_Fq3
+ MTF_P_IMG (4) × K_IMG_Fq4 (7)
P_AF
= MTF_P_AF (1) × K_AF_Fq1
+ MTF_P_AF (2) × K_AF_Fq2
+ MTF_P_AF (3) × K_AF_Fq3
+ MTF_P_AF (4) × K_AF_Fq4 (8)
すなわち、カメラＭＰＵ１２５は、図１１に示される空間周波数ごとのデフォーカスＭＴＦの極大値情報を、Ｋ＿ＩＭＧ＿ＦＱ、Ｋ＿ＡＦ＿ＦＱで重み付け加算する。それにより、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を算出している。
That is, the
次にカメラＭＰＵ１２５は、ＢＰ補正値（ＢＰ）を、以下の式（９）により算出する。
ＢＰ＝Ｐ＿ＡＦ−Ｐ＿ＩＭＧ （９）
Next, the
BP = P_AF-P_IMG (9)
ステップＳ７において、デフォーカス値補正手段として機能するカメラＭＰＵ１２５は、以下の式（１０）により、デフォーカス値ＤＥＦを補正することにより焦点検出結果の補正を行う。補正後のデフォーカス値をｃＤＥＦ（第２のデフォーカス値）とする。なお、ここで用いられるデフォーカス値は、前述したように、コントラストＡＦで得られるものであってもよく、位相差ＡＦで得られるものであってもよい。
ｃＤＥＦ＝ＤＥＦ−ＢＰ （１０）
In step S7, the
cDEF = DEF-BP (10)
ステップＳ８において、焦点制御手段として動作するカメラＭＰＵ１２５が、ステップＳ７で得られたデフォーカス値ｃＤＥＦ分だけフォーカスレンズ１０４を駆動させるように、フォーカスアクチュエータ１１３を制御する。この動作により、撮影光学系の焦点位置が補正を考慮した合焦位置となるようにフォーカスレンズ１０４が駆動される。以上によりＡＦ処理が完了する。
In step S8, the
本実施形態では、焦点検出領域２１９の位置、評価する色及び方向に関する処理を、空間周波数に関する処理よりも先行して実行している。これは、撮影者が焦点検出領域２１９の位置を設定するモードの場合、焦点検出領域２１９の位置、評価する色及び方向に関する情報は変更される頻度が低いためである。
In the present embodiment, the processing regarding the position of the
一方で、信号の評価する空間周波数については、撮像素子１２２の読出しモード、ＡＦ評価信号に係るデジタルフィルタなどにより変更される頻度が高い。例えば、信号のＳ／Ｎ比が低下する低輝度環境では、デジタルフィルタの帯域をより低帯域に変更することなどがあり得る。そのため、変更の頻度が低い係数（ピーク係数）を算出後に記憶しておき、変更の頻度の高い係数（空間周波数）のみを必要に応じて計算し、ＢＰ補正値の算出を行ってもよい。これにより、撮影者が焦点検出領域の位置を設定する場合などには、評価する空間周波数の係数のみを更新して処理することが可能であり、演算量を低減することができる。
On the other hand, the spatial frequency evaluated by the signal is frequently changed by the read mode of the
本実施形態によれば、一部の瞳領域を通過した光束に基づく信号が焦点検出信号又は撮影画像に使用される場合であっても、その瞳領域に対応した収差情報を選択可能であるため、高精度な焦点検出結果補正が可能である。さらに、本実施形態によれば、瞳領域ごとのレンズの収差情報と、カメラの重み付け係数とを用いてＢＰ補正値を算出することができる。そのため、各カメラ、焦点検出モード、撮影モードに対応するＢＰ補正値を個別に記憶しておかなくても、レンズの収差情報を用いてカメラがＢＰ補正値を算出することができるため、焦点検出結果補正のための記憶容量を低減することができる。 According to this embodiment, even when the signal based on the light flux that has passed through a part of the pupil region is used for the focus detection signal or the captured image, the aberration information corresponding to the pupil region can be selected. Highly accurate focus detection result correction is possible. Furthermore, according to the present embodiment, the BP correction value can be calculated using the aberration information of the lens for each pupil region and the weighting coefficient of the camera. Therefore, the camera can calculate the BP correction value using the aberration information of the lens without separately storing the BP correction value corresponding to each camera, the focus detection mode, and the shooting mode. The storage capacity for result correction can be reduced.
さらに、交換可能なレンズユニット１００（交換レンズ）とカメラ本体２００とを組み合わせたカメラシステムにおいて、ＢＰ補正値の算出に必要な収差情報などの情報をレンズユニット１００とカメラ本体２００に分けて記憶させてもよい。例えば、レンズユニット１００内のレンズメモリ１１８に収差情報を記憶させておき、カメラ本体２００のＲＡＭ１２５ｂに重み付け係数を記憶させておく構成であってもよい。この構成によれば、レンズユニット１００とカメラ本体２００の間の適合性に優れるカメラシステムが実現可能となる。例えば、カメラ本体２００よりも後にレンズユニット１００が発売されるような場合であっても、両者を適合させることができ、ＢＰ補正値が算出可能となる。
Further, in a camera system in which the interchangeable lens unit 100 (interchangeable lens) and the camera body 200 are combined, information such as aberration information necessary for calculating the BP correction value is separately stored in the
撮影光学系の全域の瞳領域ＴＬに対応する収差情報と、撮影光学系の一部の瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報とは、いずれもＲＡＭ１２５ｂに記憶させておくことができる。また、これらは、いずれもレンズメモリ１１８に記憶されていてもよい。しかしながら、瞳領域ＴＬに対応する収差情報は、視差画像を記録する機能を有しないカメラに対しても使用され得るものであるが、瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報は、このようなカメラでは使用されないという場合がある。そのため、レンズメモリ１１８には瞳領域ＴＬに対応する収差情報のみを記憶させておき、ＲＡＭ１２５ｂには瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報を記憶させておいてもよい。
Both the aberration information corresponding to the pupil region TL of the entire area of the photographing optical system and the aberration information corresponding to some pupil regions EP1a and EP1b of the photographing optical system can be stored in the
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、焦点検出に用いる光束が通過する瞳領域と、撮影に用いる光束が通過する瞳領域とにそれぞれ対応した収差情報を用いることにより高精度な焦点検出誤差の補正が行われる。これに対し、本実施形態は、焦点検出、撮影に用いる光束が通過する瞳領域ごとに収差寄与率に応じた収差情報の重み付けを行う点が第１の実施形態と異なる。この重み付けに用いられる係数は、焦点検出に用いる光束を構成する収差情報の対に係るビネッティングに関する条件、収差量等に基づき定められる。なお、本実施形態では、ＡＦ動作は位相差焦点検出により行われるものとする。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment, highly accurate focus detection error correction is performed by using the aberration information corresponding to the pupil area through which the light flux used for focus detection passes and the pupil area through which the light flux used for imaging passes. . On the other hand, the present embodiment is different from the first embodiment in that the aberration information is weighted according to the aberration contribution rate for each pupil region through which the light flux used for focus detection and imaging passes. The coefficient used for this weighting is determined on the basis of the condition regarding the vignetting relating to the pair of aberration information forming the light flux used for focus detection, the aberration amount, and the like. In this embodiment, the AF operation is performed by phase difference focus detection.
図１２は、本実施形態に係るＡＦ処理動作を示すフローチャートである。図１２を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るＡＦ処理の動作に関して説明する。撮像装置等の装置構成は第１の実施形態と共通であるため説明を省略する。また、本実施形態のステップＳ１からＳ４及びＳ６からＳ８は、第１の実施形態と共通であるため、説明を省略する。 FIG. 12 is a flowchart showing the AF processing operation according to this embodiment. With reference to FIG. 12, the operation of the AF processing that can be performed in the digital camera of the present embodiment and the auxiliary application will be described. Since the device configuration of the image pickup device and the like is the same as that of the first embodiment, the description thereof will be omitted. Further, steps S1 to S4 and S6 to S8 of the present embodiment are common to the first embodiment, and therefore description thereof will be omitted.
ステップＳ８０５において、瞳領域ごとに収差情報の重み付けが行われる。焦点検出、撮影に関する瞳領域ごとの収差情報の重み付け係数をそれぞれＫ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢとする。このとき、赤色及び水平方向に対応する、瞳領域ごとの収差情報の重み付けは、以下の式（１１）、式（１２）により行われる。
ｒｈ＿ＡＦ（ｎ）
＝ｒｈ＿Ａ（ｎ）×Ｋ＿ＡＦ＿ＳＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＡＦ＿ＳＢ （１１）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （１２）
In step S805, the aberration information is weighted for each pupil region. The weighting factors of the aberration information for each pupil region relating to focus detection and photographing are set to K_AF_SA and K_AF_SB, respectively. At this time, the weighting of the aberration information for each pupil region corresponding to the red color and the horizontal direction is performed by the following equations (11) and (12).
rh_AF (n)
= Rh_A (n) × K_AF_SA
+ Rh_B (n) × K_AF_SB (11)
rh_IMG (n) = rh_TL (n) (12)
例えば、瞳領域ごとの収差情報の重み付け係数が、Ｋ＿ＡＦ＿ＳＡ＝０．８、Ｋ＿ＡＦ＿ＳＢ＝０．２である場合、式（１１）、式（１２）は、以下の式（１１’）、式（１２’）のように変形される。
ｒｈ＿ＡＦ（ｎ）
＝０．８×ｒｈ＿Ａ（ｎ）
＋０．２×ｒｈ＿Ｂ（ｎ） （１１’）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （１２’）
For example, when the weighting coefficient of the aberration information for each pupil region is K_AF_SA = 0.8 and K_AF_SB = 0.2, the equations (11) and (12) are the following equations (11 ′) and (12). It is transformed like ').
rh_AF (n)
= 0.8 x rh_A (n)
+ 0.2 × rh_B (n) (11 ')
rh_IMG (n) = rh_TL (n) (12 ′)
式（１１’）は、焦点検出結果に対して瞳領域ＥＰ１ｂに関する収差に比べ瞳領域ＥＰ１ａに関する収差の影響が大きいことを意味する。なお、他の色及び他の方向においても、同様の処理が行われる。 Expression (11 ') means that the focus detection result has a larger influence of the aberration on the pupil region EP1a than on the pupil region EP1b. Similar processing is performed for other colors and other directions.
次に、瞳領域ごとの収差情報の重み付け係数の算出方法について説明する。まず、瞳領域ごとの収差の寄与率に関して図１３から図１５、図２０を参照して説明する。 Next, a method of calculating the weighting coefficient of the aberration information for each pupil area will be described. First, the contribution rate of aberration for each pupil region will be described with reference to FIGS. 13 to 15 and 20.
図２０（ａ）、図２０（ｂ）及び図２０（ｃ）は、センサの設定瞳距離と撮影光学系の射出瞳距離を示す図である。図２０（ａ）、図２０（ｂ）及び図２０（ｃ）は、撮像素子１２２（センサ）の周辺像高における光電変換部２１１ａ、２１１ｂの瞳領域５００及び撮影光学系の射出瞳４００の関係を示している。瞳領域５００は、光電変換部２１１ａの瞳部分領域５０１及び光電変換部２１１ｂの瞳部分領域５０２を含む。図中の距離Ｄｌは、撮影光学系の射出瞳距離（射出瞳４００と撮像素子１０７の撮像面との距離）を表している。距離Ｄｓは、撮像素子１２２の設定瞳距離（センサの設定瞳距離）表している。
20A, 20B, and 20C are diagrams showing the set pupil distance of the sensor and the exit pupil distance of the photographing optical system. 20A, 20B, and 20C show the relationship between the
図２０（ａ）は、撮影光学系の射出瞳距離Ｄｌと、センサの設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１及び瞳部分領域５０２により、撮影光学系の射出瞳４００は略均等に瞳分割される。
FIG. 20A shows a case where the exit pupil distance Dl of the photographing optical system is equal to the set pupil distance Ds of the sensor. In this case, the pupil
一方、図２０（ｂ）に示されるように、撮影光学系の射出瞳距離Ｄｌがセンサの設定瞳距離Ｄｓよりも短い場合、センサの周辺像高では、撮影光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、撮影光学系の射出瞳４００が不均一に瞳分割される。同様に、図２０（ｃ）に示されるように、撮影光学系の射出瞳距離Ｄｌがセンサの設定瞳距離Ｄｓよりも長い場合も、センサの周辺像高では、撮影光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、撮影光学系の射出瞳４００が不均一に瞳分割される。
On the other hand, as shown in FIG. 20B, when the exit pupil distance Dl of the photographing optical system is shorter than the set pupil distance Ds of the sensor, at the peripheral image height of the sensor, the
図１３は、撮像素子１２２での受光強度の分布を示すグラフである。図１３（ａ）は、横軸をセンサの設定瞳距離における位置（センサ瞳面座標）とした場合の受光強度分布であり、図１３（ｂ）は、横軸を撮影光学系の射出瞳面における位置とした場合の受光強度分布である。図中の一点鎖線は絞り１０２の開口部の端部に相当する位置を示している。また、軸の交点は光軸上の点を示している。
FIG. 13 is a graph showing the distribution of received light intensity at the
図１３（ａ）は、撮影光学系の射出瞳距離がセンサの設定瞳距離よりも短く、焦点検出領域が周辺像高に設定された場合における受光強度分布を示す。また、図中の９０１Ａ、９０１Ｂの符号が付された２つのグラフは、それぞれ光電変換部２１１ａ、２１１ｂに対応した受光強度分布である。なお、絞り１０２により光束の一部が遮られるため、実際に得られる信号は、絞り１０２の位置を示す２本の線の間の領域が切り出されたものとなる。図１３（ｂ）は、絞り１０２により切り出された受光強度分布９０１Ａ、９０１Ｂを撮影光学系の射出瞳面の位置に投影し、さらに受光強度をそれぞれの光量で規格化したものを、受光強度分布９０２Ａ、９０２Ｂとして示すグラフである。受光強度分布９０２Ａは面内における強度の変化が大きく、図中の左側ほど強度が強くなっている。これに対し、受光強度分布９０２Ｂは、受光強度分布９０２Ａと比べて面内における強度の変化が小さい。
FIG. 13A shows the received light intensity distribution when the exit pupil distance of the photographing optical system is shorter than the set pupil distance of the sensor and the focus detection area is set to the peripheral image height. In addition, two graphs denoted by
図１４は撮影光学系の射出瞳面内における、撮影光学系に含まれるレンズの収差量を示すグラフである。ここで縦軸の収差量は、横収差の量を表しており、本実施形態では、この収差は、一例としてコマ収差であるものとして説明する。図１４に示される１００１の符号が付されたグラフにより、撮影光学系のレンズのコマ収差は射出瞳面の端部に近づくにつれて大きくなることがわかる。
FIG. 14 is a graph showing the amount of aberration of the lens included in the photographing optical system in the exit pupil plane of the photographing optical system. Here, the amount of aberration on the vertical axis represents the amount of lateral aberration, and in the present embodiment, this aberration will be described as a coma aberration as an example. It can be seen from the graph denoted by
図１５（ａ）は、図１３（ａ）に示す受光強度分布と、図１４に示す収差量とを乗算して得られる収差寄与率分布を示すグラフである。図中の１１０１Ａ、１１０１Ｂの符号が付された２つのグラフは、それぞれ光電変換部２１１ａ、２１１ｂに対応した収差寄与率分布である。光電変換部２１１ａに関する収差寄与率分布１１０１Ａは、図中の左端において大きい値となっている。これは、受光強度分布９０２Ａの強度が高い左端において撮影光学系のレンズの収差も大きいためである。これに対して、光電変換部２１１ｂに対する収差寄与率分布１１０１Ｂの左端は、受光強度分布９０２Ｂの分布が比較的平坦であるため、収差寄与率分布１１０１Ａの左端に比べて小さな値となっている。
FIG. 15A is a graph showing an aberration contribution rate distribution obtained by multiplying the received light intensity distribution shown in FIG. 13A and the aberration amount shown in FIG. Two graphs denoted by
図１５（ｂ）は、収差寄与率分布１１０１Ａから収差寄与率分布１１０１Ｂを減算して得られる収差寄与率分布１１０３を示すグラフである。このグラフは、収差寄与率分布１１０３がプラス方向に大きいほど、光電変換部２１１ａに対する収差寄与率が大きく、マイナス方向に大きいほど、光電変換部２１１ｂに対する収差寄与率が大きいことを意味している。射出瞳面内全体での光電変換部２１１ａ、光電変換部２１１ｂのそれぞれに対する収差寄与率Ｓａ、Ｓｂは図中にハッチングで示された領域の面積で表わされる。
FIG. 15B is a graph showing an aberration
図１５（ｂ）の例では、収差寄与率ＳａとＳｂの比率の概算値は、Ｓａ：Ｓｂ＝５：２であり、光電変換部２１１ａへの入射光の方が、撮影光学系のレンズの収差の影響を大きく受けている。光電変換部２１１ａについては、受光強度が大きい箇所と収差が大きい箇所とが一致しているため収差寄与率Ｓａが大きくなるが、光電変換部２１１ｂについては、受光強度分布が比較的平坦であるため、収差寄与率Ｓｂはさほど大きくならないためである。このように、収差が大きい箇所において、光電変換部２１１ａと光電変換部２１１ｂに関し、絞り１０２を通過した光束に対する強度分布の差が大きい場合に、寄与率の差が大きくなる。
In the example of FIG. 15B, the approximate value of the ratio of the aberration contribution rates Sa and Sb is Sa: Sb = 5: 2, and the incident light on the
位相差ＡＦでは、光電変換部２１１ａ、光電変換部２１１ｂの各々に基づく２つの信号を用いて焦点検出を行う。そのため、光電変換部２１１ａ、光電変換部２１１ｂへの入射光について収差の寄与率が異なる場合、射出瞳面上の瞳領域に対する収差情報を用いてＢＰ補正値を算出すると、補正誤差が生じる。その理由について説明する。
In the phase difference AF, focus detection is performed using two signals based on each of the
位相差ＡＦは、デフォーカスによる線像強度分布の重心ずれ量に基づいて合焦位置を算出する手法である。図１６に、デフォーカスによる線像強度分布の重心ずれ量を説明するための図を示す。図１６は、重心ずれ量及び相関演算結果（線像強度分布の位置ずれ量）の少なくとも１つに差を与える収差（以下、コマ収差等の収差と呼ぶ）並びに絞り１０２等によるケラレ（ビネッティング）がないと仮定した状態の線像強度分布を示している。このような場合、位相差ＡＦにおいて焦点検出誤差が生じない。
The phase difference AF is a method of calculating the in-focus position based on the amount of shift of the center of gravity of the line image intensity distribution due to defocus. FIG. 16 is a diagram for explaining the amount of deviation of the center of gravity of the line image intensity distribution due to defocus. FIG. 16 shows an aberration (hereinafter, referred to as an aberration such as coma aberration) that gives a difference to at least one of the center-of-gravity shift amount and the correlation calculation result (positional shift amount of the line image intensity distribution), and vignetting (vignetting) due to the
図１６には、互いに異なるフォーカス位置１２０１＿Ｐ、１２０２＿Ｐにおける線像強度分布が示されている。線像強度分布１２０１＿Ａ、１２０１＿Ｂは、それぞれ光電変換部２１１ａ、２１１ｂに対応する、１２０１＿Ｐにおける一対の線像強度分布である。線像強度分布１２０２＿Ａ、１２０２＿Ｂは、それぞれ光電変換部２１１ａ、２１１ｂに対応する、１２０２＿Ｐにおける一対の線像強度分布である。また、一点鎖線で示された１２０１＿ＧＡ、１２０１＿ＧＢは、それぞれ線像強度分布１２０１＿Ａ、１２０１＿Ｂの重心位置を示している。一点鎖線で示された１２０２＿ＧＡ、１２０２＿ＧＢは、それぞれ１２０２＿Ａ、１２０２＿Ｂの重心位置を示している。さらに、重心ずれ量１２０１＿ｄｉｆＧは、１２０１＿ＧＡ、１２０１＿ＧＢの差分を示しており、重心ずれ量１２０２＿ｄｉｆＧは、１２０２＿ＧＡ、１２０２＿ＧＢの差分を示している。
FIG. 16 shows line image intensity distributions at different focus positions 1201_P and 1202_P. The line image intensity distributions 1201_A and 1201_B are a pair of line image intensity distributions in 1201_P corresponding to the
図１６に示されるように、コマ収差等の収差及び絞り１０２等によるケラレがない場合には、デフォーカスに応じて、重心ずれ量１２０１＿ｄｉｆＧ、１２０２＿ｄｉｆＧが変化する。そのため、これらの重心ずれ量１２０１＿ｄｉｆＧ、１２０２＿ｄｉｆＧに基づいて、デフォーカス値を算出することで、位相差ＡＦを行うことができる。
As shown in FIG. 16, when there is no aberration such as coma and vignetting due to the
次に、撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合について説明する。図１７（ａ）は、撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合の一対の線像強度分布を示す図である。
Next, a case where aberration such as coma of the photographing optical system or vignetting due to the
図１７（ａ）において、破線で示された線像強度分布１３０１＿Ａは、光電変換部２１１ａに対応する線像強度分布である。実線で示された線像強度分布１３０１＿Ｂは光電変換部２１１ｂに対応する線像強度分布である。一点鎖線で示されたＧ＿Ａは、線像強度分布１３０１＿Ａの重心位置を示しており、一点鎖線で示されたＧ＿Ｂは線像強度分布１３０１＿Ｂの重心位置を示している。
In FIG. 17A, the line image intensity distribution 1301_A indicated by the broken line is the line image intensity distribution corresponding to the
図１７（ａ）に示されるように線像強度分布１３０１＿Ａ、１３０１＿Ｂは、光学系のコマ収差等の収差の影響により、片側に尾を引いた非対称形状の分布となっている。このような非対称形状である場合、線像強度分布の重心位置Ｇ＿Ａ、Ｇ＿Ｂが尾を引いた側にシフトするため、重心ずれが生じる。 As shown in FIG. 17A, the line image intensity distributions 1301_A and 1301_B have an asymmetrical shape with one side being tailed due to the influence of aberrations such as coma of the optical system. In the case of such an asymmetrical shape, the gravity center positions G_A and G_B of the line image intensity distribution shift to the trailing side, so that the gravity center shift occurs.
また、線像強度分布１３０１＿Ａ、１３０１＿Ｂは、撮影光学系の絞り１０２等によるケラレの影響により差が生じる。よりケラレの影響が大きい線像強度分布１３０１＿Ａの方がコマ収差等の収差の影響を大きく受けており、非対称性がより大きい。このように、非対称性が線像強度分布１３０１＿Ａ、１３０１＿Ｂの間で異なることにより、それぞれの重心位置Ｇ＿Ａ、Ｇ＿Ｂのずれ量が互いに異なる。図１７（ｂ）は、図１７（ａ）における線像強度分布１３０１＿Ａ、１３０１＿Ｂを足し合わせた線像強度分布１３０１＿ＩＭＧを示す図である。線像強度分布１３０１＿ＩＭＧは、光電変換部２１１ａ、２１１ｂの各々で生成された光電変換信号の和に対応する。
Further, the line image intensity distributions 1301_A and 1301_B have a difference due to the effect of vignetting due to the
図１７（ｃ）は、図１７（ａ）の状態とは異なるデフォーカス位置における線像強度分布を示す図である。この状態では、点線で示された線像強度分布１３０２＿Ａと、実線で示された線像強度分布１３０２＿Ｂとの重心位置が一致している。図１７（ｄ）は、図１７（ｂ）と同様に、図１７（ｃ）における線像強度分布１３０２＿Ａ、１３０２＿Ｂを足し合わせた線像強度分布１３０２＿ＩＭＧを示す図である。 FIG. 17C is a diagram showing a line image intensity distribution at a defocus position different from the state of FIG. 17A. In this state, the barycentric positions of the line image intensity distribution 1302_A indicated by the dotted line and the line image intensity distribution 1302_B indicated by the solid line match. Similar to FIG. 17B, FIG. 17D is a diagram showing a line image intensity distribution 1302_IMG obtained by adding the line image intensity distributions 1302_A and 1302_B in FIG. 17C.
図１７（ｂ）と図１７（ｄ）を比較すると、重心位置の異なる線像強度分布の和である線像強度分布１３０１＿ＩＭＧのピークの方が、重心位置が一致した線像強度分布の和である線像強度分布１３０２＿ＩＭＧのピークよりも急峻である。撮影画像の信号に対応する線像強度分布１３０１＿ＩＭＧ、１３０２＿ＩＭＧのピーク形状が最も急峻であり、コントラストが最大となる位置が、合焦位置である。そのため、重心位置の異なる図１７（ａ）の状態がより合焦位置に近い状態であり、重心位置が一致した図１７（ｃ）の状態は図１７（ａ）の状態よりも合焦位置から遠い状態であるといえる。 Comparing FIG. 17B and FIG. 17D, the peak of the line image intensity distribution 1301_IMG, which is the sum of the line image intensity distributions at different centroid positions, is the sum of the line image intensity distributions at which the centroid positions match. It is steeper than the peak of a certain line image intensity distribution 1302_IMG. The position where the peak shape of the line image intensity distributions 1301_IMG and 1302_IMG corresponding to the signal of the captured image is the steepest and the contrast is maximum is the focus position. Therefore, the state of FIG. 17A in which the center of gravity positions are different is closer to the in-focus position, and the state of FIG. 17C in which the center of gravity positions match is closer to the in-focus position than the state in FIG. 17A. It can be said that it is in a distant state.
このことから、非対称性が一対の線像強度分布間で異なり、重心ずれ量に差が生じている場合には、重心位置が一致する位置が合焦位置とはならず、重心位置が異なる位置が合焦位置となることがある。言い換えると、合焦位置の検出に誤差が生じている。 From this, when the asymmetry is different between the pair of line image intensity distributions and there is a difference in the center-of-gravity shift amount, the position where the center-of-gravity positions match does not become the focus position, and the position where the center-of-gravity positions differ. May be the in-focus position. In other words, there is an error in the detection of the in-focus position.
以上のように、線像強度分布１３０１＿Ａ、１３０１＿Ｂのように撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合、デフォーカスによる重心ずれ量に加えて、線像強度分布の非対称性に起因した重心ずれ量差が生じる。これにより、位相差ＡＦの処理において、本来合焦位置と検出するべきデフォーカス位置で、ピントずれがあると検出する誤検出が生じ得る。また、その際の合焦位置からのずれ量は、光電変換部２１１ａと光電変換部２１１ｂの間の収差の寄与率の差が大きいほど、大きくなる。
As described above, when the line image intensity distributions 1301_A and 1301_B have large aberrations such as coma of the photographing optical system or vignetting due to the
次に、重心ずれ量差と、撮影光学系のデフォーカスＭＴＦとの関係について説明する。
図１８（ａ）及び図１８（ｂ）は、撮影光学系のデフォーカスＭＴＦを示す。図１８（ａ）は、瞳領域ＴＬに対応するデフォーカスＭＴＦであり、図１８（ｂ）は、光電変換部２１１ａ、２１１ｂのうち、収差寄与率が高い方の瞳領域に対応するデフォーカスＭＴＦである。
Next, the relationship between the center-of-gravity deviation amount difference and the defocus MTF of the photographing optical system will be described.
18A and 18B show the defocus MTF of the photographing optical system. 18A shows the defocus MTF corresponding to the pupil region TL, and FIG. 18B shows the defocus MTF corresponding to the pupil region having the higher aberration contribution rate in the
ＭＴＦ＿ＴＬ＿１４０１〜ＭＴＦ＿ＴＬ＿１４０４は、瞳領域ＴＬに対するデフォーカスＭＴＦであり、それぞれ空間周波数が異なる。ＡＦの処理に用いる空間周波数のデフォーカスＭＴＦがＭＴＦ＿ＴＬ＿１４０１であるものとする。このとき、ＭＴＦ＿ＴＬ＿１４０１のピーク位置ｐ＿ＴＬ＿１４０１は、位相差ＡＦで検出される合焦位置を意味する。また、撮影画像に用いる空間周波数のデフォーカスＭＴＦがＭＴＦ＿ＴＬ＿１４０４であるものとするとそのピーク位置ｐ＿ＴＬ＿１４０４は、撮影画像に対する合焦位置を意味する。これらのピーク位置ｐ＿ＴＬ＿１４０１、ｐ＿ＴＬ１４０４の差分が、瞳領域ＴＬに対する収差情報から算出されるＢＰ補正値である。 MTF_TL_1401 to MTF_TL_1404 are defocus MTFs for the pupil region TL and have different spatial frequencies. It is assumed that the defocus MTF of the spatial frequency used for the AF processing is MTF_TL_1401. At this time, the peak position p_TL_1401 of MTF_TL_1401 means the in-focus position detected by the phase difference AF. Further, assuming that the defocus MTF of the spatial frequency used for the captured image is MTF_TL_1404, the peak position p_TL_1404 means the focus position for the captured image. The difference between the peak positions p_TL_1401 and p_TL1404 is the BP correction value calculated from the aberration information for the pupil region TL.
しかし上述したとおり、位相差ＡＦでは、光電変換部２１１ａ、２１１ｂの収差の寄与率に差がある場合、重心ずれ量に差が生じる。これにより、位相差ＡＦで検出される合焦位置は図１８（ａ）中の破線で示されたｄｅｆ１４１０の位置となり、ピーク位置ｐ＿ＴＬ１４０１からずれる。
However, as described above, in the phase difference AF, when there is a difference in the contribution rate of the aberrations of the
図１８（ｂ）には、瞳領域ＴＬに対するデフォーカスＭＴＦであるＭＴＦ＿ＴＬ＿１４０１と、光電変換部２１１ａ、２１１ｂのうち、収差の寄与率が大きい方に対するデフォーカスＭＴＦであるＭＴＦ＿Ａ＿１４０１が示されている。これらはいずれも位相差ＡＦの処理に用いられる空間周波数に対応するものである。ＭＴＦ＿ＴＬ＿１４０１、ＭＴＦ＿Ａ＿１４０１のそれぞれのピーク位置は、ｐ＿ＴＬ＿１４０１、ｐ＿Ａ＿１４０１である。また、図１８（ｂ）には、図１８（ａ）の説明で述べたピーク位置ｐ＿ＴＬ＿１４０４が破線で示されている。
FIG. 18B shows MTF_TL_1401, which is the defocus MTF for the pupil region TL, and MTF_A_1401, which is the defocus MTF for the one of the
図１８（ｂ）に示されるとおり、ピーク位置ｐ＿Ａ＿１４０１はピーク位置ｐ＿ＴＬ＿１４０１に比べ、右側に位置しており、図１８（ａ）の位相差ＡＦが検出するデフォーカス位置ｄｅｆ１４１０と同方向にｐ＿ＴＬ＿１４０１からずれた位置となっている。また、ｐ＿Ａ＿１４０１のｐ＿ＴＬ＿１４０１からのずれ量は、収差寄与率に応じて変化する。 As shown in FIG. 18B, the peak position p_A_1401 is located on the right side of the peak position p_TL_1401, and is deviated from p_TL_1401 in the same direction as the defocus position def1410 detected by the phase difference AF in FIG. 18A. The position is The amount of deviation of p_A_1401 from p_TL_1401 changes according to the aberration contribution rate.
このことから、光電変換部２１１ａ、２１１ｂに対応する収差の寄与率を考慮して、位相差ＡＦで検出する合焦位置を算出することで、位相差ＡＦの焦点検出誤差を良好に補正することが可能となる。
From this, the focus detection error of the phase difference AF can be satisfactorily corrected by calculating the in-focus position detected by the phase difference AF in consideration of the contribution rates of the aberrations corresponding to the
そのため、上述した式（１１）、式（１２）に基づいて、重み付けを行って算出した収差情報からＢＰ補正量を算出することで、補正誤差を小さくすることが可能となる。重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢは、上述した収差寄与率Ｓａ、Ｓｂに基づいて以下の式（１３）、式（１４）のように設定することができる。
Ｋ＿ＡＦ＿ＳＡ＝Ｓａ （１３）
Ｋ＿ＡＦ＿ＳＢ＝Ｓｂ （１４）
Therefore, it is possible to reduce the correction error by calculating the BP correction amount from the aberration information calculated by performing the weighting based on the expressions (11) and (12) described above. The weighting factors K_AF_SA and K_AF_SB can be set as in the following equations (13) and (14) based on the above-described aberration contribution rates Sa and Sb.
K_AF_SA = Sa (13)
K_AF_SB = Sb (14)
収差寄与率Ｓａ、Ｓｂは、上述したとおり、収差量と、絞り１０２でのケラレによる受光強度分布の差によって生じる。絞り１０２でのケラレによる受光強度分布の差が大きくなる条件は様々な条件が重なって生じる。例として示した、図１３から整理して説明する。
As described above, the aberration contribution ratios Sa and Sb are caused by the difference between the aberration amount and the received light intensity distribution due to vignetting at the
受光強度分布９０１Ａについては、変化量の大きい領域が絞り１０２の開口部に対応しているのに対し、受光強度分布９０２Ａについては、比較的平坦な領域が絞り１０２の開口部に対応している。これにより、受光強度分布の差が生じている。このような現象が生じる要因としては、第１の要因として焦点検出領域２１９の像高の影響が挙げられる。第２の要因として、レンズの射出瞳距離とセンサの設定瞳距離との間の差の影響が挙げられる。図１９を参照して、これらの要因間の関係を説明する。
In the received
図１９（ａ）は、像高ｚ１が比較的高い周辺像高であり、かつ、レンズの射出瞳距離ＬＰＯ１とセンサの設定瞳距離との間の差が大きい場合を示している。この場合、受光強度分布の端の方が絞り１０２の開口部に対応する。そのため、受光強度分布９０１Ａは変化量の大きい領域が絞り１０２の開口部に対応しているのに対し、受光強度分布９０１Ｂは比較的平坦な領域が絞り１０２の開口部に対応する。
FIG. 19A shows a case where the image height z1 is a relatively high peripheral image height and the difference between the exit pupil distance LPO1 of the lens and the set pupil distance of the sensor is large. In this case, the edge of the received light intensity distribution corresponds to the opening of the
図１９（ｂ）は、レンズの射出瞳距離ＬＰＯ２とセンサの設定瞳距離との間の差が小さい場合を示している。この場合、受光強度分布９０１Ａ、９０１Ｂはいずれも変化量の大きい領域が絞り１０２の開口部に対応しており、これらは似た形状となる。
FIG. 19B shows a case where the difference between the exit pupil distance LPO2 of the lens and the set pupil distance of the sensor is small. In this case, in each of the received
図１９（ｃ）は、像高ｚ２が低い、すなわち、焦点検出領域２１９が中央付近である場合を示している。この場合には、図１９（ｂ）の場合と同様に、受光強度分布９０１Ａ、９０１Ｂはいずれも変化量の大きい領域が絞り１０２の開口部に対応しており、これらは似た形状となる。
FIG. 19C shows a case where the image height z2 is low, that is, the
以上のことから、受光強度分布の差が大きくなる条件は、図１９（ａ）のように像高が高く、かつ、レンズの射出瞳距離とセンサの設定瞳距離の差が大きい場合であるといえる。また、このような条件では、光電変換部２１１ａ、２１１ｂでの受光強度のレベル差も大きくなるため、受光強度分布の差がさらに大きくなる。
From the above, the condition that the difference in received light intensity distribution becomes large is that the image height is high and the difference between the exit pupil distance of the lens and the set pupil distance of the sensor is large as shown in FIG. I can say. Further, under such a condition, the level difference in the received light intensity between the
上述の例以外にも、絞り１０２以外にレンズの枠ケラレ等の別の要因のケラレがある場合にも、受光強度分布の差及びレベル差が大きくなり、受光強度分布の差が大きくなる。すなわち、絞り１０２及びレンズの枠等によるケラレの影響を含む撮影光学系のビネッティング率が大きい場合には、光電変換部２１１ａ、２１１ｂの間の収差寄与率の差が大きくなるといえる。
In addition to the above-described example, even when vignetting due to another factor such as lens frame vignetting is present in addition to the
以上により、収差寄与率はＳａ、Ｓｂは、収差量、像高、センサの設定瞳距離とレンズの射出瞳距離との差、光量差、ビネッティング率をパラメータとして変化する。言い換えると、重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢは、収差量、像高、センサの設定瞳距離とレンズの射出瞳距離との差、光量差、ビネッティング率のうちの少なくとも１つに基づき、設定することができる。重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢにより、瞳領域ごとに収差情報の重み付けを行うことで、より高精度に焦点検出誤差の補正を行うことができる。 As described above, the aberration contribution ratios Sa and Sb are changed with the aberration amount, the image height, the difference between the set pupil distance of the sensor and the exit pupil distance of the lens, the light amount difference, and the vignetting ratio as parameters. In other words, the weighting factors K_AF_SA and K_AF_SB can be set based on at least one of the amount of aberration, the image height, the difference between the set pupil distance of the sensor and the exit pupil distance of the lens, the light amount difference, and the vignetting rate. it can. By weighting the aberration information for each pupil region using the weighting factors K_AF_SA and K_AF_SB, the focus detection error can be corrected with higher accuracy.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００…レンズユニット、１０４…フォーカスレンズ、１１３…フォーカスアクチュエータ、１１７…レンズＭＰＵ、１１８…レンズメモリ、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…コントラストＡＦ部 100 ... Lens unit, 104 ... Focus lens, 113 ... Focus actuator, 117 ... Lens MPU, 118 ... Lens memory, 120 ... Camera body, 122 ... Image sensor, 125 ... Camera MPU, 129 ... Phase difference AF section, 130 ... Contrast AF section
Claims (14)
前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出手段と、
前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得手段と、
前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出手段と、
前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正手段と、
を有することを特徴とする情報処理装置。 An image signal acquisition unit that acquires a plurality of image signals based on a plurality of light fluxes that have passed through a plurality of pupil regions having mutually different centers of gravity of the imaging optical system,
Defocus value calculation means for performing focus detection based on at least one of the plurality of image signals to calculate a first defocus value;
Aberration information acquisition means for acquiring first aberration information and second aberration information respectively corresponding to light fluxes passing through different pupil regions of the photographing optical system ,
Correction value calculating means for calculating a correction value for correcting the first defocus value based on the first aberration information and the second aberration information,
Defocus value correction means for correcting the first defocus value using the correction value to generate a second defocus value;
An information processing device comprising:
前記焦点検出に用いられる画像信号と前記複数の瞳領域の各々との対応関係を示す第１の重み付け情報を取得し、
前記第１の重み付け情報と前記複数の瞳領域の各々に対応する収差情報とに基づいて、前記第１の収差情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。 The aberration information acquisition means,
Acquiring first weighting information indicating a correspondence relationship between the image signal used for focus detection and each of the plurality of pupil regions,
The information processing apparatus according to claim 1, wherein the first aberration information is acquired based on the first weighting information and the aberration information corresponding to each of the plurality of pupil regions.
前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域を通過する複数の光束に対する前記撮影光学系のビネッティング率に基づいて決定される
ことを特徴とする請求項２に記載の情報処理装置。 The focus detection is a phase difference focus detection using at least two image signals of the plurality of image signals,
The first weighting information is determined based on a vignetting rate of the photographing optical system with respect to a plurality of light fluxes passing through a plurality of pupil regions corresponding to an image signal used for the focus detection. Item 2. The information processing device according to item 2.
前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域を通過する複数の光束の光量に基づいて決定される
ことを特徴とする請求項２に記載の情報処理装置。 The focus detection is a phase difference focus detection using at least two image signals of the plurality of image signals,
The information processing apparatus according to claim 2, wherein the first weighting information is determined based on light amounts of a plurality of light fluxes passing through a plurality of pupil regions corresponding to the image signal used for the focus detection. apparatus.
前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域に対応する収差量に基づいて決定される
ことを特徴とする請求項２に記載の情報処理装置。 The focus detection is a phase difference focus detection using at least two image signals of the plurality of image signals,
The information processing apparatus according to claim 2, wherein the first weighting information is determined based on aberration amounts corresponding to a plurality of pupil regions corresponding to the image signal used for the focus detection.
画像取得に用いられる画像信号と前記複数の瞳領域の各々との対応関係を示す第２の重み付け情報を取得し、
前記第２の重み付け情報と前記複数の瞳領域の各々に対応する収差情報とに基づいて、前記第２の収差情報を取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 The aberration information acquisition means ,
Get the second weighting information indicating a correspondence relationship between the image signal used in the images acquired with each of the plurality of pupil areas,
7. The second aberration information is acquired based on the second weighting information and the aberration information corresponding to each of the plurality of pupil regions. 7. The any one of claims 1 to 6, wherein: Information processing equipment.
請求項１乃至７のいずれか１項に記載の情報処理装置と、
前記第２のデフォーカス値に基づいて、前記撮影光学系の焦点位置を制御する焦点制御手段と、
を有することを特徴とする撮像装置。 An image pickup device that generates a plurality of image signals based on a plurality of light fluxes that have passed through a plurality of pupil regions having different centroids of the photographing optical system,
An information processing apparatus according to any one of claims 1 to 7,
Focus control means for controlling the focus position of the photographing optical system based on the second defocus value;
An image pickup apparatus comprising:
前記撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を生成する撮像素子と、
請求項１乃至７のいずれか１項に記載の情報処理装置と、
前記第２のデフォーカス値に基づいて、前記撮影光学系の焦点位置を制御する焦点制御手段と
を含む撮像ユニットと、
を有することを特徴とする撮像装置。 A lens unit that forms part of the shooting optical system,
An image pickup device that generates a plurality of image signals based on a plurality of light fluxes that have passed through a plurality of pupil regions having different center of gravity of the photographing optical system,
An information processing apparatus according to any one of claims 1 to 7,
An image pickup unit including: a focus control unit that controls a focus position of the photographing optical system based on the second defocus value;
An image pickup apparatus comprising:
前記撮像ユニットは、第２のメモリを含み、
前記第１の収差情報又は前記第２の収差情報の取得に用いられる情報は、前記第１のメモリと前記第２のメモリに分かれて記憶されており、
前記レンズユニットと前記撮像ユニットは互いに着脱可能に構成されていることを特徴とする請求項９に記載の撮像装置。 The lens unit includes a first memory,
The imaging unit includes a second memory,
Information used to obtain the first aberration information or the second aberration information is stored separately in the first memory and the second memory,
The image pickup apparatus according to claim 9, wherein the lens unit and the image pickup unit are configured to be detachable from each other.
前記第２のメモリは、前記複数の画像信号と前記複数の瞳領域との対応関係を示す重み付け情報を記憶する
ことを特徴とする請求項１０に記載の撮像装置。 The first memory stores aberration information corresponding to each of the plurality of pupil regions,
The imaging device according to claim 10, wherein the second memory stores weighting information indicating a correspondence relationship between the plurality of image signals and the plurality of pupil regions.
前記第２のメモリは、前記撮影光学系を通過する光束の一部が通過する瞳領域に対応する収差情報を記憶する
ことを特徴とする請求項１０に記載の撮像装置。 The first memory stores aberration information corresponding to a pupil region through which all of the light flux passing through the photographing optical system passes,
The imaging device according to claim 10, wherein the second memory stores aberration information corresponding to a pupil region through which a part of the light flux passing through the imaging optical system passes.
前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、
前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、
前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、
前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、
を有することを特徴とする情報処理方法。 An image signal acquisition step of acquiring a plurality of image signals based on each of a plurality of light fluxes that have passed through a plurality of pupil regions having different centroids of the imaging optical system,
A defocus value calculation step of performing focus detection based on at least one of the plurality of image signals to calculate a first defocus value;
An aberration information acquisition step of acquiring first aberration information and second aberration information respectively corresponding to light fluxes that have passed through different pupil regions of the imaging optical system ;
A correction value calculating step of calculating a correction value for correcting the first defocus value based on the first aberration information and the second aberration information,
A defocus value correction step of correcting the first defocus value using the correction value to generate a second defocus value;
An information processing method comprising:
撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得工程と、
前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、
前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、
前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、
前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、
を実行させることを特徴とするプログラム。 On the computer,
An image signal acquisition step of acquiring a plurality of image signals based on each of a plurality of light fluxes that have passed through a plurality of pupil regions having different centroids of the imaging optical system,
A defocus value calculation step of performing focus detection based on at least one of the plurality of image signals to calculate a first defocus value;
An aberration information acquisition step of acquiring first aberration information and second aberration information respectively corresponding to light fluxes that have passed through different pupil regions of the imaging optical system ;
A correction value calculating step of calculating a correction value for correcting the first defocus value based on the first aberration information and the second aberration information,
A defocus value correction step of correcting the first defocus value using the correction value to generate a second defocus value;
A program characterized by causing to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016036064A JP6685769B2 (en) | 2016-02-26 | 2016-02-26 | Information processing device, imaging device, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016036064A JP6685769B2 (en) | 2016-02-26 | 2016-02-26 | Information processing device, imaging device, and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017151380A JP2017151380A (en) | 2017-08-31 |
| JP6685769B2 true JP6685769B2 (en) | 2020-04-22 |
Family
ID=59739618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016036064A Active JP6685769B2 (en) | 2016-02-26 | 2016-02-26 | Information processing device, imaging device, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6685769B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7091053B2 (en) * | 2017-10-27 | 2022-06-27 | キヤノン株式会社 | Imaging device and focus detection method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62157016A (en) * | 1985-12-28 | 1987-07-13 | Olympus Optical Co Ltd | Auto-focus camera |
| JP4938922B2 (en) * | 2000-06-08 | 2012-05-23 | キヤノン株式会社 | Camera system |
| KR20100077878A (en) * | 2008-12-29 | 2010-07-08 | 삼성전자주식회사 | Focus detecting apparatus and image pick-up apparatus having the same |
| KR20110027120A (en) * | 2009-09-09 | 2011-03-16 | 삼성전자주식회사 | Image pickup apparatus |
| JP5956782B2 (en) * | 2011-05-26 | 2016-07-27 | キヤノン株式会社 | Imaging device and imaging apparatus |
| JP2014029353A (en) * | 2012-07-31 | 2014-02-13 | Sony Corp | Focus adjustment device, and focus adjustment method |
| JP2014048620A (en) * | 2012-09-04 | 2014-03-17 | Canon Inc | Focus adjustment device, control method therefor, and control program |
| JP6478457B2 (en) * | 2014-01-23 | 2019-03-06 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
| JP6313685B2 (en) * | 2014-05-01 | 2018-04-18 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP2016024338A (en) * | 2014-07-22 | 2016-02-08 | キヤノン株式会社 | Imaging device |
-
2016
- 2016-02-26 JP JP2016036064A patent/JP6685769B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017151380A (en) | 2017-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11822211B2 (en) | Imaging optical system storing information on its aberration, imaging apparatus, and control method thereof | |
| US10212334B2 (en) | Focusing adjustment apparatus and focusing adjustment method | |
| US10313578B2 (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
| US9641769B2 (en) | Image capture apparatus and method for controlling the same | |
| JP6429546B2 (en) | Imaging apparatus, control method, program, and storage medium | |
| JP6486288B2 (en) | Imaging apparatus, control method, program, storage medium | |
| JP6843604B2 (en) | Information processing device and information processing method | |
| JP6682310B2 (en) | Focus detection apparatus and method, and imaging apparatus | |
| JP6298362B2 (en) | Imaging apparatus, control method therefor, and imaging system | |
| JP6464118B2 (en) | Focus detection apparatus and method, imaging apparatus, and lens unit | |
| JP6854619B2 (en) | Focus detection device and method, imaging device, lens unit and imaging system | |
| JP6890937B2 (en) | Focus detector, image pickup device, and focus detection method | |
| JP7037271B2 (en) | Focus detectors and focus detectors, imaging devices, programs and storage media | |
| JP6685769B2 (en) | Information processing device, imaging device, and information processing method | |
| JP6744933B2 (en) | Lens part and its control method | |
| JP6686191B2 (en) | Focus detection device, imaging device, and focus detection method | |
| JP6548626B2 (en) | Image pickup apparatus, control method for image pickup apparatus, and focus control program | |
| JP2020003686A (en) | Focus detection device, imaging apparatus, and interchangeable lens device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6685769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |