JP6399817B2 - IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM - Google Patents

IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM Download PDF

Info

Publication number
JP6399817B2
JP6399817B2 JP2014122006A JP2014122006A JP6399817B2 JP 6399817 B2 JP6399817 B2 JP 6399817B2 JP 2014122006 A JP2014122006 A JP 2014122006A JP 2014122006 A JP2014122006 A JP 2014122006A JP 6399817 B2 JP6399817 B2 JP 6399817B2
Authority
JP
Japan
Prior art keywords
pixel
focus detection
signal
photoelectric conversion
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014122006A
Other languages
Japanese (ja)
Other versions
JP2016004052A (en
Inventor
大貫 一朗
一朗 大貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014122006A priority Critical patent/JP6399817B2/en
Publication of JP2016004052A publication Critical patent/JP2016004052A/en
Application granted granted Critical
Publication of JP6399817B2 publication Critical patent/JP6399817B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子を用いた位相差方式の焦点検出を実行可能な撮像装置に関する。   The present invention relates to an imaging apparatus capable of performing phase difference type focus detection using an imaging element.

従来から、撮像素子を用いた位相差方式(撮像面位相差方式)の焦点検出を実行可能な撮像装置が知られている。特許文献1には、撮像画素の間に一対の2個の焦点検出画素を所定の配列ピッチで離散的に配置し、焦点検出画素の出力信号を用いて位相差方式の焦点検出を行う撮像装置が開示されている。特許文献2には、撮像画素の間に単独の焦点検出画素を所定の配列ピッチで離散的に配置し、撮像画素および焦点検出画素の出力信号に基づいて位相差方式の焦点検出を行う撮像装置が開示されている。特許文献3には、撮像画素の光電変換部を複数の領域に分割し、各画素の複数の光電変換部の出力信号を独立して用いて位相差方式の焦点検出を行い、この出力を加算して用いて撮像信号を取得する撮像装置が開示されている。   2. Description of the Related Art Conventionally, an imaging apparatus capable of executing focus detection by a phase difference method (imaging surface phase difference method) using an image sensor is known. Japanese Patent Application Laid-Open No. 2004-26883 discloses an imaging apparatus that discretely arranges a pair of two focus detection pixels between imaging pixels at a predetermined arrangement pitch and performs phase difference type focus detection using an output signal of the focus detection pixels. Is disclosed. Japanese Patent Application Laid-Open No. 2004-228688 discloses an imaging apparatus in which single focus detection pixels are discretely arranged between imaging pixels at a predetermined arrangement pitch, and phase difference type focus detection is performed based on output signals of the imaging pixels and focus detection pixels. Is disclosed. In Patent Document 3, a photoelectric conversion unit of an imaging pixel is divided into a plurality of regions, and phase difference type focus detection is performed by using output signals of a plurality of photoelectric conversion units of each pixel independently, and this output is added. An imaging apparatus that acquires an imaging signal by using it is disclosed.

特開2009−3122号公報(第23頁、図9)Japanese Patent Laying-Open No. 2009-3122 (page 23, FIG. 9) 特開2007−155929号公報(第20頁、図4)JP 2007-155929 A (page 20, FIG. 4) 特開2013−7998号公報(第34頁、図2)Japanese Patent Laying-Open No. 2013-7998 (page 34, FIG. 2)

特許文献1の撮像装置において、焦点検出の精度を向上させるには、焦点検出画素の比率を高める必要がある。しかし、焦点検出画素の出力は撮像情報としては不完全なため、撮像情報の欠損箇所が増加し、画質が損なわれる。また、特許文献2の撮像装置において、撮像画素は、高感度化のため、撮影光学系の射出瞳の広い領域からの光束を効率よく受光可能に構成されている。このため、撮像画素から出力される像信号は、非合焦時の像ボケ量が大きくなり、大デフォーカス時の焦点検出性能が劣化する。また、特許文献3の撮像装置において、撮像画素と焦点検出画素とを兼用し、画素の光電変換部が複数の領域に分割されている。この場合、光電変換部の分割数を多くするほど、焦点検出性能の最適化に関する自由度が高まるが、読み出し信号の数が増加するため、読み出し速度が低下する。   In the imaging device of Patent Document 1, in order to improve the accuracy of focus detection, it is necessary to increase the ratio of focus detection pixels. However, since the output of the focus detection pixel is incomplete as the imaging information, the number of missing portions of the imaging information increases and the image quality is impaired. Further, in the imaging device of Patent Document 2, the imaging pixel is configured to be able to efficiently receive a light beam from a wide area of the exit pupil of the photographing optical system for high sensitivity. For this reason, the image signal output from the imaging pixel has a large amount of image blur at the time of out-of-focus, and the focus detection performance at the time of large defocus is deteriorated. Moreover, in the imaging apparatus of Patent Document 3, the imaging pixel and the focus detection pixel are combined, and the photoelectric conversion unit of the pixel is divided into a plurality of regions. In this case, as the number of divisions of the photoelectric conversion unit is increased, the degree of freedom regarding optimization of the focus detection performance is increased, but the number of readout signals is increased, and thus the readout speed is lowered.

そこで本発明は、所望の撮像性能を満たしつつ、種々の状況において高精度な焦点検出が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。   Therefore, the present invention provides an imaging apparatus, an imaging apparatus control method, a program, and a storage medium that can perform high-precision focus detection in various situations while satisfying desired imaging performance.

本発明の一側面としての撮像装置は、第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子と、デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の出力信号に基づいて生成する生成手段とを有する。 An imaging device according to one aspect of the present invention includes a first pixel group having a first pixel divided by a first pattern, and a second pixel divided by a second pattern different from the first pattern. An image pickup device including a second pixel group having two pixels, and a composition in which a base line length or a pupil division characteristic is different from that of the first pixel group and the second pixel group for detecting a defocus amount And generating means for generating a signal based on the output signal of the first pixel and the second output signal .

本発明の他の側面としての撮像装置の制御方法は、第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子からの出力信号に基づいて焦点検出を行う撮像装置の制御方法であって、デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の画素の出力信号に基づいて生成するステップと、前記合成信号から検出するデフォーカス量に基づいて焦点検出を行うステップとを有する。 According to another aspect of the present invention, there is provided a control method for an image pickup apparatus using a first pixel group having a first pixel divided by a first pattern, and a second pattern different from the first pattern. A control method of an imaging apparatus that performs focus detection based on an output signal from an imaging device including a second pixel group having divided second pixels, the first method for detecting a defocus amount Generating a composite signal having a baseline length or pupil division characteristic different from that of the pixel group and the second pixel group based on the output signal of the first pixel and the output signal of the second pixel; And performing focus detection based on a defocus amount detected from the combined signal .

本発明の他の側面としてのプログラムは、第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子からの出力信号に基づいて焦点検出を行うためのプログラムであって、デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の画素の出力信号に基づいて生成するステップと、前記合成信号から検出するデフォーカス量に基づいて焦点検出を行うステップと、をコンピュータに実行させる。 According to another aspect of the present invention, a program includes a first pixel group having a first pixel divided by a first pattern, and a second pattern divided by a second pattern different from the first pattern. A program for performing focus detection based on an output signal from an imaging device including a second pixel group having two pixels, the first pixel group for detecting a defocus amount and the first pixel group Generating a composite signal having different baseline lengths or pupil division characteristics for two pixel groups based on the output signal of the first pixel and the output signal of the second pixel, and detecting from the composite signal And causing the computer to execute focus detection based on the defocus amount .

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。   A storage medium according to another aspect of the present invention stores the program.

本発明の他の目的及び特徴は、以下の実施例において説明される。   Other objects and features of the present invention are illustrated in the following examples.

本発明によれば、所望の撮像性能を満たしつつ、種々の状況において高精度な焦点検出が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus, an imaging apparatus control method, a program, and a storage medium that can perform high-precision focus detection in various situations while satisfying desired imaging performance.

各実施例における撮像装置の構成図である。It is a block diagram of the imaging device in each Example. 実施例1における撮像素子の画素配列図である。FIG. 3 is a pixel array diagram of an image sensor in Embodiment 1. 実施例1における撮像素子の読み出し回路の構成図である。1 is a configuration diagram of a readout circuit of an image sensor in Embodiment 1. FIG. 実施例1において、撮影光学系の射出瞳と、撮像素子の光電変換部との位置関係の説明図である。In Example 1, it is explanatory drawing of the positional relationship of the exit pupil of an imaging optical system, and the photoelectric conversion part of an image pick-up element. 実施例1における撮影光学系の射出瞳面上における投影瞳の形状の説明図である。6 is an explanatory diagram of a shape of a projection pupil on an exit pupil plane of the photographing optical system in Embodiment 1. FIG. 実施例1における画素群の焦点検出信号の説明図である。6 is an explanatory diagram of a focus detection signal of a pixel group in Embodiment 1. FIG. 実施例1における光電変換部の出力信号の合成方法の説明図である。6 is an explanatory diagram of a method for synthesizing output signals of a photoelectric conversion unit in Embodiment 1. FIG. 実施例1における仮想画素群の投影瞳の形状の説明図である。6 is an explanatory diagram of a shape of a projection pupil of a virtual pixel group in Embodiment 1. FIG. 実施例1における仮想画素群の焦点検出信号の説明図である。6 is an explanatory diagram of a focus detection signal of a virtual pixel group in Embodiment 1. FIG. 各実施例における撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process in each Example. 実施例1における焦点検出処理を示すフローチャートである。3 is a flowchart illustrating focus detection processing according to the first exemplary embodiment. 実施例1における変形例としての焦点検出処理を示すフローチャートである。6 is a flowchart illustrating focus detection processing as a modification example of Embodiment 1. 実施例2における撮像素子の画素配列図である。FIG. 6 is a pixel array diagram of an image sensor in Embodiment 2. 実施例2における光電変換部の出力信号の合成方法の説明図である。10 is an explanatory diagram of a method for synthesizing output signals of a photoelectric conversion unit in Embodiment 2. FIG. 実施例2における被写体像と焦点検出領域との関係図である。FIG. 6 is a relationship diagram between a subject image and a focus detection area in Embodiment 2. 実施例2における焦点検出処理を示すフローチャートである。10 is a flowchart illustrating focus detection processing in the second embodiment. 実施例2における変形例としての焦点検出処理を示すフローチャートである。10 is a flowchart illustrating a focus detection process as a modified example in the second embodiment.

以下、本発明の実施例について、図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

まず、図1を参照して、本発明の実施例1における撮像装置について説明する。図1は、撮像装置100(撮像システム)の構成図である。撮像装置100は、撮像素子107を備えた撮像装置本体(カメラ本体)と撮影光学系(撮影レンズ)とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体と撮像装置本体に着脱可能なレンズ装置(撮影光学系)とを備えて構成される撮像システムにも適用可能である。また撮像装置100は、動画および静止画を記録可能である。   First, with reference to FIG. 1, an imaging apparatus according to Embodiment 1 of the present invention will be described. FIG. 1 is a configuration diagram of an imaging apparatus 100 (imaging system). In the imaging apparatus 100, an imaging apparatus main body (camera main body) including an imaging element 107 and a photographing optical system (photographing lens) are integrally configured. However, the present embodiment is not limited to this, and can also be applied to an imaging system that includes an imaging apparatus main body and a lens device (imaging optical system) that can be attached to and detached from the imaging apparatus main body. The imaging apparatus 100 can record a moving image and a still image.

図1において、101は第1レンズ群である。第1レンズ群101は、撮影光学系(結像光学系)の先端に配置されており、光軸OAの方向(光軸方向)に進退可能に保持されている。102は絞り兼用シャッタである。絞り兼用シャッタ102(絞り手段)は、その開口径を調節することにより、撮影時の光量調節を行う。また絞り兼用シャッタ102は、静止画撮影の際に露光秒時調節用シャッタとしての機能を有する。103は撮影光学系を構成する第2レンズ群である。絞り兼用シャッタ102および第2レンズ群103は、一体的に光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。105は撮影光学系を構成する第3レンズ群である。第3レンズ群105は、光軸方向に進退することにより、焦点調節を行う。106は光学的ローパスフィルタである。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。   In FIG. 1, reference numeral 101 denotes a first lens group. The first lens group 101 is disposed at the tip of the photographing optical system (imaging optical system), and is held so as to be able to advance and retreat in the direction of the optical axis OA (optical axis direction). Reference numeral 102 denotes an aperture / shutter. The aperture / shutter 102 (aperture means) adjusts the light amount at the time of shooting by adjusting the aperture diameter. The aperture / shutter 102 has a function as an exposure time adjustment shutter when taking a still image. Reference numeral 103 denotes a second lens group constituting the photographing optical system. The diaphragm / shutter 102 and the second lens group 103 integrally move forward and backward in the optical axis direction, and perform a zooming function (zoom function) in conjunction with the forward / backward movement of the first lens group 101. Reference numeral 105 denotes a third lens group constituting the photographing optical system. The third lens group 105 performs focus adjustment by moving back and forth in the optical axis direction. Reference numeral 106 denotes an optical low-pass filter. The optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image.

107は撮像素子である。撮像素子107は、撮影光学系を介して得られた被写体像(光学像)を光電変換して像信号を出力する。撮像素子107は、C−MOSセンサとその周辺回路とを備えて構成されている。本実施例の撮像素子107は、横方向にm画素、縦方向にn画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサである。   Reference numeral 107 denotes an image sensor. The image sensor 107 photoelectrically converts a subject image (optical image) obtained via the photographing optical system and outputs an image signal. The image sensor 107 includes a C-MOS sensor and its peripheral circuit. The image sensor 107 of the present embodiment is a two-dimensional single-plate color sensor in which Bayer array primary color mosaic filters are formed on-chip on light receiving pixels of m pixels in the horizontal direction and n pixels in the vertical direction.

111はズームアクチュエータである。ズームアクチュエータ111は、不図示のカム筒を回動することにより、第1レンズ群101、第2レンズ群103、および、第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータである。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影の際に露光時間制御を行う。114はフォーカスアクチュエータである。フォーカスアクチュエータ114は、第3レンズ群105(フォーカスレンズ)を光軸方向に進退駆動して焦点調節を行う。   Reference numeral 111 denotes a zoom actuator. The zoom actuator 111 rotates a cam cylinder (not shown) to drive the first lens group 101, the second lens group 103, and the third lens group 105 forward and backward in the optical axis direction, and performs a zooming operation. . Reference numeral 112 denotes an aperture shutter actuator. The aperture shutter actuator 112 controls the aperture diameter of the aperture / shutter 102 to adjust the amount of photographing light, and also controls the exposure time when taking a still image. Reference numeral 114 denotes a focus actuator. The focus actuator 114 performs focus adjustment by driving the third lens group 105 (focus lens) forward and backward in the optical axis direction.

115は無線式通信手段(通信手段)である。無線式通信手段115は、インターネットなどのネットワークを通じてサーバ(コンピュータ)と通信するためのアンテナおよび信号処理回路を備えて構成される。116は撮像装置100(カメラ本体)の姿勢検知手段である。姿勢検知手段116は、撮像装置100の撮影姿勢、すなわち横位置撮影または縦位置撮影のいずれであるかを判定するための電子水準器を備えて構成される。   Reference numeral 115 denotes a wireless communication means (communication means). The wireless communication unit 115 includes an antenna and a signal processing circuit for communicating with a server (computer) through a network such as the Internet. Reference numeral 116 denotes posture detection means of the imaging apparatus 100 (camera body). The posture detection means 116 is configured to include an electronic level for determining the shooting posture of the imaging apparatus 100, that is, whether it is horizontal position shooting or vertical position shooting.

121はCPU(制御装置)である。CPU121は、カメラ本体の種々の制御を司るカメラCPU(カメラ制御部)であり、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、および、通信インターフェイス回路などを有する。CPU121は、ROMに記憶された所定のプログラムに基づいて、カメラ本体の各種回路を駆動し、AF、撮影、画像処理、および、記録などの一連の動作を実行する。また本実施形態において、CPU121は、撮像素子107からの出力信号に基づいて焦点検出を行う焦点検出手段として機能する。   Reference numeral 121 denotes a CPU (control device). The CPU 121 is a camera CPU (camera control unit) that controls various controls of the camera body, and includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like. The CPU 121 drives various circuits of the camera body based on a predetermined program stored in the ROM, and executes a series of operations such as AF, shooting, image processing, and recording. In this embodiment, the CPU 121 functions as a focus detection unit that performs focus detection based on an output signal from the image sensor 107.

122は通信制御回路である。通信制御回路122は、無線式通信手段115を介して、撮像装置100から撮影画像をサーバ(コンピュータ)に送信し、または、サーバ(コンピュータ)から画像や各種情報を受信する。123は姿勢検知回路である。姿勢検知回路123は、姿勢検知手段116の出力信号に基づいて撮像装置100の姿勢を判定する。124は撮像素子駆動回路である。撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、撮像素子107から出力された像信号をA/D変換してCPU121に送信する。125は画像処理回路である。画像処理回路125は、撮像素子107から得られた像信号に対して、γ変換、カラー補間、および、JPEG圧縮などの画像処理を行う。   122 is a communication control circuit. The communication control circuit 122 transmits a captured image from the imaging apparatus 100 to a server (computer) via the wireless communication unit 115 or receives an image and various information from the server (computer). Reference numeral 123 denotes an attitude detection circuit. The attitude detection circuit 123 determines the attitude of the imaging apparatus 100 based on the output signal of the attitude detection unit 116. Reference numeral 124 denotes an image sensor driving circuit. The image sensor driving circuit 124 controls the image capturing operation of the image sensor 107 and A / D converts the image signal output from the image sensor 107 and transmits the image signal to the CPU 121. Reference numeral 125 denotes an image processing circuit. The image processing circuit 125 performs image processing such as γ conversion, color interpolation, and JPEG compression on the image signal obtained from the image sensor 107.

126はフォーカス駆動回路である。フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路である。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して、絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路である。ズーム駆動回路129は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。   Reference numeral 126 denotes a focus driving circuit. The focus drive circuit 126 controls the focus actuator 114 based on the focus detection result, and adjusts the focus by driving the third lens group 105 back and forth in the optical axis direction. Reference numeral 128 denotes an aperture shutter drive circuit. The aperture shutter drive circuit 128 controls the aperture of the aperture / shutter 102 by drivingly controlling the aperture shutter actuator 112. Reference numeral 129 denotes a zoom drive circuit. The zoom drive circuit 129 drives the zoom actuator 111 according to the zoom operation of the photographer.

131はLCDなどの表示器である。表示器131は、カメラ本体の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。132は操作スイッチ群である。操作スイッチ群132は、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどにより構成される。133は着脱可能なフラッシュメモリである。フラッシュメモリ133は、撮影済み画像を記録する。   Reference numeral 131 denotes a display such as an LCD. The display 131 displays information related to the shooting mode of the camera body, a preview image before shooting and a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. Reference numeral 132 denotes an operation switch group. The operation switch group 132 includes a power switch, a shooting start switch, a zoom operation switch, a shooting mode selection switch, and the like. Reference numeral 133 denotes a detachable flash memory. The flash memory 133 records captured images.

続いて、図2を参照して、本実施例における撮像素子107の画素配列について説明する。図2は、撮像素子107の画素配列図であり、例えば、本出願人による特開平09−046596号公報に記載されている技術を用いて製造される。   Next, with reference to FIG. 2, the pixel arrangement of the image sensor 107 in the present embodiment will be described. FIG. 2 is a pixel array diagram of the image sensor 107, and is manufactured using, for example, a technique described in Japanese Patent Application Laid-Open No. 09-046596 by the present applicant.

図2は、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)6列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列であり、奇数行(行番号1、3、5)の画素には、左から順に緑(G:Green)および赤(R:Red)のカラーフィルタが交互に設けられている。また、偶数行(行番号2、4、6)の画素には、左から順に青(B:Blue)および緑(G:Green)のカラーフィルタが交互に設けられている。各画素の円はオンチップマイクロレンズを示している。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ、光電変換部を示している。本実施例の撮像素子107において、全ての画素の光電変換部は2つの領域に分割されている。ただし、その分割パターン(分割画素の大きさや形状)は全画素で一様ではなく、分割パターンが互いに異なる複数の画素群から構成される。以下、これらの画素群(画素)の特徴について説明する。   FIG. 2 shows a state in which a range of 6 rows and 6 columns in the horizontal (X direction) of the two-dimensional C-MOS area sensor is observed from the photographing optical system side. The color filters are in a Bayer array, and green (G: Green) and red (R: Red) color filters are alternately provided in order from the left on the pixels in the odd rows (row numbers 1, 3, 5). . Further, blue (B: Blue) and green (G: Green) color filters are alternately provided in order from the left in the pixels in even rows (row numbers 2, 4, and 6). Each pixel circle represents an on-chip microlens. A plurality of rectangles arranged inside the on-chip microlens each indicate a photoelectric conversion unit. In the image sensor 107 of this embodiment, the photoelectric conversion units of all the pixels are divided into two regions. However, the division pattern (size and shape of the divided pixels) is not uniform for all pixels, and is composed of a plurality of pixel groups having different division patterns. Hereinafter, characteristics of these pixel groups (pixels) will be described.

図2に示されるように、行番号1、2の画素群は、複数の画素211で構成されている。複数の画素211からなる画素群において、各画素内の2つの光電変換部211a、211bの分割位置(光電変換部211a、211bの境界位置)は、画素中心に対して左方向に偏倚している。行番号3、4の画素群は、複数の画素212で構成されている。複数の画素212からなる画素群において、各画素内の光電変換部212a、212bの分割位置(光電変換部212a、212bの境界位置)は、画素中心に一致している。行番号5、6の画素群は、複数の画素213で構成されている。複数の画素213からなる画素群において、各画素内の光電変換部213a、213bの分割位置(光電変換部213a、213bの境界位置)は、画素中心に対して左方向に偏倚している。なお、図2に示される領域の外側には、行番号1〜6と同じ配列の画素群が繰り返し配置されている。   As shown in FIG. 2, the pixel group of row numbers 1 and 2 is composed of a plurality of pixels 211. In a pixel group composed of a plurality of pixels 211, the division positions of the two photoelectric conversion units 211a and 211b in each pixel (boundary positions of the photoelectric conversion units 211a and 211b) are shifted leftward with respect to the pixel center. . The pixel group of row numbers 3 and 4 is composed of a plurality of pixels 212. In a pixel group composed of a plurality of pixels 212, the division positions of the photoelectric conversion units 212a and 212b (boundary positions of the photoelectric conversion units 212a and 212b) in each pixel coincide with the pixel center. The pixel group of row numbers 5 and 6 is composed of a plurality of pixels 213. In a pixel group including a plurality of pixels 213, the division positions of the photoelectric conversion units 213a and 213b in each pixel (boundary positions of the photoelectric conversion units 213a and 213b) are deviated leftward with respect to the pixel center. Note that pixel groups having the same array as the row numbers 1 to 6 are repeatedly arranged outside the region shown in FIG.

続いて、図3を参照して、撮像素子107の読み出し回路の構成について説明する。図3は、撮像素子107の読み出し回路の構成図である。図3において、151は水平走査回路、153は垂直走査回路である。各画素の境界部には、水平走査ライン152a、152b、および、垂直走査ライン154a、154bが配線されている。光電変換部211a、211b〜213a、213bの出力は、各走査ライン(水平走査ライン、垂直走査ライン)を介して、撮像素子107の外部に読み出される。   Next, the configuration of the readout circuit of the image sensor 107 will be described with reference to FIG. FIG. 3 is a configuration diagram of a readout circuit of the image sensor 107. In FIG. 3, 151 is a horizontal scanning circuit, and 153 is a vertical scanning circuit. Horizontal scanning lines 152a and 152b and vertical scanning lines 154a and 154b are wired at the boundary between the pixels. Outputs of the photoelectric conversion units 211a, 211b to 213a, and 213b are read out to the outside of the image sensor 107 via each scanning line (horizontal scanning line and vertical scanning line).

本実施例の撮像素子107は、以下の2種類の読み出しモード(第1の読み出しモード、第2の読み出しモード)を有する。第1の読み出しモードは、全画素読み出しモードと称され、高精細静止画を撮像するためのモードである。この場合、全画素の信号が読み出される。一方、第2の読み出しモードは、間引き読み出しモードと称され、動画記録、または撮影準備中のプレビュー画像表示(ライブビュー表示)を行うためのモードである。この場合に必要な画素数は、全画素よりも少ない。このため、撮像素子107の画素群に関しては、X方向およびY方向ともに所定比率で間引かれた一部の画素の信号のみが読み出される。   The image sensor 107 of the present embodiment has the following two types of readout modes (first readout mode and second readout mode). The first readout mode is called an all-pixel readout mode and is a mode for capturing a high-definition still image. In this case, signals of all pixels are read out. On the other hand, the second reading mode is called a thinning-out reading mode, and is a mode for performing moving image recording or preview image display (live view display) during shooting preparation. In this case, the number of pixels required is smaller than all the pixels. For this reason, with respect to the pixel group of the image sensor 107, only the signals of some pixels thinned out at a predetermined ratio in the X direction and the Y direction are read out.

続いて、図4を参照して、撮影光学系の射出瞳と、撮像素子107の画素(光電変換部)の位置との関係について説明する。図4は、撮影光学系の射出瞳と、撮像素子の光電変換部との位置関係の説明図である。図4(a)は、図2に示した行番号1、2に含まれる画素群のうち、撮像素子の中央部(光軸近傍)と周辺部(画面端部)に位置する2個の画素と撮影光学系との光学的な関係を示している。同様に図4(b)は、図2に示した行番号3、4に含まれる画素群のうち、撮像素子の中央部と周辺部に位置する2個の画素と撮影光学系との光学的な関係を示している。同じく図4(c)は、図2に示した行番号5、6に含まれる画素群のうち、撮像素子の中央部と周辺部に位置する2個の画素と撮影光学系との光学的な関係を示している。   Next, the relationship between the exit pupil of the photographing optical system and the position of the pixel (photoelectric conversion unit) of the image sensor 107 will be described with reference to FIG. FIG. 4 is an explanatory diagram of the positional relationship between the exit pupil of the photographing optical system and the photoelectric conversion unit of the image sensor. FIG. 4A shows two pixels located in the central part (near the optical axis) and the peripheral part (screen edge part) of the image sensor in the pixel group included in the row numbers 1 and 2 shown in FIG. And the optical relationship between the photographic optical system. Similarly, FIG. 4B shows an optical relationship between two pixels located in the central part and the peripheral part of the image sensor in the pixel group included in the row numbers 3 and 4 shown in FIG. 2 and the imaging optical system. It shows the relationship. Similarly, FIG. 4C shows an optical relationship between two pixels located in the central portion and the peripheral portion of the image pickup element in the pixel group included in the row numbers 5 and 6 shown in FIG. Showing the relationship.

撮像素子107を用いた位相差方式の焦点検出(撮像面位相差方式の焦点検出)を行う場合、撮影光学系の射出瞳面と、撮像素子107の光電変換部とを、光学的に共役関係となるように配置する必要がある。図4において、撮影光学系の射出瞳は、光量調節用の虹彩絞りの配置面と一致するものと見なしている。一方、撮像素子107のオンチップマイクロレンズと光電変換部との間の距離は、撮像素子107のプロセスにより実質的に決定される。このため、オンチップマイクロレンズの光学パワーを適切に設計することにより、撮影光学系の射出瞳面と光電変換部との共役関係が実現される。   When performing phase difference focus detection (imaging surface phase difference focus detection) using the image sensor 107, the optically conjugate relationship between the exit pupil plane of the imaging optical system and the photoelectric conversion unit of the image sensor 107. It is necessary to arrange so that it becomes. In FIG. 4, the exit pupil of the photographing optical system is considered to coincide with the arrangement surface of the iris diaphragm for adjusting the light amount. On the other hand, the distance between the on-chip microlens of the image sensor 107 and the photoelectric conversion unit is substantially determined by the process of the image sensor 107. Therefore, by appropriately designing the optical power of the on-chip microlens, a conjugate relationship between the exit pupil plane of the photographing optical system and the photoelectric conversion unit is realized.

また、撮像領域の周辺部、すなわち像高が大きい領域では、撮影光束の主光線が撮像素子107(撮像面)の法線に対して傾いて入射するため、画素の受光効率が低下する。そこで、オンチップマイクロレンズを光軸OAと直交する方向に微小量だけシフトさせることにより、画素の受光条件が撮像領域の中央部と実質的に同一になるように構成する。   In addition, in the peripheral portion of the imaging region, that is, in the region where the image height is large, the principal ray of the imaging light beam is incident with an inclination with respect to the normal line of the imaging element 107 (imaging surface). Therefore, the on-chip microlens is shifted by a minute amount in the direction orthogonal to the optical axis OA so that the light receiving condition of the pixel is substantially the same as the central portion of the imaging region.

図4(a)は、画素211と撮影光学系との共役関係を示す図である。図4(a)において、撮影光学系のレンズ群は省略されている。102aは絞り開放時の開口径を規定する開口板、102bは絞り込み時の開口径を調節するための絞り羽根である。撮影光学系の射出瞳位置は、絞り兼用シャッタ102(絞り手段)の配置位置と一致しているものと見なし、像面からの距離をDとする。   FIG. 4A is a diagram illustrating a conjugate relationship between the pixel 211 and the imaging optical system. In FIG. 4A, the lens group of the photographing optical system is omitted. Reference numeral 102a denotes an aperture plate that defines the aperture diameter when the aperture is open, and 102b is an aperture blade for adjusting the aperture diameter when the aperture is closed. The exit pupil position of the photographing optical system is assumed to be coincident with the position of the diaphragm / shutter 102 (aperture means), and the distance from the image plane is D.

画素211は、最下層より、二分割された光電変換部211a、211b、配線層211e〜211g、カラーフィルタ211h、および、オンチップマイクロレンズ211iの各部材で構成される。中央部の画素に関し、オンチップマイクロレンズ211iの光軸OAは、画素の中心と一致している。一方、周辺部の画素に関し、オンチップマイクロレンズ211iの光軸OAは、画素の中心よりも撮像領域の中心側にシフトしている。このような構成により、光電変換部211a、211bと、撮影光学系の射出瞳は、オンチップマイクロレンズ211iにより共役関係となっている。この共役関係は、像高に依存せずに成立する。図4(a)において、EP1a、EP1bは、撮影光学系の射出瞳面上に投影した光電変換部211a、211bの投影瞳(投影像)である。投影瞳EP1a、EP1bは、撮影光学系(位相差方式の焦点検出系)において一対の光束が通過する瞳領域(分割瞳領域)に相当する。   The pixel 211 is composed of the photoelectric conversion units 211a and 211b, the wiring layers 211e to 211g, the color filter 211h, and the on-chip microlens 211i that are divided into two parts from the lowest layer. Regarding the center pixel, the optical axis OA of the on-chip microlens 211i coincides with the center of the pixel. On the other hand, with respect to the peripheral pixels, the optical axis OA of the on-chip microlens 211i is shifted to the center of the imaging region from the center of the pixels. With such a configuration, the photoelectric conversion units 211a and 211b and the exit pupil of the photographing optical system are conjugated with each other by the on-chip microlens 211i. This conjugate relationship is established without depending on the image height. In FIG. 4A, EP1a and EP1b are projection pupils (projected images) of the photoelectric conversion units 211a and 211b projected onto the exit pupil plane of the photographing optical system. The projection pupils EP1a and EP1b correspond to pupil regions (divided pupil regions) through which a pair of light beams pass in the photographing optical system (phase difference type focus detection system).

画素211の光電変換部211a、211bの境界部は、画素中心に対して左方向に偏倚している。このため、投影瞳EP1a、EP1bの境界部は、光軸OAに対して右方向に偏倚している。線分CL1aは光電変換部211aの中心と投影瞳EP1aの中心とを結ぶ線、線分CL1bは光電変換部211bの中心と投影瞳EP1bの中心とを結ぶ線である。線分CL1a、CL1bは、一対の光束(焦点検出用の光束)の主光線に相当する。   The boundary between the photoelectric conversion units 211a and 211b of the pixel 211 is biased leftward with respect to the pixel center. For this reason, the boundary between the projection pupils EP1a and EP1b is deviated in the right direction with respect to the optical axis OA. The line segment CL1a is a line connecting the center of the photoelectric conversion unit 211a and the center of the projection pupil EP1a, and the line segment CL1b is a line connecting the center of the photoelectric conversion unit 211b and the center of the projection pupil EP1b. Line segments CL1a and CL1b correspond to principal rays of a pair of light beams (focus detection light beams).

図4(b)は、画素212と撮影光学系との共役関係を示す図である。画素212の光電変換部212a、212bは、画素中心に対して対称形状となっている。このため、光電変換部212a、212bに対応するそれぞれの投影瞳EP2a、EP2bは、射出瞳上において左右対称形状(光軸OAに関して対称)となっている。図4(c)は、画素213と撮影光学系との共役関係を示す図である。画素213の光電変換部213a、213bの境界部は、画素中心に対して右方向に偏倚している。このため、光電変換部213a、213bに対応するそれぞれの投影瞳EP3a、EP3bの境界部は、光軸OAに対して左方向に偏倚している。   FIG. 4B is a diagram illustrating a conjugate relationship between the pixel 212 and the photographing optical system. The photoelectric conversion units 212a and 212b of the pixel 212 are symmetrical with respect to the pixel center. Therefore, the respective projection pupils EP2a and EP2b corresponding to the photoelectric conversion units 212a and 212b have a bilaterally symmetric shape (symmetric with respect to the optical axis OA) on the exit pupil. FIG. 4C is a diagram illustrating a conjugate relationship between the pixel 213 and the imaging optical system. The boundary between the photoelectric conversion units 213a and 213b of the pixel 213 is biased to the right with respect to the pixel center. For this reason, the boundary portions of the projection pupils EP3a and EP3b corresponding to the photoelectric conversion units 213a and 213b are deviated leftward with respect to the optical axis OA.

続いて、図5を参照して、撮影光学系の射出瞳面上に投影された光電変換部の投影像(投影瞳)の形状について説明する。図5は、射出瞳面上における投影瞳の形状の説明図である。   Next, the shape of the projection image (projection pupil) of the photoelectric conversion unit projected on the exit pupil plane of the photographing optical system will be described with reference to FIG. FIG. 5 is an explanatory diagram of the shape of the projection pupil on the exit pupil plane.

図5(a)は、画素211の光電変換部211a、211bに対応する投影瞳EP1a、EP1bの平面図である。TL(F2.8)は、F値(絞り値)がF2.8の撮影光学系における射出瞳である。TL(F5.6)は、F値をF5.6に絞った場合の射出瞳である。EP1a、EP1bは、画素211の光電変換部211a、211bに対応する投影瞳(投影像)である。図4(a)を参照して説明したように、画素211の光電変換部211a、211bの境界は、画素中心に対して左側に偏倚しているため、投影瞳EP1a、EP1bの境界部は、射出瞳TLの中心に対して右側に偏倚している。   FIG. 5A is a plan view of the projection pupils EP1a and EP1b corresponding to the photoelectric conversion units 211a and 211b of the pixel 211. FIG. TL (F2.8) is an exit pupil in the photographing optical system having an F value (aperture value) of F2.8. TL (F5.6) is an exit pupil when the F value is reduced to F5.6. EP1a and EP1b are projection pupils (projected images) corresponding to the photoelectric conversion units 211a and 211b of the pixel 211, respectively. As described with reference to FIG. 4A, since the boundaries of the photoelectric conversion units 211a and 211b of the pixel 211 are biased to the left with respect to the pixel center, the boundaries of the projection pupils EP1a and EP1b are It is biased to the right with respect to the center of the exit pupil TL.

図5(b)は、画素212の光電変換部212a、212bに対応する投影瞳EP2a、EP2bの平面図である。一対の投影瞳EP2a、EP2bの境界部は、撮影光学系の射出瞳TLの中心(射出瞳TLの中心を通る線の位置)と一致している。図5(c)は、画素213の光電変換部213a、213bに対応する投影瞳EP3a、EP3bの平面図である。一対の投影瞳EP3a、EP3bの境界部は、撮影光学系の射出瞳TLの中心に対して左方向に偏倚している。   FIG. 5B is a plan view of the projection pupils EP2a and EP2b corresponding to the photoelectric conversion units 212a and 212b of the pixel 212. The boundary between the pair of projection pupils EP2a and EP2b coincides with the center of the exit pupil TL of the photographing optical system (the position of a line passing through the center of the exit pupil TL). FIG. 5C is a plan view of the projection pupils EP3a and EP3b corresponding to the photoelectric conversion units 213a and 213b of the pixel 213. The boundary between the pair of projection pupils EP3a and EP3b is deviated leftward with respect to the center of the exit pupil TL of the photographing optical system.

次に、投影瞳と焦点検出特性との関係について説明する。一対の投影瞳を撮影光学系の射出瞳の範囲内で切り出し、切り出した個々の領域のX軸方向における重心離間量が、位相差方式の焦点検出システムにおける基線長に相当する。ここでは基線長を、撮影光学系の瞳面上での重心離間量(単位:mm)を瞳距離(単位:mm)で除した角度θ(単位:ラジアン)として定義する。そして、焦点検出の際における一対の2像の横ずれ量をu(単位:mm)、そのときのデフォーカス量をDEF(単位:mm)とする。このとき、これらの関係は以下の式(1)のように表わされる。   Next, the relationship between the projection pupil and focus detection characteristics will be described. A pair of projection pupils are cut out within the range of the exit pupil of the photographing optical system, and the center-of-gravity separation amount in the X-axis direction of each cut out region corresponds to the baseline length in the phase difference type focus detection system. Here, the base line length is defined as an angle θ (unit: radians) obtained by dividing the center-of-gravity separation amount (unit: mm) on the pupil plane of the photographing optical system by the pupil distance (unit: mm). The lateral shift amount of the pair of two images at the time of focus detection is u (unit: mm), and the defocus amount at that time is DEF (unit: mm). At this time, these relationships are expressed as the following formula (1).

θ×DEF=u … (1)
すなわち、基線長θが大きいほど、単位デフォーカス量に対する一対2像の横ずれ量uは大きくなる。このため、基線長θが大きいほど、焦点検出分解能が高くなり、高精度な焦点検出が可能となる。
θ × DEF = u (1)
That is, the larger the baseline length θ, the larger the lateral deviation amount u of the pair of two images with respect to the unit defocus amount. For this reason, the larger the baseline length θ, the higher the focus detection resolution and the higher accuracy focus detection becomes possible.

続いて、焦点検出用の一対2像のボケ量について考える。個々の投影瞳を撮影光学系の射出瞳の範囲内で切り出し、切り出された投影瞳のX軸方向における幅が、個々の焦点検出像のボケ幅を規定する。ここでは個々の投影瞳の幅を、撮影光学系の瞳面上での投影瞳の幅(単位:mm)を瞳距離(単位:mm)で除した角度α(単位:ラジアン)として定義する。そして、焦点検出の際の各像のボケ幅をw(単位:mm)、そのときのデフォーカス量をDEF(単位:mm)とする。このとき、これらの関係は、以下の式(2)のように表わされる。   Next, the blur amount of the pair of two images for focus detection will be considered. Each projection pupil is cut out within the range of the exit pupil of the photographing optical system, and the width of the cut projection pupil in the X-axis direction defines the blur width of each focus detection image. Here, the width of each projection pupil is defined as an angle α (unit: radians) obtained by dividing the width (unit: mm) of the projection pupil on the pupil plane of the photographing optical system by the pupil distance (unit: mm). The blur width of each image at the time of focus detection is w (unit: mm), and the defocus amount at that time is DEF (unit: mm). At this time, these relationships are expressed as the following formula (2).

α×DEF=w … (2)
すなわち、投影瞳の幅αが大きいほど、単位デフォーカス量に対する焦点検出用の各像のボケ幅が大きくなる。このため、デフォーカス量が大きい場合、焦点検出像のコントラストが低下し、焦点検出不能になりやすい。
α × DEF = w (2)
That is, the greater the projection pupil width α, the greater the blur width of each focus detection image with respect to the unit defocus amount. For this reason, when the defocus amount is large, the contrast of the focus detection image is lowered, and the focus detection is likely to be impossible.

図6は、撮像素子107における各画素群の焦点検出信号の説明図であり、焦点検出の際における画素211〜213の出力波形を、3種類のデフォーカス量について示している。図6において、横軸は焦点検出領域における画素の座標(X座標)であり、この焦点検出領域内にはX軸方向において画素211〜213が各々100個程度含まれると仮定する。縦軸は焦点検出領域内に位置する画素の出力信号(画素出力)をそれぞれ示している。撮影光学系のF値はF2.8、被写体は黒地に2本の白い細線が描かれたものを想定し、左側に位置する細線の輝度は低く、右側に位置する細線は輝度が高い。   FIG. 6 is an explanatory diagram of a focus detection signal of each pixel group in the image sensor 107, and shows output waveforms of the pixels 211 to 213 in focus detection for three types of defocus amounts. In FIG. 6, the horizontal axis represents the coordinates (X coordinate) of the pixel in the focus detection area, and it is assumed that the focus detection area includes about 100 pixels 211 to 213 in the X axis direction. The vertical axis indicates the output signal (pixel output) of the pixel located in the focus detection area. The F value of the photographing optical system is assumed to be F2.8, and the subject is assumed to have two white thin lines drawn on a black background. The brightness of the thin line located on the left side is low and the brightness of the thin line located on the right side is high.

図6(a)は、画素211から出力される波形(画素出力)であり、上から順に、デフォーカス量が0mm、4mm、10mmの焦点検出信号の波形を示している。まず、デフォーカス量が0mmの波形について説明する。太線の出力波形AF1aは光電変換部211a(光電変換部群)の出力を、細線の出力波形AF1bは光電変換部211b(光電変換部群)の出力をそれぞれ示している。デフォーカス量が0mmであるため、両波形の相対的な横ずれ量はゼロ、すなわち位相は一致する。また、被写体像は合焦しているため、一対の2像の出力波形にはボケが生じておらず、細線信号のエッジは急峻に切り立っている。一方、撮影光学系の射出瞳で切り出された画素211の投影瞳EP1aに関しては、図5(a)に示されるように、光電変換部211aに対応する投影瞳EP1aよりも光電変換部211bに対応する投影瞳EP1bのほうが大きい。すなわち、光電変換部211aの感度に対して光電変換部211bの感度のほうが高いため、出力波形AF1aよりも出力波形AF1bの方が高出力となる。   FIG. 6A shows a waveform (pixel output) output from the pixel 211, and shows waveforms of focus detection signals with defocus amounts of 0 mm, 4 mm, and 10 mm in order from the top. First, a waveform with a defocus amount of 0 mm will be described. A thick line output waveform AF1a indicates an output of the photoelectric conversion unit 211a (photoelectric conversion unit group), and a thin line output waveform AF1b indicates an output of the photoelectric conversion unit 211b (photoelectric conversion unit group). Since the defocus amount is 0 mm, the relative lateral deviation amount of both waveforms is zero, that is, the phases match. In addition, since the subject image is in focus, the output waveform of the pair of two images is not blurred, and the edge of the thin line signal is sharply cut. On the other hand, regarding the projection pupil EP1a of the pixel 211 cut out by the exit pupil of the photographing optical system, as shown in FIG. 5A, the projection pupil EP1a corresponding to the photoelectric conversion unit 211a corresponds to the photoelectric conversion unit 211b. The projection pupil EP1b to be larger is larger. That is, since the sensitivity of the photoelectric conversion unit 211b is higher than the sensitivity of the photoelectric conversion unit 211a, the output waveform AF1b has a higher output than the output waveform AF1a.

デフォーカス量が4mmに増加すると、2像の間には横ずれ量u(像ずれ量)が発生するとともに、2像のボケ量も増加する。この状態ではまだ各波形のコントラストが比較的高いため、所定の位相差検出演算を行うことで2像の横ずれ量を検出することができる。デフォーカス量が10mmになると、2像の横ずれ量uが更に増加するとともに、2像のコントラストは一層低下し、焦点検出が不能となる確率が高くなる。   When the defocus amount increases to 4 mm, a lateral shift amount u (image shift amount) occurs between the two images, and the blur amount of the two images also increases. In this state, since the contrast of each waveform is still relatively high, it is possible to detect the lateral shift amount of the two images by performing a predetermined phase difference detection calculation. When the defocus amount is 10 mm, the lateral displacement amount u between the two images further increases, the contrast between the two images further decreases, and the probability that the focus detection becomes impossible increases.

図6(b)は、画素212から出力される波形(画素出力)であり、太線の出力波形AF2aは光電変換部212a(光電変換部群)の出力を、細線の出力波形AF2bは光電変換部212b(光電変換部群)の出力をそれぞれ示している。図6(b)において、各デフォーカス量(DEF=0、4、10mm)における一対の2像の出力波形の横ずれ量やコントラストの低下状況は、実質的に図6(a)の場合と同様である。一方、撮影光学系の射出瞳で切り出された画素212の投影瞳EP2a、EP2bに関しては、図5(b)に示されるように、投影瞳EP2a、EP2bは互いに左右対称で大きさも等しい。すなわち、光電変換部212a(光電変換部群)と光電変換部212b(光電変換部群)との感度は互いに等しいため、出力波形AF2a、AF2bの出力レベルも互いに等しい。   FIG. 6B shows a waveform (pixel output) output from the pixel 212. The thick line output waveform AF2a is the output of the photoelectric conversion unit 212a (photoelectric conversion unit group), and the thin line output waveform AF2b is the photoelectric conversion unit. The output of 212b (photoelectric conversion unit group) is shown. In FIG. 6B, the lateral shift amount of the output waveform of the pair of two images and the decrease in contrast at each defocus amount (DEF = 0, 4, 10 mm) are substantially the same as in FIG. 6A. It is. On the other hand, regarding the projection pupils EP2a and EP2b of the pixel 212 cut out by the exit pupil of the photographing optical system, as shown in FIG. 5B, the projection pupils EP2a and EP2b are bilaterally symmetric and equal in size. That is, since the photoelectric conversion unit 212a (photoelectric conversion unit group) and the photoelectric conversion unit 212b (photoelectric conversion unit group) have the same sensitivity, the output levels of the output waveforms AF2a and AF2b are also equal to each other.

図6(c)は、画素213から出力される波形(画素出力)であり、太線の出力波形AF3aは光電変換部213a(光電変換部群)の出力を、細線の出力波形AF2bは光電変換部213b(光電変換部群)の出力をそれぞれ示している。図6(c)において、各デフォーカス量(DEF=0、4、10mm)における一対の2像の出力波形の横ずれ量やコントラストの低下状況は、実質的に図6(a)、(b)の場合と同様である。一方、撮影光学系の射出瞳で切り出された画素213の投影瞳EP3a、EP3bに関しては、図5(c)に示されるように、投影瞳EP3bよりも投影瞳EP3aのほうが大きい。すなわち、光電変換部213b(光電変換部群)の感度に対して光電変換部213a(光電変換部群)の感度のほうが高いため、出力波形AF3bよりも出力波形AF3aのほうが高出力となる。   FIG. 6C shows a waveform (pixel output) output from the pixel 213. A thick line output waveform AF3a is an output of the photoelectric conversion unit 213a (photoelectric conversion unit group), and a thin line output waveform AF2b is a photoelectric conversion unit. Outputs of 213b (photoelectric conversion unit group) are shown. In FIG. 6C, the lateral shift amount of the output waveform of the pair of two images and the decrease in contrast at each defocus amount (DEF = 0, 4, 10 mm) are substantially the same as those in FIGS. It is the same as the case of. On the other hand, regarding the projection pupils EP3a and EP3b of the pixel 213 cut out by the exit pupil of the photographing optical system, as shown in FIG. 5C, the projection pupil EP3a is larger than the projection pupil EP3b. That is, since the sensitivity of the photoelectric conversion unit 213a (photoelectric conversion unit group) is higher than the sensitivity of the photoelectric conversion unit 213b (photoelectric conversion unit group), the output waveform AF3a has a higher output than the output waveform AF3b.

以上のとおり、各光電変換部の出力を結合(合成)することなく独立して焦点検出信号を生成する場合、各画素群(画素211〜213)による焦点検出系における投影瞳の幅が広く、かつ基線長が大きいため、合焦近傍での焦点検出精度に優れる。しかし、大デフォーカス時には、焦点検出ができなくなる可能性がある。   As described above, when generating a focus detection signal independently without combining (combining) the outputs of the photoelectric conversion units, the width of the projection pupil in the focus detection system by each pixel group (pixels 211 to 213) is wide. In addition, since the base line length is large, the focus detection accuracy in the vicinity of in-focus is excellent. However, focus detection may not be possible during large defocus.

次に、図7乃至図9を参照して、互いに異なる画素群間で光電変換部の合成処理を行ってから焦点検出演算を行う場合について説明する。図7は、光電変換部の出力信号の合成方法の説明図であり、図2に示される撮像素子107の画素配列において、互いに異なる画素群間での光電変換部の出力を合成し、仮想の投影瞳(合成投影瞳)に対応する画素群を生成する場合の概念図を示している。図2には、6行6列の範囲の画素が表記されているが、そのうちの特定列、例えば左端の1列目の6画素を抜き出したものが、図7の左側に表記されている。これらの6画素は、上から順に、緑(G)および青(B)の画素211、緑(G)および青(B)の画素212、および、緑(G)および青(B)の画素213である。   Next, with reference to FIG. 7 to FIG. 9, a case will be described in which focus detection calculation is performed after the photoelectric conversion unit combining processing is performed between different pixel groups. FIG. 7 is an explanatory diagram of a method for synthesizing the output signals of the photoelectric conversion units. In the pixel array of the image sensor 107 shown in FIG. 2, the outputs of the photoelectric conversion units between different pixel groups are combined to create a virtual The conceptual diagram in the case of producing | generating the pixel group corresponding to a projection pupil (composite projection pupil) is shown. In FIG. 2, pixels in a range of 6 rows and 6 columns are shown. Among them, a specific column, for example, the extracted 6 pixels in the first column at the left end is shown on the left side of FIG. 7. These six pixels are, in order from the top, a green (G) and blue (B) pixel 211, a green (G) and blue (B) pixel 212, and a green (G) and blue (B) pixel 213. It is.

ここでは、各画素群の緑(G)画素、すなわち行番号1、3、5の計3種類のG画素からの出力信号の合成方法について説明する。3種類の緑(G)画素(画素211〜213)は、合計6個の光電変換部211a〜213bを有する。そこで、6個の光電変換部211a〜213bの出力から2個を取り出して以下の式(3)による合成(減算)を行い、図7の中央に示されるような仮想的な4個の光電変換部221s〜224sの出力信号を生成する。   Here, a method of synthesizing output signals from green (G) pixels of each pixel group, that is, a total of three types of G pixels of row numbers 1, 3, and 5 will be described. The three types of green (G) pixels (pixels 211 to 213) have a total of six photoelectric conversion units 211a to 213b. Therefore, two of the outputs from the six photoelectric conversion units 211a to 213b are taken out and combined (subtracted) by the following equation (3) to obtain four virtual photoelectric conversions as shown in the center of FIG. The output signals of the units 221s to 224s are generated.

S221s=S212a−S211a … (3)
S222s=S211b−S212b … (4)
S223s=S213a−S212a … (5)
S224s=S212b−S213b … (6)
式(3)〜(6)において、S211a〜S213bは、光電変換部211a〜213bのそれぞれの出力信号を示す。また、S221s〜S224sは、仮想的な光電変換部221s〜224sの出力信号をそれぞれ示す。
S221s = S212a-S211a (3)
S222s = S211b-S212b (4)
S223s = S213a-S212a (5)
S224s = S212b-S213b (6)
In Expressions (3) to (6), S211a to S213b indicate output signals of the photoelectric conversion units 211a to 213b. S221s to S224s indicate output signals of the virtual photoelectric conversion units 221s to 224s, respectively.

続いて、仮想的な4個の光電変換部221s〜224sの出力信号S221s〜S224sから2個の出力信号を取り出し、以下の組み合わせ操作を行う。これにより、図7の右側に示されるような仮想的な3種の画素群(仮想画素群:画素214〜216)が得られる。まず、画素231は、仮想的な光電変換部221s、222sで構成される。画素232は、仮想的な光電変換部221s、224sで構成される。画素233は、仮想的な光電変換部223s、224sで構成される。そして、同様の操作が3列目および5列目の緑(G)画素についても行われ、図7の右側に示されるようなマトリクス状の3種の画素群(画素214〜216)が得られる。また、緑(G)以外の赤(R)および青(B)の画素についても同様の操作が行われるが、ここでの説明は省略する。   Subsequently, two output signals are extracted from the output signals S221s to S224s of the four virtual photoelectric conversion units 221s to 224s, and the following combination operation is performed. As a result, three types of virtual pixel groups (virtual pixel groups: pixels 214 to 216) as shown on the right side of FIG. 7 are obtained. First, the pixel 231 includes virtual photoelectric conversion units 221s and 222s. The pixel 232 includes virtual photoelectric conversion units 221s and 224s. The pixel 233 includes virtual photoelectric conversion units 223s and 224s. The same operation is performed for the green (G) pixels in the third and fifth rows, and three matrix pixel groups (pixels 214 to 216) as shown on the right side of FIG. 7 are obtained. . The same operation is performed for red (R) and blue (B) pixels other than green (G), but the description thereof is omitted here.

図8は、撮影光学系の射出瞳面上に投影された仮想画素群(画素214〜216)の投影瞳の説明図である。図8(a)は、図7に示される仮想的な画素214の光電変換部214a、214bに対応する投影瞳EP4a、EP4bの平面図である。   FIG. 8 is an explanatory diagram of the projection pupil of the virtual pixel group (pixels 214 to 216) projected on the exit pupil plane of the photographing optical system. FIG. 8A is a plan view of the projection pupils EP4a and EP4b corresponding to the photoelectric conversion units 214a and 214b of the virtual pixel 214 shown in FIG.

TL(F2.8)は、F値(絞り値)をF2.8に設定した場合の撮影光学系における射出瞳、TL(F5.6)はF5.6に絞った場合の射出瞳である。EP4a、EP4bは、画素214の光電変換部214a、214bに対応する投影瞳である。図7に示されるように、画素214の光電変換部214a、214bのX方向の寸法は小さく、両者は互いに近接しているとともに、その境界は画素中心に対して左側に偏倚している。このため、これらの光電変換部214a、214bに対応する投影瞳EP4a、EP4bの幅、すなわちX方向の寸法も小さく、一対の2個の投影瞳EP4a、EP4bは互いに近接するとともに、その境界部は射出瞳TLの中心に対して右側に偏倚している。   TL (F2.8) is an exit pupil in the photographing optical system when the F value (aperture value) is set to F2.8, and TL (F5.6) is an exit pupil when the aperture is limited to F5.6. EP4a and EP4b are projection pupils corresponding to the photoelectric conversion units 214a and 214b of the pixel 214. As shown in FIG. 7, the X-direction dimensions of the photoelectric conversion units 214a and 214b of the pixel 214 are small, the two are close to each other, and the boundary is biased to the left with respect to the pixel center. For this reason, the width of the projection pupils EP4a and EP4b corresponding to the photoelectric conversion units 214a and 214b, that is, the dimension in the X direction is small, the pair of two projection pupils EP4a and EP4b are close to each other, and the boundary portion is It is biased to the right with respect to the center of the exit pupil TL.

図8(b)は、仮想的な画素215の光電変換部215a、215bに対応する投影瞳EP5a、EP5bの平面図である。一対の投影瞳EP5a、EP5bの幅は狭いが、投影瞳EP5a、EP5bの間隔すなわち基線長は大きく、各投影瞳の重心は射出瞳TLの中心から等距離に位置する。図8(c)は、仮想的な画素216の光電変換部216a、216bに対応する投影瞳EP6a、EP6bの平面図である。一対の投影瞳EP6a、EP6bの境界部は、射出瞳の中心に対して左方向に偏倚している。   FIG. 8B is a plan view of the projection pupils EP5a and EP5b corresponding to the photoelectric conversion units 215a and 215b of the virtual pixel 215. FIG. The width of the pair of projection pupils EP5a and EP5b is narrow, but the distance between the projection pupils EP5a and EP5b, that is, the base line length is large, and the center of gravity of each projection pupil is located at the same distance from the center of the exit pupil TL. FIG. 8C is a plan view of the projection pupils EP6a and EP6b corresponding to the photoelectric conversion units 216a and 216b of the virtual pixel 216. FIG. The boundary between the pair of projection pupils EP6a and EP6b is deviated leftward with respect to the center of the exit pupil.

図9は、各仮想画素群の焦点検出信号の説明図であり、焦点検出の際における画素群(画素214〜216)の出力波形を、3種類のデフォーカス量について示している。図9において、横軸は画素の座標(X座標)、縦軸は画素の出力信号(画素出力)をそれぞれ示している。撮影光学系のF値はF2.8、被写体は黒地に2本の白い細線が描かれたものを想定し、左側に位置する細線の輝度は低く、右側に位置する細線は輝度が高い。   FIG. 9 is an explanatory diagram of a focus detection signal of each virtual pixel group, and shows output waveforms of the pixel group (pixels 214 to 216) at the time of focus detection for three types of defocus amounts. In FIG. 9, the horizontal axis represents pixel coordinates (X coordinate), and the vertical axis represents pixel output signals (pixel output). The F value of the photographing optical system is assumed to be F2.8, and the subject is assumed to have two white thin lines drawn on a black background. The brightness of the thin line located on the left side is low and the brightness of the thin line located on the right side is high.

図9(a)は、複数の画素214から出力される波形(画素出力)であり、上から順に、デフォーカス量が0mm、4mm、10mmの焦点検出信号の波形を示している。まず、デフォーカス量が0mmの波形について説明する。太線の出力波形AF4aは仮想的な光電変換部214a(光電変換部群)の出力を、細線の出力波形AF4bは仮想的な光電変換部214b(光電変換部群)の出力をそれぞれ示している。デフォーカス量が0mmであるため、両波形の相対的な横ずれ量はゼロであり、一対の投影瞳EP4a、EP4bの面積も同一であるため、出力波形AF4a、AF4bの位相および強度は互いに一致している。   FIG. 9A shows waveforms (pixel outputs) output from a plurality of pixels 214, and shows the waveforms of focus detection signals with defocus amounts of 0 mm, 4 mm, and 10 mm in order from the top. First, a waveform with a defocus amount of 0 mm will be described. A thick line output waveform AF4a indicates an output of the virtual photoelectric conversion unit 214a (photoelectric conversion unit group), and a thin line output waveform AF4b indicates an output of the virtual photoelectric conversion unit 214b (photoelectric conversion unit group). Since the defocus amount is 0 mm, the relative lateral shift amount of both waveforms is zero, and the areas of the pair of projection pupils EP4a and EP4b are the same, so the phases and intensities of the output waveforms AF4a and AF4b match each other. ing.

デフォーカス量が4mmに増加すると、2像には横ずれ量uが発生するとともに、2像のボケ量も増加する。しかし、図6(a)に示される同一条件での波形に比べて、画素214に関しては投影瞳EP4a、EP4bの幅が細く、かつ基線長も短い。このため、2像のボケ状況は軽微であり、横ずれ量uも小さい。デフォーカス量が10mmになると、2像の横ずれ量uが更に増加するとともに、2像のコントラストも低下する。しかし、2本の細線に対応する2つのピークは十分に残っているため、焦点検出が不能となることはない。   When the defocus amount increases to 4 mm, a lateral shift amount u is generated in the two images, and the blur amount of the two images also increases. However, as compared with the waveform under the same conditions shown in FIG. 6A, regarding the pixel 214, the projection pupils EP4a and EP4b are narrower and the base line length is shorter. For this reason, the blurring situation of the two images is slight, and the lateral deviation amount u is also small. When the defocus amount is 10 mm, the lateral displacement amount u of the two images further increases and the contrast of the two images also decreases. However, since two peaks corresponding to the two thin lines remain sufficiently, focus detection is not disabled.

図9(b)は、複数の画素215から出力される波形(画素出力)であり、太線の出力波形AF5aは仮想的な光電変換部215a(光電変換部群)の出力を、細線の出力波形AF5bは仮想的な光電変換部215b(光電変換部群)の出力をそれぞれ示している。図9(c)は、複数の画素216から出力される波形(画素出力)であり、太線の出力波形AF6aは仮想的な光電変換部216a(光電変換部群)の出力を、細線の出力波形AF6bは仮想的な光電変換部216b(光電変換部群)の出力をそれぞれ示している。   FIG. 9B shows a waveform (pixel output) output from a plurality of pixels 215, and a thick output waveform AF5a indicates an output of a virtual photoelectric conversion unit 215a (photoelectric conversion unit group), and an output waveform of a thin line. AF5b indicates the output of the virtual photoelectric conversion unit 215b (photoelectric conversion unit group). FIG. 9C shows a waveform (pixel output) output from a plurality of pixels 216. A thick line output waveform AF6a indicates a virtual photoelectric conversion unit 216a (photoelectric conversion unit group) output, and a thin line output waveform. AF6b indicates the output of the virtual photoelectric conversion unit 216b (photoelectric conversion unit group).

ここで、図8(a)〜(c)および図9(a)〜(c)を参照して、投影瞳の性質および焦点検出特性について説明する。図8(a)〜(c)に示されるように、仮想画素群(仮想的な画素214〜216)の各投影瞳の幅は略等しい。一方、各仮想画素群の投影瞳の基線長は、画素214、216において小さく、画素215においては大きい。図9(a)〜(c)の波形を比較すると、各デフォーカス量における一対の2像の出力波形のコントラストの低下状況は、図9(a)〜(c)のいずれの場合においても実質的に同一である。しかし、相対的な横ずれ量uは、図9(a)および図9(c)の場合において小さく、図9(b)において大きい。すなわち、画素214、216を用いた焦点検出特性は、所定のデフォーカス量に対する一対の2像の横ずれ量uが小さいため、焦点検出分解能は低いが、より大きなデフォーカス量まで焦点検出が可能である。一方、画素215を用いた焦点検出特性は、所定のデフォーカス量に対する一対の2像の横ずれ量uが大きいため、合焦点近傍での焦点検出分解能は高いが、大デフォーカス時には焦点検出ができなくなる可能性がある。従って、デフォーカス量の大小に応じて最適な画素群を用いることにより、デフォーカス量が大きい場合も焦点検出が可能となり、合焦点近傍では高精度な焦点検出を達成することができる。   Here, with reference to FIGS. 8A to 8C and FIGS. 9A to 9C, the properties of the projection pupil and the focus detection characteristics will be described. As shown in FIGS. 8A to 8C, the widths of the projection pupils of the virtual pixel group (virtual pixels 214 to 216) are substantially equal. On the other hand, the baseline length of the projection pupil of each virtual pixel group is small in the pixels 214 and 216 and large in the pixel 215. When comparing the waveforms in FIGS. 9A to 9C, the contrast reduction state of the output waveforms of a pair of two images at each defocus amount is substantially the same in any of the cases of FIGS. 9A to 9C. Are identical. However, the relative lateral displacement amount u is small in the cases of FIGS. 9A and 9C and large in FIG. 9B. That is, in the focus detection characteristics using the pixels 214 and 216, since the lateral deviation amount u of the pair of two images with respect to a predetermined defocus amount is small, the focus detection resolution is low, but focus detection is possible up to a larger defocus amount. is there. On the other hand, the focus detection characteristic using the pixel 215 has a large lateral shift amount u of the pair of two images with respect to a predetermined defocus amount. There is a possibility of disappearing. Therefore, by using an optimal pixel group according to the magnitude of the defocus amount, focus detection is possible even when the defocus amount is large, and highly accurate focus detection can be achieved in the vicinity of the in-focus point.

表1は、各画素群における焦点検出特性の比較表である。表1において、画素群1〜6は、画素211〜216にそれぞれ対応している。デフォーカス量が大きい場合、焦点検出像のボケや横ずれ量が少ない、仮想的な画素群4〜6が好適に用いられる。一方、合焦近傍では、基線長が長く感度も高い画素群1〜3が好適に用いられる。   Table 1 is a comparison table of focus detection characteristics in each pixel group. In Table 1, pixel groups 1 to 6 correspond to pixels 211 to 216, respectively. When the defocus amount is large, virtual pixel groups 4 to 6 with less blur and lateral displacement of the focus detection image are preferably used. On the other hand, pixel groups 1 to 3 having a long base line length and high sensitivity are preferably used in the vicinity of the focus.

次に、図10乃至図12を参照して、本実施例における撮像装置100の焦点検出処理を含む撮影処理(撮像装置の制御方法)について説明する。図10は、本実施例における撮影処理を示すフローチャート(メイン制御フロー)である。図10の各ステップは、主に、撮像装置100のCPU121の指令に基づいて撮像装置100の各部により実行される。   Next, imaging processing (imaging device control method) including focus detection processing of the imaging device 100 according to the present embodiment will be described with reference to FIGS. FIG. 10 is a flowchart (main control flow) showing the photographing process in the present embodiment. Each step in FIG. 10 is mainly executed by each unit of the imaging apparatus 100 based on a command from the CPU 121 of the imaging apparatus 100.

まずステップS101において、撮影者が撮像装置100の電源スイッチをオン操作すると、ステップS102に進む。ステップS102において、CPU121は、撮像装置100の各アクチュエータや撮像素子107の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する(初期状態確認)。続いてステップS103において、CPU121は、撮影条件の設定受付けを行う。具体的には、CPU121は、撮影者による露出調節モード、焦点調節モード、画質(記録画素数や圧縮率)、ホワイトバランスモードなどの設定を受け付ける。そしてステップS104において、CPU121は、絞り値(F値)を指定値に制御する。ここで指定値とは、絞り優先AEでは撮影者が選択した絞り値、シャッタ優先AEやプログラムAEでは予め設定された露出制御プログラムに基づく絞り値である。   First, in step S101, when the photographer turns on the power switch of the imaging apparatus 100, the process proceeds to step S102. In step S102, the CPU 121 confirms the operations of the actuators and the image sensor 107 of the image capturing apparatus 100, initializes the memory contents and the execution program, and executes the photographing preparation operation (initial state confirmation). Subsequently, in step S103, the CPU 121 accepts shooting condition settings. Specifically, the CPU 121 accepts settings such as an exposure adjustment mode, a focus adjustment mode, an image quality (recording pixel number and compression rate), a white balance mode, and the like by the photographer. In step S104, the CPU 121 controls the aperture value (F value) to a specified value. Here, the designated value is an aperture value selected by the photographer in aperture priority AE, and an aperture value based on a preset exposure control program in shutter priority AE or program AE.

続いてステップS105において、CPU121は、レンズ状態、すなわち撮影光学系のズーム状態、フォーカスレンズ状態、および、絞り状態を検出し、射出瞳の大きさや射出瞳距離などの情報を記憶手段から読み出す。記憶手段は、例えばCPU121の内部メモリ(ROM)である。そしてステップS106において、CPU121は、撮像素子駆動回路124を用いて撮像素子107の撮像動作を開始し、撮像素子107から出力された画素信号を読み出す。本実施例では、撮像素子107の各画素の光電変換部は、互いに独立した2つの領域から構成されている。このためCPU121は、各光電変換部から出力された画素信号を独立に読み出す。そしてステップS107において、CPU121は、読み出した画素信号から表示用プレビュー画像を生成し、この画像を撮像装置100の背面(カメラ背面)に設けられた表示器131に表示する。このときCPU121は、各画素の一対の2個の光電変換部の出力信号を加算して撮像信号に変換し、更に表示器131の画素数に応じて画像の縮小を行う。   In step S105, the CPU 121 detects the lens state, that is, the zoom state, the focus lens state, and the aperture state of the photographing optical system, and reads information such as the exit pupil size and exit pupil distance from the storage unit. The storage means is an internal memory (ROM) of the CPU 121, for example. In step S <b> 106, the CPU 121 starts the imaging operation of the imaging device 107 using the imaging device driving circuit 124, and reads the pixel signal output from the imaging device 107. In this embodiment, the photoelectric conversion unit of each pixel of the image sensor 107 is composed of two regions that are independent of each other. Therefore, the CPU 121 reads out the pixel signals output from the respective photoelectric conversion units independently. In step S107, the CPU 121 generates a display preview image from the read pixel signal, and displays this image on the display 131 provided on the back surface (camera back surface) of the imaging device 100. At this time, the CPU 121 adds the output signals of a pair of two photoelectric conversion units of each pixel to convert it into an imaging signal, and further reduces the image according to the number of pixels of the display 131.

続いてステップS131において、CPU121は、焦点検出処理(フォーカス制御)を行い、第3レンズ群105(フォーカスレンズ)の駆動量(レンズ駆動量)を算出する。焦点検出処理の詳細については後述する。そしてステップS151において、CPU121は、ステップS131にて算出されたレンズ駆動量が所定値以下であるか否かを判定する。レンズ駆動量が所定値以下の場合、CPU121は合焦状態であると判定し、ステップS153に進む。一方、レンズ駆動量が所定値よりも大きい場合、CPU121は合焦状態でないと判定し、ステップS152に進む。ステップS152において、CPU121は、フォーカス駆動回路126およびフォーカスアクチュエータ114を用いてフォーカスレンズ(第3レンズ群105)を駆動し、ステップS153に進む。   Subsequently, in step S131, the CPU 121 performs focus detection processing (focus control), and calculates the driving amount (lens driving amount) of the third lens group 105 (focus lens). Details of the focus detection process will be described later. In step S151, the CPU 121 determines whether the lens driving amount calculated in step S131 is equal to or less than a predetermined value. If the lens driving amount is less than or equal to the predetermined value, the CPU 121 determines that the in-focus state is in effect, and proceeds to step S153. On the other hand, if the lens driving amount is larger than the predetermined value, the CPU 121 determines that the in-focus state is not in effect, and proceeds to step S152. In step S152, the CPU 121 drives the focus lens (third lens group 105) using the focus drive circuit 126 and the focus actuator 114, and the process proceeds to step S153.

ステップS153において、CPU121は、撮影者により撮影スイッチがオン操作されたか否かを判定する。撮影スイッチがオン操作されていない場合、ステップS155に進む。一方、撮影スイッチがオン操作された場合、ステップS154において、CPU121は撮影画像をフラッシュメモリ133などに記録し、ステップS155に進む。ステップS155において、CPU121は、メインスイッチの状態を判定する。メインスイッチがオフされていない場合、すなわちオン状態が維持されている場合、ステップS102に戻り、ステップS102〜S154を繰り返す。一方、ステップS155にてメインスイッチがオフされている場合、ステップS156に進み、撮影を終了する。   In step S153, the CPU 121 determines whether or not the photographing switch has been turned on by the photographer. If the photographing switch is not turned on, the process proceeds to step S155. On the other hand, when the photographing switch is turned on, in step S154, the CPU 121 records the photographed image in the flash memory 133 or the like, and proceeds to step S155. In step S155, the CPU 121 determines the state of the main switch. When the main switch is not turned off, that is, when the on state is maintained, the process returns to step S102 and steps S102 to S154 are repeated. On the other hand, if the main switch is turned off in step S155, the process proceeds to step S156, and the shooting is terminated.

続いて、図11を参照して、本実施例における焦点検出処理(図10のステップS131)について詳述する。図11は、焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図11の各ステップは、主に、CPU121の指令に基づいて実行される。   Next, the focus detection process (step S131 in FIG. 10) in the present embodiment will be described in detail with reference to FIG. FIG. 11 is a flowchart showing focus detection processing (focus detection subroutine). Each step of FIG. 11 is mainly executed based on a command from the CPU 121.

図10(メインルーチン)のステップS131に進むと、まず図11のステップS132において、CPU121は、プレビュー画像から被写体パターンを認識し、顔画像の判定や、撮影画面全体のコントラスト分析などを行う。そしてステップS133において、CPU121は、ステップS132にて行われた被写体パターン認識の結果に基づいて、焦点を合わせるべき主被写体(主被写体領域)を決定する。   When the process proceeds to step S131 in FIG. 10 (main routine), first, in step S132 in FIG. 11, the CPU 121 recognizes the subject pattern from the preview image, performs face image determination, contrast analysis of the entire photographing screen, and the like. In step S133, the CPU 121 determines a main subject (main subject region) to be focused on based on the result of the subject pattern recognition performed in step S132.

続いてステップS134において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。続いてステップS135において、CPU121は、ステップS133にて決定された主被写体領域において、図2に示される画素211〜213の各光電変換部の信号を抽出し、図6に示される一対の2像の焦点検出信号を所定の行数分だけ生成する。そしてステップS136において、CPU121は、図7を参照して説明した手順で、各光電変換部の出力信号を合成(減算)し、仮想的な画素214〜216(仮想画素群)に対応する信号(画素信号)を算出する。CPU121は、図9に示される一対の2像の焦点検出信号を所定の行数分だけ生成する。   Subsequently, in step S134, the CPU 121 calculates exit pupil information of the imaging optical system based on the lens information acquired in step S105 of FIG. 10 (exit pupil calculation). Subsequently, in step S135, the CPU 121 extracts signals from the photoelectric conversion units of the pixels 211 to 213 shown in FIG. 2 in the main subject area determined in step S133, and a pair of two images shown in FIG. Are generated for a predetermined number of rows. In step S136, the CPU 121 synthesizes (subtracts) the output signals of the photoelectric conversion units according to the procedure described with reference to FIG. 7, and outputs signals corresponding to the virtual pixels 214 to 216 (virtual pixel group) ( Pixel signal) is calculated. The CPU 121 generates a pair of two image focus detection signals shown in FIG. 9 for a predetermined number of rows.

続いてステップS137において、CPU121は、ステップS135、S136にて生成された各焦点検出信号に対して、ステップS134にて計算した射出瞳情報を用いて、各信号の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。続いてステップS138において、CPU121は、シェーディング補正が施された各焦点検出信号の全てに対して、横ずれ量uを算出するための相関演算を行う。そしてステップS139において、CPU121は、ステップS138にて算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。   Subsequently, in step S137, the CPU 121 uses the exit pupil information calculated in step S134 for each focus detection signal generated in steps S135 and S136 to reduce the light amount imbalance of each signal. Apply shading correction. Thereby, the intensity difference between the pair of two images is reduced, and the focus detection accuracy is improved. Subsequently, in step S138, the CPU 121 performs a correlation operation for calculating the lateral shift amount u with respect to all the focus detection signals subjected to the shading correction. In step S139, the CPU 121 calculates the defocus amount by multiplying the lateral deviation amount u calculated in step S138 by a proportionality constant according to the baseline length of the projection pupil.

続いてステップS141において、CPU121は、ステップS139にて算出された6種のデフォーカス量のうち、基線長が小さい画素214におけるデフォーカス量Defと、2種類の閾値DEF1、DEF2(DEF1<DEF2)とを比較する。例えば閾値DEF1(第1のデフォーカス量)として4mm、閾値DEF2(第2のデフォーカス量)として10mmがそれぞれ設定されている。そして、検出したデフォーカス量Defが閾値DEF2よりも大きい場合、ステップS142に移行し、CPU121は、画素214、216の焦点検出信号に基づいて検出されたデフォーカス量を採用する。一方、検出したデフォーカス量Defが閾値DEF2以下であって、かつ、閾値DEF1よりも大きい場合、ステップS143に移行し、CPU121は、画素215の焦点検出信号に基づいて検出されたデフォーカス量を採用する。また、検出したデフォーカス量Defが閾値DEF1以下の場合、ステップS144に移行し、CPU121は、画素211〜213の焦点検出信号に基づいて検出されたデフォーカス量を採用する。なお、ステップS142、S144では、複数の焦点検出結果(複数の焦点検出信号)が採用されるため、CPU121は、複数の焦点検出結果を平均化するなどして最終的なデフォーカス量を算出する。続いてステップS145において、CPU121は、決定されたデフォーカス量をフォーカスレンズの駆動量(レンズ駆動量)に変換する。そしてステップS146において、図10のメインルーチンにリターンする。   Subsequently, in step S141, the CPU 121 determines the defocus amount Def in the pixel 214 having the short baseline length among the six types of defocus amounts calculated in step S139, and the two types of threshold values DEF1 and DEF2 (DEF1 <DEF2). And compare. For example, 4 mm is set as the threshold DEF1 (first defocus amount), and 10 mm is set as the threshold DEF2 (second defocus amount). When the detected defocus amount Def is larger than the threshold value DEF2, the process proceeds to step S142, and the CPU 121 employs the defocus amount detected based on the focus detection signals of the pixels 214 and 216. On the other hand, when the detected defocus amount Def is equal to or smaller than the threshold value DEF2 and larger than the threshold value DEF1, the process proceeds to step S143, and the CPU 121 determines the defocus amount detected based on the focus detection signal of the pixel 215. adopt. If the detected defocus amount Def is less than or equal to the threshold value DEF1, the process proceeds to step S144, and the CPU 121 adopts the defocus amount detected based on the focus detection signals of the pixels 211 to 213. In steps S142 and S144, since a plurality of focus detection results (a plurality of focus detection signals) are employed, the CPU 121 calculates a final defocus amount by averaging the plurality of focus detection results. . Subsequently, in step S145, the CPU 121 converts the determined defocus amount into a focus lens drive amount (lens drive amount). In step S146, the process returns to the main routine of FIG.

本実施例によれば、各画素の光電変換部の分割数を増加させることなく、種々の焦点状態に適した焦点検出特性を得ることができる。具体的には、全ての画素の光電変換部の分割数を2に設定されているため、撮像素子107の構造の複雑化が回避される。また、デフォーカス量が小さい場合、実在する画素群の光電変換部の出力を合成せずに用いるため、位相差検出のための基線長が長く、合焦精度が高く保たれる。一方、デフォーカス量が大きい場合、実在する異なる画素群間で光電変換部の出力を合成して仮想画素群を生成して焦点検出を行う。この場合、投影瞳の幅が狭く、基線長が短い仮想的な投影瞳対が生成されるため、焦点検出不能となる確率が減り、デフォーカス検出範囲を広げることができる。すなわち、デフォーカスが大きい場合にはデフォーカス量とデフォーカス方向を間違うことなく検出可能であり、合焦点近傍まで素早くフォーカスレンズを駆動することができる。一方、デフォーカス量が小さい合焦近傍では、焦点検出精度を高くすることができるため、焦点状態がどのような場合でも高速かつ高精度にピントの合った高精細画像を得ることが可能となる。   According to the present embodiment, it is possible to obtain focus detection characteristics suitable for various focus states without increasing the number of divisions of the photoelectric conversion unit of each pixel. Specifically, since the number of divisions of the photoelectric conversion units of all the pixels is set to 2, complication of the structure of the image sensor 107 is avoided. Further, when the defocus amount is small, the output of the photoelectric conversion unit of the existing pixel group is used without being synthesized, so that the base line length for phase difference detection is long and the focusing accuracy is kept high. On the other hand, when the defocus amount is large, the virtual pixel group is generated by synthesizing the outputs of the photoelectric conversion units between different actual pixel groups to perform focus detection. In this case, since a hypothetical projection pupil pair with a narrow projection pupil width and a short base length is generated, the probability that focus detection will be impossible is reduced, and the defocus detection range can be expanded. That is, when the defocus is large, the defocus amount and the defocus direction can be detected without making a mistake, and the focus lens can be driven quickly to the vicinity of the in-focus point. On the other hand, since the focus detection accuracy can be increased in the vicinity of the in-focus state where the defocus amount is small, it is possible to obtain a high-definition image that is focused at high speed and with high accuracy regardless of the focus state. .

続いて、図12を参照して、本実施例の変形例としての焦点検出処理(図10のステップS131)について詳述する。図12は、変形例としての焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図11の各ステップは、主に、CPU121の指令に基づいて実行される。なお、図12のステップS132〜S139は、図11の対応するステップとそれぞれ共通するため、それらの説明は省略する。   Next, with reference to FIG. 12, the focus detection process (step S131 in FIG. 10) as a modification of the present embodiment will be described in detail. FIG. 12 is a flowchart showing a focus detection process (focus detection subroutine) as a modification. Each step of FIG. 11 is mainly executed based on a command from the CPU 121. Note that steps S132 to S139 in FIG. 12 are the same as the corresponding steps in FIG.

図12のステップS139にてCPU121がデフォーカス量を算出すると、ステップS161に進む。ステップS161において、CPU121は、ステップS138にて行われた相関演算に関し、相関信頼性を判定する。ここで相関信頼性とは、一対の2像の信号(焦点検出信号)の一致度であり、信号の一致度が高いということは焦点検出結果の信頼性や精度が高いことを意味する。   When the CPU 121 calculates the defocus amount in step S139 in FIG. 12, the process proceeds to step S161. In step S161, the CPU 121 determines correlation reliability regarding the correlation calculation performed in step S138. Here, the correlation reliability is the degree of coincidence between a pair of two image signals (focus detection signals). A high degree of coincidence of signals means that the reliability and accuracy of the focus detection result are high.

続いてステップS162において、CPU121は、ステップS139にて算出された6種のデフォーカス量から、相関信頼性の高いデフォーカス量(焦点検出結果)を選択する。ここで、選択すべきデフォーカス量の個数は1個でも複数でも構わない。複数のデフォーカス量を選択する場合、CPU121は、選択した複数のデフォーカス量の平均値などを用いればよい。そしてステップS163において、CPU121は、決定されたデフォーカス量をフォーカスレンズの駆動量(レンズ駆動量)に変換し、ステップS164において図10のメインルーチンにリターンする。   Subsequently, in step S162, the CPU 121 selects a defocus amount (focus detection result) with high correlation reliability from the six types of defocus amounts calculated in step S139. Here, the number of defocus amounts to be selected may be one or plural. When selecting a plurality of defocus amounts, the CPU 121 may use an average value of the selected plurality of defocus amounts. In step S163, the CPU 121 converts the determined defocus amount into a focus lens drive amount (lens drive amount), and returns to the main routine in FIG. 10 in step S164.

以上の変形例によれば、算出された複数の焦点検出結果から信頼性の高い焦点検出結果を選択する。このため、デフォーカス量の大小にかかわらず、最適な結果を選択することができ、高速かつ高精度な焦点調節が可能となる。   According to the above modification, a highly reliable focus detection result is selected from the calculated plurality of focus detection results. For this reason, an optimum result can be selected regardless of the amount of defocus, and high-speed and high-precision focus adjustment is possible.

このように本実施例において、撮像素子107は、第1のパターンで分割された第1の画素(画素211〜213の一つ)を有する第1の画素群を含む。また撮像素子107は、第1のパターンとは異なる第2のパターンで分割された第2の画素(画素211〜213の他の一つ)を有する第2の画素群を含む。焦点検出手段(CPU121)は、第1の画素の出力信号および第2の画素の出力信号に基づいて焦点検出を行う。   As described above, in this embodiment, the image sensor 107 includes the first pixel group having the first pixels (one of the pixels 211 to 213) divided in the first pattern. The image sensor 107 includes a second pixel group having second pixels (another one of the pixels 211 to 213) divided by a second pattern different from the first pattern. The focus detection unit (CPU 121) performs focus detection based on the output signal of the first pixel and the output signal of the second pixel.

好ましくは、焦点検出手段は、第1の画素の出力信号と第2の画素の出力信号とを合成して(加算、減算、または、組み合わせにより)焦点検出信号を生成し、焦点検出信号に基づいてフォーカス制御を行う。より好ましくは、焦点検出手段は、所定の条件に応じて、第1の画素信号または第2の画素信号の一方に基づいて、フォーカス制御を行う。第1の画素信号は、第1の画素の出力信号または第2の画素の出力信号から独立して得られた画素信号(光電変換部211a〜213bからの信号)である。第2の画素信号は、第1の画素の出力信号と第2の画素の出力信号とを合成した画素信号(光電変換部214a〜216bからの信号)である。   Preferably, the focus detection unit generates a focus detection signal by combining (by adding, subtracting, or combining) the output signal of the first pixel and the output signal of the second pixel, and based on the focus detection signal Control the focus. More preferably, the focus detection unit performs focus control based on one of the first pixel signal and the second pixel signal according to a predetermined condition. The first pixel signal is a pixel signal (a signal from the photoelectric conversion units 211a to 213b) obtained independently from the output signal of the first pixel or the output signal of the second pixel. The second pixel signal is a pixel signal (a signal from the photoelectric conversion units 214a to 216b) obtained by combining the output signal of the first pixel and the output signal of the second pixel.

好ましくは、焦点検出手段は、算出されたデフォーカス量Defが所定のデフォーカス量以下である場合、第1の画素信号に基づいてフォーカス制御を行う。また焦点検出手段は、算出されたデフォーカス量Defが所定のデフォーカス量よりも大きい場合、第2の画素信号に基づいてフォーカス制御を行う。すなわち、焦点ずれ状態に応じてフォーカス制御に用いる画素信号(焦点検出信号)を変更する。   Preferably, the focus detection unit performs focus control based on the first pixel signal when the calculated defocus amount Def is equal to or less than a predetermined defocus amount. The focus detection unit performs focus control based on the second pixel signal when the calculated defocus amount Def is larger than a predetermined defocus amount. That is, the pixel signal (focus detection signal) used for focus control is changed according to the defocus state.

また好ましくは、焦点検出手段は、第1の画素信号の相関信頼性と第2の画素信号の相関信頼性との比較結果に応じて、第1の画素信号または第2の画素信号の一方に基づいてフォーカス制御を行う。ここで、第1の画素信号および第2の画素信号はそれぞれ一対の像信号であり、相関信頼性は一対の像信号の一致度である。   Further preferably, the focus detection unit outputs either the first pixel signal or the second pixel signal according to a comparison result between the correlation reliability of the first pixel signal and the correlation reliability of the second pixel signal. Based on this, focus control is performed. Here, the first pixel signal and the second pixel signal are each a pair of image signals, and the correlation reliability is the degree of coincidence of the pair of image signals.

好ましくは、第1の画素信号は、撮影光学系の第1の瞳領域(投影瞳EP1a〜EP3bの少なくとも一つ)を通過する光束に基づく信号である。第2の画素信号は、撮影光学系の第2の瞳領域(投影瞳EP4a〜EP6bの少なくとも一つ)を通過する光束に基づく信号である。より好ましくは、第1の瞳領域は、瞳分割方向(一対の投影瞳の分割方向である図5中の左右方向)において、第2の瞳領域よりも長い。また好ましくは、第1の瞳領域の基線長は、第2の瞳領域の基線長よりも大きい。   Preferably, the first pixel signal is a signal based on a light beam passing through the first pupil region (at least one of the projection pupils EP1a to EP3b) of the photographing optical system. The second pixel signal is a signal based on a light beam passing through the second pupil region (at least one of the projection pupils EP4a to EP6b) of the photographing optical system. More preferably, the first pupil region is longer than the second pupil region in the pupil division direction (the horizontal direction in FIG. 5 which is the division direction of the pair of projection pupils). Also preferably, the baseline length of the first pupil region is larger than the baseline length of the second pupil region.

好ましくは、撮像素子107は、更に、第3のパターンで分割された第3の画素(画素211〜213のうち残りの一つ)を有する第3の画素群を含む。第1の画素(例えば画素211)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第1の光電変換部(光電変換部211a)および第2の光電変換部(光電変換部211b)を有する。第2の画素(例えば画素212)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第3の光電変換部(光電変換部212a)および第4の光電変換部(光電変換部212b)を有する。第3の画素(例えば画素213)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第5の光電変換部(光電変換部213a)および第6の光電変換部(光電変換部213b)を有する。   Preferably, the image sensor 107 further includes a third pixel group having a third pixel (the remaining one of the pixels 211 to 213) divided in the third pattern. The first pixel (for example, the pixel 211) includes a first photoelectric conversion unit (photoelectric conversion unit 211a) and a second photoelectric conversion unit (photoelectric conversion unit) that respectively receive light beams that pass through different pupil regions of the photographing optical system. 211b). The second pixel (for example, the pixel 212) includes a third photoelectric conversion unit (photoelectric conversion unit 212a) and a fourth photoelectric conversion unit (photoelectric conversion unit) that respectively receive light beams that pass through different pupil regions of the photographing optical system. 212b). The third pixel (for example, the pixel 213) includes a fifth photoelectric conversion unit (photoelectric conversion unit 213a) and a sixth photoelectric conversion unit (photoelectric conversion unit) that respectively receive light beams that pass through different pupil regions of the photographing optical system. 213b).

好ましくは、焦点検出手段は、第1の光電変換部および第2の光電変換部の出力信号から第1の焦点検出信号を生成する。また、第3の光電変換部および第4の光電変換部の出力信号から第2の焦点検出信号を生成する。また、第5の光電変換部および第6の光電変換部の出力信号から第3の焦点検出信号を生成する。また、第3の光電変換部と第1の光電変換部の出力信号との差分である第1の差分信号(S221s)、および、第2の光電変換部と第4の光電変換部の出力信号との差分である第2の差分信号(S222s)を組み合わせて第4の焦点検出信号を生成する。また、第1の差分信号、および、第4の光電変換部と第6の光電変換部の出力信号との差分である第3の差分信号(S224s)を組み合わせて第5の焦点検出信号を生成する。また、第3の差分信号、および、第5の光電変換部と第3の光電変換部の出力信号との差分である第4の差分信号(S223s)を組み合わせて第6の焦点検出信号を生成する。   Preferably, the focus detection unit generates a first focus detection signal from output signals of the first photoelectric conversion unit and the second photoelectric conversion unit. A second focus detection signal is generated from the output signals of the third photoelectric conversion unit and the fourth photoelectric conversion unit. Further, a third focus detection signal is generated from the output signals of the fifth photoelectric conversion unit and the sixth photoelectric conversion unit. The first difference signal (S221s), which is the difference between the output signals of the third photoelectric conversion unit and the first photoelectric conversion unit, and the output signals of the second photoelectric conversion unit and the fourth photoelectric conversion unit A fourth focus detection signal is generated by combining the second difference signal (S222s) that is the difference between the first focus detection signal and the second difference signal. Also, a fifth focus detection signal is generated by combining the first difference signal and the third difference signal (S224s) that is the difference between the output signals of the fourth and sixth photoelectric conversion units. To do. Further, a sixth focus detection signal is generated by combining the third difference signal and the fourth difference signal (S223s) which is the difference between the fifth photoelectric conversion unit and the output signal of the third photoelectric conversion unit. To do.

好ましくは、焦点検出手段は、算出されたデフォーカス量が第1のデフォーカス量以下(DEF1≧Def)である場合、第1の焦点検出信号、第2の焦点検出信号、および、第3の焦点検出信号の少なくとも一つに基づいてフォーカス制御を行う。デフォーカス量が第1のデフォーカス量よりも大きく、かつ、第2のデフォーカス量以下である場合(DEF2≧Def>DEF1)、第5の焦点検出信号に基づいてフォーカス制御を行う。デフォーカス量が第2のデフォーカス量よりも大きい場合(Def>DEF2)、第4の焦点検出信号および第6の焦点検出信号の少なくとも一つに基づいてフォーカス制御を行う。   Preferably, when the calculated defocus amount is equal to or smaller than the first defocus amount (DEF1 ≧ Def), the focus detection unit preferably includes the first focus detection signal, the second focus detection signal, and the third focus detection signal. Focus control is performed based on at least one of the focus detection signals. When the defocus amount is larger than the first defocus amount and less than or equal to the second defocus amount (DEF2 ≧ Def> DEF1), focus control is performed based on the fifth focus detection signal. When the defocus amount is larger than the second defocus amount (Def> DEF2), focus control is performed based on at least one of the fourth focus detection signal and the sixth focus detection signal.

好ましくは、焦点検出手段は、第1の焦点検出信号、第2の焦点検出信号、第3の焦点検出信号、第4の焦点検出信号、第5の焦点検出信号、および、第6の焦点検出信号のそれぞれの相関信頼性に応じて選択された焦点検出信号に基づいて、フォーカス制御を行う。   Preferably, the focus detection means includes a first focus detection signal, a second focus detection signal, a third focus detection signal, a fourth focus detection signal, a fifth focus detection signal, and a sixth focus detection. Focus control is performed based on the focus detection signal selected according to the correlation reliability of each signal.

次に、本発明の実施例2について説明する。実施例1は、所定の基線長を備えた画素群(画素211〜213)の信号に基づいて、基線長が互いに異なる仮想画素群(画素214〜216)の信号を生成し、デフォーカス量に応じてこれらの信号を選択している。一方、本実施例は、互いに異なる瞳分割特性を備えた画素群の信号に基づいて、瞳分割方向が互いに異なる仮想的画素群の信号を生成し、被写体の任意方向における明暗パターンに対して焦点検出を行う。   Next, a second embodiment of the present invention will be described. The first embodiment generates signals of virtual pixel groups (pixels 214 to 216) having different baseline lengths based on signals of pixel groups (pixels 211 to 213) having a predetermined baseline length, and sets the defocus amount. These signals are selected accordingly. On the other hand, in this embodiment, based on signals of pixel groups having different pupil division characteristics, signals of virtual pixel groups having different pupil division directions are generated and focused on a light and dark pattern in an arbitrary direction of the subject. Perform detection.

まず、図13を参照して、本実施例における撮像素子の画素構成について説明する。図13は、本実施例における撮像素子の画素配列図であり、実施例1と同様に、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)6列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑(G:Green)と赤(R:Red)のカラーフィルタが交互に設けられている。また、偶数行の画素には、左から順に青(B:Blue)と緑(G:Green)のカラーフィルタが交互に設けられている。各画素の円はオンチップマイクロレンズ、オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部を示している。本実施例においても、全ての画素の光電変換部は2つの領域に分割されているが、その分割形態は全画素で一様ではなく、分割形態の異なる複数の画素群から構成される。以下、本実施例の画素群の特徴について説明する。   First, the pixel configuration of the image sensor in the present embodiment will be described with reference to FIG. FIG. 13 is a pixel array diagram of the image sensor according to the present embodiment. Similar to the first embodiment, the vertical (Y direction) 6 rows and horizontal (X direction) 6 columns of the two-dimensional C-MOS area sensor are shown. The state observed from the photographing optical system side is shown. A Bayer arrangement is applied to the color filter, and green (G: Green) and red (R: Red) color filters are alternately provided in order from the left in pixels in odd rows. Further, blue (B: Blue) and green (G: Green) color filters are alternately provided in order from the left on the pixels in even rows. Each pixel circle indicates an on-chip microlens, and a plurality of rectangles arranged inside the on-chip microlens indicate a photoelectric conversion unit. Also in this embodiment, the photoelectric conversion units of all the pixels are divided into two regions, but the division form is not uniform for all the pixels, and is composed of a plurality of pixel groups having different division forms. Hereinafter, characteristics of the pixel group of the present embodiment will be described.

図13において、行番号1、2は複数の画素311からなる画素群で構成され、各画素内の一方の光電変換部311aは、正方領域内の左上4分の1の領域を占め、他方の光電変換部311bは残り4分の3の領域を占める。行番号3、4は複数の画素312からなる画素群で構成され、各画素内の光電変換部312a、312bはX方向に2等分されている。行番号5、6は複数の画素313からなる画素群で構成され、各画素内の一方の光電変換部313bは、正方領域内の右上4分の1の領域を占め、他方の光電変換部313aは残り4分の3の領域を占める。なお、図13に示される領域の外側には、行番号1〜6と同じ配列の画素が繰り返し配置されている。   In FIG. 13, row numbers 1 and 2 are configured by a pixel group including a plurality of pixels 311, and one photoelectric conversion unit 311 a in each pixel occupies an upper left quarter region in the square region, and the other The photoelectric conversion unit 311b occupies the remaining three quarters. Row numbers 3 and 4 are formed of a pixel group including a plurality of pixels 312, and photoelectric conversion units 312 a and 312 b in each pixel are equally divided into two in the X direction. Row numbers 5 and 6 are composed of a pixel group including a plurality of pixels 313. One photoelectric conversion unit 313b in each pixel occupies the upper right quarter of the square region, and the other photoelectric conversion unit 313a. Occupies the remaining three quarters. Note that pixels having the same arrangement as row numbers 1 to 6 are repeatedly arranged outside the area shown in FIG.

光電変換部の分割形態と位相差検出における投影瞳との対応は、実施例1の図2、図4、および、図5を参照して説明したとおりであるため、詳細な説明は省略するが、図13における投影瞳の特性は、以下のようになる。画素311の瞳分割方向は、X軸を時計回りに45度回転した方向(−45度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は1対3であるため、一対の焦点検出信号に対しては、この比に応じたゲイン補正を施す。画素312の瞳分割方向は、X軸に沿った方向(0度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は互いに等しいため、ゲイン補正は不要である。画素313の瞳分割方向は、X軸を反時計回りに45度回転した方向(+45度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は3対1であるため、一対の焦点検出信号に対しては、この比に応じたゲイン補正を施す。   Since the correspondence between the division form of the photoelectric conversion unit and the projection pupil in the phase difference detection is as described with reference to FIGS. 2, 4, and 5 of the first embodiment, detailed description is omitted. The characteristics of the projection pupil in FIG. 13 are as follows. Since the pupil division direction of the pixel 311 is a direction (−45 degrees) obtained by rotating the X axis clockwise by 45 degrees (−45 degrees), it is suitable for a subject having a light / dark pattern in this direction. Further, since the area of the pair of photoelectric conversion units is 1: 3, the pair of focus detection signals are subjected to gain correction corresponding to this ratio. Since the pupil division direction of the pixel 312 is a direction along the X axis (0 degree), it is suitable for a subject having a light and dark pattern in this direction. Further, since the areas of the pair of photoelectric conversion units are equal to each other, gain correction is unnecessary. The pupil division direction of the pixel 313 is a direction obtained by rotating the X axis 45 degrees counterclockwise (+45 degrees), and is suitable for a subject having a light and dark pattern in this direction. Further, since the area of the pair of photoelectric conversion units is 3 to 1, gain correction corresponding to this ratio is performed on the pair of focus detection signals.

続いて、図14を参照して、本実施例における光電変換部の出力信号の合成方法について説明する。図14は、光電変換部の出力信号の合成方法の説明図であり、図13の撮像素子の画素配列において、互いに異なる画素群間での光電変換部の出力信号を合成(減算)し、仮想の投影瞳に対応する画素群を生成する場合の概念図である。図13には、6行6列の範囲の画素が表記されているが、そのうちの特定列、例えば左端の1列目の6画素を抜き出したものが、図14の左側に表記されている。これらの6画素は、上から順に、緑(G)および青(B)の画素311、緑(G)および青(B)の画素312、緑(G)および青(B)の画素313である。そして図14では、各画素群の緑(G)画素、すなわち行番号1、3、5の計3種類の画素に基づく出力信号の合成方法を説明している。   Next, with reference to FIG. 14, a method for synthesizing output signals of the photoelectric conversion unit in the present embodiment will be described. FIG. 14 is an explanatory diagram of a method for synthesizing the output signals of the photoelectric conversion units. In the pixel array of the image sensor of FIG. 13, the output signals of the photoelectric conversion units between different pixel groups are synthesized (subtracted), and virtual It is a conceptual diagram in the case of producing | generating the pixel group corresponding to this projection pupil. In FIG. 13, pixels in a range of 6 rows and 6 columns are shown. Among them, a specific column, for example, the extracted 6 pixels in the first column at the left end is shown on the left side of FIG. 14. These 6 pixels are a green (G) and blue (B) pixel 311, a green (G) and blue (B) pixel 312, and a green (G) and blue (B) pixel 313 in order from the top. . FIG. 14 illustrates a method of synthesizing output signals based on green (G) pixels in each pixel group, that is, a total of three types of pixels of row numbers 1, 3, and 5.

3種類の緑(G)画素(画素311〜313)は、合計6個の光電変換部311a、311b、312a、312b、313a、313bを有する。本実施例では、これらの6個の光電変換部311a〜313bの出力信号から2個の出力信号を取り出して以下の式(7)〜(10)による合成(減算)を行う。そして、その右側に示されるような4個の仮想的な光電変換部321s〜324sの出力信号S321s〜S324sを得る。   The three types of green (G) pixels (pixels 311 to 313) have a total of six photoelectric conversion units 311a, 311b, 312a, 312b, 313a, and 313b. In the present embodiment, two output signals are taken out from the output signals of these six photoelectric conversion units 311a to 313b and synthesized (subtracted) by the following equations (7) to (10). Then, output signals S321s to S324s of four virtual photoelectric conversion units 321s to 324s as shown on the right side are obtained.

S321s=S311a … (7)
S322s=S311b−S312b … (8)
S323s=S313a−S312a … (9)
S324s=S313b … (10)
ここで、S311a、S311b、S312a、S312b、S313a、S313bは、光電変換部311a、311b、312a、312b、313a、313bのそれぞれの出力信号である。S321s、S322s、S323s、S324sは、仮想的な光電変換部321s、322s、323s、324sのそれぞれの出力信号である。すなわち、仮想的な4個の光電変換部321s〜324sは、瞳分割機能を有しない画素の光電変換部をX方向およびY方向に2分割した合計4個の光電変換部の出力信号に相当する。
S321s = S311a (7)
S322s = S311b−S312b (8)
S323s = S313a-S312a (9)
S324s = S313b (10)
Here, S311a, S311b, S312a, S312b, S313a, and S313b are output signals of the photoelectric conversion units 311a, 311b, 312a, 312b, 313a, and 313b, respectively. S321s, S322s, S323s, and S324s are output signals of the virtual photoelectric conversion units 321s, 322s, 323s, and 324s, respectively. That is, the four virtual photoelectric conversion units 321 s to 324 s correspond to the output signals of a total of four photoelectric conversion units obtained by dividing the photoelectric conversion unit of a pixel having no pupil division function into two in the X direction and the Y direction. .

本実施例では、4個の光電変換部321s〜324sの出力信号から2個の出力信号を取り出し、以下の組み合わせ操作を行うことで、図14の右側に示されるような仮想的な画素314、315(仮想画素群)を得る。まず、仮想的な光電変換部321s、322sの出力信号の加算値を314a、仮想的な光電変換部323s、324sの出力信号の加算値を314bとすることで、仮想的な画素314(仮想画素群)を得る。画素314の投影瞳は、X方向(横方向)に分割されている。同様に、仮想的な光電変換部321s、323sの出力信号の加算値を315a、仮想的な光電変換部322s、324sの出力信号の加算値を315bとし、仮想的な画素315(仮想画素群)を得る。画素314の投影瞳は、Y方向(縦方向)に分割されている。そして、他の緑(G)画素、赤(R)、および、青(B)の画素についても同様の操作が行われ、2次元マトリクス状に配列した仮想的な画素314、315を得ることができる。なお、仮想的に生成した全ての画素を記載すると図が煩雑になるため、図14の右側には、画素314については1行分のみ、画素315については1列分のみを記載している。   In the present embodiment, two output signals are extracted from the output signals of the four photoelectric conversion units 321 s to 324 s and the following combination operation is performed, whereby a virtual pixel 314 as illustrated on the right side of FIG. 315 (virtual pixel group) is obtained. First, the added value of the output signals of the virtual photoelectric conversion units 321s and 322s is set to 314a, and the added value of the output signals of the virtual photoelectric conversion units 323s and 324s is set to 314b, whereby the virtual pixel 314 (virtual pixel Group). The projection pupil of the pixel 314 is divided in the X direction (lateral direction). Similarly, the addition value of the output signals of the virtual photoelectric conversion units 321s and 323s is 315a, the addition value of the output signals of the virtual photoelectric conversion units 322s and 324s is 315b, and the virtual pixel 315 (virtual pixel group) Get. The projection pupil of the pixel 314 is divided in the Y direction (vertical direction). The same operation is performed on the other green (G) pixels, red (R), and blue (B) pixels, and virtual pixels 314 and 315 arranged in a two-dimensional matrix can be obtained. it can. In addition, since all the pixels virtually generated are described, the diagram becomes complicated. Therefore, on the right side of FIG. 14, only one row for pixels 314 and only one column for pixels 315 are illustrated.

続いて、図15を参照して、焦点検出対象の被写体像と選択画素群との関係について説明する。図15は、焦点検出対象の被写体像と選択画素群(焦点検出領域)との関係図であり、焦点検出対象としての4種類の被写体像と、各被写体像において選択される画素群(焦点検出領域)との関係を説明する図である。図15において、401は撮像領域、411〜414は4種類の被写体像、421〜424は4種類の焦点検出領域である。角度は、X軸を基準として反時計方向を正、時計方向を負とする。   Next, with reference to FIG. 15, the relationship between the subject image to be focused and the selected pixel group will be described. FIG. 15 is a relationship diagram between a subject image to be detected by a focus detection and a selected pixel group (focus detection region). Four types of subject images as focus detection targets and a pixel group (focus detection selected by each subject image). It is a figure explaining the relationship with an area | region. In FIG. 15, 401 is an imaging region, 411 to 414 are four types of subject images, and 421 to 424 are four types of focus detection regions. The angle is positive in the counterclockwise direction and negative in the clockwise direction with respect to the X axis.

411は、白と黒の縦線が交互に並んだ被写体像、すなわちX軸方向に明暗差を有する被写体像である。このような被写体像411に対して位相差方式の焦点検出を行う場合、X方向に瞳分割された画素を用いる必要がある。そこで、図13の画素312および図14の画素314を用いて焦点検出を行う。具体的には、被写体像411の位置にX方向に延伸した焦点検出領域421を設定し、焦点検出領域421内に含まれる画素312および仮想的な画素314を用いて、焦点検出を行う。なお、画素312、画素314は、投影瞳の基線長などの焦点検出特性が互いに異なる。このため、画素群ごとに独立して焦点検出演算を行い、算出された複数の結果に対して単純平均、または、結果の信頼性に基づいた重み付け平均などの処理を行い、最終的には1つのデフォーカス量として出力することが好ましい。   Reference numeral 411 denotes a subject image in which vertical lines of white and black are alternately arranged, that is, a subject image having a contrast difference in the X-axis direction. When performing phase difference focus detection on such a subject image 411, it is necessary to use pixels that are pupil-divided in the X direction. Therefore, focus detection is performed using the pixel 312 in FIG. 13 and the pixel 314 in FIG. Specifically, a focus detection region 421 extending in the X direction is set at the position of the subject image 411, and focus detection is performed using the pixel 312 and the virtual pixel 314 included in the focus detection region 421. Note that the pixel 312 and the pixel 314 have different focus detection characteristics such as the baseline length of the projection pupil. For this reason, focus detection calculation is performed independently for each pixel group, and processing such as simple averaging or weighted averaging based on the reliability of the results is performed on the plurality of calculated results. It is preferable to output as one defocus amount.

412は、+45度方向に延伸する白と黒の縦線が交互に並んだ被写体像、すなわち−45度方向に明暗差を有する被写体像である。この場合、−45度方向に瞳分割された画素を用いる必要があるため、図13の画素311を用いて焦点検出を行う。具体的には、被写体像412の位置に−45度方向に延伸した焦点検出領域422を設定し、焦点検出領域422内に含まれる画素311を用いて焦点検出を行う。   Reference numeral 412 denotes a subject image in which vertical lines of white and black extending in the +45 degree direction are alternately arranged, that is, a subject image having a contrast difference in the -45 degree direction. In this case, since it is necessary to use pixels that are pupil-divided in the -45 degree direction, focus detection is performed using the pixels 311 in FIG. Specifically, a focus detection area 422 extended in the −45 degree direction is set at the position of the subject image 412, and focus detection is performed using the pixels 311 included in the focus detection area 422.

413は、−45度方向に延伸する白と黒の縦線が交互に並んだ被写体像、すなわち+45度方向に明暗差を有する被写体像である。この場合、+45度方向に瞳分割された画素を用いる必要があるため、図13の画素313を用いて焦点検出を行う。具体的には、被写体像413の位置に+45度方向に延伸した焦点検出領域423を設定し、焦点検出領域423内に含まれる画素313を用いて焦点検出を行う。   Reference numeral 413 denotes a subject image in which vertical lines of white and black extending in the -45 degree direction are alternately arranged, that is, a subject image having a contrast difference in the +45 degree direction. In this case, since it is necessary to use pixels that are pupil-divided in the +45 degree direction, focus detection is performed using the pixels 313 in FIG. Specifically, a focus detection area 423 extending in the +45 degree direction is set at the position of the subject image 413, and focus detection is performed using the pixels 313 included in the focus detection area 423.

414は、白と黒の横線が交互に並んだ被写体像、すなわちY軸方向に明暗差を有する被写体像である。このような被写体像414に対して位相差方式の焦点検出を行う場合、Y方向に瞳分割された画素を用いる必要がある。そこで、図14の仮想的な画素315を用いて焦点検出を行う。具体的には、被写体像414の位置にY方向に延伸した焦点検出領域424を設定し、焦点検出領域424内に含まれる仮想的な画素315を用いて焦点検出を行う。   Reference numeral 414 denotes a subject image in which white and black horizontal lines are alternately arranged, that is, a subject image having a contrast difference in the Y-axis direction. When performing phase difference focus detection on such a subject image 414, it is necessary to use pixels that are pupil-divided in the Y direction. Therefore, focus detection is performed using the virtual pixel 315 of FIG. Specifically, a focus detection region 424 extended in the Y direction is set at the position of the subject image 414, and focus detection is performed using a virtual pixel 315 included in the focus detection region 424.

次に、図16を参照して、本実施例における焦点検出処理(図10のステップS131)について詳述する。図16は、焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図16の各ステップは、主に、CPU121の指令に基づいて実行される。なお、メインフローは実施例1の図10と同一であるため、その説明は省略する。   Next, with reference to FIG. 16, the focus detection process (step S131 in FIG. 10) in the present embodiment will be described in detail. FIG. 16 is a flowchart showing focus detection processing (focus detection subroutine). Each step of FIG. 16 is mainly executed based on a command from the CPU 121. Since the main flow is the same as that of the first embodiment shown in FIG.

図10(メインルーチン)のステップS131に進むと、まず図16のステップS232において、CPU121は、プレビュー画像から被写体パターンを認識し、顔画像の判定や、撮影画面全体のコントラスト分析などを行う。そしてステップS233において、CPU121は、ステップS232での被写体パターン認識の結果に基づいて、焦点を合わせるべき主被写体(主被写体領域)を決定する。   When the process proceeds to step S131 in FIG. 10 (main routine), first in step S232 in FIG. 16, the CPU 121 recognizes the subject pattern from the preview image, and performs face image determination, contrast analysis of the entire shooting screen, and the like. In step S233, the CPU 121 determines a main subject (main subject region) to be focused on based on the result of subject pattern recognition in step S232.

続いてステップS234において、CPU121は、主被写体領域の明暗情報の方向依存性(被写体パターンの方向性)を判定する。すなわちCPU121は、焦点検出すべき被写体像が、図15を参照して説明した被写体像411〜414のいずれに類似しているかを判定する。そしてステップS235において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。   Subsequently, in step S234, the CPU 121 determines the direction dependency of the light / dark information of the main subject area (the directionality of the subject pattern). That is, the CPU 121 determines which of the subject images 411 to 414 described with reference to FIG. In step S235, the CPU 121 calculates exit pupil information of the imaging optical system based on the lens information acquired in step S105 in FIG. 10 (exit pupil calculation).

続いてステップS236において、CPU121は、ステップS233にて決定された主被写体領域、および、ステップS234の判定結果に基づいて、適合画素群を選定し、焦点検出信号を生成する。具体的には、CPU121は、画素311〜315から、焦点検出に適合した(焦点検出により適切な)画素群を選定する。そしてCPU121は、選定された画素群の出力信号から、一対の2像の焦点検出信号を所定の行数分だけ生成する。   Subsequently, in step S236, the CPU 121 selects a suitable pixel group based on the main subject area determined in step S233 and the determination result in step S234, and generates a focus detection signal. Specifically, the CPU 121 selects a pixel group suitable for focus detection (appropriate for focus detection) from the pixels 311 to 315. Then, the CPU 121 generates a pair of two focus detection signals for a predetermined number of rows from the output signal of the selected pixel group.

続いてステップS237において、CPU121は、ステップS235にて算出された射出瞳情報を用いて、ステップS236にて生成された各焦点検出信号の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。続いてステップS238において、CPU121は、シェーディング補正が施された焦点検出信号に対して、横ずれ量uを算出するための相関演算を行う。そしてステップS239において、CPU121は、ステップS238にて算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。そしてステップS240において、ステップS239にて算出されたデフォーカス量をフォーカスレンズ駆動量に変換し、ステップS241にてメインルーチンにリターンする。   Subsequently, in step S237, the CPU 121 performs so-called shading correction that reduces the light amount imbalance of each focus detection signal generated in step S236, using the exit pupil information calculated in step S235. Thereby, the intensity difference between the pair of two images is reduced, and the focus detection accuracy is improved. Subsequently, in step S238, the CPU 121 performs a correlation operation for calculating the lateral shift amount u with respect to the focus detection signal subjected to the shading correction. In step S239, the CPU 121 calculates the defocus amount by multiplying the lateral deviation amount u calculated in step S238 by a proportional constant according to the baseline length of the projection pupil. In step S240, the defocus amount calculated in step S239 is converted into a focus lens drive amount, and the process returns to the main routine in step S241.

本実施例によれば、各画素の光電変換部の分割数を増加させることなく、種々の被写体パターンに対して適した焦点検出特性を得ることができる。具体的には、全ての画素の光電変換部の分割数を2に設定しているため、撮像素子の構造が複雑化することが回避される。そして、被写体像の明暗パターン方向が実在する画素群の瞳分割方向と一致する場合、画素群の出力を合成せずに焦点検出を行う。また、被写体像の明暗パターン方向が実在する画素群の瞳分割方向と一致しない場合、瞳分割形態の異なる複数の画素群間で光電変換部の出力を合成し、実在する画素群の瞳分割方向とは異なる方向に瞳分割された仮想的な投影瞳を生成する。これにより、任意の明暗パターンに対して焦点検出が可能になる。   According to the present embodiment, it is possible to obtain focus detection characteristics suitable for various subject patterns without increasing the number of divisions of the photoelectric conversion unit of each pixel. Specifically, since the number of divisions of the photoelectric conversion units of all the pixels is set to 2, it is possible to avoid complication of the structure of the image sensor. When the direction of the light and dark pattern of the subject image matches the pupil division direction of the actual pixel group, focus detection is performed without combining the outputs of the pixel group. In addition, when the light and dark pattern direction of the subject image does not match the pupil division direction of the actual pixel group, the output of the photoelectric conversion unit is synthesized between a plurality of pixel groups having different pupil division forms, and the pupil division direction of the existing pixel group A virtual projection pupil is generated in which the pupil is divided in a different direction. This makes it possible to detect the focus with respect to any light / dark pattern.

続いて、図17を参照して、本実施例の変形例としての焦点検出処理(図10のステップS131)について詳述する。図17は、変形例としての焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図17の各ステップは、主に、CPU121の指令に基づいて実行される。なお、図17のステップS232、S233、S235は、図16の対応するステップとそれぞれ共通するため、それらの説明は省略する。   Next, with reference to FIG. 17, the focus detection process (step S131 in FIG. 10) as a modification of the present embodiment will be described in detail. FIG. 17 is a flowchart showing a focus detection process (focus detection subroutine) as a modification. Each step in FIG. 17 is mainly executed based on a command from the CPU 121. Note that steps S232, S233, and S235 in FIG. 17 are the same as the corresponding steps in FIG. 16, and thus description thereof is omitted.

ステップS233にて主被写体(主被写体領域)が決定されると、ステップS235において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。   When the main subject (main subject region) is determined in step S233, in step S235, the CPU 121 calculates exit pupil information of the photographing optical system based on the lens information acquired in step S105 of FIG. Exit pupil calculation).

続いてステップS251において、CPU121は、ステップS233にて決定された主被写体領域において、画素311〜313における一対の2像の焦点検出信号を生成する。そしてステップS252において、CPU121は、主被写体領域において、仮想的な画素314、315(仮想画素群)における一対の2像の焦点検出信号を生成する。   Subsequently, in step S251, the CPU 121 generates a pair of two focus detection signals in the pixels 311 to 313 in the main subject area determined in step S233. In step S252, the CPU 121 generates a pair of two image focus detection signals in the virtual pixels 314 and 315 (virtual pixel group) in the main subject region.

続いてステップS253において、CPU121は、ステップS235にて算出された射出瞳情報を用いて、生成された各焦点検出信号の各々の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。そしてステップS254において、CPU121は、シェーディング補正が施された各焦点検出信号の全てに対して、横ずれ量uを算出するための相関演算を行う。そしてステップS255において、CPU121は、算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。   Subsequently, in step S253, the CPU 121 performs so-called shading correction that reduces the light amount imbalance of each of the generated focus detection signals using the exit pupil information calculated in step S235. Thereby, the intensity difference between the pair of two images is reduced, and the focus detection accuracy is improved. In step S254, the CPU 121 performs a correlation calculation for calculating the lateral shift amount u for all the focus detection signals subjected to the shading correction. In step S <b> 255, the CPU 121 calculates the defocus amount by multiplying the calculated lateral deviation amount u by a proportionality constant according to the baseline length of the projection pupil.

続いてステップS256において、CPU121は、ステップS254にて実行された相関演算に関し、相関信頼性を判定する。ここで相関信頼性とは、一対の2像の信号の一致度であり、一致度が高いということは焦点検出結果の信頼性や精度が高いことを意味する。続いてステップS257において、CPU121は、ステップS255にて算出された5種のデフォーカス量の算出結果から、相関信頼性の高い結果(デフォーカス量)を選択する。ここで、選択する個数は1個でも複数でも構わない。複数の場合、それらを平均化した値を用いればよい。そしてステップS258において、CPU121は、決定されたデフォーカス量をフォーカスレンズ駆動量に変換し、ステップS259においてメインルーチンにリターンする。   Subsequently, in step S256, the CPU 121 determines the correlation reliability with respect to the correlation calculation executed in step S254. Here, the correlation reliability is the degree of coincidence between a pair of two image signals, and a high degree of coincidence means that the reliability and accuracy of the focus detection result are high. Subsequently, in step S257, the CPU 121 selects a result (defocus amount) with high correlation reliability from the calculation results of the five types of defocus amounts calculated in step S255. Here, the number to be selected may be one or plural. In the case of a plurality, a value obtained by averaging them may be used. In step S258, the CPU 121 converts the determined defocus amount into a focus lens drive amount, and returns to the main routine in step S259.

以上の変形例によれば、算出された複数の焦点検出結果から信頼性の高い結果を選択することにより、被写体像の明暗パターンの方向特性に応じた適切な結果を選択することができる。このため、高速かつ高精度な焦点調節が可能となる。   According to the above modification, by selecting a highly reliable result from the calculated plurality of focus detection results, it is possible to select an appropriate result according to the direction characteristics of the light and dark pattern of the subject image. For this reason, high-speed and high-precision focus adjustment is possible.

このように本実施例において、撮像素子107は、第1のパターンで分割された第1の画素(画素311〜313の一つ)を有する第1の画素群を含む。また撮像素子107は、第1のパターンとは異なる第2のパターンで分割された第2の画素(画素311〜313の他の一つ)を有する第2の画素群を含む。焦点検出手段(CPU121)は、第1の画素の出力信号および第2の画素の出力信号に基づいて焦点検出を行う。好ましくは、焦点検出手段は、被写体像の明暗分布情報(明暗パターン)に応じて、第1の画素信号または第2の画素信号の一方に基づいてフォーカス制御を行う。また好ましくは、第1の瞳領域および第2の瞳領域の瞳分割方向は互いに異なる。   As described above, in this embodiment, the image sensor 107 includes the first pixel group having the first pixels (one of the pixels 311 to 313) divided in the first pattern. The image sensor 107 includes a second pixel group having second pixels (another one of the pixels 311 to 313) divided by a second pattern different from the first pattern. The focus detection unit (CPU 121) performs focus detection based on the output signal of the first pixel and the output signal of the second pixel. Preferably, the focus detection unit performs focus control based on one of the first pixel signal and the second pixel signal in accordance with the light / dark distribution information (light / dark pattern) of the subject image. Preferably, the pupil division directions of the first pupil region and the second pupil region are different from each other.

[その他の実施形態]
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
[Other Embodiments]
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.

各実施例によれば、高画素数、高画質、高感度、高速読み出しなどの撮像性能を犠牲にすることなく、大デフォーカス状態や特定方向のみに明暗パターンが存在するような状況でも焦点検出可能であって、合焦近傍での焦点検出精度が高い撮像装置を提供可能である。このため各実施例によれば、所望の撮像性能を満たしつつ、種々の状況において高精度な焦点検出が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。   According to each embodiment, focus detection is possible even in a large defocus state or a situation where a light and dark pattern exists only in a specific direction without sacrificing imaging performance such as high pixel count, high image quality, high sensitivity, and high-speed readout. It is possible to provide an imaging apparatus that has high focus detection accuracy near the in-focus state. Therefore, according to each embodiment, it is possible to provide an imaging apparatus, an imaging apparatus control method, a program, and a storage medium that can perform high-precision focus detection in various situations while satisfying desired imaging performance. .

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

100 撮像装置
107 撮像素子
121 CPU(焦点検出手段)
100 imaging device 107 imaging device 121 CPU (focus detection means)

Claims (18)

第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子と、
デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の出力信号に基づいて生成する生成手段と、を有することを特徴とする撮像装置。
A first pixel group having a first pixel divided by a first pattern, and a second pixel group having a second pixel divided by a second pattern different from the first pattern; An image sensor comprising:
A combined signal having a base length or pupil division characteristic different from that of the first pixel group and the second pixel group for detecting the defocus amount is obtained as an output signal of the first pixel and the second pixel group. An imaging device comprising: generating means for generating based on an output signal .
前記合成信号から検出するデフォーカス量に基づいて焦点検出を行う焦点検出手段を更に有することを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a focus detection means for performing focus detection based on the defocus amount detected from the composite signal. 前記焦点検出手段は、所定の条件に応じて、前記第1の画素の出力信号または前記第2の画素の出力信号から独立して得られた第1の画素信号、または、該第1の画素の出力信号と該第2の画素の出力信号とを合成した第2の画素信号の一方に基づいて、フォーカス制御を行うことを特徴とする請求項1または2に記載の撮像装置。   The focus detection unit may be a first pixel signal obtained independently from an output signal of the first pixel or an output signal of the second pixel, or the first pixel, according to a predetermined condition. The imaging apparatus according to claim 1, wherein focus control is performed based on one of a second pixel signal obtained by combining the output signal of the second pixel and the output signal of the second pixel. 前記焦点検出手段は、
算出されたデフォーカス量が所定のデフォーカス量以下である場合、前記第1の画素信号に基づいて前記フォーカス制御を行い、
前記算出されたデフォーカス量が前記所定のデフォーカス量よりも大きい場合、前記第2の画素信号に基づいて前記フォーカス制御を行う、ことを特徴とする請求項3に記載の撮像装置。
The focus detection means includes
When the calculated defocus amount is equal to or less than a predetermined defocus amount, the focus control is performed based on the first pixel signal,
The imaging apparatus according to claim 3, wherein the focus control is performed based on the second pixel signal when the calculated defocus amount is larger than the predetermined defocus amount.
前記焦点検出手段は、前記第1の画素信号の相関信頼性と前記第2の画素信号の相関信頼性との比較結果に応じて、該第1の画素信号または該第2の画素信号の一方に基づいて前記フォーカス制御を行うことを特徴とする請求項3に記載の撮像装置。   The focus detection unit may select one of the first pixel signal and the second pixel signal according to a comparison result between the correlation reliability of the first pixel signal and the correlation reliability of the second pixel signal. The image pickup apparatus according to claim 3, wherein the focus control is performed based on the image pickup device. 前記第1の画素信号および前記第2の画素信号はそれぞれ、一対の像信号であり、
前記相関信頼性は、前記一対の像信号の一致度であることを特徴とする請求項5に記載の撮像装置。
Each of the first pixel signal and the second pixel signal is a pair of image signals,
The imaging apparatus according to claim 5, wherein the correlation reliability is a degree of coincidence between the pair of image signals.
前記焦点検出手段は、被写体像の明暗分布情報に応じて、該第1の画素信号または該第2の画素信号の一方に基づいて前記フォーカス制御を行うことを特徴とする請求項3に記載の撮像装置。   4. The focus detection unit according to claim 3, wherein the focus detection unit performs the focus control based on one of the first pixel signal and the second pixel signal in accordance with brightness distribution information of a subject image. Imaging device. 前記第1の画素信号は、撮影光学系の第1の瞳領域を通過する光束に基づく信号であり、
前記第2の画素信号は、前記撮影光学系の第2の瞳領域を通過する光束に基づく信号である、ことを特徴とする請求項3乃至7のいずれか1項に記載の撮像装置。
The first pixel signal is a signal based on a light beam passing through a first pupil region of the photographing optical system,
The imaging device according to any one of claims 3 to 7, wherein the second pixel signal is a signal based on a light beam passing through a second pupil region of the photographing optical system.
前記第1の瞳領域は、瞳分割方向において、前記第2の瞳領域よりも長いことを特徴とする請求項8に記載の撮像装置。   The imaging apparatus according to claim 8, wherein the first pupil region is longer than the second pupil region in a pupil division direction. 前記第1の瞳領域の基線長は、前記第2の瞳領域の基線長よりも大きいことを特徴とする請求項8または9に記載の撮像装置。   10. The imaging apparatus according to claim 8, wherein a baseline length of the first pupil region is larger than a baseline length of the second pupil region. 前記第1の瞳領域および前記第2の瞳領域の瞳分割方向は互いに異なることを特徴とする請求項8に記載の撮像装置。   The imaging apparatus according to claim 8, wherein pupil division directions of the first pupil region and the second pupil region are different from each other. 前記撮像素子は、更に、第3のパターンで分割された第3の画素を有する第3の画素群を含み、
前記第1の画素は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第1の光電変換部および第2の光電変換部を有し、
前記第2の画素は、前記撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第3の光電変換部および第4の光電変換部を有し、
前記第3の画素は、前記撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第5の光電変換部および第6の光電変換部を有する、ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
The imaging device further includes a third pixel group having third pixels divided by a third pattern,
The first pixel includes a first photoelectric conversion unit and a second photoelectric conversion unit that respectively receive light beams that pass through different pupil regions of the imaging optical system,
The second pixel includes a third photoelectric conversion unit and a fourth photoelectric conversion unit that respectively receive light beams that pass through different pupil regions of the photographing optical system,
12. The third pixel includes a fifth photoelectric conversion unit and a sixth photoelectric conversion unit that respectively receive light beams that pass through different pupil regions of the photographing optical system. The imaging device according to any one of the above.
前記焦点検出手段は、
前記第1の光電変換部および前記第2の光電変換部の出力信号から第1の焦点検出信号を生成し、
前記第3の光電変換部および前記第4の光電変換部の出力信号から第2の焦点検出信号を生成し、
前記第5の光電変換部および前記第6の光電変換部の出力信号から第3の焦点検出信号を生成し、
前記第3の光電変換部の出力信号と前記第1の光電変換部の出力信号との差分である第1の差分信号、および、第2の光電変換部の出力信号と前記第4の光電変換部の出力信号との差分である第2の差分信号を組み合わせて第4の焦点検出信号を生成し、
前記第1の差分信号、および、前記第4の光電変換部の出力信号と前記第6の光電変換部の出力信号との差分である第3の差分信号を組み合わせて第5の焦点検出信号を生成し、
前記第3の差分信号、および、前記第5の光電変換部の出力信号と前記第3の光電変換部の出力信号との差分である第4の差分信号を組み合わせて第6の焦点検出信号を生成する、ことを特徴とする請求項12に記載の撮像装置。
The focus detection means includes
Generating a first focus detection signal from output signals of the first photoelectric conversion unit and the second photoelectric conversion unit;
Generating a second focus detection signal from output signals of the third photoelectric conversion unit and the fourth photoelectric conversion unit;
Generating a third focus detection signal from the output signals of the fifth photoelectric conversion unit and the sixth photoelectric conversion unit;
A first difference signal that is a difference between an output signal of the third photoelectric conversion unit and an output signal of the first photoelectric conversion unit, and an output signal of the second photoelectric conversion unit and the fourth photoelectric conversion A fourth focus detection signal is generated by combining the second difference signal, which is a difference from the output signal of the unit,
The fifth focus detection signal is obtained by combining the first difference signal and the third difference signal that is the difference between the output signal of the fourth photoelectric conversion unit and the output signal of the sixth photoelectric conversion unit. Generate
The sixth focus detection signal is obtained by combining the third difference signal and the fourth difference signal that is the difference between the output signal of the fifth photoelectric conversion unit and the output signal of the third photoelectric conversion unit. The imaging device according to claim 12, wherein the imaging device is generated.
前記焦点検出手段は、
算出されたデフォーカス量が第1のデフォーカス量以下である場合、前記第1の焦点検出信号、前記第2の焦点検出信号、および、前記第3の焦点検出信号の少なくとも一つに基づいてフォーカス制御を行い、
前記デフォーカス量が前記第1のデフォーカス量よりも大きく、かつ、第2のデフォーカス量以下である場合、前記第5の焦点検出信号に基づいて前記フォーカス制御を行い、
前記デフォーカス量が前記第2のデフォーカス量よりも大きい場合、前記第4の焦点検出信号および前記第6の焦点検出信号の少なくとも一つに基づいて前記フォーカス制御を行うことを特徴とする請求項13に記載の撮像装置。
The focus detection means includes
When the calculated defocus amount is equal to or less than the first defocus amount, based on at least one of the first focus detection signal, the second focus detection signal, and the third focus detection signal. Focus control,
When the defocus amount is larger than the first defocus amount and less than or equal to the second defocus amount, the focus control is performed based on the fifth focus detection signal,
The focus control is performed based on at least one of the fourth focus detection signal and the sixth focus detection signal when the defocus amount is larger than the second defocus amount. Item 14. The imaging device according to Item 13.
前記焦点検出手段は、前記第1の焦点検出信号、前記第2の焦点検出信号、前記第3の焦点検出信号、前記第4の焦点検出信号、前記第5の焦点検出信号、および、前記第6の焦点検出信号のそれぞれの相関信頼性に応じて選択された焦点検出信号に基づいて、フォーカス制御を行うことを特徴とする請求項13に記載の撮像装置。   The focus detection means includes the first focus detection signal, the second focus detection signal, the third focus detection signal, the fourth focus detection signal, the fifth focus detection signal, and the first focus detection signal. The imaging apparatus according to claim 13, wherein focus control is performed based on a focus detection signal selected according to a correlation reliability of each of the six focus detection signals. 第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子からの出力信号に基づいて焦点検出を行う撮像装置の制御方法であって、
デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の画素の出力信号に基づいて生成するステップと、
前記合成信号から検出するデフォーカス量に基づいて焦点検出を行うステップと、を有することを特徴とする撮像装置の制御方法。
A first pixel group having a first pixel divided by a first pattern, and a second pixel group having a second pixel divided by a second pattern different from the first pattern; A method for controlling an imaging apparatus that performs focus detection based on an output signal from an imaging element including:
A combined signal having a base length or pupil division characteristic different from that of the first pixel group and the second pixel group for detecting the defocus amount is obtained as an output signal of the first pixel and the second pixel group. Generating based on the output signal of the pixel;
And a step of performing focus detection based on a defocus amount detected from the combined signal .
第1のパターンで分割された第1の画素を有する第1の画素群、および、該第1のパターンとは異なる第2のパターンで分割された第2の画素を有する第2の画素群を含む撮像素子からの出力信号に基づいて焦点検出を行うためのプログラムであって、
デフォーカス量の検出を行うための前記第1の画素群および前記第2の画素群に対して基線長または瞳分割特性の異なる合成信号を、前記第1の画素の出力信号および前記第2の画素の出力信号に基づいて生成するステップと、
前記合成信号から検出するデフォーカス量に基づいて焦点検出を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
A first pixel group having a first pixel divided by a first pattern, and a second pixel group having a second pixel divided by a second pattern different from the first pattern; A program for performing focus detection based on an output signal from an image pickup device including:
A combined signal having a base length or pupil division characteristic different from that of the first pixel group and the second pixel group for detecting the defocus amount is obtained as an output signal of the first pixel and the second pixel group. Generating based on the output signal of the pixel;
A program for causing a computer to execute focus detection based on a defocus amount detected from the combined signal .
請求項17に記載のプログラムを記憶していることを特徴とする記憶媒体。   A storage medium storing the program according to claim 17.
JP2014122006A 2014-06-13 2014-06-13 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM Active JP6399817B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014122006A JP6399817B2 (en) 2014-06-13 2014-06-13 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014122006A JP6399817B2 (en) 2014-06-13 2014-06-13 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Publications (2)

Publication Number Publication Date
JP2016004052A JP2016004052A (en) 2016-01-12
JP6399817B2 true JP6399817B2 (en) 2018-10-03

Family

ID=55223391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014122006A Active JP6399817B2 (en) 2014-06-13 2014-06-13 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Country Status (1)

Country Link
JP (1) JP6399817B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295221B (en) 2016-04-08 2020-07-28 佳能株式会社 Image sensor and image pickup apparatus
JP6774207B2 (en) * 2016-04-08 2020-10-21 キヤノン株式会社 Image sensor and image sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935544B2 (en) * 2007-07-06 2012-05-23 株式会社ニコン Imaging device
JP5956782B2 (en) * 2011-05-26 2016-07-27 キヤノン株式会社 Imaging device and imaging apparatus

Also Published As

Publication number Publication date
JP2016004052A (en) 2016-01-12

Similar Documents

Publication Publication Date Title
JP5825817B2 (en) Solid-state imaging device and imaging apparatus
JP5901246B2 (en) Imaging device
JP5956782B2 (en) Imaging device and imaging apparatus
JP5066851B2 (en) Imaging device
JP5645846B2 (en) Focus adjustment device and focus adjustment method
US9438786B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
JP5676962B2 (en) Focus detection apparatus and imaging apparatus
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
JP5963606B2 (en) Imaging apparatus and control method thereof
KR20100116710A (en) Focus detection device and imaging apparatus having the same
JP2009115893A (en) Image-pickup apparatus
JP2014153509A (en) Imaging device and imaging method
JP6381266B2 (en) IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6415140B2 (en) Imaging apparatus and control method thereof
JP5348258B2 (en) Imaging device
JP5850648B2 (en) Imaging device
JP2015194736A (en) Imaging device and method for controlling the same
JP6399817B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6254843B2 (en) Image processing apparatus and control method thereof
JP6854619B2 (en) Focus detection device and method, imaging device, lens unit and imaging system
JP6974599B2 (en) Image pickup device, distance measurement method, distance measurement program and recording medium
JP6304964B2 (en) Information processing apparatus, control method thereof, and system
JP2013054137A (en) Imaging apparatus
JP5359930B2 (en) Imaging apparatus, display method, and program
JP2020134624A (en) Imaging apparatus, control method of imaging apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180904

R151 Written notification of patent or utility model registration

Ref document number: 6399817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151