JP6891470B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP6891470B2
JP6891470B2 JP2016236096A JP2016236096A JP6891470B2 JP 6891470 B2 JP6891470 B2 JP 6891470B2 JP 2016236096 A JP2016236096 A JP 2016236096A JP 2016236096 A JP2016236096 A JP 2016236096A JP 6891470 B2 JP6891470 B2 JP 6891470B2
Authority
JP
Japan
Prior art keywords
signal
pixel
image
photoelectric conversion
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016236096A
Other languages
Japanese (ja)
Other versions
JP2017108404A (en
Inventor
宣孝 平間
宣孝 平間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2017108404A publication Critical patent/JP2017108404A/en
Priority to JP2021089424A priority Critical patent/JP7235068B2/en
Application granted granted Critical
Publication of JP6891470B2 publication Critical patent/JP6891470B2/en
Priority to JP2023025815A priority patent/JP7501696B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging device.

像面位相差方式による焦点検出が可能な撮像素子が知られている（特許文献１参照）。非合焦領域に対応する画素では、画像がボケてしまうため、用途によっては適さない場合があった。 An image sensor capable of focusing detection by an image plane phase difference method is known (see Patent Document 1). Pixels corresponding to the out-of-focus region may not be suitable for some applications because the image is blurred.

特開２００１−８３４０７号公報Japanese Unexamined Patent Publication No. 2001-83407

本発明の第１の態様によると、撮像装置は、光学系を通過する第１の光束を受光して生成した電荷に基づき第１の信号を生成する第１の光電変換部と、前記光学系を通過する第２の光束を受光して生成した電荷に基づき第２の信号を生成する第２の光電変換部と、前記第１の信号及び前記第２の信号を出力する画素が複数配置される撮像素子と、複数の前記画素のうち非合焦領域の画素から出力される前記第１の信号により、画像信号生成に用いられる前記画素の信号を生成する信号生成部と、を備える。
本発明の第２の態様によると、撮像装置は、光学系を通過した第１及び第２の光束を受光して第１及び第２の信号をそれぞれ出力する画素が配置される撮像素子と、前記第１の信号及び前記第２の信号に基づいてデフォーカス量を検出する検出部と、前記検出部で検出された前記デフォーカス量に基づいて画面を合焦領域と非合焦領域とに区分し、前記合焦領域の前記画素から出力された前記第１の信号と前記第２の信号とを加算して画像信号を生成し、前記非合焦領域の前記画素から出力された前記第１の信号と前記第２の信号との一方の信号により画像信号を生成する信号生成部と、を備える。 According to the first aspect of the present invention, the image pickup device includes a first photoelectric conversion unit that generates a first signal based on a charge generated by receiving a first light flux passing through the optical system, and the optical system. A second photoelectric conversion unit that generates a second signal based on the charge generated by receiving the second luminous flux passing through the above, and a plurality of pixels that output the first signal and the second signal are arranged. The image sensor includes an image pickup device, and a signal generation unit that generates a signal of the pixel used for image signal generation by the first signal output from the pixel in the out-of-focus region among the plurality of the pixels.
According to the second aspect of the present invention, the image pickup device includes an image pickup device in which pixels are arranged to receive first and second light beams that have passed through the optical system and output first and second signals, respectively. A detection unit that detects the defocus amount based on the first signal and the second signal, and the screen is divided into an in- focus region and a non-focus region based on the defocus amount detected by the detection unit. The first signal and the second signal output from the pixel in the in-focus region are added to generate an image signal, and the second signal output from the pixel in the out -of-focus region is generated. It includes a signal generation unit that generates an image signal from one of the signal of 1 and the signal of the second signal.

本発明の一実施の形態によるデジタルカメラの構成を示す図である。It is a figure which shows the structure of the digital camera by one Embodiment of this invention. ボディ駆動制御装置の構成を示す図である。It is a figure which shows the structure of the body drive control device. 撮像素子の詳細な構成を示す図である。It is a figure which shows the detailed structure of an image sensor. 撮像素子の詳細な構成を示す図である。It is a figure which shows the detailed structure of an image sensor. 画素の構成を示す図である。It is a figure which shows the composition of a pixel. 瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。It is a figure which shows the structure of the focus detection optical system of the pupil division type phase difference detection system. 合焦状態における模式的な光路図である。It is a schematic optical path diagram in a focused state. 非合焦状態における模式的な光路図である。It is a schematic optical path diagram in an out-of-focus state. 略合焦領域に対応する画素の画像信号の並びを例示する図である。It is a figure which illustrates the arrangement of the image signal of the pixel corresponding to the substantially focusing region. Ｇ成分の補間処理を説明する図である。It is a figure explaining the interpolation process of G component. Ｒ成分の補間処理を説明する図である。It is a figure explaining the interpolation processing of the R component. 非合焦領域に対応する画素において、光電変換部の出力信号の並びを例示する図である。It is a figure which illustrates the arrangement of the output signal of a photoelectric conversion part in a pixel corresponding to a non-focusing region. Ｇ成分の補間処理を説明する図である。It is a figure explaining the interpolation process of G component. Ｒ成分の補間処理を説明する図である。It is a figure explaining the interpolation processing of the R component. 交換レンズの射出瞳の位置とケラレとの関係を説明する図である。It is a figure explaining the relationship between the position of the exit pupil of an interchangeable lens and vignetting.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本実施形態の撮像装置の一例であるレンズ交換式のデジタルカメラの構成を示す図である。デジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３から構成される。種々の交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of an interchangeable lens type digital camera which is an example of the image pickup apparatus of the present embodiment. The digital camera 201 is composed of an interchangeable lens 202 and a camera body 203. Various interchangeable lenses 202 are attached to the camera body 203 via the mount portion 204.

交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備える。レンズ駆動制御装置２０６は、不図示のマイクロコンピュータ、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。 The interchangeable lens 202 includes a lens 209, a zooming lens 208, a focusing lens 210, an aperture 211, a lens drive control device 206, and the like. The lens drive control device 206 includes a microcomputer (not shown), a memory, a drive control circuit, and the like. The lens drive control device 206 performs drive control for adjusting the focus of the focusing lens 210 and adjusting the aperture diameter of the aperture 211, detecting the state of the zooming lens 208, the focusing lens 210, and the aperture 211, and the like. Further, the lens drive control device 206 transmits lens information and receives camera information by communicating with the body drive control device 214, which will be described later. The diaphragm 211 forms an aperture having a variable aperture diameter at the center of the optical axis for adjusting the amount of light and the amount of blur.

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７などを備える。また、カメラボディ２０３には、メモリカード２１９が装着される。 The camera body 203 includes an image sensor 212, a body drive control device 214, a liquid crystal display element drive circuit 215, a liquid crystal display element 216, an eyepiece 217, and the like. A memory card 219 is attached to the camera body 203.

ボディ駆動制御装置２１４は、マイクロコンピュータ、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と撮像素子２１２からの出力信号の読み出しと、該出力信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、該出力信号に基づく画像処理演算と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。 The body drive control device 214 includes a microcomputer, a memory, a drive control circuit, and the like. The body drive control device 214 repeatedly performs drive control of the image sensor 212, reading of an output signal from the image sensor 212, focus detection calculation based on the output signal, and focus adjustment of the interchangeable lens 202, and is based on the output signal. Performs image processing calculations and recording, camera operation control, etc. Further, the body drive control device 214 communicates with the lens drive control device 206 via the electric contact 213 to receive the lens information and transmit the camera information (defocus amount, aperture value, etc.).

液晶表示素子２１６は電子ビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は、撮像素子２１２によるスルー画像を液晶表示素子２１６に表示する。撮影者は、接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。 The liquid crystal display element 216 functions as an electronic view finder (EVF). The liquid crystal display element drive circuit 215 displays a through image by the image pickup element 212 on the liquid crystal display element 216. The photographer can observe the through image through the eyepiece 217. The memory card 219 is an image storage that stores an image captured by the image sensor 212.

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２の各画素で光電変換され、各画素の出力信号がボディ駆動制御装置２１４へ送られる。 The light flux passing through the interchangeable lens 202 forms a subject image on the light receiving surface of the image sensor 212. This subject image is photoelectrically converted by each pixel of the image sensor 212, and the output signal of each pixel is sent to the body drive control device 214.

ボディ駆動制御装置２１４は、撮像素子２１２の出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。 The body drive control device 214 calculates the defocus amount based on the output signal of the image sensor 212, and sends this defocus amount to the lens drive control device 206. Further, the body drive control device 214 processes the output signal of the image sensor 212 to generate image data, stores the image data in the memory card 219, and sends the through image signal from the image sensor 212 to the liquid crystal display element drive circuit 215. , The through image is displayed on the liquid crystal display element 216. Further, the body drive control device 214 sends aperture control information to the lens drive control device 206 to control the aperture of the aperture 211.

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。 The lens drive control device 206 updates the lens information according to the focusing state, the zooming state, the aperture setting state, the aperture open F value, and the like. Specifically, the positions of the zooming lens 208 and the focusing lens 210 and the aperture value of the aperture 211 are detected, and the lens information is calculated according to these lens positions and the aperture value, or a lookup prepared in advance. Select lens information according to the lens position and aperture value from the table.

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。 The lens drive control device 206 calculates the lens drive amount based on the received defocus amount, and drives the focusing lens 210 to the focusing position according to the lens drive amount. Further, the lens drive control device 206 drives the aperture 211 according to the received aperture value.

図２は、ボディ駆動制御装置２１４の構成を示すブロック図である。ボディ駆動制御装置２１４は、焦点検出部２３０、区分部２３１、第１の画像信号生成部２３２、第２の画像信号生成部２３３、画像解析部２３４、表示制御部２３５、記録制御部２３６、およびケラレ判定部２３７を機能的に備える。 FIG. 2 is a block diagram showing the configuration of the body drive control device 214. The body drive control device 214 includes a focus detection unit 230, a division unit 231, a first image signal generation unit 232, a second image signal generation unit 233, an image analysis unit 234, a display control unit 235, a recording control unit 236, and It is functionally provided with a vignetting determination unit 237.

焦点検出部２３０は、撮像素子２１２の出力信号に基づいて後述する処理を行って、焦点検出を行う。区分部２３１は、撮影画面を略合焦領域と非合焦領域に区分し、或いは略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。第１の画像信号生成部２３２は、撮像素子２１２の出力信号に基づいて後述する処理を行って、画像解析用の画像信号を生成する。なお、画像解析用の画像信号は、画像として出力されることを目的として生成される複数の画素信号に限られない。画像解析用の画像信号は、撮像素子２１２の複数の画素における複数の光電変換部が出力する複数の出力信号の生データとして得られる複数の画素信号や、それらの生データをもとに、画像として出力されることなく画像解析用データとして生成される複数の画素信号であってもよい。第２の画像信号生成部２３３は、撮像素子２１２の出力信号に基づいて後述する処理を行って、表示用画像（スルー画像）や記録用画像を構成する複数の画素信号からなる画像信号を生成する。画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示する。記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像データを記録する。ケラレ判定部２３７は、交換レンズ２０２のレンズ情報（射出瞳位置の情報）に基づいて、ケラレの状況を判定する。なお、これらの各部について詳しくは後述する。 The focus detection unit 230 performs a process described later based on the output signal of the image sensor 212 to perform focus detection. The division unit 231 divides the photographing screen into a substantially in-focus area and an out-of-focus area, or extracts at least one of the substantially in-focus area and the out-of-focus area. The first image signal generation unit 232 generates an image signal for image analysis by performing a process described later based on the output signal of the image sensor 212. The image signal for image analysis is not limited to a plurality of pixel signals generated for the purpose of being output as an image. The image signal for image analysis is an image based on a plurality of pixel signals obtained as raw data of a plurality of output signals output by a plurality of photoelectric conversion units in a plurality of pixels of the image pickup element 212 and the raw data thereof. It may be a plurality of pixel signals generated as image analysis data without being output as. The second image signal generation unit 233 performs a process described later based on the output signal of the image sensor 212 to generate an image signal composed of a plurality of pixel signals constituting a display image (through image) and a recording image. To do. The image analysis unit 234 performs analysis processing of the subject image based on the image signal generated by the first image signal generation unit 232. The display control unit 235 displays a through image on the liquid crystal display element 216 based on the image signal generated by the second image signal generation unit 233. The recording control unit 236 records image data on the memory card 219 based on the image signal generated by the second image signal generation unit 233. The vignetting determination unit 237 determines the vignetting condition based on the lens information (information on the exit pupil position) of the interchangeable lens 202. The details of each of these parts will be described later.

図３および図４は、撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２の一部を拡大して示した図である。図３は、画素３１１のレイアウトを示す図である。複数の画素３１１は、行方向（水平方向）および列方向（垂直方向）において二次元状に配列されている。各画素３１１は、マイクロレンズ（不図示）と一対の光電変換部１３、１４とを有する。図３において、一対の光電変換部１３、１４は水平方向に並んで配置されている。図４は、図３に示す画素３１１の配列における色フィルタの配列を示した図である。画素３１１には、ベイヤー配列の規則に従って色フィルタ（Ｒ：赤色フィルタ、Ｇ：緑色フィルタ、Ｂ：青色フィルタ）が配置されている。すなわち、画素３１１として、赤色成分に関する分光感度特性を有する（すなわち赤色フィルタが配置された）Ｒ画素と緑色成分に関する分光感度特性を有する（すなわち緑色フィルタが配置された）Ｇ画素と青色成分に関する分光感度特性を有する（すなわち青色フィルタが配置された）Ｂ画素とが設けられている。画素３１１は、撮影用画素と焦点検出用画素とを兼ねており、画素３１１が撮像素子２１２の全面に配置されている。したがって、撮影画面上の任意の位置で焦点検出を行うことが可能である。 3 and 4 are front views showing the detailed configuration of the image sensor 212, and is an enlarged view of a part of the image sensor 212. FIG. 3 is a diagram showing a layout of pixels 311. The plurality of pixels 311 are arranged two-dimensionally in the row direction (horizontal direction) and the column direction (vertical direction). Each pixel 311 has a microlens (not shown) and a pair of photoelectric conversion units 13 and 14. In FIG. 3, the pair of photoelectric conversion units 13 and 14 are arranged side by side in the horizontal direction. FIG. 4 is a diagram showing an array of color filters in the array of pixels 311 shown in FIG. A color filter (R: red filter, G: green filter, B: blue filter) is arranged on the pixel 311 according to the rules of the Bayer arrangement. That is, as the pixel 311, the R pixel having the spectral sensitivity characteristic regarding the red component (that is, the red filter is arranged), the G pixel having the spectral sensitivity characteristic regarding the green component (that is, the green filter is arranged), and the spectrum regarding the blue component. A B pixel having a sensitivity characteristic (that is, a blue filter is arranged) is provided. The pixel 311 also serves as a shooting pixel and a focus detection pixel, and the pixel 311 is arranged on the entire surface of the image pickup device 212. Therefore, it is possible to perform focus detection at an arbitrary position on the shooting screen.

図５は、画素３１１の構成を示す断面図である。画素３１１において、一対の光電変換部１３、１４の前方にマイクロレンズ１０が配置される。一対の光電変換部１３、１４は半導体回路基板２９上に形成される。また、色フィルタ（不図示）はマイクロレンズ１０と一対の光電変換部１３、１４の中間に配置される。このような構成により一対の光電変換部１３，１４は、交換レンズ２０２の射出瞳の一対の測距瞳を通過する一対の光束をそれぞれ受光する。 FIG. 5 is a cross-sectional view showing the configuration of the pixel 311. In pixel 311 the microlens 10 is arranged in front of the pair of photoelectric conversion units 13 and 14. The pair of photoelectric conversion units 13 and 14 are formed on the semiconductor circuit board 29. Further, the color filter (not shown) is arranged between the microlens 10 and the pair of photoelectric conversion units 13 and 14. With such a configuration, the pair of photoelectric conversion units 13 and 14 receive a pair of light fluxes passing through the pair of distance measuring pupils of the exit pupil of the interchangeable lens 202, respectively.

図６は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図６において、射出瞳９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズ１０から前方の距離ｄの位置に設定されている。図６には他に、交換レンズの光軸９１、マイクロレンズ１０、光電変換部１３、１４、画素３１１、光束７３、７４が示されている。 FIG. 6 shows the configuration of a focal detection optical system of a pupil division type phase difference detection method using a microlens. In FIG. 6, the exit pupil 90 is set at a position at a distance d in front of the microlens 10 arranged on the planned image plane of the interchangeable lens 202 (see FIG. 1). FIG. 6 also shows the optical axis 91 of the interchangeable lens, the microlens 10, the photoelectric conversion units 13 and 14, the pixels 311 and the luminous fluxes 73 and 74.

測距瞳９３，９４は、射出瞳９０のうちの互いに異なる部分領域であり、水平方向に並ぶとともに、光軸９１を通る垂直線に対して線対称な形状となっている。光電変換部１３は、測距瞳９３を通過して画素３１１のマイクロレンズ１０に向かう光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。また、光電変換部１４は、測距瞳９４を通過して画素３１１のマイクロレンズ１０に向う光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。 The distance measuring pupils 93 and 94 are different partial regions of the exit pupils 90, are arranged in the horizontal direction, and have a shape symmetrical with respect to a vertical line passing through the optical axis 91. The photoelectric conversion unit 13 generates and outputs a signal corresponding to the intensity of the image formed on the microlens 10 by the luminous flux 73 passing through the ranging pupil 93 and heading toward the microlens 10 of the pixel 311. Further, the photoelectric conversion unit 14 generates and outputs a signal corresponding to the intensity of the image formed on the microlens 10 by the luminous flux 74 passing through the ranging pupil 94 and facing the microlens 10 of the pixel 311.

図６では、光軸９１近傍の隣接する５つの画素３１１を模式的に例示しているが、画面周辺に配置された画素３１１においても、各光電変換部１３、１４は、それぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。マイクロレンズ１０により、一対の光電変換部１３、１４と上述した互いに異なる部分領域、すなわち一対の測距瞳９３、９４とが互いに共役関係になる。 In FIG. 6, five adjacent pixels 311 near the optical axis 91 are schematically illustrated, but even in the pixels 311 arranged around the screen, the photoelectric conversion units 13 and 14 correspond to each other. It is configured to receive the light flux coming from the pupils 93 and 94 to each microlens. With the microlens 10, the pair of photoelectric conversion units 13 and 14 and the above-mentioned different partial regions, that is, the pair of ranging pupils 93 and 94 are in a conjugate relationship with each other.

所定の焦点検出エリアにおいて水平方向に配列した複数の画素３１１の光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とによって、測距瞳９３と測距瞳９４をそれぞれ通過する光束７３、７４が画素３１１の配列上に形成する一対の像の強度分布に関する情報が得られる。焦点検出部２３０は、光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とのズレ量を公知の像ズレ検出演算処理（相関演算処理、位相差検出処理）によって検出することによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。焦点検出部２３０は、この像ズレ量に基づいて、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。 The output signal sequence of the photoelectric conversion unit 13 of the plurality of pixels 311 arranged horizontally in the predetermined focus detection area and the output signal sequence of the photoelectric conversion unit 14 pass through the ranging pupil 93 and the ranging pupil 94, respectively. Information on the intensity distribution of the pair of images formed by the light fluxes 73 and 74 formed on the array of pixels 311 can be obtained. The focus detection unit 230 detects the amount of deviation between the output signal sequence of the photoelectric conversion unit 13 and the output signal sequence of the photoelectric conversion unit 14 by a known image shift detection calculation process (correlation calculation process, phase difference detection process). As a result, the amount of image shift of the pair of images is detected by the so-called pupil division type phase difference detection method. The focus detection unit 230 calculates the deviation (defocus amount) of the current image plane with respect to the planned image plane based on the image shift amount.

図７は、被写体にピントが合っている状態、すなわち合焦状態における模式的な光路図である。図７では、光軸９１近傍の隣接する５つの画素３１１１〜３１１５を模式的に例示している。図７において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１３の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１３の光電変換部１４に入射する。このように、合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ同じ画素３１１３の光電変換部１３、１４に入射する。 FIG. 7 is a schematic optical path diagram in a state where the subject is in focus, that is, in a focused state. In Figure 7, the five pixels 311 1-311 5 adjacent the optical axis 91 near schematically illustrates. Is emitted from the point P on the object 7, the light 75 passing through the point 95 on the exit pupil 90 is incident on the photoelectric conversion portion 13 of the pixel 311 3. On the other hand, is emitted from the point P on the object, the light 76 passing through the point 96 on the exit pupil 90 is incident on the photoelectric conversion portion 14 of the pixel 311 3. Thus, in the focus state, is emitted from the same point P, the light 75 and 76 passing through different locations on the exit pupil 90 is incident on the photoelectric conversion portions 13 and 14 of the same pixel 311 3, respectively.

図８は、被写体にピントが合っていない状態、すなわち非合焦状態における模式的な光路図である。図８は、被写体より前側にピントが合っている、いわゆる前ピンの状態を示している。また、図８では、光軸９１近傍の隣接する５つの画素３１１１〜３１１５を模式的に例示している。図８において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１２の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１４の光電変換部１４に入射する。このように、非合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ異なる画素３１１２、３１１４の光電変換部１３，１４に入射される。この点をふまえると、非合焦状態では、同じ画素３１１内の光電変換部１３、１４に、それぞれ被写体上の異なる点から出射された光が入射されることとなる。なお、被写体より後側にピントが合っている、いわゆる後ピンの状態でも同様である。 FIG. 8 is a schematic optical path diagram in a state where the subject is out of focus, that is, in an out-of-focus state. FIG. 8 shows a so-called front focus state in which the subject is in focus on the front side of the subject. Further, in FIG. 8, five pixels 311 1-311 5 adjacent the optical axis 91 near schematically illustrates. Is emitted from the point P on the object 8, the light 75 passing through the point 95 on the exit pupil 90 is incident on the photoelectric conversion portion 13 of the pixel 311 2. On the other hand, is emitted from the point P on the object, the light 76 passing through the point 96 on the exit pupil 90 is incident on the photoelectric conversion portion 14 of the pixel 311 4. Thus, in the non-focus state, is emitted from the same point P, the light 75 and 76 passing through different locations on the exit pupil 90 is incident on different pixels 311 2, 311 4 of the photoelectric conversion portions 13 and 14 respectively To. Based on this point, in the out-of-focus state, light emitted from different points on the subject is incident on the photoelectric conversion units 13 and 14 in the same pixel 311. The same applies to the so-called rear focus state in which the subject is in focus on the rear side.

各画素３１１において光電変換部１３の出力信号と光電変換部１４の出力信号とを加算して画像信号を生成する場合、非合焦領域に対応する画素では、被写体上の異なる点から出射された出力信号が加算されることになるのでボケた画像となる。画像の解析処理を行う際にはできるだけボケの少ない画像の方が好ましい。そこで、本実施形態では、解析用の画像を生成する際、略合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号を加算して画像信号を生成し、非合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号のいずれか一方を用いて画像信号を生成する。なお、スルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、撮影画面全体に対応する画素３１１について、光電変換部１３、１４の出力信号を加算して画像信号を生成する。このような画像信号の生成処理について、以下、詳細に説明する。 When the output signal of the photoelectric conversion unit 13 and the output signal of the photoelectric conversion unit 14 are added to each pixel 311 to generate an image signal, the pixels corresponding to the out-of-focus region are emitted from different points on the subject. Since the output signal will be added, the image will be out of focus. When performing image analysis processing, it is preferable to use an image with as little blur as possible. Therefore, in the present embodiment, when an image for analysis is generated, the output signals of the photoelectric conversion units 13 and 14 are added to the pixels 311 corresponding to the substantially in-focus region to generate an image signal, and the image signal is generated in the out-of-focus region. In the corresponding pixel 311, an image signal is generated by using either one of the output signals of the photoelectric conversion units 13 and 14. When generating a through image or an image for recording, the image signal is obtained by adding the output signals of the photoelectric conversion units 13 and 14 to the pixel 311 corresponding to the entire shooting screen in order to obtain an image that makes the best use of the blur. To generate. The process of generating such an image signal will be described in detail below.

（解析用の画像信号の生成）
解析用の画像信号の生成処理について説明する。まず、焦点検出部２３０は、撮影画面を多数の領域に分割し、これらの領域に対応するデフォーカス量を上述した処理によって検出することで、撮影画面上の種々の位置におけるデフォーカス量を検出し、合焦状態の分布を示すデフォーカス量のマップを作成する。そして、区分部２３１は、このデフォーカス量のマップに基づき、撮影画面を略合焦領域と非合焦領域とに区分するか、または略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。なお、略合焦領域はデフォーカス量が所定閾値よりも小さい領域（小デフォーカス領域）であり、非合焦領域はデフォーカス量が所定閾値よりも大きい領域（大デフォーカス領域）である。 (Generation of image signal for analysis)
The image signal generation process for analysis will be described. First, the focus detection unit 230 detects the defocus amount at various positions on the shooting screen by dividing the shooting screen into a large number of areas and detecting the defocus amount corresponding to these areas by the above-described processing. Then, create a map of the defocus amount showing the distribution of the in-focus state. Then, the division unit 231 divides the shooting screen into a substantially in-focus area and an out-of-focus area based on the map of the defocus amount, or at least one of the substantially in-focus area and the out-of-focus area. Extract. The substantially focused region is a region in which the defocus amount is smaller than the predetermined threshold value (small defocus region), and the non-focus region is a region in which the defocus amount is larger than the predetermined threshold value (large defocus region).

＜略合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された略合焦領域に対応する画素３１１については、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を画像信号として生成する。図９は、このようにして生成された略合焦領域に対応する画素３１１の画像信号の並びを例示する図である。画素３１１の画像信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の画像信号が不足する。第１の画像信号生成部２３２は、光電変換部１３、１４の出力信号を加算して生成した画像信号について、周辺の画素位置の画像信号を用いて不足する色成分の画像信号を生成する色補間処理（デモザイク）を行う。この色補間処理の際には、画像構造、例えばエッジや線状構造等のテクスチャの方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。 <Generation of image signal in the substantially focused region>
The first image signal generation unit 232 uses the output signal a of the photoelectric conversion unit 13 and the output signal b of the photoelectric conversion unit 14 for the pixels 311 corresponding to the substantially in-focus region classified or extracted by the division unit 231. (A + b) / 2, which is added and averaged, is generated as an image signal. FIG. 9 is a diagram illustrating an arrangement of image signals of pixels 311 corresponding to the substantially in-focus region generated in this way. The image signal of pixel 311 has one of R, G, and B color components according to the rules of the Bayer array corresponding to each pixel position, and is an image of a color component different from the color component of the arranged color filter. There is a shortage of signals. The first image signal generation unit 232 uses the image signals at the peripheral pixel positions to generate an image signal having a insufficient color component with respect to the image signal generated by adding the output signals of the photoelectric conversion units 13 and 14. Performs interpolation processing (demosaic). In this color interpolation processing, the direction of the image structure, for example, the texture such as an edge or a linear structure is determined, and the interpolation method is changed depending on whether the structure is in the vertical direction or the horizontal direction.

図９において、補間対象とする画素位置（以下注目位置と呼ぶ）（Ｉ，Ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）に上下左右に隣接する４つの画素位置、（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）を用いて次式（１）〜（４）により方向判定を行う。なお、図９では上記４つの位置を丸印で示す。 In FIG. 9, the pixel positions (hereinafter referred to as attention positions) (I, J) to be interpolated are shown by diagonal lines. The first image signal generation unit 232 determines the direction of the image structure with respect to the G component, which is a missing color component, at the attention position (I, J). The first image signal generation unit 232 has four pixel positions vertically and horizontally adjacent to the attention position (I, J), (I-1, J), (I + 1, J), (I, J-1), and so on. Using the image signal (G signal) of (I, J + 1), the direction is determined by the following equations (1) to (4). In FIG. 9, the above four positions are indicated by circles.

|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（１）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（２）
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（３）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（４）
ただし、閾値th_1およびth_2は、所定値である。 | G (I-1, J) -G (I + 1, J) |> th_1 and | G (I, J-1) -G (I, J + 1) | <th_2 ・ ・ ・ (1)
| G (I-1, J) -G (I + 1, J) | <th_1 and | G (I, J-1) -G (I, J + 1) |> th_2 ・ ・ ・ (2)
| G (I-1, J) -G (I + 1, J) |> th_1 and | G (I, J-1) -G (I, J + 1) |> th_2 ・ ・ ・ (3)
| G (I-1, J) -G (I + 1, J) | <th_1 and | G (I, J-1) -G (I, J + 1) | <th_2 ・ ・ ・ (4)
However, the threshold values th_1 and th_2 are predetermined values.

第１の画像信号生成部２３２は、上記式（１）が成立する場合は、注目位置（Ｉ，Ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（２）が成立する場合は、注目位置（Ｉ，Ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（３）が成立する場合は、注目位置（Ｉ，Ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（４）が成立する場合は、注目位置（Ｉ，Ｊ）がエッジ上にないと判定する。 When the above equation (1) holds, the first image signal generation unit 232 determines that there is an edge in the lateral (row) direction with respect to the attention position (I, J). When the above equation (2) holds, the first image signal generation unit 232 determines that there is an edge in the vertical (column) direction with respect to the attention position (I, J). When the above equation (3) is satisfied, the first image signal generation unit 232 determines that there is an edge angle with respect to the attention position (I, J). The first image signal generation unit 232 determines that the attention positions (I, J) are not on the edge when the above equation (4) is satisfied.

図１０は、Ｇ成分の補間処理を説明する図である。第１の画像信号生成部２３２は、上記方向判定において横（行）方向にエッジがあると判定した場合は、図１０（ａ）に示すように、注目位置（Ｉ，Ｊ）に縦方向に隣接する２つの画素位置（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）に基づき、次式（５）を用いて、注目位置（Ｉ，Ｊ）のＧ信号を求める。
G(I,J)={G(I,J-1)+G(I,J+1)}/2 ・・・（５） FIG. 10 is a diagram illustrating the interpolation process of the G component. When the first image signal generation unit 232 determines that there is an edge in the horizontal (row) direction in the above direction determination, as shown in FIG. 10A, the first image signal generation unit 232 vertically at the attention position (I, J). Based on the image signals (G signals) of the two adjacent pixel positions (I, J-1) and (I, J + 1), the G signal of the attention position (I, J) is obtained using the following equation (5). ..
G (I, J) = {G (I, J-1) + G (I, J + 1)} / 2 ・ ・ ・ (5)

また、第１の画像信号生成部２３２は、上記方向判定において縦（列）方向にエッジがあると判定した場合は、図１０（ｂ）に示すように、太枠で示す注目位置（Ｉ，Ｊ）に横方向に隣接する２つの画素位置（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）の画像信号（Ｇ成分の信号）に基づき、次式（６）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)}/2 ・・・（６） When the first image signal generation unit 232 determines that there is an edge in the vertical (column) direction in the above direction determination, the attention position (I, Based on the image signals (G component signals) of the two pixel positions (I-1, J) and (I + 1, J) that are laterally adjacent to J), the attention position (I) is used using the following equation (6). , J) Find the signal of the G component.
G (I, J) = {G (I-1, J) + G (I + 1, J)} / 2 ・ ・ ・ (6)

また、第１の画像信号生成部２３２は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合は、図１０（ｃ）に示すように、注目位置（Ｉ，Ｊ）に縦横方向に隣接する４つの画素位置（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ成分の信号）に基づき、次式（７）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・（７） Further, when the first image signal generation unit 232 determines in the above-mentioned direction determination that there is an edge angle or no edge, the first image signal generation unit 232 vertically and horizontally at the attention position (I, J) as shown in FIG. 10C. Based on the image signals (G component signals) of the four pixel positions (I-1, J), (I + 1, J), (I, J-1), and (I, J + 1) adjacent to each other in the direction, the following equation ( 7) is used to obtain the signal of the G component at the position of interest (I, J).
G (I, J) = {G (I-1, J) + G (I + 1, J) + G (I, J-1) + G (I, J + 1)} / 4 ・ ・ ・ ( 7)

第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、略合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。 The first image signal generation unit 232 performs processing for interpolating the signal of the G component at the position of the B component and the position of the R component, respectively, as described above, and thereby, the position of each pixel 311 corresponding to the substantially in-focus region. The signal of the G component can be obtained in.

図１１は、Ｒ成分の補間処理を説明する図である。図１１（ａ）は、図９からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図９におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１１（ｂ）に示すように色差成分Ｃｒの信号を算出する。 FIG. 11 is a diagram illustrating the interpolation process of the R component. FIG. 11A is a diagram in which the signal of the R component is extracted from FIG. The first image signal generation unit 232 uses the signals of the four R components located around the attention position as the positions of the B color component and the G color component in FIG. 9 in order, and uses the signals of the four R components at the attention position. Signal is generated by interpolation processing. In the interpolation process of the R component signal, first, the first image signal generation unit 232 is based on the G component signal and the R color component signal, and as shown in FIG. 11B, the color difference component Cr signal. Is calculated.

そして、第１の画像信号生成部２３２は、図１１（ｂ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋１）において、斜め方向に隣接して位置する４つの画素位置（Ｉ，Ｊ）、（Ｉ＋２，Ｊ）、（Ｉ，Ｊ＋２）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（８）により、注目位置（Ｉ＋１，Ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J＋2)+Cr(I+2,J+2)}/4 ・・・（８） Then, the first image signal generation unit 232 has four pixel positions (I, J), (I, J), which are diagonally adjacent to each other at the attention positions (I + 1, J + 1) shown by the thick frame in FIG. 11 (b). Based on the signals of the color difference component Cr of (I + 2, J), (I, J + 2), and (I + 2, J + 2), the signal of the color difference component Cr at the attention position (I + 1, J + 1) is calculated by the following equation (8).
Cr (I + 1, J + 1) = {Cr (I, J) + Cr (I + 2, J) + Cr (I, J + 2) + Cr (I + 2, J + 2)} / 4 ・ ・・ (8)

また、第１の画像信号生成部２３２は、図１１（ｃ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋２）において、上下左右に隣接して位置する４つの画素位置（Ｉ＋１，Ｊ＋１）、（Ｉ，Ｊ＋２）、（Ｉ＋１，Ｊ＋３）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（９）により、注目位置（Ｉ＋１，Ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J＋3)+Cr(I+2,J+2)}/4 ・・・（９） Further, the first image signal generation unit 232 has four pixel positions (I + 1, J + 1), which are located adjacent to each other in the vertical and horizontal directions at the attention positions (I + 1, J + 2) shown by the thick frame in FIG. Based on the signals of the color difference component Cr of (I, J + 2), (I + 1, J + 3), and (I + 2, J + 2), the signal of the color difference component Cr at the attention position (I + 1, J + 2) is calculated by the following equation (9).
Cr (I + 1, J + 2) = {Cr (I + 1, J + 1) + Cr (I, J + 2) + Cr (I + 1, J + 3) + Cr (I + 2, J + 2) )} / 4 ・ ・ ・ (9)

第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。 The first image signal generation unit 232 obtains the signal of the color difference component Cr at the position of each pixel 311 in this way, and then adds the signal of the G component corresponding to the position of each pixel 311 to obtain each of them. The signal of the R component can be obtained at the position of the pixel 311.

また、第１の画像信号生成部２３２は、図９におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。 Further, the first image signal generation unit 232 uses the signals of the four B components located around the attention position as the attention positions in order with the positions of the R color component and the G color component in FIG. 9 at the attention position. The B component signal is generated by interpolation processing. The interpolation process of the signal of the B component is performed by obtaining the signal of the color difference Cb at the position of each pixel 311 and then adding the signal of the G component. Since this may be performed in the same manner as the interpolation processing of the signal of the R component, detailed description thereof will be omitted.

このようにして、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１について、ＲＧＢ成分の画像信号を得ることができる。 In this way, the first image signal generation unit 232 can obtain the image signal of the RGB component for the pixel 311 corresponding to the substantially in-focus region.

＜非合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された非合焦領域に対応する画素３１１については、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。なお、画像信号の生成に用いる光電変換部として、光電変換部１３、１４のどちらを選択してもよいが、連続する非合焦領域内において、選択する光電変換部は統一する。以下では、光電変換部１３の出力信号に基づき画像信号を生成する例を説明するが、光電変換部１４の出力信号に基づき画像信号を生成する場合も同様である。 <Generation of image signal in out-of-focus area>
The first image signal generation unit 232 has one of the output signal of the photoelectric conversion unit 13 and the output signal of the photoelectric conversion unit 14 for the pixel 311 corresponding to the out-of-focus region classified or extracted by the division unit 231. An image signal is generated based on the output signal of. Either the photoelectric conversion unit 13 or 14 may be selected as the photoelectric conversion unit used to generate the image signal, but the photoelectric conversion unit to be selected is unified within the continuous non-focusing region. Hereinafter, an example of generating an image signal based on the output signal of the photoelectric conversion unit 13 will be described, but the same applies to the case of generating an image signal based on the output signal of the photoelectric conversion unit 14.

図１２は、非合焦領域に対応する画素３１１において、光電変換部１３、１４の出力信号の並びを例示する図である。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。ここでは、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１について、光電変換部１３の出力信号を画像信号とする。そのため第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。この色補間処理の際にも、画像構造の方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。 FIG. 12 is a diagram illustrating an arrangement of output signals of the photoelectric conversion units 13 and 14 in the pixel 311 corresponding to the out-of-focus region. The output signals of the photoelectric conversion units 13 and 14 have any of R, G, and B color components according to the rules of the Bayer arrangement corresponding to each pixel position, and are different from the color components of the arranged color filters. Insufficient color component signal. Here, the first image signal generation unit 232 uses the output signal of the photoelectric conversion unit 13 as an image signal for the pixel 311 corresponding to the out-of-focus region. Therefore, the first image signal generation unit 232 performs color interpolation processing to generate a signal of a insufficient color component by using the output signal of the photoelectric conversion unit 13 of the peripheral pixels 311. Also during this color interpolation processing, the direction of the image structure is determined, and the interpolation method is changed depending on whether the structure is in the vertical direction or the horizontal direction.

図１２において、補間対象とする画素位置における光電変換部１３に対応する位置（以下注目位置と呼ぶ）（ｉ，ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（ｉ，ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、補間対象とする画素位置に上下左右に隣接する画素における光電変換部１３に対応する４つの位置、（ｉ−２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）の光電変換信号（Ｇ信号）を用いて次式（１０）〜（１３）により方向判定を行う。なお、図１２では上記４つの位置を丸印で示す。 In FIG. 12, the positions (hereinafter referred to as attention positions) (i, j) corresponding to the photoelectric conversion unit 13 at the pixel positions to be interpolated are shown by diagonal lines. The first image signal generation unit 232 determines the direction of the image structure with respect to the G component, which is a missing color component, at the attention position (i, j). The first image signal generation unit 232 has four positions, (i-2, j), (i + 2, j), (i-2, j), (i + 2, j), which correspond to the photoelectric conversion unit 13 in the pixels adjacent to the pixel positions to be interpolated vertically and horizontally. Using the photoelectric conversion signals (G signals) of i, j-1) and (i, j + 1), the direction is determined by the following equations (10) to (13). In FIG. 12, the above four positions are indicated by circles.

|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１０）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１１）
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１２）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１３）
ただし、閾値th_1およびth_2は、所定値である。 | G (i-2, j) -G (i + 2, j) |> th_1 and | G (i, j-1) -G (i, j + 1) | <th_2 ・ ・ ・ (10)
| G (i-2, j) -G (i + 2, j) | <th_1 and | G (i, j-1) -G (i, j + 1) |> th_2 ・ ・ ・ (11)
| G (i-2, j) -G (i + 2, j) |> th_1 and | G (i, j-1) -G (i, j + 1) |> th_2 ・ ・ ・ (12)
| G (i-2, j) -G (i + 2, j) | <th_1 and | G (i, j-1) -G (i, j + 1) | <th_2 ・ ・ ・ (13)
However, the threshold values th_1 and th_2 are predetermined values.

第１の画像信号生成部２３２は、上記式（１０）が成立する場合は、注目位置（ｉ，ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１１）が成立する場合は、注目位置（ｉ，ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１２）が成立する場合は、注目位置（ｉ，ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（１３）が成立する場合は、注目位置（ｉ，ｊ）がエッジ上にないと判定する。 When the above equation (10) holds, the first image signal generation unit 232 determines that there is an edge in the lateral (row) direction with respect to the attention position (i, j). When the above equation (11) holds, the first image signal generation unit 232 determines that there is an edge in the vertical (column) direction with respect to the attention position (i, j). When the above equation (12) is satisfied, the first image signal generation unit 232 determines that there is an edge angle with respect to the attention position (i, j). The first image signal generation unit 232 determines that the attention position (i, j) is not on the edge when the above equation (13) is satisfied.

図１３は、Ｇ成分の補間処理を説明する図である。図１３（ａ）は、上記方向判定において横（行）方向にエッジがあると判定された場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ａ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ，ｊ−１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を次式（１４）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i,j-1)+G(i,j+1)}/2 ・・・（１４） FIG. 13 is a diagram illustrating the interpolation process of the G component. FIG. 13A is a diagram illustrating a case where it is determined that there is an edge in the lateral (row) direction in the above-mentioned direction determination. In this case, the first image signal generation unit 232 corresponds to the photoelectric conversion unit 13 of the pixels vertically adjacent to the pixels corresponding to the attention positions (i, j) shown in the thick frame in FIG. 13 (a). By simply averaging the output signals (G component signals) of the two positions (i, j-1) and (i, j + 1) as in the following equation (14), the G component of the attention position (i, j) can be obtained. Find the signal.
G (i, j) = {G (i, j-1) + G (i, j + 1)} / 2 ・ ・ ・ (14)

図１３（ｂ）は、上記方向判定において縦（列）方向にエッジがあると判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｂ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に横方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）の出力信号（Ｇ成分の信号）を次式（１５）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)}/2 ・・・（１５） FIG. 13B is a diagram illustrating a case where it is determined that there is an edge in the vertical (column) direction in the above-mentioned direction determination. In this case, the first image signal generation unit 232 corresponds to the photoelectric conversion unit 13 of the pixels laterally adjacent to the pixels corresponding to the attention positions (i, j) shown in the thick frame in FIG. 13 (b). By simply averaging the output signals (G component signals) of the two positions (i-2, j) and (i + 2, j) as in the following equation (15), the G component of the attention position (i, j) can be obtained. Find the signal.
G (i, j) = {G (i-2, j) + G (i + 2, j)} / 2 ・ ・ ・ (15)

図１３（ｃ）は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｃ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を、次式（１６）に示すように加重平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 ・・・（１６） FIG. 13C is a diagram illustrating a case where it is determined in the above-mentioned direction determination that there is an edge angle or there is no edge. In this case, the first image signal generation unit 232 corresponds to the photoelectric conversion unit 13 of the pixels vertically and horizontally adjacent to the pixels corresponding to the attention positions (i, j) shown in the thick frame in FIG. 13 (c) 4 The output signals (G component signals) of the two positions (i-2, j), (i + 2, j), (i, j-1), and (i, j + 1) are weighted as shown in the following equation (16). By averaging, the signal of the G component at the position of interest (i, j) is obtained.
G (i, j) = {G (i-2, j) + G (i + 2, j) + 2 * G (i, j-1) + 2 * G (i, j + 1)} / 6 ... (16)

式（１６）では、注目位置と上記４つの位置との間の距離に応じて重み付け係数を変えている。横方向に隣接する画素の光電変換部１３に対応する位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）よりも、縦方向に隣接する画素の光電変換部１３に対応する位置（ｉ，ｊ−１）、（ｉ，ｊ＋１）の方が注目位置（ｉ，ｊ）との距離が近いので、Ｇ（ｉ−２，ｊ）、Ｇ（ｉ＋２，ｊ）よりもＧ（ｉ，ｊ−１）、（ｉ，ｊ＋１）に乗算する重み付け係数を大きくしている。 In the formula (16), the weighting coefficient is changed according to the distance between the position of interest and the above four positions. Positions (i, j) corresponding to the photoelectric conversion units 13 of pixels adjacent in the horizontal direction, and positions (i, j) corresponding to the photoelectric conversion units 13 of pixels adjacent in the vertical direction rather than positions (i-2, j) and (i + 2, j). -1) and (i, j + 1) are closer to the attention position (i, j), so G (i, j-1) than G (i-2, j) and G (i + 2, j). ), (I, j + 1) is multiplied by a large weighting coefficient.

第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、非合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。 The first image signal generation unit 232 performs processing for interpolating the signal of the G component at the position of the B component and the position of the R component, respectively, as described above, so that the position of each pixel 311 corresponding to the out-of-focus region can be obtained. The signal of the G component can be obtained in.

図１４は、Ｒ成分の補間処理を説明する図である。図１４（ａ）は、図１２からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図１２におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１４（ｂ）に示すように色差成分Ｃｒの信号を算出する。 FIG. 14 is a diagram illustrating the interpolation process of the R component. FIG. 14A is a diagram in which the signal of the R component is extracted from FIG. The first image signal generation unit 232 uses the signals of the four R components located around the attention position as the positions of the B color component and the G color component in FIG. 12 in order, and uses the signals of the four R components at the attention position. Signal is generated by interpolation processing. In the interpolation processing of the R component signal, first, the first image signal generation unit 232 is based on the G component signal and the R color component signal, and as shown in FIG. 14B, the color difference component Cr signal. Is calculated.

そして、第１の画像信号生成部２３２は、図１４（ｂ）の太枠で示す注目位置（ｉ＋２，ｊ＋１）に対応する画素に斜め方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ，ｊ）、（ｉ，ｊ＋２）、（ｉ＋４，ｊ）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１７）により、注目位置（ｉ＋２，ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 ・・・（１７） Then, the first image signal generation unit 232 has four photoelectric conversion units 13 of pixels diagonally adjacent to the pixels corresponding to the attention positions (i + 2, j + 1) shown by the thick frame in FIG. 14 (b). Based on the signal of the color difference component Cr of the position (i, j), (i, j + 2), (i + 4, j), (i + 4, j + 2), the color difference component at the position of interest (i + 2, j + 1) is calculated by the following equation (17). Calculate the Cr signal.
Cr (i + 2, j + 1) = {Cr (i, j) + Cr (i, j + 2) + Cr (i + 4, j) + Cr (i + 4, j + 2)} / 4 ... (17)

また、第１の画像信号生成部２３２は、図１４（ｃ）の太枠で示す注目位置（ｉ＋２，ｊ＋２）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ＋２，ｊ＋１）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋３）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１８）により、注目位置（ｉ＋２，ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j＋3)+Cr(i+4,J+2)}/4 ・・・（１８） Further, the first image signal generation unit 232 has four photoelectric conversion units 13 of pixels vertically and horizontally adjacent to the pixels corresponding to the attention positions (i + 2, j + 2) shown by the thick frame in FIG. 14 (c). Based on the signal of the color difference component Cr of the position (i + 2, j + 1), (i, j + 2), (i + 2, j + 3), (i + 4, j + 2), the color difference component at the position of interest (i + 2, j + 2) is calculated by the following equation (18). Calculate the Cr signal.
Cr (i + 2, j + 2) = {Cr (i + 2, j + 1) + Cr (i, j + 2) + Cr (i + 2, j + 3) + Cr (i + 4, J + 2 )} / 4 ・ ・ ・ (18)

第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。 The first image signal generation unit 232 obtains the signal of the color difference component Cr at the position of each pixel 311 in this way, and then adds the signal of the G component corresponding to the position of each pixel 311 to obtain each of them. The signal of the R component can be obtained at the position of the pixel 311.

また、第１の画像信号生成部２３２は、図１２におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。 Further, the first image signal generation unit 232 uses the signals of the four B components located around the attention position as the attention positions in order with the positions of the R color component and the G color component in FIG. 12 at the attention position. The B component signal is generated by interpolation processing. The interpolation process of the signal of the B component is performed by obtaining the signal of the color difference Cb at the position of each pixel 311 and then adding the signal of the G component. Since this may be performed in the same manner as the interpolation processing of the signal of the R component, detailed description thereof will be omitted.

このようにして、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１についても、ＲＧＢ成分の画像信号を得ることができる。 In this way, the first image signal generation unit 232 can obtain the image signal of the RGB component also for the pixel 311 corresponding to the out-of-focus region.

以上のように、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１については、光電変換部１３、１４の出力信号を加算した加算信号に基づき画像信号を生成し、非合焦領域に対応する画素３１１については、光電変換部１３、１４のいずれか一方の出力信号に基づき画像信号を生成する。 As described above, the first image signal generation unit 232 generates an image signal for the pixel 311 corresponding to the substantially in-focus region based on the addition signal obtained by adding the output signals of the photoelectric conversion units 13 and 14, and does not generate an image signal. For the pixel 311 corresponding to the focusing region, an image signal is generated based on the output signal of either one of the photoelectric conversion units 13 and 14.

＜ケラレの判定＞
上述では、非合焦領域に対応する画素３１１において、光電変換部１３の出力信号を用いて画像信号を生成する場合について説明したが、ケラレの状況に基づいて光電変換部１３、１４のいずれか一方を選択して画像信号を生成するようにしてもよい。 <Vignetting judgment>
In the above, the case where the image signal is generated by using the output signal of the photoelectric conversion unit 13 in the pixel 311 corresponding to the out-of-focus region has been described, but any one of the photoelectric conversion units 13 and 14 is described based on the vignetting situation. One may be selected to generate an image signal.

図１５は、交換レンズ２０２の射出瞳の位置とケラレとの関係を説明する図である。撮像素子２１２上の画素エリア１０１、１０２には一対の測距瞳９３、９４を通過する光束により一対の像が形成され、当該一対の像に対応する信号を各画素エリア１０１、１０２に配置された画素３１１が出力することになる。一対の測距瞳９３、９４は、交換レンズ２０２の射出瞳９０の測距瞳面に位置し、その測距瞳面は、交換レンズ２０２の予定結像面に配置されたマイクロレンズ１０の前方の距離ｄの位置に設定されている。距離ｄは、標準として設定した交換レンズ２０２における射出瞳９０からマイクロレンズ１０までの距離であり、以下、標準距離と呼ぶ。なお、カメラボディ２０３には種々の交換レンズ２０２が装着可能であり、装着する交換レンズ２０２によっては射出瞳９０がマイクロレンズ１０から標準距離ｄ以外の位置にある場合も想定される。 FIG. 15 is a diagram illustrating the relationship between the position of the exit pupil of the interchangeable lens 202 and vignetting. A pair of images are formed in the pixel areas 101 and 102 on the image sensor 212 by the light flux passing through the pair of ranging pupils 93 and 94, and signals corresponding to the pair of images are arranged in the pixel areas 101 and 102. The pixel 311 will be output. The pair of distance measuring pupils 93 and 94 are located on the distance measuring pupil surface of the exit pupil 90 of the interchangeable lens 202, and the distance measuring pupil surface is in front of the microlens 10 arranged on the planned image plane of the interchangeable lens 202. It is set at the position of the distance d. The distance d is the distance from the exit pupil 90 to the microlens 10 in the interchangeable lens 202 set as a standard, and is hereinafter referred to as a standard distance. Various interchangeable lenses 202 can be attached to the camera body 203, and it is assumed that the exit pupil 90 is at a position other than the standard distance d from the microlens 10 depending on the interchangeable lens 202 to be attached.

測距瞳９３を通る光束２７２と測距瞳９４を通る光束２７３が、画素エリア１０１に一対の像を形成する。測距瞳９３を通る光束２８２と測距瞳９４を通る光束２８３が、画素エリア１０２に一対の像を形成する。交換レンズ２０２の射出瞳の位置が標準距離ｄの位置にある場合は、画素エリア１０１の光電変換部１３、１４が受光する光束２７２、２７３および画素エリア１０２の光電変換部１３、１４が受光する光束２８２、２８３は制限されない（すなわちケラレが生じない）。 The luminous flux 272 passing through the ranging pupil 93 and the luminous flux 273 passing through the ranging pupil 94 form a pair of images in the pixel area 101. The luminous flux 282 passing through the ranging pupil 93 and the luminous flux 283 passing through the ranging pupil 94 form a pair of images in the pixel area 102. When the position of the exit pupil of the interchangeable lens 202 is at the position of the standard distance d, the luminous fluxes 272 and 273 received by the photoelectric conversion units 13 and 14 of the pixel area 101 and the photoelectric conversion units 13 and 14 of the pixel area 102 receive light. The luminous fluxes 282 and 283 are not limited (that is, no vignetting occurs).

光軸９１上にある画素エリア１０１に属する画素３１１については交換レンズ２０２の射出瞳の位置が標準距離ｄ以外の位置にあっても、光電変換部１３、１４が受光する光束２７２、２７３は光軸９１に対して対称に制限されるので、画像信号を生成する際、光電変換部１３、１４のどちらを選択してもよい。 Regarding the pixel 311 belonging to the pixel area 101 on the optical axis 91, even if the position of the exit pupil of the interchangeable lens 202 is at a position other than the standard distance d, the luminous fluxes 272 and 273 received by the photoelectric conversion units 13 and 14 are light. Since it is restricted symmetrically with respect to the axis 91, either the photoelectric conversion unit 13 or 14 may be selected when generating the image signal.

一方、光軸９１から離れた（撮影画面の周辺に位置する）画素エリア１０２に属する画素３１１については、交換レンズ２０２の射出瞳の位置によって光電変換部１３、１４が受光する光束２８２、２８３の制限のされ方が異なるので、より光束が制限されていない（ケラレが少ない、すなわち一様輝度における出力が大きい）方の光電変換部を選択して、画像信号を生成する。 On the other hand, with respect to the pixel 311 belonging to the pixel area 102 (located around the shooting screen) away from the optical axis 91, the luminous fluxes 282 and 283 received by the photoelectric conversion units 13 and 14 depending on the position of the exit pupil of the interchangeable lens 202. Since the restrictions are different, the photoelectric conversion unit whose luminous flux is less restricted (less vignetting, that is, the output at uniform luminance is large) is selected to generate an image signal.

例えば交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合、光束２８３より光束２８２の方がケラレが少ないので、光束２８２を受光する光電変換部１３を選択して画像信号を生成する。 For example, when the exit pupil of the interchangeable lens 202 is on the pupil surface 105 at a distance d1 shorter than the standard distance d, the luminous flux 282 has less vignetting than the luminous flux 283, so the photoelectric conversion unit 13 that receives the luminous flux 282 is selected. Generate an image signal.

また交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光束２８２より光束２８３の方がケラレが少ないので、光束２８３を受光する光電変換部１４を選択して画像信号を生成する。 Further, when the exit pupil of the interchangeable lens 202 is on the pupil surface 110 at a distance d2 longer than the standard distance d, the luminous flux 283 has less vignetting than the luminous flux 282, so the photoelectric conversion unit 14 that receives the luminous flux 283 is selected. Generate an image signal.

なお、画素エリア１０２と光軸９１に対して反対側にある画素エリアに関しては、画素エリア１０２と一対の光束のケラレ方が逆になる。すなわち交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合は光電変換部１４を選択し、交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光電変換部１３を選択する。 Regarding the pixel area on the opposite side of the pixel area 102 and the optical axis 91, the vignetting of the pair of light fluxes with the pixel area 102 is opposite. That is, when the exit pupil of the interchangeable lens 202 is on the pupil surface 105 of the distance d1 shorter than the standard distance d, the photoelectric conversion unit 14 is selected, and the exit pupil of the interchangeable lens 202 is the pupil surface 110 of the distance d2 longer than the standard distance d. If so, the photoelectric conversion unit 13 is selected.

このようにケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に基づき、非合焦領域に対応する画素３１１の位置において、ケラレの状況、すなわちケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１の位置において、ケラレ判定部２３７によって選択された光電変換部の出力信号に基づき画像信号を生成する。なお、光電変換部１３、１４が受光する一対の光束において、ケラレが同程度である場合、もしくは両方ともケラレが生じない場合には、光電変換部１３、１４のどちらを選択するようにしてもよい。 In this way, the vignetting determination unit 237 is based on the position information of the exit pupil of the interchangeable lens 202, and at the position of the pixel 311 corresponding to the out-of-focus region, the vignetting situation, that is, which of the pair of luminous fluxes causes more vignetting. Is determined, and among the photoelectric conversion units 13 and 14, the photoelectric conversion unit that receives the light flux with less vignetting is selected. The first image signal generation unit 232 generates an image signal based on the output signal of the photoelectric conversion unit selected by the vignetting determination unit 237 at the position of the pixel 311 corresponding to the out-of-focus region. If the pair of luminous fluxes received by the photoelectric conversion units 13 and 14 have the same degree of vignetting, or if vignetting does not occur in both of them, either the photoelectric conversion units 13 or 14 may be selected. Good.

また、交換レンズ２０２の射出瞳の位置情報は、交換レンズ２０２のレンズ駆動制御装置２０６から電気接点２１３を介して通信により取得すればよい。また、ケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に加え、交換レンズ２０２の絞り値（Ｆ値）の情報を用いて、上記ケラレの状況を判定してもよい。 Further, the position information of the exit pupil of the interchangeable lens 202 may be acquired from the lens drive control device 206 of the interchangeable lens 202 by communication via the electrical contact 213. Further, the vignetting determination unit 237 may determine the vignetting situation by using the information of the aperture value (F value) of the interchangeable lens 202 in addition to the position information of the exit pupil of the interchangeable lens 202.

＜画像の解析＞
画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。上述したように当該画像信号は、非合焦領域について光電変換部１３、１４のいずれか一方の出力信号を用いていることにより、非合焦領域についてもボケの少ない画像となるので、被写体画像の解析処理を精度よく行うことができる。 <Image analysis>
The image analysis unit 234 performs analysis processing of the subject image based on the image signal generated by the first image signal generation unit 232. As described above, since the image signal uses the output signal of either one of the photoelectric conversion units 13 and 14 for the out-of-focus region, the image becomes an image with less blur even in the out-of-focus region. The analysis process can be performed with high accuracy.

画像解析部２３４は、被写体画像の解析処理として、たとえば、被写体画像からエッジを検出するエッジ検出処理、および被写体画像内の顔を認識する顔認識処理の少なくとも一方を行う。顔認識処理としては、たとえば、被写体画像内の顔を検出し、その顔が所定人物の顔であるか否かを識別する顔認証処理などを行う。顔認証処理では、被写体画像に含まれる顔の特徴量と、あらかじめカメラボディ２０３内の不図示の記憶部に登録されている登録ユーザーの顔の特徴量とを比較し、被写体画像に含まれる顔が登録ユーザーの顔であるか否かを識別する。エッジ検出処理および顔認識処理は、公知の技術であるため、詳細な説明は省略する。 The image analysis unit 234 performs at least one of an edge detection process for detecting an edge from the subject image and a face recognition process for recognizing a face in the subject image as the analysis process of the subject image. The face recognition process includes, for example, a face recognition process that detects a face in a subject image and identifies whether or not the face is the face of a predetermined person. In the face recognition process, the facial features included in the subject image are compared with the facial features of the registered user registered in advance in a storage unit (not shown) in the camera body 203, and the face included in the subject image is compared. Identifies whether is the face of a registered user. Since the edge detection process and the face recognition process are known techniques, detailed description thereof will be omitted.

（スルー画像および記録用の画像信号の生成）
第２の画像信号生成部２３３は、撮影画面全体に対応する画素３１１について、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を、スルー画像または記録用の画像信号として生成する。この画像信号の生成処理は、上述した第１の画像信号生成部２３２において、略合焦領域に対応する画素の画像信号の生成処理と同様に行うため、詳細な説明を省略する。 (Generation of through image and image signal for recording)
The second image signal generation unit 233 added and averaged the output signal a of the photoelectric conversion unit 13 and the output signal b of the photoelectric conversion unit 14 for the pixels 311 corresponding to the entire shooting screen, (a + b) / 2. Is generated as a through image or an image signal for recording. Since this image signal generation process is performed in the first image signal generation unit 232 described above in the same manner as the image signal generation process of the pixels corresponding to the substantially in-focus region, detailed description thereof will be omitted.

表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示させる。また、不図示のシャッターボタンが全押し操作された場合は、記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像を記録する。 The display control unit 235 causes the liquid crystal display element 216 to display a through image based on the image signal generated by the second image signal generation unit 233. When the shutter button (not shown) is fully pressed, the recording control unit 236 records an image on the memory card 219 based on the image signal generated by the second image signal generation unit 233.

このようにスルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、解析用の画像と異なり、非合焦領域においても光電変換部１３、１４の出力信号を加算して画像信号を生成する。 When the through image or the image for recording is generated in this way, the image is made by taking advantage of the blur, so unlike the image for analysis, the output signals of the photoelectric conversion units 13 and 14 are added even in the out-of-focus region. To generate an image signal.

上述した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ２０１において、撮像素子２１２には、マイクロレンズ１０と交換レンズ２０２の瞳の一対の領域を通過した一対の光束をマイクロレンズ１０を介してそれぞれ受光して一対の出力信号をそれぞれ生成する一対の光電変換部１３、１４を有する画素３１１が二次元状に配置される。焦点検出部２３０は、横方向に配置された複数の画素３１１から出力される一対の出力信号の列のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する。区分部２３１は、デフォーカス量に基づき、前記撮影画面を略合焦領域と非合焦領域とに区分する。第１の画像信号生成部２３２は、略合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成し、非合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とのいずれか一方の出力信号によって画像信号を生成する。このような構成により、非合焦領域においてもボケの少ない画像、すなわち撮影画面全体が鮮明な画像を取得することができる。 According to the above-described embodiment, the following effects can be obtained.
(1) In the digital camera 201, the image sensor 212 receives a pair of light beams that have passed through a pair of pupil regions of the microlens 10 and the interchangeable lens 202 via the microlens 10, and receives a pair of output signals, respectively. A lens 311 having a pair of photoelectric conversion units 13 and 14 to be generated is arranged in a two-dimensional manner. The focus detection unit 230 detects the amount of deviation of a row of a pair of output signals output from a plurality of pixels 311 arranged in the horizontal direction, and detects the amount of defocus at various positions on the photographing screen. The division unit 231 divides the shooting screen into a substantially focused region and a non-focused region based on the defocus amount. The first image signal generation unit 232 generates an image signal for the pixel 311 in the substantially focused region by adding the output signal of the photoelectric conversion unit 13 and the output signal of the photoelectric conversion unit 14 to generate an image signal, and the first image signal generation unit 232 does not match. For the pixel 311 in the focusing region, an image signal is generated by the output signal of either the output signal of the photoelectric conversion unit 13 or the output signal of the photoelectric conversion unit 14. With such a configuration, it is possible to acquire an image with less blur even in the out-of-focus region, that is, an image in which the entire shooting screen is clear.

（２）デジタルカメラ２０１において、第２の画像信号生成部２３３は、撮影画面全体の画素３１１について、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成する。このような構成により、非合焦領域のボケを生かした画像を取得することができる。 (2) In the digital camera 201, the second image signal generation unit 233 uses an additional signal obtained by adding the output signal of the photoelectric conversion unit 13 and the output signal of the photoelectric conversion unit 14 to the pixels 311 of the entire shooting screen. To generate. With such a configuration, it is possible to acquire an image that makes the best use of the blur in the out-of-focus region.

（３）デジタルカメラ２０１において、画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行い、表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、スルー画像を液晶表示素子２１６に表示させる。このような構成により、非合焦領域においてボケの少ない画像を用いて被写体画像の解析処理を行うので当該解析処理を精度よく行うことができ、スルー画像としては非合焦領域のボケを生かした画像を表示することができる。 (3) In the digital camera 201, the image analysis unit 234 performs an analysis process of the subject image based on the image signal generated by the first image signal generation unit 232, and the display control unit 235 performs the second image signal. Based on the image signal generated by the generation unit 233, the through image is displayed on the liquid crystal display element 216. With such a configuration, the subject image is analyzed using an image with less blur in the out-of-focus region, so that the analysis process can be performed accurately, and the blur in the out-of-focus region is utilized as the through image. Images can be displayed.

（４）デジタルカメラ２０１において、ケラレ判定部２３７は、交換レンズ２０２の瞳位置の情報に基づきケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域の画素３１１について、ケラレ判定部２３７によって選択された光電変換部の出力信号によって画像信号を生成する。このような構成により、ケラレが少ない、すなわち一様輝度における出力が大きい方の光電変換部を用いて画像信号を生成することができる。 (4) In the digital camera 201, the vignetting determination unit 237 determines which of the pair of luminous fluxes the vignetting occurs more based on the information on the pupil position of the interchangeable lens 202, and among the photoelectric conversion units 13 and 14, the vignetting determination unit Select the photoelectric conversion unit that receives the smaller luminous flux. The first image signal generation unit 232 generates an image signal for the pixels 311 in the out-of-focus region from the output signal of the photoelectric conversion unit selected by the vignetting determination unit 237. With such a configuration, it is possible to generate an image signal by using the photoelectric conversion unit having less vignetting, that is, having a larger output at uniform brightness.

（５）デジタルカメラ２０１において、第１の画像信号生成部２３２は、非合焦領域の画素３１１について、光電変換部１３の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１３の出力信号に基づき色補間処理を行い、光電変換部１４の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１４の出力信号に基づき色補間処理を行う。このような構成により、色補間処理を精度よく行うことができる。 (5) In the digital camera 201, when the first image signal generation unit 232 generates an image signal from the output signal of the photoelectric conversion unit 13 for the pixel 311 in the out-of-focus region, the photoelectric in the peripheral pixels 311 When color interpolation processing is performed based on the output signal of the conversion unit 13 and an image signal is generated from the output signal of the photoelectric conversion unit 14, color interpolation processing is performed based on the output signal of the photoelectric conversion unit 14 in the peripheral pixels 311. .. With such a configuration, the color interpolation process can be performed with high accuracy.

（６）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２には、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束７３、７４をそれぞれ受光して第１の出力信号を生成する第１の光電変換部１３と第２の出力信号を生成する第２の光電変換部１４とを有する画素が複数配置される。第１の画像信号生成部２３２は、第１の出力信号により、画像信号生成に用いられる画素３１１の信号を生成する。このような構成により、ボケの少ない鮮明な画像を取得することができる。 (6) The digital camera 201 includes an image sensor 212 and a first image signal generation unit 232. The image sensor 212 receives the first and second light fluxes 73 and 74, which are a pair of light fluxes that have passed through the pair of distance measuring pupils 93 and 94 of the exit pupil 90 of the interchangeable lens 202, and receives the first output signal, respectively. A plurality of pixels having a first photoelectric conversion unit 13 for generating a second photoelectric conversion unit 13 and a second photoelectric conversion unit 14 for generating a second output signal are arranged. The first image signal generation unit 232 generates the signal of the pixel 311 used for image signal generation from the first output signal. With such a configuration, it is possible to acquire a clear image with less blur.

（７）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２は、第１の画素３１１とその周辺の第２の画素３１１とをそれぞれ複数有する。第１の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第１の色成分の第１の信号及び第２の信号をそれぞれ生成する第１の光電変換部１３及び第２の光電変換部１４を有する。第２の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第２の色成分の第３の信号及び第４の信号をそれぞれ生成する第３の光電変換部１３及び第４の光電変換部１４を有する。第１の画像信号生成部２３２は、略合焦領域では、第３の信号と第４の信号とを加算して生成した画像信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。第１の画像信号生成部２３２は、非合焦領域では、第３の信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。このような構成により、色補間処理を使い分けることができる。また、ボケを生かした画像とボケの少ない画像とを適宜作成することができる。 (7) The digital camera 201 includes an image sensor 212 and a first image signal generation unit 232. The image pickup device 212 has a plurality of first pixels 311 and a plurality of second pixels 311 around the first pixel 311. The first pixel 311 receives the first and second light fluxes, which are a pair of light fluxes passing through the pair of distance measuring pupils 93 and 94 of the exit pupil 90 of the interchangeable lens 202, respectively, and receives the first and second light fluxes of the first color component. It has a first photoelectric conversion unit 13 and a second photoelectric conversion unit 14 that generate a first signal and a second signal, respectively. The second pixel 311 receives the first and second light fluxes, which are a pair of light fluxes passing through the pair of distance measuring pupils 93 and 94 of the exit pupil 90 of the interchangeable lens 202, respectively, and receives the second light flux of the second color component. It has a third photoelectric conversion unit 13 and a fourth photoelectric conversion unit 14 that generate a third signal and a fourth signal, respectively. In the substantially focused region, the first image signal generation unit 232 uses an image signal generated by adding the third signal and the fourth signal to generate a second color component at the position of the first pixel 311. Interpolate the signal. In the out-of-focus region, the first image signal generation unit 232 interpolates the signal of the second color component at the position of the first pixel 311 by the third signal. With such a configuration, the color interpolation processing can be used properly. In addition, it is possible to appropriately create an image that makes use of the blur and an image that has less blur.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
ボディ駆動制御装置２１４は、第１の画像信号生成部２３２を、スルー画像または記録用画像生成のための画像信号の生成部としても用いることができる。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。 The following modifications are also within the scope of the present invention, and one or more of the modifications can be combined with the above-described embodiment.
(Modification example 1)
The body drive control device 214 can also use the first image signal generation unit 232 as an image signal generation unit for generating a through image or a recording image. In this case, the through image or the image for recording becomes an image with less blur even in the out-of-focus region.

その場合、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により画像を生成するモードと第２の画像信号生成部２３３により画像を生成するモードとをたとえばユーザー操作に応じて切り替えることによって、好適なスルー画像または記録用の画像を生成してもよい。これにより、非合焦領域においてもボケの少ない画像を撮影するか、ボケを生かした画像を撮影するかをユーザーの所望に応じて選択することができる。 In that case, the body drive control device 214 switches between a mode in which the first image signal generation unit 232 generates an image and a mode in which the second image signal generation unit 233 generates an image, for example, according to a user operation. , Suitable through images or images for recording may be generated. As a result, it is possible to select whether to shoot an image with less blur even in the out-of-focus region or to shoot an image utilizing the blur, according to the user's desire.

また、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により生成された画像信号により生成された画像信号を用いたスルー画像または記録用の画像を生成するとともに、第２の画像信号生成部２３３により生成された画像信号を用いたスルー画像または記録用の画像を生成することにより、２種類の画像を生成してもよい。これにより、１回の撮影において、２種類の画像、すなわち非合焦領域においてもボケの少ない画像とボケを生かした画像との両方を取得することができる。ユーザーは、これら２種類の画像を、所望に応じて適宜利用することができる。 Further, the body drive control device 214 generates a through image or an image for recording using the image signal generated by the image signal generated by the first image signal generation unit 232, and also generates a second image signal. Two types of images may be generated by generating a through image or an image for recording using the image signal generated by the unit 233. As a result, it is possible to acquire two types of images in one shooting, that is, both an image with less blur and an image with blur even in the out-of-focus region. The user can appropriately use these two types of images as desired.

（変形例２）
第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１及び非合焦領域に対応する画素３１１の両方について、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成することとしてもよい。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。そのため、第１の画像信号生成部２３２は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。 (Modification 2)
The first image signal generation unit 232 has either an output signal of the photoelectric conversion unit 13 or an output signal of the photoelectric conversion unit 14 for both the pixel 311 corresponding to the substantially in-focus region and the pixel 311 corresponding to the out-of-focus region. An image signal may be generated based on one of the output signals. The output signals of the photoelectric conversion units 13 and 14 have any of R, G, and B color components according to the rules of the Bayer arrangement corresponding to each pixel position, and are different from the color components of the arranged color filters. Insufficient color component signal. Therefore, when the output signal of the photoelectric conversion unit 13 is used as an image signal, the first image signal generation unit 232 uses the output signal of the photoelectric conversion unit 13 of the peripheral pixels 311 to generate a signal of a insufficient color component. Then, when the output signal of the photoelectric conversion unit 14 is used as an image signal, a color interpolation process is performed using the output signal of the photoelectric conversion unit 14 of the peripheral pixels 311 to generate a signal of a insufficient color component.

こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、解析用の画像信号が生成される。さらに、こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、スルー画像および記録用の画像信号が生成されることとしてもよい。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。 An image signal for analysis is generated based on the image signal generation process and the color interpolation process by the first image signal generation unit 232. Further, the through image and the image signal for recording may be generated based on the image signal generation process and the color interpolation process by the first image signal generation unit 232. In this case, the through image or the image for recording becomes an image with less blur even in the out-of-focus region.

（変形例３）
撮影画面を略合焦領域と非合焦領域とに区分する区分部２３１を設けないこととしてもよい。この場合において、第１の画像信号生成部２３２は、撮影画面内の領域に対応する画素３１１の光電変換部１３、１４の出力信号を加算して画像信号を生成する。その際、第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３、１４の出力信号を加算して不足する色成分の信号を生成する第１の補間処理を行う。こうして第１の画像信号生成部２３２により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。 (Modification example 3)
It is also possible not to provide the division portion 231 that divides the shooting screen into a substantially focused region and a non-focused region. In this case, the first image signal generation unit 232 adds the output signals of the photoelectric conversion units 13 and 14 of the pixels 311 corresponding to the region in the shooting screen to generate an image signal. At this time, the first image signal generation unit 232 performs the first interpolation process of adding the output signals of the photoelectric conversion units 13 and 14 of the peripheral pixels 311 to generate a signal of a insufficient color component. The image signal thus generated by the first image signal generation unit 232 may be used as an image signal for analysis, or may be used as a through image and an image signal for recording.

第２の画像信号生成部２３３は、撮影画面内の領域に対応する画素３１１の光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。その際、第２の画像信号生成部２３３は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する第２の補間処理を行う。こうして第２の画像信号生成部２３３により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。 The second image signal generation unit 233 generates an image signal based on the output signal of either the photoelectric conversion unit 13 of the pixel 311 or the output signal of the photoelectric conversion unit 14 corresponding to the region in the shooting screen. .. At that time, when the output signal of the photoelectric conversion unit 13 is used as an image signal, the second image signal generation unit 233 uses the output signal of the photoelectric conversion unit 13 of the peripheral pixels 311 to generate a signal of a insufficient color component. When the output signal of the photoelectric conversion unit 14 is generated and used as an image signal, a second interpolation process of generating a signal of a insufficient color component is performed using the output signal of the photoelectric conversion unit 14 of the peripheral pixels 311. The image signal thus generated by the second image signal generation unit 233 may be used as an image signal for analysis, or may be used as a through image and an image signal for recording.

（変形例４）
色補間処理の方法は、上述した例に限らない。たとえば、図１３（ｃ）に示したＧ成分の補間処理において、注目位置に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置の出力信号（Ｇ成分の信号）を単純平均することで、注目位置におけるＧ成分の信号を求めるようにしてもよい。 (Modification example 4)
The method of color interpolation processing is not limited to the above-mentioned example. For example, in the interpolation process of the G component shown in FIG. 13 (c), the output signals (G component signals) at four positions corresponding to the photoelectric conversion unit 13 of the pixels adjacent to the pixel corresponding to the attention position in the vertical and horizontal directions. May be obtained by simply averaging the signals of the G component at the position of interest.

また、たとえば、Ｇ成分の補間処理において、横方向または縦方向にエッジがあると判定された場合も、注目位置に対応する画素に縦横方向に隣接する４つの画素の出力信号を加重平均することにより、注目位置のＧ成分の信号を求めるようにしてもよい。この場合、横方向にエッジがあると判定された場合は、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。一方、縦方向にエッジがあると判定された場合は、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。 Further, for example, even when it is determined that there is an edge in the horizontal direction or the vertical direction in the interpolation process of the G component, the output signals of the four pixels adjacent to the pixel corresponding to the attention position in the vertical and horizontal directions are weighted and averaged. Therefore, the signal of the G component at the position of interest may be obtained. In this case, if it is determined that there is an edge in the horizontal direction, the weighting coefficient to be multiplied by the output signals of the two pixels adjacent in the vertical direction is increased, and the output signals of the two pixels adjacent in the horizontal direction are multiplied. Reduce the weighting factor. On the other hand, when it is determined that there is an edge in the vertical direction, the weighting coefficient to be multiplied by the output signals of the two pixels adjacent in the horizontal direction is increased, and the output signals of the two pixels adjacent in the vertical direction are multiplied. Reduce the weighting factor.

（変形例５）
上述した実施の形態では、画素３１１の例として、１画素当たり２つの光電変換部を有する２ＰＤ構成を例に説明したが、複数の光電変換部の数は２つに限らず、４ＰＤでも１６ＰＤでも構わない。 (Modification 5)
In the above-described embodiment, as an example of the pixel 311, a 2PD configuration having two photoelectric conversion units per pixel has been described as an example, but the number of the plurality of photoelectric conversion units is not limited to two, and may be 4PD or 16PD. I do not care.

（変形例６）
上述した実施の形態では、撮像素子２１２の例として、撮像面の全域に焦点検出用の画素（一対の光電変換部を有する画素）が設けられる例について説明した。しかしながら、撮像素子２１２において、焦点検出エリアに対応する位置にのみ焦点検出用の画素が配置され、その他の位置には通常の画素（１つの光電変換部を有する画素）が配置されていてもよい。 (Modification 6)
In the above-described embodiment, as an example of the image sensor 212, an example in which pixels for focus detection (pixels having a pair of photoelectric conversion units) are provided over the entire image pickup surface has been described. However, in the image sensor 212, pixels for focus detection may be arranged only at positions corresponding to the focus detection area, and ordinary pixels (pixels having one photoelectric conversion unit) may be arranged at other positions. ..

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.

１０…マイクロレンズ、１３、１４…光電変換部、２０１…デジタルカメラ、２０２…交換レンズ、２０３…カメラボディ、２１２…撮像素子、２１４…ボディ駆動制御装置、２１６…液晶表示素子、２１９…メモリカード、２３０…焦点検出部、２３１…区分部、２３２…第１の画像信号生成部、２３３…第２の画像信号生成部、２３４…画像解析部、２３５…表示制御部、２３６…記録制御部、２３７…ケラレ判定部、３１１…画素 10 ... microlens, 13, 14 ... photoelectric conversion unit, 201 ... digital camera, 202 ... interchangeable lens, 203 ... camera body, 212 ... image sensor, 214 ... body drive control device, 216 ... liquid crystal display element, 219 ... memory card , 230 ... Focus detection unit, 231 ... Division unit, 232 ... First image signal generation unit, 233 ... Second image signal generation unit, 234 ... Image analysis unit, 235 ... Display control unit, 236 ... Recording control unit, 237 ... Vignetting judgment unit, 311 ... Pixel

Claims (12)

光学系を通過する第１の光束を受光して生成した電荷に基づき第１の信号を生成する第１の光電変換部と、前記光学系を通過する第２の光束を受光して生成した電荷に基づき第２の信号を生成する第２の光電変換部と、前記第１の信号及び前記第２の信号を出力する画素が複数配置される撮像素子と、
複数の前記画素のうち非合焦領域の画素から出力される前記第１の信号により、画像信号生成に用いられる前記画素の信号を生成する信号生成部と、
を備える撮像装置。 A first photoelectric conversion unit that generates a first signal based on a charge generated by receiving a first light flux passing through an optical system, and a charge generated by receiving a second light flux passing through the optical system. A second photoelectric conversion unit that generates a second signal based on the above, and an image sensor in which a plurality of pixels that output the first signal and the second signal are arranged.
A signal generation unit that generates a signal of the pixel used for image signal generation by the first signal output from the pixel in the out-of-focus region among the plurality of the pixels.
An imaging device comprising. 請求項１に記載の撮像装置において、
前記信号生成部は、前記第１の信号と前記第２の信号とに基づいて非合焦領域を区別する撮像装置。 In the imaging device according to claim 1,
The signal generation unit is an imaging device that distinguishes an out-of-focus region based on the first signal and the second signal. 請求項２に記載の撮像装置において、
前記信号生成部は、前記第１の信号と前記第２の信号とに基づくデフォーカス量に基づいて前記非合焦領域を区別する撮像装置。 In the imaging device according to claim 2,
The signal generation unit is an imaging device that distinguishes the out-of-focus region based on the amount of defocus based on the first signal and the second signal. 請求項３に記載の撮像装置において、
前記非合焦領域の画素は、第１の色成分に対応する第１の画素と、第２の色成分に対応する第２の画素とを含み、
前記第１の画素は、前記第１の色成分の前記第１の信号及び前記第１の色成分の前記第２の信号をそれぞれ出力し、
前記第２の画素は、前記第２の色成分の前記第１の信号及び前記第２の色成分の前記第２の信号をそれぞれ出力し、
前記信号生成部は、前記第１の色成分の前記第１の信号により前記第２の色成分の前記第１の信号を補間する撮像装置。 In the imaging device according to claim 3,
The pixel in the out-of-focus region includes a first pixel corresponding to the first color component and a second pixel corresponding to the second color component.
The first pixel outputs the first signal of the first color component and the second signal of the first color component, respectively.
The second pixel outputs the first signal of the second color component and the second signal of the second color component, respectively.
The signal generation unit is an imaging device that interpolates the first signal of the second color component with the first signal of the first color component. 光学系を通過した第１及び第２の光束を受光して第１及び第２の信号をそれぞれ出力する画素が配置される撮像素子と、
前記第１の信号及び前記第２の信号に基づいてデフォーカス量を検出する検出部と、
前記検出部で検出された前記デフォーカス量に基づいて画面を合焦領域と非合焦領域とに区分し、前記合焦領域の前記画素から出力された前記第１の信号と前記第２の信号とを加算して画像信号を生成し、前記非合焦領域の前記画素から出力された前記第１の信号と前記第２の信号との一方の信号により画像信号を生成する信号生成部と、
を備える撮像装置。 An image sensor in which pixels are arranged to receive the first and second luminous fluxes that have passed through the optical system and output the first and second signals, respectively.
A detection unit that detects the amount of defocus based on the first signal and the second signal, and
The screen is divided into an in- focus region and an out-of-focus region based on the defocus amount detected by the detection unit, and the first signal and the second signal output from the pixels in the in-focus region. It generates an image signal by adding a signal, and the unfocused signal generator for generating an image signal by one of the signal between the first signal and the second signal output from the pixel area ,
An imaging device comprising. 請求項５に記載の撮像装置において、
前記信号生成部は、前記画面全体の前記画素から出力された前記第１の信号と前記第２の信号とを加算して画像信号を生成する、撮像装置。 In the imaging device according to claim 5,
The signal generation unit is an imaging device that generates an image signal by adding the first signal and the second signal output from the pixels of the entire screen. 請求項６に記載の撮像装置において、
前記合焦領域の前記画素から出力された前記第１の信号と前記第２の信号とを加算した画像信号に基づいて、画像の解析処理を行う解析部と、
前記画面全体の前記画素から出力された前記第１の信号と前記第２の信号とを加算した画像信号に基づいて、スルー画像を表示する表示部と、
を更に備える撮像装置。 In the imaging device according to claim 6,
An analysis unit that performs image analysis processing based on an image signal obtained by adding the first signal and the second signal output from the pixel in the focusing region .
A display unit that displays a through image based on an image signal obtained by adding the first signal and the second signal output from the pixels of the entire screen.
An imaging device further equipped with. 請求項７に記載の撮像装置において、
前記解析部は、前記画像からエッジを検出するエッジ検出処理および前記画像内の顔を認識する顔認識処理の少なくとも一方を行う、撮像装置。 In the imaging device according to claim 7,
The analysis unit is an imaging device that performs at least one of an edge detection process for detecting an edge from the image and a face recognition process for recognizing a face in the image. 請求項５〜８のいずれか一項に記載の撮像装置において、
前記画素は、前記光学系とマイクロレンズとを通過した前記第１及び第２の光束をそれぞれ受光して電荷を生成する第１及び第２の光電変換部を有し、前記第１の光電変換部で生成された電荷に基づく前記第１の信号と前記第２の光電変換部で生成された電荷に基づく前記第２の信号とを出力する、撮像装置。 In the imaging device according to any one of claims 5 to 8.
The pixel has first and second photoelectric conversion units that receive the first and second light fluxes that have passed through the optical system and the microlens and generate electric charges, respectively, and the first photoelectric conversion is performed. An imaging device that outputs the first signal based on the electric charge generated by the unit and the second signal based on the electric charge generated by the second photoelectric conversion unit. 請求項９に記載の撮像装置において、In the imaging device according to claim 9,
前記光学系の瞳位置の情報に基づいて、前記第１及び第２の光束のうちケラレの少ない方の光束を受光する前記第１又は第２の光電変換部を選択する選択部をさらに備え、Further, a selection unit for selecting the first or second photoelectric conversion unit that receives the light flux having less vignetting among the first and second light fluxes based on the information of the pupil position of the optical system is further provided.
前記信号生成部は、前記非合焦領域の前記画素について、前記選択部によって選択された前記第１又は第２の光電変換部で生成された電荷に基づく前記第１又は第２の信号によって画像信号を生成する、撮像装置。The signal generation unit uses the first or second signal based on the charges generated by the first or second photoelectric conversion unit selected by the selection unit for the pixels in the out-of-focus region. An image pickup device that generates a signal. 請求項５〜１０のいずれか一項に記載の撮像装置において、
前記画素は、前記第１及び第２の光束の第１の色成分に対応する前記第１及び第２の信号を出力する第１の画素と、前記第１及び第２の光束の前記第１の色成分と異なる第２の色成分に対応する前記第１及び第２の信号を出力する第２の画素と、を含み、
前記信号生成部は、前記第１の画素から出力された前記第１及び第２の信号を、前記第２の画素から出力された前記第１及び第２の信号に基づいて補間し、前記第２の画素から出力された前記第１及び前記第２の信号を、前記第１の画素から出力された前記第１及び第２の信号に基づいて補間する、撮像装置。 In the imaging device according to any one of claims 5 to 10.
The pixels are a first pixel that outputs the first and second signals corresponding to the first color component of the first and second luminous flux, and the first pixel of the first and second luminous flux. A second pixel that outputs the first and second signals corresponding to a second color component different from the color component of
The signal generation unit interpolates the first and second signals output from the first pixel based on the first and second signals output from the second pixel, and the first signal generation unit interpolates the first and second signals. An imaging device that interpolates the first and second signals output from the second pixel based on the first and second signals output from the first pixel. 請求項１１に記載の撮像装置において、In the imaging device according to claim 11,
前記信号生成部は、前記第１の画素から出力された前記第１の信号を前記第２の画素から出力された前記第１の信号に基づいて補間し、前記第１の画素から出力された前記第２の信号を前記第２の画素から出力された前記第２の信号に基づいて補間する、撮像装置。The signal generation unit interpolates the first signal output from the first pixel based on the first signal output from the second pixel, and outputs the signal from the first pixel. An imaging device that interpolates the second signal based on the second signal output from the second pixel.
JP2016236096A 2015-12-04 2016-12-05 Imaging device Active JP6891470B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021089424A JP7235068B2 (en) 2015-12-04 2021-05-27 Imaging device
JP2023025815A JP7501696B2 (en) 2015-12-04 2023-02-22 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015237632 2015-12-04
JP2015237632 2015-12-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021089424A Division JP7235068B2 (en) 2015-12-04 2021-05-27 Imaging device

Publications (2)

Publication Number Publication Date
JP2017108404A JP2017108404A (en) 2017-06-15
JP6891470B2 true JP6891470B2 (en) 2021-06-18

Family

ID=59060965

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016236096A Active JP6891470B2 (en) 2015-12-04 2016-12-05 Imaging device
JP2021089424A Active JP7235068B2 (en) 2015-12-04 2021-05-27 Imaging device
JP2023025815A Active JP7501696B2 (en) 2015-12-04 2023-02-22 Imaging device

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021089424A Active JP7235068B2 (en) 2015-12-04 2021-05-27 Imaging device
JP2023025815A Active JP7501696B2 (en) 2015-12-04 2023-02-22 Imaging device

Country Status (1)

Country Link
JP (3) JP6891470B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330769A (en) * 2000-05-24 2001-11-30 Canon Inc Image pickup device and its control method
JP4812541B2 (en) 2006-02-21 2011-11-09 京セラ株式会社 Imaging device
JP5066851B2 (en) 2006-07-05 2012-11-07 株式会社ニコン Imaging device
JP5289105B2 (en) 2009-03-05 2013-09-11 キヤノン株式会社 Image processing apparatus, control method therefor, and imaging apparatus
JP5421829B2 (en) 2010-03-18 2014-02-19 富士フイルム株式会社 Imaging device
US20150062391A1 (en) * 2012-03-30 2015-03-05 Nikon Corporation Image sensor, photographing method, and image-capturing device

Also Published As

Publication number Publication date
JP7235068B2 (en) 2023-03-08
JP2021145368A (en) 2021-09-24
JP7501696B2 (en) 2024-06-18
JP2017108404A (en) 2017-06-15
JP2023075146A (en) 2023-05-30

Similar Documents

Publication Publication Date Title
JP5066851B2 (en) Imaging device
JP4973273B2 (en) Digital camera
JP5012495B2 (en) IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE
CN108462830B (en) Image pickup apparatus and control method of image pickup apparatus
JP5454223B2 (en) camera
US8902349B2 (en) Image pickup apparatus
JP2008268403A (en) Focus detection device, focus detection method, and imaging apparatus
JP5263310B2 (en) Image generation apparatus, imaging apparatus, and image generation method
JP7264192B2 (en) Imaging element and imaging device
JP7158180B2 (en) Image processing device, image processing method, program, storage medium
JP5348258B2 (en) Imaging device
JP4710983B2 (en) Image composition device, imaging device, and image composition method
JP2009251523A (en) Correlation calculation method, correlation calculation device, focus detecting device and imaging apparatus
JP7235068B2 (en) Imaging device
JP2013210507A (en) Imaging device
JP5440585B2 (en) Digital camera
JP5338119B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5332384B2 (en) Correlation calculation device, focus detection device, and imaging device
JP2009162845A (en) Imaging device, focus detecting device and imaging apparatus
JP2009258144A (en) Correlation calculation method, correlation calculation device, focus detecting device, and imaging apparatus
JP2010139624A (en) Imaging element and imaging apparatus
JP2020085967A (en) Image processor, method for controlling the same, and program
JP5949893B2 (en) Imaging device
JP5338118B2 (en) Correlation calculation device, focus detection device, and imaging device
JP4968009B2 (en) Correlation calculation method, correlation calculation device, focus detection device, and imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201112

TRDD Decision of grant or rejection written
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210423

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R150 Certificate of patent or registration of utility model

Ref document number: 6891470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250