JP5484617B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5484617B2
JP5484617B2 JP2013096724A JP2013096724A JP5484617B2 JP 5484617 B2 JP5484617 B2 JP 5484617B2 JP 2013096724 A JP2013096724 A JP 2013096724A JP 2013096724 A JP2013096724 A JP 2013096724A JP 5484617 B2 JP5484617 B2 JP 5484617B2
Authority
JP
Japan
Prior art keywords
pixel
addition
pixels
focus detection
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013096724A
Other languages
Japanese (ja)
Other versions
JP2013178564A (en
Inventor
英則 谷口
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2013096724A priority Critical patent/JP5484617B2/en
Publication of JP2013178564A publication Critical patent/JP2013178564A/en
Application granted granted Critical
Publication of JP5484617B2 publication Critical patent/JP5484617B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は撮像装置に関する。   The present invention relates to an imaging apparatus.
特許文献1は、撮像素子に焦点検出用画素を設けて位相差検出方式による焦点検出(位相差AF)を実現する撮像装置において、間引き読み出し対象画素に焦点検出画素を含むようにした撮像装置を開示している。特許文献2は、間引き読み出しモードと加算読み出しモードを切り替えて出力する撮像装置を開示している。   Japanese Patent Application Laid-Open No. 2004-228688 discloses an imaging apparatus in which focus detection pixels are provided in an imaging element to realize focus detection (phase difference AF) by a phase difference detection method, and a focus detection pixel is included in a thinning readout target pixel. Disclosure. Patent Document 2 discloses an imaging apparatus that outputs by switching between a thinning readout mode and an addition readout mode.
特開2009−60597号公報JP 2009-60597 A 特開2003−189183号公報JP 2003-189183 A
特許文献1の撮像装置は、全画素読み出しモードと間引き読み出しモードの2種類の読み出しモードを備えている。一方、特許文献2の撮像素子は焦点検出用画素を使用していない。このため、撮像素子に焦点検出用画素を設けて位相差AFを実現する撮像装置において、特許文献1よりも画質の向上をもたらす読み出しモードとその時の効率的な焦点検出については提案されていなかった。   The imaging device of Patent Document 1 has two types of readout modes, an all-pixel readout mode and a thinning readout mode. On the other hand, the image sensor of Patent Document 2 does not use a focus detection pixel. For this reason, in an imaging apparatus that realizes phase difference AF by providing focus detection pixels in the imaging device, there has been no proposal for a reading mode that leads to an improvement in image quality and efficient focus detection at that time compared to Patent Document 1. .
本発明は、焦点検出用画素を使用して画質に優れた撮像装置を提供することを例示的な目的とする。   It is an exemplary object of the present invention to provide an image pickup apparatus having excellent image quality using focus detection pixels.
本発明の一側面としての撮像装置は、撮影レンズの射出瞳を通る光を各々が受光して被写体の像を生成する複数のG画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光する複数のR画素およびB画素と、を有する撮像素子と、前記R画素および前記B画素に形成される前記被写体の一対の像のずれ量を検出する第1の焦点検出手段と、輝度情報を主成分として取得するための前記G画素の信号を加算し、色情報を主成分として取得するための前記R画素および前記B画素の信号を間引いて出力する加算間引き読み出しモードが設定された場合に、前記第1の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させるよう制御する制御手段と、を有することを特徴とする。   An imaging apparatus according to one aspect of the present invention includes a plurality of G pixels that each receive light passing through an exit pupil of a photographing lens to generate an image of a subject, and each of which is a part of the exit pupil of the photographing lens. An image sensor having a plurality of R pixels and B pixels that receive light passing through a region, and a first focus detection that detects a shift amount of a pair of images of the subject formed in the R pixels and the B pixels And a thinning-out readout mode for adding the signals of the G pixels for acquiring luminance information as a main component and outputting the signals of the R pixels and B pixels for acquiring color information as a main component. Control means for controlling the photographic lens to move based on the detection result of the first focus detection means.
本発明は、焦点検出用画素を使用して画質に優れた撮像装置を提供することができる。   The present invention can provide an imaging device with excellent image quality using focus detection pixels.
本実施例のカメラ(撮像装置)のブロック図である。It is a block diagram of the camera (imaging device) of the present embodiment. 図1に示すカメラの撮像素子のブロック図である。It is a block diagram of the image pick-up element of the camera shown in FIG. 図2に示す撮像素子の全画素読み出しモードの動作について説明する図である。It is a figure explaining operation | movement in the all-pixel reading mode of the image pick-up element shown in FIG. 図2に示す撮像素子の加算間引き読み出しモードと加算モードの動作について説明する図である。It is a figure explaining the operation | movement of the addition thinning-out reading mode and addition mode of an image pick-up element shown in FIG. 図2に示す撮像素子の加算間引き読み出しモードと加算モードの動作について説明する図である。It is a figure explaining the operation | movement of the addition thinning-out reading mode and addition mode of an image pick-up element shown in FIG. 図2に示す撮像素子の加算間引き読み出しモードと加算モードの動作について説明する図である。It is a figure explaining the operation | movement of the addition thinning-out reading mode and addition mode of an image pick-up element shown in FIG. 加算読み出しと加算間引き読み出しを説明する図である。It is a figure explaining addition reading and addition thinning-out reading. 加算読み出しモードと加算間引き読み出しモードとを混在させたモードにおけるタイミングチャートである。6 is a timing chart in a mode in which an addition reading mode and an addition thinning-out reading mode are mixed. 全画素読み出しモードのタイミングチャートである。It is a timing chart of all pixel readout mode. 加算間引き読み出しモードのタイミングチャートである。It is a timing chart of addition thinning-out reading mode.
図1は本実施例の電子カメラ(撮像装置)のブロック図である。電子カメラは、撮像素子を有したカメラ本体と撮影レンズが一体となっている。   FIG. 1 is a block diagram of the electronic camera (imaging device) of this embodiment. In an electronic camera, a camera body having an image sensor and a photographing lens are integrated.
図1において、101は被写体の像を形成する撮影レンズ又は撮影光学系(結像光学系)の先端に配置された第1レンズ群で、光軸方向OAに進退可能に保持される。   In FIG. 1, reference numeral 101 denotes a first lens group disposed at the tip of a photographing lens or photographing optical system (imaging optical system) that forms an image of a subject, and is held so as to be able to advance and retreat in the optical axis direction OA.
102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なう他、静止画撮影時には露光秒時調節用シャッタとして機能する。103は第2レンズ群である。絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向OAに進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。   An aperture / shutter 102 adjusts the aperture diameter and adjusts the amount of light during shooting, and also functions as an exposure time adjustment shutter when shooting a still image. Reference numeral 103 denotes a second lens group. The diaphragm / shutter 102 and the second lens group 103 integrally move forward and backward in the optical axis direction OA, and perform a zooming function (zoom function) in conjunction with the forward and backward movement of the first lens group 101.
105は第3レンズ群(フォーカスレンズ群)で、光軸方向OAの進退により、焦点調節を行なう。   Reference numeral 105 denotes a third lens group (focus lens group) that performs focus adjustment by advancing and retreating in the optical axis direction OA.
第1レンズ群101、第2レンズ群103、第3レンズ群105は撮影レンズを構成する。撮影レンズは、フォーカスレンズ群を含むと共に被写体の像を形成する。   The first lens group 101, the second lens group 103, and the third lens group 105 constitute a photographing lens. The photographing lens includes a focus lens group and forms an image of a subject.
106は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減する光学素子である。   An optical low-pass filter 106 is an optical element that reduces false colors and moire in the captured image.
107はC−MOSセンサとその周辺回路で構成された撮像素子であり、横方向m画素、縦方向n画素に配列された受光画素上に光電変換素子が配置される。撮像素子107は、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサを用いる。撮像素子107は、全画素独立出力が可能なように構成されている。また、撮像素子107の一部の画素は焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出(撮像面位相差AF)が可能となっている。   Reference numeral 107 denotes an image sensor composed of a C-MOS sensor and its peripheral circuit. A photoelectric conversion element is arranged on the light receiving pixels arranged in m pixels in the horizontal direction and n pixels in the vertical direction. The image sensor 107 uses a two-dimensional single-plate color sensor on which a Bayer array primary color mosaic filter is formed on-chip. The image sensor 107 is configured to be able to output all pixels independently. In addition, some pixels of the image sensor 107 are focus detection pixels, and focus detection (imaging surface phase difference AF) using a phase difference detection method is possible on the imaging surface.
このため、撮像素子107は、被写体の像を形成する撮影レンズの射出瞳の全域を通る光束を各々が受光して光電変換し、撮像用の信号電荷を出力する複数の撮影用画素(撮影用画素群)を有する。   For this reason, the image sensor 107 receives and photoelectrically converts a light beam that passes through the entire exit pupil of the photographing lens that forms the image of the subject, converts the light into a plurality of pixels for photographing (photographing signals). Pixel group).
また、撮像素子107は、各々が撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素(焦点検出用画素群)を更に有する。複数の焦点検出用画素は全体として撮影レンズの射出瞳の全域を通る光を受光することができる。焦点検出用画素は撮像領域に離散的に配置される。焦点検出画素は、色情報を有する複数の画素の一部を撮像以外の出力を与えるように構成された機能画素である。撮像素子107は、2行×2列の画素のうち、対角に配置される一対のG画素は撮影用画素として残し、R画素とB画素を焦点検出用画素に置き換える。   The image sensor 107 further includes a plurality of focus detection pixels (focus detection pixel groups) that each receive light passing through a partial region of the exit pupil of the photographing lens. The plurality of focus detection pixels as a whole can receive light passing through the entire exit pupil of the photographing lens. The focus detection pixels are discretely arranged in the imaging region. The focus detection pixel is a functional pixel configured to give an output other than imaging a part of a plurality of pixels having color information. The imaging device 107 replaces the R pixel and the B pixel with focus detection pixels while leaving a pair of G pixels arranged diagonally among the pixels in 2 rows × 2 columns as photographing pixels.
これは、撮像信号を得る場合、G画素は輝度情報の主成分をなし、人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められ易い。一方、R画素やB画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくいからである。   This is because when an imaging signal is obtained, the G pixel is the main component of the luminance information, and human image recognition characteristics are sensitive to the luminance information. On the other hand, the R pixel and the B pixel are pixels that acquire color information, but since humans are insensitive to color information, pixels that acquire color information are less likely to notice deterioration in image quality even if some loss occurs. It is.
111はズームアクチュエータで、不図示のカム筒を回動することで、第1レンズ群101〜第3レンズ群103を光軸方向OAに進退駆動し、変倍操作を行なう。112は絞りシャッタアクチュエータであり、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に静止画撮影時の露光時間制御を行なう。114はフォーカスアクチュエータであり、第3レンズ群105を光軸方向OAに進退駆動して焦点調節を行なう。フォーカスアクチュエータ114は、第3レンズ群105の現在位置を検出する位置検出部としての機能が備わっている。   Reference numeral 111 denotes a zoom actuator that rotates a cam cylinder (not shown) to drive the first lens group 101 to the third lens group 103 forward and backward in the optical axis direction OA to perform a zooming operation. Reference numeral 112 denotes an aperture shutter actuator, which controls the aperture diameter of the aperture / shutter 102 to adjust the amount of imaged light and to control the exposure time during still image shooting. Reference numeral 114 denotes a focus actuator, which performs focus adjustment by driving the third lens group 105 back and forth in the optical axis direction OA. The focus actuator 114 has a function as a position detection unit that detects the current position of the third lens group 105.
115は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置や、連続発光するLEDを備えた照明装置を使用する。116はAF補助光部で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。   Reference numeral 115 denotes an electronic flash for illuminating a subject at the time of photographing, which uses a flash illumination device using a xenon tube or an illumination device including LEDs that emit light continuously. Reference numeral 116 denotes an AF auxiliary light unit that projects an image of a mask having a predetermined aperture pattern onto a subject field via a light projecting lens, and improves focus detection capability for a dark subject or a low-contrast subject.
121はCPU(制御部、プロセッサ)であり、撮像装置の種々の制御を司る。CPU121は、例えば、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、ROMに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、AF、撮影、画像処理と記録等の一連の動作を実行する。   Reference numeral 121 denotes a CPU (control unit, processor) that controls various controls of the imaging apparatus. The CPU 121 includes, for example, a calculation unit, ROM, RAM, A / D converter, D / A converter, communication interface circuit, and the like. The CPU 121 drives various circuits included in the imaging device based on a predetermined program stored in the ROM, and executes a series of operations such as AF, shooting, image processing, and recording.
122は電子フラッシュ制御回路であり、撮影動作に同期して閃光照明装置115を点灯制御する。123は補助光駆動回路で、焦点検出動作に同期してAF補助光部116を点灯制御する。   Reference numeral 122 denotes an electronic flash control circuit that controls the lighting of the flash illumination device 115 in synchronization with the photographing operation. Reference numeral 123 denotes an auxiliary light driving circuit, which controls the lighting of the AF auxiliary light unit 116 in synchronization with the focus detection operation.
124は撮像素子駆動回路であり、撮像素子107の撮像動作を制御すると共に、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路であり、撮像素子107が出力する画像を処理する。画像処理はγ変換、カラー補間、JPEG圧縮などを含む。   Reference numeral 124 denotes an image sensor driving circuit that controls the imaging operation of the image sensor 107 and A / D-converts the acquired image signal and transmits it to the CPU 121. An image processing circuit 125 processes an image output from the image sensor 107. Image processing includes gamma conversion, color interpolation, JPEG compression, and the like.
126はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向OAに進退駆動して焦点調節を行なう。128はシャッタ駆動回路であり、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。   Reference numeral 126 denotes a focus drive circuit that controls the focus actuator 114 based on the focus detection result, and performs focus adjustment by driving the third lens group 105 back and forth in the optical axis direction OA. A shutter drive circuit 128 controls the aperture shutter actuator 112 to control the aperture of the aperture / shutter 102. Reference numeral 129 denotes a zoom drive circuit that drives the zoom actuator 111 in accordance with the zoom operation of the photographer.
131はLCD等の表示器であり、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。   Reference numeral 131 denotes a display such as an LCD, which displays information related to the shooting mode of the image pickup apparatus, a preview image before shooting and a confirmation image after shooting, a focus state display image when focus is detected, and the like.
132は操作スイッチ群であり、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ(動画撮影モード、静止画撮影モード)を含む。また、操作スイッチ群132は、電子ビューファインダーモード(ライブビューモード)選択スイッチ、表示器131の拡大表示モード設定ダイヤルも含む。   Reference numeral 132 denotes a group of operation switches including a power switch, a release (shooting trigger) switch, a zoom operation switch, and a shooting mode selection switch (moving image shooting mode and still image shooting mode). The operation switch group 132 also includes an electronic viewfinder mode (live view mode) selection switch and an enlarged display mode setting dial of the display 131.
133は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。   Reference numeral 133 denotes a detachable flash memory that records a photographed image.
134は、読み出しモード設定部であり、本実施例では全画素読み出しモード、加算読み出しモード、加算間引き読み出しモードの3種類の読み出しモードを設定する。但し、読み出しモード設定部134は、少なくとも加算間引き読み出しモードを設定すれば足りる。読み出しモード設定部134は、CPU121が兼ねてもよい。   Reference numeral 134 denotes a readout mode setting unit, which sets three types of readout modes, that is, an all-pixel readout mode, an addition readout mode, and an addition thinning readout mode in this embodiment. However, it is sufficient for the read mode setting unit 134 to set at least the addition thinning read mode. The read mode setting unit 134 may also serve as the CPU 121.
全画素読み出しモードは、撮像素子107の全画素の画像信号を非加算で読み出すモードである。加算読み出しモードは、撮像素子107内の複数の画素出力を加算して読み出すモードである。加算間引き読み出しモードは、撮像素子107の輝度情報を主成分として取得する複数のG画素の画像信号を加算し、色情報を主成分として取得する複数のB画素及びR画素の画像信号を間引いて出力するモードである。読み出しモード設定部134が設定したモードに基づいて、後述するADD1信号、ADD2信号、SKIP信号などのレベルが設定される。   The all-pixel reading mode is a mode in which image signals of all the pixels of the image sensor 107 are read out without addition. The addition readout mode is a mode in which a plurality of pixel outputs in the image sensor 107 are added and read out. In addition thinning-out readout mode, a plurality of G pixel image signals acquired with luminance information of the image sensor 107 as a main component are added, and a plurality of B pixel and R pixel image signals acquired with color information as a main component are thinned out. This is the output mode. Based on the mode set by the read mode setting unit 134, levels such as an ADD1 signal, an ADD2 signal, and a SKIP signal described later are set.
CPU121は、操作スイッチ群132から入力された情報や画像処理回路125にて得られた画像情報のコントラスト成分に基づいて各種モードを読み出しモード設定部134に設定する。   The CPU 121 sets various modes in the read mode setting unit 134 based on the information input from the operation switch group 132 and the contrast component of the image information obtained by the image processing circuit 125.
本実施例では、CPU121は、電子ビューファインダーモードが操作スイッチ(群)132によって設定されると、後述する図6を参照して説明するように、加算読み出しモードを設定し、そこに、加算間引き読み出しモードを挿入する。この結果、読み出しモード設定部134は、加算読み出しモードと加算間引き読み出しモードとを混在させたモードを設定する。挿入は一定間隔でもよいし、コントラスト成分に基づいて挿入してもよい。加算読み出しモードでは撮像面位相差AFを行なうことができないため、加算間引き読み出しモードを挿入して撮像面位相差AFの情報を取り出すようにして焦点検出の応答性を高めるためである。   In this embodiment, when the electronic viewfinder mode is set by the operation switch (group) 132, the CPU 121 sets the addition reading mode as described with reference to FIG. Insert read mode. As a result, the readout mode setting unit 134 sets a mode in which the addition readout mode and the addition thinning readout mode are mixed. Insertion may be performed at regular intervals or based on contrast components. This is because the imaging surface phase difference AF cannot be performed in the addition readout mode, and therefore, the addition decimation readout mode is inserted to extract information on the imaging surface phase difference AF, thereby improving the focus detection response.
CPU121は、後述する図8を参照して説明するように、加算読み出しモードの全てを加算間引き読み出しモードに置換してもよい。加算間引き読み出しモードでは後述するコントラスとAFと撮像面位相差AFを行なうことができるため、高速かつ高精度な焦点検出を提供することができる。   As will be described with reference to FIG. 8 to be described later, the CPU 121 may replace all the addition reading modes with the addition thinning readout mode. In the addition thinning readout mode, contrast, AF, and imaging plane phase difference AF, which will be described later, can be performed, so that high-speed and highly accurate focus detection can be provided.
また、CPU121は、拡大表示モードが操作スイッチ(群)132によって設定されると、後述する図7を参照して説明するように、全画素読み出しモードを設定する。全画素読み出しモードでは後述するコントラスとAFと撮像面位相差AFを行なうことができるため、高速かつ高精度な焦点検出を提供することができる。   In addition, when the enlarged display mode is set by the operation switch (group) 132, the CPU 121 sets the all-pixel readout mode as will be described later with reference to FIG. In the all-pixel readout mode, contrast, AF, and imaging plane phase difference AF, which will be described later, can be performed, so that high-speed and high-precision focus detection can be provided.
135は、撮像面位相差焦点検出部(第1の焦点検出手段)であり、撮像光学系の一対の瞳領域を通過する光束により撮像素子107に埋め込まれた焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差AFを行う。撮像面位相差AFの原理は、特許文献1の図5及び図6において説明されているものと同様である。   Reference numeral 135 denotes an imaging surface phase difference focus detection unit (first focus detection means), which is a pair formed on focus detection pixels embedded in the image sensor 107 by a light beam passing through a pair of pupil regions of the imaging optical system. The imaging plane phase difference AF is performed based on the amount of image deviation. The principle of the imaging surface phase difference AF is the same as that described in FIGS.
焦点検出用画素の縦線検出用の配置は、特許文献1の図7で説明されているものと同様であり、横線検出用の配置は特許文献1の図8で説明されているものと同様である。縦線検出及び横線検出が同一の焦点検出視野内で可能となるような配置は特許文献1の図9で説明されているものと同様である。電子ビューファインダーの拡大モード及び動画時のデジタルズームが指定されたときのように、撮影画面の一部を切り出しだして読み出す場合に対応した縦線検出の焦点検出用画素の配置は特許文献1の図10で説明されているものと同様である。   The arrangement for detecting vertical lines of focus detection pixels is the same as that described in FIG. 7 of Patent Document 1, and the arrangement for detecting horizontal lines is the same as that described in FIG. 8 of Patent Document 1. It is. The arrangement that enables vertical line detection and horizontal line detection within the same focus detection field is the same as that described in FIG. The arrangement of focus detection pixels for vertical line detection corresponding to a case where a part of a shooting screen is cut out and read out as in the case where the enlargement mode of the electronic viewfinder and the digital zoom for moving images are designated is shown in FIG. This is similar to that described in FIG.
即ち、焦点検出用画素は、間引き読み出し時に読み出される画素群に離散的に配置され、瞳分割された一対の画素のいずれもが間引き読み出しされる信号に存在するように配置される。この結果、焦点検出精度を確保することができる。   That is, the focus detection pixels are discretely arranged in a pixel group read out at the time of thinning-out reading, and are arranged so that any of a pair of pupil-divided pixels exists in the signal read out by thinning-out. As a result, focus detection accuracy can be ensured.
136は、コントラスト検出方式によるコントラスト焦点検出部(第2の焦点検出手段)であり、画像処理回路125にて得られた画像情報のコントラスト方式による焦点検出(TVAF)を行う。TVAFは、焦点を検出する領域を規定する焦点検出枠と山登り方式によって第3レンズ群105を移動してコントラストがピークとなる第3レンズ群105の位置を検出する。即ち、コントラスト焦点検出部は、複数の撮影用画素が形成した被写体の像のコントラストのピーク位置を合焦位置として検出する。ここで、被写体の像のコントラストは、第3のレンズ群105の合焦状態を示すので焦点信号ともいう。   Reference numeral 136 denotes a contrast focus detection unit (second focus detection means) using a contrast detection method, which performs focus detection (TVAF) using the contrast method of the image information obtained by the image processing circuit 125. The TVAF detects the position of the third lens group 105 at which the contrast reaches a peak by moving the third lens group 105 using a focus detection frame that defines a focus detection area and a hill-climbing method. That is, the contrast focus detection unit detects the peak position of the contrast of the image of the subject formed by the plurality of shooting pixels as the focus position. Here, the contrast of the image of the subject is also referred to as a focus signal because it indicates the in-focus state of the third lens group 105.
図2は、撮像素子107のブロック図である。図2は、読み出し動作を説明するのに最低限の構成を示しており、画素リセット信号などを省略している。   FIG. 2 is a block diagram of the image sensor 107. FIG. 2 shows a minimum configuration for explaining the reading operation, and a pixel reset signal and the like are omitted.
図2において、201は、光電変換部であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。以下、光電変換部201をPDmnとも表す。mはX方向アドレスであり、m=0、1・・・m−1、nはY方向アドレスであり、n=0、1・・・n−1である。撮像素子107では、m×nのPDmnが2次元状に配置されている。添え字(mn)は、簡単のため、一部のPDmnのみに付している。PDmnに付されたR、G、Bはカラーフィルターで、ベイヤー配列になるようにカラーフィルターは配置されている。これは図3以降も同様である。 In FIG. 2, reference numeral 201 denotes a photoelectric conversion unit, which includes a photodiode, a pixel amplifier, a reset switch, and the like. Hereinafter, the photoelectric conversion unit 201 is also referred to as PD mn . m is an X-direction address, m = 0, 1,... m−1, n is a Y-direction address, and n = 0, 1,. In the image sensor 107, m × n PD mn is two-dimensionally arranged. For the sake of simplicity, the subscript (mn) is attached only to some PD mn . R, G, and B attached to PD mn are color filters, and the color filters are arranged so as to form a Bayer array. The same applies to FIG. 3 and subsequent figures.
202は、PDmnの出力を選択するスイッチであり、垂直走査回路213により、一行ごとに選択される。 Reference numeral 202 denotes a switch for selecting the output of PD mn , which is selected for each row by the vertical scanning circuit 213.
203は、PDmnの画素アンプ(不図示)の負荷となる定電流源であり、各垂直出力線に配置される。 Reference numeral 203 denotes a constant current source serving as a load for a pixel amplifier (not shown) of the PD mn , which is disposed on each vertical output line.
204は、PDmnの出力を一時的に記憶するラインメモリであり、垂直走査回路213により選択された一行分のPDmnの出力を記憶し、通常は、コンデンサを使用する。 204 is a line memory for temporarily storing the output of the PD mn, and stores the output of the selected one row of the PD mn by the vertical scanning circuit 213, usually, the capacitor is used.
205、206は、垂直出力線をショートするスイッチであり、加算読み出し時に、水平方向の画素の加算に使用される。スイッチ205、206は、R画素、及び奇数行のG画素の3画素を加算出力する。   205 and 206 are switches for shorting the vertical output lines, and are used for adding pixels in the horizontal direction during addition reading. The switches 205 and 206 add and output three pixels, that is, an R pixel and an odd-numbered G pixel.
207、208は、スイッチ205、206と同様に垂直出力線をショートするスイッチであり、加算読み出し時に、水平方向の画素の加算に使用される。スイッチ207、208は、B画素、及び偶数行のG画素の3画素を加算出力する。   207 and 208 are switches for short-circuiting the vertical output lines in the same manner as the switches 205 and 206, and are used for adding pixels in the horizontal direction during addition reading. The switches 207 and 208 add and output three pixels of B pixels and G pixels in even rows.
画素加算は、ラインメモリ204のコンデンサを並列に接続するため、スイッチをショートすることにより、3画素の加算平均出力が得られる。スイッチ205、206は、信号ADD1がHレベルになることにより導通する。スイッチ207、208は、信号ADD2がHレベルになることにより導通する。図2は、8列目以降のスイッチを省略しているが、3画素ごとに同色加算が行なえるようにスイッチが配置されている。   In the pixel addition, the capacitors of the line memory 204 are connected in parallel, so that the addition average output of three pixels can be obtained by short-circuiting the switch. The switches 205 and 206 are turned on when the signal ADD1 becomes H level. The switches 207 and 208 become conductive when the signal ADD2 becomes H level. In FIG. 2, the switches in the eighth and subsequent columns are omitted, but the switches are arranged so that the same color addition can be performed every three pixels.
209は、ラインメモリ204に記憶されたPDmnの出力を水平出力線に順次出力するスイッチであり、HからHm−1のm個のスイッチ209を水平走査回路211により順次走査することにより、一行分の光電変換の出力が読み出される。 Reference numeral 209 denotes a switch for sequentially outputting the output of PD mn stored in the line memory 204 to the horizontal output line. The horizontal scanning circuit 211 sequentially scans m switches 209 from H 0 to H m−1. The output of photoelectric conversion for one row is read out.
210は、水平出力線に接続されて水平出力線を所定の電位VHRSTにリセットするスイッチであり、信号HRSTにより制御される。   A switch 210 is connected to the horizontal output line and resets the horizontal output line to a predetermined potential VHRST, and is controlled by a signal HRST.
水平走査回路211は、m個のスイッチ209を順次走査してラインメモリ204に記憶されたPDmnの出力を水平出力線に出力させる。PHSTは、水平走査回路211のデータ入力信号、PH1、PH2はシフトクロック入力でPH1=Hでデータがセットされ、PH2でデータがラッチされる。PH1、PH2にシフトクロックを入力するとPHST信号を順次シフトしてm個のスイッチ209を順次オンにすることができる。SKIPは、間引き読み出し時に設定を行なわせる制御信号入力である。SKIPをHレベルに設定すると水平走査回路211を所定間隔でスキップさせることができる。読み出し動作の詳細は後述する。 The horizontal scanning circuit 211 sequentially scans the m switches 209 and outputs the output of PD mn stored in the line memory 204 to the horizontal output line. PHST is a data input signal of the horizontal scanning circuit 211, PH1 and PH2 are shift clock inputs, data is set when PH1 = H, and data is latched by PH2. When a shift clock is input to PH1 and PH2, the PHST signal can be sequentially shifted and m switches 209 can be sequentially turned on. SKIP is a control signal input for setting during thinning readout. When SKIP is set to H level, the horizontal scanning circuit 211 can be skipped at predetermined intervals. Details of the read operation will be described later.
212は、水平出力線から順次出力される画素信号のバッファーアンプである。   Reference numeral 212 denotes a buffer amplifier for pixel signals sequentially output from the horizontal output line.
垂直走査回路213は、順次走査してVからVn−1を出力することにより、PDmnのスイッチ202を選択することができる。制御信号は、水平走査回路211と同様に、PVST、PV1、PV2、SKIPにより制御される。動作に関しては、水平走査回路211と同様であるので詳細は省略する。 The vertical scanning circuit 213 can select the PD mn switch 202 by sequentially scanning and outputting V 0 to V n−1 . The control signal is controlled by PVST, PV1, PV2, and SKIP as in the horizontal scanning circuit 211. Since the operation is the same as that of the horizontal scanning circuit 211, details are omitted.
以下、図3を参照して、撮像素子107の全画素を読み出す全画素読み出しモードの動作について説明する。   Hereinafter, the operation in the all-pixel reading mode for reading out all the pixels of the image sensor 107 will be described with reference to FIG.
図3(a)は、m列n行のPDmnの配置を示した図であり、上側及び左側に付記された番号はX(水平)及びY(垂直)の番号である。斜線が描かれた全画素が読み出し対象である。撮像素子107には、通常、黒レベルを検出する遮光されたOB(オプティカルブラック)画素も配置及び読み出されるが、説明が煩雑になるため、省略されている。 FIG. 3A is a diagram showing an arrangement of PD mn of m columns and n rows, and the numbers appended on the upper side and the left side are the numbers of X (horizontal) and Y (vertical). All pixels with hatched lines are to be read. Normally, a light-shielded OB (optical black) pixel that detects a black level is also arranged and read out on the image sensor 107, but it is omitted for the sake of simplicity.
図3(b)は、撮像素子107の全画素のデータを読み出すためのタイミングチャートであり、CPU121が撮像素子駆動回路124を制御して撮像素子107にパルスを送ることにより制御される。   FIG. 3B is a timing chart for reading data of all pixels of the image sensor 107, and is controlled by the CPU 121 controlling the image sensor drive circuit 124 and sending pulses to the image sensor 107.
まず、垂直走査回路213を駆動してVをアクティブにし、0行目の画素の出力を垂直出力線にそれぞれ出力する。この状態で、ラインメモリ204のMEM信号をアクティブにして各画素のデータをラインメモリ204にサンプルホールドする。 First, the vertical scanning circuit 213 is driven to activate V 0, and the outputs of the pixels in the 0th row are output to the vertical output lines, respectively. In this state, the MEM signal of the line memory 204 is activated and the data of each pixel is sampled and held in the line memory 204.
次に、PHST信号をアクティブしてPH1、PH2にシフトクロックを入力して、順次HからHm−1をアクティブにして水平出力線に画素出力を出力する。出力された画素出力は、バッファーアンプ212を介してVOUTとして出力され、図示しないAD変換器でデジタルデータに変換され、画像処理回路125で所定の画像処理が施される。 Then enter the shift clock activated to PH1, PH2 and PHST signal, and the sequence H 0 Activate H m-1 outputs the pixel output to the horizontal output line. The output pixel output is output as VOUT through the buffer amplifier 212, converted into digital data by an AD converter (not shown), and subjected to predetermined image processing by the image processing circuit 125.
垂直走査回路213を駆動してVをアクティブにし、1行目の画素の出力を垂直出力線にそれぞれ出力する。この状態で、同様にMEM信号をアクティブにして各画素のデータをラインメモリ204に一旦格納する。 The vertical scanning circuit 213 is driven to activate V 1, and outputs the pixels in the first row to the vertical output lines. In this state, similarly, the MEM signal is activated and the data of each pixel is temporarily stored in the line memory 204.
次に、PHST信号をアクティブしてPH1、PH2にシフトクロックを入力して、順次HからHm−1をアクティブにして水平出力線に画素出力を出力する。以上のように、n−1行目までの読み出しを順次行なう。 Then enter the shift clock activated to PH1, PH2 and PHST signal, and the sequence H 0 Activate H m-1 outputs the pixel output to the horizontal output line. As described above, reading up to the (n-1) th row is sequentially performed.
全画素読み出し時には、ADD1及びADD2信号及びSKIP信号はLレベルが設定される。   At the time of all pixel readout, the ADD1, ADD2 signal, and SKIP signal are set to L level.
以下、図4A〜図4Cを参照して、撮像素子107の電子ビューファインダーモード時の読み出しの一例を説明する。   Hereinafter, an example of reading in the electronic viewfinder mode of the image sensor 107 will be described with reference to FIGS. 4A to 4C.
図4Aは、m列n行のPDmnの配置を示した図であり、図3(a)と同一の撮像素子107である。斜線が描かれた画素は、電子ビューファインダーモード読み出し時の読み出し対象画素(の重心位置)である。本実施例では、X、Y共に1/3の画像サイズに圧縮されて読み出される。 FIG. 4A is a diagram showing an arrangement of PD mn of m columns and n rows, and is the same image sensor 107 as FIG. The hatched pixel is a pixel to be read (center of gravity) at the time of electronic viewfinder mode reading. In this embodiment, both X and Y are compressed to an image size of 1/3 and read.
図4B及び図4Cは、電子ビューファインダーモード読み出し時のタイミングチャートである。間引き読み出しの設定は、シフトレジスタの制御信号、SKIP信号をアクティブにすることで行なう。SKIP信号をアクティブにすることで、水平走査回路211、垂直走査回路213は、1画素ごとの順次走査から3画素ごとの順次走査に動作が変更される。このときADD1、2信号をLレベルに設定すれば、加算なしの単純間引き出力が得られ、ADD1、2信号をHレベルに設定して水平走査回路211を駆動すれば、画素加算した画素出力が得られる。   4B and 4C are timing charts at the time of reading the electronic viewfinder mode. Setting of thinning-out reading is performed by activating the shift register control signal and SKIP signal. By making the SKIP signal active, the operation of the horizontal scanning circuit 211 and the vertical scanning circuit 213 is changed from sequential scanning for each pixel to sequential scanning for every three pixels. At this time, if the ADD1 and 2 signals are set to the L level, a simple decimation output without addition is obtained, and if the ADD1 and 2 signals are set to the H level and the horizontal scanning circuit 211 is driven, the pixel output obtained by adding the pixels is obtained. can get.
図4Bは、加算間引き読み出し時のタイミングチャートである。まず、垂直走査回路213を駆動してVをアクティブにし、0行目の画素の出力を垂直出力線にそれぞれ出力する。この状態でMEM信号をアクティブにして各画素のデータをラインメモリ204にサンプルホールドする。 FIG. 4B is a timing chart at the time of addition thinning readout. First, the vertical scanning circuit 213 is driven to activate V 0, and the outputs of the pixels in the 0th row are output to the vertical output lines, respectively. In this state, the MEM signal is activated and the data of each pixel is sampled and held in the line memory 204.
次に、PHST信号をアクティブしてPH1、PH2にシフトクロックを入力して、SKIP信号をアクティブ設定にすることでシフトレジスタの経路が変更され、順次H、H、H・・・がアクティブになるように制御される。また、偶数行の出力を行なう場合には、ADD1信号はLレベルとし、画素加算をしない設定する。ADD2信号は、Hレベルとし、画素加算を行なうように設定する。 Next, the PHST signal is activated, shift clocks are input to PH1 and PH2, and the SKIP signal is set to active to change the path of the shift register, so that H 2 , H 5 , H 8. Controlled to be active. In addition, when outputting even-numbered rows, the ADD1 signal is set to L level and pixel addition is not performed. The ADD2 signal is set to the H level so that pixel addition is performed.
これにより、スイッチ205、206は非導通でR画素は間引き読み出しされる。即ち、Hがアクティブになることにより、PD20が単独で水平出力線に出力される。また、スイッチ207、208は導通し、G画素は画素加算が行われる。即ち、Hがアクティブになることにより、PD30、PD50、PD70の加算平均出力が水平出力線に出力される。 As a result, the switches 205 and 206 are non-conductive and the R pixel is read out by thinning out. That is, by H 2 becomes active, PD 20 is output to the horizontal output line by itself. Further, the switches 207 and 208 are turned on, and pixel addition is performed on the G pixel. That is, by H 5 becomes active, averaging the output of the PD 30, PD 50, PD 70 is output to the horizontal output line.
以下、同様にして、R画素は単独で出力され、G画素は3画素ごとに加算平均されて水平出力線に画素出力が出力される。出力された画素出力は、バッファーアンプ212を介してVOUTとして出力され、図示しないAD変換器でデジタルデータに変換され、画像処理回路125で画像処理される。   Similarly, the R pixel is output independently, and the G pixel is averaged every three pixels, and the pixel output is output to the horizontal output line. The output pixel output is output as VOUT via the buffer amplifier 212, converted into digital data by an AD converter (not shown), and image processed by the image processing circuit 125.
次に、垂直走査回路213は、水平走査回路211と同様に、V、VをスキップさせてVをアクティブにして3行目の画素出力を垂直出力線に出力する。その後、MEM信号によりラインメモリ204に、画素出力が一旦記憶される。 Next, similarly to the horizontal scanning circuit 211, the vertical scanning circuit 213 skips V 1 and V 2 to activate V 3 and outputs the pixel output of the third row to the vertical output line. Thereafter, the pixel output is temporarily stored in the line memory 204 by the MEM signal.
次に、PHST信号をアクティブして、PH1、PH2にシフトクロックを入力して、順次H、H、H・・・をアクティブにして、水平出力線に画素出力を出力する。このとき、奇数行が選択された場合には、ADD1信号はHレベルに、ADD2信号はLレベルに設定される。これにより、G画素は3画素の加算出力が、B画素は単独で出力される。 Next, the PHST signal is activated, a shift clock is input to PH1 and PH2, and H 2 , H 5 , H 8 ... Are sequentially activated, and a pixel output is output to the horizontal output line. At this time, when an odd row is selected, the ADD1 signal is set to H level and the ADD2 signal is set to L level. Thereby, the addition output of 3 pixels is output for the G pixel, and the B pixel is output independently.
以上のように、V、V・・・・のように3行ごとに垂直走査を順次行いながら、読み出しを行なう。これにより、水平、垂直共に1/3に読み出し画素数を圧縮しながら、G画素は加算平均出力が、R画素及びB画素は単独で出力される。 As described above, reading is performed while performing vertical scanning sequentially every three rows as in V 6 , V 9 . As a result, while the number of read pixels is compressed to 1/3 both horizontally and vertically, the G pixel is output as an average output, and the R pixel and the B pixel are output independently.
図4Cは、加算読み出し時のタイミングチャートである。まず、垂直走査回路213を駆動してVをアクティブにし、0行目の画素の出力が垂直出力線にそれぞれ出力される。この状態でMEM信号をアクティブにして各画素のデータをラインメモリ204にサンプルホールドする。 FIG. 4C is a timing chart at the time of addition reading. First, the vertical scanning circuit 213 is driven to activate V 0, and the output of the pixel in the 0th row is output to the vertical output line. In this state, the MEM signal is activated and the data of each pixel is sampled and held in the line memory 204.
次に、PHST信号をアクティブしてPH1、PH2にシフトクロックを入力する。このとき、SKIP信号をアクティブ設定にすることで、シフトレジスタの経路が変更され、順次H、H、H・・・がアクティブになるように制御される。また、ADD1及びADD2信号はHレベルを設定して画素加算を行なうようにする。これにより、スイッチ205〜208が導通し、画素加算が行われる。即ち、Hがアクティブになることにより、PD00、PD20、PD40の加算平均出力が水平出力線に出力される。 Next, the PHST signal is activated and a shift clock is input to PH1 and PH2. At this time, the path of the shift register is changed by setting the SKIP signal to active, and control is performed so that H 2 , H 5 , H 8 . Further, the ADD1 and ADD2 signals are set to H level to perform pixel addition. As a result, the switches 205 to 208 are turned on, and pixel addition is performed. That is, when H 2 becomes active, the addition average output of PD 00 , PD 20 , PD 40 is output to the horizontal output line.
がアクティブのときには、PD30、PD50、PD70の加算平均出力が水平出力線に出力され、3画素ごとに加算平均されて水平出力線に画素出力が出力される。出力された画素出力は、バッファーアンプ212を介してVOUTとして出力され、図示しないAD変換器でデジタルデータに変換され、画像処理回路125で画像処理される。 When H 5 is active, the addition average output of PD 30 , PD 50 , and PD 70 is output to the horizontal output line, and is averaged every three pixels, and the pixel output is output to the horizontal output line. The output pixel output is output as VOUT via the buffer amplifier 212, converted into digital data by an AD converter (not shown), and image processed by the image processing circuit 125.
次に、垂直走査回路213は、水平走査回路211と同様に、V、VをスキップさせてVをアクティブにして、3行目の画素出力を垂直出力線に出力する。その後、MEM信号によりラインメモリ204に画素の出力が一旦記憶される。次に、PHST信号をアクティブして、PH1、PH2にシフトクロックを入力して、順次H、H、H・・・をアクティブにして、水平出力線に画素出力を出力する。 Next, similarly to the horizontal scanning circuit 211, the vertical scanning circuit 213 skips V 1 and V 2 to activate V 3 and outputs the pixel output of the third row to the vertical output line. Thereafter, the pixel output is temporarily stored in the line memory 204 by the MEM signal. Next, the PHST signal is activated, a shift clock is input to PH1 and PH2, and H 2 , H 5 , H 8 ... Are sequentially activated, and a pixel output is output to the horizontal output line.
以上のように、V、V・・・・のように3行ごとに垂直走査を順次行いながら読み出しを行なう。これにより、水平、垂直共に1/3の加算間引き読み出しが行われる。 As described above, reading is performed while sequentially performing vertical scanning every three rows, such as V 6 , V 9 ... Thereby, addition thinning-out readout of 1/3 is performed both horizontally and vertically.
図5(a)は、GR行(偶数行)及びGB行(奇数行)の加算読み出しを示す図である。上段は全画素読み出し用の画素配置、下段は加算後の画素配置を示している。より具体的には、0行目の0列目、2列目、4列目のR画素の出力値(画素値)が加算平均されて一つ目のR画素の画素値を生成する。0行目の3列目、5列目、7列目のG画素の出力値(画素値)が加算平均されてG画素の画素値を生成する。また、0行目の6列目、8列目、10列目のR画素の出力値(画素値)が加算平均されて二つ目のR画素の画素値を生成する。また、3行目の0列目、2列目、4列目のG画素の出力値(画素値)が加算平均されて一つ目のG画素の画素値を生成する。3行目の3列目、5列目、7列目のB画素の出力値(画素値)が加算平均されてB画素の画素値を生成する。また、3行目の6列目、8列目、10列目のG画素の出力値(画素値)が加算平均されて二つ目のG画素の画素値を生成する。   FIG. 5A is a diagram illustrating addition reading of the GR rows (even rows) and GB rows (odd rows). The upper row shows the pixel arrangement for reading all pixels, and the lower row shows the pixel arrangement after addition. More specifically, the output values (pixel values) of the R pixels in the 0th, 0th, 2nd, and 4th rows of the 0th row are added and averaged to generate the pixel value of the first R pixel. The output values (pixel values) of the G pixels in the third, fifth, and seventh columns of the 0th row are added and averaged to generate a pixel value of the G pixel. Further, the output values (pixel values) of the R pixels in the 6th, 8th, and 10th columns of the 0th row are added and averaged to generate the pixel value of the second R pixel. Further, the output values (pixel values) of the G pixels in the third row, the 0th column, the 2nd column, and the 4th column are added and averaged to generate the pixel value of the first G pixel. The output values (pixel values) of the B pixels in the third column, the fifth column, and the seventh column of the third row are added and averaged to generate a pixel value of the B pixel. Further, the output values (pixel values) of the G pixels in the 6th, 8th, and 10th columns of the third row are added and averaged to generate the pixel value of the second G pixel.
図5(b)は、G画素加算読み出し及びRB間引き読み出しを示す図である。上段は全画素読み出し用の画素配置、下段はG加算及びRB間引き後の画素配置を示している。より具体的には、0行目の2列目のR画素の出力値(画素値)が間引かれて一つ目のR画素の画素値を生成する。0行目の3列目、5列目、7列目のG画素の出力値(画素値)が加算平均されてG画素の画素値を生成する。また、0行目の8列目のR画素の出力値(画素値)が間引かれて二つ目のR画素の画素値を生成する。また、3行目の0列目、2列目、4列目のG画素の出力値(画素値)が加算平均されて一つ目のG画素の画素値を生成する。3行目の5列目のB画素の出力値(画素値)が間引かれてB画素の画素値を生成する。また、3行目の6列目、8列目、10列目のG画素の出力値(画素値)が加算平均されて二つ目のG画素の画素値を生成する。   FIG. 5B is a diagram illustrating G pixel addition readout and RB thinning readout. The upper part shows the pixel arrangement for reading all pixels, and the lower part shows the pixel arrangement after G addition and RB thinning. More specifically, the output value (pixel value) of the R pixel in the second column of the 0th row is thinned to generate the pixel value of the first R pixel. The output values (pixel values) of the G pixels in the third, fifth, and seventh columns of the 0th row are added and averaged to generate a pixel value of the G pixel. Further, the output value (pixel value) of the R pixel in the eighth row of the 0th row is thinned to generate the pixel value of the second R pixel. Further, the output values (pixel values) of the G pixels in the third row, the 0th column, the 2nd column, and the 4th column are added and averaged to generate the pixel value of the first G pixel. The output value (pixel value) of the B pixel in the third row and the fifth column is thinned to generate a pixel value of the B pixel. Further, the output values (pixel values) of the G pixels in the 6th, 8th, and 10th columns of the third row are added and averaged to generate the pixel value of the second G pixel.
図6は、電子ビューファインダー(図6では「ライブビュー」と記載)時の撮像動作シーケンスを説明するタイミングチャートであり、図6(a)は撮影待機時、図6(b)は操作スイッチ群132の一つであるレリーズスイッチが発動された時の状態を示している。   6A and 6B are timing charts for explaining an imaging operation sequence in the electronic viewfinder (described as “live view” in FIG. 6). FIG. 6A shows a standby state and FIG. 6B shows a group of operation switches. The state when a release switch, which is one of 132, is activated is shown.
図6に示すように、撮像素子107は、露光動作が行われた後、内部の各画素の蓄積電荷が画像信号として読み出される。読み出し動作は、制御パルス垂直同期信号VD、及び不図示の水平同期信号HDに同期して行われる。   As shown in FIG. 6, after the exposure operation is performed, the image sensor 107 reads out the accumulated charge of each internal pixel as an image signal. The read operation is performed in synchronization with the control pulse vertical synchronization signal VD and a horizontal synchronization signal HD (not shown).
VDは、撮像の1フレームを表す信号であり、例えば、1/60秒(即ち、1秒間に60フレームの動画撮影を行なう)ごとにCPU121からのコマンドを受けて撮像素子駆動回路124から撮像素子107に送られる。電子ビューファインダーモードのような動画撮影時の読み出しは、通常、読み出し画素数を減らすと共にモアレなどの低減を行なう加算読み出しで読み出しを行なう。HDは、撮像素子107の水平同期信号であり、1フレームの期間に水平ラインのライン数に応じたパルス数が所定間隔で送出され、水平ラインの制御を行なう。   VD is a signal representing one frame of imaging. For example, the VD receives a command from the CPU 121 every 1/60 seconds (that is, performs moving image shooting of 60 frames per second) and receives an image from the image sensor driving circuit 124. 107. Reading during moving image shooting such as in the electronic viewfinder mode is normally performed by addition reading that reduces the number of read pixels and reduces moire and the like. HD is a horizontal synchronization signal of the image sensor 107, and the number of pulses corresponding to the number of horizontal lines is sent out at a predetermined interval during one frame period to control the horizontal lines.
VD、HD信号により、蓄積読み出しが実行されるとVD信号が送出され、次フレームの蓄積動作が開始される。また、読み出された画像信号は、画像処理回路125へ転送され、欠陥画素補正などを行い、その後、画像処理(図6では、「画像処理1」と記載)が実行される。図6では、画像処理1は加算読み出し時の画像処理を表す。   When accumulation reading is executed by the VD and HD signals, the VD signal is sent out and the accumulation operation of the next frame is started. Further, the read image signal is transferred to the image processing circuit 125 to perform defective pixel correction and the like, and thereafter image processing (described as “image processing 1” in FIG. 6) is performed. In FIG. 6, image processing 1 represents image processing at the time of addition reading.
欠陥画素補正された信号は、焦点状態を検出するために、コントラスト焦点検出部136に転送され、画像先鋭度を検出し、コントラストAF評価値を演算する。撮像素子107の焦点検出用画素は、加算読み出しにおいて加算される画素に含まれる場合には、欠陥画素とみなして欠陥補正を行う。コントラスト焦点検出部136が検出したピーク値(コントラストAF評価値)に基づいて、CPU121は、フォーカス駆動回路126を制御してフォーカスアクチュエータ114を動作させて撮影レンズの焦点調節を行なう。また、画像処理された画像は、次のフレームで表示器131の更新を行なう。   The defective pixel corrected signal is transferred to the contrast focus detection unit 136 to detect the focus state, detects the image sharpness, and calculates the contrast AF evaluation value. When the focus detection pixels of the image sensor 107 are included in the pixels to be added in addition reading, they are regarded as defective pixels and defect correction is performed. Based on the peak value (contrast AF evaluation value) detected by the contrast focus detection unit 136, the CPU 121 controls the focus drive circuit 126 to operate the focus actuator 114 to adjust the focus of the photographing lens. In addition, the image processed image is updated on the display 131 in the next frame.
図6(a)のフレーム9以外の読み出しは、加算読み出しで読み出される。フレーム9では、G画素加算RB間引き読み出しが実行される。読み出された画像信号は、画像処理回路125へ転送され、欠陥画素補正などを行い、画像処理(図6では、「画像処理2」と記載)が実行される。図6では、画像処理2は間引き読み出し時の画像処理を表す。   Reading other than the frame 9 in FIG. 6A is performed by addition reading. In frame 9, G pixel addition RB thinning readout is executed. The read image signal is transferred to the image processing circuit 125 to perform defective pixel correction and the like, and image processing (described as “image processing 2” in FIG. 6) is executed. In FIG. 6, image processing 2 represents image processing at the time of thinning readout.
このときR画素及びB画素の画像データに含まれる焦点検出用画素のデータを撮像面位相差焦点検出部135に転送し、瞳分割された画素群の相関演算を行い、位相差AF評価値を算出する。これによりCPU121は、フォーカス駆動回路126を制御してフォーカスアクチュエータ114を動作させて撮影レンズの焦点調節を行なう。   At this time, the focus detection pixel data included in the image data of the R pixel and the B pixel is transferred to the imaging surface phase difference focus detection unit 135, and the correlation calculation of the pixel group obtained by pupil division is performed, and the phase difference AF evaluation value is obtained. calculate. Thereby, the CPU 121 controls the focus driving circuit 126 to operate the focus actuator 114 to adjust the focus of the photographing lens.
図6(a)に示す撮影待機モードでは、RB画素間引き読み出しによる位相差AF検出手段は10フレーム間隔ごとに行なう。また、焦点検出用画素群は、撮像素子107に離散的に配置されるため、焦点検出用画素群のサンプリング周波数以上の空間周波数の被写体では、折り返しエラーによる検出誤差を生じてしまう。このため、コントラストAF評価値も併用することが望ましい。   In the imaging standby mode shown in FIG. 6A, the phase difference AF detection means by RB pixel thinning readout is performed every 10 frames. In addition, since the focus detection pixel group is discretely arranged on the image sensor 107, a detection error due to a folding error occurs in a subject having a spatial frequency equal to or higher than the sampling frequency of the focus detection pixel group. For this reason, it is desirable to use a contrast AF evaluation value in combination.
加算読み出しモードとG加算RB間引き読み出しモードでは、読み出しモードに応じてコントラストAFと位相差AFを切り替える必要がある。加算読み出しでは、位相差AFの画素情報を取り出すことができず、加算読み出しに適宜挿入されるG加算RB間引き読み出しでは、R及びB画素に加算によるローパス効果が得られないため、コントラストAF評価値の連続性が失われる可能性がある。   In the addition readout mode and the G addition RB thinning readout mode, it is necessary to switch between contrast AF and phase difference AF according to the readout mode. In addition readout, pixel information of phase difference AF cannot be extracted, and in G addition RB decimation readout inserted appropriately in addition readout, the low-pass effect due to addition cannot be obtained for R and B pixels. May lose continuity.
RB間引き読みされた画像では、G画素は加算されているので、RGBの全画素を間引きで読み出した画像よりも発生頻度は少なくなるとはいえ、モアレが発生しやすくなる。このため、加算読み出しとG加算RB間引き読み出しでは、画像処理回路125で施されるローパスフィルタの特性を低周波側にシフトさせ、画像劣化を目立たなくする必要がある。   In the image read out by RB, G pixels are added. Therefore, although the frequency of occurrence is less than that in an image read out by thinning out all the RGB pixels, moire tends to occur. For this reason, in addition readout and G addition RB decimation readout, it is necessary to shift the characteristics of the low-pass filter applied by the image processing circuit 125 to the low frequency side so that image degradation is not noticeable.
図6(b)は、撮影待機から撮影者によりレリーズスイッチが、半押しされた場合にONするスイッチSW1が操作された場合のシーケンスを示す。読み出しモード設定部134が加算読み出しモードと加算間引き読み出しモードとを混在させたモードを設定し、加算読み出しモードにおいてレリーズスイッチが押された場合に、次回のフレームで加算間引き読み出しモードに移行している。このようにモードの切り替えを行うことにより、次回のフレームで位相差AFを行なうことができる。撮影者により撮影のトリガがかけられるので焦点検出の応答性を向上することができる。   FIG. 6B shows a sequence when the switch SW1 that is turned on when the release switch is half-pressed by the photographer from the photographing standby is operated. When the read mode setting unit 134 sets a mode in which the addition read mode and the addition decimation read mode are mixed, and the release switch is pressed in the addition read mode, the mode shifts to the addition decimation read mode in the next frame. . By switching the mode in this way, the phase difference AF can be performed in the next frame. Since the photographing trigger is applied by the photographer, the focus detection response can be improved.
図7は、表示器131の拡大が指定された場合の電子ビューファインダーのタイミングチャートである。拡大表示指定がなされると拡大指定領域を一部分切り出して読み出す。撮像素子107の一領域を部分読みするが、画素自体は、間引きなしで読み出しされる(図7では、「全画素読み」と記載)ので、コントラストAF及び位相差AFの演算が可能であるので、両者とも実行することが可能である。   FIG. 7 is a timing chart of the electronic viewfinder when enlargement of the display 131 is designated. When enlargement display is designated, a part of the enlargement designated area is cut out and read out. Although one area of the image sensor 107 is partially read, the pixel itself is read without thinning out (described as “all pixel reading” in FIG. 7), so that contrast AF and phase difference AF can be calculated. Both can be executed.
図8は、全てG加算RB間引き読み出しで行なう電子ビューファインダーのタイミングチャートである。焦点検出は、コントラストAF及び位相差AFの両者とも実行可能である。   FIG. 8 is a timing chart of the electronic viewfinder which is all read out by G addition RB thinning readout. Focus detection can be performed for both contrast AF and phase difference AF.
図7及び図8は、撮影待機時は位相差AF演算は所定間隔で、レリーズスイッチ発動時は両者の実行を前提としている。もちろん、1フレームごとに両者の演算を行い、適宜レンズ駆動してもよい。   7 and 8 are based on the premise that the phase difference AF calculation is performed at a predetermined interval during shooting standby, and both are executed when the release switch is activated. Of course, both calculations may be performed for each frame, and the lens may be driven appropriately.
図8に示すように、全ての読み出しをG加算RB間引きにすると、フレーム間での画質が連続しているので、一連の動画像は読み出しモードを混在させるよりも違和感が緩和され易い。従って、記録の残らない電子ビューファインダーモードと動画像を記録する動画記録モードなどの撮影モードでどちらかを使い分けてもよい。また、動体を動画撮影したい場合は図8の読み出し、比較的動きの少ない被写体の撮影時は図6の読み出しを選択してもよい。   As shown in FIG. 8, if all readings are thinned out by G addition RB, the image quality is continuous between frames, so that a series of moving images can be more relaxed than mixing reading modes. Accordingly, either an electronic viewfinder mode in which no recording is left or a shooting mode such as a moving image recording mode in which a moving image is recorded may be used properly. Further, the readout of FIG. 8 may be selected when moving images of moving objects are desired, and the readout of FIG. 6 may be selected when photographing a subject with relatively little movement.
以上、電子ビューファインダーモードや動画記録モード時に焦点検出画素を読み出すために、撮像素子にG画素加算RB間引き読み出しモード機能を付加することで、動画像を著しく劣化させることなく効率的に所望のタイミングで読み出すことが可能になる。   As described above, in order to read out the focus detection pixel in the electronic viewfinder mode or the moving image recording mode, the G pixel addition RB thinning out reading mode function is added to the image sensor, so that the desired timing can be efficiently achieved without significantly degrading the moving image. It becomes possible to read by.
なお、加算読み出しに時に、一定間隔で間引き読み出しを挿入するのは単なる例示であり、これに限定されない。例えば、急激なコントラスト値の変化があった場合などの条件を加味して適宜間引き読み出しを挿入して位相差検出による焦点検出を行ってもよい。また、撮像素子107の間引き読み出し時の間引きは1/3間引きに限らない。   It should be noted that inserting thinning-out readings at regular intervals during addition reading is merely an example, and the present invention is not limited to this. For example, focus detection by phase difference detection may be performed by inserting thinning readout as appropriate in consideration of conditions such as a sudden change in contrast value. Further, the thinning-out at the time of thinning-out reading of the image sensor 107 is not limited to 1/3 thinning-out.
撮像装置は、動画撮影を行なうカムコーダー(ムービーカメラ)、各種検査カメラ、監視カメラ、内視鏡カメラ、ロボット用カメラなど限定されない。   The imaging device is not limited to a camcorder (movie camera) that performs moving image shooting, various inspection cameras, a surveillance camera, an endoscopic camera, a robot camera, and the like.
撮像装置は、被写体の撮像に適用することができる。   The imaging device can be applied to imaging a subject.
105 第3のレンズ群(フォーカスレンズ群)
107 撮像素子
121 CPU(制御部、プロセッサ)
134 読み出しモード設定部
135 撮像面位相差焦点検出部
136 コントラスト焦点検出部
105 Third lens group (focus lens group)
107 Image sensor 121 CPU (control unit, processor)
134 Reading mode setting unit 135 Imaging surface phase difference focus detection unit 136 Contrast focus detection unit

Claims (6)

  1. 撮影レンズの射出瞳を通る光を各々が受光して被写体の像を生成する複数のG画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光する複数のR画素およびB画素と、を有する撮像素子と、
    前記R画素および前記B画素に形成される前記被写体の一対の像のずれ量を検出する第1の焦点検出手段と、
    輝度情報を主成分として取得するための前記G画素の信号を加算し、色情報を主成分として取得するための前記R画素および前記B画素の信号を間引いて出力する加算間引き読み出しモードが設定された場合に、前記第1の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させるよう制御する制御手段と、
    を有することを特徴とする撮像装置。
    A plurality of G pixels each receiving light passing through the exit pupil of the photographic lens to generate an image of a subject, and a plurality of R pixels each receiving light passing through a partial region of the exit pupil of the photographic lens And an image sensor having B pixels,
    First focus detection means for detecting a shift amount of a pair of images of the subject formed on the R pixel and the B pixel;
    An addition thinning readout mode is set in which signals of the G pixel for acquiring luminance information as a main component are added and signals of the R pixel and B pixel for acquiring color information as a main component are thinned out and output. Control means for controlling to move the photographic lens based on the detection result of the first focus detection means,
    An imaging device comprising:
  2. 前記G画素の信号に基づいて前記被写体の焦点信号を検出する第2の焦点検出手段を更に有し、
    前記制御手段は、前記加算間引き読み出しモードとは異なる前記G画素の信号を加算して読み出す加算読み出しモードが設定された場合に、前記第2の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させることを特徴とする請求項1に記載の撮像装置。
    A second focus detection unit configured to detect a focus signal of the subject based on the signal of the G pixel;
    The control means controls the photographing lens based on the detection result of the second focus detection means when an addition readout mode is set in which the G pixel signal different from the addition thinning readout mode is read out. The imaging apparatus according to claim 1, wherein the imaging apparatus is moved.
  3. 前記G画素の信号に基づいて前記被写体の焦点信号を検出する第2の焦点検出手段を更に有し、
    前記制御手段は、前記加算間引き読み出しモードが設定された場合に、前記第1の焦点検出手段の検出結果と前記第2の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させることを特徴とする請求項1又は2に記載の撮像装置。
    A second focus detection unit configured to detect a focus signal of the subject based on the signal of the G pixel;
    The control means moves the photographic lens based on a detection result of the first focus detection means and a detection result of the second focus detection means when the addition thinning readout mode is set. The imaging apparatus according to claim 1 or 2.
  4. 前記G画素の信号に基づいて前記被写体の焦点信号を検出する第2の焦点検出手段を更に有し、
    前記制御手段は、前記G画素の信号を加算して読み出す加算読み出しモードと前記加算間引き読み出しモードとを切り替え制御した場合に、前記加算読み出しモードにおいては前記第2の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させ、前記加算間引き読み出しモードにおいては前記第1の焦点検出手段の検出結果に基づいて前記撮影レンズを移動させることを特徴とする請求項1乃至3のいずれか一項に記載の撮像装置。
    A second focus detection unit configured to detect a focus signal of the subject based on the signal of the G pixel;
    When the control unit switches between the addition readout mode for adding and reading the signals of the G pixels and the addition thinning readout mode, the control unit is based on the detection result of the second focus detection unit in the addition readout mode. 4. The apparatus according to claim 1, wherein the photographic lens is moved, and the photographic lens is moved based on a detection result of the first focus detection unit in the addition thinning readout mode. The imaging device described.
  5. 前記加算読み出しモードにおいてレリーズスイッチが押された場合に次回のフレームで前記加算間引き読み出しモードに切り替えることを特徴とする請求項4に記載の撮像装置。   The imaging apparatus according to claim 4, wherein when the release switch is pressed in the addition readout mode, the imaging frame is switched to the addition thinning readout mode in the next frame.
  6. 前記加算間引き読み出しモードが設定された場合、動画を撮像し、前記撮像素子の全ての画素群を読み出す全画素読み出しモードが設定された場合、静止画を撮像することを特徴とする請求項1乃至5のうちいずれか一項に記載の撮像装置。
    2. A still image is picked up when an all-pixel reading mode is set in which a moving image is picked up when the addition thinning-out reading mode is set and all the pixel groups of the image pickup device are set. The imaging device according to any one of 5.
JP2013096724A 2013-05-02 2013-05-02 Imaging device Expired - Fee Related JP5484617B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013096724A JP5484617B2 (en) 2013-05-02 2013-05-02 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013096724A JP5484617B2 (en) 2013-05-02 2013-05-02 Imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009161356A Division JP5279638B2 (en) 2009-07-08 2009-07-08 Imaging device

Publications (2)

Publication Number Publication Date
JP2013178564A JP2013178564A (en) 2013-09-09
JP5484617B2 true JP5484617B2 (en) 2014-05-07

Family

ID=49270170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013096724A Expired - Fee Related JP5484617B2 (en) 2013-05-02 2013-05-02 Imaging device

Country Status (1)

Country Link
JP (1) JP5484617B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6229436B2 (en) * 2013-10-31 2017-11-15 リコーイメージング株式会社 Imaging apparatus and imaging method
US10136079B2 (en) 2013-10-31 2018-11-20 Ricoh Imaging Company, Ltd. Method and apparatus for imaging an object
JP2015141367A (en) * 2014-01-30 2015-08-03 リコーイメージング株式会社 Imaging device including af function
JP6530593B2 (en) 2014-08-11 2019-06-12 キヤノン株式会社 Imaging device, control method therefor, storage medium
JP6600458B2 (en) 2014-12-25 2019-10-30 オリンパス株式会社 Image sensor, focus detection apparatus, and focus detection method
JP6476065B2 (en) 2015-05-14 2019-02-27 オリンパス株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Also Published As

Publication number Publication date
JP2013178564A (en) 2013-09-09

Similar Documents

Publication Publication Date Title
JP5400406B2 (en) Imaging device
JP5241355B2 (en) Imaging apparatus and control method thereof
US9426350B2 (en) Image capturing apparatus and control method thereof
JP5180717B2 (en) Imaging device
JP5319347B2 (en) Imaging apparatus and control method thereof
JP5595014B2 (en) Imaging device
JP5484617B2 (en) Imaging device
JP5183565B2 (en) Imaging device
JP5159520B2 (en) Imaging apparatus, automatic focus detection apparatus, and control method thereof
JP5247279B2 (en) Imaging apparatus, control method thereof, and program
JP5911252B2 (en) Imaging apparatus and image processing method
JP5954933B2 (en) Imaging device and lens device
JP5279638B2 (en) Imaging device
JP5657184B2 (en) Imaging apparatus and signal processing method
JP6238578B2 (en) Imaging apparatus and control method thereof
JP2011166515A (en) Imaging apparatus
JP2016018034A (en) Imaging device, control method of the same, program and recording medium
US20150085172A1 (en) Image capturing apparatus and control method thereof
JP5864989B2 (en) Imaging device and imaging apparatus
US20200162673A1 (en) Image capture apparatus and control method thereof
JP2016208437A (en) Imaging apparatus and control method of the same
JP2015210286A (en) Imaging apparatus and method for controlling the same

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140218

R151 Written notification of patent or utility model registration

Ref document number: 5484617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees