JP5714931B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5714931B2
JP5714931B2 JP2011029839A JP2011029839A JP5714931B2 JP 5714931 B2 JP5714931 B2 JP 5714931B2 JP 2011029839 A JP2011029839 A JP 2011029839A JP 2011029839 A JP2011029839 A JP 2011029839A JP 5714931 B2 JP5714931 B2 JP 5714931B2
Authority
JP
Japan
Prior art keywords
image
image sensor
focus detection
imaging
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011029839A
Other languages
Japanese (ja)
Other versions
JP2012168383A (en
Inventor
林太郎 西原
林太郎 西原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2011029839A priority Critical patent/JP5714931B2/en
Publication of JP2012168383A publication Critical patent/JP2012168383A/en
Application granted granted Critical
Publication of JP5714931B2 publication Critical patent/JP5714931B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮影用画素と焦点検出用画素とが形成された撮像素子を備えた撮像装置に関する。   The present invention relates to an image pickup apparatus including an image pickup element in which shooting pixels and focus detection pixels are formed.
カメラ等の撮像装置における焦点検出方法の一つとして位相差検出法が知られている。位相差検出法では、結像光学系において対称に分割された異なる瞳領域を通過した光束をそれぞれ異なる撮像素子で受光させることによって、各撮像素子で受光された像の位相差(2像間隔)を検出する。そして、このような位相差検出法では、検出された位相差から結像光学系の被写体に対するデフォーカス量を算出し、算出したデフォーカス量を無くすように結像光学系を駆動することによって、デジタルカメラ等の撮像装置におけるオートフォーカス(以下、AFという)機能が実現されている。   A phase difference detection method is known as one of focus detection methods in an imaging apparatus such as a camera. In the phase difference detection method, light beams that have passed through different pupil regions divided symmetrically in the imaging optical system are received by different image sensors, so that the phase difference (two image intervals) of the images received by each image sensor. Is detected. In such a phase difference detection method, the defocus amount for the subject of the imaging optical system is calculated from the detected phase difference, and by driving the imaging optical system so as to eliminate the calculated defocus amount, An autofocus (hereinafter referred to as AF) function in an imaging apparatus such as a digital camera is realized.
上述のような従来の位相差検出法を用いたAF(以下、位相差AFという)においては、位相差を検出するための撮像素子が撮影用の撮像素子と別個に設けられている。これに対し、近年では、撮影用の撮像素子内に位相差を検出するための画素を形成した撮像装置も提案されている(例えば、特許文献1参照)。   In AF using the conventional phase difference detection method as described above (hereinafter referred to as phase difference AF), an image sensor for detecting a phase difference is provided separately from an image sensor for photographing. On the other hand, in recent years, there has also been proposed an imaging apparatus in which pixels for detecting a phase difference are formed in an imaging element for photographing (see, for example, Patent Document 1).
特許文献1に係る撮像装置は、撮影用の撮像素子の一部の画素対を、位相差の検出用として利用するものである。位相差検出用として利用される画素対は、結像光学系における所定の瞳領域を通過した光束を受光できるように離散的に配置されている。さらに、特許文献1に係る撮像装置では、結像光学系における所定の瞳領域を通過した光束が所定の画素で受光されるよう、撮像素子のそれぞれの画素に対応して、マイクロレンズあるいは遮光マスクが偏心して配置されている。   The imaging apparatus according to Patent Literature 1 uses a part of pixel pairs of an imaging element for imaging for detecting a phase difference. The pixel pairs used for detecting the phase difference are discretely arranged so as to receive a light beam that has passed through a predetermined pupil region in the imaging optical system. Furthermore, in the imaging apparatus according to Patent Document 1, a microlens or a light shielding mask is provided corresponding to each pixel of the imaging element so that a light beam that has passed through a predetermined pupil region in the imaging optical system is received by a predetermined pixel. Are arranged eccentrically.
このような撮像素子を用いることにより、撮影用の撮像素子とは別個に、焦点位置検出専用の撮像素子及び光学系を設ける必要がない。また、特許文献1の技術では、撮影画像の取得と焦点検出とを1つの撮像素子を用いて同時に行うことが可能である。   By using such an image sensor, it is not necessary to provide an image sensor and an optical system dedicated to focus position detection separately from the image sensor for photographing. Further, in the technique of Patent Document 1, it is possible to simultaneously acquire a captured image and detect a focus using a single image sensor.
特開2009−217252号公報JP 2009-217252 A
撮影用の撮像素子上で位相差AFを行う方式では、本来は撮影用の画素があるべき位置に焦点検出用の画素を形成している。ここで、焦点検出用の画素の離散度が高い場合、高周波成分が多くなる合焦点の近傍領域においてエイリアシングの影響で相関演算の誤差が大きくなって焦点検出精度が低下し易い。これに対し、合焦点の近傍領域での焦点検出精度を高めるためには、撮像素子上に焦点検出用画素を密に配置する手法や撮像素子の光入射面に光学ローパスフィルタ(LPF)を配して高周波成分を除去したりする手法等が考えられる。しかしながら、何れの手法であっても撮影画像の画質には悪影響を与えてしまう。このように、従来の技術では焦点検出精度の向上と撮影画像の画質の向上とは両立させることが困難である。   In the method of performing phase difference AF on the imaging element for imaging, focus detection pixels are originally formed at positions where imaging pixels should be. Here, when the degree of discreteness of the focus detection pixels is high, the error in the correlation calculation becomes large due to the influence of aliasing in the vicinity of the in-focus point where the high-frequency component increases, and the focus detection accuracy tends to decrease. On the other hand, in order to improve the focus detection accuracy in the region near the in-focus point, a method for densely arranging focus detection pixels on the image sensor or an optical low-pass filter (LPF) on the light incident surface of the image sensor. Then, a method of removing high frequency components can be considered. However, any method has an adverse effect on the image quality of the captured image. As described above, it is difficult for the conventional technology to achieve both improvement in focus detection accuracy and improvement in the image quality of a captured image.
本発明は、上記の事情に鑑みてなされたもので、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and in an imaging apparatus in which imaging pixels and focus detection pixels are formed on one imaging element, focus detection accuracy is ensured while ensuring the quality of a captured image. An object of the present invention is to provide an imaging apparatus capable of improving the image quality.
上記の目的を達成するために、本発明の一態様の撮像装置は、被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、を具備することを特徴とする。 In order to achieve the above object, an imaging device of one embodiment of the present invention includes a plurality of pixels that output an imaging signal corresponding to a light flux from a subject, and each of the plurality of pixels is connected to a part of the plurality of pixels. A two-image interval is calculated from an imaging element in which a focus detection pixel pair for receiving a light beam that has passed through different pupil regions of the image optical system and an imaging signal output from each of the focus detection pixel pairs, and the calculation is performed. An arithmetic unit that calculates a defocus amount with respect to a subject of the imaging optical system from the two image intervals , and an imaging that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit An optical system drive control unit and an image sensor that removes a high-frequency component in an image signal output from the focus detection pixel pair by moving the image sensor during an exposure period in which the focus detection pixel pair receives the light flux Drive control Characterized by comprising the, the.
本発明によれば、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することができる。   According to the present invention, there is provided an imaging device that can improve the focus detection accuracy while ensuring the image quality of a photographed image in an imaging device in which imaging pixels and focus detection pixels are formed on one imaging element. be able to.
本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示す図である。1 is a diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to an embodiment of the present invention. 本発明の一実施形態における撮像素子の画素配列を示した図である。It is the figure which showed the pixel arrangement | sequence of the image pick-up element in one Embodiment of this invention. 撮像素子に形成された画素の詳細な構成を示す図である。It is a figure which shows the detailed structure of the pixel formed in the image pick-up element. 撮像素子駆動制御部の構成を示す図である。It is a figure which shows the structure of an image pick-up element drive control part. 本発明の一実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。It is a flowchart which shows the sequence of the imaging | photography operation | movement in the imaging device of one Embodiment of this invention. 位相差AF用駆動のみの場合の撮像素子の駆動の様子を示した図である。FIG. 6 is a diagram illustrating a state of driving of an image sensor when only phase difference AF driving is performed. 図6のようにして撮像素子を駆動させた場合の撮像素子の様子を光軸方向から拡大して示した図である。It is the figure which expanded and showed the mode of the image pick-up element at the time of driving an image pick-up element like FIG. 手ぶれ補正用駆動と位相差AF用駆動とを併用した場合について説明するためのグラフである。It is a graph for demonstrating the case where the camera shake correction drive and the phase difference AF drive are used in combination.
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、単にカメラという)の構成を示す図である。図1に示すカメラは、レンズ交換式のカメラを例示しており、交換レンズ100と、カメラ本体200とを有している。交換レンズ100は、カメラ本体200に対して着脱自在に構成されている。交換レンズ100がカメラ本体200に装着されることにより、交換レンズ100とカメラ本体200とが通信自在に接続される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a digital camera (hereinafter simply referred to as a camera) as an example of an imaging apparatus according to an embodiment of the present invention. The camera shown in FIG. 1 illustrates an interchangeable lens camera, and includes an interchangeable lens 100 and a camera body 200. The interchangeable lens 100 is configured to be detachable from the camera body 200. When the interchangeable lens 100 is attached to the camera body 200, the interchangeable lens 100 and the camera body 200 are connected to be able to communicate.
交換レンズ100は、レンズ101と、絞り102と、ドライバ103と、レンズ制御部104と、レンズ情報記憶部105と、通信部106とを有している。
レンズ101は、フォーカスレンズを含む複数のレンズから構成されており、図示しない被写体からの光束を撮像素子202に結像させる結像光学系である。このレンズ101は、フォーカスレンズをその光軸方向に沿って駆動させることにより、焦点位置を調節可能に構成されている。絞り102は、撮像素子202に結像される被写体からの光束の光量を調節する。
The interchangeable lens 100 includes a lens 101, a diaphragm 102, a driver 103, a lens control unit 104, a lens information storage unit 105, and a communication unit 106.
The lens 101 is composed of a plurality of lenses including a focus lens, and is an image forming optical system that forms an image on the image sensor 202 with a light beam from a subject (not shown). The lens 101 is configured such that the focus position can be adjusted by driving the focus lens along the optical axis direction. The diaphragm 102 adjusts the amount of light flux from the subject imaged on the image sensor 202.
ドライバ103は、モータ等を有して構成されている。ドライバ103は、レンズ制御部104の制御の下、レンズ101が有するフォーカスレンズをその光軸方向に駆動させる。また、ドライバ103は、レンズ制御部104の制御の下、絞り102を開閉させる。   The driver 103 includes a motor and the like. The driver 103 drives the focus lens included in the lens 101 in the optical axis direction under the control of the lens control unit 104. The driver 103 opens and closes the diaphragm 102 under the control of the lens control unit 104.
レンズ制御部104は、カメラ本体200の制御部209の制御に従って、交換レンズ100の動作を制御する。また、レンズ制御部104は、レンズ情報記憶部105に記憶されているレンズ情報を制御部209に送信することも行う。レンズ情報記憶部105は、レンズ101の収差や焦点距離等の交換レンズ100の各種動作に必要な情報を記憶している。通信部106は、レンズ制御部104がカメラ本体200の制御部209と通信するためのインターフェイスを備えている。   The lens control unit 104 controls the operation of the interchangeable lens 100 according to the control of the control unit 209 of the camera body 200. The lens control unit 104 also transmits the lens information stored in the lens information storage unit 105 to the control unit 209. The lens information storage unit 105 stores information necessary for various operations of the interchangeable lens 100 such as aberration and focal length of the lens 101. The communication unit 106 includes an interface for the lens control unit 104 to communicate with the control unit 209 of the camera body 200.
カメラ本体200は、シャッタ201と、撮像素子202と、アクチュエータ203と、読み出し部204と、記憶部205と、画像処理部206と、表示部207と、記録媒体208と、制御部209と、操作部210と、動き検出部211とを有している。   The camera body 200 includes a shutter 201, an image sensor 202, an actuator 203, a reading unit 204, a storage unit 205, an image processing unit 206, a display unit 207, a recording medium 208, a control unit 209, and an operation. Unit 210 and motion detection unit 211.
シャッタ201は、撮像素子202の撮像面を遮光状態又は露出状態とすることで撮像素子202の露光時間を調節する機械的機構である。
撮像素子202は、レンズ101を介して結像された被写体からの光束(被写体像)を、光束の光量に応じた電気信号(以下、撮像信号という)に変換するための撮像面を有している。撮像面は、複数の画素が2次元状に配置されて構成されている。また、撮像面の光入射側には、例えば原色系ベイヤ配列のカラーフィルタが設けられている。この撮像素子202は、レンズ101を介して集光された被写体像を撮像し、被写体像を電気信号として出力する。ここで、撮像素子202は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子202の露光時間を電子的に制御する機能である。
The shutter 201 is a mechanical mechanism that adjusts the exposure time of the image sensor 202 by setting the imaging surface of the image sensor 202 in a light-shielded state or an exposed state.
The imaging element 202 has an imaging surface for converting a light beam (subject image) from a subject imaged through the lens 101 into an electrical signal (hereinafter referred to as an imaging signal) corresponding to the light amount of the light beam. Yes. The imaging surface is configured by two-dimensionally arranging a plurality of pixels. Further, for example, a primary color Bayer array color filter is provided on the light incident side of the imaging surface. The image sensor 202 captures a subject image collected through the lens 101 and outputs the subject image as an electrical signal. Here, it is desirable that the image sensor 202 has an electronic shutter function. The electronic shutter function is a function for electronically controlling the exposure time of the image sensor 202.
図2は、本実施形態における撮像素子202の画素配列を示した図である。図2に示すように、本実施形態における撮像素子202には、撮影用画素2021と、焦点検出用画素列2022とが形成されている。
撮影用画素2021は、記録媒体208に記録される撮影画像を取得するため等に用いられる画素であって、図2に示すようにして2次元状に形成されている。ここで、図2は、画素配列が原色系のベイヤ配列であり、赤色の感度を有する画素をR画素、緑色の感度を有する画素をG画素、青色の感度を有する画素をB画素として示している。しかしながら、カラーフィルタの配列は必ずしもベイヤ配列とする必要はない。
FIG. 2 is a diagram illustrating a pixel array of the image sensor 202 in the present embodiment. As illustrated in FIG. 2, the imaging element 202 in the present embodiment includes a shooting pixel 2021 and a focus detection pixel row 2022.
The imaging pixel 2021 is a pixel used for acquiring a captured image recorded on the recording medium 208, and is formed in a two-dimensional shape as shown in FIG. Here, FIG. 2 shows a Bayer array in which the pixel arrangement is a primary color system, a pixel having red sensitivity is indicated as an R pixel, a pixel having green sensitivity is indicated as a G pixel, and a pixel having blue sensitivity is indicated as a B pixel. Yes. However, the color filter array need not necessarily be a Bayer array.
焦点検出用画素列2022は、位相差AFのために用いられる画素であって、撮像素子202の撮像面の一部の領域中に形成されている。図2では、焦点検出用画素列2022を撮像素子202の水平方向に沿って形成している。本実施形態では、カメラを正位置で構えたときに地面に対して水平となる撮像素子202の方向を撮像素子202の水平方向とする。このような焦点検出用画素列2022内のG画素の位置には、複数の焦点検出用画素対が形成されている。各焦点検出用画素対は、所定間隔(図2では1画素)だけ離間して配置された焦点検出用画素2022lと、焦点検出用画素2022rとを有している。さらに、画素列同士で見た場合、焦点検出用画素2022l同士及び焦点検出用画素2022r同士はそれぞれ所定間隔(以下、離散度という)だけ離間して配置されている。図2は、離散度が8画素の例である。   The focus detection pixel column 2022 is a pixel used for phase difference AF, and is formed in a partial region of the imaging surface of the imaging element 202. In FIG. 2, the focus detection pixel row 2022 is formed along the horizontal direction of the image sensor 202. In this embodiment, the direction of the image sensor 202 that is horizontal with respect to the ground when the camera is held at the normal position is the horizontal direction of the image sensor 202. A plurality of focus detection pixel pairs are formed at the position of the G pixel in the focus detection pixel row 2022. Each focus detection pixel pair includes a focus detection pixel 2022l and a focus detection pixel 2022r that are arranged at a predetermined interval (one pixel in FIG. 2). Further, when viewed from the pixel rows, the focus detection pixels 2022l and the focus detection pixels 2022r are arranged apart from each other by a predetermined interval (hereinafter referred to as discreteness). FIG. 2 is an example in which the discreteness is 8 pixels.
図3は、撮像素子202に形成された画素の詳細な構成を示す図である。ここで、図3(a)は、撮影用画素2021の構成を示す。また、図3(b)は、焦点検出用画素2022lの構成を示し、図3(c)は、焦点検出用画素2022rの構成を示している。   FIG. 3 is a diagram illustrating a detailed configuration of pixels formed in the image sensor 202. Here, FIG. 3A shows a configuration of the imaging pixel 2021. FIG. 3B shows the configuration of the focus detection pixel 2022l, and FIG. 3C shows the configuration of the focus detection pixel 2022r.
図3(a)に示すように、撮影用画素2021は、マイクロレンズ301と、光電変換素子302とを有している。
マイクロレンズ301は、レンズ101の対称に分割された異なる瞳領域を通過した光束を光電変換素子302に結像させるように設計されたレンズである。光電変換素子302は、例えばフォトダイオードであり、マイクロレンズ301を介して結像された光束を電気信号に変換して出力する。
As shown in FIG. 3A, the imaging pixel 2021 includes a microlens 301 and a photoelectric conversion element 302.
The microlens 301 is a lens designed to form an image on the photoelectric conversion element 302 with light beams that have passed through different pupil regions divided symmetrically of the lens 101. The photoelectric conversion element 302 is, for example, a photodiode, and converts the light beam imaged through the microlens 301 into an electric signal and outputs it.
図3(b)及び図3(c)に示すように、焦点検出用画素2022lは、マイクロレンズ301と、光電変換素子302と、遮光部材303とを有している。
マイクロレンズ301と光電変換素子302とは、撮影用画素2021と同様のものである。
焦点検出用画素2022lの遮光部材303は、図2に示すように、マイクロレンズ301の右側領域を遮光するように形成されており、マイクロレンズ301の左側領域から入射した光束Llを光電変換素子302に結像させる。焦点検出用画素2022rの遮光部材303は、図2に示すように、マイクロレンズ301の左側領域を遮光するように形成されており、マイクロレンズ301の右側領域から入射した光束Lrを光電変換素子302に結像させる。
As shown in FIGS. 3B and 3C, the focus detection pixel 2022l includes a microlens 301, a photoelectric conversion element 302, and a light shielding member 303.
The microlens 301 and the photoelectric conversion element 302 are the same as the imaging pixel 2021.
As shown in FIG. 2, the light shielding member 303 of the focus detection pixel 2022l is formed so as to shield the right region of the microlens 301. To form an image. As shown in FIG. 2, the light shielding member 303 of the focus detection pixel 2022r is formed so as to shield the left side region of the microlens 301. To form an image.
ここで、本実施形態では、遮光部材を用いる方式で瞳分割を行っているが、マイクロレンズを偏芯させる方式や、1つの光電変換素子302を分割する方式等で瞳分割を行っても良い。
ここで、図1の説明に戻る。アクチュエータ203は、レンズ101の光軸に垂直な平面内で撮像素子202を物理的に駆動させるための機械機構である。このアクチュエータ203は、モータ等の駆動部と、撮像素子202の移動機構とを有している。アクチュエータ203は、撮像素子駆動制御部212からの駆動制御信号に従って撮像素子202の駆動を実行する。
Here, in this embodiment, pupil division is performed by a method using a light shielding member. However, pupil division may be performed by a method of decentering a microlens, a method of dividing one photoelectric conversion element 302, or the like. .
Here, the description returns to FIG. The actuator 203 is a mechanical mechanism for physically driving the image sensor 202 in a plane perpendicular to the optical axis of the lens 101. The actuator 203 has a drive unit such as a motor and a moving mechanism for the image sensor 202. The actuator 203 drives the image sensor 202 in accordance with the drive control signal from the image sensor drive control unit 212.
読み出し部204は、撮像素子202で得られた撮像信号を読み出して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。また、読み出し部204は、アナログの撮像信号をデジタル信号(以下、画像データと言う)に変換することも行う。   The reading unit 204 reads an image signal obtained by the image sensor 202 and performs various analog processes. Examples of the analog processing include reset noise reduction processing, waveform shaping processing, and gain control processing. The reading unit 204 also converts an analog imaging signal into a digital signal (hereinafter referred to as image data).
記憶部205は、カメラ本体200内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する記憶部である。
画像処理部206は、記憶部205に記憶された画像データを読み出し、画素欠陥補正処理や、焦点検出用画素の補間処理、歪み補正処理、デモザイキング処理、画像圧縮処理等の画像処理を施す。
The storage unit 205 is a storage unit that operates as a work memory for temporarily storing various data generated inside the camera body 200.
The image processing unit 206 reads the image data stored in the storage unit 205 and performs image processing such as pixel defect correction processing, focus detection pixel interpolation processing, distortion correction processing, demosaicing processing, and image compression processing.
画素欠陥補正処理は、撮像素子202に欠陥画素がある場合に、その欠陥画素位置の撮影用の画像データを補間により得る処理である。焦点検出用画素の補間処理は、焦点検出用画素の位置に対応した撮影用の画像データを補間により得る処理である。歪み補正処理は、レンズ101の収差等に起因して撮影用の画像データに発生している歪みを補正する処理である。デモザイキング処理は、1画素が1つの色成分に対応している画像データを、1画素が3つの色成分に対応している画像データに変換する処理である。画像圧縮処理は、各種の画像処理が施された撮影用の画像データに対してJPEG方式等の所定の方式を用いて圧縮する処理である。   The pixel defect correction process is a process for obtaining image data for photographing at a defective pixel position by interpolation when the image sensor 202 has a defective pixel. The focus detection pixel interpolation process is a process for obtaining image data for photographing corresponding to the position of the focus detection pixel by interpolation. The distortion correction process is a process for correcting distortion generated in image data for photographing due to aberrations of the lens 101 and the like. The demosaicing process is a process for converting image data in which one pixel corresponds to one color component into image data in which one pixel corresponds to three color components. The image compression process is a process of compressing image data for photographing subjected to various image processes using a predetermined method such as a JPEG method.
表示部207は、例えば液晶ディスプレイ(LCD)であり、画像処理部206によって処理された画像データに基づく画像等の各種の画像を表示する。記録媒体208は、例えばカメラ本体200に着脱自在になされたメモリカードであって、画像処理部206によって圧縮された画像データを含む画像ファイル等が記録される。   The display unit 207 is a liquid crystal display (LCD), for example, and displays various images such as an image based on the image data processed by the image processing unit 206. The recording medium 208 is, for example, a memory card that is detachably attached to the camera body 200, and records an image file including image data compressed by the image processing unit 206.
制御部209は、シャッタ201、撮像素子202、撮像素子駆動制御部212の動作制御等のカメラ本体200の各種シーケンスを統括的に制御する。また、位相差AFの実行時において、制御部209は、AF演算部213で演算されたデフォーカス量や撮影者によって設定された撮影モード等に応じてレンズ101を合焦させるために必要なフォーカスレンズの駆動量や駆動速度を算出し、それらをレンズ制御信号としてレンズ制御部104に出力する。このように、制御部209とレンズ制御部104とにより、結像光学系駆動制御部が構成されている。   The control unit 209 comprehensively controls various sequences of the camera body 200 such as operation control of the shutter 201, the image sensor 202, and the image sensor drive control unit 212. In addition, when executing phase difference AF, the control unit 209 focuses necessary for focusing the lens 101 according to the defocus amount calculated by the AF calculation unit 213, the shooting mode set by the photographer, and the like. The lens driving amount and driving speed are calculated and output to the lens control unit 104 as lens control signals. As described above, the control unit 209 and the lens control unit 104 constitute an imaging optical system drive control unit.
操作部210は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。撮影者により操作部210の操作がなされると、制御部209は、その操作に対応したシーケンスを実行する。
動き検出部211は、例えば3軸の加速度センサであり、カメラ本体200の動き量を検出する。
The operation unit 210 is an operation member such as a power button, a shutter button, a playback button, and various input keys. When the operation unit 210 is operated by the photographer, the control unit 209 executes a sequence corresponding to the operation.
The motion detection unit 211 is a triaxial acceleration sensor, for example, and detects the amount of motion of the camera body 200.
撮像素子駆動制御部212は、制御部209からの手ぶれ補正指示又は位相差AF指示に従ってアクチュエータ203を駆動するための駆動制御信号を生成し、生成した駆動制御信号をアクチュエータ203に入力する。
図4は、撮像素子駆動制御部212の構成を示す図である。図4に示すように、撮像素子駆動制御部212は、位相差AF用制御部2121と、手ぶれ補正用制御部2122と、重畳部2123と、撮像素子ドライバ2124とを有している。
The image sensor drive control unit 212 generates a drive control signal for driving the actuator 203 in accordance with the camera shake correction instruction or the phase difference AF instruction from the control unit 209, and inputs the generated drive control signal to the actuator 203.
FIG. 4 is a diagram illustrating a configuration of the image sensor drive control unit 212. As illustrated in FIG. 4, the image sensor drive control unit 212 includes a phase difference AF control unit 2121, a camera shake correction control unit 2122, a superimposing unit 2123, and an image sensor driver 2124.
位相差AF用制御部2121は、制御部209から、位相差AF指示としての撮像素子202内の焦点検出用画素の露光時間等の情報を受け取り、焦点検出用画素の露光時間に応じた駆動制御信号を生成して重畳部2123に出力する。手ぶれ補正用制御部2122は、制御部209から手ぶれ補正指示としてのカメラ本体200の動き量の情報を受け取り、撮影時におけるカメラ本体200の揺れによる影響が軽減するように駆動制御信号を生成して重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号に位相差AF用制御部2121からの駆動制御信号を重畳して撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、重畳部2123から受け取った駆動制御信号を元にアクチュエータ203の駆動電流を生成し、生成した駆動電流をアクチュエータ203に出力する。   The phase difference AF control unit 2121 receives information such as the exposure time of the focus detection pixels in the image sensor 202 as a phase difference AF instruction from the control unit 209, and performs drive control according to the exposure time of the focus detection pixels. A signal is generated and output to the superimposing unit 2123. The camera shake correction control unit 2122 receives information on the amount of movement of the camera body 200 as a camera shake correction instruction from the control unit 209, and generates a drive control signal so as to reduce the influence of shaking of the camera body 200 during shooting. The data is output to the superimposing unit 2123. The superimposing unit 2123 superimposes the drive control signal from the phase difference AF control unit 2121 on the drive control signal from the camera shake correction control unit 2122 and outputs the superimposed signal to the image sensor driver 2124. The image sensor driver 2124 generates a drive current for the actuator 203 based on the drive control signal received from the superimposing unit 2123, and outputs the generated drive current to the actuator 203.
ここで、図1の説明に戻る。AF演算部213は、焦点検出用画素2022l、2022rからそれぞれ得られた画像データを用いた相関演算によってレンズ101のデフォーカス量を算出する。例えば、焦点検出用画素列2022の配列方向が撮像素子202の水平方向である場合、被写体のある点からの光束Llは、レンズ101の左側の瞳領域を通過して焦点検出用画素2022lで受光される。また、この点と同一の点からの光束Lrは、レンズ101の右側の瞳領域を通過して焦点検出用画素2022rで受光される。ここで、レンズ101が合焦状態に近い場合、被写体の同一の点から出射された光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔が狭くなる。そして、レンズ101が合焦状態から外れるにつれて2像間隔が広くなる。このように、レンズ101の合焦状態と2像間隔とは線形関係を有しているので、2像間隔を検出することにより、レンズ101のデフォーカス量を算出することが可能である。この2像間隔を検出するための演算が相関演算である。相関演算の詳細な演算手法については従来周知の手法を用いれば良いので説明を省略する。   Here, the description returns to FIG. The AF calculation unit 213 calculates the defocus amount of the lens 101 by correlation calculation using image data obtained from the focus detection pixels 2022l and 2022r, respectively. For example, when the arrangement direction of the focus detection pixel row 2022 is the horizontal direction of the image sensor 202, the light beam Ll from a certain point of the subject passes through the pupil region on the left side of the lens 101 and is received by the focus detection pixel 2022l. Is done. Further, the light beam Lr from the same point as this point passes through the right pupil region of the lens 101 and is received by the focus detection pixel 2022r. Here, when the lens 101 is close to the in-focus state, the interval between the two images, which is the distance between the light receiving position of the light beam Ll emitted from the same point of the subject and the light receiving position of the light beam Lr, is narrowed. Then, the distance between the two images becomes wider as the lens 101 moves out of focus. As described above, since the in-focus state of the lens 101 and the two-image interval have a linear relationship, the defocus amount of the lens 101 can be calculated by detecting the two-image interval. A calculation for detecting the interval between the two images is a correlation calculation. The detailed calculation method of the correlation calculation may be a conventionally known method, and thus description thereof is omitted.
次に、図5のフローチャートを参照して、本発明の一実施形態に係る撮像装置の動作について説明する。図5は、本実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。撮影者の操作部210の電源ボタンの操作により、カメラ本体200の電源がオンとなると図5の動作が開始される。カメラ本体200の電源がオンされると、制御部209は、スルー画表示を実行する。スルー画表示において、制御部209は、撮像素子202の動作を開始させ、撮像素子202を介して得られる画像データに基づく画像を表示部207にリアルタイム表示させる。   Next, the operation of the imaging apparatus according to the embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 5 is a flowchart showing a sequence of shooting operations in the imaging apparatus of the present embodiment. When the camera body 200 is turned on by operating the power button of the operation unit 210 of the photographer, the operation of FIG. 5 is started. When the power source of the camera body 200 is turned on, the control unit 209 executes through image display. In the through image display, the control unit 209 starts the operation of the image sensor 202 and causes the display unit 207 to display an image based on image data obtained via the image sensor 202 in real time.
その後、制御部209は、撮像素子202の手ぶれ補正用駆動を実行する(ステップS101)。この手ぶれ補正用駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、撮像素子駆動制御部212の手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量が相殺されるような撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。この第2の駆動としての手ぶれ補正用駆動により、撮像素子202を介して得られる画像データにおける画像ぶれが軽減される。このような手ぶれ補正用駆動を行うのは、表示部207にスルー画を表示する際に撮影者が構図をスムーズに確認できるようにするためである。   After that, the control unit 209 executes a camera shake correction drive for the image sensor 202 (step S101). In this camera shake correction drive, the control unit 209 outputs the amount of movement of the camera body 200 detected by the motion detection unit 211 to the camera shake correction control unit 2122 of the image sensor drive control unit 212 to instruct camera shake correction. . In response to this instruction, the camera shake correction control unit 2122 generates a drive control signal indicating the drive amount of the image sensor 202 such that the input movement amount of the camera body 200 is canceled, and the generated drive control signal is generated. The data is output to the superimposing unit 2123. The superimposing unit 2123 outputs a drive control signal from the camera shake correction control unit 2122 to the image sensor driver 2124. The image sensor driver 2124 drives the actuator 203 in accordance with the received drive control signal. Image blurring in the image data obtained via the image sensor 202 is reduced by the camera shake correction driving as the second driving. The reason for performing the camera shake correction drive is to enable the photographer to check the composition smoothly when displaying the through image on the display unit 207.
手ぶれ補正用駆動の実行後、制御部209は、操作部210のシャッタボタンが押されたかどうかを判定する(ステップS102)。シャッタボタンが押されるまでは制御部209は、ステップS101の処理を繰り返す。この場合、手ぶれ補正を伴うスルー画表示が継続される。   After executing the camera shake correction drive, the control unit 209 determines whether the shutter button of the operation unit 210 has been pressed (step S102). Until the shutter button is pressed, the control unit 209 repeats the process of step S101. In this case, the through image display with camera shake correction is continued.
また、シャッタボタンが押された場合、制御部209は、撮像素子202の位相差AF駆動を実行する(ステップS103)。この第1の駆動としての位相差AF駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量を相殺するような撮像素子202の駆動量に応じた駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。また、制御部209は、焦点検出用画素の露光時間等の位相差AF駆動に必要な情報を、位相差AF用制御部2121に出力して位相差AF駆動を指示する。この指示を受けて、位相差AF用制御部2121は、入力された露光時間に応じた撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用の駆動制御信号に位相差AF駆動用の駆動制御信号を重畳し、これにより得られた駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。このような位相差AF駆動の詳細については後述する。   If the shutter button is pressed, the control unit 209 executes phase difference AF driving of the image sensor 202 (step S103). In the phase difference AF driving as the first driving, the control unit 209 outputs the amount of motion of the camera body 200 detected by the motion detection unit 211 to the camera shake correction control unit 2122 to instruct camera shake correction. In response to this instruction, the camera shake correction control unit 2122 generates a drive control signal according to the drive amount of the image sensor 202 that cancels the input movement amount of the camera body 200, and uses the generated drive control signal. The data is output to the superimposing unit 2123. Further, the control unit 209 outputs information necessary for the phase difference AF driving such as the exposure time of the focus detection pixel to the phase difference AF control unit 2121 to instruct the phase difference AF driving. In response to this instruction, the phase difference AF control unit 2121 generates a drive control signal indicating the drive amount of the image sensor 202 according to the input exposure time, and outputs the generated drive control signal to the superimposing unit 2123. . The superimposing unit 2123 superimposes the driving control signal for phase difference AF driving on the driving control signal for camera shake correction, and outputs the driving control signal obtained thereby to the image sensor driver 2124. The image sensor driver 2124 drives the actuator 203 in accordance with the received drive control signal. Details of such phase difference AF driving will be described later.
位相差AF駆動の実行後、制御部209は、位相差AF用の画像データの読み出しを指示する(ステップS104)。これを受けて、読み出し部204は、撮像素子202の焦点検出用画素列2022から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、AF演算部213にデフォーカス量の算出を指示する(ステップS105)。これを受けてAF演算部213は、記憶部205から画像データを読み出し、読み出した画像データから、光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔を検出し、検出した2像間隔からレンズ101のデフォーカス量を算出する(ステップS105)。AF演算部213は、算出したデフォーカス量を制御部209に出力する。   After executing the phase difference AF driving, the control unit 209 instructs reading of the image data for phase difference AF (step S104). In response to this, the reading unit 204 reads image data from the focus detection pixel array 2022 of the image sensor 202 and causes the storage unit 205 to store the read image data. After reading the image data, the control unit 209 instructs the AF calculation unit 213 to calculate the defocus amount (step S105). In response to this, the AF calculation unit 213 reads the image data from the storage unit 205, detects the two-image interval, which is the interval between the light receiving position of the light beam Ll and the light receiving position of the light beam Lr, from the read image data. The defocus amount of the lens 101 is calculated from the two image intervals (step S105). The AF calculation unit 213 outputs the calculated defocus amount to the control unit 209.
その後、制御部209は、入力されたデフォーカス量が予め定めた合焦範囲内であるかどうかを判定する(ステップS106)。ここで、合焦範囲とは、レンズ101の焦点深度に応じて設定されるものであり、レンズ101が合焦していると判断できる範囲のことである。デフォーカス量が合焦範囲外である場合、制御部209は、デフォーカス量に応じたレンズ駆動を実行する(ステップS107)。このレンズ駆動において、制御部209は、デフォーカス量が相殺されるようなフォーカスレンズの駆動量を示すレンズ駆動制御信号を生成し、生成したレンズ駆動制御信号をレンズ制御部104に出力する。レンズ制御部104は受け取ったレンズ駆動制御信号をドライバ103に出力する。ドライバ103は、受け取ったレンズ駆動制御信号に応じてレンズ101のフォーカスレンズを駆動させる。このようなレンズ駆動により、レンズ101のデフォーカス量が小さくなる。このレンズ駆動の後、制御部209は、処理をステップS104に戻す。   Thereafter, the control unit 209 determines whether or not the input defocus amount is within a predetermined focusing range (step S106). Here, the in-focus range is set according to the focal depth of the lens 101, and is a range in which it can be determined that the lens 101 is in focus. When the defocus amount is out of the focus range, the control unit 209 performs lens driving according to the defocus amount (step S107). In this lens drive, the control unit 209 generates a lens drive control signal indicating the drive amount of the focus lens so that the defocus amount is canceled, and outputs the generated lens drive control signal to the lens control unit 104. The lens control unit 104 outputs the received lens drive control signal to the driver 103. The driver 103 drives the focus lens of the lens 101 according to the received lens drive control signal. By such lens driving, the defocus amount of the lens 101 is reduced. After this lens driving, the control unit 209 returns the process to step S104.
ステップS106において、デフォーカス量が合焦範囲内である場合、制御部209は、手ぶれ補正用駆動を再び実行する(ステップS108)。その後、制御部209は、撮像素子202の本撮像を実行する(ステップS109)。本撮像においては、撮像素子202の露光量を所定の適正値とするように、絞り102の絞り量や撮像素子202の露光時間(シャッタ201の開放量)を設定しつつ、撮像素子202による露光を実行する。   In step S106, when the defocus amount is within the in-focus range, the control unit 209 executes the camera shake correction drive again (step S108). Thereafter, the control unit 209 performs main imaging of the image sensor 202 (step S109). In actual imaging, the exposure by the image sensor 202 is set while setting the aperture amount of the diaphragm 102 and the exposure time of the image sensor 202 (the opening amount of the shutter 201) so that the exposure amount of the image sensor 202 is a predetermined appropriate value. Execute.
本撮像の後、制御部209は、撮影用の画像データの読み出しを指示する(ステップS110)。これを受けて、読み出し部204は、撮像素子202の全画素から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、画像処理部206に画像処理の実行を指示する(ステップS111)。これを受けて画像処理部206は、記憶部205から画像データを読み出し、読み出した画像データを用いて画素補間処理を施す。画素補間処理は、種々の手法を用いることができる。例えば、焦点検出用画素2022l、2022rの周囲の同色画素(図2の例ではG画素)の画像データの平均値を用いて焦点検出用画素2022l、2022rの位置の画像データを補間することができる。この他、画素補間処理の代わりに焦点検出用画素2022l、2022rの画像データをそのまま用いるようにしても良い。画素補間処理の後、画像処理部206は、画素欠陥補正処理、歪み補正処理、デモザイキング処理、画像圧縮処理等のその他の画像処理を施し、画像処理後の画像データを記憶部205に記憶させる。その後、制御部209は、記憶部205から画像処理後の画像データを読み出し、読み出した画像データに所定のヘッダ情報を付与して画像ファイルを作成し、作成した画像ファイルを記録媒体208に記録させる(ステップS112)。その後、制御部209は、ステップ102へ処理を戻す。このようにして一連の撮影動作が行われる。   After the main imaging, the control unit 209 instructs reading of image data for shooting (step S110). In response to this, the reading unit 204 reads image data from all the pixels of the image sensor 202 and stores the read image data in the storage unit 205. After reading the image data, the control unit 209 instructs the image processing unit 206 to execute image processing (step S111). In response to this, the image processing unit 206 reads image data from the storage unit 205 and performs pixel interpolation processing using the read image data. Various methods can be used for pixel interpolation processing. For example, the image data at the positions of the focus detection pixels 2022l and 2022r can be interpolated using the average value of the image data of the same color pixels (G pixels in the example of FIG. 2) around the focus detection pixels 2022l and 2022r. . In addition, the image data of the focus detection pixels 2022l and 2022r may be used as they are instead of the pixel interpolation processing. After the pixel interpolation processing, the image processing unit 206 performs other image processing such as pixel defect correction processing, distortion correction processing, demosaicing processing, and image compression processing, and stores the image data after the image processing in the storage unit 205. . Thereafter, the control unit 209 reads out the image data after image processing from the storage unit 205, adds predetermined header information to the read image data, creates an image file, and records the created image file in the recording medium 208. (Step S112). Thereafter, the control unit 209 returns the process to step 102. In this way, a series of shooting operations are performed.
次に、位相差AF駆動について詳しく説明する。
まず、基本的な動きを説明するために手ぶれ補正用駆動が行われない場合を例に説明する。即ち、手ぶれ補正用制御部2122が駆動制御信号を出力せずに位相差AF用制御部2121のみが駆動制御信号を出力し、撮像素子ドライバ2124が位相差AF用制御部2121からの駆動制御信号に従ってアクチュエータ203を駆動させる例である。この時の撮像素子202の駆動の様子を示したのが図6である。
Next, phase difference AF driving will be described in detail.
First, in order to explain the basic movement, a case will be described as an example where the image stabilization drive is not performed. That is, the camera shake correction control unit 2122 does not output a drive control signal, but only the phase difference AF control unit 2121 outputs a drive control signal, and the image sensor driver 2124 outputs a drive control signal from the phase difference AF control unit 2121. This is an example of driving the actuator 203 according to the above. FIG. 6 shows how the image sensor 202 is driven at this time.
本実施形態では、焦点検出用画素対の配列方向と平行になるように撮像素子202を駆動させる。図2の例では、水平方向に撮像素子202を駆動させる。ここで、図6の縦軸は、撮像素子202の変位量を示しており、右方向を正方向としている。また、図6の縦軸で示す1ELは、離散度を示している。離散度は、焦点検出用画素のサンプリングピッチに対応した量であって、図6の例では1EL=8画素である。また、図6の横軸は経過時間を示している。図6に示すように、焦点検出用画素の露光は、垂直同期信号VDに同期して行われる。図6の例では、VD信号の間隔を20msとし、4回連続で露光を行っている。ここで、図6の例では、4回の露光動作を行う例を示しているが露光回数は、4回に限定されるものではない。   In the present embodiment, the image sensor 202 is driven so as to be parallel to the arrangement direction of the focus detection pixel pairs. In the example of FIG. 2, the image sensor 202 is driven in the horizontal direction. Here, the vertical axis in FIG. 6 indicates the amount of displacement of the image sensor 202, and the right direction is the positive direction. Moreover, 1EL shown by the vertical axis | shaft of FIG. 6 has shown discreteness. The discreteness is an amount corresponding to the sampling pitch of the focus detection pixels, and in the example of FIG. 6, 1EL = 8 pixels. Further, the horizontal axis in FIG. 6 indicates the elapsed time. As shown in FIG. 6, the focus detection pixels are exposed in synchronization with the vertical synchronization signal VD. In the example of FIG. 6, the interval between VD signals is 20 ms, and exposure is performed four times in succession. Here, the example of FIG. 6 shows an example in which the exposure operation is performed four times, but the number of exposures is not limited to four.
図6に示すように、本実施形態では、1回の露光期間中に水平方向に1ELだけ動くように撮像素子202を駆動させる。また、1回の露光期間毎に撮像素子202の移動方向を反転させるように撮像素子202を駆動させる。この場合、撮像素子202は水平方向に沿って振動するように移動する。図6の例の場合には、振動周期は40msとなり、振動周波数は25Hzとなる。   As shown in FIG. 6, in this embodiment, the image sensor 202 is driven so as to move by 1 EL in the horizontal direction during one exposure period. Further, the image sensor 202 is driven so as to reverse the moving direction of the image sensor 202 for each exposure period. In this case, the image sensor 202 moves so as to vibrate along the horizontal direction. In the example of FIG. 6, the vibration period is 40 ms and the vibration frequency is 25 Hz.
図6のようにして撮像素子202を駆動させた場合の撮像素子202の様子を光軸方向から拡大して示したものが図7である。図7において、白抜きの丸で示す画素が撮影用画素2021を示し、ハッチングを施した画素が焦点検出用画素を示している。そして、Lは焦点検出用画素2022lであり、Rは焦点検出用画素2022rである。さらに、図7において括弧書きで示した番号は、図6の時間軸に沿って括弧書きで示した番号とそれぞれ対応しており、時間の経過とともに撮像素子202がどのように動くかを示している。   FIG. 7 is an enlarged view of the state of the image sensor 202 when the image sensor 202 is driven as shown in FIG. 6 from the optical axis direction. In FIG. 7, a pixel indicated by a white circle indicates a photographing pixel 2021, and a hatched pixel indicates a focus detection pixel. L is a focus detection pixel 2022l, and R is a focus detection pixel 2022r. Further, the numbers shown in parentheses in FIG. 7 correspond to the numbers shown in parentheses along the time axis in FIG. 6, and indicate how the image sensor 202 moves with the passage of time. Yes.
露光開始の時点では(1)の状態である。この後、撮像素子202の露光開始に伴って右方向への撮像素子202の移動が開始される。露光開始から10msが経過すると(2)の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から1/2EL(=4画素)だけずれる。さらに、露光開始から10msが経過すると1回分の露光が終了して(3)の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から1EL(=8画素)だけずれる。この後、画像データの読み出しが行われて1回の露光動作が終了する。この1回の露光動作により、1つの焦点検出用画素を用いて、8画素分の範囲の光束を2.5msずつの露光時間でサンプリングすることが可能である。   At the start of exposure, the state is (1). Thereafter, the movement of the image sensor 202 in the right direction is started with the start of exposure of the image sensor 202. When 10 ms elapses from the start of exposure, the state (2) is obtained. At this time, the positions of the focus detection pixels 2022l and 2022r are deviated by 1/2 EL (= 4 pixels) from the initial position. Further, when 10 ms elapses from the start of exposure, one exposure is completed and the state (3) is obtained. At this time, the positions of the focus detection pixels 2022l and 2022r are deviated by 1 EL (= 8 pixels) from the initial position. Thereafter, the image data is read and one exposure operation is completed. With this single exposure operation, it is possible to sample a luminous flux in a range of 8 pixels with an exposure time of 2.5 ms using one focus detection pixel.
2回目の露光開始から10msが経過すると(4)の状態となる。(4)の状態は(2)と同一である。さらに、10msが経過すると(5)の状態となる。(5)の状態は(1)と同一であり、これにより撮像素子202の位置が初期状態に復帰する。以後、3回目の露光時には1回目の露光時と同様に撮像素子202が駆動され、4回目の露光時には2回目の露光時と同様に撮像素子202が駆動される。なお、位相差AFに用いる画像データは、例えば4回の露光の平均値を用いる。   When 10 ms elapses from the start of the second exposure, the state (4) is obtained. The state of (4) is the same as (2). Further, when 10 ms elapses, the state (5) is obtained. The state of (5) is the same as (1), whereby the position of the image sensor 202 is returned to the initial state. Thereafter, in the third exposure, the image sensor 202 is driven as in the first exposure, and in the fourth exposure, the image sensor 202 is driven as in the second exposure. For example, an average value of four exposures is used as the image data used for the phase difference AF.
次に、手ぶれ補正用駆動が行われる場合の動作について説明を行う。
図8は、手ぶれ補正用駆動と位相差AF用駆動とを併用した場合について説明するためのグラフである。ここで、図8においては、撮像素子202の変位を縦軸に、時間変化を横軸に示している。ここでは簡略化のために水平方向のみの変位を図示しているが、実際には垂直方向にも駆動させているものとする。図8の領域AはステップS101の期間に対応している。同様に図8の領域BはステップS103の期間に対応し、領域CはステップS108の期間に対応している。さらに、点Sのタイミングで本撮像を行っている。
Next, the operation when the camera shake correction drive is performed will be described.
FIG. 8 is a graph for explaining the case where the camera shake correction drive and the phase difference AF drive are used in combination. Here, in FIG. 8, the displacement of the image sensor 202 is shown on the vertical axis, and the time change is shown on the horizontal axis. Here, for the sake of simplification, only the displacement in the horizontal direction is illustrated, but it is assumed that the displacement is actually also driven in the vertical direction. Region A in FIG. 8 corresponds to the period of step S101. Similarly, region B in FIG. 8 corresponds to the period of step S103, and region C corresponds to the period of step S108. Further, the main imaging is performed at the timing of the point S.
上述したように、領域A、Cの期間では、手ぶれ補正用の撮像素子202の駆動のみが行われる。即ち、カメラ本体200の動きによる画像のぶれを補正する方向にのみ撮像素子202を駆動する。この手ぶれ補正用駆動によって、撮影者の意図しない手ぶれによる画像ぶれの影響を軽減できる。なお、一般に人の手ぶれは、およそ数Hz〜十数Hz程の振動であるので撮像素子202の駆動周期もそれと同程度となる。   As described above, during the period of the regions A and C, only the image pickup device 202 for camera shake correction is driven. That is, the image sensor 202 is driven only in a direction in which image blur due to the movement of the camera body 200 is corrected. This camera shake correction drive can reduce the influence of image blur caused by camera shake not intended by the photographer. In general, human hand shake is a vibration of about several Hz to several tens of Hz, so that the driving cycle of the image sensor 202 is approximately the same.
一方、領域Bでは、手ぶれ補正用駆動に位相差AF用駆動を重畳して撮像素子202を駆動する。両駆動の重畳の仕方は、手ぶれ補正用駆動量に応じて異ならせる。例えば、手ぶれ補正用の駆動量が位相差AF用駆動量よりも小さい場合には、図8の破線で示す手ぶれ補正用駆動量に対してさらに位相差AF用の駆動量分だけ撮像素子202を能動的に動かす。一方、手ぶれ補正用の駆動量が位相差AF用の駆動量よりも大きい場合には、手ぶれ補正用駆動のみ行う。この時、完全に手ぶれを補正してしまうと位相差AF用駆動の効果がなくなってしまうので、位相差AF用の駆動に必要な駆動量だけ撮像素子202が動くようにする。   On the other hand, in the region B, the imaging element 202 is driven by superimposing the phase difference AF driving on the camera shake correction driving. The method of superimposing both the drives is made different according to the camera shake correction drive amount. For example, when the driving amount for camera shake correction is smaller than the driving amount for phase difference AF, the image sensor 202 is further increased by the driving amount for phase difference AF with respect to the driving amount for camera shake correction shown by the broken line in FIG. Move actively. On the other hand, when the driving amount for camera shake correction is larger than the driving amount for phase difference AF, only the camera shake correction drive is performed. At this time, if the camera shake is completely corrected, the effect of the phase difference AF driving is lost, so that the image sensor 202 is moved by the driving amount necessary for the phase difference AF driving.
以上説明したように本実施形態では、位相差AF時に撮像素子202を能動的に駆動させることで、焦点検出用画素をその配列方向に沿ってスキャンさせることが可能である。これにより、焦点検出用画素の離散度を大きくしても、撮像面上に結像している光束を広範囲でサンプリングできる。また、このような位相差AF駆動では、実質的にローパスフィルタを用いたのと同様の効果が得られる。即ち、撮像信号における高周波成分が除去されるので、エイリアシングの影響によって相関演算の誤差が大きくなる合焦点の近傍付近でも精度良く、デフォーカス量算出を行うことができる。   As described above, in the present embodiment, it is possible to scan the focus detection pixels along the arrangement direction by actively driving the image sensor 202 during the phase difference AF. Thereby, even if the discreteness of the focus detection pixels is increased, the light flux formed on the imaging surface can be sampled over a wide range. Further, in such phase difference AF driving, substantially the same effect as using a low-pass filter can be obtained. That is, since the high-frequency component in the image pickup signal is removed, the defocus amount can be calculated with high accuracy even in the vicinity of the focal point where the error of the correlation calculation becomes large due to the influence of aliasing.
また、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを併用することにより、画像ぶれの低減と位相差AFの検出精度の向上とを両立させることが可能である。さらに、手ぶれ補正用の駆動機構と位相差AF用の駆動機構とを別個に設ける必要もない。なお、上述の例では、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを並列して行うようにしているが、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とは適宜切り替えて行うようにしても良い。   Further, by combining the driving of the image sensor 202 for phase difference AF and the driving of the image sensor 202 for correcting camera shake, it is possible to achieve both reduction in image blur and improvement in detection accuracy of phase difference AF. is there. Further, it is not necessary to separately provide a camera shake correction drive mechanism and a phase difference AF drive mechanism. In the above-described example, the driving of the image sensor 202 for phase difference AF and the driving of the image sensor 202 for camera shake correction are performed in parallel. The driving of the image pickup device 202 for camera shake correction may be switched as appropriate.
また、図6の例では、焦点検出用画素の配列方向が撮像素子202の水平方向であるため、位相差AF駆動時の撮像素子202の駆動方向が水平方向となっている。しかしながら、焦点検出用画素の配列方向は必ずしも水平方向とする必要はなく、垂直方向や斜め方向に配置することもできる。また、焦点検出用画素列を複数列配置するようにしても良い。また、1回の露光期間中の撮像素子202の駆動量を1EL(図2の例では8画素)分としているが、0ELより大きく、1EL以内の距離であれば良い。   In the example of FIG. 6, since the array direction of the focus detection pixels is the horizontal direction of the image sensor 202, the drive direction of the image sensor 202 during phase difference AF driving is the horizontal direction. However, the arrangement direction of the focus detection pixels does not necessarily have to be a horizontal direction, and can be arranged in a vertical direction or an oblique direction. Further, a plurality of focus detection pixel columns may be arranged. Further, although the driving amount of the image sensor 202 during one exposure period is 1 EL (8 pixels in the example of FIG. 2), the distance may be larger than 0 EL and within 1 EL.
さらに、上述した例では撮像装置の例としてレンズ交換式カメラを示しているが、必ずしもレンズ交換式とする必要はない。本実施形態の技術は、撮影用の撮像素子上で位相差AFを行う各種の撮像装置に適用可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
Further, in the above-described example, an interchangeable lens camera is shown as an example of the imaging apparatus, but it is not necessarily required to be a interchangeable lens. The technique of the present embodiment can be applied to various imaging apparatuses that perform phase difference AF on an imaging element for photographing.
Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。   Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
100…交換レンズ、101…レンズ、103…ドライバ、104…レンズ制御部、105…レンズ情報記憶部、106…通信部、200…カメラ本体、201…シャッタ、202…撮像素子、203…アクチュエータ、205…記憶部、206…画像処理部、207…表示部、208…記録媒体、209…制御部、210…操作部、211…動き検出部、212…撮像素子駆動制御部、213…AF演算部、301…マイクロレンズ、302…光電変換素子、303…遮光部材、2021…撮影用画素、2022…焦点検出用画素列、2121…位相差AF用制御部、2122…手ぶれ補正用制御部、2123…重畳部、2124…撮像素子ドライバ   DESCRIPTION OF SYMBOLS 100 ... Interchangeable lens, 101 ... Lens, 103 ... Driver, 104 ... Lens control part, 105 ... Lens information storage part, 106 ... Communication part, 200 ... Camera body, 201 ... Shutter, 202 ... Imaging element, 203 ... Actuator, 205 DESCRIPTION OF SYMBOLS ... Memory | storage part, 206 ... Image processing part, 207 ... Display part, 208 ... Recording medium, 209 ... Control part, 210 ... Operation part, 211 ... Motion detection part, 212 ... Image sensor drive control part, 213 ... AF calculating part, DESCRIPTION OF SYMBOLS 301 ... Micro lens, 302 ... Photoelectric conversion element, 303 ... Light-shielding member, 2021 ... Shooting pixel, 2022 ... Focus detection pixel row, 2121 ... Phase difference AF control unit, 2122 ... Camera shake correction control unit, 2123 ... Superimposition , 2124 ... Image sensor driver

Claims (4)

  1. 被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、
    前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、
    前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、
    前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、
    を具備することを特徴とする撮像装置。
    A focus detection pixel pair having a plurality of pixels that output an imaging signal corresponding to a light beam from a subject, and receiving a light beam that has passed through a different pupil region of the imaging optical system in a part of the plurality of pixels. An imaging element formed with,
    A calculation unit that calculates a two-image interval from the imaging signals respectively output from the focus detection pixel pairs, and calculates a defocus amount for the subject of the imaging optical system from the calculated two-image interval;
    An imaging optical system drive control unit that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit;
    An image sensor driving control unit that moves the image sensor during an exposure period in which the focus detection pixel pair receives the luminous flux and removes a high-frequency component in an image signal output from the focus detection pixel pair;
    An imaging apparatus comprising:
  2. 前記焦点検出用画素対は、複数対形成されており、
    前記撮像素子駆動制御部は、前記露光期間中に、互いに隣接する焦点検出用画素対の間の距離以内の距離だけ前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。
    A plurality of pairs of focus detection pixels are formed,
    The image pickup apparatus according to claim 1, wherein the image pickup device drive control unit moves the image pickup device by a distance within a distance between adjacent focus detection pixel pairs during the exposure period.
  3. 前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第1の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第2の駆動と、を重畳させて前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。   The image sensor drive control unit performs a first drive for moving the image sensor to remove a high frequency component in an image signal output from the focus detection pixel pair, and a camera shake correction of the image pickup apparatus. The image pickup apparatus according to claim 1, wherein the image pickup device is moved by superimposing a second drive for moving the image pickup device.
  4. 前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第1の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第2の駆動と、を切り替えて前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。   The image sensor drive control unit performs a first drive for moving the image sensor to remove a high frequency component in an image signal output from the focus detection pixel pair, and a camera shake correction of the image pickup apparatus. The image pickup apparatus according to claim 1, wherein the image pickup device is moved by switching between a second drive for moving the image pickup device.
JP2011029839A 2011-02-15 2011-02-15 Imaging device Active JP5714931B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011029839A JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011029839A JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Publications (2)

Publication Number Publication Date
JP2012168383A JP2012168383A (en) 2012-09-06
JP5714931B2 true JP5714931B2 (en) 2015-05-07

Family

ID=46972595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011029839A Active JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Country Status (1)

Country Link
JP (1) JP5714931B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6260618B2 (en) * 2013-05-17 2018-01-17 リコーイメージング株式会社 Imaging apparatus and imaging control system
JP6525498B2 (en) * 2013-12-12 2019-06-05 キヤノン株式会社 Image pickup apparatus, control method thereof and control program
KR102128467B1 (en) 2014-01-09 2020-07-09 삼성전자주식회사 Image sensor and image photograph apparatus including image sensor
JP2017000568A (en) 2015-06-12 2017-01-05 ソニー・オリンパスメディカルソリューションズ株式会社 Medical image acquisition system and medical imaging device
JP2018031877A (en) 2016-08-24 2018-03-01 オリンパス株式会社 Image pickup device and focus adjusting method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354336A (en) * 2001-05-28 2002-12-06 Canon Inc Lens device and digital camera system
JP2004109864A (en) * 2002-09-20 2004-04-08 Canon Inc Imaging apparatus and imaging system provided with it
JP2008193195A (en) * 2007-02-01 2008-08-21 Nikon Corp Digital camera
JP5012495B2 (en) * 2007-12-26 2012-08-29 株式会社ニコン IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE
JP5219865B2 (en) * 2008-02-13 2013-06-26 キヤノン株式会社 Imaging apparatus and focus control method
WO2009133960A1 (en) * 2008-04-30 2009-11-05 Canon Kabushiki Kaisha Image sensing apparatus
JP2010087850A (en) * 2008-09-30 2010-04-15 Fujitsu Frontech Ltd Imaging apparatus for reading information
JP5478677B2 (en) * 2012-07-19 2014-04-23 オリンパスイメージング株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Also Published As

Publication number Publication date
JP2012168383A (en) 2012-09-06

Similar Documents

Publication Publication Date Title
US9426350B2 (en) Image capturing apparatus and control method thereof
JP5468178B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP5180717B2 (en) Imaging device
KR101691551B1 (en) Photographing apparatus and method
JP4867552B2 (en) Imaging device
JP4522207B2 (en) Camera system, camera body and interchangeable lens
JP5988790B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP5701785B2 (en) The camera module
JP5400406B2 (en) Imaging device
JP4720508B2 (en) Imaging device and imaging apparatus
KR101631073B1 (en) Image processing apparatus, image processing method, and storage medium, and image pickup apparatus with image processing apparatus
JP5739640B2 (en) Imaging device and imaging apparatus
JP2014139679A (en) Imaging apparatus and method for controlling focusing of the same
JP5954964B2 (en) Imaging apparatus and control method thereof
JP6341736B2 (en) Imaging apparatus, control method, program, storage medium
EP2863626B1 (en) Imaging device and control method for imaging device
JP5422745B2 (en) Imaging apparatus and imaging method
JP5396566B2 (en) Imaging apparatus and autofocus control method thereof
JP6508626B2 (en) Imaging apparatus, processing program, imaging method
JP2010020055A (en) Image capturing apparatus and method of controlling the same
JP5361535B2 (en) Imaging device
JP5519077B2 (en) Imaging device
JP5150795B2 (en) Imaging apparatus and imaging method
US20110285899A1 (en) Image capturing apparatus
JP2011081271A (en) Image capturing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150312

R151 Written notification of patent or utility model registration

Ref document number: 5714931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250