JP5714931B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5714931B2 JP5714931B2 JP2011029839A JP2011029839A JP5714931B2 JP 5714931 B2 JP5714931 B2 JP 5714931B2 JP 2011029839 A JP2011029839 A JP 2011029839A JP 2011029839 A JP2011029839 A JP 2011029839A JP 5714931 B2 JP5714931 B2 JP 5714931B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- focus detection
- control unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 72
- 238000001514 detection method Methods 0.000 claims description 79
- 238000012937 correction Methods 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 10
- 230000004907 flux Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、撮影用画素と焦点検出用画素とが形成された撮像素子を備えた撮像装置に関する。 The present invention relates to an image pickup apparatus including an image pickup element in which shooting pixels and focus detection pixels are formed.
カメラ等の撮像装置における焦点検出方法の一つとして位相差検出法が知られている。位相差検出法では、結像光学系において対称に分割された異なる瞳領域を通過した光束をそれぞれ異なる撮像素子で受光させることによって、各撮像素子で受光された像の位相差(2像間隔)を検出する。そして、このような位相差検出法では、検出された位相差から結像光学系の被写体に対するデフォーカス量を算出し、算出したデフォーカス量を無くすように結像光学系を駆動することによって、デジタルカメラ等の撮像装置におけるオートフォーカス(以下、AFという)機能が実現されている。 A phase difference detection method is known as one of focus detection methods in an imaging apparatus such as a camera. In the phase difference detection method, light beams that have passed through different pupil regions divided symmetrically in the imaging optical system are received by different image sensors, so that the phase difference (two image intervals) of the images received by each image sensor. Is detected. In such a phase difference detection method, the defocus amount for the subject of the imaging optical system is calculated from the detected phase difference, and by driving the imaging optical system so as to eliminate the calculated defocus amount, An autofocus (hereinafter referred to as AF) function in an imaging apparatus such as a digital camera is realized.
上述のような従来の位相差検出法を用いたAF(以下、位相差AFという)においては、位相差を検出するための撮像素子が撮影用の撮像素子と別個に設けられている。これに対し、近年では、撮影用の撮像素子内に位相差を検出するための画素を形成した撮像装置も提案されている(例えば、特許文献1参照)。 In AF using the conventional phase difference detection method as described above (hereinafter referred to as phase difference AF), an image sensor for detecting a phase difference is provided separately from an image sensor for photographing. On the other hand, in recent years, there has also been proposed an imaging apparatus in which pixels for detecting a phase difference are formed in an imaging element for photographing (see, for example, Patent Document 1).
特許文献1に係る撮像装置は、撮影用の撮像素子の一部の画素対を、位相差の検出用として利用するものである。位相差検出用として利用される画素対は、結像光学系における所定の瞳領域を通過した光束を受光できるように離散的に配置されている。さらに、特許文献1に係る撮像装置では、結像光学系における所定の瞳領域を通過した光束が所定の画素で受光されるよう、撮像素子のそれぞれの画素に対応して、マイクロレンズあるいは遮光マスクが偏心して配置されている。
The imaging apparatus according to
このような撮像素子を用いることにより、撮影用の撮像素子とは別個に、焦点位置検出専用の撮像素子及び光学系を設ける必要がない。また、特許文献1の技術では、撮影画像の取得と焦点検出とを1つの撮像素子を用いて同時に行うことが可能である。
By using such an image sensor, it is not necessary to provide an image sensor and an optical system dedicated to focus position detection separately from the image sensor for photographing. Further, in the technique of
撮影用の撮像素子上で位相差AFを行う方式では、本来は撮影用の画素があるべき位置に焦点検出用の画素を形成している。ここで、焦点検出用の画素の離散度が高い場合、高周波成分が多くなる合焦点の近傍領域においてエイリアシングの影響で相関演算の誤差が大きくなって焦点検出精度が低下し易い。これに対し、合焦点の近傍領域での焦点検出精度を高めるためには、撮像素子上に焦点検出用画素を密に配置する手法や撮像素子の光入射面に光学ローパスフィルタ(LPF)を配して高周波成分を除去したりする手法等が考えられる。しかしながら、何れの手法であっても撮影画像の画質には悪影響を与えてしまう。このように、従来の技術では焦点検出精度の向上と撮影画像の画質の向上とは両立させることが困難である。 In the method of performing phase difference AF on the imaging element for imaging, focus detection pixels are originally formed at positions where imaging pixels should be. Here, when the degree of discreteness of the focus detection pixels is high, the error in the correlation calculation becomes large due to the influence of aliasing in the vicinity of the in-focus point where the high-frequency component increases, and the focus detection accuracy tends to decrease. On the other hand, in order to improve the focus detection accuracy in the region near the in-focus point, a method for densely arranging focus detection pixels on the image sensor or an optical low-pass filter (LPF) on the light incident surface of the image sensor. Then, a method of removing high frequency components can be considered. However, any method has an adverse effect on the image quality of the captured image. As described above, it is difficult for the conventional technology to achieve both improvement in focus detection accuracy and improvement in the image quality of a captured image.
本発明は、上記の事情に鑑みてなされたもので、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and in an imaging apparatus in which imaging pixels and focus detection pixels are formed on one imaging element, focus detection accuracy is ensured while ensuring the quality of a captured image. An object of the present invention is to provide an imaging apparatus capable of improving the image quality.
上記の目的を達成するために、本発明の一態様の撮像装置は、被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、を具備することを特徴とする。 In order to achieve the above object, an imaging device of one embodiment of the present invention includes a plurality of pixels that output an imaging signal corresponding to a light flux from a subject, and each of the plurality of pixels is connected to a part of the plurality of pixels. A two-image interval is calculated from an imaging element in which a focus detection pixel pair for receiving a light beam that has passed through different pupil regions of the image optical system and an imaging signal output from each of the focus detection pixel pairs, and the calculation is performed. An arithmetic unit that calculates a defocus amount with respect to a subject of the imaging optical system from the two image intervals , and an imaging that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit An optical system drive control unit and an image sensor that removes a high-frequency component in an image signal output from the focus detection pixel pair by moving the image sensor during an exposure period in which the focus detection pixel pair receives the light flux Drive control Characterized by comprising the, the.
本発明によれば、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することができる。 According to the present invention, there is provided an imaging device that can improve the focus detection accuracy while ensuring the image quality of a photographed image in an imaging device in which imaging pixels and focus detection pixels are formed on one imaging element. be able to.
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、単にカメラという)の構成を示す図である。図1に示すカメラは、レンズ交換式のカメラを例示しており、交換レンズ100と、カメラ本体200とを有している。交換レンズ100は、カメラ本体200に対して着脱自在に構成されている。交換レンズ100がカメラ本体200に装着されることにより、交換レンズ100とカメラ本体200とが通信自在に接続される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a digital camera (hereinafter simply referred to as a camera) as an example of an imaging apparatus according to an embodiment of the present invention. The camera shown in FIG. 1 illustrates an interchangeable lens camera, and includes an
交換レンズ100は、レンズ101と、絞り102と、ドライバ103と、レンズ制御部104と、レンズ情報記憶部105と、通信部106とを有している。
レンズ101は、フォーカスレンズを含む複数のレンズから構成されており、図示しない被写体からの光束を撮像素子202に結像させる結像光学系である。このレンズ101は、フォーカスレンズをその光軸方向に沿って駆動させることにより、焦点位置を調節可能に構成されている。絞り102は、撮像素子202に結像される被写体からの光束の光量を調節する。
The
The
ドライバ103は、モータ等を有して構成されている。ドライバ103は、レンズ制御部104の制御の下、レンズ101が有するフォーカスレンズをその光軸方向に駆動させる。また、ドライバ103は、レンズ制御部104の制御の下、絞り102を開閉させる。
The driver 103 includes a motor and the like. The driver 103 drives the focus lens included in the
レンズ制御部104は、カメラ本体200の制御部209の制御に従って、交換レンズ100の動作を制御する。また、レンズ制御部104は、レンズ情報記憶部105に記憶されているレンズ情報を制御部209に送信することも行う。レンズ情報記憶部105は、レンズ101の収差や焦点距離等の交換レンズ100の各種動作に必要な情報を記憶している。通信部106は、レンズ制御部104がカメラ本体200の制御部209と通信するためのインターフェイスを備えている。
The
カメラ本体200は、シャッタ201と、撮像素子202と、アクチュエータ203と、読み出し部204と、記憶部205と、画像処理部206と、表示部207と、記録媒体208と、制御部209と、操作部210と、動き検出部211とを有している。
The
シャッタ201は、撮像素子202の撮像面を遮光状態又は露出状態とすることで撮像素子202の露光時間を調節する機械的機構である。
撮像素子202は、レンズ101を介して結像された被写体からの光束(被写体像)を、光束の光量に応じた電気信号(以下、撮像信号という)に変換するための撮像面を有している。撮像面は、複数の画素が2次元状に配置されて構成されている。また、撮像面の光入射側には、例えば原色系ベイヤ配列のカラーフィルタが設けられている。この撮像素子202は、レンズ101を介して集光された被写体像を撮像し、被写体像を電気信号として出力する。ここで、撮像素子202は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子202の露光時間を電子的に制御する機能である。
The
The
図2は、本実施形態における撮像素子202の画素配列を示した図である。図2に示すように、本実施形態における撮像素子202には、撮影用画素2021と、焦点検出用画素列2022とが形成されている。
撮影用画素2021は、記録媒体208に記録される撮影画像を取得するため等に用いられる画素であって、図2に示すようにして2次元状に形成されている。ここで、図2は、画素配列が原色系のベイヤ配列であり、赤色の感度を有する画素をR画素、緑色の感度を有する画素をG画素、青色の感度を有する画素をB画素として示している。しかしながら、カラーフィルタの配列は必ずしもベイヤ配列とする必要はない。
FIG. 2 is a diagram illustrating a pixel array of the
The
焦点検出用画素列2022は、位相差AFのために用いられる画素であって、撮像素子202の撮像面の一部の領域中に形成されている。図2では、焦点検出用画素列2022を撮像素子202の水平方向に沿って形成している。本実施形態では、カメラを正位置で構えたときに地面に対して水平となる撮像素子202の方向を撮像素子202の水平方向とする。このような焦点検出用画素列2022内のG画素の位置には、複数の焦点検出用画素対が形成されている。各焦点検出用画素対は、所定間隔(図2では1画素)だけ離間して配置された焦点検出用画素2022lと、焦点検出用画素2022rとを有している。さらに、画素列同士で見た場合、焦点検出用画素2022l同士及び焦点検出用画素2022r同士はそれぞれ所定間隔(以下、離散度という)だけ離間して配置されている。図2は、離散度が8画素の例である。
The focus
図3は、撮像素子202に形成された画素の詳細な構成を示す図である。ここで、図3(a)は、撮影用画素2021の構成を示す。また、図3(b)は、焦点検出用画素2022lの構成を示し、図3(c)は、焦点検出用画素2022rの構成を示している。
FIG. 3 is a diagram illustrating a detailed configuration of pixels formed in the
図3(a)に示すように、撮影用画素2021は、マイクロレンズ301と、光電変換素子302とを有している。
マイクロレンズ301は、レンズ101の対称に分割された異なる瞳領域を通過した光束を光電変換素子302に結像させるように設計されたレンズである。光電変換素子302は、例えばフォトダイオードであり、マイクロレンズ301を介して結像された光束を電気信号に変換して出力する。
As shown in FIG. 3A, the
The
図3(b)及び図3(c)に示すように、焦点検出用画素2022lは、マイクロレンズ301と、光電変換素子302と、遮光部材303とを有している。
マイクロレンズ301と光電変換素子302とは、撮影用画素2021と同様のものである。
焦点検出用画素2022lの遮光部材303は、図2に示すように、マイクロレンズ301の右側領域を遮光するように形成されており、マイクロレンズ301の左側領域から入射した光束Llを光電変換素子302に結像させる。焦点検出用画素2022rの遮光部材303は、図2に示すように、マイクロレンズ301の左側領域を遮光するように形成されており、マイクロレンズ301の右側領域から入射した光束Lrを光電変換素子302に結像させる。
As shown in FIGS. 3B and 3C, the focus detection pixel 2022l includes a
The
As shown in FIG. 2, the
ここで、本実施形態では、遮光部材を用いる方式で瞳分割を行っているが、マイクロレンズを偏芯させる方式や、1つの光電変換素子302を分割する方式等で瞳分割を行っても良い。
ここで、図1の説明に戻る。アクチュエータ203は、レンズ101の光軸に垂直な平面内で撮像素子202を物理的に駆動させるための機械機構である。このアクチュエータ203は、モータ等の駆動部と、撮像素子202の移動機構とを有している。アクチュエータ203は、撮像素子駆動制御部212からの駆動制御信号に従って撮像素子202の駆動を実行する。
Here, in this embodiment, pupil division is performed by a method using a light shielding member. However, pupil division may be performed by a method of decentering a microlens, a method of dividing one
Here, the description returns to FIG. The
読み出し部204は、撮像素子202で得られた撮像信号を読み出して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。また、読み出し部204は、アナログの撮像信号をデジタル信号(以下、画像データと言う)に変換することも行う。
The
記憶部205は、カメラ本体200内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する記憶部である。
画像処理部206は、記憶部205に記憶された画像データを読み出し、画素欠陥補正処理や、焦点検出用画素の補間処理、歪み補正処理、デモザイキング処理、画像圧縮処理等の画像処理を施す。
The
The
画素欠陥補正処理は、撮像素子202に欠陥画素がある場合に、その欠陥画素位置の撮影用の画像データを補間により得る処理である。焦点検出用画素の補間処理は、焦点検出用画素の位置に対応した撮影用の画像データを補間により得る処理である。歪み補正処理は、レンズ101の収差等に起因して撮影用の画像データに発生している歪みを補正する処理である。デモザイキング処理は、1画素が1つの色成分に対応している画像データを、1画素が3つの色成分に対応している画像データに変換する処理である。画像圧縮処理は、各種の画像処理が施された撮影用の画像データに対してJPEG方式等の所定の方式を用いて圧縮する処理である。
The pixel defect correction process is a process for obtaining image data for photographing at a defective pixel position by interpolation when the
表示部207は、例えば液晶ディスプレイ(LCD)であり、画像処理部206によって処理された画像データに基づく画像等の各種の画像を表示する。記録媒体208は、例えばカメラ本体200に着脱自在になされたメモリカードであって、画像処理部206によって圧縮された画像データを含む画像ファイル等が記録される。
The
制御部209は、シャッタ201、撮像素子202、撮像素子駆動制御部212の動作制御等のカメラ本体200の各種シーケンスを統括的に制御する。また、位相差AFの実行時において、制御部209は、AF演算部213で演算されたデフォーカス量や撮影者によって設定された撮影モード等に応じてレンズ101を合焦させるために必要なフォーカスレンズの駆動量や駆動速度を算出し、それらをレンズ制御信号としてレンズ制御部104に出力する。このように、制御部209とレンズ制御部104とにより、結像光学系駆動制御部が構成されている。
The
操作部210は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。撮影者により操作部210の操作がなされると、制御部209は、その操作に対応したシーケンスを実行する。
動き検出部211は、例えば3軸の加速度センサであり、カメラ本体200の動き量を検出する。
The
The
撮像素子駆動制御部212は、制御部209からの手ぶれ補正指示又は位相差AF指示に従ってアクチュエータ203を駆動するための駆動制御信号を生成し、生成した駆動制御信号をアクチュエータ203に入力する。
図4は、撮像素子駆動制御部212の構成を示す図である。図4に示すように、撮像素子駆動制御部212は、位相差AF用制御部2121と、手ぶれ補正用制御部2122と、重畳部2123と、撮像素子ドライバ2124とを有している。
The image sensor
FIG. 4 is a diagram illustrating a configuration of the image sensor
位相差AF用制御部2121は、制御部209から、位相差AF指示としての撮像素子202内の焦点検出用画素の露光時間等の情報を受け取り、焦点検出用画素の露光時間に応じた駆動制御信号を生成して重畳部2123に出力する。手ぶれ補正用制御部2122は、制御部209から手ぶれ補正指示としてのカメラ本体200の動き量の情報を受け取り、撮影時におけるカメラ本体200の揺れによる影響が軽減するように駆動制御信号を生成して重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号に位相差AF用制御部2121からの駆動制御信号を重畳して撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、重畳部2123から受け取った駆動制御信号を元にアクチュエータ203の駆動電流を生成し、生成した駆動電流をアクチュエータ203に出力する。
The phase difference
ここで、図1の説明に戻る。AF演算部213は、焦点検出用画素2022l、2022rからそれぞれ得られた画像データを用いた相関演算によってレンズ101のデフォーカス量を算出する。例えば、焦点検出用画素列2022の配列方向が撮像素子202の水平方向である場合、被写体のある点からの光束Llは、レンズ101の左側の瞳領域を通過して焦点検出用画素2022lで受光される。また、この点と同一の点からの光束Lrは、レンズ101の右側の瞳領域を通過して焦点検出用画素2022rで受光される。ここで、レンズ101が合焦状態に近い場合、被写体の同一の点から出射された光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔が狭くなる。そして、レンズ101が合焦状態から外れるにつれて2像間隔が広くなる。このように、レンズ101の合焦状態と2像間隔とは線形関係を有しているので、2像間隔を検出することにより、レンズ101のデフォーカス量を算出することが可能である。この2像間隔を検出するための演算が相関演算である。相関演算の詳細な演算手法については従来周知の手法を用いれば良いので説明を省略する。
Here, the description returns to FIG. The
次に、図5のフローチャートを参照して、本発明の一実施形態に係る撮像装置の動作について説明する。図5は、本実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。撮影者の操作部210の電源ボタンの操作により、カメラ本体200の電源がオンとなると図5の動作が開始される。カメラ本体200の電源がオンされると、制御部209は、スルー画表示を実行する。スルー画表示において、制御部209は、撮像素子202の動作を開始させ、撮像素子202を介して得られる画像データに基づく画像を表示部207にリアルタイム表示させる。
Next, the operation of the imaging apparatus according to the embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 5 is a flowchart showing a sequence of shooting operations in the imaging apparatus of the present embodiment. When the
その後、制御部209は、撮像素子202の手ぶれ補正用駆動を実行する(ステップS101)。この手ぶれ補正用駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、撮像素子駆動制御部212の手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量が相殺されるような撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。この第2の駆動としての手ぶれ補正用駆動により、撮像素子202を介して得られる画像データにおける画像ぶれが軽減される。このような手ぶれ補正用駆動を行うのは、表示部207にスルー画を表示する際に撮影者が構図をスムーズに確認できるようにするためである。
After that, the
手ぶれ補正用駆動の実行後、制御部209は、操作部210のシャッタボタンが押されたかどうかを判定する(ステップS102)。シャッタボタンが押されるまでは制御部209は、ステップS101の処理を繰り返す。この場合、手ぶれ補正を伴うスルー画表示が継続される。
After executing the camera shake correction drive, the
また、シャッタボタンが押された場合、制御部209は、撮像素子202の位相差AF駆動を実行する(ステップS103)。この第1の駆動としての位相差AF駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量を相殺するような撮像素子202の駆動量に応じた駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。また、制御部209は、焦点検出用画素の露光時間等の位相差AF駆動に必要な情報を、位相差AF用制御部2121に出力して位相差AF駆動を指示する。この指示を受けて、位相差AF用制御部2121は、入力された露光時間に応じた撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用の駆動制御信号に位相差AF駆動用の駆動制御信号を重畳し、これにより得られた駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。このような位相差AF駆動の詳細については後述する。
If the shutter button is pressed, the
位相差AF駆動の実行後、制御部209は、位相差AF用の画像データの読み出しを指示する(ステップS104)。これを受けて、読み出し部204は、撮像素子202の焦点検出用画素列2022から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、AF演算部213にデフォーカス量の算出を指示する(ステップS105)。これを受けてAF演算部213は、記憶部205から画像データを読み出し、読み出した画像データから、光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔を検出し、検出した2像間隔からレンズ101のデフォーカス量を算出する(ステップS105)。AF演算部213は、算出したデフォーカス量を制御部209に出力する。
After executing the phase difference AF driving, the
その後、制御部209は、入力されたデフォーカス量が予め定めた合焦範囲内であるかどうかを判定する(ステップS106)。ここで、合焦範囲とは、レンズ101の焦点深度に応じて設定されるものであり、レンズ101が合焦していると判断できる範囲のことである。デフォーカス量が合焦範囲外である場合、制御部209は、デフォーカス量に応じたレンズ駆動を実行する(ステップS107)。このレンズ駆動において、制御部209は、デフォーカス量が相殺されるようなフォーカスレンズの駆動量を示すレンズ駆動制御信号を生成し、生成したレンズ駆動制御信号をレンズ制御部104に出力する。レンズ制御部104は受け取ったレンズ駆動制御信号をドライバ103に出力する。ドライバ103は、受け取ったレンズ駆動制御信号に応じてレンズ101のフォーカスレンズを駆動させる。このようなレンズ駆動により、レンズ101のデフォーカス量が小さくなる。このレンズ駆動の後、制御部209は、処理をステップS104に戻す。
Thereafter, the
ステップS106において、デフォーカス量が合焦範囲内である場合、制御部209は、手ぶれ補正用駆動を再び実行する(ステップS108)。その後、制御部209は、撮像素子202の本撮像を実行する(ステップS109)。本撮像においては、撮像素子202の露光量を所定の適正値とするように、絞り102の絞り量や撮像素子202の露光時間(シャッタ201の開放量)を設定しつつ、撮像素子202による露光を実行する。
In step S106, when the defocus amount is within the in-focus range, the
本撮像の後、制御部209は、撮影用の画像データの読み出しを指示する(ステップS110)。これを受けて、読み出し部204は、撮像素子202の全画素から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、画像処理部206に画像処理の実行を指示する(ステップS111)。これを受けて画像処理部206は、記憶部205から画像データを読み出し、読み出した画像データを用いて画素補間処理を施す。画素補間処理は、種々の手法を用いることができる。例えば、焦点検出用画素2022l、2022rの周囲の同色画素(図2の例ではG画素)の画像データの平均値を用いて焦点検出用画素2022l、2022rの位置の画像データを補間することができる。この他、画素補間処理の代わりに焦点検出用画素2022l、2022rの画像データをそのまま用いるようにしても良い。画素補間処理の後、画像処理部206は、画素欠陥補正処理、歪み補正処理、デモザイキング処理、画像圧縮処理等のその他の画像処理を施し、画像処理後の画像データを記憶部205に記憶させる。その後、制御部209は、記憶部205から画像処理後の画像データを読み出し、読み出した画像データに所定のヘッダ情報を付与して画像ファイルを作成し、作成した画像ファイルを記録媒体208に記録させる(ステップS112)。その後、制御部209は、ステップ102へ処理を戻す。このようにして一連の撮影動作が行われる。
After the main imaging, the
次に、位相差AF駆動について詳しく説明する。
まず、基本的な動きを説明するために手ぶれ補正用駆動が行われない場合を例に説明する。即ち、手ぶれ補正用制御部2122が駆動制御信号を出力せずに位相差AF用制御部2121のみが駆動制御信号を出力し、撮像素子ドライバ2124が位相差AF用制御部2121からの駆動制御信号に従ってアクチュエータ203を駆動させる例である。この時の撮像素子202の駆動の様子を示したのが図6である。
Next, phase difference AF driving will be described in detail.
First, in order to explain the basic movement, a case will be described as an example where the image stabilization drive is not performed. That is, the camera shake
本実施形態では、焦点検出用画素対の配列方向と平行になるように撮像素子202を駆動させる。図2の例では、水平方向に撮像素子202を駆動させる。ここで、図6の縦軸は、撮像素子202の変位量を示しており、右方向を正方向としている。また、図6の縦軸で示す1ELは、離散度を示している。離散度は、焦点検出用画素のサンプリングピッチに対応した量であって、図6の例では1EL=8画素である。また、図6の横軸は経過時間を示している。図6に示すように、焦点検出用画素の露光は、垂直同期信号VDに同期して行われる。図6の例では、VD信号の間隔を20msとし、4回連続で露光を行っている。ここで、図6の例では、4回の露光動作を行う例を示しているが露光回数は、4回に限定されるものではない。
In the present embodiment, the
図6に示すように、本実施形態では、1回の露光期間中に水平方向に1ELだけ動くように撮像素子202を駆動させる。また、1回の露光期間毎に撮像素子202の移動方向を反転させるように撮像素子202を駆動させる。この場合、撮像素子202は水平方向に沿って振動するように移動する。図6の例の場合には、振動周期は40msとなり、振動周波数は25Hzとなる。
As shown in FIG. 6, in this embodiment, the
図6のようにして撮像素子202を駆動させた場合の撮像素子202の様子を光軸方向から拡大して示したものが図7である。図7において、白抜きの丸で示す画素が撮影用画素2021を示し、ハッチングを施した画素が焦点検出用画素を示している。そして、Lは焦点検出用画素2022lであり、Rは焦点検出用画素2022rである。さらに、図7において括弧書きで示した番号は、図6の時間軸に沿って括弧書きで示した番号とそれぞれ対応しており、時間の経過とともに撮像素子202がどのように動くかを示している。
FIG. 7 is an enlarged view of the state of the
露光開始の時点では(1)の状態である。この後、撮像素子202の露光開始に伴って右方向への撮像素子202の移動が開始される。露光開始から10msが経過すると(2)の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から1/2EL(=4画素)だけずれる。さらに、露光開始から10msが経過すると1回分の露光が終了して(3)の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から1EL(=8画素)だけずれる。この後、画像データの読み出しが行われて1回の露光動作が終了する。この1回の露光動作により、1つの焦点検出用画素を用いて、8画素分の範囲の光束を2.5msずつの露光時間でサンプリングすることが可能である。
At the start of exposure, the state is (1). Thereafter, the movement of the
2回目の露光開始から10msが経過すると(4)の状態となる。(4)の状態は(2)と同一である。さらに、10msが経過すると(5)の状態となる。(5)の状態は(1)と同一であり、これにより撮像素子202の位置が初期状態に復帰する。以後、3回目の露光時には1回目の露光時と同様に撮像素子202が駆動され、4回目の露光時には2回目の露光時と同様に撮像素子202が駆動される。なお、位相差AFに用いる画像データは、例えば4回の露光の平均値を用いる。
When 10 ms elapses from the start of the second exposure, the state (4) is obtained. The state of (4) is the same as (2). Further, when 10 ms elapses, the state (5) is obtained. The state of (5) is the same as (1), whereby the position of the
次に、手ぶれ補正用駆動が行われる場合の動作について説明を行う。
図8は、手ぶれ補正用駆動と位相差AF用駆動とを併用した場合について説明するためのグラフである。ここで、図8においては、撮像素子202の変位を縦軸に、時間変化を横軸に示している。ここでは簡略化のために水平方向のみの変位を図示しているが、実際には垂直方向にも駆動させているものとする。図8の領域AはステップS101の期間に対応している。同様に図8の領域BはステップS103の期間に対応し、領域CはステップS108の期間に対応している。さらに、点Sのタイミングで本撮像を行っている。
Next, the operation when the camera shake correction drive is performed will be described.
FIG. 8 is a graph for explaining the case where the camera shake correction drive and the phase difference AF drive are used in combination. Here, in FIG. 8, the displacement of the
上述したように、領域A、Cの期間では、手ぶれ補正用の撮像素子202の駆動のみが行われる。即ち、カメラ本体200の動きによる画像のぶれを補正する方向にのみ撮像素子202を駆動する。この手ぶれ補正用駆動によって、撮影者の意図しない手ぶれによる画像ぶれの影響を軽減できる。なお、一般に人の手ぶれは、およそ数Hz〜十数Hz程の振動であるので撮像素子202の駆動周期もそれと同程度となる。
As described above, during the period of the regions A and C, only the
一方、領域Bでは、手ぶれ補正用駆動に位相差AF用駆動を重畳して撮像素子202を駆動する。両駆動の重畳の仕方は、手ぶれ補正用駆動量に応じて異ならせる。例えば、手ぶれ補正用の駆動量が位相差AF用駆動量よりも小さい場合には、図8の破線で示す手ぶれ補正用駆動量に対してさらに位相差AF用の駆動量分だけ撮像素子202を能動的に動かす。一方、手ぶれ補正用の駆動量が位相差AF用の駆動量よりも大きい場合には、手ぶれ補正用駆動のみ行う。この時、完全に手ぶれを補正してしまうと位相差AF用駆動の効果がなくなってしまうので、位相差AF用の駆動に必要な駆動量だけ撮像素子202が動くようにする。
On the other hand, in the region B, the
以上説明したように本実施形態では、位相差AF時に撮像素子202を能動的に駆動させることで、焦点検出用画素をその配列方向に沿ってスキャンさせることが可能である。これにより、焦点検出用画素の離散度を大きくしても、撮像面上に結像している光束を広範囲でサンプリングできる。また、このような位相差AF駆動では、実質的にローパスフィルタを用いたのと同様の効果が得られる。即ち、撮像信号における高周波成分が除去されるので、エイリアシングの影響によって相関演算の誤差が大きくなる合焦点の近傍付近でも精度良く、デフォーカス量算出を行うことができる。
As described above, in the present embodiment, it is possible to scan the focus detection pixels along the arrangement direction by actively driving the
また、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを併用することにより、画像ぶれの低減と位相差AFの検出精度の向上とを両立させることが可能である。さらに、手ぶれ補正用の駆動機構と位相差AF用の駆動機構とを別個に設ける必要もない。なお、上述の例では、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを並列して行うようにしているが、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とは適宜切り替えて行うようにしても良い。
Further, by combining the driving of the
また、図6の例では、焦点検出用画素の配列方向が撮像素子202の水平方向であるため、位相差AF駆動時の撮像素子202の駆動方向が水平方向となっている。しかしながら、焦点検出用画素の配列方向は必ずしも水平方向とする必要はなく、垂直方向や斜め方向に配置することもできる。また、焦点検出用画素列を複数列配置するようにしても良い。また、1回の露光期間中の撮像素子202の駆動量を1EL(図2の例では8画素)分としているが、0ELより大きく、1EL以内の距離であれば良い。
In the example of FIG. 6, since the array direction of the focus detection pixels is the horizontal direction of the
さらに、上述した例では撮像装置の例としてレンズ交換式カメラを示しているが、必ずしもレンズ交換式とする必要はない。本実施形態の技術は、撮影用の撮像素子上で位相差AFを行う各種の撮像装置に適用可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
Further, in the above-described example, an interchangeable lens camera is shown as an example of the imaging apparatus, but it is not necessarily required to be a interchangeable lens. The technique of the present embodiment can be applied to various imaging apparatuses that perform phase difference AF on an imaging element for photographing.
Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
100…交換レンズ、101…レンズ、103…ドライバ、104…レンズ制御部、105…レンズ情報記憶部、106…通信部、200…カメラ本体、201…シャッタ、202…撮像素子、203…アクチュエータ、205…記憶部、206…画像処理部、207…表示部、208…記録媒体、209…制御部、210…操作部、211…動き検出部、212…撮像素子駆動制御部、213…AF演算部、301…マイクロレンズ、302…光電変換素子、303…遮光部材、2021…撮影用画素、2022…焦点検出用画素列、2121…位相差AF用制御部、2122…手ぶれ補正用制御部、2123…重畳部、2124…撮像素子ドライバ
DESCRIPTION OF
Claims (4)
前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、
前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、
前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、
を具備することを特徴とする撮像装置。 A focus detection pixel pair having a plurality of pixels that output an imaging signal corresponding to a light beam from a subject, and receiving a light beam that has passed through a different pupil region of the imaging optical system in a part of the plurality of pixels. An imaging element formed with,
A calculation unit that calculates a two-image interval from the imaging signals respectively output from the focus detection pixel pairs, and calculates a defocus amount for the subject of the imaging optical system from the calculated two-image interval;
An imaging optical system drive control unit that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit;
An image sensor driving control unit that moves the image sensor during an exposure period in which the focus detection pixel pair receives the luminous flux and removes a high-frequency component in an image signal output from the focus detection pixel pair;
An imaging apparatus comprising:
前記撮像素子駆動制御部は、前記露光期間中に、互いに隣接する焦点検出用画素対の間の距離以内の距離だけ前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。 A plurality of pairs of focus detection pixels are formed,
The image pickup apparatus according to claim 1, wherein the image pickup device drive control unit moves the image pickup device by a distance within a distance between adjacent focus detection pixel pairs during the exposure period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011029839A JP5714931B2 (en) | 2011-02-15 | 2011-02-15 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011029839A JP5714931B2 (en) | 2011-02-15 | 2011-02-15 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012168383A JP2012168383A (en) | 2012-09-06 |
JP5714931B2 true JP5714931B2 (en) | 2015-05-07 |
Family
ID=46972595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011029839A Expired - Fee Related JP5714931B2 (en) | 2011-02-15 | 2011-02-15 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5714931B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9584727B2 (en) | 2013-05-17 | 2017-02-28 | Ricoh Imaging Company, Ltd. | Photographing apparatus and photographing control system |
JP6525498B2 (en) * | 2013-12-12 | 2019-06-05 | キヤノン株式会社 | Image pickup apparatus, control method thereof and control program |
KR102128467B1 (en) | 2014-01-09 | 2020-07-09 | 삼성전자주식회사 | Image sensor and image photograph apparatus including image sensor |
JP6892087B2 (en) | 2015-06-12 | 2021-06-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical image acquisition system and medical imaging device |
JP2018031877A (en) | 2016-08-24 | 2018-03-01 | オリンパス株式会社 | Image pickup device and focus adjusting method |
JP7374667B2 (en) * | 2019-08-29 | 2023-11-07 | キヤノン株式会社 | Imaging device and its control method |
JP7397626B2 (en) * | 2019-10-30 | 2023-12-13 | キヤノン株式会社 | Imaging device and its control method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354336A (en) * | 2001-05-28 | 2002-12-06 | Canon Inc | Lens device and digital camera system |
JP2004109864A (en) * | 2002-09-20 | 2004-04-08 | Canon Inc | Imaging apparatus and imaging system provided with it |
JP2008193195A (en) * | 2007-02-01 | 2008-08-21 | Nikon Corp | Digital camera |
JP5012495B2 (en) * | 2007-12-26 | 2012-08-29 | 株式会社ニコン | IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE |
JP5219865B2 (en) * | 2008-02-13 | 2013-06-26 | キヤノン株式会社 | Imaging apparatus and focus control method |
WO2009133960A1 (en) * | 2008-04-30 | 2009-11-05 | Canon Kabushiki Kaisha | Image sensing apparatus |
JP2010087850A (en) * | 2008-09-30 | 2010-04-15 | Fujitsu Frontech Ltd | Imaging apparatus for reading information |
JP5478677B2 (en) * | 2012-07-19 | 2014-04-23 | オリンパスイメージング株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
-
2011
- 2011-02-15 JP JP2011029839A patent/JP5714931B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012168383A (en) | 2012-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5714931B2 (en) | Imaging device | |
JP6476065B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP4908067B2 (en) | Solid-state imaging device and imaging device system using the same | |
JP5126261B2 (en) | camera | |
JP4529840B2 (en) | Imaging apparatus, image processing method, and program | |
WO2015190156A1 (en) | Image processing device, imaging device equipped with same, image processing method, and image processing program | |
JP2012226213A (en) | Imaging apparatus and control method therefor | |
JP2018042060A (en) | Imaging apparatus | |
JP5572700B2 (en) | Imaging apparatus and imaging method | |
JP6021622B2 (en) | Image processing apparatus and image processing method | |
JP5826901B2 (en) | Imaging apparatus and optical axis position calculation method | |
KR101817655B1 (en) | Photographing apparatus and method for three dimensional image | |
JP2019106634A (en) | Imaging element and imaging device | |
JP5769773B2 (en) | Camera system and focus detection pixel correction method | |
JP5701942B2 (en) | Imaging apparatus, camera system, and image processing method | |
JP2012231262A (en) | Imaging apparatus, blur correction method, control program, and recording medium for recording control program | |
JP6600458B2 (en) | Image sensor, focus detection apparatus, and focus detection method | |
JP5775918B2 (en) | Imaging apparatus, image processing method, and image processing program | |
JP2018101110A (en) | Focus detection device | |
JP2021157069A (en) | Image tremor correction control device, imaging device and imaging device control method | |
JP5510094B2 (en) | Image processing apparatus and image processing program | |
JP5683135B2 (en) | Imaging apparatus and control method thereof | |
JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
JP2016057402A (en) | Imaging device and method for controlling the same | |
JP5726502B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5714931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |