JP6711886B2 - Imaging device, control method thereof, program, and storage medium - Google Patents
Imaging device, control method thereof, program, and storage medium Download PDFInfo
- Publication number
- JP6711886B2 JP6711886B2 JP2018212464A JP2018212464A JP6711886B2 JP 6711886 B2 JP6711886 B2 JP 6711886B2 JP 2018212464 A JP2018212464 A JP 2018212464A JP 2018212464 A JP2018212464 A JP 2018212464A JP 6711886 B2 JP6711886 B2 JP 6711886B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- signal
- column
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 description 27
- 210000001747 pupil Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 230000004907 flux Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、撮像装置に関するものである。 The present invention relates to an image pickup device.
近年、デジタルカメラやデジタルビデオカメラには、瞳分割方式の焦点検出が可能な構造の撮像素子が採用されているものがある。たとえば特許文献1では、撮像素子の1つの画素に2つのフォトダイオードが設けられており、各フォトダイオードは1つのマイクロレンズによって撮像レンズの異なる瞳領域を通過した光を受光するように構成されている。したがって、2つのフォトダイオードからの出力信号を比較することで、位相差式の焦点検出が可能となる。また、2つのフォトダイオードからの出力信号を加算することで、撮影画像の信号を得ることができる。
2. Description of the Related Art In recent years, some digital cameras and digital video cameras have adopted an image pickup device having a structure capable of focus detection by a pupil division method. For example, in
特許文献2では、撮像面で位相差検出する場合にG画素の信号を水平加算して読み出し、R,B画素の信号は水平加算せずに読み出す技術が記載されている。
上記のような2つのフォトダイオードからの出力信号を読み出す方式では、被写体が暗いとノイズ量が多く、焦点検出のための相関演算が正しくできない場合がある。 In the method of reading the output signals from the two photodiodes as described above, when the subject is dark, the noise amount is large, and the correlation calculation for focus detection may not be performed correctly.
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面で位相差方式の自動焦点調節を行う撮像装置において、画像を記録する場合に、適切な自動焦点調節を可能とすることである。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an appropriate automatic focus adjustment when recording an image in an image pickup apparatus that performs phase difference automatic focus adjustment on an image pickup surface. It is to be.
本発明に係わる撮像装置は、各々が複数の光電変換素子を有する単位画素がマトリクス状に配置された画素部と、該画素部の各列に対応して1本ずつ設けられた複数の列出力線とを備える撮像素子と、各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御手段と、を備え、前記制御手段は、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする。 The image pickup device according to the present invention includes a pixel section in which unit pixels each having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column outputs provided one for each column of the pixel section. An image pickup device including a line, and outputs a signal of a part of the photoelectric conversion elements of each unit pixel to the plurality of column output lines as a focus detection signal, and an image of the signals of all the photoelectric conversion elements of each unit pixel. And a control unit that controls the output signal to be output to the plurality of column output lines as a generation signal. The control unit is arranged in the same column of the pixel unit when a high-resolution moving image is not generated . The focus detection signals of a plurality of unit pixels are simultaneously output to each of the plurality of column output lines, and the image generation signals are simultaneously output from the plurality of unit pixels to generate a high-resolution moving image. In this case, the focus detection signal is not output from each of the plurality of unit pixels, and only the image generation signal is output .
本発明によれば、撮像面で位相差方式の自動焦点調節を行う撮像装置において、画像を記録する場合に、適切な自動焦点調節が可能となる。 According to the present invention, it is possible to perform appropriate automatic focus adjustment when recording an image in an image pickup apparatus that performs phase-difference type automatic focus adjustment on an image pickup surface.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置システムの構成を示すブロック図である。図1において、本実施形態の撮像装置システムは、撮像装置100と、メモリーカードやハードディスク等の記録媒体200と、レンズユニット300とを備えて構成されている。
(First embodiment)
FIG. 1 is a block diagram showing the arrangement of an image pickup apparatus system according to the first embodiment of the present invention. In FIG. 1, the image pickup apparatus system of the present embodiment includes an
ここで、これらのブロックの詳細について説明する。まず撮像装置100の内部について説明する。シャッター12は撮像素子1400に入る光量を制御し、撮像素子1400は光学像を電気信号に変換する。レンズユニット300から入射した光は、ミラー130,131により反射され、光学ファインダ104に導かれる。光学ファインダ104は、ミラー130が撮影レンズの光路上にある場合には、入射光を結像させて、ユーザーがそれを見ることによって撮影する静止画の構図を確認することが可能である。
Here, details of these blocks will be described. First, the inside of the
アナログフロントエンド(以降AFE)1700は、撮像素子1400から出力されるアナログ信号をデジタル信号に変換するA/D変換器を内蔵する。タイミングジェネレータ(以下TG)1800は、撮像素子1400やA/D変換器にクロック信号や制御信号を供給する。液晶モニター1200は、ライブビュー(LV)画像の表示や、撮影した静止画像を表示することが可能である。システム制御回路(以下CPU)50は、画像処理を含む撮像装置100全体の動作を制御する。
The analog front end (hereinafter AFE) 1700 has an A/D converter that converts an analog signal output from the
シャッタースイッチ61は2段階になっており、ユーザーが1段目まで浅く押すことを半押しといい、2段目まで深く押すことを全押しという。シャッタースイッチ61の半押しをCPU50が検知して、自動焦点合わせや、撮影前の状態における自動露出機構によるシャッター速度と絞り数値の設定が行われる。全押しでは、シャッター12が動作し撮影動作が実施される。
The
ライブビュー(LV)のスタート・ストップスイッチ62は、ユーザーからスタート指示された場合に連続して動画記録動作を行う。ライブビュー表示中にシャッタースイッチ61が半押しの状態になった場合は、後述する撮像素子1400の焦点検出用出力信号を用いてオートフォーカス(AF)を行う。
The live view (LV) start/
ISO感度設定スイッチ63に対するユーザーの指示に従い、CPU50は撮像装置100の光の量に対する感度を設定する。電源スイッチ64に対するユーザーの指示に従い、CPU50は撮像装置100の電源オン、電源オフの切り替えを行う。また、撮像装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
According to the user's instruction to the ISO
揮発性メモリ(以下RAM)70は画像データを一時的に記録するとともに、CPU50のワークメモリとしても機能する。不揮発性メモリ(ROM)71は、CPU50が動作を行う際のプログラムを格納している。画像処理部72は静止画の補正・圧縮等の処理を行う。オートフォーカス演算部73はオートフォーカス用に、焦点検出用の信号から後述する撮影レンズ310の駆動量を計算する。被写体解析部74は、被写体の空間周波数を調べる。
A volatile memory (hereinafter referred to as RAM) 70 temporarily records image data and also functions as a work memory for the
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。さらに電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びCPU50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。コネクタ82,84は、電源部86を撮像装置100に接続する。電源部86はアルカリ電池やリチウム電池等の一次電池、Liイオン電池などの二次電池、ACアダプタ等から成る。
The power
インターフェース90は、メモリーカードードやハードディスク等の記録媒体とのインターフェースであり、コネクタ92はメモリーカードやハードディスク等の記録媒体200との接続を行う。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部201、撮像装置100とのインターフェース202を有している。
The
レンズユニット300は、撮影レンズ310、絞り312、レンズマウント316を備える。レンズマウント316は、撮像装置100側のレンズマウント106に接続される。レンズ制御部320は、レンズユニット300全体を制御し、コネクタ322は、レンズユニット300を撮像装置100と電気的に接続する。レンズ制御部320は、コネクタ322,122を介して、撮像装置100からの信号を受ける。この信号により撮影レンズ310の光軸上での位置を変更しフォーカスを制御する。同じようにレンズ制御部320は撮像装置100からの信号を受け、絞り312の口径の大きさを制御する。なお、インターフェース120は、レンズユニット300と電気信号で通信するためのインターフェースである。
The
図2は、撮像素子1400の簡易構成図である。撮像素子1400の撮像面には、複数の画素205が2次元のマトリクス状に配置されている。マトリクス状の画素配列の垂直方向の並びを「列」と呼び、水平方向の並びを「行」と呼ぶ。画素群(画素部)208は、列、行のすべての画素を集めたものである。垂直走査回路204は、選択行を読みだすための行選択信号と、電荷の読み出しに必要な信号を、各画素の回路に出力する。垂直出力線(列出力線)410に出力された信号は各垂直出力線に接続されている列ゲイン206、列回路207を介して水平走査回路203に出力される。水平走査回路203は、1行分の信号出力を水平方向に順次出力する。
FIG. 2 is a simplified configuration diagram of the
図3は、撮影レンズの射出瞳から出射した光束が単位画素に入射する概念図である。単位画素205(単位画素内)には、第1のフォトダイオード(光電変換素子)306Aおよび第2のフォトダイオード306Bが設けられている。単位画素205の前面には、カラーフィルタ305と、マイクロレンズ304が配置されている。撮影レンズ310は、射出瞳330を有する。
FIG. 3 is a conceptual diagram in which the light flux emitted from the exit pupil of the photographing lens is incident on the unit pixel. The unit pixel 205 (within the unit pixel) is provided with a first photodiode (photoelectric conversion element) 306A and a
マイクロレンズ304を有する画素に対して、射出瞳330から出た光束の中心を光軸303とする。射出瞳を通過した光は、光軸303を中心として単位画素205に入射する。撮影レンズ310の射出瞳330は、射出瞳の一部の瞳領域301,302を含む。図3に示すように、瞳領域301を通過する光束はマイクロレンズ304を通して、フォトダイオード306Aで受光され、瞳領域302を通過する光束はマイクロレンズ304を通して、フォトダイオード306Bで受光される。したがって、フォトダイオード306Aと306Bは、それぞれ撮影レンズの射出瞳の別々の領域の光を受光している。したがって、フォトダイオード306Aと306Bの信号を比較することで、位相差の検知が可能となる。
For the pixel having the
ここで、フォトダイオード306Aから得られる信号をA像信号、フォトダイオード306Bから得られる信号をB像信号と定義する。A像信号とB像信号を足し合わせた信号はA+B像信号とし、このA+B像信号は撮影画像に用いることができる。
Here, a signal obtained from the
図4に単位画素205の等価回路図を示す。転送スイッチ405Aを転送制御信号401で制御し、転送スイッチ405Bを転送制御信号402で制御することにより、フォトダイオード306A,306Bで発生および蓄積された電荷をフローティングディフュージョン部(以後FD)407に転送する。ソースフォロアアンプ408は、FD407に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。行選択制御信号404で行選択スイッチ409を制御することにより、ソースフォロアアンプ408の出力を垂直出力線410へ接続する。
FIG. 4 shows an equivalent circuit diagram of the
FD407に蓄積されている不要電荷をリセットする場合には、リセット制御信号403によりリセットスイッチ406を制御する。さらに、フォトダイオード306A,306Bをリセットする場合には、リセットスイッチ406と共に、転送スイッチ405Aを転送制御信号401で制御し、転送スイッチ405Bを転送制御信号402で制御して、リセットを実行する。転送制御信号401,402、リセット制御信号403、行選択制御信号404の各々は、CPU50がTG1800を介して垂直走査回路204を制御することにより、画素群208の各行に供給される。
When resetting the unnecessary charges accumulated in the
焦点検出用の相関演算にはA像信号とB像信号がそれぞれ必要であるが、A像信号、B像信号を別々に読み出してもよい。ただし、本実施形態においてはA像信号とA+B像信号を読み出し、後段のCPU50とオートフォーカス演算部73における演算でB像信号を作成する例について説明する。なお、この演算結果を基にレンズ制御部320を制御してフォーカスを行う。
Although the A image signal and the B image signal are required for the correlation calculation for focus detection, the A image signal and the B image signal may be read separately. However, in the present embodiment, an example will be described in which the A image signal and the A+B image signal are read out and the B image signal is created by calculation in the
図5は、垂直走査回路204が垂直の所定画素の出力信号を混合するときの動作を示している。図5(a)は混合なしの場合の動作を示す。CPU50がTG1800および垂直走査回路204を介して行選択制御信号404を制御して選択スイッチ409_1がオンされ、単位画素205_1を含む行の信号が垂直出力線410を通して列回路に送られる。図5(b),図5(c)は3画素混合の様子を示している。ベイヤー配列での混合の場合は、1行ごとにカラーフィルタの色が変わるので、1行ずつ開けて混合する画素が選択される。
FIG. 5 shows the operation when the
たとえば図5(b)では、画素205_1、205_3、205_5はR(赤色)の画素であり、Rの信号が混合される。CPU50がTG1800および垂直走査回路204を介して行選択制御信号404を制御し、画素205_1、205_3、205_5のそれぞれにつながる選択スイッチ409_1、409_3、409_5を同時にオンして垂直出力線410に接続する。この動作により、Rの3画素の出力が混合された信号が列回路410に転送される。
For example, in FIG. 5B, the pixels 205_1, 205_3, and 205_5 are R (red) pixels, and the R signals are mixed. The
同じように図5(c)では、画素205_4、205_6、205_8はG(緑色)の画素であり、CPU50が垂直走査回路204を介して行選択制御信号404を制御し、それぞれにつながる選択スイッチ409_4、409_6、409_8を同時にオンして垂直出力線410に接続する。この動作により、Gの3画素の出力が混合された信号が列回路410に転送される。
Similarly, in FIG. 5C, the pixels 205_4, 205_6, and 205_8 are G (green) pixels, the
上記の例のように、混合行の重心が最初のRが3行目、次のGが6行目、次のRが9行目、次のGが12行目というように、重心が3行おきになるように混合する画素を選択する。図5の例では、垂直出力線410からデータを転送する際に混合しているが、各行のFD407を接続する混合スイッチがあり、それを必要な部分で接続することで垂直画素混合を実現してもよい。
As in the above example, the center of gravity of a mixed row is 3 for the first R, 6 for the next G, 9 for the next R, 12 for the next G, and so on. Select the pixels to be mixed in every other row. In the example of FIG. 5, the data is mixed when the data is transferred from the
図6は、A像信号とA+B像信号がそれぞれ垂直方向(列方向)において混合される例を示している。図4も参照すると、図6(a)では、CPU50がTG1800および垂直走査回路204を介して転送制御信号401を制御して各画素の転送スイッチ405Aをオンし、フォトダイオード306Aの蓄積電荷をFD407に転送する。それぞれFD407にA像の電荷が転送された状態で、CPU50がTG1800および垂直走査回路204を介して行選択制御信号404を制御し、R行の3行の選択スイッチ409_1,409_3,409_5を同時にオンし、3画素の出力が混合された信号が列回路410に転送される。同じように、選択スイッチ409_4,409_6,409_8を同時にオンして、Gの3画素の出力が混合された信号が列回路410に転送される。
FIG. 6 shows an example in which the A image signal and the A+B image signal are mixed in the vertical direction (column direction). Referring also to FIG. 4, in FIG. 6A, the
図6(b)では、CPU50がTG1800および垂直走査回路204を介して転送制御信号401を制御して各画素の転送スイッチ405Bをオンし、フォトダイオード306Bの蓄積電荷を、もともとA像の電荷が入っているFD407に加えてA+B像の電荷を取得する。それぞれFD407にA+B像の電荷が転送された状態で、CPU50がTG1800および垂直走査回路204を介して行選択制御信号404を制御し、R行の3行の選択スイッチ409_1,409_3,409_5を同時にオンし、Rの3画素の出力が混合された信号が列回路410に転送される。同じように、G行の3行の選択スイッチ409_4,409_6,409_8を同時にオンして、Gの3画素の出力が混合された信号が列回路410に転送される。上記のようにA像出力とA+B像出力の垂直混合信号を順次読み出すように、行選択を行っていく。
In FIG. 6B, the
図7は、第1の実施形態における動作のタイミングチャートである。図7では、CPU50がTG1800および垂直走査回路204を介して撮像素子1400の各行の単位画素205のリセットスイッチ406、転送スイッチ405A,405B、行選択スイッチ409のそれぞれに各制御信号を供給するタイミングを示している。
FIG. 7 is a timing chart of the operation in the first embodiment. In FIG. 7, the timing at which the
まず、タイミングT700では、リセットスイッチ406_1,406_3,406_5をオンして各行のFD407をリセットする。なお、ここではリセット信号がLOWでスイッチがオンするタイプを記載しているが、HIGHでオンするタイプでもかまわない。
First, at timing T700, the reset switches 406_1, 406_3, and 406_5 are turned on to reset the
タイミングT701では、行選択スイッチ409_1,409_3,409_5を同時にオンしてFD407のリセット後のリセット信号を読み出す。タイミングT702では、転送スイッチ405A_1,405A_3,405A_5を同時にオンしてA像の電荷をFD407にそれぞれ転送する。行選択スイッチ409_1,409_3,409_5はオンされたままなので、3画素のA像出力の混合された信号が列回路に読み出される。そして、読み出されたA像の信号からリセット信号を減算することにより相関2重サンプリング(以下CDS)を行い、撮像素子1400から出力される。
At timing T701, the row selection switches 409_1, 409_3, and 409_5 are simultaneously turned on to read the reset signal after resetting the
タイミングT703では、転送スイッチ405A_1,405A_3,405A_5と405B_1,405B_3,405B_5を同時にオンしてB像の電荷を1,3,5行目のFD407にそれぞれ転送することで、A+B像の電荷を取得する。行選択スイッチ409_1,409_3,409_5はオンされたままなので、3画素のA+B像出力の混合された信号が列回路に読み出される。そして、読み出されたA+B像の信号からリセット信号を減算することによりCDSを行い、撮像素子1400から出力される。出力後、行選択スイッチ409_1,409_3,409_5をオフする。
At timing T703, the transfer switches 405A_1, 405A_3, 405A_5 and 405B_1, 405B_3, 405B_5 are simultaneously turned on to transfer the charges of the B image to the
タイミングT704では、リセットスイッチ406_4,406_6,406_8をオンして各行のFD407をリセットする。タイミングT705では、行選択スイッチ409_4,409_6,409_8を同時にオンしてFD407のリセット後のリセット信号を読み出す。
At timing T704, the reset switches 406_4, 406_6, and 406_8 are turned on to reset the
タイミングT706では、転送スイッチ405A_4,405A_6,405A_8を同時にオンしてA像の電荷をFD407にそれぞれ転送する。行選択スイッチ409_4,409_6,409_8はオンされたままなので、3画素のA像出力の混合された信号が列回路に読み出される。そして、読み出されたA像の信号からリセット信号を減算することによりCDSを行い、撮像素子1400から出力される。
At timing T706, the transfer switches 405A_4, 405A_6, and 405A_8 are simultaneously turned on to transfer the charges of the A image to the
タイミングT707では、転送スイッチ405A_4,405A_6,405A_8と405B_4,405B_6,405B_8を同時にオンしてB像の電荷を4,6,8行目のFD407にそれぞれ転送することで、A+B像の電荷を取得する。行選択スイッチ409_4,409_6,409_8はオンされたままなので、3画素のA+B像出力の混合された信号が列回路に読み出される。そして、読み出されたA+B像の信号からリセット信号を減算することによりCDSを行い、撮像素子1400から出力される。出力後、行選択スイッチ409_4,409_6,409_8をオフする。
At timing T707, the transfer switches 405A_4, 405A_6, 405A_8 and 405B_4, 405B_6, 405B_8 are simultaneously turned on to transfer the charges of the B image to the
タイミングT708では、一部図示が省略されているが、リセットスイッチ406_7,406_9,406_11をオンして各行のFD407をリセットする。タイミングT709では、行選択スイッチ409_7,409_9,409_11を同時にオンしてFD407のリセット後のリセット信号を読み出す。
At timing T708, although not shown in the drawing, the reset switches 406_7, 406_9, and 406_11 are turned on to reset the
タイミングT710では,一部図示が省略されているが、転送スイッチ405A_7,405A_9,405A_11を同時にオンしてA像の電荷をFD407にそれぞれ転送する。行選択スイッチ409_7,409_9,409_11はオンされたままなので、3画素のA像出力の混合された信号が列回路に読み出される。そして、読み出されたA像の信号からリセット信号を減算することによりCDSを行い、撮像素子1400から出力される。
At timing T710, although not shown in the drawing, the transfer switches 405A_7, 405A_9, and 405A_11 are simultaneously turned on to transfer the charges of the A image to the
タイミングT711では、転送スイッチ405A_7,405A_9,405A_11と405B_7,405B_9,405B_11を同時にオンしてB像の電荷を7,9,11行目のFD407にそれぞれ転送することで、A+B像の電荷を取得する。行選択スイッチ409_7,409_9,409_11はオンされたままなので、3画素のA+B像出力の混合された信号が列回路に読み出される。そして、読み出されたA+B像の信号からリセット信号を減算することによりCDSを行い、撮像素子1400から出力される。
At timing T711, the transfer switches 405A_7, 405A_9, 405A_11 and 405B_7, 405B_9, 405B_11 are simultaneously turned on to transfer the charges of the B image to the
これをA像信号用に行数の1/3回分繰り返し、A+B像信号用に行数の1/3回分繰り返す。 This is repeated for 1/3 of the number of rows for the A image signal and 1/3 of the number of rows for the A+B image signal.
第1の実施形態のようにA像、A+B像それぞれの出力を垂直方向に混合した信号を出力すれば、焦点検出の相関演算も垂直方向に混合された画像信号であるため、低ノイズの出力で演算可能である。そのため焦点検出の精度向上が見込まれる。 If a signal obtained by vertically mixing the respective outputs of the A image and the A+B image is output as in the first embodiment, the correlation calculation for focus detection is also an image signal mixed in the vertical direction, so that low noise output is achieved. Can be calculated with. Therefore, the accuracy of focus detection is expected to improve.
(第2の実施形態)
第2の実施形態では、ライブビュー(以下LV)動作中に垂直方向(列方向)に画素混合するかしないかを、被写体に応じて選択する例について説明する。
(Second embodiment)
In the second embodiment, an example will be described in which whether or not pixels are mixed in the vertical direction (column direction) during live view (hereinafter LV) operation is selected according to the subject.
図8は、被写体の例とそのレベルを列方向に平均化した垂直写像を示している。図8(a)は、自然の風景を撮影しているものであり、垂直写像もなだらかに変化している。図8(b)は、建物の中を被写体として撮影したものである。窓にあるブラインドは、非常に細い線となり、一部太陽光の入射があるところとないところがあり、その部分の写像が狭い空間内で大きな変化をしていることが分かる。図8(b)のように空間周波数が高い被写体において、第1の実施形態で示した垂直画素混合を行うと、上記の狭い空間内での大きな変化を適切に信号として取得できず、正しい焦点検出ができなくなる可能性がある。そのため、CPU50が画像の空間周波数を解析し、その解析結果に基づいて垂直画素混合読み出し駆動の設定を切り替える。なお、空間周波数の解析は、離散コサイン変換(DCT)などを用いて行う。
FIG. 8 shows an example of the subject and a vertical mapping obtained by averaging the levels of the subject in the column direction. FIG. 8A is a photograph of a natural landscape, and the vertical mapping also changes gently. FIG. 8B is a photograph of the inside of the building as a subject. The blinds on the windows are very thin lines, and there are some places where sunlight is incident and some places where there is no sunlight, and it can be seen that the mapping of those portions changes greatly in a narrow space. When the vertical pixel mixing shown in the first embodiment is performed on an object having a high spatial frequency as shown in FIG. 8B, the large change in the narrow space cannot be properly acquired as a signal, and the correct focus is obtained. It may not be detected. Therefore, the
図9は、被写体によって垂直画素混合読み出し駆動を実行するかしないかを切り替える制御のフローチャートを示している。LV動作における撮像面AFの読み出しを開始したら、まず垂直非混合で読み出しをする(S900)。その後、被写体解析部74で被写体の空間周波数を検出する(S901)。被写体の空間周波数が所定以上の場合は(S902:Yes)そのままLV動作を継続し、所定未満の場合(S902:No)は垂直画素混合に切り替えて(S903)LV動作を継続する。なお、ここでの「所定」の定義は垂直画素混合数に基づいたものになる。
FIG. 9 shows a flowchart of control for switching whether to perform vertical pixel mixed read drive depending on the subject. When the reading of the imaging surface AF in the LV operation is started, the reading is first performed in the vertical non-mixing mode (S900). Then, the
また、被写体の輝度によって垂直画素混合読み出し駆動の設定を変更してもよい。例えばレンズの絞り312を開放したり、ISO感度を上げても露出アンダーになる場合は、常に垂直画素混合読み出し駆動に切り替えてLV動作をさせてもよい。
Further, the setting of the vertical pixel mixed read drive may be changed according to the brightness of the subject. For example, if underexposure occurs even if the
第2の実施形態のように被写体の空間周波数によって垂直画素混合読み出し駆動の切り替え制御を行うことで正確な焦点検出が可能となる。 Accurate focus detection can be performed by performing switching control of vertical pixel mixed readout drive according to the spatial frequency of the subject as in the second embodiment.
(第3の実施形態)
第3の実施形態では動画記録の要求がきたら必ず垂直画素混合読み出し駆動に切り替える例を示す。図10は、第3の実施形態のフローチャートを示している。LV動作中にCPU50が動画記録要求をしたら、LV動作が垂直非混合読み出し駆動であるかどうかを確認し(S1000)、垂直非混合の場合は垂直画素混合に切り替える(S1001)。その後動画撮影を開始する。
(Third Embodiment)
In the third embodiment, an example will be shown in which the vertical pixel mixed read drive is always switched when a request for moving image recording is received. FIG. 10 shows a flowchart of the third embodiment. When the
第3の実施形態のように、動画記録の際は、記録画質を優先するため垂直画素混合読み出し駆動に必ず入るようにしている。このようすれば目的に応じて適切な駆動を実施することができる。 As in the third embodiment, when recording a moving image, the vertical pixel mixed read drive is always entered in order to prioritize the recording image quality. In this way, appropriate driving can be performed according to the purpose.
(第4の実施形態)
第4の実施形態は、撮影モードによって焦点検出信号を垂直画素混合読み出し駆動で読み出すか否かを切り替える例を示す。
(Fourth Embodiment)
The fourth embodiment shows an example of switching whether or not the focus detection signal is read by the vertical pixel mixture read drive depending on the shooting mode.
図11は、フレーム毎に出力する基準信号(以後VD)と読み出し時間を示した図である。図11(a)は、焦点検出しない時の読み出し動作を示している。縦軸は撮像素子1400の行、横軸は時間である。斜めの実線が各行の読み出しタイミングを示している。図11(a)の例では、1つのVD期間内に読み出しが終了している。
FIG. 11 is a diagram showing a reference signal (hereinafter, VD) output for each frame and a read time. FIG. 11A shows the read operation when focus detection is not performed. The vertical axis represents rows of the
図11(b)は、焦点検出信号を垂直画素混合で読み出した時の読み出し動作を示している。第1の実施形態でも記載したように、A像とA+B像それぞれを出力する必要があるため、読み出し時間が長くなる。この例だと1つのVD期間内に全行の読み出しが完了できなくなり、適切な出力ができなくなってしまう。 FIG. 11B shows a read operation when the focus detection signal is read by vertical pixel mixing. As described in the first embodiment, since it is necessary to output each of the A image and the A+B image, the reading time becomes long. In this example, reading of all rows cannot be completed within one VD period, and appropriate output cannot be performed.
図11(c)は焦点検出信号を垂直画素混合で読み出した時に適切に出力可能にするために、VD間隔を広げた状態を示している。図11(c)のように焦点検出用信号を読んだ場合にはVD間隔を広げる。 FIG. 11C shows a state in which the VD interval is widened so that the focus detection signal can be appropriately output when read by vertical pixel mixing. When the focus detection signal is read as shown in FIG. 11C, the VD interval is widened.
図12は、第4の実施形態のフローチャートを示す。LV動作を開始して、LVのモードが高速レートかどうか調べて(S1200)、高速レートでない場合は本画像に追加して焦点検出信号を垂直画素混合読み出し駆動で読み出す(S1203)。LVのモードが高速レートである場合には、次に高解像度であるかどうかを調べ(S1201)、高解像度でない場合は同じく本画像に追加して焦点検出信号を垂直画素混合読み出し駆動で読み出す(S1203)。高解像度である場合は本画像のみを読み出す(S1202)。 FIG. 12 shows a flowchart of the fourth embodiment. The LV operation is started, and it is checked whether the LV mode is the high speed rate (S1200). If the LV mode is not the high speed rate, the focus detection signal is added to the main image and read by the vertical pixel mixing read drive (S1203). If the LV mode is the high speed rate, then it is checked whether or not the resolution is next high (S1201), and if it is not the high resolution, the focus detection signal is also added to the main image to be read by the vertical pixel mixture read drive ( S1203). If the resolution is high, only the main image is read (S1202).
第4の実施形態のように、読み出しレートは落とすことができないモードもあるため、モードによって焦点検出用信号を読むか読まないかを切り替える(決定する)ことにより、レートを下げず画像出力可能なモードを選択できる。 As in the fourth embodiment, since there is a mode in which the reading rate cannot be lowered, it is possible to output an image without lowering the rate by switching (determining) whether or not to read the focus detection signal depending on the mode. You can select the mode.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.
100:撮像装置、204:垂直走査回路、205:単位画素、1400:撮像素子 100: imaging device, 204: vertical scanning circuit, 205: unit pixel, 1400: imaging element
Claims (3)
各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御手段と、を備え、
前記制御手段は、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする撮像装置。 An image sensor including a pixel portion in which unit pixels each having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column output lines provided one by one corresponding to each column of the pixel portion,
And outputs to the plurality of column output line signals of a portion of the photoelectric conversion elements of each unit pixel as a focus detection signal, all of the plurality of column signals of the photoelectric conversion elements as an image producing signals of each unit pixel A control means for controlling the output line to output ,
When not generating a high-resolution moving image, the control unit simultaneously outputs the focus detection signals of a plurality of unit pixels arranged in the same column of the pixel unit to each of the plurality of column output lines. When controlling to output the image generation signals from the plurality of unit pixels at the same time and generating a high-resolution moving image, the focus detection signal is not output from each of the plurality of unit pixels. An image pickup apparatus, which is controlled so as to output only an image generation signal .
各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御工程と、を有し、
前記制御工程では、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする撮像装置の制御方法。 Imaging device having an image sensor including a pixel portion in which unit pixels having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column output lines provided one by one corresponding to each column of the pixel portion A method of controlling
And outputs to the plurality of column output line signals of a portion of the photoelectric conversion elements of each unit pixel as a focus detection signal, all of the plurality of column signals of the photoelectric conversion elements as an image producing signals of each unit pixel A control step of controlling to output to an output line ,
In the control step, when a high-resolution moving image is not generated , the focus detection signals of a plurality of unit pixels arranged in the same column of the pixel unit are simultaneously output to each of the plurality of column output lines. When controlling to output the image generation signals from the plurality of unit pixels at the same time and generating a high-resolution moving image, the focus detection signal is not output from each of the plurality of unit pixels. A method for controlling an image pickup apparatus, comprising controlling so as to output only an image generation signal .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018212464A JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018212464A JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014163942A Division JP6530593B2 (en) | 2014-08-11 | 2014-08-11 | Imaging device, control method therefor, storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062537A JP2019062537A (en) | 2019-04-18 |
JP6711886B2 true JP6711886B2 (en) | 2020-06-17 |
Family
ID=66178293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018212464A Expired - Fee Related JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6711886B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11298800A (en) * | 1998-04-10 | 1999-10-29 | Nikon Corp | Image-pickup element and image-pickup device using the same |
JP2002258142A (en) * | 2001-02-28 | 2002-09-11 | Canon Inc | Imaging apparatus |
JP5739640B2 (en) * | 2010-10-20 | 2015-06-24 | キヤノン株式会社 | Imaging device and imaging apparatus |
CN103238098B (en) * | 2010-11-30 | 2015-04-15 | 富士胶片株式会社 | Imaging device and focal position detection method |
-
2018
- 2018-11-12 JP JP2018212464A patent/JP6711886B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019062537A (en) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9979874B2 (en) | Image capturing apparatus and pixel scanning method for image generation | |
JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
JP6530593B2 (en) | Imaging device, control method therefor, storage medium | |
US11290648B2 (en) | Image capture apparatus and control method thereof | |
CN107370939B (en) | Focus detection apparatus, control method thereof, image pickup apparatus, and computer readable medium | |
JP7130473B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
US11025884B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP6960755B2 (en) | Imaging device and its control method, program, storage medium | |
EP1734745B1 (en) | Digital camera and contol method thereof | |
JP6941011B2 (en) | Imaging device and its control method, program, storage medium | |
JP6711886B2 (en) | Imaging device, control method thereof, program, and storage medium | |
JP6758964B2 (en) | Control device, image pickup device, control method, program, and storage medium | |
JP2018148295A (en) | Imaging apparatus and control method thereof | |
CN115668970A (en) | Image forming apparatus, image forming method, and program | |
JP5961058B2 (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof | |
JP2019186792A (en) | Imaging apparatus | |
JP7157642B2 (en) | IMAGING DEVICE, CONTROL METHOD, AND PROGRAM | |
JP7329136B2 (en) | Imaging device | |
JP7005313B2 (en) | Imaging device and its control method, program, storage medium | |
JP2015080114A (en) | Image-capturing device, control method therefor, program, and recording medium | |
JP6254780B2 (en) | Focus detection apparatus and method, and imaging apparatus | |
JP2017092605A (en) | Imaging apparatus and control method | |
JP2020085920A (en) | Imaging device and control method of the same | |
JP2006115191A (en) | Image pickup device, shading correction device, and shading correction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6711886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |