JP7361514B2 - Image sensor and imaging device - Google Patents

Image sensor and imaging device Download PDF

Info

Publication number
JP7361514B2
JP7361514B2 JP2019127887A JP2019127887A JP7361514B2 JP 7361514 B2 JP7361514 B2 JP 7361514B2 JP 2019127887 A JP2019127887 A JP 2019127887A JP 2019127887 A JP2019127887 A JP 2019127887A JP 7361514 B2 JP7361514 B2 JP 7361514B2
Authority
JP
Japan
Prior art keywords
signal
subframes
image sensor
pixel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019127887A
Other languages
Japanese (ja)
Other versions
JP2021013147A (en
Inventor
隆史 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019127887A priority Critical patent/JP7361514B2/en
Publication of JP2021013147A publication Critical patent/JP2021013147A/en
Application granted granted Critical
Publication of JP7361514B2 publication Critical patent/JP7361514B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像素子および撮像装置に関する。 The present invention relates to an imaging device and an imaging device.

近年、SPAD(Single Photon Avalanche Diode)とよばれる撮像素子の検討がされている。これは、アバランシェフォトダイオード(APD)をガイガーモードで動作させた際に発生するアバランシェ現象を利用して、入射したフォトンの数そのものを計測する、すなわち入射光をデジタル値として扱う撮像素子である。 In recent years, an imaging device called a SPAD (Single Photon Avalanche Diode) has been studied. This is an imaging device that uses the avalanche phenomenon that occurs when an avalanche photodiode (APD) is operated in Geiger mode to measure the number of incident photons itself, that is, treats incident light as a digital value.

APDをガイガーモードで動作させるとき、例えばAPDに1つのフォトンが入射するとアバランシェ現象によって観測可能なレベルの電流が発生する。この電流をパルスに変換し、そのパルス数をカウントすることで、入射するフォトンの個数を直接計測することが可能となるため、RTSノイズは発生せず、S/Nの向上が期待されている。このような動作は、フォトンカウンティングと呼ばれている。 When the APD is operated in Geiger mode, for example, when one photon is incident on the APD, an observable level of current is generated due to an avalanche phenomenon. By converting this current into pulses and counting the number of pulses, it is possible to directly measure the number of incident photons, so RTS noise is not generated and S/N is expected to improve. . Such operation is called photon counting.

フォトンカウンティングでは、入射光をデジタル値として扱うため、1つの画素に1つのAD変換器があることが基本的な条件となっている。いわゆる画素ADと呼ばれる撮像素子のタイプである。AD変換器は、入射するフォトンの個数をカウントするだけでよいので、アバランシェ現象で発生した電流をパルスに変換するコンパレータとカウンターがあれば実現可能である。 In photon counting, since incident light is treated as a digital value, the basic condition is that one AD converter is provided in one pixel. This is a type of image sensor called a so-called pixel AD. Since the AD converter only needs to count the number of incident photons, it can be implemented as long as it has a comparator and a counter that convert the current generated by the avalanche phenomenon into pulses.

フォトンカウンティングを用いたセンシングデバイスの一例として、特許文献1には複数画素のSPADからなる測距用センサが開示されている。 As an example of a sensing device using photon counting, Patent Document 1 discloses a ranging sensor consisting of a SPAD having multiple pixels.

一方、撮像素子中の画素が撮像レンズの異なる瞳面の光を受光するような構成によって、撮像と同時に位相差方式の焦点検出を行う技術がある。例えば特許文献2では、1つの画素の中にある、1つのマイクロレンズで集光されるフォトダイオード(以下「PD」という。)を分割することによって、各々のPDが撮影レンズの異なる瞳面の光を受光するように構成されている。 On the other hand, there is a technique that performs phase-difference focus detection at the same time as imaging by using a configuration in which pixels in an image sensor receive light from different pupil planes of an imaging lens. For example, in Patent Document 2, by dividing a photodiode (hereinafter referred to as "PD") located in one pixel and focused by one microlens, each PD is attached to a different pupil plane of the photographing lens. It is configured to receive light.

それによって、撮影レンズの異なる瞳面を通過した光を受光した各々のPDの信号から像ずれ量の検出すなわち位相差検出が行われ、像ずれ量からピントのずれ量(デフォーカス量)を相関演算により求めることにより、焦点状態の検出が行われる。また、撮像レンズの異なる瞳面の光を受光した各々のPDの信号を加算することで、鑑賞用の撮影信号を生成することも可能である。 As a result, the amount of image shift is detected from the signals of each PD that receives light that has passed through different pupil planes of the photographic lens, that is, phase difference detection is performed, and the amount of focus shift (defocus amount) is correlated from the amount of image shift. The focus state is detected by calculating. It is also possible to generate a photographic signal for viewing by adding signals from each PD that receives light from different pupil planes of the imaging lens.

特開2014-081253号公報Japanese Patent Application Publication No. 2014-081253 特開2001-083407号公報Japanese Patent Application Publication No. 2001-083407

フォトンカウンティングに代表される画素ADにおいて位相差情報を得るために複数の光電変換素子を有する構成を実現するために、光電変換素子の数だけAD変換器を設けることが考えられる。しかし、AD変換器はコンパレータとカウンターだけでも大きな面積を必要とするため、光電変換素子の数だけAD変換器を設けたのでは画素の微細化が阻害されてしまう。したがって、1つの画素に複数の光電変換素子を有する構成においては、1つ画素当たりに1つのAD変換器でも効率的な読み出しを行うことができる構成が必要である。 In order to realize a configuration having a plurality of photoelectric conversion elements in order to obtain phase difference information in the pixel AD, which is typified by photon counting, it is conceivable to provide as many AD converters as there are photoelectric conversion elements. However, since the AD converter requires a large area for just the comparators and counters, providing as many AD converters as the number of photoelectric conversion elements hinders pixel miniaturization. Therefore, in a configuration in which one pixel includes a plurality of photoelectric conversion elements, a configuration that can perform efficient readout even with one AD converter per pixel is required.

本発明は、1つの画素に複数の光電変換素子を含む撮像素子における画素の微細化と読み出し速度の向上の両立に有利な技術を提供する。 The present invention provides a technology that is advantageous in achieving both miniaturization of pixels and improvement in readout speed in an image sensor including a plurality of photoelectric conversion elements in one pixel.

本発明の一側面によれば、複数の単位画素が行列状に配置された画素部であって、前記複数の単位画素のそれぞれが、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する、画素部と、前記複数の単位画素のそれぞれに対して1つ設けられる、複数のAD変換器と、前記複数のAD変換器を用いて前記複数の単位画素からの読み出しを制御する画素制御部と、を有する撮像素子であって、前記画素制御部は、フレームの画素信号を読み出すために、前記フレームを複数のサブフレームに分割してサブフレームごとに前記複数の単位画素からの読み出し動作を行、前記複数のサブフレームのうちの複数の第1サブフレームの読み出し動作においては、前記複数の第1サブフレームのそれぞれで得られた前記複数の光電変換素子のうちの1つの光電変換素子からの信号に基づく第1信号を読み出し、前記複数のサブフレームのうちの複数の第2サブフレームの読み出し動作においては、前記複数の第2サブフレームのぞれぞれで得られた前記複数の光電変換素子の全ての光電変換素子からの信号に基づく第2信号を読み出し前記フレームにおいては、前記複数の第1サブフレームと前記複数の第2サブフレームとが交互に繰り返されるように読み出しを制御し、前記フレームとは異なる他のフレームにおいては、前記複数の第1サブフレームの数よりも前記複数の第2サブフレームの数の方が多くなるように読み出しを制御することを特徴とする撮像素子が提供される。 According to one aspect of the present invention, the pixel unit includes a plurality of unit pixels arranged in a matrix, each of the plurality of unit pixels photoelectrically converting light passing through different exit pupils of a photographing lens. a pixel portion having a photoelectric conversion element, a plurality of AD converters provided for each of the plurality of unit pixels, and reading from the plurality of unit pixels using the plurality of AD converters. and a pixel control section that controls the pixel signals of the frame, the pixel control section dividing the frame into a plurality of subframes and controlling the plurality of subframes for each subframe. A readout operation is performed from a unit pixel, and in the readout operation of a plurality of first subframes among the plurality of subframes, the plurality of photoelectric conversion elements obtained in each of the plurality of first subframes are read out from a unit pixel. A first signal based on a signal from one of the photoelectric conversion elements is read out , and in a readout operation of a plurality of second subframes among the plurality of subframes, each of the plurality of second subframes is read out. A second signal based on signals from all of the plurality of photoelectric conversion elements obtained in each of the plurality of photoelectric conversion elements is read out , and in the frame, the plurality of first subframes and the plurality of second subframes are read out. is alternately repeated, and in other frames different from the frame, the number of the plurality of second subframes is greater than the number of the plurality of first subframes. An image sensor characterized by controlling readout is provided.

本発明によれば、1つの画素に複数の光電変換素子を含む撮像素子における画素の微細化と読み出し速度の向上の両立に有利な技術を提供することができる。 According to the present invention, it is possible to provide a technique that is advantageous for achieving both miniaturization of pixels and improvement of readout speed in an image sensor including a plurality of photoelectric conversion elements in one pixel.

実施形態における撮像素子の構成を示す図。FIG. 1 is a diagram showing the configuration of an image sensor in an embodiment. 実施形態における撮像素子の1画素の構成を示す図。FIG. 3 is a diagram showing the configuration of one pixel of an image sensor in an embodiment. 画素の構成及び画素から信号を読み出す回路の構成を示す図である。FIG. 2 is a diagram showing the configuration of a pixel and the configuration of a circuit that reads signals from the pixel. アバランシェフォトダイオードの動作を模式的に示す図。FIG. 3 is a diagram schematically showing the operation of an avalanche photodiode. 撮像素子の駆動の例を模式的に示すタイミング図。FIG. 3 is a timing chart schematically showing an example of driving an image sensor. 実施形態における撮像素子の構成を示す図。FIG. 1 is a diagram showing the configuration of an image sensor in an embodiment. 撮像素子の駆動の例を模式的に示すタイミング図。FIG. 3 is a timing chart schematically showing an example of driving an image sensor. 撮像素子の駆動の例を模式的に示すタイミング図。FIG. 3 is a timing chart schematically showing an example of driving an image sensor. 撮像素子の駆動の例を模式的に示すタイミング図。FIG. 3 is a timing chart schematically showing an example of driving an image sensor. 実施形態に係る撮像装置の構成を示す図。FIG. 1 is a diagram showing the configuration of an imaging device according to an embodiment.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. Furthermore, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.

<第1実施形態>
図1は、実施形態における撮像素子の構成を示す図である。撮像素子100は、互いに積層されたセンサ基板を形成する第1半導体チップ101と、回路基板を形成する第2半導体チップ102とを有する。センサ基板をなす第1半導体チップ101には、複数の単位画素103が行列状に配置された画素アレイ(画素部)が形成される。単位画素103の詳細な構成については後述する。回路基板をなす第2半導体チップ102は、主制御部104、画素制御部105、信号処理回路106を含みうる。
主制御部104は、外部からの動作指示やシリアル通信などを受信し、画素制御部105および信号処理回路106が動作するためのタイミング信号などを供給する。画素制御部105は、第1半導体チップ101の複数の単位画素103のそれぞれにバンプ等で電気的に接続され、複数の単位画素103のそれぞれを駆動する制御信号を出力すると共に、画素からのバッファ出力を受信する。
<First embodiment>
FIG. 1 is a diagram showing the configuration of an image sensor in an embodiment. The image sensor 100 includes a first semiconductor chip 101 that forms a sensor substrate and a second semiconductor chip 102 that forms a circuit board that are stacked on each other. A pixel array (pixel section) in which a plurality of unit pixels 103 are arranged in a matrix is formed on the first semiconductor chip 101 forming the sensor substrate. The detailed configuration of the unit pixel 103 will be described later. The second semiconductor chip 102 forming a circuit board may include a main control section 104, a pixel control section 105, and a signal processing circuit 106.
The main control unit 104 receives operation instructions, serial communication, etc. from the outside, and supplies timing signals and the like for the pixel control unit 105 and the signal processing circuit 106 to operate. The pixel control unit 105 is electrically connected to each of the plurality of unit pixels 103 of the first semiconductor chip 101 by a bump or the like, and outputs a control signal for driving each of the plurality of unit pixels 103, and also controls the buffer output from the pixel. Receive output.

画素制御部105は、複数の単位画素103のそれぞれに対して1つ設けられる複数のAD変換器を含みうる。画素制御部105は、複数のAD変換器を用いて複数の単位画素103からの読み出しを制御する。具体的には、画素制御部105には、対応する単位画素毎のカウンターが設けられる。そして、画素制御部105は、このカウンターを用いて、入射されたフォトンに応じて出力されるバッファ出力からのパルス数を計測する回路を有する。画素制御部105で計測されたカウント値は、信号処理回路106によって外部に出力されうる。 The pixel control unit 105 may include a plurality of AD converters, one for each of the plurality of unit pixels 103. The pixel control unit 105 controls reading from a plurality of unit pixels 103 using a plurality of AD converters. Specifically, the pixel control unit 105 is provided with a counter for each corresponding unit pixel. The pixel control unit 105 has a circuit that uses this counter to measure the number of pulses output from the buffer output in response to incident photons. The count value measured by the pixel control unit 105 can be outputted to the outside by the signal processing circuit 106.

図2は、撮像素子100の1画素(単位画素103)の構成を示す図である。単位画素103は、1つのマイクロレンズ202を有する。また、単位画素103は、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する。例えば、単位画素103は、アバランシェ状態で動作する、2つのアバランシェフォトダイオード(以下「APD」という。)を有し、図2ではAPD203およびAPD204として示されている。 FIG. 2 is a diagram showing the configuration of one pixel (unit pixel 103) of the image sensor 100. Unit pixel 103 has one microlens 202. Furthermore, the unit pixel 103 includes a plurality of photoelectric conversion elements that photoelectrically convert light passing through different exit pupils of the photographic lens. For example, the unit pixel 103 has two avalanche photodiodes (hereinafter referred to as "APD") that operate in an avalanche state, and are shown as APD 203 and APD 204 in FIG. 2.

このように、1つのマイクロレンズ202を複数のAPDで共有することで、撮像素子100に到達する撮影レンズからの光のうち異なる射出瞳を通過する光を分割して受光し、位相差情報を得ることが可能である。単位画素103は、図示された構成要素以外にも、後述する複数の構成要素を備えうる。またここでは、単位画素103が2つのAPDを有するものとして説明するが、APDの数は2つ以上であればいくつであってもよい。 In this way, by sharing one microlens 202 with multiple APDs, out of the light from the photographing lens that reaches the image sensor 100, the light passing through different exit pupils is divided and received, and phase difference information is obtained. It is possible to obtain. In addition to the illustrated components, the unit pixel 103 may include a plurality of components described below. Further, although the unit pixel 103 is described here as having two APDs, the number of APDs may be any number as long as it is two or more.

図3は、画素の構成及び画素から信号を読み出す回路の構成を示す図である。実施形態における単位画素103は、前述のとおり、2つのAPD203,204を有する。APD203,204は、マイクロレンズ202を共用することで、それぞれ撮影レンズからの光のうち異なる射出瞳を通過する光を受光する。
クエンチトランジスタ301,302は、オンされたときにクエンチ抵抗として動作し、それぞれ、駆動パルスφQA,φQBにて駆動する。スイッチ303,304は、どちらの画素を出力するかを選択するスイッチであり、それぞれ駆動パルスφTA,φTBにて駆動する。AD変換器310は、比較器305およびカウンター306を含みうる。比較器305は、パルス整形回路として機能しうる。
FIG. 3 is a diagram showing the configuration of a pixel and the configuration of a circuit that reads signals from the pixel. The unit pixel 103 in the embodiment has two APDs 203 and 204, as described above. By sharing the microlens 202, the APDs 203 and 204 each receive light that passes through different exit pupils out of the light from the photographing lens.
Quench transistors 301 and 302 operate as quench resistors when turned on, and are driven by driving pulses φQA and φQB, respectively. Switches 303 and 304 are switches for selecting which pixel to output, and are driven by drive pulses φTA and φTB, respectively. AD converter 310 may include a comparator 305 and a counter 306. Comparator 305 may function as a pulse shaping circuit.

APD203,204、クエンチトランジスタ301,302、および比較器305は、スイッチ303,304を介して電気的に接続されている。APD203,204にはそれぞれ、クエンチトランジスタ301,302を介して、電圧HVDDが印加される。電圧HVDDは、APD203,204がガイガーモードで動作する電圧となるよう設定される。 APDs 203 and 204, quench transistors 301 and 302, and comparator 305 are electrically connected via switches 303 and 304. A voltage H VDD is applied to the APDs 203 and 204 via quench transistors 301 and 302, respectively. The voltage H VDD is set to a voltage at which the APDs 203 and 204 operate in Geiger mode.

比較器305は、APD203,204の出力電圧VAPDの一方を第1入力とし、所定の比較電圧Vcompを第2入力とする。それらの比較結果Voutを“H”または“L”として出力することで、比較器305はパルス整形回路として機能する。カウンター306は、比較器305の出力をカウントすることで、APD203,204の信号がAD変換され、デジタルデータとして記録される。 The comparator 305 has one of the output voltages V APD of the APDs 203 and 204 as a first input, and a predetermined comparison voltage V comp as a second input. By outputting the comparison result V out as "H" or "L", the comparator 305 functions as a pulse shaping circuit. By counting the output of the comparator 305, the counter 306 performs AD conversion on the signals of the APDs 203 and 204, and records the converted data as digital data.

次に、図4を用いて、画素の具体的な動作を説明する。図4はAPDの動作を模式的に示す図である。APD203とAPD204の動作原理は同じなので、ここではAPD203とAPD203の信号を読み出す回路のみで説明を行う。まずは、クエンチトランジスタ301をオンし、スイッチ303をオンにすることで読み出し待機状態となる。 Next, the specific operation of the pixel will be explained using FIG. 4. FIG. 4 is a diagram schematically showing the operation of the APD. Since the operating principles of APD 203 and APD 204 are the same, only the APD 203 and the circuit that reads out the signals of APD 203 will be explained here. First, the quench transistor 301 is turned on and the switch 303 is turned on to enter a read standby state.

APD203が待機している状態では、APD203およびクエンチトランジスタ301には電流が流れておらず、VAPDはHVDDを示す。すなわち、APD203が待機している状態では、APD203には、フォトン入射により雪崩現象を発生させることが可能な電圧が印加された状態になっている。なお、このとき比較器305は“L”を出力する。 When the APD 203 is on standby, no current flows through the APD 203 and the quench transistor 301, and V APD indicates H VDD . That is, when the APD 203 is on standby, a voltage is applied to the APD 203 that can cause an avalanche phenomenon by photon incidence. Note that at this time, the comparator 305 outputs "L".

その後、APD203にフォトンが入射すると、雪崩現象が発生し、APD203およびクエンチトランジスタ301に電流が流れ始める。クエンチトランジスタ301に電流が流れ始めると、電圧降下が発生し、VAPDの電圧が低下する。VAPDが比較電圧Vcompを下回ると、比較器305の出力Voutは“H”となる。 After that, when photons are incident on the APD 203, an avalanche phenomenon occurs, and current begins to flow through the APD 203 and the quench transistor 301. When current begins to flow through the quench transistor 301, a voltage drop occurs and the voltage at V APD decreases. When V APD becomes lower than the comparison voltage V comp , the output V out of the comparator 305 becomes "H".

その後、VAPDが、雪崩現象を発生させることが不可能な電圧にまで降下すると、雪崩現象は停止する。これにより、VAPDはHVDDに復帰し、比較器305の出力Voutは“L”となる。 Thereafter, when V APD drops to a voltage that makes it impossible to generate an avalanche phenomenon, the avalanche phenomenon stops. As a result, V APD returns to H VDD , and the output V out of comparator 305 becomes "L".

これらの動作により、フォトンの入射がパルス信号として取り出される。カウンター306が比較器305のパルス出力をカウントすることで、APD203の信号がAD変換され、デジタルデータとして記録される。 Through these operations, incident photons are extracted as pulse signals. When the counter 306 counts the pulse output of the comparator 305, the signal of the APD 203 is AD converted and recorded as digital data.

APD204も同様に動作することによってパルス信号が取り出される。また、比較器305は、VAPDをパルスとして整形できればよいので、単純なインバーター形式でもよい。 The APD 204 also operates in the same manner to extract a pulse signal. Furthermore, the comparator 305 may be of a simple inverter type, as long as it can shape V APD as a pulse.

実施形態では、複数の単位画素のそれぞれに対して1つのAD変換器が設けられる。すなわち、各画素に対して、APD203,204の信号を読み出すための、比較器305とカウンター306が搭載されている。そのため、全画素同時に信号を読み出すことが可能である。しかし、比較器305とカウンター306は各画素に1つずつであってAPD203,204のそれぞれに設けられているわけではないので、APD203,204の信号を別々の信号として同時に取り出すことはできない。 In the embodiment, one AD converter is provided for each of a plurality of unit pixels. That is, a comparator 305 and a counter 306 are mounted for each pixel to read out the signals of the APDs 203 and 204. Therefore, it is possible to read out signals from all pixels simultaneously. However, since the comparator 305 and the counter 306 are provided for each pixel and not for each of the APDs 203 and 204, the signals of the APDs 203 and 204 cannot be taken out simultaneously as separate signals.

これに対処する実施形態における読み出し動作を、図5を参照して説明する。図5は、実施形態における撮像素子の駆動を模式的に示すタイミング図である。図面の左から右に向かって時刻が経過する様子を示す。本実施形態において、画素制御部105は、1フレームの画素信号を読み出すために、1フレームを複数のサブフレームに時分割してサブフレームごとに複数の単位画素103からの読み出し動作を行うように構成される。画素制御部105は、サブフレームごとに全画素同時に読み出し、各サブフレームの情報を合成して1フレームの情報として生成する。 A read operation in an embodiment that addresses this will be described with reference to FIG. FIG. 5 is a timing diagram schematically showing driving of the image sensor in the embodiment. It shows how time passes from left to right in the drawing. In this embodiment, in order to read out pixel signals of one frame, the pixel control unit 105 time-divides one frame into a plurality of subframes and performs a readout operation from a plurality of unit pixels 103 for each subframe. configured. The pixel control unit 105 simultaneously reads out all pixels for each subframe, synthesizes the information of each subframe, and generates one frame of information.

図5は、1フレームの情報を読み出すのに、複数のサブフレーム1_1~1_10に分割して10回の読み出し動作を行う様子を示している。ここで、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9では、APD203のみが動作状態となっている。そのために、φQA,φTAをハイレベルにすることで、クエンチトランジスタ301およびスイッチ303をオンにしている。一方、φQB,φTBをローレベルにすることで、クエンチトランジスタ302およびスイッチ304をオフ状態にし、その結果、APD203に入射したフォトンの数だけ、カウンター306がカウント動作を行う。 FIG. 5 shows how to read one frame of information, the subframes are divided into a plurality of subframes 1_1 to 1_10 and the read operation is performed ten times. Here, in the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9, only the APD 203 is in the operating state. For this purpose, the quench transistor 301 and the switch 303 are turned on by setting φQA and φTA to high level. On the other hand, by setting φQB and φTB to a low level, the quench transistor 302 and the switch 304 are turned off, and as a result, the counter 306 performs a counting operation corresponding to the number of photons that have entered the APD 203.

一方、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10では、APD203およびAPD204の両方が動作状態となっている。そのため、φQA、φTA、φQB、φTBの全てをハイレベルにすることで、クエンチトランジスタ301,302、スイッチ303,304をオンにしている。このとき、APD203,204は両方とも動作状態にあるので、APD203,204の両方に入射したフォトンの信号に対して、カウンター306がカウント動作を行う。このように、1フレームの複数のサブフレームへの分割は、φQA、φTA、φQB、φTBの駆動周波数を変更することによって行われうる。 On the other hand, in the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10, both APD 203 and APD 204 are in the operating state. Therefore, by setting all of φQA, φTA, φQB, and φTB to a high level, the quench transistors 301 and 302 and the switches 303 and 304 are turned on. At this time, since both APDs 203 and 204 are in the operating state, the counter 306 performs a counting operation on the photon signals incident on both APDs 203 and 204. In this way, one frame can be divided into a plurality of subframes by changing the driving frequencies of φQA, φTA, φQB, and φTB.

ここで、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9で得られたカウント値が全て合成される。そうすると、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9の時間分、APD203(第1光電変換素子)に入射したフォトンの信号が得られる。こうして生成された信号を「A信号」(第1信号)という。ただし、1フレームの時間のうち、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9によるA信号が得られる期間は、この例では1フレーム中に得られる信号の半分である。そこで、A信号に2倍のゲインをかけると、1フレームの時間で得られる予定だった信号と近い信号が得られる。これを「A2信号」という。 Here, all the count values obtained in the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9 are combined. Then, signals of photons incident on the APD 203 (first photoelectric conversion element) for the times of the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9 are obtained. The signal generated in this way is called the "A signal" (first signal). However, within the time of one frame, the period during which the A signal is obtained by the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9 is half of the signal obtained during one frame in this example. Therefore, by applying a double gain to the A signal, a signal close to the signal expected to be obtained in one frame time can be obtained. This is called the "A2 signal."

同様に、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10で得られたカウント値が全て合成される。そうすると、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10の時間分、全ての光電変換素子(第2光電変換素子)であるAPD203およびAPD204に入射したフォトンの信号が得られる。こうして生成された信号を「A+B信号」(第2信号)という。ただし、1フレームの時間のうち、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10によるA+B信号が得られる期間は、この例では1フレーム中に得られる信号の半分である。そこで、A+B信号に2倍のゲインをかけると、1フレームの時間で得られる予定だった信号と近い信号が得られる。これを「(A+B)2信号」という。 Similarly, all the count values obtained in the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10 are combined. Then, signals of photons that entered the APD 203 and APD 204, which are all photoelectric conversion elements (second photoelectric conversion elements), are obtained for the time period of the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10. The signal generated in this way is called the "A+B signal" (second signal). However, within the time of one frame, the period during which the A+B signal is obtained by the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10 is half of the signal obtained during one frame in this example. Therefore, by applying a double gain to the A+B signal, a signal close to the signal expected to be obtained in one frame time can be obtained. This is called the "(A+B)2 signal."

ここで、(A+B)2信号からA2信号を減算することにより、位相信号としての信号が取得される。この信号を「B2信号」(第3信号)という。(A+B)2信号は、1フレームの時間に得られるAPD203,204が光電変換した撮影レンズの射出瞳を通過した光の信号に相当するので、撮像信号として表示や記録などのための信号として使用される。一方、A2信号およびB2信号はそれぞれ、APD203,APD204が光電変換した撮影レンズの異なる射出瞳を通過した光の信号なので、A2信号とB2信号は位相差情報を有する位相信号である。 Here, by subtracting the A2 signal from the (A+B)2 signal, a signal as a phase signal is obtained. This signal is called the "B2 signal" (third signal). The (A+B)2 signal corresponds to the signal of the light that has passed through the exit pupil of the photographic lens and has been photoelectrically converted by the APDs 203 and 204 obtained during one frame, so it is used as an imaging signal for display, recording, etc. be done. On the other hand, the A2 signal and the B2 signal are signals of light that has passed through different exit pupils of the photographing lens, photoelectrically converted by the APD 203 and APD 204, so the A2 signal and the B2 signal are phase signals having phase difference information.

A2信号およびB2信号から公知の相関演算を行うことで、位相差情報を取り出すことが可能であり、撮影レンズのデフォーカス量を算出することが可能である。A2信号とB2信号は、位相差情報を得るために必要な情報であって、表示などには使用されない。そのため、演算に必要な信号さえ得られれば、必ずしも、各サブフレームの信号を合成しなくてもよく、単独のサブフレームの情報で相関演算を行ってもよいし、また、2倍のゲインをかけなくてもよい。 By performing a known correlation calculation from the A2 signal and the B2 signal, it is possible to extract phase difference information, and it is possible to calculate the defocus amount of the photographing lens. The A2 signal and the B2 signal are information necessary to obtain phase difference information, and are not used for display or the like. Therefore, as long as the signals necessary for the calculation are obtained, it is not necessarily necessary to combine the signals of each subframe, and the correlation calculation can be performed using information from a single subframe. You don't have to put it on.

2フレーム目以降も同様に、1フレームの中を分割して読み出し、合成することで、撮像信号と位相信号が得えられる。 Similarly, for the second and subsequent frames, one frame is divided, read out, and combined to obtain an imaging signal and a phase signal.

本実施形態では、フォトンカウンティング可能なSPAD型の撮像素子を用いているので、複数のサブフレームの信号を合成して1フレームを形成しても、合成によるノイズの悪化が、ほぼない。なお、上述した合成動作、差分動作、相関演算などは、信号処理回路106で行ってもよいし、後述する撮像素子の外にある信号処理部で行ってもよい。 In this embodiment, since a SPAD type image sensor capable of photon counting is used, even if signals of a plurality of subframes are combined to form one frame, there is almost no noise deterioration due to the combination. Note that the above-mentioned synthesis operation, difference operation, correlation calculation, etc. may be performed by the signal processing circuit 106, or may be performed by a signal processing unit outside the image sensor, which will be described later.

図5では、1フレームの中を10個のサブフレームに分割したが、本発明はこれに限定されるものではなく、1フレームを分割して読み出し、撮像信号と位相信号を分割して読み出すことを特徴としている。また、(A+B)2信号は1フレーム中の全情報のうち半分の情報を倍にすることで擬似的に1フレーム中の情報として用いている。そのため、1フレームの分割数が少ないと、高速で動く被写体などを撮影したときに、1フレーム中の全情報がある撮像信号に対してのずれが大きくなってしまう。そのため、1フレームは例えば30個以上のサブフレームに分割するとよい。 In FIG. 5, one frame is divided into 10 subframes, but the present invention is not limited to this. One frame can be divided and read out, and the imaging signal and the phase signal can be divided and read out. It is characterized by Further, the (A+B)2 signal is used as pseudo information in one frame by doubling half of the information in one frame. Therefore, if the number of divisions of one frame is small, when photographing a subject moving at high speed, there will be a large deviation from the image signal that has all the information in one frame. Therefore, one frame may be divided into, for example, 30 or more subframes.

また、上述の例においては、A信号、A+B信号に乗じるゲインは一例として2としたが、これは、複数のサブフレームのうち複数の第1サブフレームおよび複数の第2サブフレームが占める割合が半分ずつだからである。より一般的に言えば、A信号には、複数のサブフレームのうち複数の第1サブフレームが占める割合に応じたゲインを乗じ、A+B信号には、複数のサブフレームのうち複数の第2サブフレームが占める割合に応じたゲインを乗じるとよい。 In addition, in the above example, the gain multiplied by the A signal and the A+B signal is set to 2 as an example, but this means that the proportion occupied by the first subframes and the second subframes among the subframes is 2. That's because it's half and half. More generally, the A signal is multiplied by a gain corresponding to the proportion of the first subframes among the subframes, and the A+B signal is multiplied by the proportion of the second subframes among the subframes. It is preferable to multiply by a gain according to the proportion occupied by the frame.

上述したように、1つの画素に1つのAD変換器を備える構成であっても、すなわち、AD変換器を光電変換素子の数と同じ数にしなくても、高速な読み出し動作を実現することができる。 As mentioned above, even with a configuration in which one AD converter is provided for one pixel, that is, even if the number of AD converters is not the same as the number of photoelectric conversion elements, high-speed readout operations can be achieved. can.

<第2実施形態>
図6は、第2実施形態に係る撮像素子の構成を示す図である。本実施形態では、アバランシェ動作を行わない一般的なフォトダイオード(以下「PD」という。)が使用される。PD601,602は、APD203,204と同様に、撮影レンズの異なる射出瞳を通過した光を光電変換する光電変換素子である。転送スイッチ603,604はそれぞれ、PD601,602で発生した電荷を後述するフローティングディフュージョン部(以下「FD」という。)に転送する。FD605は、電荷を一時的に蓄積するメモリとしての役割を有する。リセットスイッチ606は、VDDによりFD605をリセットする。AD変換器210は、比較器205およびカウンター206を含みうる。
<Second embodiment>
FIG. 6 is a diagram showing the configuration of an image sensor according to the second embodiment. In this embodiment, a general photodiode (hereinafter referred to as "PD") that does not perform an avalanche operation is used. Like the APDs 203 and 204, the PDs 601 and 602 are photoelectric conversion elements that photoelectrically convert light that has passed through different exit pupils of the photographic lens. Transfer switches 603 and 604 transfer charges generated in PDs 601 and 602, respectively, to floating diffusion sections (hereinafter referred to as "FD"), which will be described later. The FD 605 has the role of a memory that temporarily stores charges. A reset switch 606 resets the FD 605 using VDD. AD converter 210 may include a comparator 205 and a counter 206.

図6の構成でも、FD605が十分に小さければ、入射したフォトンに対する信号読み出しは可能である。そのため、図5に示した駆動と同様に駆動すれば、1つの画素に1つのAD変換器であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することが可能となる。これらは、フォトダイオードが光電変換膜などの光電変換素子に変わっても同様であるので、本発明は光電変換素子の種類を限定するものではない。 Even in the configuration shown in FIG. 6, if the FD 605 is sufficiently small, it is possible to read signals from incident photons. Therefore, if driven in the same manner as shown in Fig. 5, even with one AD converter per pixel, it is possible to realize a readout operation that separately acquires the image signal and the phase signal as separate signals. It becomes possible. These are the same even if the photodiode is replaced with a photoelectric conversion element such as a photoelectric conversion film, so the present invention does not limit the type of photoelectric conversion element.

また、フォトダイオードの信号が比較器205で分離できない微弱電圧であっても、VREFを時間的に変化させることで比較器205をスロープ型のAD変換器として動作させて、カウンター206で信号をカウントすることが可能である。ただし、この場合は、読み出しノイズが発生するため、フォトンをカウントするフォトンカウンティングの形態と異なりサブフレームを合成した際には、ノイズが増えてしまう。ただし、1つの画素に1つのAD変換器であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することは可能である。 Furthermore, even if the photodiode signal is a weak voltage that cannot be separated by the comparator 205, by changing V REF over time, the comparator 205 operates as a slope type AD converter, and the counter 206 converts the signal. It is possible to count. However, in this case, read noise occurs, so unlike the photon counting method in which photons are counted, noise increases when subframes are combined. However, even with one AD converter for one pixel, it is possible to implement a readout operation in which the imaging signal and the phase signal are individually acquired as separated signals.

<第3実施形態>
図7は、第3実施形態に係る撮像素子の駆動を模式的に示すタイミング図である。図7の例において、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9では、APD203のみが動作状態となっている。そのために、φQA,φTAをハイレベルにすることで、クエンチトランジスタ301およびスイッチ303をオンにしている。一方、φQB,φTBをローレベルにすることで、クエンチトランジスタ302およびスイッチ304をオフ状態にし、その結果、APD203に入射したフォトンの数だけ、カウンター306がカウント動作を行う。
<Third embodiment>
FIG. 7 is a timing diagram schematically showing driving of the image sensor according to the third embodiment. In the example of FIG. 7, only the APD 203 is in the operating state in the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9. For this purpose, the quench transistor 301 and the switch 303 are turned on by setting φQA and φTA to high level. On the other hand, by setting φQB and φTB to a low level, the quench transistor 302 and the switch 304 are turned off, and as a result, the counter 306 performs a counting operation corresponding to the number of photons that have entered the APD 203.

一方、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10では、APD204のみが動作状態となっている。そのために、φQA,φTAをローレベルにすることで、クエンチトランジスタ301およびスイッチ303をオフにしている。一方、φQB,φTBをハイレベルにすることで、クエンチトランジスタ302およびスイッチ304をオン状態にし、その結果、APD204に入射したフォトンの数だけ、カウンター306がカウント動作を行う。 On the other hand, in the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10, only the APD 204 is in the operating state. For this purpose, quench transistor 301 and switch 303 are turned off by setting φQA and φTA to low level. On the other hand, by setting φQB and φTB to high level, the quench transistor 302 and the switch 304 are turned on, and as a result, the counter 306 performs a counting operation corresponding to the number of photons that have entered the APD 204.

ここで、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9で得られたカウント値が全て合成される。そうすると、複数の第1サブフレーム1_1,1_3,1_5,1_7,1_9の時間分、APD203(第1光電変換素子)に入射したフォトンの信号が得られる。これによりA信号(第1信号)が生成される。 Here, all the count values obtained in the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9 are combined. Then, signals of photons incident on the APD 203 (first photoelectric conversion element) for the times of the plurality of first subframes 1_1, 1_3, 1_5, 1_7, and 1_9 are obtained. This generates the A signal (first signal).

同様に、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10で得られたカウント値が全て合成される。そうすると、複数の第2サブフレーム1_2,1_4,1_6,1_8,1_10の時間分、APD203とは異なる1つの光電変換素子(第2光電変換素子)であるAPD204に入射したフォトンの信号が得られる。これによりB信号(第2信号)が生成される。 Similarly, all the count values obtained in the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10 are combined. Then, signals of photons incident on the APD 204, which is one photoelectric conversion element (second photoelectric conversion element) different from the APD 203, are obtained for the time period of the plurality of second subframes 1_2, 1_4, 1_6, 1_8, and 1_10. As a result, a B signal (second signal) is generated.

このような駆動により、直接、A信号とB信号を得ることができる。画素制御部105は、A信号とB信号とを加算することにより、撮像信号(第4信号)を生成することができる。このような駆動においても、第1実施形態と同様に、1つの画素に1つのAD変換器を備える構成であっても、撮像信号と位相差検出用の信号を分離した信号として個別に取得する読み出し動作を実現することが可能である。 By such driving, the A signal and the B signal can be directly obtained. The pixel control unit 105 can generate an imaging signal (fourth signal) by adding the A signal and the B signal. In such driving, even in a configuration in which one AD converter is provided for one pixel, the imaging signal and the phase difference detection signal are individually acquired as separate signals, as in the first embodiment. It is possible to implement a read operation.

<第4実施形態>
図8は、撮像素子の駆動の他の例を模式的に示すタイミング図である。図8において、1フレーム目では、図5と同様に、複数の第1サブフレームに属するサブフレームと複数の第2サブフレームに属するサブフレームとが交互になるように設定される。他方、2フレーム目(他のフレーム)においては、複数の第1サブフレーム(Aで示されるサブフレーム)より複数の第2サブフレーム(A+Bで示されるサブフレーム)の数が多い。
<Fourth embodiment>
FIG. 8 is a timing chart schematically showing another example of driving the image sensor. In FIG. 8, in the first frame, as in FIG. 5, subframes belonging to a plurality of first subframes and subframes belonging to a plurality of second subframes are set alternately. On the other hand, in the second frame (another frame), the number of second subframes (subframes indicated by A+B) is greater than the number of first subframes (subframes indicated by A).

このように駆動することで、必要な量の位相差情報だけを取り出し、残りのサブフレームはA+B信号の読み出しに当てることで、A+B信号の1フレーム中の信号比率を上げることが可能となる。当然ながら、撮像信号に使用するときのゲインは2倍ではなく、不足するサブフレーム分だけ、ゲインをかければよい。 By driving in this manner, only the necessary amount of phase difference information is extracted and the remaining subframes are used for reading the A+B signal, thereby making it possible to increase the signal ratio of the A+B signal in one frame. Naturally, the gain when used for the imaging signal is not doubled, but it is sufficient to apply the gain by the amount of the missing subframe.

図9は、撮像素子の駆動の更に他の例を模式的に示すタイミング図である。図9においては、1フレーム目では、図8と同様に、複数の第1サブフレームに属するサブフレームと複数の第2サブフレームに属するサブフレームとが交互になるように設定される。他方、2フレーム目(他のフレーム)は、複数の第2サブフレームのみで構成される。すなわち2フレーム目では、A+B信号のみが読み出される。 FIG. 9 is a timing diagram schematically showing still another example of driving the image sensor. In FIG. 9, in the first frame, as in FIG. 8, subframes belonging to a plurality of first subframes and subframes belonging to a plurality of second subframes are set alternately. On the other hand, the second frame (other frame) is composed of only a plurality of second subframes. That is, in the second frame, only the A+B signal is read out.

なお、これは、1フレーム目と2フレーム目とで読み出しを変える例であるが、これに限定されるものではなく、A信号とA+B信号を独立に取得するフレームとA+B信号のみを読み出すフレームがあればよい。このように駆動することで、位相差情報が必要なフレームのみで、その情報を取り出すことが可能となり、一方、位相差情報が必要ではない場合は、擬似的な1フレーム情報ではなく、全信号を得ることが可能となる。 Note that this is an example of changing the readout between the first frame and the second frame, but it is not limited to this, and there are frames in which the A signal and A+B signal are acquired independently and frames in which only the A+B signal is read out. Good to have. By driving in this way, it is possible to extract phase difference information only from frames that require it. On the other hand, when phase difference information is not required, the entire signal is extracted instead of pseudo one frame information. It becomes possible to obtain.

図8および図9で説明したA信号を読み出すフレームの比率は、被写体輝度や撮影レンズのデフォーカス量に応じて可変にするとよい。このような駆動においても、第1実施形態と同様に、1つの画素に1つのAD変換器を備える構成であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することが可能である。 The ratio of frames for reading out the A signal described in FIGS. 8 and 9 may be made variable depending on the brightness of the subject and the amount of defocus of the photographing lens. Even in such driving, even in a configuration in which one AD converter is provided for one pixel, as in the first embodiment, a readout operation is realized in which the imaging signal and the phase signal are acquired individually as separate signals. It is possible to do so.

次に、図10に基づいて、上述の撮像素子を、撮像装置であるデジタルカメラに適用した場合の実施形態について説明する。図10において、撮像素子ユニット1005は、撮影レンズ1001で結像された被写体を画像信号として取り込むためのユニットであり、上述の図1の撮像素子は、この撮像素子ユニット1005に含まれる。撮影レンズ1001は、被写体の光学像を撮像素子ユニット1005における撮像素子100に結像させる。 Next, based on FIG. 10, an embodiment in which the above-described image sensor is applied to a digital camera, which is an imaging device, will be described. In FIG. 10, an image sensor unit 1005 is a unit for capturing a subject imaged by the photographing lens 1001 as an image signal, and the image sensor shown in FIG. 1 described above is included in this image sensor unit 1005. The photographic lens 1001 forms an optical image of a subject on the image sensor 100 in the image sensor unit 1005.

レンズ駆動装置1002は、撮影レンズ1001に対して、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッター1003は、シャッター駆動装置1004によって制御される。撮像素子ユニット1005は、上記したように撮像素子100を含む他、光学的なローパスフィルターなどを配備している。信号処理部1006は、撮像素子ユニット1005より出力された画像信号に対する各種の補正、データ圧縮等を行う。信号処理部1006はまた、前述のA信号やA+B信号の合成、減算、相関演算等を行うことができる。 A lens driving device 1002 performs zoom control, focus control, aperture control, etc. on the photographic lens 1001. Mechanical shutter 1003 is controlled by shutter drive device 1004. The image sensor unit 1005 includes the image sensor 100 as described above, and is also equipped with an optical low-pass filter and the like. The signal processing unit 1006 performs various corrections, data compression, etc. on the image signal output from the image sensor unit 1005. The signal processing unit 1006 can also perform synthesis, subtraction, correlation calculation, etc. of the above-mentioned A signal and A+B signal.

タイミング発生部1007は、撮像素子100、信号処理部1006に、各種タイミング信号を出力する。制御部1009は、撮像装置全体の制御を司る。制御部1009は、その他の各種演算を行うこともできる。メモリ1008は、画像データを一時的に記憶する。記録媒体I/F1010は、記録媒体1011に対する記録または読み出しを行うためのインタフェースである。記録媒体1011は、画像データを記録する、半導体メモリ等の着脱可能な記録媒体である。表示部1012は、各種情報や撮影画像を表示する。 The timing generator 1007 outputs various timing signals to the image sensor 100 and the signal processor 1006. A control unit 1009 controls the entire imaging apparatus. The control unit 1009 can also perform various other calculations. Memory 1008 temporarily stores image data. The recording medium I/F 1010 is an interface for recording on or reading from the recording medium 1011. The recording medium 1011 is a removable recording medium such as a semiconductor memory that records image data. The display unit 1012 displays various information and photographed images.

次に、前述の構成における撮影時のデジタルカメラの動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に信号処理部1006等の撮像系回路の電源がオンされる。その後、不図示のレリーズボタンが押されると、信号処理部1006は撮像素子からのデータに基づいて相関演算を行う。 Next, the operation of the digital camera in the above-described configuration during photographing will be explained. When the main power is turned on, the power of the control system is turned on, and further the power of the imaging system circuits such as the signal processing section 1006 is turned on. Thereafter, when a release button (not shown) is pressed, the signal processing unit 1006 performs a correlation calculation based on data from the image sensor.

制御部1009は、相関演算の結果に基づいてレンズ駆動装置1002により撮影レンズ1001を駆動して合焦しているか否かを判断し、合焦していないと判断したときは、再び撮影レンズ1001を駆動し相関演算を行う。なお、相関演算は、撮像素子からのデータを用いて信号処理部1006で行う以外にも、不図示の演算専用の装置で行ってもよい。 The control unit 1009 drives the photographic lens 1001 by the lens driving device 1002 based on the result of the correlation calculation to determine whether or not the photographic lens 1001 is in focus. to perform correlation calculations. Note that the correlation calculation may be performed not only by the signal processing unit 1006 using data from the image sensor but also by a dedicated calculation device (not shown).

そして、合焦が確認された後に撮影動作が開始される。撮影動作が終了すると、信号処理部1006は、撮像素子100から出力された画像信号に対して画像処理を行い撮影画像を生成する。撮影画像のデータは、制御部1009によりメモリ1008に書き込まれる。信号処理部1006では、並べ替え処理、加算処理、あるいはそれらの選択処理等も行われる。メモリ1008に蓄積されたデータは、制御部1009の制御により記録媒体I/F1010を介して記録媒体1011に記録される。なお、このとき不図示の外部I/F部を介して外部装置(コンピュータ等)にデータを転送し、外部装置で画像の加工等を行ってもよい。 After the focus is confirmed, the photographing operation is started. When the photographing operation is completed, the signal processing unit 1006 performs image processing on the image signal output from the image sensor 100 to generate a photographed image. The data of the photographed image is written into the memory 1008 by the control unit 1009. The signal processing unit 1006 also performs rearrangement processing, addition processing, or selection processing thereof. The data stored in the memory 1008 is recorded on the recording medium 1011 via the recording medium I/F 1010 under the control of the control unit 1009. Note that at this time, the data may be transferred to an external device (such as a computer) via an external I/F unit (not shown), and the image may be processed by the external device.

(他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are hereby appended to disclose the scope of the invention.

100:撮像素子、104:主制御部、105:画素制御部、106:信号処理回路 100: Image sensor, 104: Main control unit, 105: Pixel control unit, 106: Signal processing circuit

Claims (9)

複数の単位画素が行列状に配置された画素部であって、前記複数の単位画素のそれぞれが、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する、画素部と、
前記複数の単位画素のそれぞれに対して1つ設けられる、複数のAD変換器と、
前記複数のAD変換器を用いて前記複数の単位画素からの読み出しを制御する画素制御部と、
を有する撮像素子であって、
前記画素制御部は、
フレームの画素信号を読み出すために、前記フレームを複数のサブフレームに分割してサブフレームごとに前記複数の単位画素からの読み出し動作を行
前記複数のサブフレームのうちの複数の第1サブフレームの読み出し動作においては、前記複数の第1サブフレームのそれぞれで得られた前記複数の光電変換素子のうちの1つの光電変換素子からの信号に基づく第1信号を読み出し、
前記複数のサブフレームのうちの複数の第2サブフレームの読み出し動作においては、前記複数の第2サブフレームのぞれぞれで得られた前記複数の光電変換素子の全ての光電変換素子からの信号に基づく第2信号を読み出し
前記フレームにおいては、前記複数の第1サブフレームと前記複数の第2サブフレームとが交互に繰り返されるように読み出しを制御し、前記フレームとは異なる他のフレームにおいては、前記複数の第1サブフレームの数よりも前記複数の第2サブフレームの数の方が多くなるように読み出しを制御することを特徴とする撮像素子。
A pixel unit in which a plurality of unit pixels are arranged in a matrix, each of the plurality of unit pixels having a plurality of photoelectric conversion elements that photoelectrically convert light passing through different exit pupils of a photographing lens. and,
a plurality of AD converters, one provided for each of the plurality of unit pixels;
a pixel control unit that controls readout from the plurality of unit pixels using the plurality of AD converters;
An image sensor having
The pixel control section includes:
In order to read out pixel signals of a frame, the frame is divided into a plurality of subframes and a readout operation is performed from the plurality of unit pixels for each subframe,
In the readout operation of a plurality of first subframes among the plurality of subframes, a signal from one photoelectric conversion element among the plurality of photoelectric conversion elements obtained in each of the plurality of first subframes; read out a first signal based on
In the readout operation of the plurality of second subframes among the plurality of subframes, the readout operation from all of the plurality of photoelectric conversion elements obtained in each of the plurality of second subframes is performed. reading a second signal based on the signal;
In the frame, readout is controlled so that the plurality of first subframes and the plurality of second subframes are alternately repeated, and in another frame different from the frame, the plurality of first subframes are An image sensor characterized in that readout is controlled so that the number of the plurality of second subframes is greater than the number of frames .
前記複数の光電変換素子のそれぞれは、アバランシェ状態で動作するアバランシェフォトダイオードであることを特徴とする請求項1に記載の撮像素子。 The image sensor according to claim 1, wherein each of the plurality of photoelectric conversion elements is an avalanche photodiode that operates in an avalanche state. 前記複数の光電変換素子のそれぞれは、フォトダイオードであることを特徴とする請求項1に記載の撮像素子。 The image sensor according to claim 1, wherein each of the plurality of photoelectric conversion elements is a photodiode. 前記画素制御部は、前記第2信号から前記第1信号を減算することにより、位相信号としての第3信号を生成することを特徴とする請求項1乃至3のいずれか1項に記載の撮像素子。 The imaging according to any one of claims 1 to 3, wherein the pixel control unit generates a third signal as a phase signal by subtracting the first signal from the second signal. element. 前記他のフレームは、前記複数の第2サブフレームのみで構成されることを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。 The image sensor according to any one of claims 1 to 4, wherein the other frame is composed of only the plurality of second subframes. 前記画素制御部は、前記複数のサブフレームのうち前記複数の第1サブフレームが占める割合に応じたゲインを前記第1信号に乗じ、前記複数のサブフレームのうち前記複数の第2サブフレームが占める割合に応じたゲインを前記第2信号に乗じることを特徴とする請求項1乃至のいずれか1項に記載の撮像素子。 The pixel control unit multiplies the first signal by a gain corresponding to a ratio occupied by the plurality of first subframes among the plurality of subframes, and 6. The image sensor according to claim 1, wherein the second signal is multiplied by a gain corresponding to a proportion of the second signal. 前記複数のAD変換器は、前記画素制御部に含まれることを特徴とする請求項1乃至のいずれか1項に記載の撮像素子。 The image sensor according to any one of claims 1 to 6 , wherein the plurality of AD converters are included in the pixel control section. 互いに積層された第1半導体チップと第2半導体チップとを有し、
前記画素部は前記第1半導体チップに形成され、前記画素制御部は前記第2半導体チップに形成されている、ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像素子。
comprising a first semiconductor chip and a second semiconductor chip stacked on each other,
8. The image sensor according to claim 1, wherein the pixel section is formed on the first semiconductor chip, and the pixel control section is formed on the second semiconductor chip.
請求項1乃至のいずれか1項に記載の撮像素子と、
前記撮像素子から出力された信号に基づいて撮影画像を生成する信号処理部と、
を有することを特徴とする撮像装置。
An image sensor according to any one of claims 1 to 8 ,
a signal processing unit that generates a captured image based on the signal output from the image sensor;
An imaging device comprising:
JP2019127887A 2019-07-09 2019-07-09 Image sensor and imaging device Active JP7361514B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019127887A JP7361514B2 (en) 2019-07-09 2019-07-09 Image sensor and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019127887A JP7361514B2 (en) 2019-07-09 2019-07-09 Image sensor and imaging device

Publications (2)

Publication Number Publication Date
JP2021013147A JP2021013147A (en) 2021-02-04
JP7361514B2 true JP7361514B2 (en) 2023-10-16

Family

ID=74226935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019127887A Active JP7361514B2 (en) 2019-07-09 2019-07-09 Image sensor and imaging device

Country Status (1)

Country Link
JP (1) JP7361514B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024038655A (en) * 2022-09-08 2024-03-21 キヤノン株式会社 Photoelectric conversion device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078609A (en) 2017-12-15 2018-05-17 キヤノン株式会社 Imaging element and imaging device
JP2018207536A (en) 2018-09-20 2018-12-27 株式会社ニコン Imaging device
JP2019047383A (en) 2017-09-04 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 Imaging device and solid imaging element control method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047383A (en) 2017-09-04 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 Imaging device and solid imaging element control method
JP2018078609A (en) 2017-12-15 2018-05-17 キヤノン株式会社 Imaging element and imaging device
JP2018207536A (en) 2018-09-20 2018-12-27 株式会社ニコン Imaging device

Also Published As

Publication number Publication date
JP2021013147A (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US11297269B2 (en) Image capturing apparatus
JP6264616B2 (en) Imaging device and solid-state imaging device
JP5979849B2 (en) Imaging device and imaging apparatus
JP6765860B2 (en) Image sensor, image sensor, and image signal processing method
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
US9277113B2 (en) Image pickup apparatus and driving method therefor
JP7232291B2 (en) Imaging element and imaging device
JP2022079626A (en) Imaging device and imaging apparatus
JP2008017019A (en) Solid state imaging device
US11882375B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
KR20170134692A (en) Image pickup device and image pickup device
JP2019140537A (en) Solid state imaging element, imaging apparatus, and imaging method
JP7361514B2 (en) Image sensor and imaging device
JP7339779B2 (en) Imaging device
JP7313829B2 (en) Imaging element and imaging device
JP7293002B2 (en) Imaging device
JP2017216649A (en) Imaging device, imaging apparatus and imaging signal processing method
JP2020123930A (en) Imaging device
JP7040509B2 (en) Image sensor and image sensor
JP2002320119A (en) Imaging device and method for driving the same
JP2009188650A (en) Imaging apparatus
JP6399844B2 (en) Imaging device
WO2024101034A1 (en) Auto focus control device, imaging device, auto focus control method, and program
JP7566065B2 (en) Image pickup element and image pickup device
US11528436B2 (en) Imaging apparatus and method for controlling imaging apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231003

R151 Written notification of patent or utility model registration

Ref document number: 7361514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151