WO2023047975A1 - 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム - Google Patents

光電変換装置、撮像装置、制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2023047975A1
WO2023047975A1 PCT/JP2022/033818 JP2022033818W WO2023047975A1 WO 2023047975 A1 WO2023047975 A1 WO 2023047975A1 JP 2022033818 W JP2022033818 W JP 2022033818W WO 2023047975 A1 WO2023047975 A1 WO 2023047975A1
Authority
WO
WIPO (PCT)
Prior art keywords
photoelectric conversion
measuring means
conversion device
pixels
pixel
Prior art date
Application number
PCT/JP2022/033818
Other languages
English (en)
French (fr)
Inventor
愛彦 沼田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023047975A1 publication Critical patent/WO2023047975A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present invention relates to a photoelectric conversion device, an imaging device, a control method, a computer program, and the like, which includes a photoelectric conversion unit that outputs a signal corresponding to incident photons.
  • a photoelectric conversion device that digitally counts the number of photons incident on an avalanche photodiode and outputs the counted value from a pixel as a photoelectrically converted digital signal.
  • Patent Document 1 proposes a structure in which a time counter for measuring time is provided in addition to a photon counter for counting photons.
  • the time counter measures the time from the start of photon counter measurement until the number of photons reaches a predetermined value, and calculates the pixel value from the measured time.
  • Patent Document 1 since a photon counter and a time counter are provided for each pixel, the circuit scale increases.
  • the present invention has been made in view of such problems, and it is an object of the present invention to provide a technique for suitably performing pixel readout processing while suppressing an increase in circuit scale.
  • a photoelectric conversion device for solving the above-described problems is a photoelectric conversion device having pixels provided with photoelectric conversion units that output signals in response to incident photons, wherein the signals output from the pixels are measured. and a time from when the first measuring means starts measuring the signal until the measured value of any one of the plurality of first measuring means reaches a first threshold value and second measuring means for measuring the
  • the present invention provides a technique for suitably performing pixel readout processing while suppressing an increase in circuit scale.
  • FIG. 12 is a diagram showing a hardware configuration example of a photoelectric conversion device
  • FIG. 10 is a diagram showing an example of a sensor chip of a photoelectric conversion device
  • FIG. 10 is a diagram showing an example of an equivalent circuit of a pixel and a signal processing unit in a photoelectric conversion device
  • 1 is a block diagram showing a functional configuration example of an imaging device including a photoelectric conversion device
  • FIG. FIG. 10 is a diagram showing an example of a sensor chip of a photoelectric conversion device; Flowchart for explaining an example of the operation of a photoelectric conversion device 4A and 4B illustrate an example of the operation of a photoelectric conversion device;
  • FIG. 1 is a diagram showing a configuration example of a photoelectric conversion device according to this embodiment.
  • the photoelectric conversion device 100 is configured by stacking and electrically connecting two chips, a sensor chip 11 and a circuit chip 21 .
  • Sensor chip 11 includes a pixel region 12 having a plurality of pixels.
  • the circuit chip 21 has a pixel circuit area 22 that processes signals detected by each pixel in the pixel area 12 in parallel, and a peripheral circuit area 23 that reads signals from the pixel circuit area 22 and controls the pixel circuit area 22 . including.
  • FIG. 2 is a diagram showing a configuration example of the sensor chip 11.
  • the pixel region 12 of the sensor chip 11 includes a plurality of pixels 201 arranged two-dimensionally over a plurality of rows and columns.
  • the pixel 201 includes a photoelectric conversion unit 202 including an avalanche photodiode (APD) that outputs a signal according to incident photons.
  • FIG. 2 shows 48 pixels 201 arranged in 6 rows from the 0th row to the 5th row and 8 columns from the 0th column to the 7th column together with symbols indicating row numbers and column numbers. ing.
  • the unit pixel 11 arranged in the 1st row and the 4th column is denoted by "P14".
  • the number of rows and the number of columns of the pixel array forming the pixel area 12 are not particularly limited.
  • FIG. 3 is a diagram showing a configuration example of the circuit chip 21. As shown in FIG.
  • the circuit chip 21 includes a pixel circuit area 22 and a peripheral circuit area 23 .
  • the pixel circuit region 22 includes a plurality of signal processing units 301 arranged two-dimensionally over a plurality of rows and columns and corresponding to the pixels 201 of the sensor chip.
  • 12 signal processing units 301 are arranged in three rows from the 0th row to the second row and four columns from the 0th column to the third column. is shown with
  • the signal processing unit 301 arranged in the second row and the second column is denoted by "S22".
  • the number of rows and the number of columns of the signal processing section array forming the pixel circuit region 22 are not particularly limited.
  • the signal processing unit is provided with a photon counter 403 (first measuring means) for counting the number of photons and a time counter 406 (second measuring means) for measuring time.
  • the time counter circuit 406 measures the time from when the photon counter 403 starts measuring the signal output from the pixel until the measured value (measured value) reaches the first threshold value Cx, and the measured time is used as the pixel value. output as In the photoelectric conversion device of this embodiment, a photon counter is provided for each pixel, but the time counter is shared by a plurality of pixels.
  • a set of pixels having different spectral sensitivities is regarded as one partial pixel region, and the photon counters 403a, 403b, 403c, and 403d are arranged for each pixel having different spectral sensitivities.
  • the time counter 406 is arranged for each partial pixel area.
  • the peripheral circuit region 23 includes a vertical scanning circuit 302 , a column circuit 303 , a horizontal scanning circuit 304 , a control pulse generator 305 , a signal restorer 306 and a signal output circuit 307 .
  • a vertical selection line 311VSEL extending in the first direction (horizontal direction in FIG. 3) is arranged in each row of the signal processing unit array in the pixel circuit region 22 .
  • the vertical selection lines 311VSEL are connected to the signal processing units 301 arranged in the first direction to form signal lines.
  • a first direction in which the vertical selection line 311VSEL extends is sometimes referred to as a row direction or a horizontal direction.
  • FIG. 3 shows the control line VSEL together with the code indicating the row number.
  • the control line in the first row is labeled "VSEL[1]”.
  • a vertical selection line 311 VSEL of each row is connected to the vertical scanning circuit 302 .
  • the vertical scanning circuit 302 supplies a vertical selection signal for selectively driving the signal processing section 301 to the signal processing section 301 via a vertical selection line 311VSEL.
  • the vertical selection line 311 is a vertical selection line for reading signals from the plurality of signal processing units 301 on each row and a vertical selection line for resetting the signals from the plurality of signal processing units 301 on each row. and a vertical selection line for resetting.
  • a vertical signal line 310 is arranged in each column of the signal processing unit array in the pixel circuit region 22, extending in a second direction (vertical direction in FIG. 3) intersecting the first direction.
  • the vertical signal lines 310 are connected to the signal processing units 301 arranged in the second direction and form a common signal line.
  • the second direction in which the vertical signal lines 310 extend is sometimes referred to as the column direction or the vertical direction.
  • FIG. 3 shows the vertical signal line 310 together with the code indicating the column number.
  • the signal line 310 in the third column is labeled "POUT[3]".
  • Each of the vertical signal lines 310 in each column has n signal lines for outputting an n-bit digital signal.
  • the horizontal scanning circuit 304 supplies the column circuit 303 with a horizontal selection signal for reading out signals from the column circuit 303 .
  • the horizontal scanning circuit 304 supplies a control signal to the horizontal selection circuit 303 of each column through the horizontal selection line 313HSEL.
  • the column circuit 303 that has received the control signal from the horizontal scanning circuit 304 sequentially outputs the held signals to the horizontal output circuit 307 via the signal restoration section 306 via the signal line 312HSIG.
  • FIG. 3 shows the horizontal selection line HSEL together with the code indicating the column number.
  • the horizontal selection line in the third column is labeled "HSEL[3]".
  • a control pulse generator 305 supplies a control pulse signal for controlling the operation and timing of the vertical scanning circuit 302, horizontal scanning circuit 304, and column circuit 303. At least part of the control pulse signals for controlling the operations and timings of the vertical scanning circuit 302, horizontal scanning circuit 304, and column circuit 303 may be supplied from the outside of the photoelectric conversion device.
  • the signal restoration unit 306 calculates a pixel value from the value of the time counter 406 and outputs it to the horizontal output circuit 307 .
  • a horizontal output circuit 307 outputs a signal corresponding to the pixel value restored by the signal restoration unit 306 as an output signal SOUT of the photoelectric conversion device. Note that a configuration in which the value of the time counter is output as it is, that is, a configuration in which the signal restoration unit 306 is provided outside the photoelectric conversion device may be employed.
  • FIG. 4 is an example of an equivalent circuit and block diagram of the pixel 201 in FIG. 2 and the signal processing unit 301 in FIG. FIG. 4 shows one signal processing unit 301 and four pixels 201a, 201b, 201c, and 201d corresponding thereto.
  • a set of a plurality of pixels is regarded as one partial pixel area, and the photon counters 403a, b, c, and d are arranged for each pixel, while the time counter 406 is arranged for each partial pixel area. be.
  • the symbols a, b, c, and d are assigned, and when there is no need to distinguish between them, the symbols are omitted.
  • a pixel 201 in the sensor chip 11 includes an APD 202 that is a photoelectric conversion unit.
  • a voltage VL first voltage
  • a voltage VH second voltage
  • a reverse bias voltage is supplied to the anode and cathode so that the APD 202 performs an avalanche multiplication operation. By supplying such a voltage, charges generated by the incident light undergo avalanche multiplication, generating an avalanche current.
  • the Geiger mode When a reverse bias voltage is supplied, the Geiger mode operates with the potential difference between the anode and cathode larger than the breakdown voltage, and the linear mode operates with the potential difference between the anode and cathode near or below the breakdown voltage.
  • An APD operated in Geiger mode is called a SPAD (Single Photon Avalanche Diode).
  • the voltage VL (first voltage) is -30V
  • the voltage VH (second voltage) is 1V.
  • a signal processing section 301 in the sensor chip 21 includes a quenching element 401, a waveform shaping section 402, a photon counter 403, an OR circuit 404, a determination circuit 405, a time counter 406, and a selection circuit 407.
  • the quenching element 401 is connected to a power supply that supplies voltage VH and the APD 202 .
  • the quench element 401 has a function of converting a change in avalanche current generated by the APD 202 into a voltage signal.
  • the quench element 401 functions as a load circuit (quench circuit) during signal multiplication by avalanche multiplication, suppresses the voltage supplied to the APD 202, and has a function of suppressing avalanche multiplication (quench operation).
  • the waveform shaping section 402 shapes the potential change of the cathode of the APD 202 obtained during photon detection, and outputs a pulse signal.
  • an inverter circuit or a buffer circuit is used for the waveform shaping section 402 .
  • the photon counter 403 is a photon counter that measures the number of photons that have entered the pixel, and counts the pulse signal output from the waveform shaping unit 402, for example, up to the first threshold value Cx. Also, the photon counter 403 resets the measured value when a predetermined control signal is supplied via the vertical selection line 311 .
  • the APD 202, quench element 401, waveform shaping section 402, and photon counter 403 described above are provided for each pixel.
  • one OR circuit 404, determination circuit 405, and time counter 406, which will be described below, are provided for four pixels (that is, one partial pixel region).
  • One selection circuit 407 is arranged for each photon counter 403 and one selection circuit 407 is provided for each time counter 406 .
  • the OR circuit unit 404 and the determination circuit 405 determine whether any of the four photon counters 403a, 403b, 403c, and 403d has reached a predetermined threshold (first threshold).
  • the logical sum circuit 404 is a circuit that outputs the logical sum of the most significant bits of the four photon counters 403a, 403b, 403c, and 403d.
  • a circuit that outputs "0" when "1" is "0" may be used. With such a configuration, it can be determined that any one of 403a, 403b, 403c, and 403d has reached the saturation level of the pixel.
  • the predetermined threshold By changing the bit position of the photon counter referred to by the OR circuit from the most significant bit, the predetermined threshold (first threshold) can be changed. For example, if the OR circuit 404 refers to the upper 2 bits and the decision circuit 405 decides whether the upper 2 bits are "0" or "1", then the predetermined threshold is half the saturation level. can be set to That is, the logical sum circuit 404 may be a circuit that outputs the logical sum of some bits of the photon counters provided in each pixel.
  • the time counter circuit 406 measures the time from when the photon counter 403 starts measuring until the measured value (measured value) reaches the first threshold value Cx, and outputs the measured time as a pixel value. That is, the time counter circuit 406 continues counting time from when the photon counter 403 starts counting until the determination circuit 405 outputs "1". When the determination circuit 405 outputs "1", that is, when any of the four photon counters 403a, 403b, 403c, and 403d reaches a predetermined threshold (first threshold), the time counter 406 Immediately stop counting time and retain the time measurement value at that point.
  • the output of the determination circuit 405 is also connected to four photon counters 403a, 403b, 403c, and 403d, and when the determination circuit 405 outputs "1", all four photon counters stop counting photons. and store each photon count.
  • the time counter 406 measures the time from the start of light incidence to the pixel, which is the pixel with the largest amount of incident light per unit time among the pixels 201a, 201b, 201c, and 201d, until the pixel is saturated. is measured. The shorter the time until saturation, the greater the amount of light (brighter) that enters the pixel per unit time. Brightness information of the brightest pixel among the four pixels can be obtained.
  • the measurement value of the brightest pixel always reaches a predetermined threshold value, but the other three photon counters are each at the time when the measurement value of the brightest pixel reaches a predetermined threshold value. is the photon measurement value of Therefore, from the measured value of the photon counter 403, it is possible to obtain relative brightness information of three pixels other than the brightest pixel among the four pixels with respect to the brightest pixel. Therefore, by combining the measured value of the time counter 406 and the measured value of the photon counter, it is possible to obtain the brightness information of all four pixels. Concrete pixel signal restoration processing will be described later.
  • the selection circuit 407 activates the photon counter 403, the time counter 406 and the vertical signal line in response to the vertical selection signal VSEL for reading the n-th row supplied from the vertical scanning circuit 302 of FIG. 3 via the vertical selection line 311. Switches between electrical connection and non-connection with 310 .
  • the sequentially read pixel measurement values and time measurement values are sent to the column circuit 303 via the vertical signal line 310 and output to the outside of the photoelectric conversion device 100 via the signal restoration section 306 and the output circuit 307 .
  • the photon counter 403 and the time counter 406 are reset supplied via the vertical selection line 311. Reset by signal.
  • the photon counter 403 and the time counter 406 resume counting at the next image acquisition timing.
  • the photon measurement value of the brightest pixel should always match a predetermined threshold, so instead of the photon measurement value of the brightest pixel, the time measurement value may be read.
  • the time measurement value may be read.
  • it has a circuit that determines which of the pixels has reached a predetermined threshold, and a switch that allows the output of the time counter to be connected to one of the four photon counter outputs. configuration. Then, when a control signal for reading the photon measurement value of the brightest pixel is received by the vertical selection signal VSEL, the time measurement value may be read. With such a configuration, it is possible to reduce the amount of signals to be read, and to reduce power consumption.
  • a flag signal for identifying a pixel that has reached a predetermined threshold among the four pixels, a time measurement value of a pixel that has reached the predetermined threshold, and a photon measurement value for three pixels that have not reached the predetermined threshold are They may be collectively output to one signal line using a multiplexer circuit or the like.
  • the signal restoration unit 306 restores the time measurement value counted by the time counter 406 and the photon measurement value counted by the photon counter 403 into a pixel signal representing brightness information of the object.
  • the time measurement value is T0
  • the photon measurement values of the four pixels 201a, 201b, 201c, and 201d are P1, P2, P3, and P4, respectively
  • Claim 9 Output the photon measurement value after a certain period of time: Claim 9> Note that if the output value of the OR circuit does not become "1" even after a predetermined time elapses, the determination circuit unit 405 determines whether the time counter 405 is detected even if the measured value of the photon counter 403 has not reached a predetermined threshold value. 406 may be stopped and the photon measurement value at that time may be output. With such a configuration, it is possible to solve the problem that the frame rate becomes slow when the brightness of the subject is very low.
  • the predetermined time is preferably set to the maximum value of the time count, for example.
  • ⁇ Spectral sensitivity, Bayer array> 3 and 4 show examples in which one signal processing unit 301 is connected to four pixels 201, but the number of pixels connected to one signal processing unit 301 is two. If it is the above, a circuit scale can be reduced. Specifically, the photon counter may be shared by each pixel, and the time counter may be shared by a plurality of pixels.
  • each pixel 201 may have an on-chip color filter and be configured to be able to acquire spectral information.
  • FIG. 5 is a block diagram of an imaging device 500 using the photoelectric conversion device 100. As shown in FIG. 5
  • the imaging device 500 is, for example, a digital camera, and is an imaging device including the photoelectric conversion device 100.
  • the imaging device 500 includes a lens 501, an image processing unit 502, an optical control unit 503, a storage unit 504, and a wireless I/F (interface) as a communication unit. ) section 505 .
  • a lens 501 forms an optical image of a subject, causes the formed optical image to enter the imaging surface of the photoelectric conversion device 100, and includes a focus lens, a zoom lens, an aperture, and the like.
  • the photoelectric conversion device 100 picks up an optical image formed by the lens 501 .
  • a signal read from the photoelectric conversion device 100 is output to the image processing unit 502 .
  • the image processing unit 502 performs processing such as signal rearrangement, defective pixel correction, noise reduction, color conversion, white balance correction, gamma correction, and data compression on the signals output from the photoelectric conversion device 100 to obtain an image.
  • the image processing unit 502 has a built-in CPU as a computer, and functions as control means for controlling the operation of each unit of the entire imaging apparatus 500 based on a computer program stored in a memory as a storage medium.
  • An optical control unit 503 controls a focus lens, a zoom lens, an aperture, and the like provided in the lens 501 .
  • a recording medium (not shown) is attached to the recording unit 504, and video output from the image processing unit is stored in the recording medium.
  • a memory card or the like is used as such a recording medium.
  • a hard disk or the like may be used as the recording medium.
  • a wireless I/F (Interface) unit 505 as a communication unit outputs an image signal generated by the image processing unit 502 to the outside of the imaging apparatus 500 .
  • a network 506 is composed of, for example, a plurality of routers, switches, cables, etc. that satisfy a communication standard such as Ethernet (registered trademark).
  • a photoelectric conversion device 200 according to the second embodiment shown in FIG. 6 differs from the first photoelectric conversion device 100 according to the first embodiment only in the configuration of a photon counter 403 .
  • the photon counter 403 in addition to the photon counter 403 connected to each pixel, it has a photon counter 413 (third measuring means) and a measured value comparison circuit 414 shared between pixels.
  • the measured value comparison circuit 414 checks the measured values of the four photon counters 403a, 403b, 403c, and 403d, changes the connection destination of the shared counter 403, and allocates a larger number of bits to the photon counters that are likely to saturate. of pixels can be delayed.
  • the SN ratio of the pixel signal is improved, the difference in the accumulation time between pixels is reduced, thereby suppressing motion artifacts, and the effective lengthening of the accumulation time makes it possible to reduce the influence of flicker. Explanation is given below.
  • FIG. 7 is a flowchart for explaining the operation of changing the number of bits assigned to the shared counter 413, which is executed by the photoelectric conversion device 200 of the second embodiment.
  • notation of each process (step) is omitted by adding S to the beginning of each process (step).
  • a shared counter 413 that counts photons for multiple pixels is initially connected to one of the multiple pixels.
  • the allocation of shared counters at this time is arbitrary. For example, when the shared counter is 4 bits, 1 bit may be assigned to each of the photon counters of 4 pixels, or all 4 bits may be assigned to the photon counter of one pixel, or all shared counters may be assigned to all of them. It may be connected. Then, in S701, the shared counter 413 starts counting photons incident on each pixel.
  • the shared counter 413 determines whether it is the comparison timing for allocating the number of bits to a plurality of pixels. Whether or not it is the comparison timing may be determined based on the time elapsed after the start of counting photons (for example, whether or not the second predetermined time has elapsed), or when the measured value of photons is equal to or greater than a certain value. A comparison may be made if . For example, the high-order 2 bits of each photon counter may be monitored, and the time when any pixel reaches "0" or "1" may be regarded as the comparison timing.
  • the shared counter 413 compares the measured values of the four photon counters 403a, 403b, 403c, and 403d. Then, based on the comparison result in S703, the shared counter 413 changes the connection destination of the shared counter 713 in S704. Specifically, among the photon counters of the four pixels, the number of bits is preferentially assigned to a pixel that is likely to be saturated, that is, a pixel with a large measured value.
  • the photon measurement values of the four pixels are respectively P1, P2, P3, and P4
  • the number of bits of each photon counter is M
  • the number of bits of the shared counter is N ⁇ 4
  • the number of bits assigned to each pixel is N1.
  • N2, N3, and N4 may be determined by the following equation (1).
  • i is an arbitrary value from 1 to 4
  • j is a value other than i
  • the assignment of the number of bits is determined so that this formula holds for all combinations of i and j.
  • the numerator of each term in equation (1) is the number of saturation bits after allocation change, and the denominator is the photon measurement value at the comparison timing. means.
  • equation (1) means that the number of bits assigned to the shared counter is determined so that the difference in the time until saturation of each pixel is minimized.
  • the SN ratio of the pixel signal is improved, the difference in the accumulation time between pixels is reduced, thereby suppressing motion artifacts, and the effective lengthening of the accumulation time makes it possible to reduce the influence of flicker.
  • the formula (1) it is most preferable to satisfy the formula (1), it is not necessary to satisfy the formula, and the number of bits may be assigned so that the difference in the time until saturation is small.
  • FIG. 8 is an image diagram of bit number allocation. Pixels with a large number of photon count values per unit time are preferentially assigned bits for the shared counter.
  • the shared counter 413 determines whether any of the four photon counters after changing the connection destination of the shared counter has reached a predetermined threshold. When any one of the four photon counters reaches a predetermined threshold in S706, the time counter 406 stops counting time and outputs the photon measurement value and the time measurement value.
  • imaging devices include digital movie cameras, smartphones with cameras, tablet computers with cameras, in-vehicle cameras, drone cameras, cameras mounted on robots, and electronic devices with imaging functions such as network cameras.
  • a computer program that implements the functions of the above-described embodiments for part or all of the control in the present embodiment may be supplied to a photoelectric conversion device, an imaging device, or the like via a network or various storage media. . Then, the computer (or CPU, MPU, etc.) in the photoelectric conversion device, imaging device, or the like may read and execute the program. In that case, the program and the storage medium storing the program constitute the present invention.

Abstract

回路規模の増大を抑制しつつ好適に画素読出処理を行う技術を提供する。

Description

光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
　本発明は、入射した光子に応じた信号を出力する光電変換部を備えた光電変換装置、撮像装置、制御方法、及びコンピュータプログラム等に関する。
　近年、アバランシェフォトダイオードに入射する光子（フォトン）の数をデジタル的に計数し、その計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。
　特許文献１では、光子を数える光子カウンターに加え、時間を計測する時間カウンターを設けた構造が提案されている。時間カウンターは、光子カウンターの計測を開始してから、光子の数を所定の値になるまで時間を計測し、計測した時間から画素値を算出する。
　しかしながら特許文献１では、１画素毎に光子カウンターと時間カウンターを設けているために、回路規模が増大してしまう。
　本発明は、このような問題に鑑みてなされたものであり、回路規模の増大を抑制しつつ好適に画素読出処理を行う技術を提供することを目的としている。
米国特許公開２０１５／０１６３４２９明細書
　上記課題を解決する本発明にかかる光電変換装置は、入射した光子に応じて信号を出力する光電変換部を備えた画素を有する光電変換装置であって、前記画素から出力された前記信号を計測する第１の計測手段と、前記第１の計測手段が前記信号の計測を開始してから、複数の前記第１の計測手段のうちいずれかの計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、を有する。
　本発明は、回路規模の増大を抑制しつつ好適に画素読出処理を行う技術を提供する。
光電変換装置のハードウェア構成例を示す図 光電変換装置のセンサチップの一例を示す図 光電変換装置の回路チップの一例を示す図 光電変換装置における画素及び信号処理部の等価回路及びの一例を示す図 光電変換装置を含む撮像装置の機能構成例を示すブロック図 光電変換装置のセンサチップの一例を示す図 光電変換装置の動作の一例を説明するフローチャート 光電変換装置の動作の一例を説明する図
　以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
　＜実施形態１：基本形＞
　図１は、本実施形態の光電変換装置の構成例を示す図である。光電変換装置１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、複数の画素を有する画素領域１２を含む。回路チップ２１は、画素領域１２の各画素で検出された信号をそれぞれ並列に処理する画素回路領域２２と、画素回路領域２２から信号の読み出しや画素回路領域の２２の制御を行う周辺回路領域２３を含む。
　＜画素基板＞
　図２は、センサチップ１１の構成例を示す図である。センサチップ１１の画素領域１２は、複数行及び列方向に渡って二次元状に複数配置された画素２０１を含む。画素２０１は、入射した光子に応じて信号を出力するアバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部２０２を備える。図２には、第０行から第５行までの６行と、第０列から第７列までの８列に配された４８個の画素２０１を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された単位画素１１には、「Ｐ１４」の符号を付している。なお、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。
　＜回路基板＞
　図３は、回路チップ２１の構成例を示す図である。回路チップ２１は、画素回路領域２２と周辺回路領域２３とを含む。
　＜画素回路領域＞
　画素回路領域２２は、複数行及び列方向に渡って二次元状に複数配置され、センサチップの画素２０１に対応した、信号処理部３０１を含む。図３には、第０行から第２行までの３行と、第０列から第３列までの４列に配された１２個の信号処理部３０１を、行番号及び列番号を示す符号とともに示している。例えば、第２行、第２列に配された信号処理部３０１には、「Ｓ２２」の符号を付している。なお、画素回路領域２２を成す信号処理部アレイの行数及び列数は、特に限定されるものではない。信号処理部には、光子の数を数える光子カウンター４０３（第１の計測手段）と、時間を計測する時間カウンター４０６（第２の計測手段）が設けられている。時間カウンター回路４０６は、光子カウンター４０３が画素から出力された信号の計測を開始してから計測値（計測値）が第１の閾値Ｃｘに達するまでの時間を計測し、計測した時間を画素値として出力する。本実施形態における光電変換装置では、光子カウンターは画素毎に設けるものの、時間カウンターは複数画素で共有する構成となっている。すなわち、画素領域１２のうち、異なる分光感度を有する複数の画素の集合を１つの部分画素領域とみなし、光子カウンター４０３ａ、ｂ、ｃ、ｄは分光感度が異なる各画素に対して配置されるのに対して時間カウンター４０６は部分画素領域毎に配置される。このような構成とすることで、回路規模を削減することができる。詳細については後述する。
　＜周辺回路領域＞
　周辺回路領域２３は、垂直走査回路３０２と、列回路３０３と、水平走査回路３０４と、制御パルス生成部３０５と、信号復元部３０６と、信号出力回路３０７と、を含む。画素回路領域２２の信号処理部アレイの各行には、第１の方向（図３において横方向）に延在して、垂直選択線３１１ＶＳＥＬが配されている。垂直選択線３１１ＶＳＥＬは、第１の方向に並ぶ信号処理部３０１にそれぞれ接続され、信号線を成している。垂直選択線３１１ＶＳＥＬの延在する第１の方向は、行方向或いは水平方向と表記することがある。なお、図３には、制御線ＶＳＥＬを、行番号を示す符号とともに表している。例えば、第１行の制御線には、「ＶＳＥＬ［１］」の符号を付している。各行の垂直選択線３１１ＶＳＥＬは、垂直走査回路３０２に接続されている。垂直走査回路３０２は、信号処理部３０１を選択的に駆動するための垂直選択信号を、垂直選択線３１１ＶＳＥＬを介して信号処理部３０１に供給する。尚、本実施例実施形態では、垂直選択線３１１は各行の複数の信号処理部３０１の信号を読出すための読出し用の垂直選択線と各行の複数の信号処理部３０１の信号をリセットするためのリセット用の垂直選択線とに分かれている。
　画素回路領域２２の信号処理部アレイの各列には、第１の方向と交差する第２の方向（図３において縦方向）に延在して、垂直信号線３１０が配されている。垂直信号線３１０は、第２の方向に並ぶ信号処理部３０１にそれぞれ接続され、共通の信号線を成している。垂直信号線３１０の延在する第２の方向は、列方向或いは垂直方向と表記することがある。なお、図３には、垂直信号線３１０を、列番号を示す符号とともに表している。例えば、第３列の信号線３１０には、「ＰＯＵＴ［３］」の符号を付している。各列の垂直信号線３１０の各々は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。
　水平走査回路３０４は、列回路３０３から信号を読み出すための水平選択信号を列回路３０３に供給する。水平走査回路３０４は、各列の水平選択回路３０３に、水平選択線３１３ＨＳＥＬを介して制御信号を供給する。水平走査回路３０４から制御信号を受信した列回路３０３は、保持している信号を、信号線３１２ＨＳＩＧを介し、信号復元部３０６を介し、水平出力回路３０７に順次出力する。なお、図３には、水平選択線ＨＳＥＬを、列番号を示す符号とともに表している。例えば、第３列の水平選択線には、「ＨＳＥＬ［３］」の符号を付している。
　制御パルス生成部３０５は、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそのタイミングを制御する制御パルス信号を供給する。なお、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそのタイミングを制御する制御パルス信号の少なくとも一部は、光電変換装置の外部から供給してもよい。信号復元部３０６は、時間カウンター４０６の値から、画素値を算出し、水平出力回路３０７に出力する。水平出力回路３０７は、信号復元部３０６で復元された画素値に応じた信号を光電変換装置の出力信号ＳＯＵＴとして出力する。なお、時間カウンターの値をそのまま出力する構成、すなわち、信号復元部３０６は光電変換装置の外部に設ける構成としてもよい。
　＜画素回路＞
　図４は、図２の画素２０１及び図３の信号処理部３０１の等価回路及びブロック図の一例である。図４には、１つの信号処理部３０１と、それに対応する４つの画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄを示している。ここでは、複数の画素の集合を１つの部分画素領域とみなし、光子カウンター４０３ａ、ｂ、ｃ、ｄは各画素に対して配置されるのに対して時間カウンター４０６は部分画素領域毎に配置される。なお、以下では４つの画素を区別する必要があるときにはａ、ｂ、ｃ、ｄの符号を付与し、区別する必要がない場合は符号を省略する。
　センサチップ１１における画素２０１は、光電変換部であるＡＰＤ２０２を含む。ＡＰＤ２０２に光が入射されると、光電変換により入射光に応じた電荷対が生成される。ＡＰＤ２０２のアノードには、電圧ＶＬ（第１電圧）が供給される。また、ＡＰＤ２０２のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）がスイッチ素子４０８を介して供給される。アノードとカソードには、ＡＰＤ２０２がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
　逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）と呼ぶ。例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。
　センサチップ２１における信号処理部３０１は、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３、論理和回路４０４、判定回路４０５、時間カウンター４０６、選択回路４０７を含む。
　クエンチ素子４０１は、電圧ＶＨを供給する電源とＡＰＤ２０２に接続される。クエンチ素子４０１は、ＡＰＤ２０２で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子４０１は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０２に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。
　波形整形部４０２は、光子検出時に得られるＡＰＤ２０２のカソードの電位変化を整形して、パルス信号を出力する。波形整形部４０２は、例えば、インバータ回路やバッファ回路が用いられる。
　光子カウンター４０３は、画素に入射した光子の数を計測する光子カウンターであり、波形整形部４０２から出力された、パルス信号を例えば第１の閾値Ｃｘまでカウントする。また、光子カウンター４０３は、垂直選択線３１１を介して所定の制御信号が供給されたとき、計測値をリセットする。
　以上で説明した、ＡＰＤ２０２、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３は各々の画素毎に設けられている。一方で、以下で説明する、論理和回路４０４、判定回路４０５、時間カウンター４０６は４つの画素（すなわち、１つの部分画素領域）に対して１つ設けられている。また、選択回路４０７は、各々の光子カウンター４０３に対しては１つずつ配置され、時間カウンター４０６に対して１つ設けられている。
　論理和回路部４０４および判定回路４０５は、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかが所定の閾値（第１の閾値）に達したかどうかを判定する。例えば、論理和回路４０４を、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄの最上位ビットの論理和を出力する回路とし、判定回路４０５を、論理和回路４０４の出力値が「１」の時に「１」を、「０」の時に「０」を出力する回路とすればよい。このような構成とすることで、４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかが、画素の飽和レベルに達したことを判定することができる。
　なお、論理和回路が参照する光子カウンターのビット位置を最上位ビットから変更することで、所定の閾値（第１の閾値）を変更することができる。例えば、論理和回路４０４で上位２ビットを参照し、判定回路４０５で上位２ビットが「０」「１」になったことかどうかを判定する回路とすれば、所定の閾値を飽和レベルの半分に設定することができる。即ち、論理和回路４０４は、各々の画素に設けられた光子カウンターのうちの、一部のビットの論理和を出力する回路であればよい。
　時間カウンター回路４０６は、光子カウンター４０３が計測を開始してから計測値（計測値）が第１の閾値Ｃｘに達するまでの時間を計測し、計測した時間を画素値として出力する。即ち、時間カウンター回路４０６は、光子カウンター４０３が計測を開始してから判定回路４０５が「１」を出力するまで時間のカウントを継続する。そして、判定回路４０５が「１」を出力した時点、すなわち、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかが所定の閾値（第１の閾値）に達した時点で、時間カウンター４０６は直ちに時間のカウントを停止し、その時点での時間計測値を保持する。また、判定回路４０５の出力は４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄにも接続されており、判定回路４０５が「１」を出力した時点で、４つの光子カウンター全てにおいて、光子カウントを停止し、各々の光子計測値を保持する。
　＜効果の説明＞
　時間カウンター４０６は、画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄのうち、最も単位時間当たりに入射する光の量が多い画素において、画素への光の入射を開始してから、画素が飽和するまでの時間を計測していることになる。飽和するまでの時間が短いほど、画素に単位時間当たりに入射する光の量が多い（明るい）ことを意味するため、飽和するまでの時間を計測することで、時間カウンター４０６の計測値から、４つの画素のうち、最も明るい画素の明るさ情報を取得することができる。
　４つの光子カウンターのうち、最も明るい画素の計測値は、必ず所定の閾値であるが、それ以外の３つの光子カウンターは、最も明るい画素の計測値が所定の閾値に達した時点での、各々の光子計測値である。そのため、光子カウンター４０３の計測値から、４つの画素のうち、最も明るい画素以外の３つの画素の、最も明るい画素に対する相対的な明るさ情報を取得することができる。従って、時間カウンター４０６の計測値と、光子カウンターの計測値を組み合わせることで、４つの画素の明るさ情報をすべて取得することができる。具体的な画素信号の復元処理については後述する。
　＜選択回路＞
　選択回路４０７は、図３の垂直走査回路３０２から垂直選択線３１１を介して供給される、ｎ番目の行を読出すための垂直選択信号ＶＳＥＬにより、光子カウンター４０３、時間カウンター４０６と垂直信号線３１０との電気的な接続、非接続を切り替える。順次読みだされた画素計測値、時間計測値は垂直信号線３１０を介して列回路３０３に送られて、信号復元部３０６、出力回路３０７を経て光電変換装置１００の外部に出力される。垂直選択線３１１から供給される読出し用の選択信号により、選択回路４０７で画素計測値、時間計測値を読み出した後、光子カウンター４０３、時間カウンター４０６は垂直選択線３１１を介して供給されるリセット信号によりリセットされる。光子カウンター４０３、時間カウンター４０６は、次に画像を取得するタイミングで、再度各々のカウントを再開する。
　＜変形例１＞
　なお、図４では各列の光子カウンター用の信号線３１０のほかに時間カウンター用の信号線３１０を別に設ける構成としたが、別の構成としてもよい。
　例えば、４つの画素のうち、最も明るい画素の光子計測値は必ず所定の閾値に一致するはずなので、最も明るい画素の光子計測値の代わりに、時間計測値を読みだしてもよい。具体的には、各々の画素のうち、どの画素が所定の閾値に達したかを判定する回路と、時間カウンターの出力を４つの光子カウンターの出力部のいずれかに接続できるようなスイッチを有す構成すればよい。そして、垂直選択信号ＶＳＥＬにより、最も明るい画素の光子計測値を読み出す制御信号が来た場合に時間計測値を読み出せばよい。このような構成とすることで、読みだす信号量を減少させることができ、消費電力を低減させることができる。
　また、４つの画素のうち所定の閾値に達した画素を識別するためのフラグ信号、所定の閾値に達した画素の時間計測値、所定の閾値に達しなかった３画素分の光子計測値を、マルチプレクサ回路などを用いて１つの信号線にまとめて出力してもよい。
　＜信号復元部＞
　信号復元部３０６は、時間カウンター４０６でカウントした時間計測値および、光子カウンター４０３でカウントした光子計測値を、被写体の明るさ情報を表す画素信号に復元する。時間計測値をＴ０、４つの画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄの光子計測値を各々、Ｐ１、Ｐ２、Ｐ３、Ｐ４とした時、各々の画素信号値Ｃ１、Ｃ２、Ｃ３、Ｃ４は以下の式で求めることができる。
　Ｃ１＝Ｋ×Ｐ１／Ｔ０、Ｃ２＝Ｋ×Ｐ２／Ｔ０
　Ｃ３＝Ｋ×Ｐ３／Ｔ０、Ｃ４＝Ｋ×Ｐ４／Ｔ０
　Ｋは自然数であり、Ｃ１、Ｃ２、Ｃ３、Ｃ４が１ＬＳＢ未満にならないような値に決定すると好ましい。具体的には、Ｋ＝時間計測値の最大値、とすればよい。
　＜一定時間後に光子計測値を出力：請求項９＞
　なお、判定回路部４０５は、論理和回路の出力値が所定の時間経過しても「１」にならない場合には、光子カウンター４０３の計測値が所定の閾値に達していない場合でも、時間カウンター４０６を止めて、その時点での光子計測値を出力する構成としてもよい。このような構成とすることで、被写体の明るさが非常に暗い場合に、フレームレートが遅くなってしまう、という課題を解決することができる。所定の時間は、例えば、時間カウントの最大値に設定すると好ましい。
　＜分光感度、ベイヤー配列＞
　図３、図４の例では、４つの画素２０１に対して、１つの信号処理部３０１が接続されている例を示したが、１つの信号処理部３０１に対して接続される画素数が２以上であれば、回路規模を削減することができる。具体的には、光子カウンターは画素毎に、時間カウンターは複数画素で共有する構成となっていればよい。
　なお、各々の画素２０１がオンチップカラーフィルタを有しており、分光情報を取得可能に構成されていてもよい。例えばベイヤー配列のカラーフィルタを想定した場合、２ｘ２の４画素に対して１つの信号処理部３０１を設ける構成とすることで、ベイヤー画素単位での明るさ情報取得が可能となるため、好ましい。すなわち、時間カウンターを共有する画素間の少なくとも一部で、分光感度が異なっていると好ましい。例えば、白画素、赤画素、緑画素、青画素の少なくともいずれか２つを有しており、この４画素で時間カウンターを共有していればよい。
　＜撮像装置＞
　図５は、光電変換装置１００を用いた撮像装置５００のブロック図である。
　撮像装置５００は、例えばデジタルカメラであり、光電変換装置１００を含む撮像装置であり、レンズ５０１、画像処理部５０２、光学制御部５０３、記憶部５０４、通信部としての無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５を含む。
　レンズ５０１は被写体の光学像を形成し、形成した光学像を光電変換装置１００の撮像面に入射し、フォーカスレンズ、ズームレンズ、及び、絞り等が備えられている。光電変換装置１００では、レンズ５０１によって形成される光学像を撮像する。光電変換装置１００から読みだした信号は、画像処理部５０２に出力する。画像処理部５０２は、光電変換装置１００から出力される信号に対して信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、データ圧縮等の処理をし、画像を生成する。尚、画像処理部５０２にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき撮像装置５００全体の各部の動作を制御する制御手段として機能する。光学制御部５０３は、レンズ５０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。記録部５０４には、不図示の記録媒体が装着され、画像処理部から出力する映像を記憶媒体に保存する。かかる記録媒体としては、例えば、メモリカード等が用いられる。なお、記録媒体として、ハードディスク等が用いられてもよい。通信部としての無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５は、画像処理部５０２で生成した画像信号を撮像装置５００の外部に出力する。５０６はネットワークであり、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成され、クライアントが、ネットワーク５０６を介して撮像装置５００を制御する。
　＜実施形態２：上位ビット共有＞
　図６に示す実施形態２の光電変換装置２００は、実施形態１に示す第１の光電変換装置１００に対して、光子カウンター４０３の構成のみが異なる。具体的には、各々の画素に接続された光子カウンター４０３に加えて、画素間で共有の光子カウンター４１３（第３の計測手段）および、計測値比較回路４１４を有している。計測値比較回路４１４は、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄの計測値を見て、共有カウンター４０３の接続先を変更し、飽和しそうな光子カウンターにビット数を多く割り当てることで、すべての画素の飽和を遅らせることができる。その結果、画素信号のＳＮ比が向上したり、画素間での蓄積時間の相違が減少することでモーションアーティファクトを抑制できたり、蓄積時間が実効的に長くなることでフリッカの影響を低減できる。以下で説明を行う。
　図７は、実施形態２の光電変換装置２００が実行する、共有カウンター４１３のビット数割り当ての変更動作を説明するフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ７００において、複数の画素について光子の計測を行う共有カウンター４１３が、複数の画素のいずれかに初期接続される。この時の共有カウンターの割り当ては任意である。例えば、共有カウンターが４ビットである場合、４画素各々の光子カウンターに１ビットずつ割り当ててもよいし、１つの画素の光子カウンターに４ビットすべてを割り当ててもよいし、すべての共有カウンターを未接続としてもよい。そして、Ｓ７０１において、共有カウンター４１３は、各々の画素に入射する光子のカウントを開始する。
　Ｓ７０２では、共有カウンター４１３は、複数の画素に対してビット数割り当てを行う比較タイミングであるかの判定を行う。比較タイミングであるかどうかは、光子のカウントを開始してから経過した時間（例えば、第２の所定時間が経過したか否か）で判定してもよいし、光子の計測値が一定値以上である場合に比較を行ってもよい。例えば、各々の光子カウンターの上位２ビットを監視し、いずれかの画素が「０」「１」に到達した時点を、比較タイミングであるとすればよい。
　Ｓ７０３では、共有カウンター４１３は、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄの計測値の比較を行う。そして、Ｓ７０３での比較結果に基づいて、共有カウンター４１３は、Ｓ７０４で共有カウンター７１３の接続先を変更する。具体的には、４つの画素の光子カウンターのうち、飽和しそうな画素、すなわち計測値の大きい画素に優先的にビット数を割り当てる。４つの画素の光子計測値を各々、Ｐ１、Ｐ２、Ｐ３、Ｐ４、各々の光子カウンターのビット数をＭ、共有カウンターのビット数をＮ×４としたとき、各々の画素へのビット数割り当てＮ１、Ｎ２、Ｎ３、Ｎ４は以下の式（１）で決定すればよい。
Figure JPOXMLDOC01-appb-M000001
　ｉは１～４のうちの任意の値、ｊはｉ以外の値であり、この式がすべてのｉ、ｊの組み合わせに対して成立するようにビット数の割り当てを決める。式（１）の各々の項の分子は割り当て変更後の飽和ビット数、分母は比較タイミングでの光子計測値であるため、式（１）の各々の項は、画素が飽和するまでの時間を意味している。
　即ち、式（１）は、各々の画素が飽和までの時間の差異が最も少なくなるように、共有カウンターのビット数割り当てを決めることを意味している。その結果、画素信号のＳＮ比が向上したり、画素間での蓄積時間の相違が減少することでモーションアーティファクトを抑制できたり、蓄積時間が実効的に長くなることでフリッカの影響を低減できる。式（１）を満たすことが最も好ましいが、必ずしも満たす必要はなく、飽和するまでの時間の差異が小さくなるようにビット数割り当てを行えばよい。図８は、ビット数割り当てのイメージ図である。単位時間当たりの光子計測値が多い画素に、優先的に共有カウンターのビット割り当てを行っている。
　Ｓ７０５では、共有カウンター４１３は、共有カウンターの接続先変更後の、４つの光子カウンターのいずれかが所定の閾値に達したかどうかを判定する。そして、Ｓ７０６で４つの光子カウンターのいずれかが所定の閾値に達した時点で、時間カウンター４０６は、時間のカウントを停止し、光子の計測値および時間の計測値を出力する。
　＜その他の実施形態＞
　尚、実施形態においては、撮像装置として例えばデジタルカメラに適用した例について説明した。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
　尚、本実施例実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置や撮像装置等に供給するようにしてもよい。そしてその光電変換装置や撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年９月２４日提出の日本国特許出願特願２０２１－１５５３７８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (15)

  1. 　光子の入射に応じて信号を出力する光電変換部を備えた画素を有する光電変換装置であって、
    　前記画素から出力された前記信号を計測する第１の計測手段と、
    　前記第１の計測手段が前記信号の計測を開始してから、複数の前記画素それぞれに対応する前記第１の計測手段のうちいずれかの計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、を有することを特徴とする光電変換装置。
  2. 　複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値のうち、少なくとも一部の計測値が前記第１の閾値を超えたか否かを判定する判定手段を更に有し、
    　前記第２の計測手段は、前記判定手段によって、複数の前記第１の計測手段のうちいずれかの計測値が前記第１の閾値を超えたことが判定された場合に、時間の計測値を出力することを特徴とする、請求項１に記載の光電変換装置。
  3. 　前記判定手段は、複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値のうち、最大値である計測値が前記第１の閾値を超えたか否かを判定することを特徴とする請求項２に記載の光電変換装置。
  4. 　前記第１の計測手段の計測値または前記第２の計測手段の計測値を出力する出力手段を更に有することを特徴とする請求項１に記載の光電変換装置。
  5. 　前記出力手段は、複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値のうち、前記第１の閾値に達した前記第１の計測手段を除く前記第１の計測手段の計測値と、前記第２の計測手段の計測値と、を出力することを特徴とする請求項４に記載の光電変換装置。
  6. 　前記出力手段は、複数の前記画素から成る部分画素領域に含まれる前記第１の計測手段の計測値と、前記第２の計測手段による計測値と、を１つの信号にまとめて出力することを特徴とする請求項４に記載の光電変換装置。
  7. 　前記第２の計測手段は、分光感度が互いに異なる複数の前記画素から成る部分画素領域毎に配置され、
    　前記第１の計測手段は、前記部分画素領域を構成する複数の前記画素のそれぞれに配置されることを特徴とする請求項１に記載の光電変換装置。
  8. 　それぞれの前記画素に対応する前記第１の計測手段による計測値または、前記第２の計測手段の時間の計測値に基づいて画素信号を復元する信号復元手段を更に有することを特徴とする請求項１に記載の光電変換装置。
  9. 　部分画素領域に含まれる複数の前記画素のいずれかから出力された前記信号を計数する第３の計測手段を更に有し、
    　前記第３の計測手段は、複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値に基づいて、計測対象となる前記画素を決定することを特徴とする請求項１に記載の光電変換装置。
  10. 　前記第３の計測手段は、所定の期間ごとに、計測対象となる前記画素を変更することを特徴とする請求項９に記載の光電変換装置。
  11. 　前記第３の計測手段は、複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値が一定値以上になったときに、計測対象となる前記画素を変更することを特徴とする、請求項９に記載の光電変換装置。
  12. 　前記光電変換部は、光子の入射を検出するアバランシェフォトダイオードを有することを特徴とする請求項１に記載の光電変換装置。
  13. 　請求項１乃至１２のいずれか１項に記載の光電変換装置を有することを特徴とする撮像装置。
  14. 　光子の入射に応じて信号を出力する光電変換部を備えた画素と、前記画素から出力された前記信号を計測する第１の計測手段と、前記第１の計測手段が前記信号の計測を開始してから前記第１の計測手段の計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、を有する光電変換装置を制御する制御方法であって、
    　複数の前記第１の計測手段のうち、いずれかの計測値が第１の閾値に達したことを判定する判定工程、を有することを特徴とする制御方法。
  15. 　請求項１乃至１２のいずれか１項に記載の光電変換装置又は請求項１３に記載の撮像装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
PCT/JP2022/033818 2021-09-24 2022-09-09 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム WO2023047975A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021155378A JP2023046662A (ja) 2021-09-24 2021-09-24 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2021-155378 2021-09-24

Publications (1)

Publication Number Publication Date
WO2023047975A1 true WO2023047975A1 (ja) 2023-03-30

Family

ID=85720576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033818 WO2023047975A1 (ja) 2021-09-24 2022-09-09 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2023046662A (ja)
WO (1) WO2023047975A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201155A (ja) * 2017-05-29 2018-12-20 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2020127123A (ja) * 2019-02-04 2020-08-20 キヤノン株式会社 撮像装置およびその制御方法
WO2020179928A1 (ja) * 2019-03-07 2020-09-10 ソニーセミコンダクタソリューションズ株式会社 受光装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201155A (ja) * 2017-05-29 2018-12-20 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2020127123A (ja) * 2019-02-04 2020-08-20 キヤノン株式会社 撮像装置およびその制御方法
WO2020179928A1 (ja) * 2019-03-07 2020-09-10 ソニーセミコンダクタソリューションズ株式会社 受光装置

Also Published As

Publication number Publication date
JP2023046662A (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
TW201911857A (zh) 光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法
US20100277607A1 (en) Image sensor with high dynamic range imaging and integrated motion detection
US20160191830A1 (en) Image pickup device and camera system
US10212378B2 (en) Image capturing apparatus
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
US20120194720A1 (en) Systems and methods for binning pixels
RU2010136266A (ru) Устройство формирования изображения и система камеры
CA2812737A1 (en) Image processing device, imaging device, image processing method, and program
US10834349B2 (en) Solid-state image sensor, image capturing apparatus and image capturing method
JP2011513702A (ja) Ｘ線検出器における直接検出現象の抑制
JP7130384B2 (ja) 固体撮像素子、撮像装置及び撮像方法
US20200358972A1 (en) Solid state image sensor, image capturing apparatus, and image capturing method
JP2018201155A (ja) 固体撮像素子、撮像装置及び撮像方法
US20140218577A1 (en) Solid-state imaging device and camera module
US11172151B2 (en) Image capture apparatus and method for controlling the same
JP7339779B2 (ja) 撮像装置
WO2023047975A1 (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP7116620B2 (ja) 撮像素子及び撮像装置
JP2023046661A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023046664A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP7361514B2 (ja) 撮像素子および撮像装置
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
JP2023046663A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
US11917290B2 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium
JP2023046660A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872730

Country of ref document: EP

Kind code of ref document: A1