WO2023119934A1 - 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム - Google Patents

閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム Download PDF

Info

Publication number
WO2023119934A1
WO2023119934A1 PCT/JP2022/041948 JP2022041948W WO2023119934A1 WO 2023119934 A1 WO2023119934 A1 WO 2023119934A1 JP 2022041948 W JP2022041948 W JP 2022041948W WO 2023119934 A1 WO2023119934 A1 WO 2023119934A1
Authority
WO
WIPO (PCT)
Prior art keywords
photons
probability
distribution
probability distribution
pixels
Prior art date
Application number
PCT/JP2022/041948
Other languages
English (en)
French (fr)
Inventor
貴文 樋口
勝大 中本
輝雄 高橋
真央 中島
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to CN202280085067.2A priority Critical patent/CN118435619A/zh
Priority to JP2023569154A priority patent/JPWO2023119934A1/ja
Priority to EP22910653.9A priority patent/EP4422200A1/en
Publication of WO2023119934A1 publication Critical patent/WO2023119934A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to a threshold determination method, a threshold determination program, a threshold determination device, a photon number identification system, a photon number identification method, and a photon number identification processing program.
  • Patent Literature 1 and Patent Literature 2 describe a photon number identification device using a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • photoelectrons generated according to the number of input photons are accumulated as charges.
  • the charge accumulated in the photoelectric conversion element is converted into a voltage and amplified by an amplifier.
  • a voltage output from the amplifier is converted into a digital value by an A/D converter.
  • the photon number discriminating device discriminates the number of photons of the pixels forming the image sensor based on the digital value output from the A/D converter.
  • Non-Patent Documents 1 to 3 describe techniques related to photon number discrimination using a CMOS image sensor.
  • readout noise which is random noise, occurs in the amplifier when the voltage amplified by the amplifier is read out.
  • the readout noise is large, the probability distribution of observed photoelectrons becomes broad. Therefore, the readout noise of each pixel is desired to be small.
  • pixel readout noise may have a certain range of variation. In this case, there is a possibility that the accuracy of photon counting may decrease in pixels with high readout noise.
  • An object of one aspect of the present disclosure is to provide a threshold determination method, a threshold determination program, a threshold determination device, a photon number identification system, a photon number identification method, and a photon number identification processing program that can suppress a decrease in photon counting accuracy. do.
  • An example of a threshold determination method is a method of deriving threshold data for classifying a provisional value of the number of photons in a target pixel, which is one of a plurality of pixels, into corresponding numbers of photons in a photon number identification system.
  • a photon number identification system comprises a plurality of pixels including a photoelectric conversion element that converts input light into electric charge, an amplifier that amplifies the electric charge converted by the photoelectric conversion element and converts it into a voltage, and an amplifier of the plurality of pixels.
  • An A/D converter that converts an output voltage into a digital value, and a derivation unit that derives a provisional value of the number of photons of each of the plurality of pixels based on the digital value.
  • the method is based on the observation probability for each photoelectron number based on the probability distribution of the number of photons and the observation probability for each photoelectron number based on the probability distribution of the number of photoelectrons accompanying readout noise of the target pixel, and the number of photons in the target pixel is an integer.
  • a first probability distribution of provisional values of n (where n is 0 or more) and a second probability distribution of provisional values where the number of photons in the target pixel is an integer m (m is 0 or more and is not n). is provided.
  • the method comprises determining threshold data that distinguishes the interim values into integer n and integer m based on the first probability distribution and the second probability distribution.
  • An exemplary threshold determination program causes a computer to perform processing for deriving threshold data for classifying a provisional value of the number of photons in a target pixel, which is one of a plurality of pixels, into corresponding numbers of photons in a photon number identification system. This is the program to run.
  • a photon number identification system comprises a plurality of pixels including a photoelectric conversion element that converts input light into electric charge, an amplifier that amplifies the electric charge converted by the photoelectric conversion element and converts it into a voltage, and an amplifier of the plurality of pixels.
  • An A/D converter that converts an output voltage into a digital value, and a derivation unit that derives a provisional value of the number of photons of each of the plurality of pixels based on the digital value.
  • the process of deriving the threshold data is based on the observation probability for each number of photoelectrons based on the probability distribution of the number of photons and the observation probability for each number of photoelectrons based on the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel.
  • An example of the threshold value determining device includes a plurality of pixels including a photoelectric conversion element that converts input light into electric charge, an amplifier that amplifies the electric charge converted by the photoelectric conversion element and converts it into a voltage, and an amplifier of the plurality of pixels.
  • A/D converter that converts the voltage output from to a digital value
  • a first derivation unit that derives a provisional value of the number of photons of each pixel in a plurality of pixels based on the digital value
  • one of the plurality of pixels a second deriving unit for deriving threshold data for dividing the provisional value of the number of photons in one target pixel into corresponding numbers of photons.
  • the second derivation unit calculates the number of photons in the target pixel based on the observation probability for each number of photoelectrons based on the probability distribution of the number of photons and the observation probability for each number of photoelectrons based on the probability distribution of the number of photoelectrons accompanying readout noise of the target pixel.
  • a second probability of a provisional value where the number of photons in the target pixel is an integer m (where m is 0 or more and is not n).
  • a threshold determination unit that determines threshold data for distinguishing the provisional value into an integer n and an integer m based on the first probability distribution and the second probability distribution.
  • threshold data for dividing the provisional value of the target pixel derived by the photon number identification system into corresponding photon numbers is determined. For example, pixels with high readout noise may have large errors in the derived interim values.
  • the observation probability for each photoelectron number based on the probability distribution of the number of photons and the observation probability for each photoelectron number based on the probability distribution of the number of photoelectrons accompanying readout noise of the target pixel are used to perform the first A probability distribution and a second probability distribution are determined.
  • Threshold data is derived based on the first probability distribution and the second probability distribution. In this way, the threshold data is derived in consideration of the magnitude of the readout noise in the target pixel. Therefore, it is possible to reduce the influence of readout noise in deriving the deterministic value, so that the accuracy of photon number identification can be improved.
  • a threshold value is derived for distinguishing between provisional values that differ by "1" in the number of photons.
  • the observation probability for each photon number based on the photon number probability distribution can be Poisson distribution, hyper-Poisson distribution, sub-Poisson distribution, multimode squeezed photon number distribution, Bose-Einstein distribution, lognormal distribution, uniform distribution, and any one of a mixed distribution.
  • the first probability distribution and the second probability distribution are the observation probability for each number of photoelectrons based on the probability distribution of the number of photons and the observation probability for each number of photoelectrons based on the probability distribution for the number of photoelectrons accompanying readout noise of the target pixel. may be derived based on the product of With this configuration, the first probability distribution and the second probability distribution can be properly described.
  • the observation probability for each number of photoelectrons based on the probability distribution of the number of photons may be derived based on the digital value when light is input to a reference pixel, which is at least one of the plurality of pixels. .
  • any light source for inputting the light to the photoelectric conversion element can be used.
  • An example of a photon number identification system includes a plurality of pixels each including a photoelectric conversion element that converts input light into an electric charge and an amplifier that amplifies and converts the electric charge converted by the photoelectric conversion element into a voltage; an A/D converter that converts a voltage output from an amplifier into a digital value; a first derivation unit that derives a provisional value of the number of photons in each of the plurality of pixels based on the digital value; and a second derivation unit for deriving the number of photons corresponding to the provisional value based on threshold data for classifying the provisional value of the number of photons in the target pixel into corresponding numbers of photons.
  • the threshold data is an integer n ( This is threshold data for distinguishing between integers m (where m is 0 or more and not n).
  • An example photon count identification method includes deriving a provisional photon count value for each of a plurality of pixels based on digital values corresponding to the plurality of pixels output from a two-dimensional image sensor having a plurality of pixels. and deriving the number of photons corresponding to the provisional value of the number of photons in the target pixel, which is one of the plurality of pixels, based on threshold data for dividing the provisional value of the number of photons into corresponding numbers of photons. .
  • the threshold data is an integer n ( This is threshold data for distinguishing between integers m (where m is 0 or more and not n).
  • An example of a photon number identification processing program is a program that causes a computer to execute photon number identification processing based on digital values corresponding to a plurality of pixels output from a two-dimensional image sensor having a plurality of pixels.
  • the program includes a process of deriving a provisional value of the number of photons of each pixel in a plurality of pixels based on the digital value, and a process of obtaining a provisional value of the number of photons in a target pixel, which is one of the plurality of pixels, based on the digital value. and a process of deriving the number of photons corresponding to the provisional value based on the threshold data for dividing into numbers.
  • the threshold data is an integer n ( This is threshold data for distinguishing between integers m (where m is 0 or more and not n).
  • the threshold data for classifying the provisional values into corresponding photon numbers is the observation probability for each photoelectron number based on the probability distribution of the photon number of light. and the observation probability for each number of photoelectrons based on the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel. Therefore, it is possible to reduce the influence of readout noise when deriving a definite value, so that the accuracy of photon number identification can be improved.
  • the photon number identification device and the photon number identification method of one aspect it is possible to suppress a decrease in photon counting accuracy.
  • FIG. 1 is a diagram showing the configuration of an example of a photon number identification device.
  • FIG. 2 is a schematic diagram showing a pixel group of 3 rows ⁇ 3 columns.
  • FIG. 3 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 4 is a schematic diagram for explaining an example of a definite value derivation unit.
  • FIG. 5 is a schematic diagram for explaining an example of a definite value derivation unit.
  • FIG. 6 is a flow chart showing the operation of an example photon number identification device.
  • FIG. 7 is a flow chart showing the operation of an example photon number identification device.
  • FIG. 8 is a flow chart showing the operation of an example photon number identification device.
  • FIG. 9 is a diagram showing an example of a photon number identification processing program.
  • photon number resolving includes counting photoelectrons generated at each pixel of the image sensor or counting photons incident on each pixel of the image sensor.
  • photon number identification similar to general single photon counting, detection of photoelectrons generated in each pixel of the image sensor, or photon incident on each pixel of the image sensor detecting.
  • the result of photon number identification includes statistical data representing the number of photoelectrons or photons.
  • the result of photon count identification also includes an image representing the number of photoelectrons or photons at each pixel. This image may be a two-dimensional image or a one-dimensional image.
  • Photon number identification includes counting the number of photons in consideration of the quantum efficiency (QE: Quantum Efficiency) of the image sensor.
  • QE Quantum Efficiency
  • FIG. 1 is a diagram showing the configuration of an example of a photon number identification device.
  • an exemplary photon number identification device (threshold value determination device, photon number identification system) 1 includes a CMOS image sensor 10 as a two-dimensional image sensor and a computer (controller) connected to the CMOS image sensor 10. ) 20.
  • the CMOS image sensor 10 includes multiple pixels 11 and an A/D converter 15 .
  • the plurality of pixels 11 are two-dimensionally arranged. That is, the plurality of pixels 11 are arranged in row direction and column direction.
  • Each pixel 11 has a photodiode (photoelectric conversion element) 12 and an amplifier 13 .
  • the photodiode 12 accumulates photoelectrons generated by the input of photons as charges.
  • the amplifier 13 converts the charge accumulated in the photodiode 12 into a voltage and amplifies the converted voltage.
  • the amplified voltage is transferred to the vertical signal line 16 line by line (row) by switching the selection switch 14 of each pixel 11 .
  • Each vertical signal line 16 is provided with a CDS (correlated double sampling) circuit 17 .
  • the CDS circuit 17 removes noise that varies between pixels and temporarily stores the transferred voltage.
  • the A/D converter 15 converts the voltage output from each amplifier 13 in the plurality of pixels 11 into a digital value.
  • the A/D converter 15 may be provided in each pixel 11 .
  • the A/D converter 15 converts the voltage stored in the CDS circuit 17 into a digital value.
  • the converted digital values are output to the computer 20 respectively.
  • the digital value may be sent to a horizontal signal line (not shown) and output to the computer 20 by switching the column selection.
  • the CMOS image sensor 10 outputs to the computer 20 a digital value corresponding to the number of photons input (the number of photoelectrons generated). It should be noted that when the voltage amplified by the amplifier 13 is read out, readout noise, which is random noise, is generated within the amplifier 13 .
  • the computer 20 is physically configured with storage devices such as RAM and ROM, processors (arithmetic circuits) such as CPU and GPU, and communication interfaces. Examples of the computer 20 include personal computers, cloud servers, smart devices (smartphones, tablet terminals, etc.), microcomputers, and FPGAs (field-programmable gate arrays).
  • the computer 20 functions as a storage unit 21, a conversion unit 22, a data processing unit 23, and a control unit 24 by executing a program stored in the storage device with a processor of the computer system.
  • the computer 20 may be arranged inside the camera device including the CMOS image sensor 10, or may be arranged outside the camera device.
  • a display device 25 and an input device 26 may be connected to the computer 20 .
  • Display device 25 is, for example, a display capable of displaying the photon number identification results obtained by computer 20 .
  • the input device 26 may be a keyboard, mouse, or the like for the user to input measurement conditions. Note that the display device 25 and the input device 26 may be touch screens. Display device 25 and input device 26 may be included in computer 20 . Also, the display device 25 and the input device 26 may be provided in a camera device including the CMOS image sensor 10 .
  • the storage unit 21 stores data for converting the digital value output from the CMOS image sensor 10 into the number of photons.
  • the storage unit 21 includes, for example, storage devices such as RAM and ROM, as well as auxiliary storage devices such as a solid state drive or a hard disk drive.
  • the storage unit 21 stores gain and offset values for each of the pixels 11 as a lookup table.
  • the storage unit 21 also stores the readout noise of each of the plurality of pixels 11 as a lookup table (noise map).
  • a digital value [DN] output from the A/D converter 15 described above is expressed by the following equation (1). Therefore, the offset value [DN] is indicated as a digital value output when no light is input. Therefore, in one example, a plurality of digital values are acquired from a plurality of dark images acquired by the CMOS image sensor 10 in a state where no light is input, and the acquired digital values are averaged for each pixel 11. An offset value is obtained. Also, when acquiring the gain [DN/e] of each pixel 11, a plurality of frame images are acquired by the CMOS image sensor 10 with a sufficient amount of light. Then, the average optical signal value S[DN] and the standard deviation N[DN] of the digital values in each pixel 11 are obtained. The gain is derived from the average optical signal value S and the standard deviation N, since it is expressed as N 2 /S.
  • the readout noise is defined, for example, as fluctuations in digital values, and can be expressed as a value converted into the number of electrons. Therefore, by obtaining the standard deviation of the digital value for each pixel 11 in a plurality of dark images (for example, 100 frames or more) and dividing the obtained standard deviation by the gain of the pixel 11, the readout noise for each pixel 11 is obtained.
  • the offset value, gain and readout noise for each pixel may be obtained during the manufacturing process of the photon number identification device.
  • the conversion unit 22 refers to the table stored in the storage unit 21 and converts the digital values for each of the plurality of pixels 11 output from the A/D converter 15 into the number of photoelectrons or the number of photons.
  • the number of photons per pixel 11 can be obtained by dividing the number of photoelectrons by the quantum efficiency. When the quantum efficiency is 100%, the number of photoelectrons and photons are the same.
  • the data processing unit 23 creates a two-dimensional image or a one-dimensional image showing the number of photons in each pixel 11 based on the number of photons output from the conversion unit 22 .
  • a two-dimensional image or a one-dimensional image may be an image in which each pixel is drawn with luminance according to the number of photons.
  • the created image can be output to the display device 25 .
  • the data processing unit 23 may also create statistical data such as a histogram, which is a plot of the number of pixels against the number of photons.
  • the control unit 24 can centrally control each functional unit of the computer 20 and the CMOS image sensor 10 .
  • the conversion unit 22 will be described in detail below.
  • a group of pixels arranged in 3 rows ⁇ 3 columns may be referred to as a partial area of the image sensor composed of a plurality of pixels.
  • FIG. 2 is a schematic diagram showing a pixel group of 3 rows ⁇ 3 columns.
  • the readout noise corresponding to each pixel 11 constituting the pixel group is indicated by the symbol "R i " (i indicates the position of the pixel).
  • the conversion unit 22 can appropriately refer to the gain, offset, and readout noise of each pixel 11 by referring to the lookup table held by the storage unit 21 .
  • An example conversion unit 22 includes a provisional value derivation unit 22a (first derivation unit) and a fixed value derivation unit 22b (second derivation unit).
  • the provisional value deriving unit 22a derives a provisional value of the number of photons of each pixel 11 among the plurality of pixels 11 based on the digital value.
  • the provisional value derivation unit 22a the number of photoelectrons obtained by dividing the value obtained by subtracting the offset value from the measured digital value by the gain is converted to a provisional value of the number of photons (first provisional value) for each pixel 11.
  • the first provisional value may be referred to as a pixel value.
  • the provisional value derivation unit 22a may derive an integer value of the number of photons estimated from the pixel value as a provisional value (second provisional value).
  • the second provisional value may be referred to as the provisional number of photons.
  • the provisional number of photons may be obtained by rounding the pixel value to the nearest whole number.
  • the pixel value may be converted into the provisional photon number by setting a predetermined threshold range for the pixel value. For example, the threshold range corresponding to 5 photoelectrons is greater than or equal to 4.5e and less than 5.5e.
  • the provisional value (for example, the number of provisional photons) of each pixel 11 constituting the pixel group is indicated by the symbol "k i " (i indicates the position of the pixel).
  • the definite value derivation unit 22b derives (determines) the definite value of the number of photons of each of the plurality of pixels 11. For example, the definite value deriving unit 22b takes one of the plurality of pixels 11 as a target pixel and derives the definite value of the number of photons in the target pixel. By setting each of a plurality of pixels constituting the two-dimensional image sensor as a target pixel, a definite value of the number of photons in all pixels is derived.
  • the definite value derivation unit 22b derives the number of photons corresponding to the provisional value as the definite value based on the threshold data for classifying the provisional value of the target pixel into the corresponding number of photons.
  • the definite value derivation unit 22b as an example has a probability derivation unit 22c and a threshold determination unit 22d to obtain threshold data.
  • the probability derivation unit 22c derives the first probability and the second probability, and derives the probability distribution of the number of photoelectrons in the target pixel for each number of photons based on the derived first probability and the second probability.
  • the first probability is the observation probability for each number of photoelectrons based on the probability distribution of the number of photons of light incident on the CMOS image sensor 10 .
  • the first probability is shown by the following equation (3) as an example. As shown in equation (3), the first probability in one example is based on the probability distribution of the number of photoelectrons accompanying optical shot noise and follows the Poisson distribution.
  • the first probability is the probability (observation probability) that the number of photons in the target pixel is observed to be k when the average number of photons in the target pixel is ⁇ .
  • a first probability is obtained for each number of photoelectrons.
  • the photon number k is a provisional photon number assumed by the probability derivation unit 22c. That is, the number of photons k can be said to be a provisional value (third provisional value) of the number of photons in the target pixel.
  • the third provisional value may be referred to as the assumed number of photons.
  • the average number of photons may be the average of the provisional values of the surrounding pixels.
  • Peripheral pixels may be defined as two or more pixels included in a partial region around the target pixel among the plurality of pixels.
  • the central pixel 11c may be defined as the target pixel
  • the pixel group of 3 rows ⁇ 3 columns may be the peripheral pixels.
  • the average number of photons in the target pixel is the average value of the provisional values of the pixels 11 forming the peripheral pixels.
  • the provisional value of the surrounding pixels may be either the pixel value or the provisional photon count.
  • the probability derivation unit 22c may refer to a noise map indicating the readout noise of each of the plurality of pixels 11, and calculate a weighted average including the readout noise of the surrounding pixels as the average number of photons.
  • the weight w i (i indicates the position of the pixel) based on the readout noise is expressed by the following equation (4), for example. That is, an example weight w i may be the inverse power of the read noise R i .
  • the provisional value is more likely to be reflected in the average number of photons for pixels with smaller readout noise, and the provisional value is less likely to be reflected in the average number of photons for pixels with greater readout noise.
  • the confidence ⁇ can increase or decrease the influence of readout noise on the weights wi . That is, the greater the reliability ⁇ , the greater the influence of the readout noise on the weight wi . In one example, ⁇ 0. Note that if the value of the reliability ⁇ becomes too large, it is conceivable that a correct definite value will not be derived. Thus, in one example, the reliability ⁇ may be less than 20.
  • the reliability ⁇ may be a value preset in the probability derivation unit 22 c or a value that can be set by the user of the photon number identification device 1 .
  • Equation (5) The average number of photons ⁇ based on the weighted average is given by Equation (5) below.
  • the second probability is the observation probability for each number of photoelectrons based on the probability distribution of the number of photoelectrons associated with the readout noise of the target pixel.
  • the second probability is given by Equation (6) below. As shown in Equation (6), the second probability follows a normal distribution (Gaussian distribution). In equation (6), x is the pixel value [e] of the target pixel, and R is the readout noise [e-rms] of the target pixel. That is, the second probability is the probability (observation probability) that the number of photons of the target pixel is observed to be k in the provisional value (for example, pixel value) of the target pixel. A second probability is obtained for each number of photoelectrons.
  • the probability derivation unit 22c derives a probability distribution of pixel values of the target pixel for each number of photoelectrons (photons) based on the product of the first probability and the second probability. That is, the probability deriving unit 22c derives the probability distribution of the pixel values of the target pixel when the number of photons of the target pixel is the assumed number of photons.
  • the probability derivation unit 22c calculates the probability distribution of the pixel values of the target pixel when the number of photons of the target pixel is an integer n (n is zero or more), and the probability distribution of the pixel values of the target pixel when the number of photons of the target pixel is an integer m (m is zero above and not n), the probability distribution of pixel values in the target pixel is derived.
  • Equation (7) the probability distribution Pk (x) of the pixel values of the target pixel derived by the probability derivation unit 22c is given by Equation (7).
  • FIG. 3 shows an example of the probability distribution P k (x) when the first probability Q k follows a Poisson distribution with an average number of photons ⁇ of 1.5 and the readout noise R is 0.27 [e ⁇ rms]. It is a figure showing.
  • the probability distribution of the pixel value of the target pixel is drawn for each corresponding number of photons (number of photoelectrons). That is, the probability distributions of the pixel values of the target pixel are shown when the number of photons of the target pixel is 0, 1, 2, 3, 4, and 5 photons.
  • the first probabilities when the number of photons is 0, 1, 2, 3, 4, and 5 are also indicated by thick lines L0, L1, L2, L3, L4, and L5, respectively.
  • the threshold determination unit 22d determines threshold data for dividing the provisional value of the target pixel into corresponding photon numbers based on the probability distribution derived by the probability derivation unit 22c. In other words, the threshold determination unit 22d determines threshold data that distinguishes whether the number of photons corresponding to the pixel value is an integer n or an integer m. When the integer m is n+1, the threshold data is a threshold for distinguishing pixel values when the number of photons differs by "1".
  • the threshold determination unit 22d which is an example, sets the solution x in this case as T( kn , km ), and obtains T( kn , km ) for all combinations of the assumed number of photons to correspond to the pixel value. Threshold data for distinguishing whether the number of photons to be emitted is an integer n or an integer m is acquired.
  • FIG. 4 is a diagram showing an example of the concept of threshold data corresponding to the probability distribution shown in FIG.
  • the position of the threshold T determined by the threshold data is indicated by a dashed line, and the number of photons corresponding to the threshold range is indicated.
  • the threshold determination unit 22d may acquire, as threshold data, a combination of a threshold range and the number of photons corresponding to the threshold range.
  • the threshold data T(k n , km ) for distinguishing between the photon number n and the photon number n+1 is expressed as T(n).
  • FIG. 5 is a diagram showing another example of the concept of threshold data corresponding to the probability distribution shown in FIG.
  • the threshold data T(k m , k n ) for distinguishing between the photon number n ⁇ 1 and the photon number n is expressed as T(n).
  • each range of T(n) ⁇ x ⁇ T(n+1) is a threshold range corresponding to the pixel value where the number of photons is n.
  • the value of the probability P k (x) at the number of photons n is the maximum.
  • each threshold range may be T(n) ⁇ x ⁇ T(n+1).
  • the threshold T(n) corresponds to the intersection of the probability distributions P kn (x) and P km (x).
  • the threshold T(1) is a threshold for distinguishing between a pixel value with a fixed number of photons of 1 photon and a pixel value with a fixed number of photons of 2 photons.
  • the threshold T(1) corresponds to the intersection of the one-photon probability distribution and the two-photon probability distribution.
  • the threshold T(2) is a threshold for distinguishing between a pixel value with a definite value of 2 photons and a pixel value with a definite value of 3 photons.
  • the threshold T(2) corresponds to the intersection of the 2-photon probability distribution and the 3-photon probability distribution.
  • a threshold value T(1) is a threshold value for distinguishing between a pixel value with a fixed number of photons of 0 photon and a pixel value with a fixed number of photons of 1 photon.
  • the threshold T(1) corresponds to the intersection of the 0-photon probability distribution and the 1-photon probability distribution.
  • the threshold T(2) is a threshold for distinguishing between a pixel value with a fixed value of 1 photon and a pixel value with a fixed value of 2 photons.
  • the threshold T(2) corresponds to the intersection of the one-photon probability distribution and the two-photon probability distribution.
  • the probability distribution P k (x) for 1 photon is the maximum value, so the number of photons corresponding to the pixel value is 1 photon.
  • the definite value derivation unit 22b derives the number of photons corresponding to the provisional value based on the threshold data. That is, the definite value derivation unit 22b specifies the threshold range corresponding to the output provisional value, and outputs the number of photons corresponding to the specified threshold range as the number of photons corresponding to the provisional value. As described above, the definite value derivation unit 22b derives the most probable number of photons in the target pixel as the definite value of the target pixel.
  • FIG. 6 is a flowchart showing an example of the operation (threshold value determination method) of the photon number identification device.
  • the photon number identification device 1 when measurement is started with the photon number identification device 1 in operation, first, photons incident on the pixels 11 of the CMOS image sensor 10 are converted into charges by the photodiodes 12 (step S11). Then, the converted charges are converted into voltage by the amplifier 13 (step S12). The voltage is converted into a digital value by the A/D converter 15 and output to the computer 20 (step S13).
  • the provisional value derivation unit 22a of the conversion unit 22 derives a provisional value from the digital value based on the gain and offset value of each pixel obtained by referring to the table of the storage unit 21 (step S14).
  • the derived provisional value may be stored in the storage unit 21, for example.
  • the probability deriving unit 22c derives the probability distribution P k (x) (step S15). That is, the probability derivation unit 22c derives the average number of photons of each pixel based on the provisional value, and based on the derived average number of photons and the readout noise of each pixel obtained by referring to the table of the storage unit 21 to derive the probability distribution P k (x).
  • the threshold determining unit 22d derives threshold data for classifying the pixel value of each pixel into the corresponding number of photons (step S16).
  • the derived threshold data of each pixel may be stored in, for example, the storage unit 21 as a threshold data map.
  • FIG. 7 is a flowchart showing an example of the operation of the photon number identification device (photon number identification method).
  • photons incident on the pixels 11 of the CMOS image sensor 10 are converted into charges by the photodiodes 12 (step S21).
  • the converted charges are converted into voltage by the amplifier 13 (step S22).
  • the voltage is converted into a digital value by the A/D converter 15 and output to the computer 20 (step S23).
  • the provisional value derivation unit 22a of the conversion unit 22 derives a provisional value from the digital value based on the gain and offset value of each pixel obtained by referring to the table of the storage unit 21 (step S24).
  • the definite value derivation unit 22b derives the number of photons corresponding to the pixel value as the definite value of the number of photons in each pixel based on the threshold data stored in the storage unit 21 (step S25). As described above, the number of photons is measured for each of a plurality of pixels. The measurement result (photon number identification data) is output to the display device 25 as, for example, image data (step S26).
  • FIG. 8 is a flowchart showing an example of the operation (real-time processing) of the photon number identification device.
  • the process of threshold determination and the process of photon number discrimination can be performed as a series of operations.
  • the photon number identification device 1 in operation first, photons incident on the pixels 11 of the CMOS image sensor 10 are converted into charges by the photodiodes 12 (step S31). Then, the converted charges are converted into voltage by the amplifier 13 (step S32). The voltage is converted into a digital value by the A/D converter 15 and output to the computer 20 (step S33).
  • the provisional value derivation unit 22a of the conversion unit 22 derives the provisional values of the target pixel and the surrounding pixels from the digital values based on the gain and offset values of each pixel obtained by referring to the table of the storage unit 21 (step S34).
  • the derived provisional value may be stored in the storage unit 21, for example.
  • the probability derivation unit 22c derives probability distributions for different numbers of photons (step S35).
  • the probability derivation unit 22c derives the average number of photons of the target pixel based on the provisional value, and the derived average number of photons and the readout noise of each pixel obtained by referring to the table of the storage unit 21 Based on this, the probability distribution P k0 (x) for the assumed photon number k 0 (for example, 0 photon) is derived. Further, the probability derivation unit 22c derives a probability distribution P k1 (x) for an assumed photon number k 1 (for example, 1 photon) that is the number of photons next to the assumed photon number k 0 .
  • the threshold determining unit 22d determines threshold data T(k 0 ) for distinguishing between the number of photons k 0 and the number of photons k 1 based on the probability distribution P k0 (x) and the probability distribution P k1 (x). is derived (step S36).
  • the definite value derivation unit 22b of the photon number identification device 1 compares the threshold data derived in step S36 with the pixel value of the target pixel (step S37), and determines the definite value based on the threshold data (step S38). As in the above example, when threshold data for distinguishing between 0 photons and 1 photons is obtained, the definite value derivation unit 22b determines k 0 as the target when x ⁇ T (k 0 ). It is obtained as the fixed value of the number of photons in the pixel. On the other hand, if T(k 0 ) ⁇ x, k 0 is not taken as the definite value of the number of photons of the target pixel.
  • the determined value derivation unit 22b compares the pixel value with threshold data for distinguishing the next number of photons.
  • the threshold determination unit 22d derives the probability distribution P k2 (x) of the following photon number k 2 , and based on the probability distribution P k1 (x) and the probability distribution P k2 (x), the photon number k Threshold data T(k 1 ) for discriminating photon number k 2 from 1 is derived.
  • the number of photons was not determined by the threshold data for distinguishing between 0 and 1 photons, so the next photon number k2 is 2 photons. That is, the derived threshold data T(k 1 ) is data for distinguishing between one photon and two photons.
  • the definite value derivation unit 22b compares the threshold data T(k 1 ) with the pixel value x, and determines whether or not k 1 should be the definite value. Since it has already been determined that T(k 0 ) ⁇ x, the definite value derivation unit 22b substantially determines whether T(k 0 ) ⁇ x ⁇ T(k 1 ) holds. do. If T(k 0 ) ⁇ x ⁇ T(k 1 ), k 1 is determined as the number of photons of the target pixel.
  • step S40 If T(k 0 ) ⁇ x ⁇ T(k 1 ) does not hold, the assumed number of photons is incremented by 1 and the processing from step S35 to step S38 is repeated until the number of photons of the target pixel is determined. Then, it is determined whether or not definite values have been determined for all the target pixels (step S39). If processing has not been completed for all target pixels, the processing from step S34 onward is performed for unprocessed target pixels. When the processing of all target pixels is completed, the measurement result (photon number identification data) of each pixel is output to the display device 25 as image data, for example (step S40).
  • step S34 the provisional values of the target pixel and the surrounding pixels are derived in step S34. good too. In that case, if it is determined in step S39 that all the target pixels have not been processed, the processing from step S35 onward may be performed for the unprocessed target pixels.
  • FIG. 9 is a diagram showing a recording medium 100 storing a program for causing a computer to execute threshold determination processing and photon number identification processing.
  • a processing program P1 threshold determination program, photon number identification processing program stored in the recording medium 100 includes a provisional value derivation module P22a, a definite value derivation module P22b, a data processing module P23, and a control module P24.
  • the definite value derivation module P22b includes a probability derivation module P22c and a threshold determination module P22d.
  • Functions (processes) implemented by executing the provisional value derivation module P22a, the definite value derivation module P22b, the probability derivation module P22c, the threshold determination module P22d, the data processing module P23, and the control module P24 are respectively the provisional value derivation
  • the functions (processing) of the unit 22a (first derivation process), the definite value derivation unit 22b (second derivation process), the probability derivation unit 22c, the threshold determination unit 22d, the data processing unit 23, and the control unit 24 are the same.
  • the processing program P1 is recorded in a program recording area in the computer-readable recording medium 100.
  • the recording medium 100 may be a non-temporary recording medium.
  • the recording medium 100 is composed of a recording medium such as a CD-ROM, DVD, ROM, semiconductor memory, or the like.
  • the processing program P1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
  • the photon number identification device 1 includes a photodiode 12 that converts input light into an electric charge and an amplifier 13 that amplifies the electric charge converted by the photodiode 12 and converts it into a voltage. , an A/D converter 15 that converts the voltage output from the amplifier 13 of the plurality of pixels 11 into a digital value, and a provisional value ( A provisional value derivation unit 22a for deriving a pixel value), and threshold data for dividing the provisional value of a target pixel, which is one of a plurality of pixels, into corresponding photon numbers. and a definite value derivation unit 22b that derives the number of photons.
  • the threshold data is an integer n ( This is threshold data for distinguishing between integers m (where m is 0 or more and not n).
  • An example of a threshold determination method in photon number identification is a method of deriving threshold data for classifying a provisional value of a target pixel, which is one of the plurality of pixels 11, into corresponding photon numbers. This method is based on the observation probability for each photoelectron number based on the probability distribution of the number of photons and the observation probability for each photoelectron number based on the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel, and the number of photons in the target pixel is an integer.
  • a first probability distribution of provisional values of n (where n is 0 or more) and a second probability distribution of provisional values where the number of photons in the target pixel is an integer m (m is 0 or more and is not n). and determining threshold data that distinguishes the provisional value into an integer n and an integer m based on the first probability distribution and the second probability distribution.
  • the first probability is determined based on the observation probability for each photoelectron number based on the probability distribution of the number of photons and the observation probability for each photoelectron number based on the probability distribution of the number of photoelectrons accompanying readout noise of the target pixel.
  • a distribution and a second probability distribution are determined.
  • Threshold data is derived based on the first probability distribution and the second probability distribution. Then, the photon number identification system divides the provisional values into corresponding photon numbers based on the threshold data thus derived.
  • the error included in the derived provisional value may be large.
  • the accuracy of the definitive value may be degraded according to the error contained in the provisional value.
  • the threshold data utilized in one example photon count identification system is derived by considering the magnitude of the readout noise at the target pixel. Therefore, it is possible to reduce the influence of readout noise when deriving a definite value, so that the accuracy of photon number identification can be improved.
  • the definitive value can be determined by comparing the derived threshold data and the provisional value, so the processing time can be shortened.
  • a threshold value is derived for distinguishing between provisional values that differ by "1" in the number of photons.
  • the first probability distribution and the second probability distribution are the observation probability for each number of photoelectrons based on the probability distribution of the number of photons and the observation probability for each number of photoelectrons based on the probability distribution for the number of photoelectrons accompanying readout noise of the target pixel. may be derived based on the product of With this configuration, the first probability distribution and the second probability distribution can be properly described.
  • the first probability is derived based on the probability distribution of the number of photoelectrons accompanying optical shot noise, which is represented by the Poisson distribution. It may be derived based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons.
  • the first probability may be derived based on the probability distribution according to the light source.
  • the light source is a non-coherent light source such as an LED or a thermal photon source
  • the first may be derived.
  • the light source is a quantum light source
  • the first probability may be derived based on a sub-Poissonian distribution, which is a photon number distribution with smaller photon number fluctuations than the Poisson distribution.
  • the first probability may be derived based on the photon number distribution exhibited by the photon number squeezed state (e.g., Fock state) such as a single photon source, or spontaneous parametric down conversion (spontaneous parametric down
  • the first probability may be derived based on the photon number distribution exhibited by the entangled photon state (for example, NOON state) generated by the conversion, SPDC) or the like.
  • the photon number squeezed state e.g., Fock state
  • spontaneous parametric down conversion spontaneous parametric down conversion
  • the first probability may be derived based on the photon number distribution exhibited by the entangled photon state (for example, NOON state) generated by the conversion, SPDC) or the like.
  • NOON state for example, NOON state
  • SPDC spontaneous parametric down conversion
  • a first probability may be derived based on.
  • the light source is a thermal light source or a pseudo-thermal light source
  • the first probability is derived based on the Bose-Einstein distribution good.
  • a log-normal distribution that has a shape with a longer tail for larger numbers
  • a uniform distribution that has a uniform probability for each photon number
  • multiple photon number distributions may be derived based on a combined distribution, such as a Mixture of multiple photon distribution.
  • the observation probability for each photon number based on the probability distribution of photon numbers can be divided into Poisson distribution, hyper-Poisson distribution, sub-Poisson distribution, multimode squeezed photon number distribution, Bose-Einstein distribution, lognormal distribution, and linear distribution. It may be based on any one of a heterogeneous distribution and a mixed distribution. If the probability distribution can be estimated, it becomes possible to obtain an ideal probability distribution.
  • the observation probability for each photoelectron number based on the probability distribution of the number of photons may be derived by the definite value derivation unit 22b based on the digital value of the reference pixel when light is input to the reference pixel.
  • the reference pixel may be at least one of the pixels 11 forming the CMOS image sensor 10 .
  • the readout noise of the reference pixels may be a value smaller than the overall average of the readout noises of the plurality of pixels 11 .
  • the provisional value obtained from the digital value of the reference pixel can accurately reflect the number of photons compared to the provisional value of the pixel having average readout noise.
  • readout noise of reference pixels may be less than or equal to a predetermined value.
  • the readout noise of the reference pixels may be 0.8 [e-rms] or less. Further, if it is desired to obtain a more accurate probability distribution of the number of photons, only pixels 11 with readout noise of 0.3 [e-rms] or less may be used as reference pixels.
  • the storage unit 21, which is an example, may hold address information of some or all of the pixels 11 having readout noise that matches the reference pixels.
  • the definite value derivation unit 22b can identify the reference pixel by referring to the address information in the storage unit 21. FIG. Therefore, the definite value derivation unit 22b can appropriately acquire the output data such as the digital value of the reference pixel, the pixel value, and the number of provisional photons. Note that if the storage unit 21 does not hold the address information of the reference pixels, the definite value derivation unit 22b refers to the readout noise (noise map) of each pixel, and pixels having readout noises that match the reference pixels (that is, reference pixels) may be extracted.
  • the definite value derivation unit 22b may derive the probability distribution of the number of photons based on the output data of a plurality of reference pixels.
  • the output data of the plurality of reference pixels can be acquired in a state in which a uniform amount of light is input from the light source to the plurality of reference pixels.
  • all the reference pixels may be used to derive the probability distribution of the number of photons.
  • a uniform amount of light from the light source is input to the pixels 11 in a partial area including the target pixel in the CMOS image sensor 10
  • only the reference pixels included in this partial area are photons. It may be used to derive the probability distribution of numbers.
  • the definite value derivation unit 22b can acquire data of a plurality of provisional photon numbers corresponding to a plurality of reference pixels. Then, the definite value deriving unit 22b may derive the probability distribution of the number of photons by statistically processing the obtained data of the plurality of provisional numbers of photons. That is, the definite value deriving unit 22b aggregates the number of acquired provisional photon number data for each provisional photon number, and divides each of the aggregation results by the total number of data, thereby obtaining a probability indicating the observation probability for each provisional photon number. A distribution (ie, a probability distribution of photon numbers) can be derived.
  • the definite value derivation unit 22b may acquire the first probability based on this probability distribution.
  • the first probability is the probability that the number of photons in the target pixel is observed to be k when uniform light is input to the target pixel under the same conditions as when the probability distribution of the number of photons was obtained. That is, the definite value derivation unit 22b acquires the probability when the number of photons is k from the probability distribution of the number of photons as the first probability.
  • the definite value derivation unit 22b may acquire the data of the number of provisional photons for a plurality of frames, and derive the probability distribution of the number of photons based on the acquired data.
  • the weights used when calculating the average number of photons using weighted averaging are not limited to the examples in the above embodiment.
  • the weights obtained as follows may be used.
  • the true average number of photons may be the arithmetic mean of the true number of photons of the peripheral pixels.
  • the expected value E[( ⁇ * ⁇ ) 2 ] of the squared error between ⁇ * and ⁇ is minimized. It suffices to calculate w such that First, the expected value E[ ⁇ * ] of ⁇ * is obtained.
  • the pixel value x follows the probability distribution p(x) shown in Equation (8).
  • Equation (15) the average number of photons ⁇ * by weighted averaging is given by equation (16).
  • Equation (15) includes the true average number of photons ⁇ , Equation (15) cannot be calculated as it is. Therefore, in one example, assuming that the average number of photons calculated as an unweighted average of the surrounding pixels is ⁇ , wi derived based on Equation (15) may be used as the weight.
  • the w i derived based on equation (15) may be solved self-consistently. That is, the process of obtaining the average number of photons by substituting the derived weight wi into equation (16) and deriving the weight wi from equation (15) using this average number of photons may be repeated. .
  • the solution of equation (17) may be used as the average number of photons, expecting that the weighted average average number of photons ⁇ * approximates the true average number of photons ⁇ . Using the fixed point theorem, this can be solved by equation (18) when the function on the right side is a contraction map.
  • the average number of photons of the target pixel may be derived based on data of provisional values of multiple frames. That is, the definite value derivation unit 22b may acquire the data of the provisional values of the pixels for a plurality of frames, and derive the average number of photons based on the acquired data. For example, the definite value derivation unit 22b may derive the average number of photons of the target pixel for each acquired frame, and obtain the first probability using the average value of the derived average number of photons as ⁇ .
  • the definite value derivation unit 22b derives the average number of photons of the target pixel by using the obtained data of the provisional values for the plurality of frames as one population, and obtains the first probability using the derived average number of photons as ⁇ .
  • the fixed value derivation unit 22b may calculate the average value of the provisional values for each pixel between the acquired frames, and derive the average number of photons using this average value as the provisional value of each pixel.
  • SYMBOLS 1 Photon number identification device, 11... Pixel, 12... Photodiode (photoelectric conversion element), 13... Amplifier, 15... A/D converter, 21... Storage unit, 22a... Temporary value derivation unit (first derivation unit), 22b... Definite value deriving section (second deriving section).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

閾値決定方法は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、対象画素のフォトン数ごとに暫定値の確率分布を求める工程と、各フォトン数の確率分布に基づいて、暫定値を対応するフォトン数に区別する閾値データを求める工程と、を備える。

Description

閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム
　本開示は、閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラムに関する。
　例えば特許文献１及び特許文献２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いた光子数識別装置が記載されている。この装置では、光電変換素子にフォトンが入力されると、入力されたフォトン数に応じて生成された光電子が電荷として蓄積される。光電変換素子に蓄積された電荷は、アンプによって電圧に変換され増幅される。アンプから出力される電圧は、Ａ／Ｄコンバータによってデジタル値に変換される。光子数識別装置では、Ａ／Ｄコンバータから出力されるデジタル値に基づいて、イメージセンサを構成する画素のフォトン数が判別される。
　また、非特許文献１乃至３には、ＣＭＯＳイメージセンサを用いた光子数識別に関する技術が記載されている。
国際公開第２０１９／１０２６３６号 国際公開第２０１９／１０２６３７号
B Saleh Masoodian, Jiaju Ma, Dakota Starkey, Yuichiro Yamashita, and Eric R. Fossum, "A 1Mjot 1040fps 0.22e-rms Stacked BSI Quanta Image Sensor with Cluster-Parallel Readout", 2017 International Image Sensor Workshop（IISW）の予稿集, May 30 - June 2, 2017, P230-233 JIAJU MA et al., "Photon-number-resolving megapixel image sensor at room temperature without avalanche gain", Optica, Vol. 4, No. 12, December 2017, p1474 -p1481 DAKOTA A. STARKEY et al., "Determining Conversion Gain and Read Noise Using a Photon-Counting Histogram Method for Deep Sub-Electron Read Noise Image Sensors", JOURNAL OF THE ELECTRON DEVICES SOCIETY, VOLUME 4, NO. 3, MAY 2016, p129 -p135
　ＣＭＯＳイメージセンサを用いて光子数識別を実行する場合、アンプによって増幅された電圧が読み出される際に、アンプ内でランダムなノイズである読み出しノイズが発生する。読み出しノイズが大きい場合、観測される光電子の確率分布はブロードとなる。そのため、画素のそれぞれの読み出しノイズは、小さいことが望まれる。しかしながら、ＣＭＯＳイメージセンサが製造される場合、画素の読み出しノイズは一定の範囲でばらつきを有し得る。この場合、読み出しノイズが高い画素では、フォトンの計数精度が低下する虞がある。
　本開示の一側面は、フォトンの計数精度の低下を抑制できる閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラムを提供することを目的とする。
　一例の閾値決定方法は、光子数識別システムにおいて、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データを導出する方法である。光子数識別システムは、入力された光を電荷に変換する光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する導出部と、を備える。該方法は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる暫定値の第１の確率分布と、対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる暫定値の第２の確率分布とを求める工程を備える。該方法は、第１の確率分布と第２の確率分布とに基づいて、暫定値を整数ｎと整数ｍとに区別する閾値データを求める工程を備える。
　一例の閾値決定プログラムは、光子数識別システムにおいて、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データを導出する処理をコンピュータに実行させるプログラムである。光子数識別システムは、入力された光を電荷に変換する光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する導出部と、を備える。閾値データを導出する処理は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる暫定値の第１の確率分布と、対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる暫定値の第２の確率分布とを求める処理と、第１の確率分布と第２の確率分布とに基づいて、暫定値を整数ｎと整数ｍとに区別する閾値データを求める処理と、を備える。
　一例の閾値決定装置は、入力された光を電荷に変換する光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データを導出する第２導出部と、を備える。第２導出部は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる暫定値の第１の確率分布と、対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる暫定値の第２の確率分布とを求める確率導出部と、第１の確率分布と第２の確率分布とに基づいて、暫定値を整数ｎと整数ｍとに区別する閾値データを決定する閾値決定部と、を備える。
　上記の閾値決定方法、閾値決定プログラム及び閾値決定装置では、光子数識別システムによって導出された対象画素の暫定値を対応するフォトン数に区分する閾値データが決定される。例えば、読み出しノイズが大きい画素では、導出される暫定値に含まれる誤差が大きくなることがある。該方法、プログラム及び装置では、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、第１の確率分布及び第２の確率分布が求められている。この第１の確率分布と第２の確率分布とに基づいて閾値データが導出されている。このように、閾値データは、対象画素における読み出しノイズの大きさが考慮されて導出されている。したがって、確定値の導出における読み出しノイズによる影響を小さくすることができるので、光子数識別の精度を向上させることができる。
　一例において、整数ｍは、ｍ＝ｎ＋１を満たす。この構成では、フォトン数が「１」異なる暫定値同士を区分するための閾値が導出される。
　一例において、フォトン数の確率分布に基づく光電子数ごとの観測確率は、ポアソン分布、超ポアソン分布、サブポアソン分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、および混合分布のうちのいずれか１つの分布であってよい。
　一例において、第１の確率分布及び第２の確率分布は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率との積に基づいて導出されてよい。この構成では、第１の確率分布及び第２の確率分布を適切に記述することができる。
　一例において、フォトン数の確率分布に基づく光電子数ごとの観測確率は、複数の画素のうちの少なくとも一つの画素である参照画素に光が入力されたときのデジタル値に基づいて導出されてもよい。この構成では、実測データであるデジタル値に基づいて観測確率が導出されるので、光電変換素子に光を入力するための光源を選ばない。
　一例の光子数識別システムは、入力された光を電荷に変換する光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データに基づいて、暫定値に対応するフォトン数を導出する第２導出部と、を備える。閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである。
　一例の光子数識別方法は、複数の画素を有する２次元イメージセンサから出力される複数の画素に対応するデジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する工程と、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データに基づいて、暫定値に対応するフォトン数を導出する工程と、を備える。閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである。
　一例の光子数識別処理プログラムは、複数の画素を有する２次元イメージセンサから出力される複数の画素に対応するデジタル値に基づいて、光子数識別の処理をコンピュータに実行させるプログラムである。該プログラムは、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する処理と、複数の画素のうちの一つである対象画素におけるフォトン数の暫定値を対応するフォトン数に区分するための閾値データに基づいて、暫定値に対応するフォトン数を導出する処理と、をコンピュータに実行させる。閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである。
　上記の光子数識別システム、光子数識別方法及び光子数識別処理プログラムでは、暫定値を対応するフォトン数に区分するための閾値データが、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて生成されている。したがって、確定値を導出する際の読み出しノイズによる影響を小さくすることができるので、光子数識別の精度を向上させることができる。
　一側面の光子数識別装置および光子数識別方法によれば、フォトンの計数精度の低下を抑制できる。
図１は、一例の光子数識別装置の構成を示す図である。 図２は、３行×３列の画素群を示す模式図である。 図３は、光電子数の確率分布を示す図である。 図４は、一例の確定値導出部の説明をするための模式図である。 図５は、一例の確定値導出部の説明をするための模式図である。 図６は、一例の光子数識別装置の動作を示すフローチャートである。 図７は、一例の光子数識別装置の動作を示すフローチャートである。 図８は、一例の光子数識別装置の動作を示すフローチャートである。 図９は、一例の光子数識別処理プログラムを示す図である。
　以下、実施の形態について図面を参照しながら具体的に説明する。便宜上、実質的に同一の要素には同一の符号を付し、その説明を省略する場合がある。なお、以下の説明において、光子数識別（Photon number resolving）とは、イメージセンサの各画素で生成される光電子を数えること、或いは、イメージセンサの各画素に入射する光子を数えること、を含む。また、光子数識別には、一般的な単一光子検出（Single photon counting）と同様に、イメージセンサの各画素で生成される光電子を検出すること、或いは、イメージセンサの各画素に入射する光子を検出すること、を含む。光子数識別の結果（光子数識別データ）は、光電子数又はフォトン数を表す統計データを含む。また、光子数識別の結果は、各画素における光電子数又はフォトン数を表す画像を含む。この画像は、２次元画像又は１次元画像であってよい。また、光子数識別とは、イメージセンサの量子効率（ＱＥ：Ｑｕａｎｔｕｍ　Ｅｆｆｉｃｉｅｎｃｙ）を考慮してフォトン数を数えることを含む。
　図１は、一例の光子数識別装置の構成を示す図である。図１に示すように、一例の光子数識別装置（閾値決定装置、光子数識別システム）１は、２次元イメージセンサとしてのＣＭＯＳイメージセンサ１０と、ＣＭＯＳイメージセンサ１０に接続されたコンピュータ（制御装置）２０とを備えている。ＣＭＯＳイメージセンサ１０は、複数の画素１１と、Ａ／Ｄコンバータ１５とを含んでいる。複数の画素１１は、２次元に配置されている。すなわち、複数の画素１１は、行方向及び列方向に配列されている。各画素１１は、フォトダイオード（光電変換素子）１２とアンプ１３とを有している。フォトダイオード１２は、フォトンの入力によって生成された光電子を電荷として蓄積する。アンプ１３は、フォトダイオード１２に蓄積された電荷を電圧に変換し、変換された電圧を増幅する。増幅された電圧は、各画素１１の選択スイッチ１４の切換によって、ライン毎（行毎）に垂直信号線１６に転送される。各垂直信号線１６にはＣＤＳ（correlated double sampling）回路１７が配置されている。ＣＤＳ回路１７は、画素間でバラツキのあるノイズを除去し、転送された電圧を一時的に保管する。
　Ａ／Ｄコンバータ１５は、複数の画素１１におけるそれぞれのアンプ１３から出力される電圧をデジタル値に変換する。なお、Ａ／Ｄコンバータ１５は、各画素１１に設けられてもよい。本実施形態では、Ａ／Ｄコンバータ１５は、ＣＤＳ回路１７に保管された電圧をデジタル値に変換する。変換されたデジタル値は、それぞれコンピュータ２０に出力される。例えば、デジタル値は、列選択の切換によって不図示の水平信号線に送られて、コンピュータ２０に出力されてもよい。このように、ＣＭＯＳイメージセンサ１０は、各画素１１にフォトンが入力されると、入力されたフォトン数（生成された光電子数）に応じたデジタル値をコンピュータ２０に出力する。なお、アンプ１３によって増幅された電圧が読み出される際、アンプ１３内ではランダムなノイズである読み出しノイズが発生する。
　コンピュータ２０は、物理的には、ＲＡＭ、ＲＯＭ等の記憶装置、ＣＰＵ、ＧＰＵ等のプロセッサ（演算回路）、通信インターフェイス等を備えて構成されている。コンピュータ２０としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）、マイクロコンピュータ、ＦＰＧＡ（field-programmable gate array）などが挙げられる。コンピュータ２０は、記憶装置に格納されるプログラムをコンピュータシステムのプロセッサで実行することにより、記憶部２１、変換部２２、データ処理部２３、制御部２４として機能する。コンピュータ２０は、ＣＭＯＳイメージセンサ１０を含むカメラ装置の内部に配置されてもよいし、カメラ装置の外部に配置されてもよい。コンピュータ２０には、表示装置２５及び入力装置２６が接続され得る。表示装置２５は、例えばコンピュータ２０によって得られた光子数識別結果を表示し得るディスプレイである。入力装置２６は、ユーザが計測条件を入力するためのキーボード、マウス等であってよい。なお、表示装置２５及び入力装置２６は、タッチスクリーンであってもよい。表示装置２５及び入力装置２６は、コンピュータ２０に含まれてもよい。また、表示装置２５及び入力装置２６は、ＣＭＯＳイメージセンサ１０を含むカメラ装置に設けられてもよい。
　記憶部２１は、ＣＭＯＳイメージセンサ１０から出力されるデジタル値をフォトン数に変換するためのデータを記憶する。記憶部２１は、例えば、ＲＡＭ、ＲＯＭ等の記憶装置の他、ソリッド・ステート・ドライブ（Solid State Drive）或いはハード・ディスク・ドライブ（Hard Disk Drive）などの補助記憶装置を含む。例えば、記憶部２１は、複数の画素１１におけるそれぞれのゲイン及びオフセット値をルックアップテーブルとして記憶している。また、記憶部２１は、複数の画素１１におけるそれぞれの読み出しノイズをルックアップテーブル（ノイズマップ）として記憶している。
　上述のＡ／Ｄコンバータ１５から出力されるデジタル値［ＤＮ］は、以下の式（１）によって示される。そのため、オフセット値［ＤＮ］は、光が入力されない状態で出力されるデジタル値として示される。そこで、一例においては、光が入力されていない状態でＣＭＯＳイメージセンサ１０によって取得された複数のダーク画像から複数のデジタル値を取得し、取得されたデジタル値を画素１１ごとに平均化することによってオフセット値が取得される。また、各画素１１のゲイン［ＤＮ／ｅ］を取得する場合、十分な光量でＣＭＯＳイメージセンサ１０によって複数のフレーム画像を取得する。そして、各画素１１におけるデジタル値の平均光信号値Ｓ［ＤＮ］と、標準偏差Ｎ［ＤＮ］とを取得する。ゲインは、Ｎ２／Ｓで表されるので、平均光信号値Ｓ及び標準偏差Ｎからゲインが導出される。
Figure JPOXMLDOC01-appb-M000001
　また、読み出しノイズは、例えば、デジタル値の揺らぎとして定義され、電子数単位に換算された値として表され得る。そこで、複数（例えば１００フレーム以上）のダーク画像において画素１１ごとにデジタル値の標準偏差を取得し、取得された標準偏差を画素１１のゲインで除算することにより、画素１１ごとの読み出しノイズが取得されてもよい。画素ごとのオフセット値、ゲイン及び読み出しノイズは、光子数識別装置の製造過程において取得されてもよい。
　変換部２２は、記憶部２１に記憶されたテーブルを参照して、Ａ／Ｄコンバータ１５から出力された複数の画素１１ごとのデジタル値をそれぞれ光電子数或いはフォトン数に変換する。一例においては、画素１１ごとに光電子数を量子効率で除算することによって、フォトン数を得ることができる。量子効率が１００％の場合、光電子数とフォトン数とは同数になる。
　データ処理部２３は、変換部２２から出力されるフォトン数に基づいて、各画素１１におけるフォトン数を示す２次元画像或いは１次元画像を作成する。例えば、２次元画像或いは１次元画像は、フォトン数に応じた輝度によって各画素が描画された画像であってよい。作成された画像は、表示装置２５に出力され得る。また、データ処理部２３は、フォトン数に対する画素数のプロットであるヒストグラムなどの統計的データを作成してもよい。制御部２４は、コンピュータ２０の各機能部やＣＭＯＳイメージセンサ１０を統括的に制御し得る。
　以下、変換部２２について詳細に説明する。なお、変換部２２の説明においては、複数の画素で構成されるイメージセンサの一部領域として、３行×３列に配列された画素群を参照する場合がある。図２は、３行×３列の画素群を示す模式図である。図２では画素群を構成する各画素１１に対応する読み出しノイズが「Ｒｉ」（ｉは画素の位置を示す）の符号によって示されている。変換部２２は、記憶部２１が保持するルックアップテーブルを参照することによって、各画素１１のゲイン、オフセット及び読み出しノイズを適宜参照することができる。
　一例の変換部２２は、暫定値導出部２２ａ（第１導出部）と確定値導出部２２ｂ（第２導出部）とを含む。暫定値導出部２２ａは、デジタル値に基づいて、複数の画素１１における各画素１１のフォトン数の暫定値を導出する。暫定値導出部２２ａでは、以下の式（２）のように、計測されたデジタル値からオフセット値を減じた値をゲインで除算することによって求められる光電子数をフォトン数の暫定値（第１暫定値）として画素１１ごと導出してもよい。以下、第１暫定値を画素値という場合がある。
Figure JPOXMLDOC01-appb-M000002
　また、暫定値導出部２２ａは、画素値から推定されるフォトン数の整数値を暫定値（第２暫定値）として導出してもよい。以下、第２暫定値を暫定フォトン数という場合がある。一例では、画素値の小数点以下を四捨五入することによって、暫定フォトン数を取得してもよい。この場合、画素値に対して所定の閾値範囲を設定することで、画素値を暫定フォトン数に変換してもよい。例えば、５光電子に対応する閾値範囲は、４．５ｅ以上５．５ｅ未満となる。なお、図２では画素群を構成する各画素１１における暫定値（例えば暫定フォトン数）が「ｋｉ」（ｉは画素の位置を示す）の符号によって示されている。
　確定値導出部２２ｂは、複数の画素１１のそれぞれのフォトン数の確定値を導出（決定）する。例えば、確定値導出部２２ｂは、複数の画素１１のうちの一つを対象画素として、当該対象画素におけるフォトン数の確定値を導出する。２次元イメージセンサを構成する複数の画素のそれぞれを対象画素とすることにより、全ての画素におけるフォトン数の確定値が導出される。
　本実施形態において、確定値導出部２２ｂは、対象画素の暫定値を対応するフォトン数に区分するための閾値データに基づいて、暫定値に対応するフォトン数を確定値として導出する。一例の確定値導出部２２ｂは、閾値データを取得するために、確率導出部２２ｃ及び閾値決定部２２ｄを有する。
　確率導出部２２ｃは、第１の確率及び第２の確率を導出し、導出された第１の確率及び第２の確率に基づいて、対象画素における光電子数の確率分布をフォトン数ごとに導出する。第１の確率は、ＣＭＯＳイメージセンサ１０に入射される光のフォトン数の確率分布に基づく光電子数ごとの観測確率である。第１の確率は、一例として、以下の式（３）によって示される。式（３）に示されるように、一例の第１の確率は、光ショットノイズに伴う光電子数の確率分布に基づいており、ポアソン分布に従っている。
Figure JPOXMLDOC01-appb-M000003
　上記の式（３）において、ｋはフォトン数を示し、λは平均フォトン数を示す。すなわち、第１の確率は、対象画素における平均フォトン数がλであるときの、対象画素のフォトン数がｋと観測される確率（観測確率）である。第１の確率は、光電子数ごとに求められる。なお、フォトン数ｋは、確率導出部２２ｃによって仮定される暫定的なフォトン数である。すなわち、フォトン数ｋは、対象画素におけるフォトン数の暫定値（第３暫定値）といえる。以下、第３暫定値を仮定フォトン数という場合がある。
　平均フォトン数（平均値）は、周辺画素における暫定値の平均であってよい。周辺画素は、複数の画素のうち、対象画素の周囲の一部領域に含まれる２以上の画素として定義され得る。図２に示す３行×３列の画素群の例では、中心の画素１１ｃを対象画素として定義し、３行×３列の画素群を周辺画素としてもよい。この場合、対象画素における平均フォトン数は、周辺画素を構成する画素１１の暫定値の平均値となる。周辺画素の暫定値は、画素値及び暫定フォトン数のいずれかであってよい。
　一例において、確率導出部２２ｃは、複数の画素１１のそれぞれの読み出しノイズを示すノイズマップを参照し、平均フォトン数として、周辺画素の読み出しノイズを重み付けに含む加重平均を算出してもよい。読み出しノイズに基づく重みｗｉ（ｉは画素の位置を示す）は、例えば、以下の式（４）によって示される。すなわち、一例の重みｗｉは、読み出しノイズＲｉの逆数の累乗であってよい。この場合、読み出しノイズが小さい画素ほど、暫定値が平均フォトン数に反映されやすく、読み出しノイズが大きい画素ほど、暫定値が平均フォトン数に反映され難い。式（４）中、信頼度αは、読み出しノイズが重みｗｉに与える影響を増減させ得る。すなわち、信頼度αが大きくなるほど、読み出しノイズが重みｗｉに与える影響は大きくなる。一例において、α≧０である。なお、信頼度αの値が大きくなり過ぎると、正しい確定値が導出されなくなることが考えられる。そこで、一例においては、信頼度αは、２０未満であってよい。信頼度αは、確率導出部２２ｃにおいて予め設定されている値であってもよいし、光子数識別装置１の使用者によって設定可能な値であってもよい。
Figure JPOXMLDOC01-appb-M000004
　加重平均に基づく平均フォトン数λは、以下の式（５）によって示される。
Figure JPOXMLDOC01-appb-M000005
　第２の確率は、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、光電子数ごとの観測確率である。第２の確率は、以下の式（６）によって示される。式（６）に示されるように、第２の確率は、正規分布（ガウス分布）に従っている。なお、式（６）において、ｘは対象画素の画素値［ｅ］であり、Ｒは対象画素の読み出しノイズ［ｅ－ｒｍｓ］である。すなわち、第２の確率は、対象画素の暫定値（例えば、画素値）において、対象画素のフォトン数がｋと観測される確率（観測確率）である。第２の確率は、光電子数ごとに求められる。
Figure JPOXMLDOC01-appb-M000006
　確率導出部２２ｃは、第１の確率と第２の確率との積に基づいて、対象画素の画素値の確率分布を光電子数（フォトン数）ごとに導出する。すなわち、確率導出部２２ｃは、対象画素のフォトン数が仮定フォトン数であるときの対象画素における画素値の確率分布を導出する。換言すると、確率導出部２２ｃは、対象画素のフォトン数が整数ｎ（ｎはゼロ以上）であるときの対象画素における画素値の確率分布、及び、対象画素のフォトン数が整数ｍ（ｍはゼロ以上であり、ｎではない）であるときの対象画素における画素値の確率分布を導出する。
　第１の確率をＱｋとした場合、確率導出部２２ｃによって導出される対象画素の画素値の確率分布Ｐｋ（ｘ）は、式（７）で示される。
Figure JPOXMLDOC01-appb-M000007
　図３は、平均フォトン数λが１．５のポアソン分布に第１の確率Ｑｋが従い、読み出しノイズＲが０．２７［ｅ－ｒｍｓ］であるときの確率分布Ｐｋ（ｘ）の一例を示した図である。図３では、対象画素の画素値の確率分布が対応するフォトン数（光電子数）ごとに描かれている。すなわち、対象画素のフォトン数が０，１，２，３，４，５フォトンであるときの対象画素における画素値の確率分布がそれぞれ示されている。なお、図３には、フォトン数が０，１，２，３，４，５フォトンであるときの第１の確率も太線Ｌ０，Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５でそれぞれ示されている。
　閾値決定部２２ｄは、確率導出部２２ｃによって導出された確率分布に基づいて、対象画素の暫定値を対応するフォトン数に区分するための閾値データを決定する。換言すると、閾値決定部２２ｄは、画素値に対応するフォトン数が整数ｎになるか整数ｍになるかを区別する閾値データを決定する。整数ｍがｎ＋１である場合、閾値データはフォトン数が「１」異なるときの画素値を区別するための閾値となる。
　対象画素の画素値の確率分布Ｐｋ（ｘ）が上記の式（７）で示される場合、閾値データは、仮定フォトン数ｋｎの確率分布Ｐｋｎ（ｘ）と仮定フォトン数ｋｍの確率分布Ｐｋｍ（ｘ）との交点を求めることにより導出される。すなわち、等式Ｐｋｎ（ｘ）＝Ｐｋｍ（ｘ）をｘについて解くことにより、画素値に対応するフォトン数が整数ｎになるか整数ｍになるかを区別する閾値データを決定できる。一例の閾値決定部２２ｄは、この場合の解ｘをＴ（ｋｎ，ｋｍ）とおき、全ての仮定フォトン数の組み合わせについてＴ（ｋｎ，ｋｍ）を求めることにより、画素値に対応するフォトン数が整数ｎになるか整数ｍになるかを区別する閾値データを取得する。
　図４は、図３に示す確率分布に対応する閾値データの考え方の一例を示す図である。図４では、閾値データによって決定される閾値Ｔの位置が破線で示されており、閾値範囲に対応するフォトン数が示されている。閾値決定部２２ｄは、例えば、閾値範囲と、閾値範囲に対応するフォトン数との組み合わせを閾値データとして取得してもよい。図４では、上述の整数ｎと整数ｍとの関係が、ｍ＝ｎ＋１であり、ｎ＜ｍである例を示している。ここで、フォトン数ｎとフォトン数ｎ＋１とを区別する閾値データＴ（ｋｎ，ｋｍ）をＴ（ｎ）と表す。この場合、Ｔ（ｎ－１）＜ｘ≦Ｔ（ｎ）の各範囲は、フォトン数がｎとなる画素値に対応する閾値範囲である。この範囲の画素値ｘでは、フォトン数ｎにおける確率Ｐｋ（ｘ）の値が最大となる。ただし、ｎ＝０のときは、Ｔ（－１）＝０とし、フォトン数が０となる閾値範囲は、０≦ｘ≦Ｔ（０）とする。なお、各閾値範囲は、Ｔ（ｎ－１）≦ｘ＜Ｔ（ｎ）であってもよい。
　また、図５は、図３に示す確率分布に対応する閾値データの考え方の他の例を示す図である。例えば、図５では、上述の整数ｎと整数ｍとの関係が、ｍ＝ｎ－１であり、ｍ＜ｎである例を示している。ここで、フォトン数ｎ－1とフォトン数ｎを区別する閾値データＴ（ｋｍ，ｋｎ）をＴ（ｎ）と表す。この場合、Ｔ（ｎ）≦ｘ＜Ｔ（ｎ＋１）の各範囲は、フォトン数がｎとなる画素値に対応する閾値範囲である。この範囲の画素値ｘでは、フォトン数ｎにおける確率Ｐｋ（ｘ）の値が最大となる。ただし、ｎ＝０のときは、Ｔ（０）＝０とし、フォトン数が０となる閾値範囲は、０≦ｘ＜Ｔ（１）とする。なお、各閾値範囲は、Ｔ（ｎ）＜ｘ≦Ｔ（ｎ＋１）であってもよい。
　上述のとおり、閾値Ｔ（ｎ）は、確率分布Ｐｋｎ（ｘ）と確率分布Ｐｋｍ（ｘ）との交点に対応している。図４において、閾値Ｔ（１）は、フォトン数の確定値が１フォトンになる画素値とフォトン数の確定値が２フォトンになる画素値とを区分する閾値である。閾値Ｔ（１）は、１フォトンの確率分布と２フォトンの確率分布との交点に対応している。閾値Ｔ（２）は、フォトン数の確定値が２フォトンになる画素値とフォトン数の確定値が３フォトンになる画素値とを区分する閾値である。閾値Ｔ（２）は、２フォトンの確率分布と３フォトンの確率分布との交点に対応している。この閾値Ｔ（１）から閾値Ｔ（２）の範囲では、２フォトンのときの確率分布Ｐｋ（ｘ）が最大値であるため、画素値に対応するフォトン数は２フォトンとなっている。また、図５において、閾値Ｔ（１）は、フォトン数の確定値が０フォトンになる画素値とフォトン数の確定値が１フォトンになる画素値とを区分する閾値である。閾値Ｔ（１）は、０フォトンの確率分布と１フォトンの確率分布との交点に対応している。閾値Ｔ（２）は、フォトン数の確定値が１フォトンになる画素値とフォトン数の確定値が２フォトンになる画素値とを区分する閾値である。閾値Ｔ（２）は、１フォトンの確率分布と２フォトンの確率分布との交点に対応している。この閾値Ｔ（１）から閾値Ｔ（２）の範囲では、１フォトンのときの確率分布Ｐｋ（ｘ）が最大値であるため、画素値に対応するフォトン数は１フォトンとなっている。
　確定値導出部２２ｂは、閾値データに基づいて、暫定値に対応するフォトン数を導出する。すなわち、確定値導出部２２ｂは、出力された暫定値に対応する閾値範囲を特定し、特定された閾値範囲に対応するフォトン数を暫定値に対応するフォトン数として出力する。以上のように、確定値導出部２２ｂは、対象画素において最も確率的にあり得るフォトン数を対象画素の確定値として導出する。
　図６は、光子数識別装置の動作（閾値決定方法）の一例を示すフローチャートである。本実施形態では、光子数識別装置１が動作された状態で計測が開始されると、まず、ＣＭＯＳイメージセンサ１０の画素１１に対して入射されたフォトンがフォトダイオード１２によって電荷に変換される（ステップＳ１１）。そして、変換された電荷は、アンプ１３によって電圧に変換される（ステップＳ１２）。当該電圧は、Ａ／Ｄコンバータ１５によってデジタル値に変換されてコンピュータ２０に出力される（ステップＳ１３）。
　変換部２２の暫定値導出部２２ａは、記憶部２１のテーブルを参照して得られた各画素のゲイン及びオフセット値に基づいて、デジタル値から暫定値を導出する（ステップＳ１４）。導出された暫定値は、例えば記憶部２１に格納されてよい。続いて、確率導出部２２ｃは、確率分布Ｐｋ（ｘ）を導出する（ステップＳ１５）。すなわち、確率導出部２２ｃは、暫定値に基づいて各画素の平均フォトン数を導出し、導出された平均フォトン数と記憶部２１のテーブルを参照して得られた各画素の読み出しノイズとに基づいて、確率分布Ｐｋ（ｘ）を導出する。続いて、閾値決定部２２ｄは、導出された確率分布Ｐｋ（ｘ）に基づいて、各画素における画素値を対応するフォトン数に区分するための閾値データを導出する（ステップＳ１６）。導出された各画素の閾値データは、閾値データマップとして例えば記憶部２１に格納されてもよい。
　図７は、光子数識別装置の動作（光子数識別方法）の一例を示すフローチャートである。本実施形態では、光子数識別装置１が動作された状態で計測が開始されると、まず、ＣＭＯＳイメージセンサ１０の画素１１に対して入射されたフォトンがフォトダイオード１２によって電荷に変換される（ステップＳ２１）。そして、変換された電荷は、アンプ１３によって電圧に変換される（ステップＳ２２）。当該電圧は、Ａ／Ｄコンバータ１５によってデジタル値に変換されてコンピュータ２０に出力される（ステップＳ２３）。変換部２２の暫定値導出部２２ａは、記憶部２１のテーブルを参照して得られた各画素のゲイン及びオフセット値に基づいて、デジタル値から暫定値を導出する（ステップＳ２４）。続いて、確定値導出部２２ｂは、記憶部２１に格納された閾値データに基づいて、画素値に対応するフォトン数を各画素におけるフォトン数の確定値として導出する（ステップＳ２５）。以上のようにして、複数の画素ごとにフォトン数が計測される。計測結果（光子数識別データ）は、例えば画像データ等として表示装置２５に出力される（ステップＳ２６）。
　図８は、光子数識別装置の動作（リアルタイム処理）の一例を示すフローチャートである。一例のリアルタイム処理においては、閾値決定の処理と光子数識別の処理とが一連の動作として実行され得る。本実施形態では、光子数識別装置１が動作された状態で計測が開始されると、まず、ＣＭＯＳイメージセンサ１０の画素１１に対して入射されたフォトンがフォトダイオード１２によって電荷に変換される（ステップＳ３１）。そして、変換された電荷は、アンプ１３によって電圧に変換される（ステップＳ３２）。当該電圧は、Ａ／Ｄコンバータ１５によってデジタル値に変換されてコンピュータ２０に出力される（ステップＳ３３）。
　変換部２２の暫定値導出部２２ａは、記憶部２１のテーブルを参照して得られた各画素のゲイン及びオフセット値に基づいて、デジタル値から対象画素及び周辺画素の暫定値を導出する（ステップＳ３４）。導出された暫定値は、例えば記憶部２１に格納されてよい。続いて、確率導出部２２ｃは、互いに異なるフォトン数における確率分布を導出する（ステップＳ３５）。一例において、確率導出部２２ｃは、暫定値に基づいて対象画素の平均フォトン数を導出し、導出された平均フォトン数と記憶部２１のテーブルを参照して得られた各画素の読み出しノイズとに基づいて、仮定フォトン数ｋ０（例えば、０フォトン）における確率分布Ｐｋ０（ｘ）を導出する。さらに、確率導出部２２ｃは、仮定フォトン数ｋ０の次のフォトン数である仮定フォトン数ｋ１（例えば、１フォトン）における確率分布Ｐｋ１（ｘ）を導出する。続いて、閾値決定部２２ｄは、確率分布Ｐｋ０（ｘ）及び確率分布Ｐｋ１（ｘ）に基づいて、フォトン数ｋ０とフォトン数ｋ１とを区別するための閾値データＴ（ｋ０）を導出する（ステップＳ３６）。
　続いて、光子数識別装置１の確定値導出部２２ｂは、ステップＳ３６で導出した閾値データと対象画素の画素値とを比較し（ステップＳ３７）、閾値データに基づいて確定値を判定する（ステップＳ３８）。上記の例のように、０フォトンと１フォトンとを区別するための閾値データが取得されている場合、確定値導出部２２ｂは、ｘ≦Ｔ（ｋ０）の場合に、ｋ０を当該対象画素のフォトン数の確定値として取得する。一方、Ｔ（ｋ０）＜ｘの場合、ｋ０を当該対象画素のフォトン数の確定値としない。フォトン数が未確定の場合、確定値導出部２２ｂは、次のフォトン数を区別するための閾値データと画素値とを比較する。上記の例では、閾値決定部２２ｄは、次のフォトン数ｋ２の確率分布Ｐｋ２（ｘ）を導出し、確率分布Ｐｋ１（ｘ）及び確率分布Ｐｋ２（ｘ）に基づいてフォトン数ｋ１とフォトン数ｋ２とを区別するための閾値データＴ（ｋ１）を導出する。この例では、０フォトンと１フォトンとを区別するための閾値データによってフォトン数が確定されなかったため、次のフォトン数ｋ２は２フォトンとなる。すなわち、導出される閾値データＴ（ｋ１）は、１フォトンと２フォトンとを区別するためのデータである。
　確定値導出部２２ｂは、閾値データＴ（ｋ１）と画素値ｘとを比較し、ｋ１を確定値とするか否かを判定する。既にＴ（ｋ０）＜ｘであることが判定されているため、実質的に、確定値導出部２２ｂは、Ｔ（ｋ０）＜ｘ≦Ｔ（ｋ１）が成立するか否かを判定する。Ｔ（ｋ０）＜ｘ≦Ｔ（ｋ１）が成立する場合、ｋ１が当該対象画素のフォトン数として確定する。Ｔ（ｋ０）＜ｘ≦Ｔ（ｋ１）が成立しない場合、当該対象画素のフォトン数が確定するまで、仮定フォトン数が１ずつ加算されてステップＳ３５からステップＳ３８までの処理が繰り返される。そして、全ての対象画素について確定値が決定されたか否かが判定される（ステップＳ３９）。全ての対象画素についての処理が終了していない場合、未処理の対象画素についてステップＳ３４以降の処理が実行される。全ての対象画素の処理が終了すると、各画素の計測結果（光子数識別データ）は、例えば画像データ等として表示装置２５に出力される（ステップＳ４０）。
　なお、図８の例では、ステップＳ３４において対象画素及び周辺画素の暫定値を導出しているが、ステップＳ３４では、全ての画素或いは所望の画素、すなわち全ての対象画素の暫定値が導出されてもよい。その場合、ステップＳ３９において全ての対象画素の処理が終了していないと判定されると、未処理の対象画素についてステップＳ３５以降の処理が実行されてもよい。
　図９は、閾値決定処理及び光子数識別処理をコンピュータに実行させるプログラムが格納された記録媒体１００を示す図である。記録媒体１００に格納された処理プログラムＰ１（閾値決定プログラム、光子数識別処理プログラム）は、暫定値導出モジュールＰ２２ａ、確定値導出モジュールＰ２２ｂ、データ処理モジュールＰ２３及び制御モジュールＰ２４を備える。確定値導出モジュールＰ２２ｂは、確率導出モジュールＰ２２ｃ及び閾値決定モジュールＰ２２ｄを含む。暫定値導出モジュールＰ２２ａ、確定値導出モジュールＰ２２ｂ、確率導出モジュールＰ２２ｃ、閾値決定モジュールＰ２２ｄ、データ処理モジュールＰ２３及び制御モジュールＰ２４を実行することにより実現される機能（処理）はそれぞれ、上記の暫定値導出部２２ａ（第１導出処理）、確定値導出部２２ｂ（第２導出処理）、確率導出部２２ｃ、閾値決定部２２ｄ、データ処理部２３及び制御部２４の機能（処理）と同様である。
　処理プログラムＰ１は、コンピュータ読み取り可能な記録媒体１００におけるプログラム記録領域に記録されている。記録媒体１００は、非一時的な記録媒体であってもよい。記録媒体１００は、例えばＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭ、半導体メモリ等の記録媒体によって構成されている。処理プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
　以上説明したように、一例の光子数識別装置１は、入力された光を電荷に変換するフォトダイオード１２とフォトダイオード１２によって変換された電荷を増幅して電圧に変換するアンプ１３とを含む複数の画素１１と、複数の画素１１のアンプ１３から出力される電圧をデジタル値に変換するＡ／Ｄコンバータ１５と、デジタル値に基づいて、複数の画素１１における各画素のフォトン数の暫定値（例えば画素値）を導出する暫定値導出部２２ａと、複数の画素のうちの一つである対象画素の暫定値を対応するフォトン数に区分するための閾値データに基づいて、暫定値に対応するフォトン数を導出する確定値導出部２２ｂと、を備える。閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである。
　また、光子数識別における一例の閾値決定方法は、複数の画素１１のうちの一つである対象画素の暫定値を対応するフォトン数に区分するための閾値データを導出する方法である。この方法は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる暫定値の第１の確率分布と、対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる暫定値の第２の確率分布とを求める工程と、第１の確率分布と第２の確率分布とに基づいて、暫定値を整数ｎと整数ｍとに区別する閾値データを求める工程と、を備える。
　上記の閾値決定方法では、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、第１の確率分布及び第２の確率分布が求められている。この第１の確率分布と第２の確率分布とに基づいて閾値データが導出されている。そして、光子数識別システムでは、このように導出された閾値データに基づいて、暫定値を対応するフォトン数に区分している。
　例えば、読み出しノイズが大きい画素では、導出される暫定値に含まれる誤差が大きくなることがある。この場合、暫定値からフォトン数の確定値を導出しようとすると、暫定値に含まれる誤差に応じて確定値の精度が低下することが考えられる。しかしながら、一例の光子数識別システムで利用される閾値データは、対象画素における読み出しノイズの大きさが考慮されて導出されている。したがって、確定値を導出する際の読み出しノイズによる影響を小さくすることができるので、光子数識別の精度を向上させることができる。また、このような光子数識別装置では、導出された閾値データと暫定値との比較によって確定値を決定できるため、処理時間を短縮することができる。
　一例において、整数ｍは、ｍ＝ｎ＋１を満たす。この構成では、フォトン数が「１」異なる暫定値同士を区分するための閾値が導出される。
　一例において、第１の確率分布及び第２の確率分布は、フォトン数の確率分布に基づく光電子数ごとの観測確率と対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率との積に基づいて導出されてよい。この構成では、第１の確率分布及び第２の確率分布を適切に記述することができる。
　以上、実施の形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られない。
　例えば、上記種々の実施形態では、ポアソン分布に代表される光ショットノイズに伴う光電子数の確率分布に基づいて第１の確率が導出される例を示したが、第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づいて導出されていればよい。
　例えば、光源の種類に基づいて、光のフォトン数分布に伴う光電子数の確率分布が推定可能な場合には、光源に応じた確率分布に基づいて第１の確率を導出してよい。一例として、光源がＬＥＤなどの非コヒーレントな光源、又は熱光子源である場合、フォトン数の揺らぎがポアソン分布よりも大きいフォトン数分布である超ポアソン分布（Super-poissonian distribution）に基づいて第１の確率が導出されてもよい。また、光源が量子光源である場合、光子数の揺らぎがポアソン分布よりも小さいフォトン数分布であるサブポアソン分布（Sub-poissonian distribution）に基づいて第１の確率が導出されてもよい。また、この場合、単一光子源などの光子数スクイーズド状態（例えばフォック状態）が示すフォトン数分布に基づいて第１の確率が導出されてもよいし、自発的パラメトリック下方変換（Spontaneous parametric down conversion, SPDC）などで生成する量子もつれ光子状態（例えばＮＯＯＮ状態）が示すフォトン数分布に基づいて第１の確率が導出されてもよい。また、量子光源を用いた複雑な光子状態において、モードの組み合わせによって生成される複雑なフォトン数分布（すなわち、マルチモードスクイーズド状態の光子数分布（Photon number distribution of multi-mode squeezed states））に基づいて第１の確率が導出されてもよい。また、光源が熱放射光源（Thermal light source）、疑似熱放射光源（Pseudo-thermal light source）である場合、ボーズ＝アインシュタイン分布（Bose-Einstein distribution）に基づいて第１の確率が導出されてもよい。また、数値の大きいほうにテールが長く伸びる形状を有する対数正規（Log-normal）分布、各フォトン数に対して確率が一様な分布である一様（Uniform）分布、複数の光子数分布を組み合わせた分布である混合分布（Mixture of multiple photon distribution）などに基づいて第１の確率が導出されてもよい。
　このように、フォトン数の確率分布に基づく光電子数ごとの観測確率は、ポアソン分布、超ポアソン分布、サブポアソン分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、および混合分布のうちのいずれか１つの分布に基づいていてもよい。確率分布が推定可能な場合、理想的な確率分布を取得することが可能となる。
　また、フォトン数の確率分布に基づく光電子数ごとの観測確率は、参照画素に光が入力されたときの参照画素のデジタル値に基づいて、確定値導出部２２ｂによって導出されてもよい。この構成では、実測データであるデジタル値に基づいて観測確率が導出されるので、光電変換素子に光を入力するための光源を選ばない。例えば、参照画素は、ＣＭＯＳイメージセンサ１０を構成する複数の画素１１のうちの少なくとも一つの画素であってよい。一例において、参照画素の読み出しノイズは、複数の画素１１の読み出しノイズの全体平均よりも小さい値であってよい。この場合、参照画素のデジタル値から求められる暫定値は、平均的な読み出しノイズを有する画素の暫定値に比べて、精度良くフォトン数を反映し得る。例えば、参照画素の読み出しノイズは、所定の値以下であってよい。一例において、参照画素の読み出しノイズは、０．８［ｅ－ｒｍｓ］以下であってもよい。また、より正確なフォトン数の確率分布を取得したい場合には、読み出しノイズが０．３［ｅ－ｒｍｓ］以下の画素１１のみを参照画素としてもよい。
　上記の場合、一例の記憶部２１は、参照画素に適合する読み出しノイズを有する画素１１の一部又は全部のアドレス情報を保持していてもよい。確定値導出部２２ｂは、記憶部２１のアドレス情報を参照することにより、参照画素を特定することができる。したがって、確定値導出部２２ｂは、参照画素のデジタル値、画素値、暫定フォトン数等の出力データを適切に取得できる。なお、記憶部２１に参照画素のアドレス情報が保持されていない場合、確定値導出部２２ｂは、各画素の読み出しノイズ（ノイズマップ）を参照し、参照画素に適合する読み出しノイズを有する画素（すなわち参照画素）の出力データを抽出してもよい。
　例えば、確定値導出部２２ｂは、複数の参照画素の出力データに基づいてフォトン数の確率分布を導出してもよい。一例において、複数の参照画素の出力データは、複数の参照画素に対して光源からの一様な光量の光が入力されている状態で取得され得る。ＣＭＯＳイメージセンサ１０を構成する全ての画素１１に対して光源からの一様な光量の光が入力されている場合、全ての参照画素がフォトン数の確率分布の導出に利用されてもよい。また、ＣＭＯＳイメージセンサ１０において対象画素を含む一部の領域の画素１１に対して光源からの一様な光量の光が入力されている場合、この一部の領域に含まれる参照画素のみがフォトン数の確率分布の導出に利用されてもよい。
　例えば、確定値導出部２２ｂは、複数の参照画素に対応する複数の暫定フォトン数のデータを取得し得る。そして、確定値導出部２２ｂは、取得した複数の暫定フォトン数のデータを統計的に処理することにより、フォトン数の確率分布を導出してもよい。すなわち、確定値導出部２２ｂは、取得された暫定フォトン数のデータ数を暫定フォトン数ごとに集計し、集計結果をそれぞれ全データ数で除算することにより、暫定フォトン数ごとの観測確率を示す確率分布（すなわちフォトン数の確率分布）を導出することができる。確定値導出部２２ｂは、この確率分布に基づいて、第１の確率を取得してもよい。第１の確率は、フォトン数の確率分布を取得したときと同条件の一様な光が対象画素に入力されているときの、対象画素のフォトン数がｋと観測される確率である。すなわち、確定値導出部２２ｂは、フォトン数の確率分布からフォトン数がｋであるときの確率を第１の確率として取得する。
　フォトン数の確率分布を導出する場合、暫定フォトン数のデータ数が多いほど、すなわちサンプルサイズが大きいほど、精度の高い結果を得ることができる。そこで、確定値導出部２２ｂは、暫定フォトン数のデータを複数フレーム分取得し、取得されたデータに基づいてフォトン数の確率分布を導出してもよい。
　また、加重平均を利用して平均フォトン数を算出する際の重みは、上記の実施形態の例に限定されない。平均フォトン数を算出する際の重みとして、加重平均による平均フォトン数と真の平均フォトン数との誤差を小さくするような重みを利用する場合、以下のように求められる重みを利用してもよい。なお、真の平均フォトン数は、周辺画素の真のフォトン数の算術平均であってよい。
　加重平均による平均フォトン数λ＊と真の平均フォトン数λとの誤差を小さくする重みｗを求める場合、λ＊とλとの二乗誤差の期待値Ｅ［（λ＊－λ）２］を最小にするようなｗを算出すればよい。まず、λ＊の期待値Ｅ［λ＊］を求める。画素値ｘは、式（８）に示す確率分布ｐ（ｘ）に従う。
Figure JPOXMLDOC01-appb-M000008
　この確率分布に基づいて期待値を計算すると、Ｅ［λ＊］＝λとなり、重みｗに依らずλ＊の期待値はλに一致する。続いて、Ｅ［（λ＊－λ）２］を求めると、以下の式（９）が導出される。
Figure JPOXMLDOC01-appb-M000009
　式（９）を最小化する重みｗｉを求める。ｗｊについて微分してゼロとおくと、式（１０）となる。
Figure JPOXMLDOC01-appb-M000010
　さらに、ｊ＝０について書き下せば、式（１１）となる。
Figure JPOXMLDOC01-appb-M000011
　ｊ≠０の場合と辺々差分をとると、式（１２）となり、式（１３）が導出される。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　ここで、例えばｗ０を式（１４）のようにおくことで、全てのｉについて式（１５）が成立する。この場合、加重平均による平均フォトン数λ＊は、式（１６）で示される。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　式（１５）の中には、真の平均フォトン数λが含まれているため、式（１５）をそのまま計算することはできない。そこで、一例においては、周辺画素の重み無し平均として算出される平均フォトン数をλとして仮定して、式（１５）に基づいて導出されるｗｉを重みとしてもよい。
　式（１５）に基づいて導出されたｗｉは、セルフコンシステントに解かれてもよい。すなわち、導出された重みｗｉを式（１６）に代入することで平均フォトン数を得て、この平均フォトン数を用いて式（１５）から重みｗｉを導出するという工程を繰り返してもよい。また、加重平均による平均フォトン数λ＊と真の平均フォトン数λとが近似することを期待して、式（１７）の解を平均フォトン数としてもよい。これは不動点定理を用いて、右辺の関数が縮小写像であるとき式（１８）で解を求めることができる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　また、対象画素の平均フォトン数は、複数フレームの暫定値のデータに基づいて導出されてもよい。すなわち、確定値導出部２２ｂは、複数の画素における暫定値のデータを複数フレーム分取得し、取得されたデータに基づいて平均フォトン数を導出してもよい。例えば、確定値導出部２２ｂは、取得したフレーム毎に対象画素の平均フォトン数をそれぞれ導出し、導出された平均フォトン数の平均値をλとして第１の確率を求めてもよい。また、確定値導出部２２ｂは、取得した複数フレーム分の暫定値のデータを一つの母集団として対象画素の平均フォトン数を導出し、導出された平均フォトン数をλとして第１の確率を求めてもよい。また、確定値導出部２２ｂは、取得したフレーム間において、画素ごとに暫定値の平均値を算出し、この平均値を各画素の暫定値として平均フォトン数を導出してもよい。
　１…光子数識別装置、１１…画素、１２…フォトダイオード（光電変換素子）、１３…アンプ、１５…Ａ／Ｄコンバータ、２１…記憶部、２２ａ…暫定値導出部（第１導出部）、２２ｂ…確定値導出部（第２導出部）。
 

Claims (18)

  1. 　入力された光を電荷に変換する光電変換素子と前記光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、前記複数の画素の前記アンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する導出部と、を備える光子数識別システムにおいて、前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データを導出する方法であって、
    　フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、前記対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる前記暫定値の第１の確率分布と、前記対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる前記暫定値の第２の確率分布とを求める工程と、
    　前記第１の確率分布と前記第２の確率分布とに基づいて、前記暫定値を前記整数ｎと前記整数ｍとに区別する閾値データを求める工程と、を備える閾値決定方法。
  2. 　前記整数ｍは、ｍ＝ｎ＋１を満たす、請求項１に記載の閾値決定方法。
  3. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、ポアソン分布、超ポアソン分布、サブポアソン分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、および混合分布のうちのいずれか１つの分布である、請求項１又は２に記載の閾値決定方法。
  4. 　前記第１の確率分布及び前記第２の確率分布は、前記フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率との積に基づいて導出される、請求項１～３のいずれか一項に記載の閾値決定方法。
  5. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、前記複数の画素のうちの少なくとも一つの画素である参照画素に前記光が入力されたときの前記デジタル値に基づいて導出される、請求項１～４のいずれか一項に記載の閾値決定方法。
  6. 　入力された光を電荷に変換する光電変換素子と前記光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、前記複数の画素の前記アンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する導出部と、を備える光子数識別システムにおいて、前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データを導出する処理をコンピュータに実行させるプログラムであって、
    　前記閾値データを導出する処理は、
    　　フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、前記対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる前記暫定値の第１の確率分布と、前記対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる前記暫定値の第２の確率分布とを求める処理と、
    　　前記第１の確率分布と前記第２の確率分布とに基づいて、前記暫定値を前記整数ｎと前記整数ｍとに区別する閾値データを求める処理と、を備える、閾値決定プログラム。
  7. 　前記整数ｍは、ｍ＝ｎ＋１を満たす、請求項６に記載の閾値決定プログラム。
  8. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、ポアソン分布、超ポアソン分布、サブポアソン分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、および混合分布のうちのいずれか１つの分布である、請求項６又は７に記載の閾値決定プログラム。
  9. 　前記第１の確率分布及び前記第２の確率分布は、前記フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率との積に基づいて導出される、請求項６～８のいずれか一項に記載の閾値決定プログラム。
  10. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、前記複数の画素のうちの少なくとも一つの画素である参照画素に前記光が入力されたときの前記デジタル値に基づいて導出される、請求項６～９のいずれか一項に記載の閾値決定プログラム。
  11. 　入力された光を電荷に変換する光電変換素子と前記光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、
    　前記複数の画素の前記アンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、
    　前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、
    　前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データを導出する第２導出部と、を備え、
    　第２導出部は、
    　　フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づいて、前記対象画素におけるフォトン数が整数ｎ（ｎは０以上）となる前記暫定値の第１の確率分布と、前記対象画素におけるフォトン数が整数ｍ（ｍは０以上であり、ｎではない）となる前記暫定値の第２の確率分布とを求める確率導出部と、
    　　前記第１の確率分布と前記第２の確率分布とに基づいて、前記暫定値を前記整数ｎと前記整数ｍとに区別する閾値データを決定する閾値決定部と、を備える、閾値決定装置。
  12. 　前記整数ｍは、ｍ＝ｎ＋１を満たす、請求項１１に記載の閾値決定装置。
  13. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、ポアソン分布、超ポアソン分布、サブポアソン分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、および混合分布のうちのいずれか１つの分布である、請求項１１又は１２に記載の閾値決定装置。
  14. 　前記第１の確率分布及び前記第２の確率分布は、前記フォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率との積に基づいて導出される、請求項１１～１３のいずれか一項に記載の閾値決定装置。
  15. 　前記フォトン数の確率分布に基づく光電子数ごとの観測確率は、前記複数の画素のうちの少なくとも一つの画素である参照画素に前記光が入力されたときの前記デジタル値に基づいて導出される、請求項１１～１４のいずれか一項に記載の閾値決定装置。
  16. 　入力された光を電荷に変換する光電変換素子と前記光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、
    　前記複数の画素の前記アンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、
    　前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、
    　前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データに基づいて、前記暫定値に対応するフォトン数を導出する第２導出部と、を備え、
    　前記閾値データは、前記光のフォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、前記暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである、光子数識別システム。
  17. 　複数の画素を有する２次元イメージセンサから出力される前記複数の画素に対応するデジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する工程と、
    　前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データに基づいて、前記暫定値に対応するフォトン数を導出する工程と、を備え、
    　前記閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、前記暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである、光子数識別方法。
  18. 　複数の画素を有する２次元イメージセンサから出力される前記複数の画素に対応するデジタル値に基づいて、光子数識別の処理をコンピュータに実行させるプログラムであって、
    　前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する処理と、
    　前記複数の画素のうちの一つである対象画素における前記フォトン数の前記暫定値を対応するフォトン数に区分するための閾値データに基づいて、前記暫定値に対応するフォトン数を導出する処理と、
    　をコンピュータに実行させ、
    　前記閾値データは、光のフォトン数の確率分布に基づく光電子数ごとの観測確率と前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく光電子数ごとの観測確率とに基づく、前記暫定値を整数ｎ（ｎは０以上）と整数ｍ（ｍは０以上であり、ｎではない）とに区別する閾値データである、光子数識別処理プログラム。
     
PCT/JP2022/041948 2021-12-24 2022-11-10 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム WO2023119934A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280085067.2A CN118435619A (zh) 2021-12-24 2022-11-10 阈值确定方法、阈值确定程序、阈值确定装置、光子数识别系统、光子数识别方法及光子数识别处理程序
JP2023569154A JPWO2023119934A1 (ja) 2021-12-24 2022-11-10
EP22910653.9A EP4422200A1 (en) 2021-12-24 2022-11-10 Threshold value determination method, threshold value determination program, threshold value determination device, photon number identification system, photon number identification method, and photon number identification processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021211065 2021-12-24
JP2021-211065 2021-12-24

Publications (1)

Publication Number Publication Date
WO2023119934A1 true WO2023119934A1 (ja) 2023-06-29

Family

ID=86902085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041948 WO2023119934A1 (ja) 2021-12-24 2022-11-10 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム

Country Status (4)

Country Link
EP (1) EP4422200A1 (ja)
JP (1) JPWO2023119934A1 (ja)
CN (1) CN118435619A (ja)
WO (1) WO2023119934A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102636A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020038129A (ja) * 2018-09-04 2020-03-12 浜松ホトニクス株式会社 平均光子数の推定方法及び平均光子数の推定装置
JP2020096646A (ja) * 2016-12-05 2020-06-25 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020096646A (ja) * 2016-12-05 2020-06-25 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
WO2019102636A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
WO2019102637A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020167728A (ja) * 2017-11-24 2020-10-08 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2021182751A (ja) * 2017-11-24 2021-11-25 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020038129A (ja) * 2018-09-04 2020-03-12 浜松ホトニクス株式会社 平均光子数の推定方法及び平均光子数の推定装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. SALEH MASOODIANJIAJU MADAKOTA STARKEYYUICHIRO YAMASHITAERIC R. FOSSUM: "A 1Mjot 1040fps 0.22e-rms Stacked BSI Quanta Image Sensor with Cluster-Parallel Readout", 2017 INTERNATIONAL IMAGE SENSOR WORKSHOP (IISW) PROCEEDINGS, 30 May 2017 (2017-05-30), pages 230 - 233
DAKOTA A. STARKEY ET AL.: "Determining Conversion Gain and Read Noise Using a Photon-Counting Histogram Method for Deep Sub-Electron Read Noise Image Sensors", JOURNAL OF THE ELECTRON DEVICES SOCIETY, vol. 4, no. 3, May 2016 (2016-05-01), pages 129,135, XP011607396, DOI: 10.1109/JEDS.2016.2536719
JIAJU MA ET AL.: "Photon-number-resolving megapixel image sensor at room temperature without avalanche gain", OPTICA, vol. 4, no. 12, December 2017 (2017-12-01), pages 1474,1481, XP055983277, DOI: 10.1364/OPTICA.4.001474

Also Published As

Publication number Publication date
CN118435619A (zh) 2024-08-02
EP4422200A1 (en) 2024-08-28
JPWO2023119934A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
JP6920515B2 (ja) フォトンカウンティング装置およびフォトンカウンティング方法
WO2023119934A1 (ja) 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム
WO2023119933A1 (ja) 光子数識別システム、光子数識別方法および光子数識別処理プログラム
WO2022185691A1 (ja) フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム
WO2023042554A1 (ja) 推定方法、推定プログラム及び推定装置
JPWO2023119934A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023569154

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18709973

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022910653

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022910653

Country of ref document: EP

Effective date: 20240523

NENP Non-entry into the national phase

Ref country code: DE