WO2022185691A1 - フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム - Google Patents

フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム Download PDF

Info

Publication number
WO2022185691A1
WO2022185691A1 PCT/JP2021/048340 JP2021048340W WO2022185691A1 WO 2022185691 A1 WO2022185691 A1 WO 2022185691A1 JP 2021048340 W JP2021048340 W JP 2021048340W WO 2022185691 A1 WO2022185691 A1 WO 2022185691A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
value
probability
photons
distribution
Prior art date
Application number
PCT/JP2021/048340
Other languages
English (en)
French (fr)
Inventor
貴文 樋口
輝雄 高橋
真央 中島
勝大 中本
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to CN202180095045.XA priority Critical patent/CN116940813A/zh
Priority to JP2023503403A priority patent/JPWO2022185691A1/ja
Priority to EP21929247.1A priority patent/EP4286807A1/en
Publication of WO2022185691A1 publication Critical patent/WO2022185691A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4413—Type
    • G01J2001/442—Single-photon detection or photon counting

Definitions

  • the present disclosure relates to a photon counting device, a photon counting method, and a photon counting processing program.
  • Patent Documents 1 and 2 describe a photon counting device using a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • photoelectrons generated according to the number of input photons are accumulated as charges.
  • the charge accumulated in the photoelectric conversion element is converted into a voltage and amplified by an amplifier.
  • a voltage output from the amplifier is converted into a digital value by an A/D converter.
  • the photon counting device determines the number of photons of the pixels forming the image sensor based on the digital value output from the A/D converter.
  • Non-Patent Documents 1 to 3 describe techniques related to photon counting using a CMOS image sensor.
  • readout noise which is random noise, occurs in the amplifier when the voltage amplified by the amplifier is read out.
  • the readout noise is large, the probability distribution of observed photoelectrons becomes broad. Therefore, the readout noise of each pixel is desired to be small.
  • pixel readout noise may have a certain range of variation. In this case, there is a possibility that the accuracy of photon counting may decrease in pixels with high readout noise.
  • An object of one aspect of the present disclosure is to provide a photon counting device capable of suppressing deterioration in photon counting accuracy.
  • An example of a photon counting device includes a plurality of pixels including a photoelectric conversion element that converts input light into electric charge, an amplifier that amplifies the electric charge converted by the photoelectric conversion element and converts it into a voltage, and an amplifier of the plurality of pixels.
  • a / D converter that converts the voltage output from to a digital value, a first derivation unit that derives a provisional value of the number of photons of each pixel in a plurality of pixels based on the digital value, a first probability and a first a second derivation unit for deriving a deterministic value of the number of photons in the target pixel, which is one of the plurality of pixels, based on a probability of 2, wherein the first probability is associated with the photon number distribution of light.
  • the second probability is the observation probability for each photoelectron number in the target pixel based on the probability distribution of the number of photoelectrons, and the second probability is the number of photoelectrons in the provisional value of the target pixel based on the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel. is the observed probability of
  • the first derivation unit derives the provisional value of the number of photons in each pixel based on the magnitude of the digital value corresponding to the amount of charge generated in each pixel. For example, pixels with high readout noise may have large errors in the derived interim values.
  • the second derivation unit derives a definitive value of the number of photons when the target pixel exhibits the provisional value, based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light and the probability distribution of the number of photoelectrons associated with readout noise. .
  • the definite value of the number of photons is derived in consideration of the magnitude of the readout noise in the target pixel. Therefore, it is possible to reduce the influence of readout noise on the derivation of the deterministic value, thereby improving the accuracy of photon counting.
  • An exemplary second derivation unit calculates a probability for each number of photoelectrons when the target pixel indicates a provisional value by multiplying the first probability and the second probability, and calculates a definite value based on the calculated probability. may decide.
  • the most probable number of photons can be obtained by setting the number of photoelectrons that indicates the maximum value among the probabilities for each number of photoelectrons when the target pixel indicates a provisional value.
  • An example of the probability distribution of the number of photoelectrons associated with the photon number distribution of light is the Poisson distribution, the super-Poisson distribution, the sub-Poisson distribution, the photon number distribution indicated by the photon number squeezed state, the photon number distribution indicated by the quantum entangled photon state, and multimode. It may be any one of a squeezed photon number distribution, a Bose-Einstein distribution, a logarithmic normal distribution, a uniform distribution, or a mixed distribution. With this configuration, the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light can be appropriately described.
  • the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel may be a normal distribution.
  • the probability distribution of the number of photoelectrons associated with readout noise can be appropriately described.
  • the second derivation unit calculates an average value of provisional values of the peripheral pixels, with two or more pixels included in a partial region around the target pixel among the plurality of pixels as peripheral pixels, and considers the average value. may be used to calculate the first probability. In this configuration, the reliability of the first probability is increased by considering the average value of the number of photoelectrons in the peripheral pixels.
  • An example of the average value may be a weighted average including readout noise of peripheral pixels in the weighting. With this configuration, it is possible to obtain a highly reliable average value of the number of photoelectrons in peripheral pixels with small readout noise.
  • An example of the average value may be a weighted average that includes the distance between the target pixel and each of the surrounding pixels. With this configuration, it is possible to obtain an average value with increased reliability of the number of photoelectrons of neighboring pixels closer to the target pixel.
  • An example of the average value may be a weighted average including a weight that reduces the error from the average value of the number of photons of the surrounding pixels. By using such a weighted average, an improvement in the accuracy of calculating the average value can be expected.
  • the second derivation unit may calculate the average value of the provisional values based on the data of the provisional values in a plurality of frames. By using provisional values in a plurality of frames in this manner, an improvement in the accuracy of calculation of the average value can be expected.
  • An exemplary second derivation unit includes a definite value derived from a pixel having readout noise equal to or greater than a predetermined value among the plurality of pixels as a target pixel, and a pixel having readout noise less than the predetermined value among the plurality of pixels. Photon-counting data for a plurality of pixels may be created with the provisional values. With this configuration, calculation for deriving the observation probability is not required for pixels having readout noise less than a predetermined value.
  • An exemplary second derivation unit calculates a definite value derived from a pixel having a provisional value less than a predetermined value among the plurality of pixels as a target pixel, and a pixel having a provisional value equal to or greater than the predetermined value among the plurality of pixels. Photon-counting data for a plurality of pixels may be created with the provisional values. With this configuration, calculation for deriving the observation probability is not required for pixels having a provisional value equal to or greater than a predetermined value.
  • the example second derivation unit may have a noise map indicating the readout noise of each of the plurality of pixels. That is, the second derivation unit may derive the second probability by referring to data including the noise map.
  • An example photon counting method includes: deriving a provisional value of the number of photons for each of the plurality of pixels based on digital values corresponding to the plurality of pixels output from a two-dimensional image sensor having a plurality of pixels; deriving a deterministic value of the number of photons in the target pixel, which is one of the plurality of pixels, based on the first probability and the second probability; deriving the deterministic value includes: As the probability of , the observation probability for each number of photoelectrons in the target pixel is obtained based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light. determining an observation probability for each number of photoelectrons in the provisional value of the target pixel based on the distribution.
  • a provisional value of the number of photons in each pixel is derived based on the magnitude of the digital value corresponding to the amount of charge generated in each pixel. For example, pixels with high readout noise may have large errors in the derived interim values. Further, based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light and the probability distribution of the number of photoelectrons associated with readout noise, a definitive value of the number of photons when the target pixel exhibits the provisional value is derived. In this way, the definite value of the number of photons is derived in consideration of the magnitude of the readout noise in the target pixel. Therefore, it is possible to reduce the influence of readout noise on the derivation of the deterministic value, thereby improving the accuracy of photon counting.
  • An example of deriving a definite value is to calculate the probability for each number of photoelectrons when the target pixel indicates the provisional value by multiplying the first probability and the second probability, and determine based on the calculated probability. value may be determined.
  • the most probable number of photons can be obtained by setting the number of photoelectrons that indicates the maximum value among the probabilities for each number of photoelectrons when the target pixel indicates a provisional value.
  • An example of deterministic value is derived from the probability distribution of the number of photoelectrons accompanying the photon number distribution of light, such as Poisson distribution, super-Poisson distribution, sub-Poisson distribution, photon number distribution indicated by photon number squeezed state, quantum entangled photon state , a multimode squeezed photon number distribution, a Bose-Einstein distribution, a logarithmic normal distribution, a uniform distribution, or a mixed distribution.
  • the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light can be appropriately described.
  • a normal distribution may be used as the probability distribution of the number of photoelectrons associated with the readout noise of the target pixel to derive an example of the definite value. With this configuration, the probability distribution of the number of photoelectrons associated with readout noise can be appropriately described.
  • An example of deriving a definite value is to use two or more pixels included in a partial region around the target pixel among a plurality of pixels as peripheral pixels, calculate the average value of the provisional values of the peripheral pixels, and calculate the average value may be calculated in consideration of the first probability.
  • the reliability of the first probability is increased by considering the average value of the number of photoelectrons in the peripheral pixels.
  • An example of deriving a definite value may use a weighted average including the readout noise of surrounding pixels in the weighting as the average value. With this configuration, it is possible to obtain a highly reliable average value of the number of photoelectrons in peripheral pixels with small readout noise.
  • An example of deriving a definite value may use a weighted average that includes the distance between the target pixel and each of the surrounding pixels as the average value. With this configuration, it is possible to obtain an average value with increased reliability of the number of photoelectrons of neighboring pixels closer to the target pixel.
  • An example of deriving a definite value may use a weighted average that includes a weight that reduces the error from the average value of the number of photons of surrounding pixels as the average value. By using such a weighted average, an improvement in the accuracy of calculating the average value can be expected.
  • Deriving the definitive value of one example may be performed by calculating an average value of the provisional values based on the data of the provisional values in multiple frames. By using provisional values in a plurality of frames in this manner, an improvement in the accuracy of calculation of the average value can be expected.
  • An example method is to calculate a definite value derived from a plurality of pixels having readout noise of a predetermined value or more as a target pixel, and a provisional value of a pixel having a readout noise of less than a predetermined value among the plurality of pixels. may further include generating photon counting data for the plurality of pixels by. With this configuration, calculation for deriving the observation probability is not required for pixels having readout noise less than a predetermined value.
  • An example method is to calculate a definite value derived from a plurality of pixels having a provisional value less than a predetermined value as a target pixel, and a provisional value of a pixel having a provisional value greater than or equal to the predetermined value among the plurality of pixels. may further include generating photon counting data for the plurality of pixels by. With this configuration, calculation for deriving the observation probability is not required for pixels having a provisional value equal to or greater than a predetermined value.
  • Deriving the deterministic value may refer to a noise map indicating the readout noise of each of a plurality of pixels.
  • the second probability may be derived based on data including noise maps.
  • An example photon counting processing program is a program that causes a computer to execute photon counting processing based on digital values corresponding to a plurality of pixels output from a two-dimensional image sensor having a plurality of pixels, wherein the digital value is Based on, a first derivation process for deriving a provisional value of the number of photons of each pixel in a plurality of pixels, and a target pixel, which is one of the plurality of pixels, based on the first probability and the second probability a second derivation process for deriving a definitive value of the number of photons, and the first probability is the observation probability for each number of photoelectrons in the target pixel based on the probability distribution of the number of photoelectrons accompanying the distribution of the number of photons of light. and the second probability is an observation probability for each number of photoelectrons in the provisional value of the target pixel based on the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel.
  • the photon counting device and the photon counting method it is possible to suppress a decrease in photon counting accuracy.
  • FIG. 1 is a diagram showing the configuration of an example of a photon counting device.
  • FIG. 2 is a schematic diagram showing a pixel group of 3 rows ⁇ 3 columns.
  • FIG. 3 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 4 is a schematic diagram for explaining the definite value derivation unit.
  • FIG. 5 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 6 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 7 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 8 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 9 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 1 is a diagram showing the configuration of an example of a photon counting device.
  • FIG. 2 is a schematic diagram showing a pixel group of 3 rows ⁇ 3 columns.
  • FIG. 3 is a diagram showing the
  • FIG. 10 is a diagram comparing the probabilities of FIGS.
  • FIG. 11 is a schematic diagram for explaining a definite value derivation unit.
  • FIG. 12 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 13 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 14 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 15 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 16 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 17 is a schematic diagram for explaining a definite value derivation unit.
  • FIG. 18 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 12 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 13 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 14 is a diagram showing the probability distribution of the number of photo
  • FIG. 19 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 20 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 21 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 22 is a flow chart showing the operation of an example photon counting device.
  • FIG. 23 is a diagram showing the process of deriving a definite value from a pixel value. It is a figure which shows a photon counting processing program.
  • FIG. 25 is a diagram for explaining an example of photon counting results.
  • FIG. 26 is a diagram for explaining an example of photon counting results.
  • FIG. 27 is a schematic diagram showing another form of peripheral pixels.
  • FIG. 28 is a schematic diagram showing another form of peripheral pixels.
  • FIG. 28 is a schematic diagram showing another form of peripheral pixels.
  • FIG. 29 is a schematic diagram showing another form of peripheral pixels.
  • FIG. 30 is a schematic diagram showing another form of peripheral pixels.
  • FIG. 31 is a diagram for explaining another example of weighted averaging.
  • FIG. 32 is a diagram for explaining another example of weighted averaging.
  • FIG. 33 is a diagram for explaining another example of weighted averaging.
  • photon counting refers to counting the number of photoelectrons generated in each pixel of the image sensor, and counting the number of photons considering the quantum efficiency (QE) of the image sensor. including both. Photon counting like these is also called photon number resolving. In general, photon counting also includes both detection of photoelectrons generated at each pixel of the image sensor and detection of photons incident on each pixel of the image sensor.
  • FIG. 1 is a diagram showing the configuration of an example photon counting device.
  • an exemplary photon counting device includes a CMOS image sensor 10 as a two-dimensional image sensor, and a computer (controller) 20 connected to the CMOS image sensor 10 .
  • the CMOS image sensor 10 includes multiple pixels 11 and an A/D converter 15 .
  • the plurality of pixels 11 are two-dimensionally arranged. That is, the plurality of pixels 11 are arranged in row direction and column direction.
  • Each pixel 11 has a photodiode (photoelectric conversion element) 12 and an amplifier 13 .
  • the photodiode 12 stores photoelectrons generated by the input of photons as charges.
  • the amplifier 13 converts the charge accumulated in the photodiode 12 into a voltage and amplifies the converted voltage.
  • the amplified voltage is transferred to the vertical signal line 16 line by line (row) by switching the selection switch 14 of each pixel 11 .
  • Each vertical signal line 16 is provided with a CDS (correlated double sampling) circuit 17 .
  • the CDS circuit 17 removes noise that varies between pixels and temporarily stores the transferred voltage.
  • the A/D converter 15 converts the voltage output from each amplifier 13 in the plurality of pixels 11 into a digital value.
  • the A/D converter 15 may be provided in each pixel 11 .
  • the A/D converter 15 converts the voltage stored in the CDS circuit 17 into a digital value.
  • the converted digital values are output to the computer 20 respectively.
  • the digital value may be sent to a horizontal signal line (not shown) and output to the computer 20 by switching the column selection.
  • the CMOS image sensor 10 outputs to the computer 20 a digital value corresponding to the number of photons input (the number of photoelectrons generated). It should be noted that when the voltage amplified by the amplifier 13 is read out, readout noise, which is random noise, is generated within the amplifier 13 .
  • the computer 20 is physically configured with storage devices such as RAM and ROM, processors (arithmetic circuits) such as CPU and GPU, and communication interfaces. Examples of the computer 20 include personal computers, cloud servers, smart devices (smartphones, tablet terminals, etc.), microcomputers, and FPGAs (field-programmable gate arrays).
  • the computer 20 functions as a storage unit 21, a conversion unit 22, a data processing unit 23, and a control unit 24 by executing a program stored in the storage device with a processor of the computer system.
  • the computer 20 may be arranged inside the camera device including the CMOS image sensor 10, or may be arranged outside the camera device.
  • a display device 25 and an input device 26 may be connected to the computer 20 .
  • Display device 25 is, for example, a display capable of displaying the photon counting results obtained by computer 20 .
  • the input device 26 may be a keyboard, mouse, or the like for the user to input measurement conditions. Note that the display device 25 and the input device 26 may be touch screens. Display device 25 and input device 26 may be included in computer 20 . Also, the display device 25 and the input device 26 may be provided in a camera device including the CMOS image sensor 10 .
  • the storage unit 21 stores data for converting the digital value output from the CMOS image sensor 10 into the number of photons. For example, the storage unit 21 stores gain and offset values for each of the pixels 11 as a lookup table. The storage unit 21 also stores the readout noise of each of the plurality of pixels 11 as a lookup table (noise map).
  • a digital value [DN] output from the A/D converter 15 described above is expressed by the following equation (1). Therefore, the offset value [DN] is indicated as a digital value output when no light is input. Therefore, in one example, a plurality of digital values are acquired from a plurality of dark images acquired by the CMOS image sensor 10 in a state where no light is input, and the acquired digital values are averaged for each pixel 11. An offset value is obtained. Also, when acquiring the gain [DN/e] of each pixel 11, a plurality of frame images are acquired by the CMOS image sensor 10 with a sufficient amount of light. Then, the average optical signal value S[DN] and the standard deviation N[DN] of the digital values in each pixel 11 are obtained. The gain is derived from the average optical signal value S and the standard deviation N, since it is expressed as N 2 /S.
  • the readout noise is defined, for example, as fluctuations in digital values, and can be expressed as a value converted into the number of electrons. Therefore, by obtaining the standard deviation of the digital value for each pixel 11 in a plurality of dark images (for example, 100 frames or more) and dividing the obtained standard deviation by the gain of the pixel 11, the readout noise for each pixel 11 is obtained.
  • the offset value, gain and readout noise for each pixel may be obtained during the manufacturing process of the photon counting device.
  • the conversion unit 22 refers to the table stored in the storage unit 21 and converts the digital values for each of the plurality of pixels 11 output from the A/D converter 15 into the number of photons (the number of photoelectrons).
  • the number of photons per pixel 11 can be obtained by dividing the number of photoelectrons by the quantum efficiency. When the quantum efficiency is 100%, the number of photoelectrons and photons are the same.
  • the data processing unit 23 creates a two-dimensional image showing the number of photons in each pixel 11 based on the number of photons output from the conversion unit 22 .
  • the two-dimensional image may be an image in which each pixel is drawn with luminance corresponding to the number of photons.
  • the created two-dimensional image can be output to the display device 25 .
  • the data processing unit 23 may also create a histogram or the like that is a plot of the number of pixels against the number of photons.
  • the control unit 24 can centrally control each functional unit of the computer 20 and the CMOS image sensor 10 .
  • the conversion unit 22 will be described in detail below.
  • a group of pixels arranged in 3 rows ⁇ 3 columns may be referred to as a partial area of the image sensor composed of a plurality of pixels.
  • FIG. 2 is a schematic diagram showing a pixel group of 3 rows ⁇ 3 columns.
  • the readout noise corresponding to each pixel 11 constituting the pixel group is indicated by the symbol "R i " (i indicates the position of the pixel).
  • the conversion unit 22 can appropriately refer to the gain, offset value, and readout noise of each pixel 11 by referring to the lookup table held by the storage unit 21 .
  • An example conversion unit 22 includes a provisional value derivation unit 22a (first derivation unit) and a fixed value derivation unit 22b (second derivation unit).
  • the provisional value deriving unit 22a derives a provisional value of the number of photons of each pixel 11 among the plurality of pixels 11 based on the digital value.
  • the provisional value derivation unit 22a the number of photoelectrons obtained by dividing the value obtained by subtracting the offset value from the measured digital value by the gain is converted to a provisional value of the number of photons (first provisional value) for each pixel 11.
  • the first provisional value may be referred to as a pixel value.
  • the provisional value derivation unit 22a may derive an integer value of the number of photons estimated from the pixel value as a provisional value (second provisional value).
  • the second provisional value may be referred to as the provisional number of photons.
  • the provisional number of photons may be obtained by rounding the pixel value to the nearest whole number.
  • the pixel value may be converted into the provisional photon number by setting a predetermined threshold range for the pixel value. For example, the threshold range corresponding to 5 photoelectrons is greater than or equal to 4.5e and less than 5.5e.
  • the provisional value (for example, the number of provisional photons) of each pixel 11 constituting the pixel group is indicated by the symbol "k i " (i indicates the position of the pixel).
  • the definite value derivation unit 22b derives (determines) the definite value of the number of photons of each of the plurality of pixels 11. For example, the definite value deriving unit 22b takes one of the plurality of pixels 11 as a target pixel and derives the definite value of the number of photons in the target pixel. By setting each of a plurality of pixels constituting the two-dimensional image sensor as a target pixel, a definite value of the number of photons in all pixels is derived.
  • the definite value derivation unit 22b derives the first probability and the second probability, and based on the derived first probability and the second probability, calculates the definite value of the number of photons in the target pixel.
  • the first probability is the observation probability for each number of photoelectrons in the target pixel based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light, and is expressed by the following equation (3).
  • the first probability in one example is based on the probability distribution of the number of photoelectrons accompanying optical shot noise and follows the Poisson distribution.
  • the first probability is the probability (observation probability) that the number of photons in the target pixel is observed to be k when the average number of photons in the target pixel is ⁇ , and is obtained for each number of photoelectrons.
  • the photon number k is a provisional photon number assumed by the definite value derivation unit 22b. That is, the number of photons k can be said to be a provisional value (third provisional value) of the number of photons in the target pixel.
  • the third provisional value may be referred to as the assumed number of photons.
  • the average number of photons may be an average of provisional values of peripheral pixels.
  • Peripheral pixels may be defined as two or more pixels included in a partial region around the target pixel among the plurality of pixels.
  • the central pixel 11c may be defined as the target pixel, and the pixel group of 3 rows ⁇ 3 columns may be the peripheral pixels.
  • the average number of photons in the target pixel is the average value of the provisional values of the pixels 11 forming the peripheral pixels.
  • the provisional value of the target pixel among the surrounding pixels may be the assumed number of photons. That is, in FIG.
  • k0 when deriving the average number of photons of pixel 11c, k0 may be the assumed number of photons.
  • the provisional values of the peripheral pixels excluding the target pixel may be either the pixel value or the provisional number of photons. Either the pixel value or the provisional number of photons may be used as the provisional value of the target pixel instead of the assumed number of photons.
  • the definite value derivation unit 22b may refer to a noise map indicating the readout noise of each of the plurality of pixels 11, and calculate a weighted average including the readout noise of surrounding pixels in the weighting as the average number of photons.
  • the weight W i (i indicates the position of the pixel) based on the readout noise is expressed by the following equation (4), for example. That is, an example weight W i may be the inverse power of the read noise R i .
  • the provisional value is more likely to be reflected in the average number of photons for pixels with smaller readout noise, and the provisional value is less likely to be reflected in the average number of photons for pixels with greater readout noise.
  • the confidence ⁇ can increase or decrease the influence of readout noise on the weights W i . That is, the greater the reliability ⁇ , the greater the influence of the readout noise on the weight Wi. In one example, ⁇ 0. Note that if the value of the reliability ⁇ becomes too large, it is conceivable that a correct definite value will not be derived. Thus, in one example, the reliability ⁇ may be less than 20.
  • the reliability ⁇ may be a value preset in the definite value derivation unit 22b, or may be a value that can be set by the user of the photon counting device 1.
  • Equation (5) The average number of photons ⁇ based on the weighted average is given by Equation (5) below.
  • the second probability is the observation probability for each number of photoelectrons in the provisional value of the target pixel based on the probability distribution of the number of photoelectrons associated with the readout noise of the target pixel, and is expressed by Equation (6) below.
  • the provisional value of the target pixel may be a pixel value.
  • the second probability follows a normal distribution (Gaussian distribution).
  • x is the pixel value [e] of the target pixel
  • R is the readout noise [e-rms] of the target pixel. That is, the second probability is the probability (observation probability) that the number of photons of the target pixel is observed to be k in the provisional value (for example, pixel value) of the target pixel, and is obtained for each number of photoelectrons.
  • the definite value derivation unit 22b calculates the probability for each number of photoelectrons when the target pixel indicates the provisional value, and calculates the number of photons based on the calculated probability. determine the definite value of That is, the definite value deriving unit 22b as an example calculates the probability for each assumed photon number when the target pixel exhibits the provisional value based on the following equation (7) while changing the assumed number of photons of the target pixel, The value of the assumed number of photons with the highest probability is output as the confirmed value of the number of photons.
  • the range of the assumed number of photons calculated by the definite value derivation unit 22b may be determined based on the provisional value and the average number of photons of the target pixel.
  • the assumed photon number range may be the minimum range that includes the provisional value of the target pixel and the average photon number.
  • the average number of photons may be calculated without including the provisional value of the target pixel.
  • the range of the assumed number of photons may be a range from 0 to the maximum provisional value of the peripheral pixels.
  • the above equation (7) may be modified as follows for ease of calculation. That is, the log of both sides of the above equation (7) is taken, and the following equation (8) is derived.
  • Equation (8) above may be approximated as in Equation (9) below.
  • the definite value deriving unit 22b which is an example, can derive the definite value of the number of photons based on the following equation (9).
  • FIG. 3 is a diagram showing the probability distribution of the number of photoelectrons.
  • FIG. 3 shows the probability distribution of the number of photoelectrons when the pixel value of the target pixel is 4.2 [e] and the average number of photons of the target pixel is 2.5 photons.
  • the first probability distribution when the assumed number of photons is 3 photons is indicated by a thick line L1
  • the second probability distribution when the assumed number of photons is 3 photons is indicated by a dashed line L2.
  • a solid line L3 indicates the probability distribution of the product of the first probability and the second probability when the assumed number of photons is 3 photons.
  • the second probability when the assumed number of photons is 3 photons and the pixel value is 4.2 [e] is indicated by the dashed line L4. ], ie, P(3
  • the definite value deriving unit 22b uses the provisional values of the surrounding pixels as clues to derive the most probable number of photons in the target pixel as the definite value of the target pixel.
  • the fixed value derivation unit 22b will be further described below using specific numerical values.
  • three examples are described: an example in which the readout noise of the target pixel is large, an example in which the readout noise of the target pixel is small, and an example in which the amount of light to the two-dimensional image sensor is large.
  • a group of pixels arranged in 3 rows and 3 columns is described as peripheral pixels, but in the following, for the sake of simplicity of explanation, the peripheral pixels are arranged in 1 row and 3 columns. described as. In this case, the center pixel is the target pixel.
  • FIG. 4 shows an example when the readout noise of the target pixel is large.
  • (a) of FIG. 4 shows the pixel value [e] of each pixel 11 .
  • (b) of FIG. 4 shows the provisional number of photons of each pixel 11 .
  • (c) of FIG. 4 shows the readout noise of each pixel 11 .
  • (d) of FIG. 4 shows the weight of each pixel 11 in the weighted average.
  • the pixel values [e] of the three pixels 11 are respectively "1.1", “4.2” and "0.3”, and the provisional photon numbers of the three pixels are respectively "1". , "4" and "0".
  • the readout noise [e-rms] of the three pixels is "0.2", "2.0” and "0.4", respectively.
  • the reliability ⁇ is "2”
  • the weights of the three pixels are "25", "0.25", and "6.25".
  • the definite value derivation unit 22b derives the probability of the assumed number of photons under the pixel value of 4.2 [e] based on the above equation (9) while changing the assumed number of photons.
  • 5 to 9 are diagrams showing the probability of the number of photoelectrons in the case of the example of FIG. 5 to 9 show the Poisson distribution according to the average number of photons and P(k
  • FIG. 5 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "0". In the example of FIG. 5, since the assumed number of photons is "0", the average number of photons of the target pixel is approximately 0.79 [e]. Also, in FIG. 5, the probability that the assumed number of photons is "0" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • FIG. 6 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "1". In the example of FIG. 6, since the assumed number of photons is "1", the average number of photons of the target pixel is approximately 0.80. Also, in FIG. 6, the probability that the assumed number of photons is "1" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • FIG. 7 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "2". In the example of FIG. 7, since the assumed number of photons is "2", the average number of photons of the target pixel is approximately 0.81. In FIG.
  • FIG. 8 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "3". In the example of FIG. 8, since the assumed number of photons is "3", the average number of photons of the target pixel is approximately 0.82. In FIG. 8, the probability that the number of assumed photons is "3" when the pixel value is 4.2 is shown at 4.2[e].
  • FIG. 9 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "4". In the example of FIG. 9, since the assumed number of photons is "4", the average number of photons of the target pixel is approximately 0.83. In FIG. 9, the probability that the assumed number of photons is "4" when the pixel value is 4.2 is shown at 4.2[e].
  • FIG. 10 is an enlarged view of the position where the number of photoelectrons is 4.2 [e] in FIGS. 5 to 9 for comparison. As shown in FIG. 10, in the example of FIG. 4, the probability is highest when the assumed number of photons is "1".
  • the deterministic value derivation unit 22b which is an example, compares the probabilities obtained by the calculation result of Equation (9), and derives 1[e] as the deterministic value of the number of photons of the target pixel.
  • FIG. 11 shows an example when the readout noise of the target pixel is small.
  • (a) of FIG. 11 shows the pixel value [e] of each pixel.
  • (b) of FIG. 11 shows the provisional number of photons for each pixel.
  • (c) of FIG. 11 shows the readout noise [e-rms] of each pixel.
  • (d) of FIG. 11 shows the weight of each pixel in the weighted average.
  • the pixel values [e] of the three pixels are "1.1", “4.2", and “0.3”, respectively, and the provisional photon numbers of the three pixels are "1", It is derived as "4" and "0".
  • the readout noise [e-rms] of the three pixels is "0.2", “0.3” and "0.4", respectively.
  • the reliability ⁇ is "2”
  • the weights of the three pixels are "25", “11.1", and "6.25".
  • the definite value derivation unit 22b derives the probability of the assumed number of photons when the pixel value is 4.2 based on the above equation (9) while changing the assumed number of photons.
  • 12 to 16 are diagrams showing the probability of the number of photoelectrons in the case of the example of FIG. 11.
  • FIG. 12 to 16 show the Poisson distribution according to the average number of photons and P(K0
  • the assumed number of photons k is "0"
  • the average number of photons of the target pixel is approximately 0.59.
  • FIG. 12 also shows the probability that the assumed number of photons is "0" when the pixel value is 4.2.
  • the probability that the assumed number of photons is "0" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • FIG. 13 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "1".
  • the average number of photons of the target pixel is approximately 0.85.
  • the probability that the assumed number of photons is "1" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • FIG. 14 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "2". In the example of FIG. 14, since the assumed number of photons is "2", the average number of photons of the target pixel is approximately 1.11. Also, in FIG.
  • FIG. 15 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "3". In the example of FIG. 15, since the assumed number of photons is "3", the average number of photons of the target pixel is approximately 1.38. Also, in FIG. 15, the probability that the assumed number of photons is "3" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • FIG. 16 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "4". In the example of FIG.
  • the average number of photons of the target pixel is approximately 1.64. Also, in FIG. 16, the probability that the assumed number of photons is "4" when the pixel value is 4.2 is shown at the position of the number of photoelectrons of 4.2 [e].
  • the probability of the assumed number of photons other than "4" is almost zero. Therefore, the definite value derivation unit 22b derives "4" as the definite value of the number of photons of the target pixel.
  • FIG. 17 shows an example in which the amount of light for a two-dimensional image sensor is large.
  • (a) of FIG. 17 shows the pixel value of each pixel.
  • (b) of FIG. 17 shows the provisional number of photons for each pixel.
  • (c) of FIG. 17 shows the readout noise of each pixel.
  • (d) of FIG. 17 shows the weight of each pixel in the weighted average.
  • the pixel values of the three pixels are "108.4", "92.6” and “95.1” respectively, and the provisional photon numbers of the three pixels are "108" and "93” respectively. , “95”.
  • the readout noises of the three pixels are "0.2", "2.0", and “0.4", respectively.
  • the reliability ⁇ is "2”
  • the weights of the three pixels are "25", "0.25", and "6.25".
  • the definite value derivation unit 22b derives the probability of the assumed number of photons when the pixel value is 4.2 based on the above formula while changing the assumed number of photons.
  • 18 to 21 are diagrams showing the probability of the number of photoelectrons in the case of the example of FIG. 17.
  • FIG. 18 to 21 show the Poisson distribution according to the average number of photons and P(K0
  • the assumed number of photons is "92"
  • the average number of photons of the target pixel is approximately 105.29.
  • the probability that the assumed number of photons is "92" when the pixel value is 92.6 is shown at the position of the number of photoelectrons 92.6 [e].
  • FIG. 19 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "93".
  • the average number of photons of the target pixel is approximately 105.30.
  • the probability that the assumed number of photons is "93" when the pixel value is 92.6 is shown at the position of the number of photoelectrons 92.6 [e].
  • FIG. 20 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "94”. In the example of FIG. 20, since the assumed number of photons is "94", the average number of photons of the target pixel is approximately 105.31. In FIG.
  • FIG. 21 is a diagram showing the probability of the number of photoelectrons when the assumed number of photons is "95".
  • the probability that the assumed number of photons is "95” when the pixel value is 92.6 is shown at the position of the number of photoelectrons of 92.6 [e].
  • FIG. 22 is a flowchart showing the operation of the photon counting device (photon counting method).
  • photons incident on the pixels 11 of the CMOS image sensor 10 are converted into charges by the photodiodes 12 (step S11).
  • the converted charges are converted into voltage by the amplifier 13 (step S12).
  • the voltage is converted into a digital value by the A/D converter 15 and output to the computer 20 (step S13).
  • the provisional value derivation unit 22a of the conversion unit 22 derives a provisional value from the digital value based on the gain and offset value of each pixel obtained by referring to the table of the storage unit 21 (step S14).
  • the definite value derivation unit 22b derives the definite value of the number of photons from, for example, equation (9) based on the provisional value of each pixel and the readout noise (step S15).
  • FIG. 23 (a) of FIG. 23 is a diagram showing readout noise of each pixel 11 in a two-dimensional image sensor having pixels of 4 rows ⁇ 4 columns.
  • FIG. 23(b) is a diagram showing the process of deriving a definite value from the pixel value of each pixel.
  • the definite value derivation unit 22b determines the definite value of the number of photons for each of the plurality of pixels 11 by the method described above. That is, the definite value derivation unit 22b creates photon counting data composed of definite values of the number of photons in each pixel 11 based on the definite values derived from each of the plurality of pixels 11 as the target pixel.
  • FIG. 23 is a diagram showing readout noise of each pixel 11 in a two-dimensional image sensor having pixels of 4 rows ⁇ 4 columns.
  • FIG. 23(b) is a diagram showing the process of deriving a definite value from the pixel value of each pixel.
  • the pixel value of each pixel 11 is converted into a provisional value and further converted into a definite value.
  • 1[e] is derived as the provisional value
  • 1[e] is derived as the final value.
  • the provisional value and the final value are different values.
  • the peripheral pixels are a pixel group of 3 rows ⁇ 3 columns centering on the target pixel. Pixels included in an area corresponding to three columns of pixels are peripheral pixels. When the pixel 11a with a pixel value of 1.2[e] is the target pixel, four pixels in the region R are peripheral pixels. As described above, the number of photons is measured for each of a plurality of pixels. The measurement result (photon counting data) is output to the display device 25 as, for example, image data (step S16).
  • FIG. 24 is a diagram showing a recording medium 100 storing a program P1 for causing a computer to execute photon counting processing.
  • a photon counting processing program P1 stored in the recording medium 100 includes a provisional value derivation module P22a, a definite value derivation module P22b, a data processing module P23, and a control module P24.
  • Provisional value derivation module P22a Functions (processes) realized by executing the provisional value derivation module P22a, the fixed value derivation module P22b, the data processing module P23, and the control module P24 are respectively the provisional value derivation unit 22a (first derivation processing), the determination This is the same as the function (processing) of the value derivation unit 22b (second derivation processing), data processing unit 23, and control unit 24.
  • the photon counting processing program P1 is recorded in the program recording area of the recording medium 100.
  • the recording medium 100 is composed of a recording medium such as a CD-ROM, DVD, ROM, semiconductor memory, or the like.
  • the photon counting processing program P1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
  • one example of the photon counting device 1 includes a plurality of photodiodes 12 that convert input light into electric charges and amplifiers 13 that amplify the electric charges converted by the photodiodes 12 and convert them into voltages.
  • the first probability is the observation probability for each number of photoelectrons in the target pixel based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light
  • the second probability is the probability of the number of photoelectrons associated with the readout noise of the target pixel. It is the observation probability for each number of photoelectrons in the provisional value of the target pixel based on the distribution.
  • the provisional value derivation unit 22a derives the provisional value of the number of photons in each pixel 11 based on the magnitude of the digital value corresponding to the amount of charge generated in each pixel 11. For example, a pixel 11 with large readout noise may have a large error included in the derived provisional value.
  • the definite value deriving unit 22b derives the definite value of the number of photons when the target pixel exhibits the provisional value, based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light and the probability distribution of the number of photoelectrons associated with readout noise. do.
  • the definite value of the number of photons is derived in consideration of the magnitude of the readout noise in the target pixel. Therefore, it is possible to reduce the influence of readout noise on the derivation of the deterministic value, thereby improving the accuracy of photon counting.
  • the definite value deriving unit 22b calculates the probability for each assumed number of photons when the target pixel indicates the provisional value by multiplying the first probability and the second probability, and determines the probability based on the calculated probability. determine the value.
  • the most probable number of photons can be obtained by setting the number of assumed photons that indicates the maximum value among the probabilities for each number of assumed photons when the target pixel indicates a provisional value.
  • the probability distribution of the number of photoelectrons accompanying the photon number distribution of light in one example is based on the Poisson distribution. With this configuration, the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light can be appropriately described. In addition, the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel in one example is based on the normal distribution. With this configuration, the probability distribution of the number of photoelectrons associated with readout noise can be appropriately described.
  • the definite value deriving unit 22b calculates the average value of the provisional values of the surrounding pixels, with two or more pixels 11 included in a partial region around the target pixel among the plurality of pixels 11 as surrounding pixels. A first probability is calculated taking into account the values. More specifically, the fixed value deriving unit 22b calculates the number of photoelectrons in the target pixel based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons of light, using the average value of the provisional values of the surrounding pixels as the average number of photons in the target pixel. Derive the observation probability for each In this configuration, the reliability of the first probability is increased by considering the average value of the number of photoelectrons in the peripheral pixels.
  • the definite value derivation unit 22b as an example has a noise map indicating the readout noise of each of the plurality of pixels 11.
  • the definite value derivation unit 22b can derive the second probability by referring to data including the noise map.
  • the definite value derivation unit 22b can refer to the noise map to calculate the weighted average.
  • the definite value derivation unit 22b which is an example, calculates a weighted average including the readout noise of the peripheral pixels in the weighting as the average value. With this configuration, it is possible to obtain a highly reliable average value of the number of photoelectrons in peripheral pixels with small readout noise.
  • An example of the average value is a weighted average that includes the distance between the target pixel and each of the surrounding pixels. With this configuration, it is possible to obtain an average value with increased reliability of the number of photoelectrons of neighboring pixels closer to the target pixel.
  • the definite value deriving unit 22b may derive the same value as the provisional number of photons of the target pixel as the definite value of the target pixel when the readout noise of the target pixel is small. That is, the definite value derivation unit 22b calculates the definite value derived from pixels having readout noise equal to or greater than a predetermined value among the plurality of pixels as target pixels, and the pixels having readout noise less than the predetermined value among the plurality of pixels.
  • Photon counting data for a plurality of pixels may be generated based on the provisional value of .
  • the definite value derivation unit 22b may derive the provisional value as the definite value for pixels with readout noise of less than 0.4 [e-rms].
  • the definite value derivation unit 22b may perform the above calculation for deriving the definite value only for pixels with readout noise of 0.4 [e-rms] or more.
  • the definite value derivation unit 22b can determine the pixels from which the provisional values are derived as definite values and the pixels from which the above calculations for deriving the definite values are executed.
  • the provisional value deriving unit 22b calculates a definite value derived from a pixel having a provisional value less than a predetermined value among a plurality of pixels as a target pixel, and a provisional value Photon counting data for a plurality of pixels may be generated based on the interim values of pixels having values.
  • the definite value derivation unit 22b may derive the provisional value as the definite value for pixels whose provisional value is equal to or greater than the set value. In other words, the definite value derivation unit 22b may perform the above-described calculation for deriving the definite value only for pixels whose provisional value is less than the set value.
  • the definite value derivation unit 22b may set the range of the number of assumed photons so that the provisional value is substantially derived as the definite value for the pixels whose provisional value is equal to or greater than the set value. That is, the definite value derivation unit 22b may set a range obtained by adding the provisional value of the target pixel to the range from 0 to the set value as the range of the assumed number of photons. For example, when the set value is 10 [e], the range of assumed photon numbers is "0, 1, 2, ..., 8, 9, 10, 93" in the example of Fig. 17 .
  • FIGS. 25 and 26 are examples showing the output results of one example of the photon counting device.
  • FIG. 25(a) is an image formed as a result of photon counting by EMCCD (Electron Multiplying Charge Coupled Device). The image has a brightness corresponding to the number of photons measured.
  • FIG. 25(b) is an image formed based on the digital values obtained by the photon counting device described above. The image has luminance according to the digital value.
  • FIG. 25(c) is an image formed based on the provisional values obtained by the photon counting device described above. The image has luminance according to the provisional value.
  • FIG. 25(d) is an image formed based on the determined values obtained by the photon counting device described above. The image has luminance according to the determined value.
  • EMCCD Electrom Multiplying Charge Coupled Device
  • the background light is 0 [photon/pix/frame]
  • the signal is 1 [photon/pix/frame]
  • the exposure time is 200 [ms] (5 [fps])
  • the wavelength is 532 [nm].
  • numbers, squares, and combinations of three rectangles are drawn by signals. Note that the reliability ⁇ is 10.
  • noise occurs over the entire image due to the influence of readout noise in particular.
  • the signal portion of FIG. 25(c) is drawn more clearly than the signal portion of the EMCCD shown in FIG. 25(a). This is considered to be due to the EMCCD having multiplication noise.
  • the background portion of FIG. 25(c) contains more noise than the EMCCD background portion. This is considered to be caused by pixels with large readout noise being included in the plurality of pixels forming the two-dimensional image sensor.
  • FIG. 25(d) which shows the image reflecting the deterministic value
  • the clarity of the signal portion is the same as in FIG. 25(c).
  • the noise in the background portion of FIG. 25(d) is less than the noise in the background portion of FIG. 25(c), and the amount of noise is comparable to that of the EMCCD.
  • FIG. 26 shows a dark image obtained by a photon counting device.
  • FIG. 26(a) is an image formed based on the digital values obtained by the photon counting device described above.
  • FIG. 26(b) is an image formed based on the provisional values obtained by the photon counting device described above.
  • FIG. 26(c) is an image formed based on the determined values by the photon counting device described above.
  • noise occurs over the entire image due to the influence of readout noise in particular.
  • (b) of FIG. 26 a lot of noise is observed due to pixels with large readout noise.
  • (c) of FIG. 26 showing the image reflecting the final values the amount of noise is reduced compared to (b) of FIG. 26 showing the image reflecting the provisional values.
  • peripheral pixels are formed by a pixel group of 3 rows ⁇ 3 columns centered on the target pixel, but the configuration of the peripheral pixels may be determined arbitrarily. 27, 28, 29 and 30 show other examples of peripheral pixels. In both figures, a pixel 11c serving as a target pixel and other pixels 11 are shown.
  • FIG. 27 shows an example in which the peripheral pixels are a pixel group configured in a square shape.
  • the peripheral pixels shown in (a) of FIG. 27 are composed of a pixel group of 3 rows ⁇ 5 columns.
  • the peripheral pixels shown in (b) of FIG. 27 are composed of a pixel group of 5 rows ⁇ 5 columns.
  • the central pixel 11c is the target pixel, but the other pixels 11 may be the target pixels.
  • the peripheral pixels may be formed by a group of pixels arranged in N rows ⁇ M columns or M rows ⁇ N columns, where N is an integer of 1 or more and M is an integer of 2 or more.
  • FIG. 28 shows an example in which peripheral pixels are a group of pixels configured line-symmetrically and point-symmetrically.
  • the peripheral pixels shown in FIG. 28(a) are composed of five cross-shaped pixels.
  • the peripheral pixels shown in FIG. 28(b) are composed of eleven cross-shaped pixels.
  • a pixel 11c which is the target pixel, is located at the intersection of the pixels arranged in the row direction (pixel row) and the pixels arranged in the column direction (pixel column). are arranged, the target pixel may be another pixel 11 .
  • one pixel row and one pixel column intersect has been shown, one or more pixel rows and one or more pixel columns may intersect with each other.
  • the peripheral pixels shown in (c) of FIG. 28 have a shape in which the pixels at the four corners of the pixel group configured in a square shape (5 rows ⁇ 5 columns) are removed.
  • the peripheral pixels shown in (d) of FIG. 28 have a shape in which the pixels around the four corners of the group of pixels configured in a square shape (5 rows ⁇ 5 columns) are removed.
  • the peripheral pixels shown in (e) of FIG. 28 have a shape in which the pixels around the four corners of the group of pixels configured in a square shape (7 rows ⁇ 7 columns) are removed.
  • the peripheral pixels shown in (f) of FIG. 28 have a shape in which the pixels around the four corners of the group of pixels configured in a square shape (7 rows ⁇ 5 columns) are removed.
  • the peripheral pixels shown in (g) of FIG. 28 are composed of pixels 11 corresponding to diagonal positions in a group of pixels configured in a square shape (3 rows ⁇ 3 columns).
  • the peripheral pixels shown in (h) of FIG. 28 are composed of pixels 11 corresponding to diagonal positions in a group of pixels configured in a square shape (5 rows ⁇ 5 columns).
  • FIG. 29 shows an example in which pixels separated from each other are included in a group of pixels in which peripheral pixels are line-symmetrically and point-symmetrically configured.
  • the peripheral pixels shown in (a) of FIG. 29 are composed of nine pixels 11 spaced apart from each other in a pixel group of 5 rows ⁇ 5 columns.
  • the peripheral pixels shown in FIG. 29B are composed of 16 peripheral pixels 11 and a central pixel 11c in a pixel group of 5 rows ⁇ 5 columns.
  • the peripheral pixels shown in FIG. 29(b) are composed of four corner pixels and a cross-shaped pixel group including the center pixel 11c in a pixel group of 5 rows ⁇ 5 columns.
  • the peripheral pixels shown in (b) of FIG. 29 are composed of a group of pixels in the 1st row, a group of pixels in the 3rd row, and a group of pixels in the 5th row in a group of pixels of 5 rows ⁇ 7 columns.
  • the peripheral pixels shown in (a) of FIG. 30 are composed of pixels 11 arranged to form a swastika shape in a square (5 rows ⁇ 5 columns) pixel group.
  • the peripheral pixels shown in FIG. 30(b) are composed of a triangular pixel group. In this example, one of the vertices of the triangle is the target pixel, but another pixel 11 may be the target pixel.
  • the peripheral pixels shown in (c) of FIG. 30 are composed of pixels 11 forming a spiral shape in a square (5 rows ⁇ 5 columns) pixel group.
  • the peripheral pixels shown in (d) of FIG. 30 are a plurality of diagonally continuous pixel groups in a rectangular (7 rows ⁇ 7 columns) area, and include a plurality of pixel groups separated from each other. In the illustrated example, the pixels 11 at the four corners are included in the peripheral pixels.
  • each peripheral pixel illustrated in FIGS. 27-30 may be expanded based on the regularity. For example, expansion includes increasing the number of consecutive pixels in the row direction, increasing the number of consecutive pixels in the column direction, increasing the number of consecutive pixels in the diagonal direction, and the like.
  • the respective peripheral pixels illustrated in FIGS. 27 to 30 may overlap each other. When overlapping peripheral pixels that are different from each other, one or both of the peripheral pixels may be expanded. In addition, for peripheral pixels that have a different shape when inverted vertically or horizontally, the original peripheral pixels and the inverted peripheral pixels may be superimposed.
  • FIG. 31 is a diagram for explaining another example of weighted averaging.
  • FIG. 31 shows a noise map based on the readout noise described in the above embodiment and a map of weights based on the noise map (hereinafter sometimes referred to as noise weights).
  • the modified example of FIG. 31 includes a distance weight as a weight for the weighted average.
  • the distance weight is weighted average weighting based on the distance between the target pixel and each of the surrounding pixels.
  • the distance weight is set based on the distance between the center of the pixel 11c, which is the target pixel, and the center of each of the surrounding pixels, so that the smaller the distance, the larger the weight.
  • a mask used as a Gaussian filter may be used as a distance weight.
  • the product of the noise weight and the distance weight is used to weight the weighted average.
  • FIG. 32 is a diagram for explaining still another example of weighted averaging.
  • FIG. 32 shows a noise map based on readout noise and a weight map based on the noise map described in the above embodiments.
  • the modified example of FIG. 32 includes a 1/0 weight as the weight of the weighted average.
  • the 1/0 weighting is weighting in which a value of 1 or 0 set for each peripheral pixel is used as a weighting element.
  • the product of the noise weight and the 1/0 weight is used to weight the weighted average. Therefore, in pixels where the 1/0 weight element is 1, the noise weight is used as it is for the weighting of the weighted average.
  • the weighting of the weighted average is 0 for a pixel whose 1/0 weight element is 0.
  • the provisional values of pixels whose 1/0 weight element is 0 are not used in the calculation for calculating the average number of photons.
  • defective pixels included in a plurality of pixels forming a two-dimensional image sensor may be detected, and the 1/0 weight of the detected defective pixels may be set to zero. In this case, the output of the defective pixel is not used for calculating the average number of photons.
  • the 1/0 weight can be used to form an arbitrary shape of surrounding pixels, as shown in FIG. FIG. 33 shows a noise map, a map of weights based on the noise map, and a 1/0 weight.
  • the 1/0 weight of FIG. 33 five pixels forming a cross have a weight of 1, and the remaining four pixels have a weight of zero.
  • the product of the noise weight and the 1/0 weight is used for weighting the weighted average, so that the peripheral pixels have substantially the same shape as the peripheral pixels shown in FIG. 28(a). In this way, by setting the 1/0 weight of arbitrary pixels in the rectangular area to 1 and setting the 1/0 weight of the remaining pixels to 0, the shape of the surrounding pixels can be arbitrarily set.
  • the first probability is derived based on the probability distribution of the number of photoelectrons accompanying optical shot noise, which is represented by the Poisson distribution. It may be derived based on the probability distribution of the number of photoelectrons associated with the distribution of the number of photons.
  • the first probability may be derived based on the probability distribution according to the light source.
  • the light source is a non-coherent light source such as an LED or a thermal photon source
  • the first photon number distribution based on the super-Poissonian distribution (Super-poissonian), which is a photon number distribution with larger photon number fluctuations than the Poisson distribution. Probabilities may be derived.
  • Super-poissonian super-Poissonian
  • the first probability may be derived based on a sub-Poissonian distribution, which is a photon number distribution in which fluctuation in the number of photons is smaller than that of the Poisson distribution.
  • the first probability may be derived based on the photon number distribution exhibited by the photon number squeezed state (e.g., Fock state) such as a single photon source, or spontaneous parametric down conversion (spontaneous parametric down
  • the first probability may be derived based on the photon number distribution exhibited by the entangled photon state (for example, NOON state) generated by the conversion, SPDC) or the like.
  • a first probability may be derived based on. Also, if the light source is a thermal light source or a pseudo-thermal light source, even if the first probability is derived based on the Bose-Einstein distribution good. In addition, a log-normal distribution that has a shape with a longer tail for larger numbers, a uniform distribution that has a uniform probability for each photon number, and multiple photon number distributions. The first probability may be derived based on a combined distribution, such as a Mixture of multiple photon distribution.
  • the weights used when calculating the average number of photons using weighted averaging are not limited to the examples in the above embodiment.
  • the weights obtained as follows may be used.
  • the true average number of photons may be the arithmetic mean of the true number of photons of the peripheral pixels.
  • the expected value E[( ⁇ * ⁇ ) 2 ] of the squared error between ⁇ * and ⁇ is minimized. It suffices to calculate w such that First, the expected value E[ ⁇ * ] of ⁇ * is obtained.
  • the pixel value x follows the probability distribution p(x) shown in Equation (10).
  • Equation (17) the average number of photons ⁇ * by weighted averaging is given by equation (18).
  • Equation (17) cannot be calculated as it is because the true average number of photons ⁇ is included in the equation (17). Therefore, in one example, assuming that the average number of photons calculated as an unweighted average of the surrounding pixels is ⁇ , wi derived based on Equation (17) may be used as the weight.
  • w i derived based on equation (17) may be solved self-consistently. That is, the average number of photons is obtained by substituting the derived weight wi into equation (18) (first step), and the weight wi is derived from equation (17) using this average number of photons (first 2 step) may be repeated until convergence.
  • the solution of equation (19) may be used as the average number of photons, expecting that the weighted average average number of photons ⁇ * approximates the true average number of photons ⁇ .
  • equation (20) when the function on the right side is a contraction map.
  • the average number of photons of the target pixel may be derived based on data of provisional values of multiple frames. That is, the definite value derivation unit 22b may acquire the data of the provisional values of the pixels for a plurality of frames, and derive the average number of photons based on the acquired data. For example, the definite value derivation unit 22b may derive the average number of photons of the target pixel for each acquired frame, and obtain the first probability using the average value of the derived average number of photons as ⁇ .
  • the definite value derivation unit 22b derives the average number of photons of the target pixel by using the obtained data of the provisional values for the plurality of frames as one population, and obtains the first probability using the derived average number of photons as ⁇ .
  • the fixed value derivation unit 22b may calculate the average value of the provisional values for each pixel between the acquired frames, and derive the average number of photons using this average value as the provisional value of each pixel. As described above, by calculating the average number of photons based on the data of the provisional values in a plurality of frames, improvement in the calculation accuracy of the average number of photons can be expected.
  • the definite value derivation unit 22b may derive, as the definite value, the number of photons that is considered to have the smallest error from the true number of photons. That is, the definite value derivation unit 22b may derive the expected value of the number of photons as the definite value. For example, the definite value deriving unit 22b sets the observation probability for each number of photoelectrons in the target pixel based on the probability distribution of the number of photons as the first probability, and the probability distribution of the number of photoelectrons accompanying the readout noise of the target pixel.
  • the expected value of the number of photons of the target pixel can be derived based on the first probability and the second probability. For example, when the probability for each assumed number of photons when the target pixel indicates a provisional value is given by Equation (21), the expected value k exp of the number of photons is given by Equation (22) below.
  • the range of the assumed number of photons k calculated by the definite value derivation unit 22b may be the data range of the probability distribution of the number of photons.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

フォトンカウンティング装置は、光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、フォトン数分布に基づく第１の確率及び読み出しノイズに基づく第２の確率に基づいて、対象画素におけるフォトン数の確定値を導出する第２導出部と、を備える。

Description

フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム
　本開示は、フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラムに関する。
　例えば特許文献１及び特許文献２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたフォトンカウンティング装置が記載されている。この装置では、光電変換素子にフォトンが入力されると、入力されたフォトン数に応じて生成された光電子が電荷として蓄積される。光電変換素子に蓄積された電荷は、アンプによって電圧に変換され増幅される。アンプから出力される電圧は、Ａ／Ｄコンバータによってデジタル値に変換される。フォトンカウンティング装置では、Ａ／Ｄコンバータから出力されるデジタル値に基づいて、イメージセンサを構成する画素のフォトン数が判別される。
　また、非特許文献１乃至３には、ＣＭＯＳイメージセンサを用いたフォトンカウンティングに関する技術が記載されている。
国際公開第２０１９／１０２６３６号 国際公開第２０１９／１０２６３７号
B Saleh Masoodian, Jiaju Ma, Dakota Starkey, Yuichiro Yamashita, and Eric R. Fossum, "A 1Mjot 1040fps 0.22e-rms Stacked BSI Quanta Image Sensor with Cluster-Parallel Readout", 2017 International Image Sensor Workshop（IISW）の予稿集, May 30 - June 2, 2017, P230-233 JIAJU MA et al., "Photon-number-resolving megapixel image sensor at room temperature without avalanche gain", Optica, Vol. 4, No. 12, December 2017, p1474 -p1481 DAKOTA A. STARKEY et al., "Determining Conversion Gain and Read Noise Using a Photon-Counting Histogram Method for Deep Sub-Electron Read Noise Image Sensors", JOURNAL OF THE ELECTRON DEVICES SOCIETY, VOLUME 4, NO. 3, MAY 2016, p129 -p135
　ＣＭＯＳイメージセンサを用いてフォトンカウンティングを実行する場合、アンプによって増幅された電圧が読み出される際に、アンプ内でランダムなノイズである読み出しノイズが発生する。読み出しノイズが大きい場合、観測される光電子の確率分布はブロードとなる。そのため、画素のそれぞれの読み出しノイズは、小さいことが望まれる。しかしながら、ＣＭＯＳイメージセンサが製造される場合、画素の読み出しノイズは一定の範囲でばらつきを有し得る。この場合、読み出しノイズが高い画素では、フォトンの計数精度が低下する虞がある。
　本開示の一側面は、フォトンの計数精度の低下を抑制できるフォトンカウンティング装置を提供することを目的とする。
　一例のフォトンカウンティング装置は、入力された光を電荷に変換する光電変換素子と光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、複数の画素のアンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、第１の確率及び第２の確率に基づいて、複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出する第２導出部と、を備え、第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づく、対象画素における光電子数ごとの観測確率であり、第２の確率は、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、対象画素の暫定値における光電子数ごとの観測確率である。
　上記のフォトンカウンティング装置では、各画素で生成された電荷の量に応じたデジタル値の大きさに基づいて、第１導出部が各画素におけるフォトン数の暫定値を導出する。例えば、読み出しノイズが大きい画素では、導出される暫定値に含まれる誤差が大きくなることがある。第２導出部は、光のフォトン数分布に伴う光電子数の確率分布と読み出しノイズに伴う光電子数の確率分布とに基づいて、対象画素が暫定値を示すときのフォトン数の確定値を導出する。このように、フォトン数の確定値は、対象画素における読み出しノイズの大きさが考慮されて導出されている。したがって、確定値の導出に対する読み出しノイズによる影響を小さくすることができるので、フォトンカウンティングの精度を向上させることができる。
　一例の第２導出部は、第１の確率と第２の確率との積によって、対象画素が暫定値を示す場合の光電子数ごとの確率を算出し、算出された確率に基づいて確定値を決定してもよい。この構成では、対象画素が暫定値を示す場合の光電子数ごとの確率の中から最大値を示す光電子数を確定値とすることにより、最も確からしいフォトン数を得ることができる。
　一例の光のフォトン数分布に伴う光電子数の確率分布は、ポアソン分布、超ポアソン分布、サブポアソン分布、光子数スクイーズド状態が示すフォトン数分布、量子もつれ光子状態を示すフォトン数分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、或いは混合分布、のうちいずれか１つの分布であってよい。この構成では、光のフォトン数分布に伴う光電子数の確率分布を適切に記述することができる。
　一例の対象画素の読み出しノイズに伴う光電子数の確率分布は、正規分布であってよい。この構成では、読み出しノイズに伴う光電子数の確率分布を適切に記述することができる。
　一例の第２導出部は、複数の画素のうち、対象画素の周囲の一部領域に含まれる２以上の画素を周辺画素として、周辺画素における暫定値の平均値を算出し、平均値を考慮して第１の確率を算出してもよい。この構成では、周辺画素の光電子数の平均値が考慮されることにより、第１の確率の信頼度が高められる。
　一例の平均値は、周辺画素の読み出しノイズを重み付けに含む加重平均であってもよい。この構成では、読み出しノイズの小さい周辺画素における光電子数の信頼度が高められた平均値を得ることができる。
　一例の平均値は、対象画素と周辺画素のそれぞれとの距離を重み付けに含む加重平均であってもよい。この構成では、対象画素により近い周辺画素の光電子数の信頼度が高められた平均値を得ることができる。
　一例の平均値は、前記周辺画素のフォトン数の平均値との誤差を小さくするような重みを重み付けに含む加重平均であってもよい。このような加重平均を用いることで、平均値の算出精度の向上が期待できる。
一例の第２導出部は、複数フレームにおける暫定値のデータに基づいて、暫定値の平均値を算出してもよい。このように複数フレームにおける暫定値を用いることで、平均値の算出精度の向上が期待できる。
　一例の第２導出部は、複数の画素のうち所定の値以上の読み出しノイズを有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値未満の読み出しノイズを有する画素の暫定値とによって、複数の画素についてのフォトンカウンティングデータを作成してもよい。この構成では、所定の値未満の読み出しノイズを有する画素について、観測確率を導出する演算が不要となる。
　一例の第２導出部は、複数の画素のうち所定の値未満の暫定値を有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値以上の暫定値を有する画素の暫定値とによって、複数の画素についてのフォトンカウンティングデータを作成してもよい。この構成では、所定の値以上の暫定値を有する画素について、観測確率を導出する演算が不要となる。
　一例の第２導出部は、複数の画素のそれぞれの読み出しノイズを示すノイズマップを有してもよい。すなわち、第２導出部は、ノイズマップを含むデータを参照することにより、第２の確率を導出してもよい。
　一例のフォトンカウンティング方法は、複数の画素を有する２次元イメージセンサから出力される複数の画素に対応するデジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出することと、第１の確率及び第２の確率に基づいて、複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出することと、を備え、確定値を導出することは、第１の確率として、光のフォトン数分布に伴う光電子数の確率分布に基づき、対象画素における光電子数ごとの観測確率を求めることと、第２の確率として、対象画素の読み出しノイズに伴う光電子数の確率分布に基づき、対象画素の暫定値における光電子数ごとの観測確率を求めることとを含む。
　上記のフォトンカウンティング方法では、各画素で生成された電荷の量に応じたデジタル値の大きさに基づいて、各画素におけるフォトン数の暫定値が導出される。例えば、読み出しノイズが大きい画素では、導出される暫定値に含まれる誤差が大きくなることがある。また、光のフォトン数分布に伴う光電子数の確率分布と読み出しノイズに伴う光電子数の確率分布とに基づいて、対象画素が暫定値を示すときのフォトン数の確定値が導出される。このように、フォトン数の確定値は、対象画素における読み出しノイズの大きさが考慮されて導出されている。したがって、確定値の導出に対する読み出しノイズによる影響を小さくすることができるので、フォトンカウンティングの精度を向上させることができる。
　一例の確定値を導出することは、第１の確率と第２の確率との積によって、対象画素が暫定値を示す場合の光電子数ごとの確率を算出し、算出された確率に基づいて確定値を決定してもよい。この構成では、対象画素が暫定値を示す場合の光電子数ごとの確率の中から最大値を示す光電子数を確定値とすることにより、最も確からしいフォトン数を得ることができる。
　一例の確定値を導出することは、光のフォトン数分布に伴う光電子数の確率分布として、ポアソン分布、超ポアソン分布、サブポアソン分布、光子数スクイーズド状態が示すフォトン数分布、量子もつれ光子状態を示すフォトン数分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、或いは混合分布、のうちいずれか１つの分布を利用してもよい。この構成では、光のフォトン数分布に伴う光電子数の確率分布を適切に記述することができる。
　一例の確定値を導出することは、対象画素の読み出しノイズに伴う光電子数の確率分布として、正規分布を利用してもよい。この構成では、読み出しノイズに伴う光電子数の確率分布を適切に記述することができる。
　一例の確定値を導出することは、複数の画素のうち、対象画素の周囲の一部領域に含まれる２以上の画素を周辺画素として、周辺画素における暫定値の平均値を算出し、平均値を考慮して第１の確率を算出してもよい。この構成では、周辺画素の光電子数の平均値が考慮されることにより、第１の確率の信頼度が高められる。
　一例の確定値を導出することは、平均値として、周辺画素の読み出しノイズを重み付けに含む加重平均を用いてもよい。この構成では、読み出しノイズの小さい周辺画素における光電子数の信頼度が高められた平均値を得ることができる。
　一例の確定値を導出することは、平均値として、対象画素と周辺画素のそれぞれとの距離を重み付けに含む加重平均を用いてもよい。この構成では、対象画素により近い周辺画素の光電子数の信頼度が高められた平均値を得ることができる。
　一例の確定値を導出することは、平均値として、周辺画素のフォトン数の平均値との誤差を小さくするような重みを重み付けに含む加重平均を用いてもよい。このような加重平均を用いることで、平均値の算出精度の向上が期待できる。
　一例の確定値を導出することは、複数フレームにおける暫定値のデータに基づいて、暫定値の平均値を算出してもよい。このように複数フレームにおける暫定値を用いることで、平均値の算出精度の向上が期待できる。
　一例の方法は、複数の画素のうち所定の値以上の読み出しノイズを有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値未満の読み出しノイズを有する画素の暫定値とによって、複数の画素についてのフォトンカウンティングデータを作成することを更に含んでもよい。この構成では、所定の値未満の読み出しノイズを有する画素について、観測確率を導出する演算が不要となる。
　一例の方法は、複数の画素のうち所定の値未満の暫定値を有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値以上の暫定値を有する画素の暫定値とによって、複数の画素についてのフォトンカウンティングデータを作成することを更に含んでもよい。この構成では、所定の値以上の暫定値を有する画素について、観測確率を導出する演算が不要となる。
　確定値を導出することは、複数の画素のそれぞれの読み出しノイズを示すノイズマップを参照してもよい。例えば、第２の確率は、ノイズマップを含むデータに基づいて導出されてもよい。
　一例のフォトンカウンティング処理プログラムは、複数の画素を有する２次元イメージセンサから出力される複数の画素に対応するデジタル値に基づいて、フォトンカウンティングの処理をコンピュータに実行させるプログラムであって、デジタル値に基づいて、複数の画素における各画素のフォトン数の暫定値を導出する第１導出処理と、第１の確率及び第２の確率に基づいて、複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出する第２導出処理と、をコンピュータに実行させ、第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づく、対象画素における光電子数ごとの観測確率であり、第２の確率は、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、対象画素の暫定値における光電子数ごとの観測確率である。
　一側面のフォトンカウンティング装置およびフォトンカウンティング方法によれば、フォトンの計数精度の低下を抑制できる。
図１は、一例のフォトンカウンティング装置の構成を示す図である。 図２は、３行×３列の画素群を示す模式図である。 図３は、光電子数の確率分布を示す図である。 図４は、確定値導出部の説明をするための模式図である。 図５は、光電子数の確率分布を示す図である。 図６は、光電子数の確率分布を示す図である。 図７は、光電子数の確率分布を示す図である。 図８は、光電子数の確率分布を示す図である。 図９は、光電子数の確率分布を示す図である。 図１０は、図５から図９の確率を比較した図である。 図１１は、確定値導出部の説明をするための模式図である。 図１２は、光電子数の確率分布を示す図である。 図１３は、光電子数の確率分布を示す図である。 図１４は、光電子数の確率分布を示す図である。 図１５は、光電子数の確率分布を示す図である。 図１６は、光電子数の確率分布を示す図である。 図１７は、確定値導出部の説明をするための模式図である。 図１８は、光電子数の確率分布を示す図である。 図１９は、光電子数の確率分布を示す図である。 図２０は、光電子数の確率分布を示す図である。 図２１は、光電子数の確率分布を示す図である。 図２２は、一例のフォトンカウンティング装置の動作を示すフローチャートである。 図２３は、画素値から確定値が導出される過程を示す図である。 フォトンカウンティング処理プログラムを示す図である。 図２５は、一例のフォトンカウンティングの結果を説明するための図である。 図２６は、一例のフォトンカウンティングの結果を説明するための図である。 図２７は、周辺画素の他の形態を示す模式図である。 図２８は、周辺画素の他の形態を示す模式図である。 図２９は、周辺画素の他の形態を示す模式図である。 図３０は、周辺画素の他の形態を示す模式図である。 図３１は、加重平均の他の例を説明するための図である。 図３２は、加重平均の他の例を説明するための図である。 図３３は、加重平均の他の例を説明するための図である。
　以下、実施の形態について図面を参照しながら具体的に説明する。便宜上、実質的に同一の要素には同一の符号を付し、その説明を省略する場合がある。なお、以下の説明において、フォトンカウンティングとは、イメージセンサの各画素で生成される光電子（フォトエレクトロン）数のカウンティング、及び、イメージセンサの量子効率（ＱＥ：Ｑｕａｎｔｕｍ　Ｅｆｆｉｃｉｅｎｃｙ）を考慮したフォトン数のカウンティングの両方を含む。なお、これらのようなフォトンカウンティングは、光子数識別（Photon number resolving）とも呼ばれる。また、一般的に、フォトンカウンティングは、イメージセンサの各画素で生成される光電子の検出、及び、イメージセンサの各画素に入射する光子の検出の両方も含む。
　図１は、一例のフォトンカウンティング装置の構成を示す図である。図１に示すように、一例のフォトンカウンティング装置は、２次元イメージセンサとしてのＣＭＯＳイメージセンサ１０と、ＣＭＯＳイメージセンサ１０に接続されたコンピュータ（制御装置）２０とを備えている。ＣＭＯＳイメージセンサ１０は、複数の画素１１と、Ａ／Ｄコンバータ１５とを含んでいる。複数の画素１１は、２次元に配置されている。すなわち、複数の画素１１は、行方向及び列方向に配列されている。各画素１１は、フォトダイオード（光電変換素子）１２とアンプ１３とを有している。フォトダイオード１２は、フォトンの入力によって生成された光電子を電荷として蓄積する。アンプ１３は、フォトダイオード１２に蓄積された電荷を電圧に変換し、変換された電圧を増幅する。増幅された電圧は、各画素１１の選択スイッチ１４の切換によって、ライン毎（行毎）に垂直信号線１６に転送される。各垂直信号線１６にはＣＤＳ（correlated double sampling）回路１７が配置されている。ＣＤＳ回路１７は、画素間でバラツキのあるノイズを除去し、転送された電圧を一時的に保管する。
　Ａ／Ｄコンバータ１５は、複数の画素１１におけるそれぞれのアンプ１３から出力される電圧をデジタル値に変換する。なお、Ａ／Ｄコンバータ１５は、各画素１１に設けられてもよい。本実施形態では、Ａ／Ｄコンバータ１５は、ＣＤＳ回路１７に保管された電圧をデジタル値に変換する。変換されたデジタル値は、それぞれコンピュータ２０に出力される。例えば、デジタル値は、列選択の切換によって不図示の水平信号線に送られて、コンピュータ２０に出力されてもよい。このように、ＣＭＯＳイメージセンサ１０は、各画素１１にフォトンが入力されると、入力されたフォトン数（生成された光電子数）に応じたデジタル値をコンピュータ２０に出力する。なお、アンプ１３によって増幅された電圧が読み出される際、アンプ１３内ではランダムなノイズである読み出しノイズが発生する。
　コンピュータ２０は、物理的には、ＲＡＭ、ＲＯＭ等の記憶装置、ＣＰＵ、ＧＰＵ等のプロセッサ（演算回路）、通信インターフェイス等を備えて構成されている。コンピュータ２０としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）、マイクロコンピュータ、ＦＰＧＡ（field-programmable gate array）などが挙げられる。コンピュータ２０は、記憶装置に格納されるプログラムをコンピュータシステムのプロセッサで実行することにより、記憶部２１、変換部２２、データ処理部２３、制御部２４として機能する。コンピュータ２０は、ＣＭＯＳイメージセンサ１０を含むカメラ装置の内部に配置されてもよいし、カメラ装置の外部に配置されてもよい。コンピュータ２０には、表示装置２５及び入力装置２６が接続され得る。表示装置２５は、例えばコンピュータ２０によって得られたフォトンカウンティング結果を表示し得るディスプレイである。入力装置２６は、ユーザが計測条件を入力するためのキーボード、マウス等であってよい。なお、表示装置２５及び入力装置２６は、タッチスクリーンであってもよい。表示装置２５及び入力装置２６は、コンピュータ２０に含まれてもよい。また、表示装置２５及び入力装置２６は、ＣＭＯＳイメージセンサ１０を含むカメラ装置に設けられてもよい。
　記憶部２１は、ＣＭＯＳイメージセンサ１０から出力されるデジタル値をフォトン数に変換するためのデータを記憶する。例えば、記憶部２１は、複数の画素１１におけるそれぞれのゲイン及びオフセット値をルックアップテーブルとして記憶している。また、記憶部２１は、複数の画素１１におけるそれぞれの読み出しノイズをルックアップテーブル（ノイズマップ）として記憶している。
　上述のＡ／Ｄコンバータ１５から出力されるデジタル値［ＤＮ］は、以下の式（１）によって示される。そのため、オフセット値［ＤＮ］は、光が入力されない状態で出力されるデジタル値として示される。そこで、一例においては、光が入力されていない状態でＣＭＯＳイメージセンサ１０によって取得された複数のダーク画像から複数のデジタル値を取得し、取得されたデジタル値を画素１１ごとに平均化することによってオフセット値が取得される。また、各画素１１のゲイン［ＤＮ／ｅ］を取得する場合、十分な光量でＣＭＯＳイメージセンサ１０によって複数のフレーム画像を取得する。そして、各画素１１におけるデジタル値の平均光信号値Ｓ［ＤＮ］と、標準偏差Ｎ［ＤＮ］とを取得する。ゲインは、Ｎ２／Ｓで表されるので、平均光信号値Ｓ及び標準偏差Ｎからゲインが導出される。
Figure JPOXMLDOC01-appb-M000001
　また、読み出しノイズは、例えば、デジタル値の揺らぎとして定義され、電子数単位に換算された値として表され得る。そこで、複数（例えば１００フレーム以上）のダーク画像において画素１１ごとにデジタル値の標準偏差を取得し、取得された標準偏差を画素１１のゲインで除算することにより、画素１１ごとの読み出しノイズが取得されてもよい。画素ごとのオフセット値、ゲイン及び読み出しノイズは、フォトンカウンティング装置の製造過程において取得されてもよい。
　変換部２２は、記憶部２１に記憶されたテーブルを参照して、Ａ／Ｄコンバータ１５から出力された複数の画素１１ごとのデジタル値をそれぞれフォトン数（光電子数）に変換する。一例においては、画素１１ごとに光電子数を量子効率で除算することによって、フォトン数を得ることができる。量子効率が１００％の場合、光電子数とフォトン数とは同数になる。
　データ処理部２３は、変換部２２から出力されるフォトン数に基づいて、各画素１１におけるフォトン数を示す２次元画像を作成する。例えば、２次元画像は、フォトン数に応じた輝度によって各画素が描画された画像であってよい。作成された２次元画像は、表示装置２５に出力され得る。また、データ処理部２３は、フォトン数に対する画素数のプロットであるヒストグラムなどを作成してもよい。制御部２４は、コンピュータ２０の各機能部やＣＭＯＳイメージセンサ１０を統括的に制御し得る。
　以下、変換部２２について詳細に説明する。なお、変換部２２の説明においては、複数の画素で構成されるイメージセンサの一部領域として、３行×３列に配列された画素群を参照する場合がある。図２は、３行×３列の画素群を示す模式図である。図２では画素群を構成する各画素１１に対応する読み出しノイズが「Ｒｉ」（ｉは画素の位置を示す）の符号によって示されている。変換部２２は、記憶部２１が保持するルックアップテーブルを参照することによって、各画素１１のゲイン、オフセット値及び読み出しノイズを適宜参照することができる。
　一例の変換部２２は、暫定値導出部２２ａ（第１導出部）と確定値導出部２２ｂ（第２導出部）とを含む。暫定値導出部２２ａは、デジタル値に基づいて、複数の画素１１における各画素１１のフォトン数の暫定値を導出する。暫定値導出部２２ａでは、以下の式（２）のように、計測されたデジタル値からオフセット値を減じた値をゲインで除算することによって求められる光電子数をフォトン数の暫定値（第１暫定値）として画素１１ごと導出してもよい。以下、第１暫定値を画素値という場合がある。
Figure JPOXMLDOC01-appb-M000002
　また、暫定値導出部２２ａは、画素値から推定されるフォトン数の整数値を暫定値（第２暫定値）として導出してもよい。以下、第２暫定値を暫定フォトン数という場合がある。一例では、画素値の小数点以下を四捨五入することによって、暫定フォトン数を取得してもよい。この場合、画素値に対して所定の閾値範囲を設定することで、画素値を暫定フォトン数に変換してもよい。例えば、５光電子に対応する閾値範囲は、４．５ｅ以上５．５ｅ未満となる。なお、図２では画素群を構成する各画素１１における暫定値（例えば暫定フォトン数）が「ｋｉ」（ｉは画素の位置を示す）の符号によって示されている。
　確定値導出部２２ｂは、複数の画素１１のそれぞれのフォトン数の確定値を導出（決定）する。例えば、確定値導出部２２ｂは、複数の画素１１のうちの一つを対象画素として、当該対象画素におけるフォトン数の確定値を導出する。２次元イメージセンサを構成する複数の画素のそれぞれを対象画素とすることにより、全ての画素におけるフォトン数の確定値が導出される。
　本実施形態では、確定値導出部２２ｂは、第１の確率及び第２の確率を導出し、導出された第１の確率及び第２の確率に基づいて、対象画素におけるフォトン数の確定値を導出する。第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づく、対象画素における光電子数ごとの観測確率であり、以下の式（３）によって示される。式（３）に示されるように、一例の第１の確率は、光ショットノイズに伴う光電子数の確率分布に基づいており、ポアソン分布に従っている。
Figure JPOXMLDOC01-appb-M000003
　上記の式（３）において、ｋはフォトン数を示し、λは平均フォトン数を示す。すなわち、第１の確率は、対象画素における平均フォトン数がλであるときの、対象画素のフォトン数がｋと観測される確率（観測確率）であり、光電子数ごとに求められる。なお、フォトン数ｋは、確定値導出部２２ｂによって仮定される暫定的なフォトン数である。すなわち、フォトン数ｋは、対象画素におけるフォトン数の暫定値（第３暫定値）といえる。以下、第３暫定値を仮定フォトン数という場合がある。
　平均フォトン数（平均値）は、周辺画素における暫定値の平均であってよい。周辺画素は、複数の画素のうち、対象画素の周囲の一部領域に含まれる２以上の画素として定義され得る。図２に示す３行×３列の画素群の例では、中心の画素１１ｃを対象画素として定義し、３行×３列の画素群を周辺画素としてもよい。この場合、対象画素における平均フォトン数は、周辺画素を構成する画素１１の暫定値の平均値となる。周辺画素のうち対象画素の暫定値は、仮定フォトン数であってよい。すなわち、図２において、画素１１ｃの平均フォトン数を導出する場合、ｋ０は仮定フォトン数であってよい。周辺画素のうち対象画素を除く画素の暫定値は、画素値及び暫定フォトン数のいずれかであってよい。なお、対象画素の暫定値として、仮定フォトン数に代えて画素値及び暫定フォトン数のいずれかを用いてもよい。
　一例において、確定値導出部２２ｂは、複数の画素１１のそれぞれの読み出しノイズを示すノイズマップを参照し、平均フォトン数として、周辺画素の読み出しノイズを重み付けに含む加重平均を算出してもよい。読み出しノイズに基づく重みＷｉ（ｉは画素の位置を示す）は、例えば、以下の式（４）によって示される。すなわち、一例の重みＷｉは、読み出しノイズＲｉの逆数の累乗であってよい。この場合、読み出しノイズが小さい画素ほど、暫定値が平均フォトン数に反映されやすく、読み出しノイズが大きい画素ほど、暫定値が平均フォトン数に反映され難い。式（４）中、信頼度αは、読み出しノイズが重みＷｉに与える影響を増減させ得る。すなわち、信頼度αが大きくなるほど、読み出しノイズが重みＷｉに与える影響は大きくなる。一例において、α≧０である。なお、信頼度αの値が大きくなり過ぎると、正しい確定値が導出されなくなることが考えられる。そこで、一例においては、信頼度αは、２０未満であってよい。信頼度αは、確定値導出部２２ｂにおいて予め設定されている値であってもよいし、フォトンカウンティング装置１の使用者によって設定可能な値であってもよい。
Figure JPOXMLDOC01-appb-M000004
　加重平均に基づく平均フォトン数λは、以下の式（５）によって示される。
Figure JPOXMLDOC01-appb-M000005
　第２の確率は、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、対象画素の暫定値における光電子数ごとの観測確率であり、以下の式（６）によって示される。対象画素の暫定値は、画素値であってよい。式（６）に示されるように、第２の確率は、正規分布（ガウス分布）に従っている。なお、式（６）において、ｘは対象画素の画素値［ｅ］であり、Ｒは対象画素の読み出しノイズ［ｅ－ｒｍｓ］である。すなわち、第２の確率は、対象画素の暫定値（例えば、画素値）において、対象画素のフォトン数がｋと観測される確率（観測確率）であり、光電子数ごとに求められる。
Figure JPOXMLDOC01-appb-M000006
　確定値導出部２２ｂは、第１の確率と第２の確率との積に基づいて、対象画素が暫定値を示す場合の光電子数ごとの確率を算出し、算出された確率に基づいてフォトン数の確定値を決定する。すなわち、一例の確定値導出部２２ｂは、対象画素の仮定フォトン数を変化させながら、以下の式（７）に基づいて対象画素が暫定値を示す場合の仮定フォトン数ごとの確率を算出し、最も確率が高いときの仮定フォトン数の値をフォトン数の確定値として出力する。確定値導出部２２ｂで演算される仮定フォトン数の範囲は、対象画素の暫定値及び平均フォトン数に基づいて決定されてもよい。例えば、仮定フォトン数の範囲は、対象画素の暫定値と平均フォトン数とを含む最小の範囲であってもよい。この場合、平均フォトン数は、対象画素の暫定値を含まずに算出されてよい。また、例えば、仮定フォトン数の範囲は、０から周辺画素における暫定値の最大値までの範囲であってもよい。
Figure JPOXMLDOC01-appb-M000007
　一例において、上記式（７）は、演算の容易のために以下のように変形されてもよい。すなわち、上記式（７）の両辺のｌｏｇをとり、以下の式（８）が導出される。
Figure JPOXMLDOC01-appb-M000008
　上記式（８）のフォトン数に関する項以外は不要であるため、上記式（８）は、以下の式（９）のように近似されてよい。一例の確定値導出部２２ｂは、以下の式（９）に基づいて、フォトン数の確定値を導出し得る。
Figure JPOXMLDOC01-appb-M000009
　図３は、光電子数の確率分布を示す図である。図３では、対象画素の画素値が４．２［ｅ］であり、対象画素の平均フォトン数が２．５フォトンであるときの光電子数の確率分布が示されている。図３において、仮定フォトン数が３フォトンであるときの第１の確率は太線Ｌ１でしめされており、仮定フォトン数が３フォトンであるときの第２の確率分布は破線Ｌ２で示される。そして、仮定フォトン数が３フォトンであるときの第１の確率と第２の確率との積の確率分布が実線Ｌ３で示されている。仮定フォトン数が３フォトンであり、画素値が４．２［ｅ］のときの第２の確率は破線Ｌ４で示されるため、仮定フォトン数が３フォトンであり、画素値が４．２［ｅ］のときの第１の確率と第２の確率との積、すなわち、Ｐ（３｜４．２）は、破線Ｌ５で示される。
　以上のように、確定値導出部２２ｂは、周辺画素の暫定値を手がかりとして、対象画素において最も確率的にあり得るフォトン数を対象画素の確定値として導出する。以下、具体的な数値を用いて確定値導出部２２ｂについてさらに説明する。ここでは、対象画素の読み出しノイズが大きい例、対象画素の読み出しノイズが小さい例、及び、２次元イメージセンサに対する光量が大きい例、の３つの例を説明する。なお、一例においては３行×３列に配列された画素群を周辺画素として説明しているが、以下では、説明の簡単のために、周辺画素が１行×３列に配置されているものとして説明する。この場合、中心の画素が対象画素である。
　図４は、対象画素の読み出しノイズが大きい場合の例を示す。図４の（ａ）は、各画素１１の画素値［ｅ］を示す。図４の（ｂ）は、各画素１１の暫定フォトン数を示す。図４の（ｃ）は、各画素１１の読み出しノイズを示す。図４の（ｄ）は、加重平均における、各画素１１の重みを示す。図４の例では、３つの画素１１の画素値［ｅ］がそれぞれ「１．１」，「４．２」、「０．３」であり、３つの画素の暫定フォトン数がそれぞれ「１」，「４」，「０」として導出されている。また、３つの画素の読み出しノイズ［ｅ－ｒｍｓ］は、それぞれ「０．２」，「２．０」，「０．４」である。図示例では、信頼度αが「２」となっており、３つの画素の重みは、「２５」，「０．２５」，「６．２５」となっている。
　確定値導出部２２ｂは、仮定フォトン数を変化させながら、上記の式（９）に基づき、画素値が４．２［ｅ］であるもとでの仮定フォトン数となる確率を導出する。図５から図９は、図４の例の場合における、光電子数の確率を示す図である。図５から図９には、平均フォトン数に応じたポアソン分布が示されるとともに、仮定フォトン数ｋに応じたＰ（ｋ｜ｘ）が示されている。図５は、仮定フォトン数が「０」であるときの光電子数の確率を示す図である。図５の例では、仮定フォトン数が「０」であるため、対象画素の平均フォトン数は、約０．７９［ｅ］である。また、図５には、画素値が４．２であるときに仮定フォトン数が「０」となる確率が光電子数４．２［ｅ］の位置に示されている。
　同様に、図６は、仮定フォトン数が「１」であるときの光電子数の確率を示す図である。図６の例では、仮定フォトン数が「１」であるため、対象画素の平均フォトン数は、約０．８０である。また、図６には、画素値が４．２であるときに仮定フォトン数が「１」となる確率が光電子数４．２［ｅ］の位置に示されている。図７は、仮定フォトン数が「２」であるときの光電子数の確率を示す図である。図７の例では、仮定フォトン数が「２」であるため、対象画素の平均フォトン数は、約０．８１である。また、図７には、画素値が４．２であるときに仮定フォトン数が「２」となる確率が４．２［ｅ］の位置に示されている。図８は、仮定フォトン数が「３」であるときの光電子数の確率を示す図である。図８の例では、仮定フォトン数が「３」であるため、対象画素の平均フォトン数は、約０．８２である。また、図８には、画素値が４．２であるときに仮定フォトン数が「３」となる確率が４．２［ｅ］の位置に示されている。図９は、仮定フォトン数が「４」であるときの光電子数の確率を示す図である。図９の例では、仮定フォトン数が「４」であるため、対象画素の平均フォトン数は、約０．８３である。また、図９には、画素値が４．２であるときに仮定フォトン数が「４」となる確率が４．２［ｅ］の位置に示されている。
　図１０は、図５から図９における光電子数が４．２［ｅ］の位置を拡大して比較した図である。図１０に示されるように、図４の例では、仮定フォトン数が「１」のときの確率が最も高くなっている。一例の確定値導出部２２ｂは、式（９）の演算結果による確率を比較し、対象画素のフォトン数の確定値として、１［ｅ］を導出する。
　図１１は、対象画素の読み出しノイズが小さい場合の例を示す。図１１の（ａ）は、各画素の画素値［ｅ］を示す。図１１の（ｂ）は、各画素の暫定フォトン数を示す。図１１の（ｃ）は、各画素の読み出しノイズ［ｅ－ｒｍｓ］を示す。図１１の（ｄ）は、加重平均における、各画素の重みを示す。図１１の例では、３つの画素の画素値［ｅ］がそれぞれ「１．１」，「４．２」、「０．３」であり、３つの画素の暫定フォトン数がそれぞれ「１」，「４」，「０」として導出されている。また、３つの画素の読み出しノイズ［ｅ－ｒｍｓ］は、それぞれ「０．２」，「０．３」，「０．４」である。図示例では、信頼度αが「２」となっており、３つの画素の重みは、「２５」，「１１．１」，「６．２５」となっている。
　確定値導出部２２ｂは、仮定フォトン数を変化させながら、上記の式（９）に基づき、画素値が４．２であるときに仮定フォトン数となる確率を導出する。図１２から図１６は、図１１の例の場合における、光電子数の確率を示す図である。図１２から図１６には、平均フォトン数に応じたポアソン分布が示されるとともに、仮定フォトン数に応じたＰ（Ｋ０｜ｘ）が示されている。図１２の例では、仮定フォトン数ｋが「０」であるため、対象画素の平均フォトン数は、約０．５９である。また、図１２には、画素値が４．２であるときに仮定フォトン数が「０」となる確率が示されている。また、図１２には、画素値が４．２であるときに仮定フォトン数が「０」となる確率が光電子数４．２［ｅ］の位置に示されている。
　同様に、図１３は、仮定フォトン数が「１」であるときの光電子数の確率を示す図である。図１３の例では、仮定フォトン数が「１」であるため、対象画素の平均フォトン数は、約０．８５である。また、図１３には、画素値が４．２であるときに仮定フォトン数が「１」となる確率が光電子数４．２［ｅ］の位置に示されている。図１４は、仮定フォトン数が「２」であるときの光電子数の確率を示す図である。図１４の例では、仮定フォトン数が「２」であるため、対象画素の平均フォトン数は、約１．１１である。また、図１４には、画素値が４．２であるときに仮定フォトン数が「２」となる確率が光電子数４．２［ｅ］の位置に示されている。図１５は、仮定フォトン数が「３」であるときの光電子数の確率を示す図である。図１５の例では、仮定フォトン数が「３」であるため、対象画素の平均フォトン数は、約１．３８である。また、図１５には、画素値が４．２であるときに仮定フォトン数が「３」となる確率が光電子数４．２［ｅ］の位置に示されている。図１６は、仮定フォトン数が「４」であるときの光電子数の確率を示す図である。図１６の例では、仮定フォトン数が「４」であるため、対象画素の平均フォトン数は、約１．６４である。また、図１６には、画素値が４．２であるときに仮定フォトン数が「４」となる確率が光電子数４．２［ｅ］の位置に示されている。
　図１２から図１６に示されるように、仮定フォトン数が暫定フォトン数と同じ「４」のときの確率が他の仮定フォトン数のときの確率に比べて高くなっている。図示例では、「４」以外の仮定フォトン数となる確率は殆どゼロとなっている。そのため、確定値導出部２２ｂは、対象画素のフォトン数の確定値として「４」を導出する。
　図１７は、２次元イメージセンサに対する光量が大きい例を示す。図１７の（ａ）は、各画素の画素値を示す。図１７の（ｂ）は、各画素の暫定フォトン数を示す。図１７の（ｃ）は、各画素の読み出しノイズを示す。図１７の（ｄ）は、加重平均における、各画素の重みを示す。図１７の例では、３つの画素の画素値がそれぞれ「１０８．４」，「９２．６」、「９５．１」であり、３つの画素の暫定フォトン数がそれぞれ「１０８」，「９３」，「９５」として導出されている。また、３つの画素の読み出しノイズは、それぞれ「０．２」，「２．０」，「０．４」である。図示例では、信頼度αが「２」となっており、３つの画素の重みは、「２５」，「０．２５」，「６．２５」となっている。
　確定値導出部２２ｂは、仮定フォトン数を変化させながら、上記の式に基づき、画素値が４．２であるときに仮定フォトン数となる確率を導出する。図１８から図２１は、図１７の例の場合における、光電子数の確率を示す図である。図１８から図２１には、平均フォトン数に応じたポアソン分布が示されるとともに、仮定フォトン数に応じたＰ（Ｋ０｜ｘ）が示されている。図１８の例では、仮定フォトン数が「９２」であるため、対象画素の平均フォトン数は、約１０５．２９である。また、図１８には、画素値が９２．６であるときに仮定フォトン数が「９２」となる確率が光電子数９２．６［ｅ］の位置に示されている。
　同様に、図１９は、仮定フォトン数が「９３」であるときの光電子数の確率を示す図である。図１９の例では、仮定フォトン数が「９３」であるため、対象画素の平均フォトン数は、約１０５．３０である。図１９には、画素値が９２．６であるときに仮定フォトン数が「９３」となる確率が光電子数９２．６［ｅ］の位置に示されている。図２０は、仮定フォトン数が「９４」であるときの光電子数の確率を示す図である。図２０の例では、仮定フォトン数が「９４」であるため、対象画素の平均フォトン数は、約１０５．３１である。図２０には、画素値が９２．６であるときに仮定フォトン数が「９４」となる確率が光電子数９２．６［ｅ］の位置に示されている。図２１は、仮定フォトン数が「９５」であるときの光電子数の確率を示す図である。図２１の例では、仮定フォトン数が「９５」であるため、対象画素の平均フォトン数は、約１０５．３２である。図２１には、画素値が９２．６であるときに仮定フォトン数が「９５」となる確率が光電子数９２．６［ｅ］の位置に示されている。
　図１８から図２１に示されるように、仮定フォトン数が暫定フォトン数と同じ「９３」のときの確率が他の仮定フォトン数の確率に比べて高くなっている。そのため、確定値導出部２２ｂは、対象画素のフォトン数の確定値として「９３」を導出する。
　図２２は、フォトンカウンティング装置の動作（フォトンカウンティング方法）を示すフローチャートである。本実施形態では、フォトンカウンティング装置１が動作された状態で計測が開始されると、まず、ＣＭＯＳイメージセンサ１０の画素１１に対して入射されたフォトンがフォトダイオード１２によって電荷に変換される（ステップＳ１１）。そして、変換された電荷は、アンプ１３によって電圧に変換される（ステップＳ１２）。当該電圧は、Ａ／Ｄコンバータ１５によってデジタル値に変換されてコンピュータ２０に出力される（ステップＳ１３）。変換部２２の暫定値導出部２２ａは、記憶部２１のテーブルを参照して得られた各画素のゲイン及びオフセット値に基づいて、デジタル値から暫定値を導出する（ステップＳ１４）。確定値導出部２２ｂは、各画素の暫定値と読み出しノイズとに基づいて、例えば式（９）からフォトン数の確定値を導出する（ステップＳ１５）。
　図２３の（ａ）は、４行×４列の画素を有する２次元イメージセンサにおける各画素１１の読み出しノイズを示す図である。図２３の（ｂ）は、各画素の画素値から確定値が導出される過程を示す図である。確定値導出部２２ｂは、複数の画素１１のそれぞれについて、上述の方法によってフォトン数の確定値を決定する。すなわち、確定値導出部２２ｂは、複数の画素１１のそれぞれを対象画素として導出された確定値に基づいて、各画素１１におけるフォトン数の確定値によって構成されたフォトンカウンティングデータを作成する。なお、図２３の（ｂ）では、各画素１１についての画素値が、暫定値に変換され、さらに確定値に変換されている。例えば、画素値が１．２［ｅ］である画素１１ａの場合、暫定値として１［ｅ］が導出され、確定値としても１［ｅ］が導出されている。また、１．５［ｅ－ｒｍｓ］及び２．０［ｅ－ｒｍｓ］の読み出しノイズが大きい画素の場合、暫定値と確定値とが異なる値になっている。
　なお、図示例の周辺画素は対象画素を中心とした３行×３列の画素群であるが、対象画素が２次元イメージセンサの周縁にある場合には、対象画素を中心とした３行×３列の画素分の領域に含まれる画素が周辺画素となる。画素値が１．２［ｅ］の画素１１ａを対象画素とした場合、領域Ｒ内の４つの画素が周辺画素となる。以上のようにして、複数の画素ごとにフォトン数が計測される。計測結果（フォトンカウンティングデータ）は、例えば画像データ等として表示装置２５に出力される（ステップＳ１６）。
　図２４は、フォトンカウンティングの処理をコンピュータに実行させるプログラムＰ１が格納された記録媒体１００を示す図である。記録媒体１００に格納されたフォトンカウンティング処理プログラムＰ１は、暫定値導出モジュールＰ２２ａ、確定値導出モジュールＰ２２ｂ、データ処理モジュールＰ２３及び制御モジュールＰ２４を備える。暫定値導出モジュールＰ２２ａ、確定値導出モジュールＰ２２ｂ、データ処理モジュールＰ２３及び制御モジュールＰ２４を実行することにより実現される機能（処理）はそれぞれ、上記の暫定値導出部２２ａ（第１導出処理）、確定値導出部２２ｂ（第２導出処理）、データ処理部２３及び制御部２４の機能（処理）と同様である。
　フォトンカウンティング処理プログラムＰ１は、記録媒体１００におけるプログラム記録領域に記録されている。記録媒体１００は、例えばＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭ、半導体メモリ等の記録媒体によって構成されている。フォトンカウンティング処理プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
　以上説明したように、一例のフォトンカウンティング装置１は、入力された光を電荷に変換するフォトダイオード１２とフォトダイオード１２によって変換された電荷を増幅して電圧に変換するアンプ１３とを含む複数の画素１１と、複数の画素１１のアンプ１３から出力される電圧をデジタル値に変換するＡ／Ｄコンバータ１５と、デジタル値に基づいて、複数の画素１１における各画素１１のフォトン数の暫定値を導出する暫定値導出部２２ａと、第１の確率及び第２の確率に基づいて、複数の画素１１のうちの一つである対象画素におけるフォトン数の確定値を導出する確定値導出部２２ｂと、を備える。第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づく、対象画素における光電子数ごとの観測確率であり、第２の確率は、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、対象画素の暫定値における光電子数ごとの観測確率である。
　上記のフォトンカウンティング装置１では、各画素１１で生成された電荷の量に応じたデジタル値の大きさに基づいて、暫定値導出部２２ａが各画素１１におけるフォトン数の暫定値を導出する。例えば、読み出しノイズが大きい画素１１では、導出される暫定値に含まれる誤差が大きくなることがある。確定値導出部２２ｂは、光のフォトン数分布に伴う光電子数の確率分布と読み出しノイズに伴う光電子数の確率分布とに基づいて、対象画素が暫定値を示すときのフォトン数の確定値を導出する。このように、フォトン数の確定値は、対象画素における読み出しノイズの大きさが考慮されて導出されている。したがって、確定値の導出に対する読み出しノイズによる影響を小さくすることができるので、フォトンカウンティングの精度を向上させることができる。
　一例の確定値導出部２２ｂは、第１の確率と第２の確率との積によって、対象画素が暫定値を示す場合の仮定フォトン数ごとの確率を算出し、算出された確率に基づいて確定値を決定する。この構成では、対象画素が暫定値を示す場合の仮定フォトン数ごとの確率の中から最大値を示す仮定フォトン数を確定値とすることにより、最も確からしいフォトン数を得ることができる。
　一例の光のフォトン数分布に伴う光電子数の確率分布は、ポアソン分布に基づいている。この構成では、光のフォトン数分布に伴う光電子数の確率分布を適切に記述することができる。また、一例の対象画素の読み出しノイズに伴う光電子数の確率分布は、正規分布に基づいている。この構成では、読み出しノイズに伴う光電子数の確率分布を適切に記述することができる。
　一例の確定値導出部２２ｂは、複数の画素１１のうち、対象画素の周囲の一部領域に含まれる２以上の画素１１を周辺画素として、周辺画素における暫定値の平均値を算出し、平均値を考慮して第１の確率を算出する。より具体的には、確定値導出部２２ｂは、周辺画素の暫定値の平均値を対象画素の平均フォトン数として、光のフォトン数分布に伴う光電子数の確率分布に基づく、対象画素における光電子数ごとの観測確率を導出する。この構成では、周辺画素の光電子数の平均値が考慮されることにより、第１の確率の信頼度が高められる。
　一例の確定値導出部２２ｂは、複数の画素１１のそれぞれの読み出しノイズを示すノイズマップを有している。すなわち、確定値導出部２２ｂは、必要に応じてノイズマップを参照する。確定値導出部２２ｂは、ノイズマップを含むデータを参照して第２の確率を導出することができる。例えば、確定値導出部２２ｂは、ノイズマップを参照して加重平均を算出することができる。
　一例の確定値導出部２２ｂは、平均値として、周辺画素の読み出しノイズを重み付けに含む加重平均を算出する。この構成では、読み出しノイズの小さい周辺画素における光電子数の信頼度が高められた平均値を得ることができる。
　一例の平均値は、対象画素と周辺画素のそれぞれとの距離を重み付けに含む加重平均である。この構成では、対象画素により近い周辺画素の光電子数の信頼度が高められた平均値を得ることができる。
　また、図１１から図１６に示されるように、対象画素の読み出しノイズが小さい場合には、対象画素における暫定値の信頼性が高く、対象画素における暫定値と確定値とにズレが生じ難くなっている。そのため、一例においては、確定値導出部２２ｂは、対象画素の読み出しノイズが小さい場合には、対象画素の暫定フォトン数と同じ値を対象画素の確定値として導出してもよい。すなわち、確定値導出部２２ｂは、複数の画素のうち所定の値以上の読み出しノイズを有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値未満の読み出しノイズを有する画素の暫定値と、に基づいて、複数の画素についてのフォトンカウンティングデータを作成してもよい。この場合、所定の値未満の読み出しノイズを有する画素を対象画素としたときに、確率Ｐ（ｋ│ｘ）を導出する演算を必要としない。一例において、確定値導出部２２ｂは、読み出しノイズが０．４［ｅ－ｒｍｓ］未満の画素において暫定値を確定値として導出してもよい。換言すると、確定値導出部２２ｂは、読み出しノイズが０．４［ｅ－ｒｍｓ］以上の画素においてのみ確定値を導出する上記演算を実行してもよい。確定値導出部２２ｂは、ノイズマップを参照することによって、暫定値を確定値として導出する画素と、確定値を導出する上記演算を実行する画素とを決定することができる。
　また、図１７から図２１に示されるように、対象画素における暫定値が大きい場合には、読み出しノイズよりも光ショットノイズが支配的であるため、暫定値が真のフォトン数を示している可能性が高いと考えられる。そのため、一例においては、確定値導出部２２ｂは、複数の画素のうち所定の値未満の暫定値を有する画素を対象画素として導出された確定値と、複数の画素のうち所定の値以上の暫定値を有する画素の暫定値と、に基づいて、複数の画素についてのフォトンカウンティングデータを作成してもよい。この場合、光ショットノイズが支配的となる所定の値（以下、設定値という場合がある）以上の暫定値を有する画素において、確率Ｐ（ｋ│ｘ）を導出する演算を必要としない。一例において、確定値導出部２２ｂは、暫定値が設定値以上の画素において暫定値を確定値として導出してもよい。換言すると、確定値導出部２２ｂは、暫定値が設定値未満の画素においてのみ確定値を導出する上記演算を実行してもよい。また、確定値導出部２２ｂは、実質的に、暫定値が設定値以上の画素において暫定値が確定値として導出されるように、仮定フォトン数の範囲を設定してもよい。すなわち、確定値導出部２２ｂは、仮定フォトン数の範囲として、０から設定値までの範囲に対象画素の暫定値を加えた範囲を設定してもよい。例えば、設定値が１０［ｅ］である場合、図１７の例では、仮定フォトン数の範囲が「０，１，２，…，８，９，１０，９３」となる。
　図２５及び図２６は、一例のフォトンカウンティング装置の出力結果を示す実施例である。図２５の（ａ）は、ＥＭＣＣＤ（Electron Multiplying Charge Coupled Device）によるフォトンカウンティングの結果として形成された画像である。画像は計測されたフォトン数に応じた輝度を有する。図２５の（ｂ）は、上述したフォトンカウンティング装置によるデジタル値に基づいて形成された画像である。画像はデジタル値に応じた輝度を有する。図２５の（ｃ）は、上述したフォトンカウンティング装置による暫定値に基づいて形成された画像である。画像は暫定値に応じた輝度を有する。図２５の（ｄ）は、上述したフォトンカウンティング装置による確定値に基づいて形成された画像である。画像は確定値に応じた輝度を有する。図２５では、背景光が０［photon/pix/frame］であり、信号が１［photon/pix/frame］であり、露光時間が２００［ms］（５［fps］）であり、波長が５３２［ｎｍ］となっている。図２５では、数字と、正方形と、３つの長方形の組み合わせとが信号によって描画されている。なお、信頼度αは、１０である。
　図２５の（ｂ）では、特に読み出しノイズの影響により、画像の全体にわたってノイズが発生している。図２５の（ｃ）の信号部分は、図２５の（ａ）に示すＥＭＣＣＤの信号部分に比べて明確に描画されている。これは、ＥＭＣＣＤが増倍ノイズを有していることに起因すると考えられる。一方、図２５の（ｃ）の背景部分は、ＥＭＣＣＤの背景部分に比べてノイズを多く含む。これは、２次元イメージセンサを構成する複数の画素に読み出しノイズの大きい画素が含まれることに起因すると考えられる。確定値を反映する画像を示す図２５の（ｄ）では、信号部分の明確さは図２５の（ｃ）と同様である。一方、図２５の（ｄ）の背景部分のノイズは、図２５の（ｃ）の背景部分のノイズよりも少なくなっており、ＥＭＣＣＤの背景部分と遜色のないノイズの量となっている。
　図２６は、フォトンカウンティング装置によって得られたダーク画像を示す。図２６の（ａ）は、上述したフォトンカウンティング装置によるデジタル値に基づいて形成された画像である。図２６の（ｂ）は、上述したフォトンカウンティング装置による暫定値に基づいて形成された画像である。図２６の（ｃ）は、上述したフォトンカウンティング装置による確定値に基づいて形成された画像である。
　図２６の（ａ）では、特に読み出しノイズの影響により、画像の全体にわたってノイズが発生している。図２６の（ｂ）では、読み出しノイズの大きい画素に起因して、多くのノイズが観測されている。確定値を反映する画像を示す図２６の（ｃ）では、暫定値を反映する画像を示す図２６の（ｂ）に比べてノイズの量が低減している。
　以上、実施の形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られない。
　例えば、周辺画素が対象画素を中心とした３行×３列の画素群によって形成される例を示したが、周辺画素の構成は任意に決定されてよい。図２７、図２８、図２９及び図３０は、周辺画素の他の例を示す。いずれの図においても、対象画素となる画素１１ｃとその他の画素１１とが示されている。
　図２７は、周辺画素が四角形状に構成された画素群である例を示す。図２７の（ａ）に示す周辺画素は、３行×５列の画素群によって構成されている。図２７の（ｂ）に示す周辺画素は、５行×５列の画素群によって構成されている。図示例では、中心の画素１１ｃが対象画素となっているが、他の画素１１が対象画素であってもよい。周辺画素は、Ｎを１以上の整数、Ｍを２以上の整数として、Ｎ行×Ｍ列又はＭ行×Ｎ列に配列された画素群によって形成されてよい。
　図２８は、周辺画素が線対称かつ点対称に構成された画素群である例を示す。図２８の（ａ）に示す周辺画素は、十字形状をなす５つの画素によって構成されている。図２８の（ｂ）に示す周辺画素は、十字形状をなす１１の画素によって構成されている。図２８の（ａ）及び図２８の（ｂ）では、行方向に配列された画素（画素行）と列方向に配列された画素（画素列）とが交差する位置に対象画素である画素１１ｃが配置されているが、対象画素は他の画素１１であってもよい。また、１本の画素行と１本の画素列とが交差している例を示したが、１以上の画素行と１以上の画素列とが互いに交差していてもよい。
　図２８の（ｃ）に示す周辺画素は、四角形状（５行×５列）に構成された画素群のうちの四隅の画素が除かれた形状を有している。図２８の（ｄ）に示す周辺画素は、四角形状（５行×５列）に構成された画素群のうちの四隅周辺の画素が除かれた形状を有している。図２８の（ｅ）に示す周辺画素は、四角形状（７行×７列）に構成された画素群のうちの四隅周辺の画素が除かれた形状を有している。図２８の（ｆ）に示す周辺画素は、四角形状（７行×５列）に構成された画素群のうちの四隅周辺の画素が除かれた形状を有している。
　図２８の（ｇ）に示す周辺画素は、四角形状（３行×３列）に構成された画素群のうちの対角線の位置に相当する画素１１によって構成されている。図２８の（ｈ）に示す周辺画素は、四角形状（５行×５列）に構成された画素群のうちの対角線の位置に相当する画素１１によって構成されている。
　図２９は、周辺画素が線対称かつ点対称に構成された画素群のうち、互いに離間した画素を含む例を示す。図２９の（ａ）に示す周辺画素は、５行×５列の画素群において、互いに離間する９つの画素１１によって構成されている。図２９の（ｂ）に示す周辺画素は、５行×５列の画素群において、周縁の１６の画素１１と中心の画素１１ｃとによって構成されている。図２９の（ｂ）に示す周辺画素は、５行×５列の画素群において、四隅の画素と、中心の画素１１ｃを含む十字形状の画素群とによって構成されている。図２９の（ｂ）に示す周辺画素は、５行×７列の画素群において、１行目の画素群と３行目の画素群と５行目の画素群とによって構成されている。
　図３０の（ａ）に示す周辺画素は、四角形状（５行×５列）の画素群内において卍形状を構成するように配置された画素１１によって構成されている。図３０の（ｂ）に示す周辺画素は、三角形状に形成された画素群によって構成されている。この例では、三角形の頂点の一つが対象画素となっているが、対象画素は他の画素１１であってもよい。図３０の（ｃ）に示す周辺画素は、四角形状（５行×５列）の画素群内において渦形状を形成する画素１１によって構成されている。図３０の（ｄ）に示す周辺画素は、四角形状（７行×７列）の領域内において、斜めに連続する複数の画素群であって、互いに離間する複数の画素群を含む。図示例では、四隅の画素１１を周辺画素に含む。
　上述した図２７から図３０に示す周辺画素は、単なる例示である。すなわち、周辺画素の構成は、図２７から図３０の例に限定されない。例えば、図２７から図３０に例示されたそれぞれの周辺画素は、規則性に基づいて拡張されてもよい。例えば、拡張とは、行方向に連続する画素の数の増加、列方向に連続する画素の数の増加、斜め方向に連続する画素の数の増加、等を含む。また、図２７から図３０に例示されたそれぞれの周辺画素は、互いに重畳されてもよい。互いに異なる周辺画素同士を重畳させる場合、一方又は両方の周辺画素を拡張させてもよい。また、上下反転又は左右反転させたときに異なる形状になる周辺画素は、元の周辺画素と反転させた周辺画素とを重畳させてもよい。
　図３１は、加重平均の他の例を説明するための図である。図３１では、上述の実施形態で説明した読み出しノイズによるノイズマップとノイズマップに基づく重み（以下、ノイズ重みという場合がる）のマップとが示される。また、図３１の変形例は、加重平均の重みとして、距離重みを含む。距離重みは、対象画素と周辺画素のそれぞれとの距離に基づく、加重平均の重み付けである。一例において、距離重みは、対象画素である画素１１ｃの中心と周辺画素のそれぞれの中心との距離に基づき、距離が小さいほど重みが大きくなるように設定されている。例えば、ガウシアンフィルタとして利用されるマスクが距離重みとして利用されてもよい。図示例では、ノイズ重みと距離重みの積が加重平均の重み付けに利用される。
　図３２は、加重平均のさらに他の例を説明するための図である。図３２では、上述の実施形態で説明した読み出しノイズによるノイズマップとノイズマップに基づく重みのマップとが示される。また、図３２の変形例は、加重平均の重みとして、１／０重みを含む。１／０重みは、周辺画素のそれぞれに設定された１又は０の値を重みの要素とする重み付けである。この例では、ノイズ重みと１／０重みの積が加重平均の重み付けに利用される。そのため、１／０重みの要素が１である画素では、ノイズ重みがそのまま加重平均の重み付けに利用される。一方、１／０重みの要素が０である画素では、加重平均の重み付けが０となる。すなわち、１／０重みの要素が０である画素の暫定値は、平均フォトン数を算出する演算に利用されない。例えば、２次元イメージセンサを構成する複数の画素内に含まれる欠陥画素を検出し、検出された欠陥画素における１／０重みを０にしてもよい。この場合、欠陥画素の出力が平均フォトン数の演算に利用されない。
　また、１／０重みは、図３３に示すように、任意の形状の周辺画素を形成するために利用することができる。図３３では、ノイズマップと、ノイズマップに基づく重みのマップと、１／０重みとが示される。図３３の１／０重みでは、十字形状をなす５つの画素の重みが１であり、残りの４つの画素の重みがゼロとなっている。この場合、ノイズ重みと１／０重みの積が加重平均の重み付けに利用されることで、周辺画素は、実質的に、図２８の（ａ）に示す周辺画素と同様の形状になる。このように、四角形状の領域内の任意の画素の１／０重みを１に設定し、残りの画素の１／０重みをゼロに設定することにより、周辺画素の形状を任意に設定できる。
　また、上記種々の実施形態では、ポアソン分布に代表される光ショットノイズに伴う光電子数の確率分布に基づいて第１の確率が導出される例を示したが、第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づいて導出されていればよい。
　例えば、光源の種類に基づいて、光のフォトン数分布に伴う光電子数の確率分布が推定可能な場合には、光源に応じた確率分布に基づいて第１の確率を導出してよい。一例として、光源がＬＥＤなどの非コヒーレントな光源、又は熱光子源である場合、フォトン数の揺らぎがポアソン分布よりも大きいフォトン数分布である超ポアソン分布（Super-poissonian）に基づいて第１の確率が導出されてもよい。また、光源が量子光源である場合、光子数の揺らぎがポアソン分布よりも小さいフォトン数分布であるサブポアソン分布（Sub-poissonian）に基づいて第１の確率が導出されてもよい。また、この場合、単一光子源などの光子数スクイーズド状態（例えばフォック状態）が示すフォトン数分布に基づいて第１の確率が導出されてもよいし、自発的パラメトリック下方変換（Spontaneous parametric down conversion, SPDC）などで生成する量子もつれ光子状態（例えばＮＯＯＮ状態）が示すフォトン数分布に基づいて第１の確率が導出されてもよい。また、量子光源を用いた複雑な光子状態において、モードの組み合わせによって生成される複雑なフォトン数分布（すなわち、マルチモードスクイーズド状態の光子数分布（Photon number distribution of multi-mode squeezed states））に基づいて第１の確率が導出されてもよい。また、光源が熱放射光源（Thermal light source）、疑似熱放射光源（Pseudo-thermal light source）である場合、ボーズ＝アインシュタイン分布（Bose-Einstein distribution）に基づいて第１の確率が導出されてもよい。また、数値の大きいほうにテールが長く伸びる形状を有する対数正規（Log-normal）分布、各フォトン数に対して確率が一様な分布である一様（Uniform）分布、複数の光子数分布を組み合わせた分布である混合分布（Mixture of multiple photon distribution）などに基づいて第１の確率が導出されてもよい。
　また、加重平均を利用して平均フォトン数を算出する際の重みは、上記の実施形態の例に限定されない。平均フォトン数を算出する際の重みとして、加重平均による平均フォトン数と真の平均フォトン数との誤差を小さくするような重みを利用する場合、以下のように求められる重みを利用してもよい。なお、真の平均フォトン数は、周辺画素の真のフォトン数の算術平均であってよい。
　加重平均による平均フォトン数λ＊と真の平均フォトン数λとの誤差を小さくする重みｗを求める場合、λ＊とλとの二乗誤差の期待値Ｅ［（λ＊－λ）２］を最小にするようなｗを算出すればよい。まず、λ＊の期待値Ｅ［λ＊］を求める。画素値ｘは、式（１０）に示す確率分布ｐ（ｘ）に従う。
Figure JPOXMLDOC01-appb-M000010
　この確率分布に基づいて期待値を計算すると、Ｅ［λ＊］＝λとなり、重みｗに依らずλ＊の期待値はλに一致する。続いて、Ｅ［（λ＊－λ）２］を求めると、以下の式（１１）が導出される。
Figure JPOXMLDOC01-appb-M000011
　式（１１）を最小化する重みＷｉを求める。ｗｊについて微分してゼロとおくと、式（１２）となる。
Figure JPOXMLDOC01-appb-M000012
　さらに、ｊ＝０について書き下せば、式（１３）となる。
Figure JPOXMLDOC01-appb-M000013
　ｊ≠０の場合と辺々差分をとると、式（１４）となり、式（１５）が導出される。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　ここで、例えばｗ０を式（１６）のようにおくことで、全てのｉについて式（１７）が成立する。この場合、加重平均による平均フォトン数λ＊は、式（１８）で示される。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　なお、式（１７）の中には、真の平均フォトン数λが含まれているため、式（１７）をそのまま計算することはできない。そこで、一例においては、周辺画素の重み無し平均として算出される平均フォトン数をλとして仮定して、式（１７）に基づいて導出されるｗｉを重みとしてもよい。
　また、式（１７）に基づいて導出されたｗｉは、セルフコンシステントに解かれてもよい。すなわち、導出された重みｗｉを式（１８）に代入することで平均フォトン数を得て（第１工程）、この平均フォトン数を用いて式（１７）から重みｗｉを導出する（第２工程）、という工程を収束まで繰り返してもよい。また、加重平均による平均フォトン数λ＊と真の平均フォトン数λとが近似することを期待して、式（１９）の解を平均フォトン数としてもよい。これは不動点定理を用いて、右辺の関数が縮小写像であるとき式（２０）で解を求めることができる。以上のように、周辺画素の真のフォトン数の平均値との誤差を小さくするような重みを重み付けに含む加重平均を用いることにより、平均フォトン数の算出精度の向上が期待できる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　また、対象画素の平均フォトン数は、複数フレームの暫定値のデータに基づいて導出されてもよい。すなわち、確定値導出部２２ｂは、複数の画素における暫定値のデータを複数フレーム分取得し、取得されたデータに基づいて平均フォトン数を導出してもよい。例えば、確定値導出部２２ｂは、取得したフレーム毎に対象画素の平均フォトン数をそれぞれ導出し、導出された平均フォトン数の平均値をλとして第１の確率を求めてもよい。また、確定値導出部２２ｂは、取得した複数フレーム分の暫定値のデータを一つの母集団として対象画素の平均フォトン数を導出し、導出された平均フォトン数をλとして第１の確率を求めてもよい。また、確定値導出部２２ｂは、取得したフレーム間において、画素ごとに暫定値の平均値を算出し、この平均値を各画素の暫定値として平均フォトン数を導出してもよい。以上のように、複数フレームにおける暫定値のデータに基づいて平均フォトン数が算出されることで、平均フォトン数の算出精度の向上が期待できる。
　また、確定値導出部２２ｂは、真のフォトン数との誤差が最小になると考えられるフォトン数を確定値として導出してもよい。すなわち、確定値導出部２２ｂは、フォトン数の期待値を確定値として導出してもよい。例えば、確定値導出部２２ｂは、フォトン数の確率分布に基づく、対象画素における光電子数ごとの観測確率を第１の確率とし、対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、対象画素の暫定値における光電子数ごとの観測確率を第２の確率として、第１の確率及び第２の確率に基づいて対象画素のフォトン数の期待値を導出し得る。例えば、対象画素が暫定値を示す場合の仮定フォトン数ごとの確率が式（２１）によって示される場合、フォトン数の期待値ｋｅｘｐは以下の式（２２）で示される。確定値導出部２２ｂで演算される仮定フォトン数ｋの範囲は、フォトン数の確率分布のデータ範囲であってよい。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
　１…フォトンカウンティング装置、１１…画素、１２…フォトダイオード（光電変換素子）、１３…アンプ、１５…Ａ／Ｄコンバータ、２１…記憶部、２２ａ…暫定値導出部（第１導出部）、２２ｂ…確定値導出部（第２導出部）。

Claims (25)

  1. 　入力された光を電荷に変換する光電変換素子と前記光電変換素子によって変換された電荷を増幅して電圧に変換するアンプとを含む複数の画素と、
    　前記複数の画素の前記アンプから出力される電圧をデジタル値に変換するＡ／Ｄコンバータと、
    　前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する第１導出部と、
    　第１の確率及び第２の確率に基づいて、前記複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出する第２導出部と、を備え、
    　前記第１の確率は、前記光のフォトン数分布に伴う光電子数の確率分布に基づく、前記対象画素における光電子数ごとの観測確率であり、
    　前記第２の確率は、前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、前記対象画素の前記暫定値における光電子数ごとの観測確率である、フォトンカウンティング装置。
  2. 　前記第２導出部は、前記第１の確率と前記第２の確率との積によって、前記対象画素が前記暫定値を示す場合の光電子数ごとの確率を算出し、算出された確率に基づいて前記確定値を決定する、請求項１に記載のフォトンカウンティング装置。
  3. 　前記光のフォトン数分布に伴う光電子数の確率分布は、ポアソン分布、超ポアソン分布、サブポアソン分布、光子数スクイーズド状態が示すフォトン数分布、量子もつれ光子状態が示すフォトン数分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、又は混合分布である、請求項１又は２に記載のフォトンカウンティング装置。
  4. 　前記対象画素の前記読み出しノイズに伴う光電子数の確率分布は、正規分布である、請求項１～３のいずれか一項に記載のフォトンカウンティング装置。
  5. 　前記第２導出部は、前記複数の画素のうち、前記対象画素の周囲の一部領域に含まれる２以上の画素を周辺画素として、前記周辺画素における前記暫定値の平均値を算出し、前記平均値を考慮して前記第１の確率を算出する、請求項１～４のいずれか一項に記載のフォトンカウンティング装置。
  6. 　前記平均値は、前記周辺画素の前記読み出しノイズを重み付けに含む加重平均である、請求項５に記載のフォトンカウンティング装置。
  7. 　前記平均値は、前記対象画素と前記周辺画素のそれぞれとの距離を重み付けに含む加重平均である、請求項５又は６に記載のフォトンカウンティング装置。
  8. 　前記平均値は、前記周辺画素のフォトン数の平均値との誤差を小さくするような重みを重み付けに含む加重平均である、請求項５に記載のフォトンカウンティング装置。
  9. 　前記第２導出部は、複数フレームにおける前記暫定値のデータに基づいて、前記暫定値の前記平均値を算出する、請求項５～８のいずれか一項に記載のフォトンカウンティング装置。
  10. 　前記第２導出部は、前記複数の画素のうち所定の値以上の前記読み出しノイズを有する画素を前記対象画素として導出された前記確定値と、前記複数の画素のうち前記所定の値未満の前記読み出しノイズを有する画素の前記暫定値とによって、前記複数の画素についてのフォトンカウンティングデータを作成する、請求項１～９のいずれか一項に記載のフォトンカウンティング装置。
  11. 　前記第２導出部は、前記複数の画素のうち所定の値未満の前記暫定値を有する画素を前記対象画素として導出された前記確定値と、前記複数の画素のうち前記所定の値以上の前記暫定値を有する画素の前記暫定値とによって、前記複数の画素についてのフォトンカウンティングデータを作成する、請求項１～１０のいずれか一項に記載のフォトンカウンティング装置。
  12. 　前記第２導出部は、前記複数の画素のそれぞれの前記読み出しノイズを示すノイズマップを有する、請求項１～１１のいずれか一項に記載のフォトンカウンティング装置。
  13. 　複数の画素を有する２次元イメージセンサから出力される前記複数の画素に対応するデジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出することと、
    　第１の確率及び第２の確率に基づいて、前記複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出することと、を備え、
    　前記確定値を導出することは、
    　　前記第１の確率として、光のフォトン数分布に伴う光電子数の確率分布に基づき、前記対象画素における光電子数ごとの観測確率を求めることと、
    　　前記第２の確率として、前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づき、前記対象画素の前記暫定値における光電子数ごとの観測確率を求めることとを含む、フォトンカウンティング方法。
  14. 　前記確定値を導出することは、前記第１の確率と前記第２の確率との積によって、前記対象画素が前記暫定値を示す場合の光電子数ごとの確率を算出し、算出された確率に基づいて前記確定値を決定する、請求項１３に記載のフォトンカウンティング方法。
  15. 　前記確定値を導出することは、前記光のフォトン数分布に伴う光電子数の確率分布として、ポアソン分布、超ポアソン分布、サブポアソン分布、光子数スクイーズド状態が示すフォトン数分布、量子もつれ光子状態が示すフォトン数分布、マルチモードスクイーズド状態の光子数分布、ボーズ＝アインシュタイン分布、対数正規分布、一様分布、又は混合分布を利用する、請求項１３又は１４に記載のフォトンカウンティング方法。
  16. 　前記確定値を導出することは、前記対象画素の前記読み出しノイズに伴う光電子数の確率分布として、正規分布を利用する、請求項１３～１５のいずれか一項に記載のフォトンカウンティング方法。
  17. 　前記確定値を導出することは、前記複数の画素のうち、前記対象画素の周囲の一部領域に含まれる２以上の画素を周辺画素として、前記周辺画素における前記暫定値の平均値を算出し、前記平均値を考慮して前記第１の確率を算出する、請求項１３～１６のいずれか一項に記載のフォトンカウンティング方法。
  18. 　前記確定値を導出することは、前記平均値として、前記周辺画素の前記読み出しノイズを重み付けに含む加重平均を用いる、請求項１７に記載のフォトンカウンティング方法。
  19. 　前記確定値を導出することは、前記平均値として、前記対象画素と前記周辺画素のそれぞれとの距離を重み付けに含む加重平均を用いる、請求項１７又は１８に記載のフォトンカウンティング方法。
  20. 　前記確定値を導出することは、前記平均値として、前記周辺画素のフォトン数の平均値との誤差を小さくするような重みを重み付けに含む加重平均を用いる、請求項１７に記載のフォトンカウンティング方法。
  21. 　前記確定値を導出することは、複数フレームにおける前記暫定値のデータに基づいて、前記暫定値の前記平均値を算出する、請求項１７～２０のいずれか一項に記載のフォトンカウンティング方法。
  22. 　前記複数の画素のうち所定の値以上の前記読み出しノイズを有する画素を前記対象画素として導出された前記確定値と、前記複数の画素のうち前記所定の値未満の前記読み出しノイズを有する画素の前記暫定値とによって、前記複数の画素についてのフォトンカウンティングデータを作成することを更に含む、請求項１３～２１のいずれか一項に記載のフォトンカウンティング方法。
  23. 　前記複数の画素のうち所定の値未満の前記暫定値を有する画素を前記対象画素として導出された前記確定値と、前記複数の画素のうち前記所定の値以上の前記暫定値を有する画素の前記暫定値とによって、前記複数の画素についてのフォトンカウンティングデータを作成することを更に含む、請求項１３～２１のいずれか一項に記載のフォトンカウンティング方法。
  24. 　前記確定値を導出することは、前記複数の画素のそれぞれの前記読み出しノイズを示すノイズマップを参照する、請求項１３～２３のいずれか一項に記載のフォトンカウンティング方法。
  25. 　複数の画素を有する２次元イメージセンサから出力される前記複数の画素に対応するデジタル値に基づいて、フォトンカウンティングの処理をコンピュータに実行させるプログラムであって、
    　前記デジタル値に基づいて、前記複数の画素における各画素のフォトン数の暫定値を導出する第１導出処理と、
    　第１の確率及び第２の確率に基づいて、前記複数の画素のうちの一つである対象画素におけるフォトン数の確定値を導出する第２導出処理と、
    　をコンピュータに実行させ、
    　前記第１の確率は、光のフォトン数分布に伴う光電子数の確率分布に基づく、前記対象画素における光電子数ごとの観測確率であり、
    　前記第２の確率は、前記対象画素の読み出しノイズに伴う光電子数の確率分布に基づく、前記対象画素の前記暫定値における光電子数ごとの観測確率である、フォトンカウンティング処理プログラム。
     
PCT/JP2021/048340 2021-03-01 2021-12-24 フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム WO2022185691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180095045.XA CN116940813A (zh) 2021-03-01 2021-12-24 光子计数装置、光子计数方法和光子计数处理程序
JP2023503403A JPWO2022185691A1 (ja) 2021-03-01 2021-12-24
EP21929247.1A EP4286807A1 (en) 2021-03-01 2021-12-24 Photon counting device, photon counting method, and photon counting processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031788 2021-03-01
JP2021-031788 2021-03-01

Publications (1)

Publication Number Publication Date
WO2022185691A1 true WO2022185691A1 (ja) 2022-09-09

Family

ID=83153950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048340 WO2022185691A1 (ja) 2021-03-01 2021-12-24 フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム

Country Status (4)

Country Link
EP (1) EP4286807A1 (ja)
JP (1) JPWO2022185691A1 (ja)
CN (1) CN116940813A (ja)
WO (1) WO2022185691A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352716A (ja) * 2005-06-17 2006-12-28 Casio Comput Co Ltd 撮像装置及び撮像方法
WO2019102636A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020038129A (ja) * 2018-09-04 2020-03-12 浜松ホトニクス株式会社 平均光子数の推定方法及び平均光子数の推定装置
JP2020096646A (ja) * 2016-12-05 2020-06-25 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352716A (ja) * 2005-06-17 2006-12-28 Casio Comput Co Ltd 撮像装置及び撮像方法
JP2020096646A (ja) * 2016-12-05 2020-06-25 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
WO2019102636A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
WO2019102637A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020038129A (ja) * 2018-09-04 2020-03-12 浜松ホトニクス株式会社 平均光子数の推定方法及び平均光子数の推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAKOTA A. STARKEY ET AL.: "Determining Conversion Gain and Read Noise Using a Photon-Counting Histogram Method for Deep Sub-Electron Read Noise Image Sensors", JOURNAL OF THE ELECTRON DEVICES SOCIETY, vol. 4, 3 May 2016 (2016-05-03), pages 129 - 135, XP011607396, DOI: 10.1109/JEDS.2016.2536719
JIAJU MA ET AL.: "Photon-number-resolving megapixel image sensor at room temperature without avalanche gain", OPTICA, vol. 4, 12 December 2017 (2017-12-12), pages 1474 - 1481

Also Published As

Publication number Publication date
JPWO2022185691A1 (ja) 2022-09-09
CN116940813A (zh) 2023-10-24
EP4286807A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
JP7187478B2 (ja) フォトンカウンティング装置およびフォトンカウンティング方法
WO2022185691A1 (ja) フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム
WO2023119934A1 (ja) 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム
JP2017220879A (ja) 信号処理装置、信号処理方法、及び、撮像装置
WO2023119933A1 (ja) 光子数識別システム、光子数識別方法および光子数識別処理プログラム
US11122213B2 (en) Imaging apparatus
JP7339780B2 (ja) 撮像装置及びその制御方法
WO2023042554A1 (ja) 推定方法、推定プログラム及び推定装置
US20220400223A1 (en) Information processing apparatus, information processing method, image sensor, and storage medium
US20240107199A1 (en) Photoelectric conversion device, control method, and storage medium
JP2023046660A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
CN114339084A (zh) Tof图像传感器像素结构及测距系统
KR20080007851A (ko) 컬러 보정 블럭을 구비하는 ｃｍｏｓ 이미지 센서 및 그이미지 센싱 방법
JP2014109550A (ja) 放射線撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929247

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023503403

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180095045.X

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021929247

Country of ref document: EP

Effective date: 20230828

NENP Non-entry into the national phase

Ref country code: DE