WO2023042554A1 - 推定方法、推定プログラム及び推定装置 - Google Patents

推定方法、推定プログラム及び推定装置 Download PDF

Info

Publication number
WO2023042554A1
WO2023042554A1 PCT/JP2022/029355 JP2022029355W WO2023042554A1 WO 2023042554 A1 WO2023042554 A1 WO 2023042554A1 JP 2022029355 W JP2022029355 W JP 2022029355W WO 2023042554 A1 WO2023042554 A1 WO 2023042554A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrical signal
likelihood function
photoelectrons
pixels
estimation
Prior art date
Application number
PCT/JP2022/029355
Other languages
English (en)
French (fr)
Inventor
勝大 中本
寿也 保高
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to JP2023548152A priority Critical patent/JPWO2023042554A1/ja
Priority to CN202280062364.5A priority patent/CN117941369A/zh
Priority to EP22869702.5A priority patent/EP4358533A1/en
Publication of WO2023042554A1 publication Critical patent/WO2023042554A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors

Definitions

  • the present disclosure relates to an estimation method, an estimation program, and an estimation device.
  • Patent Documents 1 and 2 describe a photon counting device using a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • a voltage output from the amplifier is converted into a digital value by an A/D converter.
  • the photon counting device determines the number of photons of the pixels forming the image sensor based on the digital value output from the A/D converter.
  • Non-Patent Document 1 describes a technique for measuring gain in a CMOS image sensor.
  • a histogram of photon count values is generated for each pixel, and the gain is calculated based on the peak interval of the histogram.
  • One aspect of the present disclosure provides an estimation method that can reduce the amount of data required to estimate (calculate) transform coefficients.
  • An example estimation method is a method of estimating a conversion coefficient, which is a ratio between the number of photoelectrons generated in a pixel when light is input to the pixel and the amount of electrical signal output according to the number of photoelectrons.
  • An example of the estimation program is a program for estimating a conversion coefficient, which is a ratio between the number of photoelectrons generated in a pixel when light is input to the pixel and the amount of electrical signal output according to the number of photoelectrons, Represents acquisition processing for acquiring multiple data groups containing electrical signal amounts for each of multiple pixels when light is input to each of the multiple pixels, and the likelihood of conversion coefficients corresponding to the output electrical signal amounts. and a calculation process of calculating transform coefficients for each of the plurality of pixels from the plurality of data groups based on the likelihood function.
  • An example of the estimating device is an estimating device that estimates a conversion coefficient, which is a ratio between the number of photoelectrons generated in a pixel when light is input to the pixel and the amount of electrical signal output according to the number of photoelectrons
  • FIG. 11 shows an acquisition unit that acquires a plurality of data groups including electrical signal amounts for each of the plurality of pixels when light is input to each of the plurality of pixels, and the likelihood of conversion coefficients corresponding to the output electrical signal amounts.
  • a calculation unit that calculates transform coefficients for each of the plurality of pixels from the plurality of data groups based on the likelihood function.
  • the likelihood function is used to estimate the transform coefficients, so the amount of data required for estimating the transform coefficients can be reduced. For example, if the data group is image data reflecting the amount of electrical signal in each pixel, the number of frames required for estimating transform coefficients can be reduced.
  • the likelihood function may be defined with reference to the probability density distribution of the amount of electrical signal.
  • the probability density distribution of the amount of electrical signal may include a function for deriving the amount of electrical signal from the number of photoelectrons corresponding to the amount of light, using the conversion coefficient as a parameter.
  • the probability density distribution of the electrical signal amount may include a probability density distribution considering readout noise in a plurality of pixels. Taking read noise into account can improve the accuracy of the probability density distribution.
  • the probability density distribution of the electrical signal amount may include the probability distribution according to the number of photoelectrons.
  • the likelihood function where ⁇ is the average number of photons and ⁇ is the readout noise, is may be represented by
  • the likelihood function is, when the read noise is ⁇ , may be represented by
  • the probability density distribution r(x i ; n, ⁇ , [f]) has a degree of freedom ⁇ is defined using the t-distribution with ⁇ degrees of freedom as
  • the likelihood function is may be represented by
  • an estimation method capable of reducing the amount of data required to estimate transform coefficients.
  • FIG. 1 is a diagram showing the configuration of an example of a photon counting device.
  • FIG. 2 is a diagram showing how an example photon counting device is used.
  • FIG. 3 is a diagram showing a mode of use of an example photon counting device.
  • FIG. 4 is a flow diagram showing the estimation method.
  • FIG. 5 is a diagram showing a recording medium storing an example of a photon counting device program.
  • FIG. 6 is a diagram showing, as a histogram, simulation results of digital values derived by an example photon counting device.
  • FIG. 7 is a diagram showing, as a histogram, simulation results of the number of photons derived by an exemplary photon counting device.
  • FIG. 8 is a histogram showing the digital values derived by an example photon counting device.
  • FIG. 9 is a diagram showing correction values of digital values derived by an example photon counting device as a histogram.
  • FIG. 10 is a diagram showing, as a histogram, simulation results of
  • the estimating device of the present disclosure may be a photon counting device, a part of the photon counting device, or a part or all of the photon counting device. It may be a system including
  • photon counting refers to both counting the number of photoelectrons generated in each pixel of the image sensor and counting the number of photons considering the quantum efficiency (QE) of the image sensor. including.
  • FIG. 1 is a diagram showing the configuration of an example photon counting device.
  • an exemplary photon counting device includes a CMOS image sensor 10 as a two-dimensional image sensor, and a computer (controller) 20 connected to the CMOS image sensor 10 .
  • the CMOS image sensor 10 includes multiple pixels 11 and an A/D converter 15 .
  • the plurality of pixels 11 are two-dimensionally arranged. That is, the plurality of pixels 11 are arranged in row direction and column direction.
  • Each pixel 11 has a photodiode (photoelectric conversion element) 12 and an amplifier 13 .
  • the photodiode 12 accumulates electrons (photoelectrons) generated by the input of photons as charges.
  • the amplifier 13 converts the charge accumulated in the photodiode 12 into a voltage and amplifies the converted voltage.
  • the amplified voltage is transferred to the vertical signal line 16 line by line (row) by switching the selection switch 14 of each pixel 11 .
  • Each vertical signal line 16 is provided with a CDS (correlated double sampling) circuit 17 .
  • the CDS circuit 17 removes noise that varies between pixels and temporarily stores the transferred voltage.
  • the A/D converter 15 converts the voltage output from each amplifier 13 in the plurality of pixels 11 into a digital value (pixel value).
  • the A/D converter 15 may be provided for each pixel 11 .
  • the A/D converter 15 converts the voltage stored in the CDS circuit 17 into a digital value.
  • the converted digital values are output to the computer 20 respectively.
  • the digital value may be sent to a horizontal signal line (not shown) and output to the computer 20 by switching the column selection.
  • the CMOS image sensor 10 outputs to the computer 20 a digital value corresponding to the number of photons input (the number of photoelectrons generated). It should be noted that when the voltage amplified by the amplifier 13 is read out, readout noise, which is random noise, is generated within the amplifier 13 .
  • the computer 20 is physically configured with storage devices such as RAM and ROM, processors (arithmetic circuits) such as CPU and GPU, and communication interfaces. Examples of the computer 20 include personal computers, cloud servers, smart devices (smartphones, tablet terminals, etc.), microcomputers, and FPGAs (field-programmable gate arrays).
  • the computer 20 functions as an estimation unit 21 , a storage unit 22 , a conversion unit 23 , a data processing unit 24 and a control unit 25 by executing a program stored in a storage device with a processor of the computer system.
  • the computer 20 may be provided inside a camera device including the CMOS image sensor 10 .
  • the computer 20 may be provided outside the camera device.
  • a display device 26 and an input device 27 can be connected to the computer 20 .
  • Display device 26 is, for example, a display capable of displaying the photon counting results obtained by computer 20 .
  • the input device 27 may be a keyboard, mouse, or the like for the user to input measurement conditions. Note that the display device 26 and the input device 27 may be touch screens. Display device 26 and input device 27 may be included in computer 20 . Also, the display device 26 and the input device 27 may be provided in a camera device including the CMOS image sensor 10 .
  • the estimator 21 is the ratio between the number of photoelectrons generated in a pixel when a predetermined number of photons (light intensity) of light is input to the pixel and the digital value (electrical signal amount) output according to the number of photoelectrons. Estimate the gain (transform coefficient).
  • the gain estimation by the estimation unit 21 may be performed, for example, in the manufacturing process of the photon counting device 1 . Also, the estimation of the gain by the estimation unit 21 may be performed by the user of the photon counting device 1 at arbitrary timing, for example. Details of the processing by the estimation unit 21 will be described later.
  • the storage unit 22 stores data for converting the digital value output from the CMOS image sensor 10 into the number of photoelectrons. For example, the storage unit 22 stores gains of the plurality of pixels 11 as a lookup table. The gain may be a value estimated by the estimator 21 . Further, the storage unit 22 may store the readout noise of each of the plurality of pixels 11 as a lookup table.
  • the digital value [DN] output from the A/D converter 15 described above is expressed by the following equation when the number of photoelectrons is linear.
  • one example considers the digital values not to include the offset values. If the digital value includes an offset value, the digital value is represented by the following formula. Therefore, when the digital value includes an offset value, the value obtained by subtracting the offset value from the output digital value may be considered as the digital value in this specification.
  • the offset value [DN] is indicated as a digital value that is output when no light is input. Therefore, by acquiring a plurality of digital values from a plurality of dark images acquired by the CMOS image sensor 10 in a state where no light is input, and averaging the acquired digital values for each pixel 11, the offset value is is obtained.
  • the storage unit 22 may store the offset value of each of the plurality of pixels 11 obtained as described above as a lookup table.
  • the conversion unit 23 refers to the table stored in the storage unit 22 and converts the digital values for each of the plurality of pixels 11 output from the A/D converter 15 into the number of photoelectrons.
  • the conversion unit 23 may derive the number of photoelectrons for each pixel 11 by dividing the digital value by the gain, as in the following equation.
  • the digital value includes an offset value
  • the number of photoelectrons may be derived by dividing the value obtained by subtracting the offset value from the measured digital value by the gain.
  • the conversion unit 23 may acquire the number of photoelectrons represented by an integer by truncating the derived number of photoelectrons below the decimal point, rounding them off, or the like.
  • the number of photoelectrons represented by an integer may be obtained by setting a predetermined threshold range for the number of photoelectrons derived by the above formula.
  • the threshold range corresponding to 5 photoelectrons is greater than or equal to 4.5e and less than 5.5e.
  • the conversion unit 23 can obtain the number of photons by dividing the number of photoelectrons for each pixel 11 by the quantum efficiency. When the quantum efficiency is 100%, the number of photoelectrons and photons are the same.
  • the conversion unit 23 derives the number of photoelectrons, but the number of photoelectrons may be read as the number of photons.
  • the data processing unit 24 creates a two-dimensional image (photon number identification image) indicating the number of photoelectrons in each pixel 11 based on the number of photoelectrons output from the conversion unit 23 .
  • the two-dimensional image may be an image in which each pixel is drawn with luminance corresponding to the number of photoelectrons.
  • the created two-dimensional image can be output to the display device 26 .
  • the data processing unit 24 may also create a histogram or the like that is a plot of the number of pixels against the number of photoelectrons.
  • the control unit 25 can centrally control each functional unit of the computer 20 and the CMOS image sensor 10 .
  • An example estimation unit 21 includes an acquisition unit 21a and a calculation unit 21b.
  • Acquisition unit 21 a executes an acquisition process of acquiring a plurality of data groups including digital values for each of the plurality of pixels 11 when light is input to each of the plurality of pixels 11 .
  • the data group may be acquired as image data (optical image) in which each pixel 11 and a digital value are associated, for example.
  • the acquiring unit 21a acquires a plurality of frames of such image data. Further, the obtaining unit 21a obtains a plurality of digital values corresponding to each pixel 11 based on the obtained image data of the plurality of frames.
  • FIG. 2 and FIG. 3 are diagrams showing how the photon counting device is used as an example.
  • the photon counting device 1 may acquire image data while light output from the light source 30 is input to the CMOS image sensor 10 .
  • an object 40 such as an observation sample may be arranged on the optical path between the light source 30 and the CMOS image sensor 10.
  • the acquisition unit 21a may acquire image data of the object 40 captured.
  • the calculation unit 21b executes calculation processing for calculating the gain for each of the plurality of pixels 11 from the plurality of data groups based on the likelihood function regarding the gain.
  • the gain-related likelihood function is a function representing the likelihood of gains corresponding to a plurality of digital values output for each pixel 11 .
  • the likelihood function is defined with reference to the probability density distribution (probabilistic model) of digital values.
  • the electrical characteristics of the CMOS image sensor 10 may be reflected in the probability density distribution of digital values. Further, the characteristics of light input to the CMOS image sensor 10 may be reflected in the probability density distribution of digital values.
  • q(n) be the probability distribution followed by the number of photoelectrons n[e]
  • x f(n ; ⁇ )
  • the likelihood as a general formula
  • the function L( ⁇ ) can be represented by the following equation. Note that [f] means that r is defined using the function f.
  • the likelihood function L ( The gain ⁇ [DN/e] can be accurately estimated based on ⁇ ).
  • the probability distribution q i (n) followed by the number of photoelectrons n[e] can be written as q(n) without depending on i
  • the likelihood function L( ⁇ ) is the average of the irradiated light It is represented by the above formula ([Math. 9]), which is the same as when the number of photons is constant.
  • An example of the probability density distribution of digital values is the convolution (composite product ).
  • the average number of photons is ⁇ [photon]
  • the probability distribution q(n) is the Poisson distribution of the average number of photons ⁇
  • the readout noise is ⁇ [e-rms]
  • the function f (n; ⁇ ) is a linear function
  • f(n; ⁇ ) ⁇ n and let probability density distribution r(x i ;n, ⁇ ,[f]) be a normal distribution with mean f(n; ⁇ ) and standard deviation ⁇ , then the likelihood
  • the function L( ⁇ ) is represented by the following formula.
  • the calculator 21b calculates the most probable gain ⁇ from the likelihood function by so-called maximum likelihood estimation.
  • a gain ⁇ that maximizes a log-likelihood function derived from the likelihood function is calculated.
  • An example log-likelihood function is shown below.
  • the readout noise ⁇ may be obtained by a known method.
  • Readout noise may be defined as gain fluctuations. Therefore, the standard deviation of the digital values may be obtained for each pixel 11 in a plurality of dark images (for example, 100 frames or more), and the obtained standard deviation may be used as the readout noise ⁇ . Note that the readout noise ⁇ need not be known with high accuracy.
  • the calculator 21b may obtain the average number of photons ⁇ using, for example, the approximate value ⁇ ′ of the gain ⁇ . For example, for N pixels in a predetermined range, the average number of photons ⁇ as an approximate value is obtained based on the following equation. Note that the N pixels may be all pixels. In addition, the following equations do not consider the nonlinearity of the digital values.
  • the average number of photons ⁇ is unknown, the average number of photons may be defined by the following equation.
  • the calculator 21b may calculate a gain ⁇ that maximizes the logarithmic likelihood function expressed by the following equation.
  • the approximate value ⁇ ' of the gain ⁇ when obtaining the approximate value ⁇ ' of the gain ⁇ , the average value of the digital values and the variance of the digital values of the target pixel are calculated for each frame with the same average number of photons. , and the reciprocal of the slope of the approximating straight line may be used as the approximation value ⁇ '.
  • the approximate value ⁇ ' When the measurement is performed without changing the amount of light, the approximate value ⁇ ' may be obtained by dividing the variance of the digital values by the average value of the digital values.
  • the approximate value ⁇ ′ of the gain of each pixel 11 acquired in this manner may be stored in the storage unit 22 .
  • the calculation unit 21b may maximize the logarithmic likelihood function using a gradient method such as the Newton method with ⁇ ' as an initial value.
  • the likelihood function has a local optimum, the gradient method cannot be used when the approximation ⁇ ' of ⁇ has not been obtained. In this case, it is necessary to exhaustively search for ⁇ that maximizes the logarithmic likelihood function within a predetermined range.
  • the calculation unit 21b may estimate the gain ⁇ of all pixels by performing such processing for each pixel 11 .
  • the estimated gain ⁇ for each pixel 11 is associated with each pixel 11 and stored in the storage unit 22 .
  • the conversion unit 23 estimates the number of photoelectrons by referring to the gain ⁇ estimated in this way.
  • the calculation unit 21b performs high-speed estimation of the gain ⁇ by performing parallel calculation. For example, when searching 10 search points for 10 pixels, high-speed processing is possible by evaluating the j-th search point of the i-th pixel in the (i+j ⁇ 10)-th thread.
  • the likelihood function described above is an example.
  • Other likelihood functions may be used in the process of estimating the gain ⁇ in the estimation unit 21 .
  • the likelihood function may be expressed by the following formula, assuming that the probability distribution q(n) according to the number of photoelectrons is constant.
  • Equation 19 probability distribution q(n) is a Poisson distribution with an average number of photons ⁇ , and function f(n; ⁇ ) is a linear function ⁇ n.
  • FIG. 4 is a flow chart showing an example of the process of estimating the gain ⁇ by the estimating section 21 .
  • the estimation unit 21 acquires a digital value (step S1). That is, the estimation unit 21 acquires a plurality of data groups including digital values for each of the plurality of pixels 11 when light is input to the plurality of pixels 11 .
  • the estimating unit 21 as an example acquires a plurality of image data representing a light intensity distribution in which each pixel 11 and a digital value are associated with each other while light is emitted from the light source 30 .
  • the number of image data acquired by the estimation unit 21 may be about 100 to 1000 frames.
  • the light intensity distribution formed by the light source 30 may be spatially and temporally uniform, or may be non-uniform.
  • the estimation unit 21 estimates the gain ⁇ , which is the transform coefficient (step S2). That is, the estimation unit 21 calculates the gain ⁇ for each of the plurality of pixels 11 from the digital values of the plurality of image data based on the likelihood function representing the likelihood of the gain ⁇ corresponding to the output digital value. If the light emitted from the light source 30 can be controlled, the average number of photons ⁇ may be specified based on information on the controlled light. The estimation unit 21 stores the estimated gains of all the pixels in the storage unit 22 .
  • FIG. 5 is a block diagram showing a recording medium 100 storing a processing program P1 (estimation program) that causes a computer to execute photon counting processing including the above-described gain ⁇ estimation processing.
  • the processing program P1 stored in the recording medium 100 includes an acquisition processing module P21a, a calculation processing module P21b, a storage processing module P22, a conversion processing module P23, a data processing module P24, and a control module P25.
  • the functions realized by executing the acquisition processing module P21a, the calculation processing module P21b, the storage processing module P22, the conversion processing module P23, the data processing module P24, and the control module P25 are respectively the acquisition unit 21a, the calculation unit 21b, The functions are the same as those of the storage unit 22 , the conversion unit 23 , the data processing unit 24 and the control unit 25 .
  • the processing program P1 is recorded in a program recording area in the computer-readable recording medium 100.
  • the recording medium 100 may be a non-temporary recording medium.
  • the recording medium 100 is composed of a recording medium such as a CD-ROM, DVD, ROM, semiconductor memory, or the like.
  • the processing program P1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
  • FIG. 6 is a diagram showing, as a histogram, simulation results of digital values derived by an exemplary photon counting device.
  • the horizontal axis is the digital value and the vertical axis is the count.
  • the average photon number ⁇ is 80.
  • the average gain ⁇ is assumed to be 7 [DN/e].
  • the standard deviation of the gain ⁇ is assumed to be 0.02.
  • the readout noise ⁇ is 1.8 [DN].
  • the value of this readout noise is approximately 0.26 [e-rms] in terms of the number of photoelectrons.
  • the number of pixels is 32 ⁇ 32.
  • the number of frames of acquired image data (data group) is 1,000.
  • the peak separation peak and valley
  • FIG. 7 is a diagram showing the effectiveness of gains estimated based on digital values in the example of FIG.
  • digital values are converted to photon numbers based on the gains estimated by the method described above, and a histogram of the converted photon numbers is shown.
  • the horizontal axis is the number of photons, and the vertical axis is the count. It can be seen that in the photon number histogram shown in FIG. 7, the peaks are clearly separated compared to the digital value histogram shown in FIG.
  • the likelihood function used for gain estimation in the example of FIG. 7 is the following formula.
  • FIG. 8 is a diagram showing, as a histogram, actually measured digital values derived by an exemplary photon counting device.
  • the horizontal axis is the digital value and the vertical axis is the count.
  • three patterns with average photon numbers ⁇ of 14, 39 and 84 are shown.
  • the number of pixels is 1630 ⁇ 1630.
  • the number of frames of acquired image data (data group) is 1,000.
  • the peak separation becomes unclear as the digital value increases. Also, the larger the average photon number ⁇ , the more unclear the separation of the peaks.
  • FIG. 9 is a diagram showing the effectiveness of gains estimated based on digital values in the example of FIG.
  • the digital value is converted into the number of photoelectrons based on the gain ⁇ estimated by the above method, and the converted number of photoelectrons is reconverted into the digital value using the average value of the gain ⁇ .
  • FIG. 9 shows a histogram of reconverted digital values. The horizontal axis is the reconverted digital value, and the vertical axis is the count.
  • the gain ⁇ was estimated by the method described above based on image data acquired when the average photon number ⁇ was 84. This gain ⁇ was used to retransform three histograms with average photon numbers ⁇ of 14, 39 and 84. It can be seen that the reconverted digital value histogram shown in FIG. 9 has clearer peak separation than the digital value histogram shown in FIG.
  • FIG. 10 shows a histogram of the simulated digital values derived by the photon counting device (before estimation) and a histogram of the retransformed digital values (after estimation).
  • the reconverted digital value was obtained by converting the original digital value into the number of photoelectrons based on the gain ⁇ estimated by the method described above, and then converting the converted number of photoelectrons into a digital value again using the average value of the gain ⁇ . value.
  • the horizontal axis is the digital value and the vertical axis is the count.
  • the average photon number ⁇ is 100.
  • the average gain ⁇ is assumed to be 7 [DN/e].
  • the standard deviation of the gain ⁇ is assumed to be 0.05.
  • the readout noise ⁇ is 0.25 ⁇ gain.
  • the average gain ⁇ is 7 [DN/e]
  • the average readout noise ⁇ is 1.75 [DN].
  • the number of pixels is 32 ⁇ 32.
  • the number of frames of acquired image data (data group) is 500.
  • the likelihood function used for gain estimation in the example of FIG. 10 is the following formula.
  • the likelihood function used in the estimation method can be defined with reference to various models as long as it is based on the probabilistic model of output digital values.
  • the photon counting device 1 as an example of the estimation device includes the acquisition unit 21a that acquires a plurality of digital values of the pixels 11 when light is input to the pixels 11, and the gain corresponding to the output digital values. and a calculating unit 21b for calculating a pixel gain from a plurality of data based on a likelihood function representing the likelihood of .
  • the amount of data required for gain estimation can be reduced by using a likelihood function for gain estimation. For example, if the data is image data that reflects the digital value of each pixel, the number of frames required for gain estimation can be reduced.
  • the likelihood function may be defined with reference to a probability density distribution of digital values.
  • the probability density distribution of the digital value may include the probability distribution q(n) followed by the number of photoelectrons n and the probability density distribution r(x i ; n, ⁇ , [f]) followed by the digital value when the number of photoelectrons is n. good.
  • the gain can be estimated with high accuracy.
  • the probability density distribution of digital values may include a probability density distribution that considers the readout noise of the amplifier 13 in the multiple pixels 11 . Taking read noise into account can improve the accuracy of the probability density distribution.
  • the probability distribution q(n) followed by the number of photoelectrons n may be constant. In this case, even if the amount of light fluctuates during measurement, the influence of the fluctuation in the amount of light on gain estimation can be reduced.
  • the probability density distribution does not need to be truly accurate.
  • the distribution is originally asymmetric, adopting a symmetrical distribution, adopting an approximation distribution different from the distribution of the original physical phenomenon, or omitting a distribution that cannot be strictly omitted.
  • the average photon number ⁇ can be obtained from the following equation.
  • the dark count is not considered, but if the dark count is too large to ignore, the average number of photons is the sum of the true average number of photons and the average number of dark counts. It may be the number of photons.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

推定装置は、画素に光が入力されることにより画素で発生する光電子数と光電子数に応じて出力される電気的信号量との比である変換係数を推定する推定装置であって、複数の画素にそれぞれ光が入力されたときの複数の画素ごとの電気的信号量を含むデータ群を複数取得する取得部と、出力された電気的信号量に対応する変換係数の尤度を表す尤度関数に基づいて、複数のデータ群から複数の画素ごとの変換係数を算出する算出部と、を備える。

Description

推定方法、推定プログラム及び推定装置
　本開示は、推定方法、推定プログラム及び推定装置に関する。
　例えば特許文献１及び特許文献２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたフォトンカウンティング装置が記載されている。この装置では、光電変換素子にフォトンが入力されると、入力されたフォトン数に応じて生成された電子が電荷として蓄積される。光電変換素子に蓄積された電荷は、アンプによって電圧に変換され増幅される。アンプから出力される電圧は、Ａ／Ｄコンバータによってデジタル値に変換される。フォトンカウンティング装置では、Ａ／Ｄコンバータから出力されるデジタル値に基づいて、イメージセンサを構成する画素のフォトン数が判別される。
　また、非特許文献１には、ＣＭＯＳイメージセンサにおけるゲインを測定する技術が記載されている。この技術では、画素ごとに光子のカウント値についてのヒストグラムを生成し、ヒストグラムのピーク間隔に基づいてゲインを算出する。
国際公開第２０１９／１０２６３６号 国際公開第２０１９／１０２６３７号
Starkey, Dakota A., and Eric R. Fossum. "Determining conversion gain and read noise using a photon-counting histogram method for deep sub-electron read noise image sensors." IEEE Journal of the Electron Devices Society 4.3 (2016): 129-135.
　ヒストグラムのピーク間隔に基づいてゲイン（変換係数）を算出する場合、ヒストグラムのピーク分離が可能である必要がある。そのため、精度良くゲインを算出しようとすると、例えば１００００フレーム以上のデータが必要になると考えられる。
　本開示の一側面は、変換係数の推定（算出）に必要なデータ量を低減できる推定方法を提供する。
　一例の推定方法は、画素に光が入力されることにより画素で発生する光電子数と光電子数に応じて出力される電気的信号量との比である変換係数を推定する方法であって、複数の画素にそれぞれ光が入力されたときの複数の画素ごとの電気的信号量を含むデータ群を複数取得するステップと、出力された電気的信号量に対応する変換係数の尤度を表す尤度関数に基づいて、複数のデータ群から複数の画素ごとの変換係数を算出するステップと、を備える。
　一例の推定プログラムは、画素に光が入力されることにより画素で発生する光電子数と、光電子数に応じて出力される電気的信号量との比である変換係数を推定するプログラムであって、複数の画素にそれぞれ光が入力されたときの複数の画素ごとの電気的信号量を含むデータ群を複数取得する取得処理と、出力された電気的信号量に対応する変換係数の尤度を表す尤度関数に基づいて、複数のデータ群から複数の画素ごとの変換係数を算出する算出処理と、をコンピュータに実行させる。
　一例の推定装置は、画素に光が入力されることにより画素で発生する光電子数と光電子数に応じて出力される電気的信号量との比である変換係数を推定する推定装置であって、複数の画素にそれぞれ光が入力されたときの複数の画素ごとの電気的信号量を含むデータ群を複数取得する取得部と、出力された電気的信号量に対応する変換係数の尤度を表す尤度関数に基づいて、複数のデータ群から複数の画素ごとの変換係数を算出する算出部と、を備える。
　一例の推定方法、推定プラグラム及び推定装置では、変換係数の推定に尤度関数が用いられるので、変換係数の推定に必要なデータ量を低減できる。例えば、データ群が各画素における電気的信号量を反映した画像データである場合、変換係数の推定に必要なフレーム数を低減できる。
　尤度関数は、電気的信号量の確率密度分布を参照して定義されていてよい。電気的信号量の確率密度分布は、変換係数をパラメータとして、光量に応じた光電子数から電気的信号量を導出する関数を含んでもよい。
　電気的信号量の確率密度分布は、複数の画素における読み出しノイズを考慮した確率密度分布を含んでもよい。読み出しノイズが考慮されることにより、確率密度分布の精度が向上し得る。
　電気的信号量の確率密度分布は、光電子数の従う確率分布を含んでもよい。この構成では、平均光子数を一定とする光が照射される場合、或いは平均光子数が経時変化する場合のどちらの場合でも、精度良く変換係数を推定できる。
　光電子数ｎの従う確率分布をｑｉ（ｎ）とし、変換係数がαのときに光電子数ｎに対する電気的信号量ｘを決定する関数をｘ＝ｆ（ｎ；α）とし、光電子数ｎのときのｉ番目のデータ群における電気的信号量ｘiの従う確率密度分布をｒ（ｘｉ；ｎ，α，［ｆ］）としたとき、尤度関数であるＬ（α）は、
Figure JPOXMLDOC01-appb-M000018
 で表されてもよい。
　尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
Figure JPOXMLDOC01-appb-M000019
 で表されてもよい。
　尤度関数は、読み出しノイズをσとしたとき、
Figure JPOXMLDOC01-appb-M000020
 で表されてもよい。
　確率密度分布ｒ（ｘｉ；ｎ，α，［ｆ］）は、自由度νを
Figure JPOXMLDOC01-appb-M000021
 として、自由度νのｔ分布を用いて定義されており、
　前記尤度関数は、
Figure JPOXMLDOC01-appb-M000022
 で表されてもよい。
　本開示の一側面によれば、変換係数の推定に必要なデータ量を低減できる推定方法を提供できる。
図１は、一例のフォトンカウンティング装置の構成を示す図である。 図２は、一例のフォトンカウンティング装置の使用態様を示す図である。 図３は、一例のフォトンカウンティング装置の使用態様を示す図である。 図４は、推定方法を示すフロー図である。 図５は、一例のフォトンカウンティング装置のプログラムが格納された記録媒体を示す図である。 図６は、一例のフォトンカウンティング装置によって導出されるデジタル値のシミュレーション結果をヒストグラムとして示す図である。 図７は、一例のフォトンカウンティング装置によって導出されるフォトン数のシミュレーション結果をヒストグラムとして示す図である。 図８は、一例のフォトンカウンティング装置によって導出されるデジタル値をヒストグラムとして示す図である。 図９は、一例のフォトンカウンティング装置によって導出されるデジタル値の補正値をヒストグラムとして示す図である。 図１０は、他の例のフォトンカウンティング装置によって導出されるデジタル値のシミュレーション結果をヒストグラムとして示す図である。
　以下、実施の形態について図面を参照しながら具体的に説明する。便宜上、実質的に同一の要素には同一の符号を付し、その説明を省略する場合がある。以下の説明では、フォトンカウンティング装置について説明するが、本開示の推定装置は、フォトンカウンティング装置であってもよく、フォトンカウンティング装置の一部であってもよく、フォトンカウンティング装置の一部又は全部を含むシステムであってもよい。以下の説明において、フォトンカウンティングとは、イメージセンサの各画素で生成される光電子（フォトエレクトロン）数のカウンティング、及び、イメージセンサの量子効率（ＱＥ：Ｑｕａｎｔｕｍ　Ｅｆｆｉｃｉｅｎｃｙ）を考慮したフォトン数のカウンティングの両方を含む。
　図１は、一例のフォトンカウンティング装置の構成を示す図である。図１に示すように、一例のフォトンカウンティング装置は、２次元イメージセンサとしてのＣＭＯＳイメージセンサ１０と、ＣＭＯＳイメージセンサ１０に接続されたコンピュータ（制御装置）２０とを備えている。ＣＭＯＳイメージセンサ１０は、複数の画素１１と、Ａ／Ｄコンバータ１５とを含んでいる。複数の画素１１は、２次元に配置されている。すなわち、複数の画素１１は、行方向及び列方向に配列されている。各画素１１は、フォトダイオード（光電変換素子）１２とアンプ１３とを有している。フォトダイオード１２は、フォトンの入力によって生成された電子（光電子）を電荷として蓄積する。アンプ１３は、フォトダイオード１２に蓄積された電荷を電圧に変換し、変換された電圧を増幅する。増幅された電圧は、各画素１１の選択スイッチ１４の切換によって、ライン毎（行毎）に垂直信号線１６に転送される。各垂直信号線１６にはＣＤＳ（correlated double sampling）回路１７が配置されている。ＣＤＳ回路１７は、画素間でバラツキのあるノイズを除去し、転送された電圧を一時的に保管する。
　Ａ／Ｄコンバータ１５は、複数の画素１１におけるそれぞれのアンプ１３から出力される電圧をデジタル値（画素値）に変換する。Ａ／Ｄコンバータ１５は、各画素１１に設けられてもよい。本実施形態では、Ａ／Ｄコンバータ１５は、ＣＤＳ回路１７に保管された電圧をデジタル値に変換する。変換されたデジタル値は、それぞれコンピュータ２０に出力される。例えば、デジタル値は、列選択の切換によって不図示の水平信号線に送られて、コンピュータ２０に出力されてもよい。このように、ＣＭＯＳイメージセンサ１０は、各画素１１にフォトンが入力されると、入力されたフォトン数（生成された光電子数）に応じたデジタル値をコンピュータ２０に出力する。なお、アンプ１３によって増幅された電圧が読み出される際、アンプ１３内ではランダムなノイズである読み出しノイズが発生する。
　コンピュータ２０は、物理的には、ＲＡＭ、ＲＯＭ等の記憶装置、ＣＰＵ、ＧＰＵ等のプロセッサ（演算回路）、通信インターフェイス等を備えて構成されている。コンピュータ２０としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）、マイクロコンピュータ、ＦＰＧＡ（field-programmable gate array）などが挙げられる。コンピュータ２０は、記憶装置に格納されるプログラムをコンピュータシステムのプロセッサで実行することにより、推定部２１、記憶部２２、変換部２３、データ処理部２４、制御部２５として機能する。コンピュータ２０は、ＣＭＯＳイメージセンサ１０を含むカメラ装置の内部に設けられていてもよい。コンピュータ２０は、カメラ装置の外部に設けられていてもよい。
　コンピュータ２０には、表示装置２６及び入力装置２７が接続され得る。表示装置２６は、例えばコンピュータ２０によって得られたフォトンカウンティング結果を表示し得るディスプレイである。入力装置２７は、ユーザが計測条件を入力するためのキーボード、マウス等であってよい。なお、表示装置２６及び入力装置２７は、タッチスクリーンであってもよい。表示装置２６及び入力装置２７は、コンピュータ２０に含まれてもよい。また、表示装置２６及び入力装置２７は、ＣＭＯＳイメージセンサ１０を含むカメラ装置に設けられてもよい。
　推定部２１は、所定のフォトン数（光量）の光が画素に入力されることにより画素で発生する光電子数と光電子数に応じて出力されるデジタル値（電気的信号量）との比であるゲイン（変換係数）を推定する。推定部２１によるゲインの推定は、例えば、フォトンカウンティング装置１の製造工程において実施されてもよい。また、推定部２１によるゲインの推定は、例えば、フォトンカウンティング装置１の使用者によって任意のタイミングで実施されてもよい。推定部２１による処理の詳細については、後述する。
　記憶部２２は、ＣＭＯＳイメージセンサ１０から出力されるデジタル値を光電子数に変換するためのデータを記憶する。例えば、記憶部２２は、複数の画素１１におけるそれぞれのゲインをルックアップテーブルとして記憶している。ゲインは、推定部２１によって推定された値であってよい。また、記憶部２２は、複数の画素１１におけるそれぞれの読み出しノイズをルックアップテーブルとして記憶してもよい。
　上述のＡ／Ｄコンバータ１５から出力されるデジタル値［ＤＮ］は、光電子数について線形の場合、以下の式によって示される。
Figure JPOXMLDOC01-appb-M000023
　この式に示されるように、一例においては、デジタル値がオフセット値を含まないものとして考えている。デジタル値がオフセット値を含む場合には、デジタル値は、以下の式によって示される。したがって、デジタル値がオフセット値を含む場合には、出力されたデジタル値からオフセット値を差し引いた値を本明細書におけるデジタル値として考えればよい。
Figure JPOXMLDOC01-appb-M000024
　なお、オフセット値［ＤＮ］は、光が入力されない状態で出力されるデジタル値として示される。そこで、光が入力されていない状態でＣＭＯＳイメージセンサ１０によって取得された複数のダーク画像から複数のデジタル値を取得し、取得されたデジタル値を画素１１ごとに平均化することによって、オフセット値が取得される。デジタル値がオフセット値を含む場合、記憶部２２は、上述のようにして取得された複数の画素１１におけるそれぞれのオフセット値をルックアップテーブルとして記憶していてよい。
　変換部２３は、記憶部２２に記憶されたテーブルを参照して、Ａ／Ｄコンバータ１５から出力された複数の画素１１ごとのデジタル値をそれぞれ光電子数に変換する。変換部２３では、以下の式のように、デジタル値をゲインで除算することによって光電子数を画素１１ごと導出してもよい。なお、デジタル値がオフセット値を含む場合には、計測されたデジタル値からオフセット値を減じた値をゲインで除算することによって光電子数を導出してもよい。
Figure JPOXMLDOC01-appb-M000025
　変換部２３は、導出した光電子数の小数点以下を切り捨て、四捨五入等することによって、整数で表される光電子数を取得してもよい。この場合、例えば、上記の式によって導出された光電子数に対して所定の閾値範囲を設定することで、整数によって表される光電子数を取得してもよい。例えば、５光電子に対応する閾値範囲は、４．５ｅ以上５．５ｅ未満となる。一例においては、変換部２３は、画素１１ごとに光電子数を量子効率で除算することによって、フォトン数を得ることができる。量子効率が１００％の場合、光電子数とフォトン数とは同数になる。便宜上、変換部２３が光電子数を導出するとして説明するが、光電子数をフォトン数と読み替えてもよい。
　データ処理部２４は、変換部２３から出力される光電子数に基づいて、各画素１１における光電子数を示す２次元画像（光子数識別画像）を作成する。例えば、２次元画像は、光電子数に応じた輝度によって各画素が描画された画像であってよい。作成された２次元画像は、表示装置２６に出力され得る。また、データ処理部２４は、光電子数に対する画素数のプロットであるヒストグラムなどを作成してもよい。制御部２５は、コンピュータ２０の各機能部やＣＭＯＳイメージセンサ１０を統括的に制御し得る。
　以下、推定部２１について詳細に説明する。一例の推定部２１は、取得部２１ａと算出部２１ｂとを含む。取得部２１ａは、複数の画素１１にそれぞれ光が入力されたときの複数の画素１１ごとのデジタル値を含むデータ群を複数取得する取得処理を実行する。データ群は、例えば、それぞれの画素１１とデジタル値とが関連付けられた画像データ（光学画像）として取得されてもよい。取得部２１ａは、このような画像データを複数フレーム取得する。また、取得部２１ａは、取得された複数フレームの画像データに基づいて、画素１１ごとに対応する複数のデジタル値を取得する。
　図２及び図３は、一例のフォトンカウンティング装置の使用態様を示す図である。例えば、図２に示すように、フォトンカウンティング装置１では、光源３０から出力された光がＣＭＯＳイメージセンサ１０に入力された状態で、画像データが取得されてもよい。また、図３に示すように、光源３０とＣＭＯＳイメージセンサ１０との間の光路上に観察試料等の物体４０が配置されていてもよい。すなわち、取得部２１ａは、物体４０を撮像した画像データを取得してもよい。
　算出部２１ｂは、ゲインに関する尤度関数に基づいて、複数のデータ群から複数の画素１１ごとのゲインを算出する算出処理を実行する。ゲインに関する尤度関数は、画素１１ごとに出力された複数のデジタル値に対応するゲインの尤度を表す関数である。
　尤度関数は、デジタル値の確率密度分布（確率モデル）を参照して定義されている。デジタル値の確率密度分布には、ＣＭＯＳイメージセンサ１０における電気的特性が反映されていてよい。また、デジタル値の確率密度分布には、ＣＭＯＳイメージセンサ１０に入力される光の特性が反映されていてよい。例えば、光電子数ｎ［ｅ］の従う確率分布をｑ（ｎ）とし、ゲインがα［ＤＮ／ｅ］のときに光電子数ｎに対するデジタル値ｘ［ＤＮ］を決定する関数をｘ＝ｆ（ｎ；α）とし、光電子数ｎのときのｉ番目のデータ群におけるデジタル値ｘｉの従う確率密度分布をｒ（ｘｉ；ｎ，α，［ｆ］）としたとき、一般式としての尤度関数Ｌ（α）は、以下の式で示され得る。なお、［ｆ］は、rが関数fを用いて定義されるという意味である。
Figure JPOXMLDOC01-appb-M000026
　なお、照射される光の平均光子数が経時的に変化する場合において、光電子数ｎ［ｅ］の従う確率分布をｑｉ（ｎ）としたとき、以下の式で示される尤度関数Ｌ（α）に基づいて、ゲインα［ＤＮ／ｅ］を精度よく推定することができる。以下の式において、光電子数ｎ［ｅ］の従う確率分布ｑｉ（ｎ）がｉに依存せずｑ（ｎ）と書けるとすると、尤度関数Ｌ（α）は、照射される光の平均光子数が一定の場合と同じ上記の式（［数９］）で示される。
Figure JPOXMLDOC01-appb-M000027
　一例のデジタル値の確率密度分布は、光電子数をｎとしたときの画素１１におけるアンプ１３の読み出しノイズを考慮したデジタル値の確率密度分布と光電子数ｎの従う確率分布とのコンボリューション（合成積）であってよい。例えば、平均光子数をλ［ｐｈｏｔｏｎ］とし、確率分布ｑ（ｎ）を平均光子数λのポアソン分布とし、読み出しノイズをσ［ｅ－ｒｍｓ］とし、関数ｆ（ｎ；α）を一次関数のｆ（ｎ；α）＝αｎとし、確率密度分布ｒ（ｘｉ；ｎ，α，［ｆ］）を平均がｆ（ｎ；α）であり標準偏差がσである正規分布とすると、尤度関数Ｌ（α）は、以下の式で示される。
Figure JPOXMLDOC01-appb-M000028
　算出部２１ｂは、いわゆる最尤推定によって尤度関数から尤も確からしいゲインαを算出する。一例においては、尤度関数から導出される対数尤度関数を最大化するゲインαを算出する。一例の対数尤度関数を以下に示す。
Figure JPOXMLDOC01-appb-M000029
　読み出しノイズσは、既知の手法によって取得されていてよい。読み出しノイズは、ゲインの揺らぎとして定義され得る。そこで、複数（例えば１００フレーム以上）のダーク画像において画素１１ごとにデジタル値の標準偏差を取得し、取得された標準偏差を読み出しノイズσとしてもよい。なお、読み出しノイズσは、精度良く分かっている必要はない。
　平均光子数λは、既知の値である場合には、その値が用いられてよい。読み出しノイズσと同様に、平均光子数λも精度良く分かっている必要はない。そこで、平均光子数λが未知の場合、算出部２１ｂは、例えばゲインαの近似値α’を用いて平均光子数λを求めてもよい。例えば、所定範囲のＮ個の画素について、以下の式に基づいて近似値としての平均光子数λが求められる。なお、Ｎ個の画素は、全画素であってもよい。また、以下の式では、デジタル値の非線形性は考慮していない。
Figure JPOXMLDOC01-appb-M000030
　また、平均光子数λが未知の場合、平均光子数を以下の式で定義してもよい。
Figure JPOXMLDOC01-appb-M000031
　この場合、算出部２１ｂは、以下の式で表された対数尤度関数を最大化するゲインαを算出してもよい。
Figure JPOXMLDOC01-appb-M000032
　例えば、ゲインαの近似値α’を取得する場合、平均光子数の等しいフレーム毎に対象となる画素のデジタル値の平均値とデジタル値の分散とを計算し、横軸に平均値、縦軸に分散をとってプロットし、近似する直線の傾きの逆数を近似値α’としてもよい。光量を変化させずに測定した場合、デジタル値の分散をデジタル値の平均値で除した値を近似値α’としてよい。このように取得された各画素１１のゲインの近似値α’は、記憶部２２に格納されていてよい。
　対数尤度関数に基づいてゲインαを推定する場合、αについての対数尤度関数を最大化すればよい。αの近似値α’が求まっている場合、算出部２１ｂは、α’を初期値としてＮｅｗｔｏｎ法などの勾配法を用いて対数尤度関数を最大化してもよい。尤度関数が局所最適解をもつ場合において、αの近似値α’が求まっていないときには、勾配法を用いることはできない。この場合、所定の範囲において、対数尤度関数を最大にするαを網羅的に探索する必要がある。算出部２１ｂは、このような処理を画素１１ごとに行うことにより、全画素のゲインαを推定してもよい。推定された画素１１ごとのゲインαは、画素１１ごとに対応付けられて記憶部２２に格納される。このように推定されたゲインαが参照されることによって、変換部２３による光電子数の推定が実行される。
　ゲインαを推定する上記の処理を例えば数千×数千画素で実行する場合、その計算量は膨大となり得る。一例において、算出部２１ｂは、並列計算を行うことによってゲインαの推定を高速に処理する。例えば、１０画素について１０の探索点を探索する場合、ｉ番目の画素のj番目の探索点を(ｉ＋ｊ×１０)番目のスレッドで評価することにより、高速処理が可能となる。
　なお、上述の尤度関数は一例である。推定部２１におけるゲインαの推定処理では、他の尤度関数が用いられてもよい。例えば、尤度関数は、光電子数の従う確率分布ｑ（ｎ）が一定であるとして、以下の式で示されてもよい。
Figure JPOXMLDOC01-appb-M000033
　また、確率密度分布ｒ（ｘｉ；ｎ，α，［ｆ］）が、［数１７］の式で示される自由度νのｔ分布を用いて、［数１８］の式で示される場合、尤度関数は、確率分布ｑ（ｎ）を平均光子数λのポアソン分布とし、関数ｆ（ｎ；α）を一次関数のαｎとし、［数１９］の式で示されてもよい。
Figure JPOXMLDOC01-appb-M000034
Figure JPOXMLDOC01-appb-M000035
Figure JPOXMLDOC01-appb-M000036
　図４は、推定部２１がゲインαを推定する工程の一例を示すフロー図である。図４に示すように、推定部２１は、デジタル値を取得する（ステップＳ１）。すなわち、推定部２１は、複数の画素１１に光が入力されたときの複数の画素１１ごとのデジタル値を含むデータ群を複数取得する。一例の推定部２１は、光源３０から光が照射された状態で、それぞれの画素１１とデジタル値とが関連付けられた光強度分布を示す画像データを複数取得する。例えは、推定部２１によって取得される画像データの数は、１００から１０００フレーム程度であってもよい。光源３０によって形成される光強度分布は、空間的及び時間的に一様であってもよいし、一様でなくてもよい。
　続いて、推定部２１は、変換係数であるゲインαを推定する（ステップＳ２）。すなわち、推定部２１は、出力されたデジタル値に対応するゲインαの尤度を表す尤度関数に基づいて、複数の画像データのデジタル値から複数の画素１１ごとのゲインαを算出する。光源３０から照射される光を制御できる場合、平均光子数λは、制御された光の情報に基づいて指定されてもよい。推定部２１は、推定された全画素のそれぞれのゲインを記憶部２２に格納する。
　図５は、上述したゲインαの推定処理を含むフォトンカウンティング処理をコンピュータに実行させる処理プログラムＰ１（推定プログラム）が格納された記録媒体１００を示すブロック図である。記録媒体１００に格納された処理プログラムＰ１は、取得処理モジュールＰ２１ａ、算出処理モジュールＰ２１ｂ、記憶処理モジュールＰ２２、変換処理モジュールＰ２３、データ処理モジュールＰ２４及び制御モジュールＰ２５を備える。取得処理モジュールＰ２１ａ、算出処理モジュールＰ２１ｂ、記憶処理モジュールＰ２２、変換処理モジュールＰ２３、データ処理モジュールＰ２４及び制御モジュールＰ２５を実行することにより実現される機能は、それぞれ上記の取得部２１ａ、算出部２１ｂ、記憶部２２、変換部２３、データ処理部２４及び制御部２５の機能と同様である。
　処理プログラムＰ１は、コンピュータ読み取り可能な記録媒体１００におけるプログラム記録領域に記録されている。記録媒体１００は、非一時的な記録媒体であってもよい。記録媒体１００は、例えばＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭ、半導体メモリ等の記録媒体によって構成されている。処理プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
　図６は、一例のフォトンカウンティング装置によって導出されるデジタル値のシミュレーション結果をヒストグラムとして示す図である。横軸がデジタル値であり、縦軸がカウントである。図６において、平均光子数λは８０である。ゲインαの平均は、７［ＤＮ／ｅ］とする。ゲインαの標準偏差は０．０２とする。また、読み出しノイズσは、１．８［ＤＮ］である。この読み出しノイズの値は、光電子数相当としては約０．２６［ｅ－ｒｍｓ］）である。画素数は、３２×３２である。取得された画像データ（データ群）のフレーム数は、１０００となっている。図６に示すように、デジタル値のヒストグラムでは、デジタル値が大きくなるにしたがって、ピークの分離（山と谷）が不明瞭になっている。
　図７は、図６の例におけるデジタル値に基づいて推定されたゲインの有効性を示す図である。図７では、上述の方法で推定されたゲインに基づいてデジタル値をフォトン数に変換しており、変換されたフォトン数のヒストグラムが示されている。横軸がフォトン数であり、縦軸がカウントである。図７に示すフォトン数のヒストグラムでは、図６に示すデジタル値のヒストグラムに比べて、ピークの分離が明瞭になっていることが分かる。なお、図７の例におけるゲインの推定に用いた尤度関数は、以下の式である。
Figure JPOXMLDOC01-appb-M000037
　図８は、一例のフォトンカウンティング装置によって導出されたデジタル値の実測値をヒストグラムとして示す図である。横軸がデジタル値であり、縦軸がカウントである。図８には、平均光子数λが１４，３９及び８４の３つのパターンが示されている。画素数は、１６３０×１６３０である。取得された画像データ（データ群）のフレーム数は、１０００となっている。図８に示すデジタル値のヒストグラムでは、デジタル値が大きくなるにしたがって、ピークの分離が不明瞭になっている。また、平均光子数λが大きいほど、ピークの分離が不明瞭になっている。
　図９は、図８の例におけるデジタル値に基づいて推定されたゲインの有効性を示す図である。図９では、上述の方法で推定されたゲインαに基づいてデジタル値を光電子数に変換し、変換された光電子数をゲインαの平均値を用いてデジタル値に再変換している。図９は、再変換されたデジタル値のヒストグラムを示す。横軸が再変換されたデジタル値であり、縦軸がカウントである。ゲインαは、平均光子数λが８４のときに取得された画像データに基づいて上述の方法によって推定された。このゲインαは、平均光子数λが１４，３９及び８４の３つのヒストグラムの再変換に用いられた。図９に示す再変換されたデジタル値のヒストグラムでは、図８に示すデジタル値のヒストグラムに比べて、ピークの分離が明瞭になっていることが分かる。
　図１０は、フォトンカウンティング装置によって導出されるデジタル値のシミュレーション結果のヒストグラム（推定前）と、再変換されたデジタル値のヒストグラム（推定後）とを示す。再変換されたデジタル値は、元のデジタル値を上述の方法で推定したゲインαに基づいて光電子数に変換し、変換された光電子数をゲインαの平均値を用いてデジタル値に再変換した値である。横軸がデジタル値であり、縦軸がカウントである。平均光子数λは１００である。ゲインαの平均は、７［ＤＮ／ｅ］とする。ゲインαの標準偏差は０．０５とする。また、読み出しノイズσは、０．２５×ゲインである。つまり、ゲインαの平均が７［ＤＮ／ｅ］の場合、読み出しノイズσの平均は、１．７５［ＤＮ］となる。画素数は、３２×３２である。取得された画像データ（データ群）のフレーム数は、５００となっている。なお、図１０の例におけるゲインの推定に用いた尤度関数は、以下の式である。
Figure JPOXMLDOC01-appb-M000038
　図１０に示すように、元のデジタル値のヒストグラムに比べて、再変換されたヒストグラムでは、ピークの分離が明瞭になっていることが分かる。このように、推定方法に用いられる尤度関数は、出力されるデジタル値の確率モデルに基づいていれば、種々のモデルを参照して定義できる。
　以上説明のとおり、一例の推定装置としてのフォトンカウンティング装置１は、画素１１に光が入力されたときの画素１１のデジタル値を複数取得する取得部２１ａと、出力されたデジタル値に対応するゲインの尤度を表す尤度関数に基づいて、複数のデータから画素のゲインを算出する算出部２１ｂと、を備える。
　このようなフォトンカウンティング装置１では、ゲインの推定に尤度関数が用いられることにより、ゲインの推定に必要なデータ量を低減できる。例えば、データが各画素におけるデジタル値を反映した画像データである場合、ゲインの推定に必要なフレーム数を低減できる。
　尤度関数は、デジタル値の確率密度分布を参照して定義されていてよい。デジタル値の確率密度分布は、光電子数ｎの従う確率分布ｑ（ｎ）と、光電子数ｎのときのデジタル値の従う確率密度分布ｒ（ｘｉ；ｎ，α，［ｆ］）を含んでもよい。このような尤度関数では、光電子数の確率分布と、光電子数が定まったときのデジタル値の確率密度分布とが参照されているため、高い精度でゲインを推定できる。
　デジタル値の確率密度分布は、複数の画素１１におけるアンプ１３の読み出しノイズを考慮した確率密度分布を含んでもよい。読み出しノイズが考慮されることにより、確率密度分布の精度が向上し得る。
　光電子数ｎの従う確率分布ｑ（ｎ）は一定であってもよい。この場合、計測中に光量の揺らぎがあったとしても、光量の揺らぎがゲインの推定に及ぼす影響を緩和できる。
　以上、実施の形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られない。
　デジタル値に関していくつかの確率密度分布を例示したとおり、確率密度分布は、真に正確であることを必要としない。例えば、本来であれば非対称な分布である場合に、対象な分布を採用したり、本来の物理現象の分布とは異なる近似した分布を採用したり、厳密には省略できない分布を省略したりしてもよい。
　尤度関数の一例として、関数ｆ（ｎ；α）を一次関数のｆ（ｎ；α）＝αｎとした場合の例を示したが、例えば、デジタル値［ＤＮ］が光電子数について非線形である場合、関数ｆ（ｎ；α）は、ｆ（ｎ；α）＝α０ｎ＋α１ｎ２のような二次関数であってもよいし、三次以上の関数であってもよい。このように、デジタル値［ＤＮ］が光電子数について非線形である場合、ゲインがα［ＤＮ／ｅ］のときに光電子数ｎに対するデジタル値ｘ［ＤＮ］を決定する関数ｘ＝ｆ（ｎ；α）の逆関数ｎ＝ｆ－１（ｘ；α）から光電子数ｎを求めることができる。この場合、以下の式から平均光子数λを求めることができる。
Figure JPOXMLDOC01-appb-M000039
　上記の実施の形態では、ダークカウントについては考慮していないが、ダークカウントが無視できないほど大きい場合には、平均光子数として、真の平均光子数とダークカウントの平均カウント数との和を平均光子数としてもよい。
　１…フォトンカウンティング装置、１１…画素、２１…推定部、２１ａ…取得部、２１ｂ…算出部。
 

Claims (26)

  1. 　画素に光が入力されることにより前記画素で発生する光電子数と前記光電子数に応じて出力される電気的信号量との比である変換係数を推定する推定方法であって、
    　複数の前記画素にそれぞれ前記光が入力されたときの前記複数の画素ごとの前記電気的信号量を含むデータ群を複数取得するステップと、
    　出力された前記電気的信号量に対応する前記変換係数の尤度を表す尤度関数に基づいて、複数の前記データ群から前記複数の画素ごとの前記変換係数を算出するステップと、を備える、推定方法。
  2. 　前記尤度関数は、前記電気的信号量の確率密度分布を参照して定義されている、請求項１に記載の推定方法。
  3. 　前記電気的信号量の確率密度分布は、前記複数の画素における読み出しノイズを考慮した確率密度分布を含む、請求項２に記載の推定方法。
  4. 　前記電気的信号量の確率密度分布は、前記光電子数の従う確率分布を含む、請求項２又は３に記載の推定方法。
  5. 　光電子数ｎの従う確率分布をｑｉ（ｎ）とし、前記変換係数がαのときに前記光電子数ｎに対する電気的信号量ｘを決定する関数をｘ＝ｆ（ｎ；α）とし、前記光電子数ｎのときのｉ番目の前記データ群における電気的信号量ｘｉの従う確率密度分布をｒ（ｘｉ；ｎ，α，［ｆ］）としたとき、前記尤度関数であるＬ（α）は、
    Figure JPOXMLDOC01-appb-M000001
     で表される、請求項１～４のいずれか一項に記載の推定方法。
  6. 　前記尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000002
     で表される、請求項５に記載の推定方法。
  7. 　前記尤度関数は、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000003
     で表される、請求項５に記載の推定方法。
  8. 　前記確率密度分布を示すｒ（ｘｉ；ｎ，α，［ｆ］）は、自由度νを
    Figure JPOXMLDOC01-appb-M000004
     として、前記自由度νのｔ分布を用いて定義されており、
    　前記尤度関数は、
    Figure JPOXMLDOC01-appb-M000005
     で表される、請求項５に記載の推定方法。
  9. 　画素に光が入力されることにより前記画素で発生する光電子数と前記光電子数に応じて出力される電気的信号量との比である変換係数を推定する推定プログラムであって、
    　複数の前記画素にそれぞれ前記光が入力されたときの前記複数の画素ごとの前記電気的信号量を含むデータ群を複数取得する取得処理と、
    　出力された前記電気的信号量に対応する前記変換係数の尤度を表す尤度関数に基づいて、複数の前記データ群から前記複数の画素ごとの前記変換係数を算出する算出処理と、をコンピュータに実行させる、推定プログラム。
  10. 　前記尤度関数は、前記電気的信号量の確率密度分布を参照して定義されている、請求項９に記載の推定プログラム。
  11. 　前記電気的信号量の確率密度分布は、前記複数の画素における読み出しノイズを考慮した確率密度分布を含む、請求項１０に記載の推定プログラム。
  12. 　前記電気的信号量の確率密度分布は、前記光電子数の従う確率分布を含む、請求項１０又は１１に記載の推定プログラム。
  13. 　光電子数ｎの従う確率分布をｑｉ（ｎ）とし、前記変換係数がαのときに前記光電子数ｎに対する電気的信号量ｘを決定する関数をｘ＝ｆ（ｎ；α）とし、前記光電子数ｎのときのｉ番目の前記データ群における電気的信号量ｘiの従う確率密度分布をｒ（ｘｉ；ｎ，α，［ｆ］）としたとき、前記尤度関数であるＬ（α）は、
    Figure JPOXMLDOC01-appb-M000006
     で表される、請求項９～１２のいずれか一項に記載の推定プログラム。
  14. 　前記尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000007
     で表される、請求項１３に記載の推定プログラム。
  15. 　前記尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000008
     で表される、請求項１３に記載の推定プログラム。
  16. 　前記尤度関数は、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000009
     で表される、請求項１３に記載の推定プログラム。
  17. 　前記確率密度分布を示すｒ（ｘｉ；ｎ，α，［ｆ］）は、自由度νを
    Figure JPOXMLDOC01-appb-M000010
     として、前記自由度νのｔ分布を用いて定義されており、
    　前記尤度関数は、
    Figure JPOXMLDOC01-appb-M000011
     で表される、請求項１３に記載の推定プログラム。
  18. 　画素に光が入力されることにより前記画素で発生する光電子数と前記光電子数応じて出力される電気的信号量との比である変換係数を推定する推定装置であって、
    　複数の前記画素にそれぞれ前記光が入力されたときの前記複数の画素ごとの前記電気的信号量を含むデータ群を複数取得する取得部と、
    　出力された前記電気的信号量に対応する前記変換係数の尤度を表す尤度関数に基づいて、複数の前記データ群から前記複数の画素ごとの前記変換係数を算出する算出部と、を備える、推定装置。
  19. 　前記尤度関数は、前記電気的信号量の確率密度分布を参照して定義されている、請求項１８に記載の推定装置。
  20. 　前記電気的信号量の確率密度分布は、前記複数の画素における読み出しノイズを考慮した確率密度分布を含む、請求項１９に記載の推定装置。
  21. 　前記電気的信号量の確率密度分布は、前記光電子数の従う確率分布を含む、請求項１９又は２０に記載の推定装置。
  22. 　光電子数ｎの従う確率分布をｑｉ（ｎ）とし、前記変換係数がαのときに前記光電子数ｎに対する電気的信号量ｘを決定する関数をｘ＝ｆ（ｎ；α）とし、前記光電子数ｎのときのｉ番目の前記データ群における電気的信号量ｘiの従う確率密度分布をｒ（ｘｉ；ｎ，α，［ｆ］）としたとき、前記尤度関数であるＬ（α）は、
    Figure JPOXMLDOC01-appb-M000012
     で表される、請求項１８～２１のいずれか一項に記載の推定装置。
  23. 　前記尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000013
     で表される、請求項２２に記載の推定装置。
  24. 　前記尤度関数は、平均光子数をλとし、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000014
     で表される、請求項２２に記載の推定装置。
  25. 　前記尤度関数は、読み出しノイズをσとしたとき、
    Figure JPOXMLDOC01-appb-M000015
     で表される、請求項２２に記載の推定装置。
  26. 　前記確率密度分布を示すｒ（ｘｉ；ｎ，α，［ｆ］）は、自由度νを
    Figure JPOXMLDOC01-appb-M000016
     として、前記自由度νのｔ分布を用いて定義されており、
    　前記尤度関数は、
    Figure JPOXMLDOC01-appb-M000017
     で表される、請求項２２に記載の推定装置。
     
PCT/JP2022/029355 2021-09-15 2022-07-29 推定方法、推定プログラム及び推定装置 WO2023042554A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023548152A JPWO2023042554A1 (ja) 2021-09-15 2022-07-29
CN202280062364.5A CN117941369A (zh) 2021-09-15 2022-07-29 推定方法、推定程序及推定装置
EP22869702.5A EP4358533A1 (en) 2021-09-15 2022-07-29 Estimation method, estimation program, and estimation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021150031 2021-09-15
JP2021-150031 2021-09-15

Publications (1)

Publication Number Publication Date
WO2023042554A1 true WO2023042554A1 (ja) 2023-03-23

Family

ID=85602143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029355 WO2023042554A1 (ja) 2021-09-15 2022-07-29 推定方法、推定プログラム及び推定装置

Country Status (4)

Country Link
EP (1) EP4358533A1 (ja)
JP (1) JPWO2023042554A1 (ja)
CN (1) CN117941369A (ja)
WO (1) WO2023042554A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110210262A1 (en) * 2006-06-12 2011-09-01 Radiation Watch Limited Apparatus and method for detecting high-energy radiation
JP2016518747A (ja) * 2013-03-15 2016-06-23 イェール ユニバーシティーＹａｌｅ Ｕｎｉｖｅｒｓｉｔｙ センサー依存性ノイズを有する画像化データを処理するための技術
WO2019102637A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020524422A (ja) * 2017-01-30 2020-08-13 パーデュー・リサーチ・ファウンデーションPurdue Research Foundation イメージングノイズ低減システムおよび方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110210262A1 (en) * 2006-06-12 2011-09-01 Radiation Watch Limited Apparatus and method for detecting high-energy radiation
JP2016518747A (ja) * 2013-03-15 2016-06-23 イェール ユニバーシティーＹａｌｅ Ｕｎｉｖｅｒｓｉｔｙ センサー依存性ノイズを有する画像化データを処理するための技術
JP2020524422A (ja) * 2017-01-30 2020-08-13 パーデュー・リサーチ・ファウンデーションPurdue Research Foundation イメージングノイズ低減システムおよび方法
WO2019102637A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
WO2019102636A1 (ja) 2017-11-24 2019-05-31 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法
JP2020167728A (ja) * 2017-11-24 2020-10-08 浜松ホトニクス株式会社 フォトンカウンティング装置およびフォトンカウンティング方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STARKEY, DAKOTA A.ERIC R. FOSSUM: "Determining conversion gain and read noise using a photon-counting histogram method for deep sub-electron read noise image sensors", IEEE JOURNAL OF THE ELECTRON DEVICES SOCIETY, vol. 4, no. 3, 2016, pages 129 - 135, XP011607396, DOI: 10.1109/JEDS.2016.2536719

Also Published As

Publication number Publication date
EP4358533A1 (en) 2024-04-24
CN117941369A (zh) 2024-04-26
JPWO2023042554A1 (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
US10630960B2 (en) Machine vision 3D line scan image acquisition and processing
JP7181972B2 (ja) フォトンカウンティング装置およびフォトンカウンティング方法
US9432589B2 (en) Systems and methods for generating high dynamic range images
US6934421B2 (en) Calculating noise from multiple digital images having a common noise source
US20160010990A1 (en) Machine Vision System for Forming a Digital Representation of a Low Information Content Scene
US10284793B2 (en) Machine vision system for forming a one dimensional digital representation of a low information content scene
US11461877B2 (en) Image inpainting method, image inpainting system and flat panel detector thereof
JP2020038129A (ja) 平均光子数の推定方法及び平均光子数の推定装置
WO2023042554A1 (ja) 推定方法、推定プログラム及び推定装置
Becker et al. Uniformity Correction of CMOS Image Sensor Modules for Machine Vision Cameras
US20130202199A1 (en) Using higher order statistics to estimate pixel values in digital image processing to improve accuracy and computation efficiency
JP2020021314A (ja) 画像処理装置及び画像処理方法
US11539895B1 (en) Systems, methods, and media for motion adaptive imaging using single-photon image sensor data
Kotov et al. CCD base line subtraction algorithms
WO2023119934A1 (ja) 閾値決定方法、閾値決定プログラム、閾値決定装置、光子数識別システム、光子数識別方法および光子数識別処理プログラム
WO2023119933A1 (ja) 光子数識別システム、光子数識別方法および光子数識別処理プログラム
WO2022185691A1 (ja) フォトンカウンティング装置、フォトンカウンティング方法およびフォトンカウンティング処理プログラム
EP4106323A1 (en) Information processing apparatus, information processing method, image sensor, program, and storage medium
WO2024111145A1 (ja) ノイズ除去方法、ノイズ除去プログラム、ノイズ除去システム及び学習方法
CN116128770B (zh) 一种图像生成方法、装置、电子设备及存储介质
Rousset et al. Comparison of EMCCD post-processing methods for photon counting flux ranges
US20210350506A1 (en) Method and apparatus for processing image, imaging device and storage medium
Gao et al. A robust smear removal method for inter-frame charge-coupled device star images
JP2021026311A (ja) 画像処理装置、画像処理方法、およびプログラム
Liu et al. A new testing method of SNR for cooled CCD imaging camera based on stationary wavelet transform

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023548152

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022869702

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022869702

Country of ref document: EP

Effective date: 20240117

WWE Wipo information: entry into national phase

Ref document number: 202280062364.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE