WO2024014561A1 - 波長時間変調のイベント計測による分光計測装置及び分光計測方法 - Google Patents

波長時間変調のイベント計測による分光計測装置及び分光計測方法 Download PDF

Info

Publication number
WO2024014561A1
WO2024014561A1 PCT/JP2023/026167 JP2023026167W WO2024014561A1 WO 2024014561 A1 WO2024014561 A1 WO 2024014561A1 JP 2023026167 W JP2023026167 W JP 2023026167W WO 2024014561 A1 WO2024014561 A1 WO 2024014561A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
spectral distribution
pixel
spectroscopic measurement
brightness
Prior art date
Application number
PCT/JP2023/026167
Other languages
English (en)
French (fr)
Inventor
和哉 北野
卓哉 舩冨
良平 安國
康博 向川
Original Assignee
国立大学法人奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人奈良先端科学技術大学院大学 filed Critical 国立大学法人奈良先端科学技術大学院大学
Publication of WO2024014561A1 publication Critical patent/WO2024014561A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present invention relates to a technique for performing spectroscopic measurement of visible light and near-infrared light, and in particular to a spectroscopic measurement device and method that performs adaptive sampling of a spectral distribution by event measurement of wavelength time modulation.
  • Spectroscopic measurements are used in a variety of fields as a method for understanding physical properties, such as remote sensing to measure ground conditions using artificial satellites, measuring gas concentrations in the air, and measuring sugar content in fruits and crops.
  • spectroscopic measurements analyze phenomena in a scene using the peaks and valleys caused by the excitation of electrons in atoms and vibrations caused by molecular structures.
  • spectral imaging there are various methods for spectral imaging that captures the spectral distribution in a scene, but they can be broadly classified into two types.
  • One method is to map wavelengths into space. This method uses prisms, diffraction gratings, and slits that spatially resolve wavelengths (for example, see Patent Documents 1 and 2), or attaches different color filters to each pixel (for example, Patent Document 3). ) and photograph the spectral distribution.
  • the other method is to map wavelength to time.
  • a spectral distribution is photographed using a filter that can control spectral transmittance over time, such as a liquid crystal tunable filter (see, for example, Patent Documents 4 to 7).
  • the devices disclosed in Patent Documents 4 and 5 temporally modulate the wavelength and use a liquid crystal tunable filter to take a multispectral image of the object.
  • the optical device disclosed in Patent Document 6 uses a linear filter (LVF) that has different spectral transmittance depending on the location. A spectral image is taken using a variable filter (Variable Filter), but since the filter is driven by a motor, it is temporally modulated.
  • the spectroscopic camera disclosed in Patent Document 7 uses an interferometer in which two glass plates called an etalon are placed facing each other, and the gap between the glass plates uses a filter corresponding to the length of the wavelength that passes through the glass. By physically driving and changing the interval, the wavelength that passes through is changed, so it is temporally modulated.
  • an object of the present invention is to provide a spectroscopic measurement device that can adaptively sample a wavelength range in spectroscopic imaging of a scene and can significantly reduce the amount of measurement data.
  • the spectrometer of the present invention includes a wavelength tunable filter that temporally modulates the spectral distribution of incident light, a change in brightness for each pixel as an event, and a detection time and pixel position of the event.
  • the sensor includes a sensor section that outputs the direction of brightness change, and a calculation section that processes the signal output from the sensor section.
  • the tunable filter and the sensor section are synchronized by a periodic electrical signal, and the calculation section calculates the spectral transmittance of the tunable filter, the pixel position, and the variation in sensitivity characteristics of each pixel of the sensor section at the event detection time.
  • the spectral distribution of the measurement target is estimated using the brightness change direction after correcting. With this configuration, the wavelength range can be sampled adaptively, and the amount of measurement data can be significantly reduced.
  • the calculation unit in the spectrometer of the present invention has a spectral distribution database on the time axis in which temporal changes in spectral distribution due to periodic electric signals in the wavelength tunable filter are measured in advance, and the calculation unit has a spectral distribution database on the time axis in which temporal changes in spectral distribution due to periodic electric signals in the wavelength tunable filter are measured. It is preferable to obtain a spectral distribution of .
  • the wavelength tunable filter in the spectrometer of the present invention can be a liquid crystal tunable filter, a liquid crystal retarder, or an electro-optical element.
  • a liquid crystal tunable filter is a liquid crystal filter that can freely change the transmitted wavelength and change the frequency characteristics by changing the applied voltage.
  • a liquid crystal retarder is a device that obtains arbitrary retardation (phase difference) by electrically controlling liquid crystal.
  • Electro-optic elements include crystals and polymers that produce electro-optic effects that electrically control optical properties. Crystals and polymers that produce electro-optic effects include lithium niobate crystals, organic nonlinear optical Crystalline DAST (4-N,N-Dimethylamino-4'-N'-methylstilbazolium tosylate) etc.
  • the sensor unit in the spectrometer of the present invention is preferably an event camera that detects and outputs changes in the brightness of light.
  • An event-based camera is a camera equipped with an event-based vision sensor that detects and outputs changes in brightness, and is also called an event-based vision camera.
  • the incident light is light that is reflected or transmitted through the measurement target.
  • the incident light is illumination light
  • the light that has passed through the variable wavelength filter may be reflected or transmitted through the measurement target and received by each pixel of the sensor section.
  • the spectral distribution of the measurement target is estimated by the least squares method.
  • the calculation unit increases or decreases the number of detections in the direction of brightness change for each pixel using a correction table in which increased light amount data and decreased light amount data per unit event for each pixel of the sensor unit are stored in advance. It is preferable to include a correction unit that corrects variations in the sensitivity characteristics of each pixel by adjusting the sensitivity characteristics of each pixel.
  • the increased light amount data and decreased light amount data are the logarithmically amplified brightness change event for each pixel output by the sensor unit when a brightness change is applied to the incident light, and the detection of the event. It is preferable that the calculation be made by associating the luminance value output by each pixel at the time.
  • the spectroscopic measurement method of the present invention includes the following steps. 1) A step of temporally modulating the spectral distribution of incident light using a variable wavelength filter. 2) A step of detecting a change in brightness for each pixel as an event using an event camera, and outputting the event detection time, pixel position, and direction of brightness change. 3) A step of synchronizing the wavelength tunable filter and the sensor unit using a periodic electric signal. 4) Estimating the spectral distribution of the measurement target using the spectral transmittance of the variable wavelength filter at the event detection time, the pixel position, and the brightness change direction after correcting variations in the sensitivity characteristics of each pixel of the sensor unit .
  • the spectroscopic measurement method of the present invention further includes the step of 5) creating a correction table that stores increased light amount data and decreased light amount data per unit event for each pixel of the sensor section.
  • the spectroscopic measurement method of the present invention further comprises the step of 6) creating a spectral distribution database on a time axis in which temporal changes in spectral distribution due to periodic electric signals in the wavelength tunable filter are measured in advance.
  • the wavelength range can be sampled adaptively, and the amount of measurement data can be significantly reduced.
  • FIG. 1 shows a functional block diagram of an embodiment of a spectroscopic measurement device according to the present invention.
  • the spectrometer 1 includes a variable wavelength filter 2, an event camera 3, and a calculation section 4.
  • the scene 9 is an object to be subjected to spectroscopic analysis, and the light source 5 is natural light (sunlight) or illumination light.
  • the variable wavelength filter 2 receives light emitted from the scene 9 (object for spectroscopic measurement), that is, reflected light from the light source 5 or transmitted light from the light source 5 .
  • the variable wavelength filter 2 is set to appropriately time-modulate the spectral transmittance, and temporally modulates the spectral distribution of the incident light.
  • the wavelength variable filter 2 temporally modulates the spectral distribution of incident light by inputting a periodic electrical signal.
  • Light that is time-modulated using a variable wavelength filter 2 is observed by an event camera 3.
  • the wavelength information of the received light is converted into a temporal luminance change by temporal modulation of the spectral distribution by the variable wavelength filter 2. Therefore, each light receiving element of the event camera 3 measures the temporal luminance change as the time of occurrence of the change and the direction of the luminance change (increase or decrease in luminance).
  • the time modulation data of the spectral distribution by the periodic electric signal of the wavelength tunable filter 2 is measured in advance as a database, and the time of occurrence of the brightness change and the brightness change at the pixel position of the event camera 3 obtained by the measurement are calculated in advance.
  • the spectral distribution of the scene 9 is estimated by the least squares method.
  • FIG. 2 shows an image diagram of the configuration of the spectroscopic measurement device of Example 1.
  • a liquid crystal tunable filter is used as the wavelength tunable filter 2, and as shown in FIG. ing.
  • Light from a light source (not shown) is reflected by the scene 9, and the reflected light is incident on the wavelength tunable filter 2.
  • the light emitted from the variable wavelength filter 2 has a time-modulated spectral distribution, and enters the event camera 3.
  • Each light receiving element of the event camera 3 measures a temporal change in brightness as the time of occurrence of the change and the direction of the change in brightness (increase or decrease in brightness).
  • the measurement data is sent from the event camera 3 to the calculation section 4 via the data cable 4a, and the calculation section 4 estimates the spectral distribution of the scene 9.
  • the estimated spectral distribution is displayed on the display of the calculation unit 4, for example.
  • the principle of the spectroscopic measurement device of this embodiment will be explained with reference to FIGS. 3 and 4.
  • the true spectral distribution (intensity i versus wavelength ⁇ in the measurement wavelength band) of two points (A, B) in scene 9 is represented by a plot 11 of AT and BT . Since the spectral transmittance of the variable wavelength filter 2 changes over time, the spectral distribution of the incident light is time-modulated, thereby the spectral distribution at two points (A, B) is time-modulated, and the intensity i is plotted against time t. 12 (plot of A 1 and B 1 ).
  • variable wavelength filter 2 develops the spectral distribution of the incident light from an intensity distribution along the wavelength axis to an intensity distribution along the time axis (converts it into a plot of brightness changes).
  • the event camera 3 is a camera that detects an amount of change in brightness value that exceeds a certain threshold, and all output pixels operate asynchronously only when a change in brightness occurs. That is, when the difference between the brightness value at the time when the brightness change that occurred immediately before and the brightness value at the current time exceeds a certain threshold value, a 1-bit polarity that distinguishes between an increase and a decrease in brightness is output.
  • the event camera 3 outputs two types of values, ⁇ increased'' and ⁇ decreased'', in the amount of light for one pixel when a brightness change occurs, and does not output any signal when no brightness change occurs. That is, the brightness change direction in which the amount of light "increases” or “decreases” in each pixel is output as a bit string (a plot of brightness change is converted into a bit string). That is, the event camera 3 plots a plot 12 (plot of A 1 , B 1 ) of brightness intensity i versus time t, and a plot 13 (plot of bit strings A 2 , B 2 ) of intensity change direction P (Polarity) versus time t. ). This will be explained later with reference to FIG.
  • the calculation unit 4 generates a plot 14 of A 3 and B 3 of the spectral distribution of the scene 9 by processing using the least squares method based on the bit information of the increase or decrease of the luminance value exceeding a certain threshold value at each pixel position by the event camera 3.
  • Estimate. The brightness value of the light incident on the light receiving element of each pixel of the event camera 3 is obtained by multiplying the spectral distribution of the light source 5 at that time (event time), the spectral distribution of the scene 9, and the spectral transmittance of the variable wavelength filter 2.
  • the spectral distribution of the light source 5 and the spectral transmittance of the variable wavelength filter 2 are measured and memorized in advance, and the luminance change at the pixel position of the event camera 3 is calculated.
  • the spectral distribution of scene 9 is estimated using the time of occurrence and the direction of brightness change. Thereby, while the spectral distribution of the scene 9 is unknown, adaptive sampling can be performed on the peaks and valleys of the spectral distribution.
  • the spectral distribution can be adaptively adjusted by combining the wavelength tunable filter 2, which is an optical element that temporally modulates spectral transmittance, and the event camera 3, which can efficiently measure luminance changes. Realize sampling.
  • the relationship between the brightness of light incident on the event camera 3 and the spectral distribution of the measurement target object will be explained.
  • the spectral distribution of the measurement target is as shown in Figure 5, the wavelengths are not sampled uniformly, but at narrow intervals where the brightness changes are large, and at wide intervals where the brightness changes are gradual. do.
  • FIG. 5 a plurality of horizontal lines parallel to the wavelength axis are drawn, and the width of these horizontal lines is the threshold value set for the event camera.
  • the event camera 3 detects an event at the timing when the luminance change threshold value is exceeded.
  • a variable wavelength filter 2 whose spectral transmittance can be controlled by voltage is provided in front of the event camera 3, and the spectral distribution of the scene 9 is measured.
  • the brightness value of the incident light of the event camera 3 is calculated by multiplying the spectral distribution of the light source 5 (not shown) by the spectral reflectance of the scene 9 (object to be measured) and the spectral transmittance of the variable wavelength filter 2. It is obtained by integrating the wavelength range that can be measured by the light receiving element of the event camera 3. At this time, the brightness values obtained are independent for each pixel of the event camera 3.
  • the amount of light incident on the light receiving element of the event camera 3 at a certain time t is expressed by the following equation 1.
  • Equation 1 above f( ⁇ ) is the product of the spectral distribution of the light source 5 and the spectral distribution of the measurement target, w( ⁇ , ⁇ t ) is the spectral distribution (spectral transmittance) of the variable wavelength filter 2 at time t, and s ( ⁇ ) is the spectral sensitivity characteristic of the light receiving element of the event camera 3. Since the spectral distribution f( ⁇ ) of the scene 9 is time-modulated by the variable wavelength filter 2 controlled by a periodic signal, the incident luminance to the light receiving element of the event camera 3 changes depending on time.
  • the event camera 3 when the difference between the brightness value at the immediately preceding event time and the current brightness value exceeds a threshold value, it outputs a 1-bit polarity that distinguishes between an increase in brightness and a decrease in brightness. At this time, the event camera 3 outputs the event as the brightness change direction (increase or decrease polarity), pixel position (coordinates), and event occurrence time. The event camera 3 outputs nothing when there is no change in brightness, and outputs an event only when a change occurs. While conventional cameras output the brightness value of each pixel at regular intervals along the time axis, the event camera 3 can be said to adaptively sample changes in brightness.
  • Equation 2 The relationship between an event and the amount of light at a certain time t is expressed by Equation 2 below.
  • the relative brightness value of the entire measurement section can be determined.
  • the estimated threshold value remains scale indeterminate. This uncertainty causes scale uncertainty in the waveform of the brightness value vector, but since the brightness value vector is normalized, it does not affect it.
  • the relationship between the brightness change event measured over a certain section and the amount of light is expressed by equations 4 and 5 below.
  • i is a brightness value vector of the entire measurement range
  • P is a matrix that defines the relationship between the event that occurred immediately before and the amount of light
  • I is a unit matrix
  • 0 is a zero vector.
  • the brightness value vector obtained here is sampled non-uniformly with respect to the time axis.
  • Equation 6 where T is the number of events that occur in one cycle of the signal that drives the tunable filter 2, and ⁇ is the number of bands of the spectral distribution to be estimated, i ⁇ R T is the brightness value vector at the time of event firing, W ⁇ R T ⁇ is the time-based spectral transmittance matrix of the variable wavelength filter 2, s ⁇ R ⁇ is the spectral sensitivity characteristic of the light receiving element of the event camera 3, and f ⁇ R ⁇ is the spectral distribution vector of the scene 9.
  • W the spectral transmittance matrix W, the spectral transmittance is stored along the time stamp of the event firing of the event camera 3, and is non-uniform with respect to the time axis.
  • each parameter is obtained from the output data (observed values) of the event camera 3.
  • P is set based on the event firing threshold set in the event camera 3 and the polarity of the observed event (+ (increase) or - (decrease) in luminance change), and W is the time-based spectroscopy of the wavelength tunable filter 2.
  • W is the time-based spectroscopy of the wavelength tunable filter 2.
  • the spectral distribution of the scene 9 can be restored by observing time-modulated light using the variable wavelength filter 2 with the event camera 3.
  • a 20 nm wide kernel was generated using a sine function to temporally sweep the filter.
  • known spectral sensitivity characteristics were used as the sensor sensitivity of the event camera 3.
  • the event firing threshold was set to the value in the actual machine used in the experiment described later.
  • a spectrum measured with a spectrometer of a white LED light source was used as the spectral distribution of scene 9, in this experiment. Data sampled at 10 nm intervals was used for 300 to 1100 nm, which includes the range in which the light receiving element of the event camera 3 is sensitive.
  • Figure 6 shows the output of simulating the observation by the event camera 3, and shows the plots (a to e) of the temporal light intensity observed by the event camera 3 and the direction of brightness change (polarity), which is the output of the event camera 3. ) indicates an increase in brightness (+) and a decrease in brightness (-). If a brightness increase that exceeds the event threshold set in the event camera 3 occurs, an event of brightness increase (+) will be recorded along with the time of occurrence, and if a brightness decrease that exceeds the event threshold occurs, the brightness current (-) will be recorded. events are recorded along with the time of occurrence.
  • the intensity plots (a-b, c-d) show that the intensity increases rapidly and an event of brightness increase is recorded, and conversely, the intensity plots (b-c, d-e) The intensity decreases rapidly and a brightness reduction event is recorded. In locations other than the plots a to e, brightness increase/decrease events are also recorded when there is a brightness change that exceeds the event threshold.
  • FIG. 7 shows a comparison result between the true value of the spectral distribution of the scene 9 and the estimated value by the spectroscopic measurement device 1 of this embodiment. Note that in the spectroscopic measurement using the spectroscopic measurement device 1 of this embodiment, since the absolute light intensity cannot be determined in principle, normalized luminance values are used for comparison. From FIG. 7, it can be seen that the estimated values generally match the true values.
  • the comparison result between the true value and the estimated value shown in FIG. 7 shows that the spectral distribution can be estimated in principle by using the above-described variable wavelength filter 2.
  • a liquid crystal tunable filter was used as the wavelength tunable filter 2, and verification was performed using an actual device.
  • the liquid crystal tunable filter incorporates multiple stages of filters called Lyot filters whose transmittance changes like a sine wave along the wavelength axis.
  • the thickness of the birefringent medium 22 is different and the refractive index is different, so as shown in FIG. 8(2), the obtained spectral transmittances are different.
  • a liquid crystal tunable filter was placed in front of the lens of the event camera 3.
  • a time-based spectral transmittance matrix W the time change in the spectral transmittance of the liquid crystal tunable filter driven by a 0.5 Hz triangular wave signal was measured in advance with a spectrometer. The results are shown in FIG.
  • the graph in FIG. 9 shows the change in spectral transmittance over time from 0 to 1 second, and 11 samples are extracted and displayed from 1 second. From the graph in FIG. 9, it can be seen that the spectral transmittance changes over time in the wavelength band of 400 to 700 nm.
  • Figure 10 shows the optical system used in the experiment. Note that the event firing threshold was estimated from the event occurrence pattern when the periodically fluctuating light source 5 was observed by the event camera 3.
  • FIG. 11 shows a visualization of the number of events for each pixel, which is integrated at 10 ms intervals in accordance with the time modulation by the liquid crystal tunable filter.
  • a color image of the color checker used for photography and a frame image photographed with DAVIS346 are also shown.
  • the luminance value will be sampled once every 33 ms for all pixels.
  • approximately 0 to 5 events occur in 10 ms, which differs depending on the patch, and it can be seen that the number of events also changes with time.
  • This event occurrence pattern is due to the temporal modulation by the liquid crystal tunable filter and the difference in the spectral distribution of each patch, and it can be said that adaptive sampling of the spectral distribution has been achieved.
  • FIG. 13 or 14 is a graph showing the estimation results of brightness changes due to time modulation in each color patch, and FIG. 13 shows brightness changes restored based on the observed event series for some color patches. It is something. As shown in FIG. 13, it can be seen that the rising and falling waveforms are different for each color patch, and that fewer events occur where there is little luminance change.
  • the color checker measured in the verification of adaptive sampling has difficulty in measuring the true value of the spectral distribution in the observation environment, and is therefore insufficient for use as an evaluation.
  • Figure 14 shows the spectral reflectance of the color checker used, the spectral distribution of the white LED light source measured with a spectrometer, the sensor sensitivity of the event camera 3, and the spectral transmittance of the liquid crystal tunable filter over time, as substitutes for frame images.
  • the results of calculating the expected change in brightness over time are shown below.
  • FIG. 14 when compared with the graph of FIG. 13, it can be confirmed that the general shape has been restored, and it can be seen that the spectral distribution can be restored.
  • the restoration result of the temporal change in brightness is greatly affected by the estimation accuracy of the event firing threshold of the event camera 3, a method of calibrating the threshold with high accuracy is important.
  • the restoration result of the temporal change in brightness is affected by the noise generated by the event camera 3, and furthermore, when using a liquid crystal tunable filter with relatively narrow band transmission characteristics, it is also affected by the small amount of light. be.
  • FIG. 16 is a graph showing a temporal change in the spectral transmittance of the wavelength tunable filter (liquid crystal tunable filter) of this example.
  • FIGS. 17 to 22 are graphs showing restoration results (estimated values) of spectral distribution when color patches of the six colors described above are measured by the spectrometer of this embodiment.
  • Fig. 17 shows the results of spectroscopic measurements of bluish-green color patches
  • Fig. 18 shows orange-yellow color patches
  • Fig. 19 shows cyan colors
  • Fig. 20 shows blue flower colors
  • Fig. 21 shows yellow-green color patches
  • Fig. 22 shows magenta color patches.
  • a plot of true and estimated values is shown.
  • the spectral distributions shown in FIGS. 17 to 22 are obtained by multiplying the spectral distribution of the xenon light source and the spectral reflectance of each color patch.
  • the wavelength display range is 480 to 710 nm, and data processing is performed by normalizing the maximum value of both true values and estimated values. As shown in FIGS. 17 to 22, although the estimation accuracy on the red wavelength side (650 to 710 nm) was low, the estimation accuracy on the blue/green wavelength side (480 to 650 nm) was relatively high.
  • FIG. 23 shows an example of the flow of the spectroscopic measurement method.
  • the spectral transmittance (spectral distribution on the time axis) of the wavelength tunable filter 2 is obtained in advance (step S01), and the wavelength tunable filter 2 and the event camera 3 are synchronized with a periodic signal (step S02). ).
  • the spectral transmittance is temporally changed by a periodic electric signal in the wavelength tunable filter 2, and the spectral distribution of the scene 9 is temporally modulated by the wavelength tunable filter 2 (step S03).
  • the event camera 3 detects a brightness change for each pixel as an event (step S04), and outputs the event detection time, pixel position, and brightness change direction to the calculation unit 4 (step S05). Then, the calculation unit 4 estimates the spectral distribution of the measurement target using the spectral transmittance of the variable wavelength filter 2, the pixel position, and the brightness change direction at the event detection time (step S06).
  • FIG. 25 shows a functional block diagram of another embodiment of the spectroscopic measurement device according to the present invention.
  • the spectrometer 1a includes a variable wavelength filter 2, an event camera 3, and a calculation section 4 having a correction section 6 that corrects variations in the sensitivity characteristics of each pixel of the event camera 3.
  • the scene 9 is the object of spectroscopic analysis
  • the light source 5 is natural light or illumination light
  • the wavelength tunable filter 2 receives the light emitted from the scene 9.
  • the wavelength tunable filter 2 is set so that the spectral transmittance is appropriately temporally modulated, and the spectral distribution of the incident light is modulated temporally, and the spectral distribution of the incident light is changed by inputting a periodic electric signal.
  • each light receiving element of the event camera 3 measures the temporal luminance change as the time of occurrence of the change and the direction of the luminance change (increase or decrease in luminance).
  • the calculation unit 4 increases or decreases the number of detected brightness change directions for each pixel of the event camera 3 using a correction table 6a that stores in advance the increased light amount data and decreased light amount data per unit event for each pixel of the event camera 3.
  • a correction unit 6 is provided for correcting variations in sensitivity characteristics of each pixel.
  • the increased light amount data and the decreased light amount data are based on the logarithmically amplified brightness change event for each pixel output by the event camera 3 when a brightness change is given to the incident light, and the detection time of the event. It is calculated in advance by associating it with the brightness value output by each pixel.
  • the calculation unit 4 measures the time modulation data of the spectral distribution caused by the periodic electric signal of the wavelength tunable filter 2 as a database in advance, and uses this data, the time of occurrence of the luminance change at the pixel position of the event camera 3 obtained by the measurement, and the event.
  • the spectral distribution of the scene 9 is estimated by the least squares method using the brightness change direction after correcting variations in the sensitivity characteristics of each pixel of the camera 3.
  • FIG. 26 is an explanatory diagram of increase/decrease event information for each pixel. (1) shows a case where there is no influence of dark current or noise, and (2) shows a case where there is an influence of dark current or noise.
  • a correction section 6 is provided in the calculation section 4, and the correction section 6 corrects variations in the sensitivity characteristics of each pixel by increasing or decreasing the number of increase events and decrease events output from the event camera 3 for each pixel. Then, the corrected event information is processed by the calculation unit 4 to improve the estimation accuracy.
  • FIG. 27 shows an explanatory diagram of the correction section.
  • the increase/decrease event sequence 15a before correction for one pixel consists of a decrease event 16 and an increase event 17, but the increase event 17 includes not only the increase event 17a but also the increase due to dark current or noise.
  • Event 17b is included.
  • the increase/decrease event sequence 15b after correction by the correction table 6a for one pixel consists of a decrease event 16 and an increase event 17a. In other words, in this case, the number of decrease events 16 remains unchanged at four before and after correction, but the number of increase events before correction is eight (17a, 17b), but the number of increase events after correction is four (17a, 17b).
  • FIG. 28 shows an image diagram of a method for creating a correction table for event detection light amount values.
  • an event camera 3 (DAVIS346, manufactured by iniVation), which can capture both an event camera and a grayscale image, was used to create the correction table.
  • light that does not change over time is incident on the event camera 3.
  • an event camera and a general image sensor may be arranged coaxially using a half mirror or the like.
  • Figure 29 shows an example of a correction table.
  • (1) is a correction table for an increase event when no correction is made (+1), and (2) is a correction table when all pixels are corrected with a single value (e.g. +0.93).
  • (3) is a correction table for increase events when each pixel is corrected, (4) is a correction table for decrease events when there is no correction (-1), and (5) is a correction table for all pixels.
  • (6) shows a correction table for a decrease event when corrected for each pixel using the correction table of the present invention. .
  • the correction table of the present invention corrects each pixel, and corresponds to the correction table for increasing events shown in FIG.
  • FIG. 30 shows a graph showing the spectral distribution restoration results when a color patch is spectrally measured.
  • a decrease in estimation accuracy was observed, but in the estimation results of the spectral distribution after correction shown in FIG. It can be seen that the error between the estimated value and the true value has been improved by correcting the increase/decrease event.
  • FIG. 31 shows a flow diagram of the spectroscopic measurement method of Example 2.
  • a correction table is created that stores increased light amount data and decreased light amount data per unit event for each pixel of the sensor (step S11).
  • the spectral distribution of the incident light is temporally modulated using a variable wavelength filter (step S12).
  • a brightness change for each pixel is detected as an event using an event camera, and the event detection time, pixel position, and brightness change direction are output (step S13).
  • the variable wavelength filter and the sensor section are synchronized by a periodic electric signal (step S14).
  • the spectral distribution of the measurement target is estimated using the spectral transmittance of the variable wavelength filter at the event detection time, the pixel position, the brightness change direction, and the correction table (step S15).
  • the wavelength tunable filter 2 and the event camera 3 are separate bodies, but the event camera 3 may be an integrated device in which the wavelength tunable filter 2 is incorporated.
  • a liquid crystal tunable filter was used as the wavelength tunable filter 2, but as shown in FIG. 24, a liquid crystal retarder sandwiched between linear polarizing plates may also be used. An electro-optical element may be used instead.
  • the present invention is useful as an apparatus and method for spectroscopically measuring unknown physical properties, such as remote sensing for measuring conditions on the ground using an artificial satellite, measuring gas concentration in the air, and measuring sugar content of fruits and crops.

Abstract

波長精度を向上させ、かつデータ量を削減できる分光計測装置を提供する。入射光の分光分布を時間的に変調する波長可変フィルタ２と、画素毎の輝度変化をイベントとして検出し、イベントの検出時刻と画素位置と輝度変化方向を出力するイベントカメラ３と、イベントカメラ３から出力された信号を処理する演算部４を備える。波長可変フィルタ２とイベントカメラ３とが周期的な電気信号によって同期される。演算部４は、イベントの検出時刻における波長可変フィルタ２の分光透過率、画素位置、およびイベントカメラ３の各画素の感度特性のばらつきを補正した後の輝度変化方向を用いて計測対象の分光分布を推定する。

Description

波長時間変調のイベント計測による分光計測装置及び分光計測方法
　本発明は、可視光や近赤外線の分光計測を行う技術に関し、特に、波長時間変調のイベント計測による分光分布の適応的サンプリングを行う分光計測装置及び方法に関するものである。
　分光計測は、人工衛星で地上の状態を計測するリモートセンシングや空気中のガス濃度の計測、果物や作物などの糖度計測など、物性を知る手法として、様々な分野で利用されている。一般的に、分光計測は原子中の電子の励起や分子構造による振動によって生じる山や谷を手掛かりにシーン中の現象を解析する。
　シーン中の分光分布を撮影する分光撮像には様々な手法があるが、おおきく２つに分類できる。１つは波長を空間に写像する方法である。この方法では、波長を空間的に分解するプリズムや回折格子とスリットを用いたり（例えば、特許文献１，２を参照）、画素毎に異なるカラーフィルタを取付けたりすることで（例えば、特許文献３を参照）、分光分布を撮影する。もう１つは波長を時間に写像する方法である。この方法では、液晶チューナブルフィルタなど、分光透過率を時間的に制御できるフィルタを用いて、分光分布を撮影する（例えば、特許文献４～７を参照）。ここで、特許文献４，５に開示された装置は、波長を時間的に変調し、液晶チューナブルフィルタを用いて、撮影対象のマルチスペクトル画像を撮影する。また、特許文献６に開示された光学装置は、場所によって分光透過率が異なるフィルタ（ＬＶＦ：Linear
Variable Filter）を用いて分光画像を撮影するが、フィルタをモータで駆動しているため時間的に変調している。さらに、特許文献７に開示された分光カメラでは、エタロンと呼ばれる２枚のガラス板を向かい合わせに配置した干渉計で、ガラス板の間隔が通過する波長の長さに対応するフィルタを用い、ガラスを物理的に駆動して間隔を変化させることで通過する波長を変化させているため時間的に変調している。
　一般的に、このような手法では波長範囲を一様にサンプリングし膨大なデータを取得するが、細かいサンプリングには計測に時間がかかる上、分光分布の変化が少ない部分は解析に役立たず、膨大なデータが無駄になる。
　一方、シーンの分光分布が既知であれば、特定の波長のみを計測することも可能であるが、特定の応用にしか使えず、汎用性が犠牲となるといった問題がある。
特開２０１５－１３７８７３号公報 特開２０１５－０７５３５２号公報 国際公開パンフレットＷＯ２０１６／０３１９２２号公報 特開２０１８－１８０５３９号公報 特開２０１２－１３８６５２号公報 特開２０１９－１６８４０４号公報 特開２０２２－０５４０３７号公報
　上述の如く、従来の分光計測では、波長範囲を一様にサンプリングするため、計測時間およびデータ量が共に膨大となるが、その多くは解析に役立たず無用である。
　かかる状況に鑑みて、本発明は、シーンの分光撮像において波長範囲を適応的にサンプリングし、計測データ量を大幅に削減できる分光計測装置を提供することを目的とする。
　上記課題を解決すべく、本発明の分光計測装置は、入射光の分光分布を時間的に変調する波長可変フィルタと、画素毎の輝度変化をイベントとして検出し、イベントの検出時刻と画素位置と輝度変化方向を出力するセンサ部と、センサ部から出力された信号を処理する演算部を備える。そして、波長可変フィルタとセンサ部とが周期的な電気信号によって同期され、演算部は、イベントの検出時刻における波長可変フィルタの分光透過率、画素位置、およびセンサ部の各画素の感度特性のばらつきを補正した後の輝度変化方向を用いて計測対象の分光分布を推定する。
　かかる構成とすることにより、波長範囲を適応的にサンプリングし、計測データ量を大幅に削減できる。
　本発明の分光計測装置における演算部は、波長可変フィルタにおける周期的な電気信号による分光分布の時間的変化を予め計測した時間軸上の分光分布データベースを有し、イベントの検出時刻における波長可変フィルタの分光分布を取得することが好ましい。
　本発明の分光計測装置における波長可変フィルタは、具体的には、液晶チューナブルフィルタ、液晶リターダ、電気光学素子の何れかを用いることができる。液晶チューナブルフィルタとは、印加電圧を変化させることにより、透過する波長を自由に変化させ、周波数特性を変えることができる液晶フィルタである。また液晶リターダとは、液晶を電気的に制御することにより、任意のリタデーション（位相差）を得るものである。また電気光学素子とは、電気的に光学特性を制御する電気光学効果を生じさせる結晶や高分子を含むもので、電気光学効果を生じさせる結晶や高分子にはニオブ酸リチウム結晶、有機非線形光学結晶ＤＡＳＴ（4-N,N-Dimethylamino-4’-N’-methylstilbazolium
tosylate）等が含まれる。
　本発明の分光計測装置におけるセンサ部は、光の輝度変化を検知して出力するイベントカメラであることが好ましい。イベントカメラ（Event Based Camera）とは、輝度の変化を検知して出力するイベントベースビジョンセンサを搭載したカメラのことを指し、イベントベースビジョンカメラなどとも言われる。
　本発明の分光計測装置において、入射光は計測対象を反射又は透過した光である。
　本発明の分光計測装置において、入射光は照明光であり、波長可変フィルタを通過した光が、計測対象を反射又は透過し、センサ部の各画素に受光することでもよい。
　本発明の分光計測装置において、計測対象の分光分布は、最小二乗法によって推定される。
　本発明の分光計測装置において、演算部は、センサ部の画素毎の単位イベント当たりの増加光量データと減少光量データを予め記憶した補正テーブルを用いて、画素毎に輝度変化方向の検出数を増減させることで各画素の感度特性のばらつきを補正する補正部を備えることが好ましい。上記の補正テーブルにおいて、増加光量データと減少光量データは、入射する入射光に輝度変化を与えた時の、センサ部が出力する画素毎の対数増幅された輝度変化のイベントと、当該イベントの検出時刻における各画素が出力する輝度値とを対応付けて算出されることが好ましい。
　本発明の分光計測方法は、下記各ステップを備える。
１）波長可変フィルタを用いて入射光の分光分布を時間的に変調させるステップ。
２）イベントカメラを用いて画素毎の輝度変化をイベントとして検出し、イベントの検出時刻と画素位置と輝度変化方向を出力させるステップ。
３）波長可変フィルタとセンサ部とを周期的な電気信号によって同期させるステップ。
４）イベントの検出時刻における波長可変フィルタの分光透過率、画素位置、およびセンサ部の各画素の感度特性のばらつきを補正した後の輝度変化方向を用いて、計測対象の分光分布を推定するステップ。
　本発明の分光計測方法は、５）センサ部の画素毎の単位イベント当たりの増加光量データと減少光量データを記憶する補正テーブルを作成するステップ、を更に備えることが好ましい。
　本発明の分光計測方法は、６）波長可変フィルタにおける周期的な電気信号による分光分布の時間的変化を予め計測した時間軸上の分光分布データベースを作製するステップ、を更に備えることが好ましい。
　本発明の分光計測装置によれば、波長範囲を適応的にサンプリングし、計測データ量を大幅に削減できるといった効果がある。
実施例１の分光計測装置の機能ブロック図 実施例１の分光計測装置の構成模式図 実施例１の分光計測装置の説明図 実施例１の分光計測装置の機能説明図 適応的サンプリングの説明図 生成した輝度値とイベントデータを示すグラフ 分光分布の真値と推定値を示すグラフ 液晶チューナブルフィルタの光学系及び分光透過率の時間変調を示すグラフ 実施例１の液晶チューナブルフィルタの分光透過率の時間変化を示すグラフ 実施例１の実験に用いた光学系の構成イメージ図 各画素のイベント数を可視化したイメージ図 シミュレーション結果及び実環境実験結果の分光分布を示すグラフ 各カラーパッチにつき観測されたイベント系列を基に復元した輝度変化を示すグラフ カラーチェッカーの分光反射率、白色ＬＥＤ光源の分光分布、イベントカメラのセンサ感度、および液晶チューナブルフィルタの分光透過率の時間変化を用い、想定される輝度の時間変化を計算した結果を示すグラフ キセノン光源の分光分布を示すグラフ 液晶チューナブルフィルタの分光透過率の時間変化を示すグラフ カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（１） カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（２） カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（３） カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（４） カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（５） カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（６） 分光計測方法のフロー図 波長可変フィルタに液晶リターダを用いた分光計測装置の構成模式図 実施例２の分光計測装置の機能ブロック図 画素毎の増減イベント情報の説明図 補正部の説明図 イベント検出光量値の補正テーブルの作成方法のイメージ図 補正テーブルの例 カラーパッチを分光計測した場合の分光分布復元結果を示すグラフ（７） 実施例２の分光計測方法のフロー図
　以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
　図１は、本発明に係る分光計測装置の一実施形態の機能ブロック図を示している。本実施例において、分光計測装置１は、波長可変フィルタ２、イベントカメラ３及び演算部４を備えている。シーン９は、分光解析の対象物であり、光源５は、自然光（太陽光）または照明光である。波長可変フィルタ２は、シーン９（分光計測対象物）から放出される光、すなわち、光源５からの反射光または光源５の透過光を入射する。波長可変フィルタ２では、分光透過率の時間変調が適切に行われるように設定され、入射光の分光分布を時間的に変調する。波長可変フィルタ２では、周期的な電気信号を入力することにより、入射光の分光分布を時間変調する。
　波長可変フィルタ２を用いて時間変調した光をイベントカメラ３で観測する。イベントカメラ３では、受光する光の波長情報が、波長可変フィルタ２による分光分布の時間変調によって、時間的な輝度変化に変換される。そのため、イベントカメラ３の各受光素子が、時間的な輝度変化を、変化の発生時間と輝度変化方向（輝度の増加または減少）として計測する。
　演算部４では、波長可変フィルタ２の周期的な電気信号による分光分布の時間変調データを予めデータベースとして計測し、それと計測により得られたイベントカメラ３の画素位置における輝度変化の発生時刻と輝度変化方向を用いて、最小二乗法によって、シーン９の分光分布を推定する。
　図２は、実施例１の分光計測装置の構成イメージ図を示している。本実施例においては、波長可変フィルタ２として液晶チューナブルフィルタを用いており、図２に示すように、直線偏光板（２１ａ～２１ｄ）により複屈折媒体（２２ａ～２２ｃ）を挟み込んだ構成となっている。光源（図示せず）の光がシーン９に反射し、その反射光は、波長可変フィルタ２に入射する。波長可変フィルタ２から出射した光は、分光分布が時間変調されており、イベントカメラ３に入射する。イベントカメラ３の各受光素子が、時間的な輝度変化を、変化の発生時間と輝度変化方向（輝度の増加または減少）として計測する。計測データは、イベントカメラ３から演算部４にデータケーブル４ａを介して送られ、演算部４はシーン９の分光分布を推定する。推定した分光分布は、例えば、演算部４のディスプレイに表示される。
　次に、図３、図４を参照して、本実施例の分光計測装置の原理について説明する。
　まず、シーン９の２点（Ａ，Ｂ）の真の分光分布（測定波長帯における波長λに対する強度ｉ）がＡＴ、ＢＴのプロット１１で表されるとする。
　波長可変フィルタ２は、分光透過率が時間によって変化するため、入射光の分光分布が時間変調され、それによって２点（Ａ，Ｂ）の分光分布が時間変調され、時間ｔに対する強度ｉのプロット１２（Ａ１、Ｂ１のプロット）に変わることになる。すなわち、波長可変フィルタ２は、入射光の分光分布を、波長軸の強度分布から、時間軸の強度分布に展開する（輝度変化のプロットに変換する）。
　イベントカメラ３は、一定閾値を超える輝度値の変化量を検出するカメラであり、輝度変化が発生した場合のみ出力全ての画素が非同期に動作する。つまり、直前に発生した輝度変化の発生時刻における輝度値と、現時点での輝度値の差分が一定閾値を超えたとき、輝度の増加と減少を区別する１ｂｉｔの極性を出力する。イベントカメラ３は、輝度変化が発生した場合、１つの画素で光量が「増加した」、「減少した」の２種類の値を出力し、輝度変化が発生しない場合、何も信号を出力しない。すなわち、各画素で光量が「増加」又は「減少」の輝度変化方向をビット列として出力する（輝度変化のプロットをビット列に変換する）。すなわち、イベントカメラ３によって、時間ｔに対する輝度強度ｉのプロット１２（Ａ１、Ｂ１のプロット）を、時間ｔに対する強度変化方向Ｐ（Polarity）のプロット１３（Ａ２、Ｂ２のビット列のプロット）に変換する。これについては、図６を参照して後で説明する。
　演算部４は、イベントカメラ３による各画素位置における一定閾値を超える輝度値の増加または減少のビット情報から、最小二乗法を用いた処理によってシーン９の分光分布のＡ３、Ｂ３のプロット１４を推定する。イベントカメラ３の各画素の受光素子へ入射する光の輝度値は、その時点（イベント時刻）における光源５の分光分布と、シーン９の分光分布、波長可変フィルタ２の分光透過率を掛け合わせたものを観測可能な波長範囲で積分することで得られることから、予め光源５の分光分布と波長可変フィルタ２の分光透過率を計測し記憶しておき、イベントカメラ３の画素位置における輝度変化の発生時刻と輝度変化方向を用いて、シーン９の分光分布を推定する。これにより、シーン９の分光分布が未知の下、分光分布の山や谷に対して、適応的なサンプリングを行うことができる。
　本実施例の分光計測装置では、分光透過率を時間的に変調する光学素子である波長可変フィルタ２と、輝度変化を効率的に計測可能なイベントカメラ３を組み合わせることで、分光分布の適応的サンプリングを実現する。
　ここで、イベントカメラ３に入射する光の輝度と、計測対象物の分光分布の関係について説明する。例えば、計測対象物の分光分布が図５に示すものである場合、波長を一様にサンプリングするのではなく、輝度変化が激しい所は狭い間隔で、輝度変化が緩やかな所は広い間隔でサンプリングする。図５において波長軸と平行な水平ラインが複数描かれているが、この水平ラインの幅が、イベントカメラに設定された閾値である。波長の輝度変化が激しい所（図５のグラフ中の点線で囲まれた部分）では、輝度変化の閾値を超えるタイミングでイベントカメラ３がイベントを検出する。これが、波長における輝度変化があったときだけ計測するといった分光分布の適応的サンプリングである。イベントカメラ３に設定されたイベントの閾値を小さく設定すればするほど、輝度変化の細かく検出できる。
　図２に示すように、イベントカメラ３の手前に電圧によって分光透過率を制御できる波長可変フィルタ２を設け、シーン９の分光分布を計測する。イベントカメラ３の入射光の輝度値は、光源５（図示せず）の分光分布と、シーン９（計測対象物）の分光反射率、波長可変フィルタ２の分光透過率を掛け合わせたものを、イベントカメラ３の受光素子が計測可能な波長範囲で積分することで得られる。このとき、得られる輝度値はイベントカメラ３の画素毎に独立である。ある時刻ｔにおけるイベントカメラ３の受光素子への入射光量ｉｔは下記式１で表される。
　上記式１において、ｆ（λ）は光源５の分光分布と計測対象物の分光分布の積、ｗ（λ，φｔ）は時刻ｔにおける波長可変フィルタ２の分光分布（分光透過率）、ｓ（λ）はイベントカメラ３の受光素子の分光感度特性である。シーン９の分光分布ｆ（λ）が、周期信号で制御した波長可変フィルタ２によって時間変調されるため、イベントカメラ３の受光素子への入射輝度は時刻によって変化する。
　イベントカメラ３では、直前に発生したイベント時刻における輝度値と現時点での輝度値の差分が閾値を超えたとき、輝度の増加と輝度の減少を区別する１ｂｉｔの極性を出力する。このとき、イベントカメラ３は、イベントを、輝度変化方向（増加または減少の極性）、画素位置（座標）、イベント発生時刻として出力する。イベントカメラ３は、輝度変化がないときには何も出力せず、変化が起こったときのみイベントを出力する。従来のカメラが時間軸に対して一定間隔で各画素の輝度値を出力していたのに対し、イベントカメラ３は輝度の変化を適応的にサンプリングしているといえる。ある時刻ｔにおけるイベントと光量の関係は、下記式２で表される。
　上記式２において、ｉｔは、イベント発生時刻ｔにおける輝度値、ｉｔ－１は直前のイベント発生時刻ｔ－１における輝度値、ｐｔはある時刻ｔで発生したイベントの極性に応じた値（増加：＋１、減少：－１）、ｉｔｈはイベント発生（イベント発火ともいう）する輝度変化量の閾値を示す。イベントカメラ３では、入射光量を対数増幅した値に対して、イベント発火の閾値を最小間隔とした離散化を行う。上記式２を変形すると、各時刻におけるイベントと輝度値の関係は、下記式３のようになる。
　イベント発火の閾値が既知であれば計測区間全体の相対的な輝度値を求めることができる。推定された閾値はスケールの不定性が残る。この不定性によって輝度値ベクトルの波形にもスケール不定性が生じるが、輝度値ベクトルは正規化されるので影響しない。ある区間全体で計測された輝度変化のイベントと光量の関係は下記式４，５で表される。
　上記式４，５において、ｉは計測範囲全体の輝度値ベクトル、Ｐは直前に発生したイベントと光量の関係を定義した行列、Ｉは単位行列、０はゼロベクトルである。ここで得られる輝度値ベクトルは、時間軸に対して非一様にサンプリングされたものである。
　時間変調された分光分布をイベントカメラ３で観測する場合、まず、分光分布の時間変調と輝度値の関係を示した上記式１をイベント発火のタイムスタンプに沿って離散化すると、下記式６で表される。
　上記式６において、波長可変フィルタ２を駆動する信号１周期で発生したイベント数をＴ、推定する分光分布のバンド数をΛとして、ｉ∈ＲＴはイベント発火時の輝度値ベクトル、Ｗ∈ＲＴ×Λは波長可変フィルタ２の時間毎の分光透過率行列、ｓ∈ＲΛはイベントカメラ３の受光素子の分光感度特性、ｆ∈ＲΛはシーン９の分光分布ベクトルである。
　ここで、分光透過率行列Ｗは、イベントカメラ３のイベント発火のタイムスタンプに沿って分光透過率が格納され、時間軸に対して非一様となる。ある時刻ｔで発生したイベントと時間変調された分光分布の関係は、上記式５に下記式６を代入し、下記式７で表される。また、シーン９の分光分布ベクトルｆは最小二乗法を用いて下記式８で求められる。
　なお、それぞれのパラメータは、イベントカメラ３の出力データ（観測値）から求められる。Ｐはイベントカメラ３に設定されたイベント発火の閾値と、観測されたイベントの極性（輝度変化の＋（増加）または－（減少））より設定され、Ｗは波長可変フィルタ２の時間毎の分光透過率と観測されたイベント時刻を用いて、また、ｓはカメラの分光感度特性を用いて作成される。
（シミュレーション結果と分光計測装置を用いた実験結果）
　以下では、白色ＬＥＤの光源の計測値と仮想的な波長可変フィルタ２とを用いたシミュレーションにより、イベントカメラ３による観測からシーン９の分光分布が復元できることを示す。
　また、本実施例の分光計測装置を用いて、カラーチェッカーを観測した結果を示し、シーン９中の分光分布に応じて異なるサンプリングが行われたことを示す。また、計測されたイベント列からシーン９の分光分布の推定が行われた結果を示す。
　まず、波長可変フィルタ２を用いて時間変調した光をイベントカメラ３で観測することにより、シーン９の分光分布が復元できることをシミュレーションによって示す。ここでは狭帯域なバンドパスフィルタを想定し、２０ｎｍ幅のカーネルが時間的に掃引するものを、正弦関数を用いて生成した。また、イベントカメラ３のセンサ感度として、既知の分光感度特性を用いた。なお、イベント発火の閾値は、後述する実験で用いた実機での値を設定した。
　また、シーン９の分光分布として、この実験では白色ＬＥＤ光源を分光器で測定したスペクトルを用いた。イベントカメラ３の受光素子が感度を持つ範囲を内包する３００～１１００ｎｍに対し、１０ｎｍ間隔でサンプリングしたデータを用いた。
　以上を用いた観測をシミュレートした出力に基づいて、上記式８に従って分光分布を推定した。図６は、イベントカメラ３での観測をシミュレートした出力であり、イベントカメラ３で観測した時間的な光強度のプロット（ａ～ｅ）と、イベントカメラ３の出力である輝度変化方向（極性）を輝度増加（＋）及び輝度減少（－）を示している。イベントカメラ３に設定されたイベント閾値を超えた輝度増加が発生すれば、輝度増加（＋）のイベントが発生時刻と共に記録され、イベント閾値を超えた輝度減少が発生すれば、輝度現状（－）のイベントが発生時刻と共に記録される。図６では、強度のプロット（ａ～ｂ、ｃ～ｄ）は、強度は急激に増加しており、輝度増加のイベントが記録され、反対に、強度のプロット（ｂ～ｃ、ｄ～ｅ）は、強度は急激に減少しており、輝度減少のイベントが記録されている。ａ～ｅのプロット以外の箇所においても、イベント閾値を超えた輝度変化があった場合に、輝度増加／減少のイベントが記録されている。
　図７には、シーン９の分光分布の真値と、本実施例の分光計測装置１による推定値の比較結果を示す。なお、本実施例の分光計測装置１を用いた分光計測では、原理的に絶対的な光の強度は求まらないため、正規化された輝度値で比較している。図７から、推定値は、真値と比較して概ね一致していることが分かる。図７に示す真値と推定値の比較結果により、上述の波長可変フィルタ２を用いることで、原理的には分光分布の推定が可能であることが示された。
　次に、波長可変フィルタ２として液晶チューナブルフィルタを用いて実機による検証を行った。液晶チューナブルフィルタは、リオフィルタと呼ばれる波長軸において透過率変化が正弦波のように変化するフィルタを複数段組み込んだものである。図８（１）に示すとおり、波長可変フィルタ２において、それぞれ複屈折媒体２２の媒体の厚みが異なり屈折率が異なるため、図８（２）に示すとおり、得られる分光透過率が異なる。
　実験では、液晶チューナブルフィルタをイベントカメラ３のレンズの手前に配置した。また、時間毎の分光透過率行列Ｗを構成するため、０．５Ｈｚの三角波信号で駆動した液晶チューナブルフィルタの分光透過率の時間変化を予め分光器で計測した。その結果を図９に示す。図９のグラフでは、０～１秒間における分光透過率の時間変化を示し、１秒間より１１個を抜き出して表示している。図９のグラフより、４００～７００ｎｍの波長帯では分光透過率が時間変化している様子が分かる。
　実験に用いた光学系を図１０に示す。なお、イベント発火の閾値は、周期変動する光源５をイベントカメラ３で観測した際のイベント発生パターンから推定した。
　本実施例の分光計測装置を用いた手法によって、シーン９の分光撮像において適応的サンプリングが実現できていることを確認するため、前述の装置でカラーチェッカーを観測した。イベントカメラ３の画素とシーン９中のカラーパッチが対応付けられるように、イベント計測と通常のカメラのフレーム撮像を兼ね備えたＤＡＶＩＳ３４６（iniVation社製）を用いた。液晶チューナブルフィルタによる時間変調に合わせ、１０ｍｓ間隔で積算し各画素のイベント数を可視化したものを図１１に示す。参考として、撮影に用いたカラーチェッカーのカラー画像と、ＤＡＶＩＳ３４６で撮影したフレーム画像も示す。通常のカメラによる３０ＦＰＳのフレーム撮像であれば、３３ｍｓごとに全画素で１回輝度値がサンプルされることになる。これに対し、本発明の構成では１０ｍｓでおよそ０～５回のイベントがパッチによって異なる回数発生しており、またその回数も時刻と共に変化していることが見て取れる。このイベントの発生パターンは、液晶チューナブルフィルタによる時間変調と各パッチの分光分布が異なることに起因しており、分光分布の適応的サンプリングが実現できているといえる。
　次に、実機を用いて計測したイベント列から分光分布の推定を行った結果について説明する。まず、上記式５に基づき、輝度変化の復元結果を確認した。図１３又は１４は、各カラーパッチにおける時間変調による輝度変化の推定結果を示すグラフであり、図１３は、いくつかのカラーパッチについて、観測されたイベント系列を基に復元した輝度変化を示したものである。図１３に示すように、カラーパッチごとに立ち上がりや立ち下りの波形が異なること、輝度変化が少ないところではイベントがあまり発生していないことが分かる。
　適応的サンプリングの検証において計測したカラーチェッカーは、観測環境における分光分布の真値を測定することが困難であり、評価として用いるのは不十分である。ＤＡＶＩＳ３４６で撮影したフレーム画像を真値として用いることも試みたが、液晶チューナブルフィルタを通して観測した光量が小さすぎ、真値として用いることができなかった。イベント系列から有意な輝度変化が復元できたのは、低照度でも感度がよいというイベントカメラ３の利点による結果であるといえる。
　図１４は、フレーム画像の代わりとして、用いたカラーチェッカーの分光反射率、分光器で測定した白色ＬＥＤ光源の分光分布、イベントカメラ３のセンサ感度、および液晶チューナブルフィルタの分光透過率の時間変化を用い、想定される輝度の時間変化を計算した結果を示す。図１４に示すように、図１３のグラフと見比べると、概形は復元できていることが確認でき、分光分布を復元可能なことが分かる。
　但し、輝度の時間変化の復元結果が、イベントカメラ３のイベント発火の閾値の推定精度に大きく影響を受けるため、閾値を精度よく校正する方法が重要である。また、輝度の時間変化の復元結果は、イベントカメラ３で発生するノイズの影響もあり、さらに、比較的狭帯域な透過特性を持つ液晶チューナブルフィルタを用いる場合には光量が少ないことによる影響もある。
　次に、分光計測対象としてカラーチェッカーを用いて分光分布の復元を行った結果について説明する。カラーチェッカーは、動画などの撮影時に色味を合わせる目的で用いられるものである。計測対象としたカラーパッチの色は、青緑、橙黄、シアン、ブルーフラワー、黄緑、マゼンタの計６種類である。
　実験に使用した光源は、キセノン光源であり、キセノン光源の分光分布を図１５のグラフに示す。図１５のグラフにおいて、縦軸は正規化された輝度値、横軸は波長［ｎｍ］を表す。また、図１６は、本実施例の波長可変フィルタ（液晶チューナブルフィルタ）の分光透過率の時間変化を示すグラフである。
　図１７～図２２は、上述の６種類の色のカラーパッチを本実施例の分光計測装置で計測した場合の分光分布の復元結果（推定値）を示すグラフである。具体的には、図１７は青緑色、図１８は橙黄色、図１９はシアン色、図２０はブルーフラワー色、図２１は黄緑色、図２２はマゼンタ色のカラーパッチを分光計測した場合の真値と推定値のプロットを示している。図１７～図２２に示す分光分布は、それぞれキセノン光源の分光分布と各カラーパッチの色の分光反射率とが掛け合わされたものである。波長の表示範囲は４８０～７１０ｎｍであり、また、データの処理については、真値及び推定値の何れについても最大値を正規化したものである。
　図１７～図２２に示されるように、赤色波長側（６５０～７１０ｎｍ）の推定精度が低かったものの、青色・緑色波長側（４８０～６５０ｎｍ）の推定精度は比較的高かった。
　図２３に、分光計測方法のフローの一例を示す。分光計測方法では、波長可変フィルタ２の分光透過率（時間軸上の分光分布）を予め取得し（ステップＳ０１）、波長可変フィルタ２とイベントカメラ３とを周期的信号で同期した状態（ステップＳ０２）で計測する。波長可変フィルタ２における周期的な電気信号により分光透過率を時間的に変化させ、波長可変フィルタ２でシーン９の分光分布を時間的に変調させる（ステップＳ０３）。イベントカメラ３で画素毎の輝度変化をイベントとして検出し（ステップＳ０４）、イベントの検出時刻と画素位置と輝度変化方向を演算部４へ出力する（ステップＳ０５）。そして、演算部４で、イベントの検出時刻における波長可変フィルタ２の分光透過率、画素位置および輝度変化方向を用いて、計測対象の分光分布を推定する（ステップＳ０６）。
　図２５は、本発明に係る分光計測装置の他の実施形態の機能ブロック図を示している。本実施例において、分光計測装置１ａは、波長可変フィルタ２、イベントカメラ３、及びイベントカメラ３の各画素の感度特性のばらつきを補正する補正部６を有する演算部４を備えている。実施例１と同様に、シーン９は分光解析の対象物であり、光源５は自然光や照明光であり、波長可変フィルタ２はシーン９から放出される光を入射する。波長可変フィルタ２では、分光透過率の時間変調が適切に行われるように設定され、入射光の分光分布を時間的に変調し、周期的な電気信号を入力することにより、入射光の分光分布を時間変調する。
　波長可変フィルタ２を用いて時間変調した光をイベントカメラ３で観測するが、イベントカメラ３では、受光する光の波長情報が、波長可変フィルタ２による分光分布の時間変調によって、時間的な輝度変化に変換されるため、イベントカメラ３の各受光素子が、時間的な輝度変化を、変化の発生時間と輝度変化方向（輝度の増加または減少）として計測する。
演算部４は、イベントカメラ３の画素毎の単位イベント当たりの増加光量データと減少光量データを予め記憶した補正テーブル６ａを用いて、イベントカメラ３の画素毎に輝度変化方向の検出数を増減させることで各画素の感度特性のばらつきを補正する補正部６を備える。補正テーブル６ａにおいて、増加光量データと減少光量データは、入射光に輝度変化を与えた時の、イベントカメラ３が出力する画素毎の対数増幅された輝度変化のイベントと、当該イベントの検出時刻における各画素が出力する輝度値とを対応付けて予め算出される。演算部４では、波長可変フィルタ２の周期的な電気信号による分光分布の時間変調データを予めデータベースとして計測し、それと計測により得られたイベントカメラ３の画素位置における輝度変化の発生時刻と、イベントカメラ３の各画素の感度特性のばらつきを補正した後の輝度変化方向を用いて、最小二乗法により、シーン９の分光分布を推定する。
　図２６は、画素毎の増減イベント情報の説明図であり、（１）は暗電流やノイズの影響がない場合、（２）は暗電流やノイズの影響がある場合を示している。
　本発明の分光計測装置において、イベントカメラ３内の撮像素子の画素毎に暗電流やショットノイズが発生する場合、イベントカメラ３の出力する増加イベントや減少イベントの数に影響し、図２６（２）に示すように、結果的に分光分布グラフの推定精度が低下する。そこで、演算部４に補正部６を設け、補正部６がイベントカメラ３から画素毎に出力される増加イベントや減少イベントの数を増減させることにより、各画素の感度特性のばらつきを補正する。そして、補正後のイベント情報を演算部４で処理することにより推定精度を高めている。
　図２７は、補正部の説明図を示している。補正部６において、補正テーブルは増加イベント用、減少イベント用で別々に存在する。
　図２７に示すように、１つの画素に対する補正前の増減イベント列１５ａは、減少イベント１６及び増加イベント１７から成るが、増加イベント１７には増加イベント１７ａだけではなく暗電流やノイズにより増加した増加イベント１７ｂが含まれている。
　図２７に示すとおり、１つの画素に対する補正テーブル６ａによる補正後の増減イベント列１５ｂは、減少イベント１６及び増加イベント１７ａから成る。すなわち、このケースでは減少イベント１６は補正前と補正後で、４個で不変であるが、補正前の増加イベントは８個（１７ａ、１７ｂ）であるが、補正後の増加イベントは４個（１７ａ）であり、４個（＝８－４）が減少されている。すなわち、この画素の場合、増加イベントは２個入力されると、補正テーブルにより、１個の補正後の増加イベントが出力されていることになる。このような画素の場合、補正テーブルは、単位イベントあたりの増加光量データ＝０．５、単位イベントあたりの減少光量データ＝１．０が記憶される。
　次に、補正テーブルの作成方法について説明する。図２８は、イベント検出光量値の補正テーブルの作成方法のイメージ図を示している。
　本実施例では、補正テーブルの作成には、イベントカメラとグレースケール画像の両方が撮影できるイベントカメラ３（DAVIS346、iniVation社製）を用いた。まず、イベントカメラ３に時間変動しない光を入射する。次に、イベントカメラ３と光源５の間に配置した黒い遮蔽板７を、図２８の矢印に示すように上下に動かして、光源５からイベントカメラ３への入射光に対して、遮蔽・開放を繰り返す。遮断が進むときは、減少イベントが発生し、反対に、開放が進むときは、増加イベントが発生する。得られたイベント列と輝度画像より光量変化の割合と発出されるイベント間隔が対応付くことから、光量変化の割合とイベント間隔より閾値が求まる。このように補正テーブルが作成されていく。
　なお、本実施例とは異なり、イベントカメラと一般的なイメージセンサを、ハーフミラーなどを用いて同軸に配置してもよい。
　図２９は、補正テーブルの例であり、（１）は補正なし（＋１）の場合の増加イベント用補正テーブル、（２）は全画素を単一値（例：＋０．９３）で補正した場合の増加イベント用補正テーブル、（３）は画素毎に補正した場合の増加イベント用補正テーブル、（４）は補正なし（－１）の場合の減少イベント用補正テーブル、（５）は全画素を単一値（例：－１．０７）で補正した場合の減少イベント用補正テーブル、（６）は本発明の補正テーブルを用いて画素毎に補正した場合の減少イベント用補正テーブルを示している。
　本発明の補正テーブルは、画素毎に補正するものであり、図２９（３）の増加イベント用補正テーブル、図２９（６）の減少イベント用補正テーブルが該当する。図２９（３）や図２９（６）のような画素毎に補正する補正テーブルを備えることにより、画素毎に発生する暗電流やショットノイズに伴うカメラの出力する増加イベントや減少イベントの数を補正することができ、分光分布グラフの推定精度を改善できる。
　また、補正部による改善結果について説明する。図３０は、カラーパッチを分光計測した場合の分光分布復元結果を示すグラフを示している。図１８に示す補正前の分光分布の推定結果では、推定制度の低下が見られたが、図３０に示す補正後の分光分布の推定結果では、破線で囲み示すように、補正部及び補正テーブルによる増加／減少イベントの補正により、真値に対する推定値の誤差が改善したことが分かる。
　図３１は、実施例２の分光計測方法のフロー図を示している。図３１に示すように、まず、センサの画素毎の単位イベント当たりの増加光量データと減少光量データを記憶する補正テーブルを作成する（ステップＳ１１）。次に、波長可変フィルタを用いて入射光の分光分布を時間的に変調させる（ステップＳ１２）。イベントカメラを用いて画素毎の輝度変化をイベントとして検出し、イベントの検出時刻と画素位置と輝度変化方向を出力させる（ステップＳ１３）。波長可変フィルタとセンサ部とを周期的な電気信号によって同期させる（ステップＳ１４）。イベントの検出時刻における波長可変フィルタの分光透過率、画素位置および輝度変化方向および補正テーブルを用いて、計測対象の分光分布を推定する（ステップＳ１５）。
（その他の実施例）
（１）上述の実施例では、波長可変フィルタ２とイベントカメラ３は、別体であるが、イベントカメラ３に波長可変フィルタ２が組み込まれた一体型の装置であってもよい。
（２）上述の実施例では、波長可変フィルタ２として、液晶チューナブルフィルタを用いたが、図２４に示すように、液晶リターダを直線偏光板で挟んだものを用いてもよく、液晶リターダの代わりに電気光学素子を用いてもよい。
　本発明は、人工衛星で地上の状態を計測するリモートセンシングや空気中のガス濃度の計測、果物や作物などの糖度計測など、未知の物性を分光計測する装置や方法として有用である。
　１，１ａ　分光計測装置
　２，２ｂ　波長可変フィルタ
　３　イベントカメラ
　４　演算部
　４ａ　データケーブル
　５　光源
　６　補正部
　６ａ　補正テーブル
　７　遮蔽板
　８　白板
　９　シーン
　１５ａ，１５ｂ　増減イベント列
　１６ａ，１６ｂ　減少イベント
　１７ａ～１７ｃ　増加イベント
　２１，２１ａ～２１ｄ　直線偏光板
　２２，２２ａ～２２ｃ　複屈折媒体
　２３　液晶リターダ
　３０　カメラレンズ
 

Claims (12)

  1. 　入射光の分光分布を時間的に変調する波長可変フィルタと、
    　画素毎の輝度変化をイベントとして検出し、前記イベントの検出時刻と画素位置と輝度変化方向を出力するセンサ部と、
    　前記センサ部から出力された信号を処理する演算部を備え、
    　前記波長可変フィルタと前記センサ部とが周期的な電気信号によって同期され、
    　前記演算部は、前記イベントの検出時刻における波長可変フィルタの分光透過率、前記画素位置、および前記センサ部の各画素の感度特性のばらつきを補正した後の前記輝度変化方向を用いて計測対象の分光分布を推定することを特徴とする分光計測装置。
  2. 　前記演算部は、前記波長可変フィルタにおける前記周期的な電気信号による分光分布の時間的変化を予め計測した時間軸上の分光分布データベースを有し、前記イベントの検出時刻における波長可変フィルタの分光分布を取得することを特徴とする請求項１に記載の分光計測装置。
  3. 　前記波長可変フィルタは、液晶チューナブルフィルタ、液晶リターダ、電気光学素子の何れかを用いることを特徴とする請求項１又は２に記載の分光計測装置。
  4. 　前記センサ部は、光の輝度変化を検知して出力するイベントカメラであることを特徴とする請求項１又は２に記載の分光計測装置。
  5. 　前記入射光は、前記計測対象を反射又は透過した光であることを特徴とする請求項１又は２に記載の分光計測装置。
  6. 　前記入射光は、照明光であり、
    　前記波長可変フィルタを通過した光が、前記計測対象を反射又は透過し、前記センサ部の各画素に受光することを特徴とする請求項１又は２に記載の分光計測装置。
  7. 　前記計測対象の分光分布は、最小二乗法によって推定されることを特徴とする請求項１又は２に記載の分光計測装置。
  8. 　前記演算部は、前記センサ部の画素毎の単位イベント当たりの増加光量データと減少光量データを予め記憶した補正テーブルを用いて、画素毎に輝度変化方向の検出数を増減させることで各画素の感度特性のばらつきを補正する補正部を備えることを特徴とする請求項１又は２に記載の分光計測装置。
  9. 　前記補正テーブルにおいて、前記増加光量データと前記減少光量データは、入射する入射光に輝度変化を与えた時の、前記センサ部が出力する画素毎の対数増幅された輝度変化のイベントと、当該イベントの検出時刻における各画素が出力する輝度値とを対応付けて算出されることを特徴とする請求項８に記載の分光計測装置。
  10. 　波長可変フィルタを用いて入射光の分光分布を時間的に変調させるステップと、
    　イベントカメラを用いて画素毎の輝度変化をイベントとして検出し、前記イベントの検出時刻と画素位置と輝度変化方向を出力させるステップと、
    　前記波長可変フィルタと前記センサ部とを周期的な電気信号によって同期させるステップと、
    　前記イベントの検出時刻における波長可変フィルタの分光透過率、前記画素位置、および前記センサ部の各画素の感度特性のばらつきを補正した後の前記輝度変化方向を用いて、計測対象の分光分布を推定するステップ、
    を備えることを特徴とする分光計測方法。
  11. 　前記センサ部の画素毎の単位イベント当たりの増加光量データと減少光量データを記憶する補正テーブルを作成するステップ、を更に備えることを特徴とする請求項１０に記載の分光計測方法。
  12. 　前記波長可変フィルタにおける前記周期的な電気信号による分光分布の時間的変化を予め計測した時間軸上の分光分布データベースを作製するステップ、を更に備えることを特徴とする請求項１０又は１１に記載の分光計測方法。
PCT/JP2023/026167 2022-07-15 2023-07-16 波長時間変調のイベント計測による分光計測装置及び分光計測方法 WO2024014561A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-114409 2022-07-15
JP2022114409 2022-07-15

Publications (1)

Publication Number Publication Date
WO2024014561A1 true WO2024014561A1 (ja) 2024-01-18

Family

ID=89536895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026167 WO2024014561A1 (ja) 2022-07-15 2023-07-16 波長時間変調のイベント計測による分光計測装置及び分光計測方法

Country Status (1)

Country Link
WO (1) WO2024014561A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
JP2017134035A (ja) * 2016-01-29 2017-08-03 セイコーエプソン株式会社 測定装置、及び測定方法
JP2019007928A (ja) * 2017-06-28 2019-01-17 パイオニア株式会社 撮像装置、撮像方法及びプログラム
WO2020110676A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020182122A (ja) * 2019-04-25 2020-11-05 トヨタ自動車株式会社 イベントカメラ
JP2021021568A (ja) * 2019-07-24 2021-02-18 Ｏｐｔｅｃｈ Ｉｎｎｏｖａｔｉｏｎ合同会社 光吸収量差分計測装置及び光吸収量差分計測方法、並びに光吸収量差分画像の撮影装置及び光吸収量差分画像の撮影方法
JP2021067644A (ja) * 2019-10-28 2021-04-30 株式会社デンソーウェーブ 三次元計測装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
JP2017134035A (ja) * 2016-01-29 2017-08-03 セイコーエプソン株式会社 測定装置、及び測定方法
JP2019007928A (ja) * 2017-06-28 2019-01-17 パイオニア株式会社 撮像装置、撮像方法及びプログラム
WO2020110676A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020182122A (ja) * 2019-04-25 2020-11-05 トヨタ自動車株式会社 イベントカメラ
JP2021021568A (ja) * 2019-07-24 2021-02-18 Ｏｐｔｅｃｈ Ｉｎｎｏｖａｔｉｏｎ合同会社 光吸収量差分計測装置及び光吸収量差分計測方法、並びに光吸収量差分画像の撮影装置及び光吸収量差分画像の撮影方法
JP2021067644A (ja) * 2019-10-28 2021-04-30 株式会社デンソーウェーブ 三次元計測装置

Similar Documents

Publication Publication Date Title
EP2720014B1 (en) A method for determining calibration parameters for a spectrometer
KR102069935B1 (ko) 디스플레이를 테스트하기 위한 색채측정기 시스템
US10605660B2 (en) Spectral imaging method and system
JP3829238B2 (ja) 色再現システム
Vora et al. Digital color cameras—2—Spectral response
JP5709040B2 (ja) 分光画像撮像装置
US7616314B2 (en) Methods and apparatuses for determining a color calibration for different spectral light inputs in an imaging apparatus measurement
Farley et al. Performance of the FIRST: a long-wave infrared hyperspectral imaging sensor
CN108259865A (zh) 一种基于单像素探测器的彩色成像方法和系统
Bongiorno et al. Spectral characterization of COTS RGB cameras using a linear variable edge filter
US7557826B2 (en) Method for device spectral sensitivity reconstruction
KR20150136977A (ko) 초분광 이미징 시스템
WO2024014561A1 (ja) 波長時間変調のイベント計測による分光計測装置及び分光計測方法
Zhang et al. Spectral shift correction and adaptive band selection for multispectral imaging
JP2002149148A (ja) 色再現システム
US11867615B2 (en) Field calibration for near real-time Fabry Perot spectral measurements
US10931891B2 (en) Method for spectrogram image restoration
Zhu et al. Matched illumination
Crosby Stokes vector component versus elementary factor performance in a target detection algorithm
Blumer et al. LWIR polarimeter calibration
Kim et al. Developing a multispectral HDR imaging module for a BRDF measurement system
Fan et al. A new method for measuring the spectral sensitivities of a camera
CN116773524A (zh) 微型发光二极管阵列及显示面板检测方法和设备
Alvarez et al. Low Cost Recovery of Spectral Power Distributions.
Simi et al. New procedures for the calibration of COMPASS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839728

Country of ref document: EP

Kind code of ref document: A1