WO2022196351A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2022196351A1
WO2022196351A1 PCT/JP2022/008688 JP2022008688W WO2022196351A1 WO 2022196351 A1 WO2022196351 A1 WO 2022196351A1 JP 2022008688 W JP2022008688 W JP 2022008688W WO 2022196351 A1 WO2022196351 A1 WO 2022196351A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
light
combination
pixel
information processing
Prior art date
Application number
PCT/JP2022/008688
Other languages
English (en)
French (fr)
Inventor
沱 庄
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/276,597 priority Critical patent/US20240110863A1/en
Publication of WO2022196351A1 publication Critical patent/WO2022196351A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/40—Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the spectroscopic measurement method is known as a method for analyzing the composition of objects.
  • a spectroscopic measurement technique is a technique for analyzing the composition (elements, molecular structure, etc.) of an object by analyzing the emitted light, reflected light, or transmitted light from the object.
  • the light wavelength components of emitted light, reflected light, or transmitted light from an object differ depending on the composition of the object. Therefore, by analyzing this wavelength component, the composition of the object can be analyzed.
  • data indicating the quantity for each wavelength is called a wavelength spectrum, and processing for measuring the wavelength spectrum is called spectroscopic measurement processing.
  • the snapshot method is a method for acquiring the correspondence data between the spatial information and wavelength information of the object by processing the correspondence data between the spatial information and wavelength information of the object only once, that is, by performing the imaging process only once by the spectrometer.
  • a spectroscopic measurement apparatus to which the snapshot method is applied is composed of a combination of an optical system including a plurality of lenses, slits (field stop), spectroscopic elements, etc., and a sensor. The spatial resolution and wavelength resolution of the spectrometer are determined by the configurations of these optical systems and sensors.
  • the present disclosure proposes an information processing device, an information processing method, and a program capable of acquiring the PSF more easily.
  • an information processing apparatus provides a first a determination unit that determines two or more second combinations in which the total value of the values is unique among the combinations; and two or more of the wavelength feature amounts determined based on the two or more second combinations.
  • the intensity of the light incident on each pixel is determined from the luminance value of each pixel in the diffraction image obtained by receiving the light emitted from the light source composed of the corresponding light through a diffraction element having a grating pattern.
  • an identifying unit that identifies a third combination of the wavelength feature amounts; and a generating unit that generates an image distribution function for each wavelength based on the third combination for each pixel identified by the identifying unit.
  • FIG. 10 is a diagram showing an example of a spectral intensity analysis result, which is a spectral analysis result of output light of a certain food; It is a figure explaining the prism which is a spectroscopic element. It is a figure explaining the commentary grating
  • FIG. 10 is a diagram showing an example of a spectral intensity analysis result, which is a spectral analysis result of output light of a certain food; It is a figure explaining the prism which is a spectroscopic element. It is a figure explaining the commentary grating
  • FIG. 4 is a diagram illustrating an example of a data cube, which is three-dimensional data in the spatial direction (XY) and the wavelength direction ( ⁇ ) of the object to be measured;
  • 1 is a diagram showing a schematic configuration example of a snapshot-type spectroscopic measurement device;
  • FIG. 4 is a diagram showing an example of data acquired in one imaging process using a snapshot-type spectroscopic measurement device;
  • FIG. 3 is a diagram for explaining a captured image captured by a snapshot-type spectroscopic measurement device according to an embodiment of the present disclosure;
  • FIG. 4 is a diagram for explaining the luminance value of each pixel of a diffraction image captured by the spectroscopic measurement device according to the embodiment of the present disclosure (Part 1);
  • FIG. 2 is a diagram for explaining luminance values of pixels of a diffraction image captured by a spectroscopic measurement device according to an embodiment of the present disclosure (Part 2);
  • FIG. 3 is a diagram for explaining the luminance value of each pixel of a diffraction image captured by a spectroscopic measurement device according to an embodiment of the present disclosure (part 3);
  • FIG. 5 is a diagram for explaining a restoration method for restoring a data cube from a diffraction image acquired by a spectroscopic measurement device according to an embodiment of the present disclosure;
  • FIG. FIG. 3 is a diagram showing an example of the configuration of an apparatus for performing calibration for acquiring image distribution functions for each spatial position and for each wavelength;
  • FIG. 13 is a diagram for explaining an example of the flow of calibration using the apparatus configuration shown in FIG. 12;
  • FIG. 13 is a diagram for explaining another example of the flow of calibration using the apparatus configuration shown in FIG. 12;
  • FIG. 10 is a diagram for explaining a mechanism in which diffraction images for each wavelength are superimposed in a diffraction image according to an embodiment of the present disclosure;
  • 4 is a flow chart showing an operation example according to an embodiment of the present disclosure; 9 is a flowchart showing an operation example according to a modification of the embodiment of the present disclosure;
  • FIG. 4 is a diagram for explaining a PSF restoration operation using a lookup table according to an embodiment of the present disclosure;
  • FIG. 1 is a hardware configuration diagram showing an example of an information processing device that executes various processes according to the present disclosure;
  • FIG. 1 is a hardware configuration diagram showing an example of an information processing device that executes various processes according to the present disclosure;
  • FIG. 1 is a hardware configuration diagram showing an example of an information processing device
  • Visible light has a wavelength in the range of about 400 nm to 700 nm, infrared radiation has a longer wavelength than visible light, while ultraviolet radiation is visible light. ) has a shorter wavelength.
  • the radiated light, reflected light, or transmitted light from an object has different light wavelength components depending on the composition of the object (elements, molecular structure, etc.), and the composition of the object can be analyzed by analyzing these wavelength components. becomes possible.
  • data indicating the quantity for each wavelength is called a wavelength spectrum
  • processing for measuring the wavelength spectrum is called spectroscopic measurement processing.
  • FIG. 2 is a diagram showing an example of spectroscopic measurement of a luminescent object.
  • FIG. 2 shows which wavelengths of light in the visible light wavelength range (approximately 400 nm to 700 nm) are emitted from the sun, electric lights, neon, hydrogen, mercury, and sodium. Areas with output are shown whitish and areas without output are shown black.
  • FIG. 2 shows the results of spectroscopic measurements of output light from sunlight, electric lights, and various heated substances.
  • the sun, electric lights, neon, hydrogen, mercury, sodium, and each of these objects output their own wavelength light. That is, even if the object is unknown, it is possible to analyze the composition of the object by analyzing the wavelength components contained in the light from the object.
  • FIG. 3 is a diagram showing an example of spectral intensity analysis results, which are spectral analysis results of the output light of a certain food. Two different spectral analysis results were obtained from this food.
  • the observation system of the spectroscopic measurement is equipped with a spectroscopic element (spectroscopic device) to separate the light of each wavelength from the light that enters the camera.
  • a spectroscopic element spectroscopic device
  • the most commonly known spectral element is the prism 901 shown in FIG.
  • Light incident on the prism 901 that is, light of various wavelengths contained in the incident light is emitted from the prism 901 at an emission angle corresponding to the wavelength of the incident light, the incident angle, and the shape of the prism 901 .
  • An observation system for spectroscopic measurement is provided with a spectroscopic element such as this prism 901, and has a configuration in which light in units of wavelengths can be individually received by a sensor.
  • Equation (1) can be used to express the change in the traveling direction of light by the prism.
  • each parameter of the above formula (1) is as follows.
  • ⁇ Vertex angle of prism ⁇ 1: Incident angle with respect to prism entrance surface
  • ⁇ 2 Output angle with respect to prism exit surface
  • ⁇ 1 Refraction angle of prism entrance surface
  • ⁇ 2 Refraction angle of prism exit surface
  • ⁇ Deviation angle ( incident light and angle with outgoing light)
  • n is the refractive index of the prism, and the refractive index n depends on the wavelength.
  • ⁇ 1 is the angle of refraction of the incident surface of the prism, which depends on the refractive index n of the prism and the angle of incidence ⁇ 1 with respect to the incident surface of the prism. Therefore, the deflection angle (the angle between the incident light and the emitted light) ⁇ depends on the incident angle ⁇ 1 and the wavelength.
  • the exit angle (diffraction angle) ⁇ of light rays from the diffraction grating 902 can be expressed by the following equation (3).
  • d is the lattice spacing
  • ⁇ is the incident angle
  • ⁇ is the outgoing angle
  • m is the diffraction order.
  • FIG. 6 shows an example of three-dimensional data in the spatial direction (XY) and wavelength direction ( ⁇ ) of the object to be measured, that is, a data cube.
  • the data cube is three-dimensional data in the spatial direction (XY) and wavelength direction ( ⁇ ) of the measurement object, and the coordinates of each point on the surface of the measurement object are XY coordinates. , and is data in which the intensity ( ⁇ ) of light of each wavelength at each coordinate position (x, y) is recorded.
  • the data cube illustrated in FIG. 6 is composed of 8 ⁇ 8 ⁇ 8 cubic data, and one cube D is data indicating the light intensity of a specific wavelength ( ⁇ ) at a specific position (x, y). be.
  • the number of cubes 8 ⁇ 8 ⁇ 8 shown in FIG. 6 is an example, and this number varies according to the spatial resolution and wavelength resolution of the spectroscopic measurement device.
  • FIG. 7 is a diagram showing an example of a schematic configuration of a snapshot-type spectroscopic measurement device
  • FIG. 8 is a diagram showing an example of data acquired in one imaging process using the snapshot-type spectroscopic measurement device. is.
  • the snapshot system includes an objective lens 941, a slit 942, a collimator lens 943, a diffraction grating type spectral element (hereinafter simply referred to as a diffraction grating) 944, an imaging lens 945, and an area sensor.
  • a diffraction grating diffraction grating type spectral element
  • an imaging lens 945 an area sensor.
  • 946 light from a measurement object 900 is condensed by an objective lens 941 , converted into parallel light by a collimator lens 943 , transmitted through a diffraction grating 944 and projected onto the light receiving surface of an area sensor 946 .
  • the light-receiving surface may be a surface on which photoelectric conversion units such as photodiodes are arranged in an image sensor (also referred to as a solid-state imaging device).
  • the light-receiving area of the area sensor 946 is finite, and since the information in the wavelength direction is recorded overlapping on the light-receiving surface, it is necessary to restore the data cube by signal processing after shooting.
  • the optical system since the various coefficients used in signal processing are linked to the performance of the optical system, the optical system must be fixed, that is, the positional relationship between the sensor and the optical system must be fixed. There is a problem that it is difficult to adjust the wavelength and spatial resolution by using
  • FIG. 9 is a diagram for explaining a captured image (hereinafter also referred to as a diffraction image) captured by a snapshot-type spectroscopic measurement device (hereinafter also referred to as a spectroscopic camera or an imaging unit).
  • a captured image hereinafter also referred to as a diffraction image
  • a snapshot-type spectroscopic measurement device hereinafter also referred to as a spectroscopic camera or an imaging unit.
  • rays of different wavelengths are imaged at different positions on the light receiving surface of the light receiving element (eg, area sensor 946) by the spectroscopic element (eg, diffraction grating 944).
  • the light rays of each wavelength are imaged at a position farther away from the central 0-order diffraction image G11 as the wavelength becomes longer.
  • diffraction images for each wavelength spread in four directions, namely, the vertical direction, the horizontal direction, and the oblique direction.
  • the diffraction images for each wavelength can partially overlap each other.
  • the degree of superposition depends on the properties of the spectroscopic element and the lens system.
  • FIG. 9 shows an example of superposition of diffraction images diffracted upward with respect to the 0th order diffraction image G11, and (b) shows an example of superposition of diffraction images diffracted rightward. and (c) shows an example of overlapping diffraction images diffracted diagonally upward to the left.
  • FIG. 10A to 10C are diagrams for explaining the luminance value of each pixel of the diffraction image captured by the spectroscopic camera.
  • FIG. 10B is a diagram showing the wavelength spectrum of light radiated from a pixel region where the 0th-order diffracted light is incident (the region where the 0th-order diffraction image G11 is formed) in the upper left diagonal direction (( in FIG. 9).
  • c) (corresponding to the direction in which the diffraction image is formed) is a characteristic quantity f * ( ⁇ ) of light obtained by synthesizing one or more diffracted beams incident on a specific pixel P11 (hereinafter also referred to as synthesized diffracted beam).
  • FIG. 10B is a diagram showing the wavelength spectrum of light radiated from a pixel region where the 0th-order diffracted light is incident (the region where the 0th-order diffraction image G11 is formed) in the upper left diagonal direction (( in FIG. 9).
  • FIGS. 10A to 10C are diagram for explaining the luminance value of the combined diffracted light detected by the pixel P11.
  • the 0th-order diffraction image and the 1st-order diffraction image are formed in the same pixel region of 4 pixels ⁇ 4 pixels as the division of the spatial position, and the region where the diffraction image for each wavelength is formed.
  • the present invention is not limited to this.
  • wavelength characteristic may be, for example, a characteristic configured by a wavelength feature amount, which is a luminance value (also referred to as light intensity) observed for each wavelength, in light composed of a plurality of wavelengths.
  • this pixel P11 includes, for example, a component of wavelength ⁇ 1 of the diffracted light emitted from the spatial position SP1 (hereinafter referred to as diffracted light of the wavelength feature amount f 1 ( ⁇ 1 )) and a component of the diffracted light emitted from the spatial position SP6.
  • the diffracted light of the wavelength feature f 2 ( ⁇ 2 ) the diffracted light of the wavelength feature f 3 ( ⁇ 3 )
  • the wavelength ⁇ 4 in the diffracted light of the light emitted from the spatial position SP16 is incident.
  • the feature quantity (hereinafter referred to as the synthesized feature quantity) f * ( ⁇ ) of the synthesized diffracted light incident on the pixel P11 can be expressed by the following equation (4).
  • the wavelength feature amount of a certain light may be information for specifying the light of that wavelength. It may also be a luminance value for each wavelength to which power is applied.
  • the luminance value (also referred to as the observed value) I detected at the pixel P11 is combined with the synthesized feature value f * ( ⁇ ) as the wavelength of the pixel P11, as shown in the following equation (5). It can be obtained by multiplying the sensitivity characteristic E( ⁇ ).
  • the luminance value I of each pixel is the wavelength feature amount f( ⁇ ) by the wavelength sensitivity characteristic E( ⁇ ) of the light-receiving element for light of each wavelength, and summing the values obtained.
  • FIG. 11 is a diagram for explaining a restoration method for restoring a data cube from a diffraction image acquired by a spectroscopic camera.
  • a diffraction image G of X pixels ⁇ Y pixels (where X and Y are integers equal to or greater than 1) acquired by the spectroscopic camera can be modeled as shown in Equation (6) below.
  • D i on the right side represents the data cube for each wavelength ⁇ 1 to ⁇ 4
  • H i (s, t) is the point spread function for each spatial position and for each wavelength.
  • the diffraction image G acquired by the snapshot-type spectroscopic camera can be represented by the convolution sum of the PSF for each spatial position and for each wavelength and the data cube D i for each wavelength.
  • (*) indicates convolution in equation (7) and other equations. Therefore, if the PSF can be created in advance, it is possible to reconstruct the datacube D of the diffraction image G by performing appropriate optimization operations.
  • FIG. 12 is a diagram showing an example of the configuration of an apparatus for performing calibration for acquiring the PSF for each spatial position and for each wavelength
  • FIG. 13 is a diagram showing the flow of calibration using the apparatus configuration shown in FIG. It is a figure for demonstrating an example.
  • a wavelength-tunable wavelength tunable light source 950 is used in calibration.
  • the light emitted from the light source 950 is incident on the optical fiber 951 to narrow the luminous flux width, and then is incident on the spectroscopic camera 952 .
  • the spectral camera 952 captures images while sequentially switching the wavelength of the light emitted from the wavelength variable light source 950 .
  • the position of the output end of the optical fiber 951 is switched to the spatial position SP2, and similarly, from the wavelength tunable light source 950
  • the spectral camera 952 performs imaging while sequentially switching the wavelength of emitted light.
  • a plurality of light emitting units for example, (corresponding to the spatial positions SP1 to SP16) are determined.
  • a combination of wavelength feature amounts that uniquely determines the combined feature amount synthesized from the wavelength feature amounts of the respective wavelengths of the plurality of light emitting units is determined by combining the light emitting units.
  • a light source composed of a plurality of light emitting units is configured based on the combination of the wavelength feature amounts obtained. By doing so, it is possible to separate the diffracted light for each wavelength incident on each pixel based on this unique wavelength feature amount, so the PSF for each spatial position and for each wavelength can be easily obtained from the diffraction image. It is possible to obtain
  • this embodiment makes it possible to easily obtain the PSF for each spatial position and for each wavelength in subsequent signal processing even when imaging is performed in a state where different spatial positions are lit all at once. be. Therefore, in the following description, examples will be given of conditions for enabling separation of PSFs for each spatial position and for each wavelength in subsequent signal processing, and the arrangement of light sources having wavelength characteristics that satisfy these conditions.
  • FIG. 15 is a diagram for explaining the mechanism by which diffraction images for each wavelength are superimposed on a diffraction image.
  • light of different wavelengths is emitted from each of a total of 16 spatial positions of 4 ⁇ 4 where light sources are arranged, and the deviation of the region where the diffraction image is formed for each wavelength is in units of one pixel.
  • the size of the image at each spatial position formed on the light receiving surface (also referred to as the imaging surface) of the light receiving element is the same as the size of each pixel in the light receiving element.
  • the superposition of the diffraction image formed diagonally upward to the left with respect to the 0th-order diffraction image on the light receiving surface will be described as an example, but the diffraction image formed in other directions can also be used. may be similar.
  • the number of types of wavelengths (hereinafter, also referred to as the number of wavelengths) p required for generating a PSF is four wavelengths ⁇ 1 , ⁇ 2 , ⁇ 3 and ⁇ 4
  • the diffraction pattern G21 has a wavelength ⁇ 1
  • a diffraction image G22 is a diffraction image of light of wavelength ⁇ 2
  • a diffraction image G23 is a diffraction image of light of wavelength ⁇ 3
  • a diffraction image G24 is a diffraction image of light of wavelength ⁇ 4 .
  • a specific region (hereinafter also referred to as a position of interest) in the diffraction image of a certain wavelength corresponds to a region in the diffraction image of another wavelength. does not overlap with Specifically, for example, a target position (also referred to as a target pixel) P21 in the diffraction image G21 corresponding to the wavelength ⁇ 1 does not overlap with the corresponding target positions P22, P23, and P24 in the diffraction images G22, G32, and G24. . This is the same regardless of whether the position of interest is any position (for example, corresponding to a pixel) in the diffraction image.
  • the sum of the wavelength feature amounts (corresponding to the combined feature amount f * ) M of the synthesized diffracted light incident on each pixel in the region R22 that may be superimposed is expressed by the following equation (9).
  • a set A of the combination of the wavelength feature amount of the pixel of interest P21 and the combination of the wavelength feature amount of each pixel in the region R22, more specifically, the light emitting unit (spatial position ) and the combination of the light-emitting units (spatial positions) that emitted the light incident on each pixel in the region R22 is represented by the following equation (10).
  • N indicates the number of wavelength feature amounts to be superimposed. Therefore, the maximum value of N is the same number as the viewing range (that is, X ⁇ Y).
  • Equation (11) the condition for enabling each wavelength feature amount to be separated in the subsequent signal processing can be described as in Equation (11) below.
  • the condition for enabling each wavelength feature amount to be separated in subsequent signal processing is that, in set A, the total value of the wavelength feature amounts of the combination indicated by the arbitrary element (A′) is unique (that is, other combinations and the total value of the wavelength feature values of each pixel), and the correspondence between the observed value (brightness value) observed at each pixel and the combination of the wavelength feature values is one-to-one. can.
  • the optimization formula shown in the following formula (13) is proposed as a conditional formula for determining the subset F so as to satisfy the condition of the above formula (12).
  • FIG. 16 is a flowchart showing an operation example according to this embodiment.
  • the information processing apparatus 1000 first performs the A set A of a combination of wavelength feature amounts of the pixel in question and a combination of wavelength feature amounts of pixels other than this pixel is obtained (step S101).
  • the combination set A can be obtained, for example, by calculating Equation (10) described above.
  • the information processing apparatus 1000 randomly determines a set F (hereinafter also referred to as a projection data cube) of combinations of wavelength feature amounts of light emitted by the light source for each light emitting unit (spatial position) (step S102).
  • a set F hereinafter also referred to as a projection data cube
  • the set F determined in step S102 is a candidate for the combination of wavelength feature amounts used as light sources, and is not determined as a combination included in the set F.
  • a random number sequence such as pseudo-random numbers generated by a random number generator or the like may be used.
  • the information processing apparatus 1000 extracts the wavelength feature amount f X corresponding to each element constituting the set A, that is, the combination of light emitting units (spatial positions) (hereinafter also referred to as the first element) X (step S103). Specifically, for each first element, the wavelength feature amount fX of the light emitted from each combined light emitting unit (spatial position) is extracted.
  • the information processing apparatus 1000 calculates the sum sX of the wavelength feature quantities fX for each first element X , and collects the calculated sum sX for each first element X as a union set S (step S104). .
  • the information processing apparatus 1000 calculates the difference between the sum (hereinafter also referred to as the second element) sX forming the union set S and the other second element, and converts the calculated difference into the difference set. It is put together as EX (step S105 ).
  • the information processing apparatus 1000 determines whether or not the minimum value of the differences (hereinafter also referred to as third elements) forming the difference set EX is zero (step S106 ), and if it is zero (step S106 YES), the projection data cube determined in step S102 is adopted as the light source for calibration, and this operation ends. On the other hand, if the minimum value is not zero (NO in step S106), the information processing apparatus 1000 returns to step S102 and repeats the subsequent operations until the minimum value becomes zero.
  • the minimum value of the differences hereinafter also referred to as third elements
  • FIG. 17 is a flowchart showing an operation example according to a modification of the present embodiment. As shown in FIG. 17, in this operation, first, the information processing apparatus 1000 randomly determines projection data cubes and constructs a set A by performing the same operations as steps S101 to S103 in FIG. A wavelength feature amount fX corresponding to each first element is extracted.
  • the information processing device 1000 selects any one of the first elements X that form the set A (step S201).
  • the information processing apparatus 1000 sums the sum s'X of the wavelength feature amounts f'X of the selected first element X ' and the sum sX of the wavelength feature amounts fX of the other first elements X
  • the information processing apparatus 1000 determines whether or not the minimum value of the difference between the sum s'X of the selected first elements X ' and the sum sX of the other first elements X is zero. (Step S203) If it is not zero (NO in Step S203), the wavelength feature quantity f'X being selected is updated with a new random number sequence (Step S204), the process returns to Step S202, and the subsequent operations are executed.
  • step S203 determines whether or not all the first elements X forming the set A have been selected in step S201 (step S205). ), if it has already been selected (YES in step S205), the currently configured projection data cube is adopted as the light source for calibration, and this operation ends. On the other hand, if it has not been selected (NO in step S205), the information processing apparatus 1000 returns to step S201 and repeats the subsequent operations until all the first elements X are selected.
  • FIG. 18 is a diagram for explaining the PSF restoration operation using the lookup table according to this embodiment. Note that the reference table 102 showing the correspondence between the observed values and the wavelength feature values is generated by calibration executed before the operation shown in FIG. (see FIG. 19).
  • the information processing apparatus 1000 performs each diffraction image G100.
  • a subset F of combinations of wavelength feature amounts for each pixel is specified by looking up the reference table 102 using the observed value (luminance value) of each pixel. Then, the information processing apparatus 1000 uses the wavelength feature amounts included in the identified subset F to generate a PSF for each wavelength of diffracted light incident on each pixel.
  • the observed value ( brightness value) of the pixel P100 in the diffraction image G100 includes the wavelength feature amounts of light having the wavelength characteristics f1 and f3 emitted from two spatial positions in the space SP.
  • the information processing apparatus 1000 looks up the reference table 102 using the luminance value Im of the pixel P100 , thereby obtaining the wavelength characteristics of the light incident on the pixel P100. Identify a subset of quantities (I p , I q ). Then , the information processing apparatus 1000 uses the wavelength feature amounts Ip and Iq included in the identified subset to obtain the PSF (H( x1, y1), H(x2, y2)).
  • a normal image that is, an image that does not include a diffraction image
  • the spectroscopic camera 101 is restored from the diffraction image G100 acquired by the spectroscopic camera 101. becomes possible.
  • FIG. 19 is a hardware configuration diagram showing an example of an information processing device 1000 that executes various processes according to the present disclosure.
  • the information processing apparatus 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each unit of the information processing apparatus 1000 is connected by a bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the information processing device 1000 is booted, a program depending on the hardware of the information processing device 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a recording medium that can be read by an information processing device and that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records a program for executing each operation according to the present disclosure, which is an example of program data 1450 .
  • the communication interface 1500 is an interface for connecting the information processing device 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 includes the I/F section 18 described above, and is an interface for connecting the input/output device 1650 and the information processing apparatus 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 of the information processing device 1000 executes various processes by executing programs loaded on the RAM 1200 .
  • the HDD 1400 also stores programs and the like according to the present disclosure.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the present technology can also take the following configuration.
  • the first combination is a combination of wavelength feature amounts of light that can be incident on the same pixel specified based on an overlap of diffraction images that can be formed by causing light from the light source to be incident on the diffraction element.
  • the information processing device according to (1) above.
  • the determination unit calculates the sum of the wavelength feature amounts of the respective first combinations, and determines a combination in which a difference between the calculated sums is zero as the second combination (1) to ( The information processing apparatus according to any one of 3).
  • the determining unit selects one first combination from the set of the first combinations, a first sum of the wavelength feature amounts of the selected first combination, and another first combination in the set A second sum of the wavelength feature amounts of each of the combinations is calculated, and when the minimum value of the difference between the first sum and the second sum is zero, the selected first combination is The information processing apparatus according to any one of (1) to (4), wherein the second combination is determined. (6) The determining unit selects another first combination from the set when the minimum value of the difference between the first sum and the second sum is not zero. Information processing equipment. (7) The information processing apparatus according to any one of (1) to (6), wherein the wavelength feature amount is light intensity for each wavelength.
  • each pixel is obtained from the luminance value of each pixel in the diffraction image acquired by the imaging unit.
  • an identification unit that identifies a combination of lights incident on the Information processing device.
  • the specifying unit uses a reference table that manages a correspondence relationship between the observed value acquired by each pixel of the imaging unit and the image distribution function for separating the observed value into wavelength feature amounts for each wavelength,
  • the information processing apparatus according to (8), wherein the combination of the light incident on each pixel is specified from the luminance value of each pixel in the diffraction image acquired by the imaging unit.
  • An information processing method comprising generating an image distribution function for each wavelength based on the third combination for each identified pixel.
  • a program for making a computer work said computer, Of the first combinations of one or more wavelength feature quantities selected from a population of two or more wavelength feature quantities having mutually unique values, two or more second combinations having mutually unique total values a determination unit that determines light emitted from a light source configured by light corresponding to each of the two or more wavelength feature quantities determined based on the two or more second combinations determined by the determination unit, the light emitted from the light source having a lattice pattern; an identifying unit that identifies a third combination of the wavelength feature amounts of the light incident on each pixel from the luminance value of each pixel in the diffraction image obtained by receiving light through the diffraction element; a generation unit that generates an image distribution function for each wavelength based on the third combination for each pixel identified by the identification unit; program to function as
  • spectroscopic camera 101 spectroscopic camera 102 reference table 941 objective lens 942 slit 943 collimating lens 944 diffraction grating type spectroscopic element 945 imaging lens 946 area sensor 1000 information processing device 1100 CPU 1200 RAM 1300 ROMs 1400 HDDs 1500 communication interface 1550 external network 1600 input/output interface 1650 input/output device SP space SP1 to SP16 space position

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

より簡易にＰＳＦを取得することが可能にする。実施形態に係る情報処理装置は、互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部（１０００）と、前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部（１０００）と、前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部（１０００）と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、物体の組成解析手法として分光計測手法が知られている。分光計測手法とは、物体からの放射光あるいは反射光あるいは透過光を解析することで、その物体の組成（元素、分子構造など）を解析する手法である。
　物体からの放射光や反射光あるいは透過光の光波長成分は、物体の組成により異なる。そこで、この波長成分を解析することで、物体の組成を解析することができる。一般に、波長ごとの分量を示すデータを波長スペクトルと呼び、波長スペクトルを計測する処理を分光計測処理と呼ぶ。
　物体の表面の各点の組成を解析するためには、物体の空間情報と波長情報との対応データを取得することが必要となる。物体の空間情報と波長情報との対応データを１回の処理、すなわち分光計測装置による１回の撮影処理のみで、物体の空間情報と波長情報との対応データを取得する方式としてスナップショット方式が知られている。スナップショット方式を適用した分光計測装置は、複数のレンズやスリット（視野絞り）、分光素子等からなる光学系とセンサの組み合わせによって構成される。分光計測装置の空間分解能や波長分解能は、これらの光学系やセンサの構成によって決定される。
特開２０１６－９０５７６号公報
　ここで、分光計測装置で撮像画像の復元処理を行うには、空間位置ごと及び波長ごとのＰＳＦ（Point　Spread　Function）をキャリブレーションで取得する必要があるが、従来のキャリブレーション方法では、必要な視野範囲と波長範囲とが広げれば広いほどキャリブレーションに費やす時間が長くなり、コストが掛かってしまうという問題が発生する。
　そこで本開示では、より簡易にＰＳＦを取得することが可能な情報処理装置、情報処理方法及びプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部と、前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部と、前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部と、を備える。
光の種類と波長の関係について説明する図である。 発光物体の分光計測例について説明する図である。 ある食品の出力光の分光解析結果であるスペクトル強度解析結果の一例を示す図である。 分光素子であるプリズムについて説明する図である。 分光素子である解説格子について説明する図である。 計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータであるデータキューブの例について説明する図である。 スナップショット方式の分光計測装置の概略構成例を示す図である。 スナップショット方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。 本開示の一実施形態に係るスナップショット方式の分光計測装置で撮影された撮像画像を説明するための図である。 本開示の一実施形態に係る分光計測装置で撮影された回折画像の各画素の輝度値を説明するための図である（その１）。 本開示の一実施形態に係る分光計測装置で撮影された回折画像の各画素の輝度値を説明するための図である（その２）。 本開示の一実施形態に係る分光計測装置で撮影された回折画像の各画素の輝度値を説明するための図である（その３）。 本開示の一実施形態に係る分光計測装置で取得された回折画像からデータキューブを復元する復元方法を説明するための図である。 空間位置ごと及び波長ごとの像分布関数を取得するキャリブレーションを実行するための装置構成の一例を示す図である。 図１２に示す装置構成を用いたキャリブレーションの流れの一例を説明するための図である。 図１２に示す装置構成を用いたキャリブレーションの流れの他の一例を説明するための図である。 本開示の一実施形態に係る回折画像において波長ごとの回折像が重畳するメカニズムを説明するための図である。 本開示の一実施形態に係る動作例を示すフローチャートである。 本開示の一実施形態の変形例に係る動作例を示すフローチャートである。 本開示の一実施形態に係る参照テーブルを用いたＰＳＦの復元動作を説明するための図である。 本開示に係る各種処理を実行する情報処理装置一例を示すハードウエア構成図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．一実施形態
　　　１．１　分光計測装置（システム）の概要について
　　　１．２　回折像が重畳するメカニズムについて
　　　１．３　波長特徴量を分離可能とするための条件について
　　　１．４　波長特徴量の決定方法について
　　　１．５　波長特徴量の決定動作例
　　　１．６　波長特徴量決定動作の変形例
　　　１．７　参照テーブルを用いたＰＳＦの復元について
　　　１．８　まとめ
　　２．ハードウエア構成
　１．一実施形態
　以下、本実施形態に係る情報処理装置、情報処理方法及びプログラムについて、図面を参照して詳細に説明する。
　１．１　分光計測装置（システム）の概要について
　まず、本実施形態に係る分光計測装置（システム）の概要について説明する。光は、例えば、赤外光（ｉｎｆｒａｒｅｄ　ｒａｄｉａｔｉｏｎ）、可視光（ｖｉｓｉｂｌｅ　ｌｉｇｈｔ）、紫外線（Ｕｌｔｒａｖｉｏｌｅｔ）などが知られているが、これらの光は電磁波の一種であり、図１に示すように光の種類によって異なる波長（振動周期）を持っている。
　可視光（ｖｉｓｉｂｌｅ　ｌｉｇｈｔ）の波長は約４００ｎｍ～７００ｎｍの範囲であり、赤外光（ｉｎｆｒａｒｅｄ　ｒａｄｉａｔｉｏｎ）は、可視光（ｖｉｓｉｂｌｅ　ｌｉｇｈｔ）より波長が長く、一方、紫外線（Ｕｌｔｒａｖｉｏｌｅｔ）は可視光（ｖｉｓｉｂｌｅ　ｌｉｇｈｔ）より波長が短いという特性を持つ。
　前述したように、物体からの放射光や反射光あるいは透過光は、物体の組成（元素、分子構造など）により光波長成分が異なり、この波長成分を解析することで物体の組成を解析することが可能となる。一般に、波長ごとの分量を示すデータを波長スペクトルと呼び、波長スペクトルを計測する処理を分光計測処理と呼ぶ。
　図２は、発光物体の分光計測例を示す図である。図２には、太陽、電灯、ネオン、水素、水銀、ナトリウムから出力される光が、可視光の波長範囲（約４００ｎｍ～７００ｎｍ）のどの波長の光であるかを示している。出力のある領域が白っぽく表示され、出力の無い領域が黒く示されている。図２は、太陽光、電灯や熱せられた各種物質からの出力光を分光計測した結果である。
　図２に示すように、太陽、電灯、ネオン、水素、水銀、ナトリウム、これらの各物体は、それぞれの物体固有の波長光を出力する。すなわち、物体が不明であっても、その物体からの光に含まれる波長成分を解析することで、その物体の組成を解析することが可能となる。
　例えば、ある加工食品の組成が不明である場合、その食品の出力光（放射光や反射光あるいは透過光）を解析することで、その食品を構成している物質を解析することが可能となる。図３は、ある食品の出力光の分光解析結果であるスペクトル強度解析結果の一例を示す図である。この食品からは２種類の異なるスペクトル解析結果が得られている。
　このスペクトル強度解析結果と、予め様々な物質について解析済みのスペクトル強度解析結果データとを比較することで、物質Ａと物質Ｂが何であるかを判定することが可能となり、食品の組成を解析することができる。
　上述のように、分光計測ができれば、計測対象物に関する様々な情報を取得することが可能となる。しかし、集光レンズとセンサを有する一般的なカメラでは、センサの各画素にすべての波長が入り混じった光が入射してしまうため、各波長単位の強度を解析することが困難となる。
　そこで、分光計測の観測系には、カメラに飛び込んでくる光から各波長の光を分離するための分光素子（分光デバイス）が設けられる。
　最も一般的に知られている分光素子としては、図４に示すプリズム９０１がある。プリズム９０１に対して入射する光、すなわち入射光に含まれる様々な波長の光は、入射光の波長と、入射角度と、プリズム９０１の形状に対応した出射角でプリズム９０１から出射される。分光計測の観測系にはこのプリズム９０１のような分光素子が設けられ、波長単位の光をセンサで個別に受光可能とした構成を持つ。
　なお、屈折率ｎのプリズムによる分光において、プリズムによる光の進行方向の変化を示す式は、以下の式（１）で示すことができる。
Figure JPOXMLDOC01-appb-M000001
　なお、上記式（１）の各パラメータは、以下の通りである。
　α：プリズムの頂角
　θ１：プリズム入射面に対する入射角
　θ２：プリズム出射面に対する出射角
　φ１：プリズム入射面の屈折角
　φ２：プリズム出射面の屈折角
　δ：偏角（入射光と出射光との角度）
　ここで、スネルの法則（ｓｉｎθｊ＝ｎｓｉｎΦｊ）に従うと、上記式（１）は下記の式（２）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000002
　なお、上記式（２）において、ｎはプリズムの屈折率であり、屈折率ｎは波長に依存する。また、φ１はプリズム入射面の屈折角であり、プリズムの屈折率ｎとプリズム入射面に対する入射角θ１とに依存する。よって、偏角（入射光と出射光との角度）δは、入射角θ１と波長に依存する。
　また、図５に示すように、光の波としての性質を利用した回折格子９０２による分光も可能である。回折格子９０２による光線の出射角（回折角度）βは以下の式（３）で示すことができる。
Figure JPOXMLDOC01-appb-M000003
 　なお、上記式（３）において、ｄは格子間隔、αは入射角、βは出射角、ｍは回折次数である。
　しかし、物体のある一点からの光の波長情報を解析したとしても、その一点の組成を解析することしかできない。すなわち、物体の表面の各点の組成を一回の観測により解析するためには、表面の各点からの光を全て解析することが必要となる。
　計測対象物の表面の各点の組成を解析するためには、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータを一回の観測で取得することが必要となる。図６は、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータ、すなわちデータキューブの例を示している。
　図６に示すように、データキューブは、計測対象物の空間方向（ＸＹ）と、波長方向（λ）の３次元からなるデータであり、計測対象物の表面の各点の座標がＸＹ座標で示され、各座標位置（ｘ，ｙ）の各波長光の強度（λ）が記録されたデータである。図６に例示するデータキューブは、８×８×８の立方体データから構成されており、１つの立方体Ｄが、特定の位置（ｘ，ｙ）の特定波長（λ）の光強度を示すデータである。
　なお、図６に示す立方体の数８×８×８は一例であり、分光計測装置の空間分解能や、波長分解能に応じてこの数は変動することになる。
　つづいて、図６に示すようなデータキューブ、すなわち、計測対象物の空間方向（ＸＹ）と波長方向（λ）との３次元からなるデータを取得する既存の分光計測装置の例について説明する。
　計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元データを取得する既存の分光計測装置は、下記の４種類に分類される。
　（ａ）点計測方式（スペクトロメータ）
　（ｂ）波長スキャン方式
　（ｃ）空間スキャン方式
　（ｄ）スナップショット方式
　以下では、これらのうちの（ｄ）スナップショット方式について、例を挙げて説明する。
　図７は、スナップショット方式の分光計測装置の概略構成例を示す図であり、図８は、スナップショット方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
　図７に示すように、スナップショット方式は、対物レンズ９４１と、スリット９４２と、コリメートレンズ９４３と、回折格子型分光素子（以下、単に回折格子という）９４４と、結像レンズ９４５と、エリアセンサ９４６とを備え、計測対象９００からの光を対物レンズ９４１で集光し、さらにコリメートレンズ９４３で平行光に変換し、回折格子９４４を透過させてエリアセンサ９４６の受光面上に投影する構成である。なお、受光面とは、イメージセンサ（固体撮像装置ともいう）におけるフォトダイオードなどの光電変換部が配列された面であってよい。
　このような構成により、計測対象９００上の異なる点からの異なる波長成分の光がエリアセンサ９４６の受光面における異なる素子（画素）に記録される。
　このスナップショット方式は、１回の撮影で、図６を参照して説明したデータキューブ、すなわち、図８に示すような計測対象９００の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータキューブを取得することができる。そのため、他の方式と比べて、取得される情報の利用価値が高いという特徴を備える。
　ただし、エリアセンサ９４６の受光面積は有限であり、また波長方向の情報が受光面上で重なり合って記録されるため、撮影後は信号処理によってデータキューブを復元する処理が必要となる。
　また、信号処理に用いられる各種係数は光学系の性能と連動しているため、光学系を固定、すなわち、センサと光学系との位置関係を固定して使用する必要があり、応用目的に合わせて波長と空間分解能とを調整することが困難であるという課題が存在する。
　図９は、スナップショット方式の分光計測装置（以下、分光カメラ又は撮像部ともいう）で撮影された撮像画像（以下、回折画像ともいう）を説明するための図である。図９に示すように、分光カメラでは、波長ごとの光線が、分光素子（例えば、回折格子９４４）によって受光素子（例えば、エリアセンサ９４６）の受光面上における異なる位置に結像される。具体的には、波長ごとの光線は、波長が長くなるほど中央の０次回折像Ｇ１１から離れた位置に結像される。したがって、格子状の分光素子を備える分光カメラで取得される回折画像Ｇでは、波長ごとの回折像が、上下方向、左右方向、斜め４方向それぞれへ広がっている。その際、波長ごとの回折像は、一部で互いに重畳し得る。その重畳の度合は、分光素子とレンズシステムとの特性に依存する。なお、図９において、（ａ）は、０次回折像Ｇ１１に対して上方向に回折した回折像の重なりの例を示し、（ｂ）は、右方向に回折した回折像の重なりの例を示し、（ｃ）は、左斜め上方向に回折した回折像の重なりの例を示している。
　図１０Ａ～図１０Ｃは、分光カメラで撮影された回折画像の各画素の輝度値を説明するための図であり、図１０Ａは、４×４に区切られた空間位置（それぞれ光源に相当）それぞれから放射される光の波長スペクトルを示す図であり、図１０Ｂは、０次回折光が入射する画素領域（０次回折像Ｇ１１が結像する領域）に対して左斜め上方向（図９の（ｃ）に示す回折像が形成される方向に相当）に位置する特定の画素Ｐ１１に入射する１以上の回折光を合成した光（以下、合成回折光ともいう）の特徴量ｆ＊（λ）を説明するための図であり、図１０Ｃは、画素Ｐ１１で検出された合成回折光の輝度値を説明するための図である。なお、図１０Ａ～図１０Ｃでは、０次回折像及び１次回折像が空間位置の区切りと同じ４画素×４画素の画素領域に結像され、且つ、波長ごとの回折像が形成される領域のずれが１画素単位である場合を例示するが、これに限定されるものではない。
　図１０Ａに示すように、空間的に互いに異なる場所に位置する４×４の計１６個の空間位置ＳＰ１～ＳＰ１６それぞれからは、互いに異なる波長特性の光が放射される。ここで、本説明では、空間位置ＳＰ１、ＳＰ６、ＳＰ１１及びＳＰ１６に着目し、それぞれから波長特性（スペクトル特性ともいう）ｆ１、ｆ２、ｆ３及びｆ４の光が放射されるものとする。なお、波長特性とは、例えば、複数の波長から構成される光において、波長ごとに観測される輝度値（光強度ともいう）である波長特徴量によって構成される特性のことであってよい。
　ここで、図１０Ｂに示すように、０次回折光が入射する画素領域（０次回折像Ｇ１１が結像する領域）に対して左斜め上方向に位置する特定の画素Ｐ１１に着目すると、この画素Ｐ１１には、例えば、空間位置ＳＰ１から放射された光の回折光のうちの波長λ１の成分（以下、波長特徴量ｆ１（λ１）の回折光という）と、空間位置ＳＰ６から放射された光の回折光のうちの波長λ２の成分（以下、波長特徴量ｆ２（λ２）の回折光という）と、空間位置ＳＰ１１から放射された光の回折光のうちの波長λ３の成分（以下、波長特徴量ｆ３（λ３）の回折光という）と、空間位置ＳＰ１６から放射された光の回折光のうちの波長λ４の成分（以下、波長特徴量ｆ４（λ４）の回折光という）とが入射する。したがって、画素Ｐ１１に入射する合成回折光の特徴量（以下、合成特徴量という）ｆ＊（λ）は、以下の式（４）で表すことができる。なお、本説明において、ある光の波長特徴量とは、その波長の光を特定するための情報であってよく、具体的には、例えば、受光素子（例えば、エリアセンサ９４６）において観測されるべき波長ごとの輝度値などであってもよい。
Figure JPOXMLDOC01-appb-M000004
　また、図１０Ｃに示すように、画素Ｐ１１で検出される輝度値（観測値ともいう）Ｉは、以下の式（５）に示すように、合成特徴量ｆ＊（λ）に画素Ｐ１１の波長感度特性Ｅ（λ）を乗算することで求めることができる。
Figure JPOXMLDOC01-appb-M000005
　このように、分光カメラで撮影される回折画像Ｇでは、各画素の輝度値Ｉを、観測対象である空間位置ＳＰ１～ＳＰ１６それぞれから放射されて各画素に入射する回折光の波長特徴量ｆ（λ）に、各波長の光に対する受光素子の波長感度特性Ｅ（λ）を乗算することで得られた値を合計することで求めることができる。
　続いて、上記のように取得された回折画像からデータキューブ（例えば、図８参照）を復元する復元方法を説明する。なお、以下では、説明の簡略化のため、各画素の輝度値Ｉを、各画素に入射する回折光の波長特徴量ｆ（λ）を合計した値、すなわち受光素子の波長感度特性Ｅ（λ）の乗算を省略した値とする。
　図１１は、分光カメラで取得された回折画像からデータキューブを復元する復元方法を説明するための図である。図１１に示すように、分光カメラで取得されたＸ画素×Ｙ画素（Ｘ，Ｙは１以上の整数）の回折画像Ｇは、以下の式（６）のようにモデル化することができる。
Figure JPOXMLDOC01-appb-M000006
　式（６）において、右辺のＤｉは、波長λ１～λ４ごとのデータキューブを表しており、Ｈｉ（ｓ，ｔ）は、空間位置ごと及び波長ごとの像分布関数（Point　Spread　Function：ＰＳＦを表している。したがって、以下の式（７）を解くことで、波長λ１～λ４を光源とした場合のデータキューブＤを復元することが可能である。
Figure JPOXMLDOC01-appb-M000007
　このように、スナップショット方式の分光カメラで取得された回折画像Ｇは、空間位置ごと及び波長ごとのＰＳＦと、波長ごとのデータキューブＤｉとの畳み込み和で表現することが可能である。なお、式（７）及び他の式において、（＊）は畳み込みを示す。したがって、ＰＳＦを事前に作成することができれば、適切な最適化演算を実行することで回折画像ＧのデータキューブＤを復元することが可能である。
　Ｈｉ（ｓ，ｔ）の作成では、空間位置ごと及び波長ごとのＰＳＦをキャリブレーションで取得する必要がある。図１２は、空間位置ごと及び波長ごとのＰＳＦを取得するキャリブレーションを実行するための装置構成の一例を示す図であり、図１３は、図１２に示す装置構成を用いたキャリブレーションの流れの一例を説明するための図である。
　図１２に示すように、キャリブレーションでは、例えば、波長調整可能な波長可変光源９５０が使用される。この光源９５０から出射した光は、光ファイバ９５１に入射することで光束幅が細くされた後、分光カメラ９５２に入射する。
　このような装置構成を用いたキャリブレーションでは、まず、図１３の（ａ）に示すように、光ファイバ９５１の出射端を所定の空間位置（本例では、空間位置ＳＰ１）に固定した状態で波長可変光源９５０から出射される光の波長を順次切り替えながら分光カメラ９５２による撮影が実行される。この空間位置ＳＰ１において必要な波長分の撮影が完了すると、次に、（ｂ）に示すように、光ファイバ９５１の出射端の位置を空間位置ＳＰ２に切り替え、同じように、波長可変光源９５０から出射される光の波長を順次切り替えながら分光カメラ９５２による撮影が実行される。このような、波長を切り替えながらの撮影を全ての空間位置ＳＰ１～ＳＰ１６について実行することで、空間位置ごと及び波長ごとのＰＳＦが取得される。
　しかしながら、以上のようなキャリブレーション方法では、必要な視野範囲と波長範囲とが広げれば広いほどキャリブレーションに費やす時間が長くなり、コストが掛かってしまう。このような課題を解決する方法としては、例えば、図１４に例示するように、互いに異なる波長スペクトルの光を放射する空間位置（例えば、図１０ＡにおけるＳＰ１～ＳＰ１６）の全てを一斉に点灯させた状態で撮像Ｓ９０１を実行し、それにより得られた回折画像に信号処理Ｓ９０２を実行することで、全ての波長についてのＰＳＦを一度の撮影で取得する方法が考えられるが、このような解決方法では、観測された回折画像において、異なる波長特性の光の異なる波長成分が混ざり合ってしまうため、それらを分離することが難しくなってしまう。
　そこで、本実施形態では、これらの課題を解決することを目的として、後の信号処理において容易に分離可能とするために、互いにユニークな波長特徴量の光を放出する複数の発光部（例えば、空間位置ＳＰ１～ＳＰ１６に相当）を決定する。次に、その複数の発光部における各波長の波長特徴量から合成される合成特徴量がどの発光部の組み合わせによる合成特徴量であるかが一意に決まる波長特徴量の組み合わせを決定し、決定された波長特徴量の組み合わせに基づいて、複数の発光部よりなる光源を構成する。このようにすることで、各画素に入射した波長ごとの回折光を、このユニークな波長特徴量に基づいて分離することが可能となるため、回折画像から空間位置ごと及び波長ごとのＰＳＦを容易に取得することが可能となる。
　なお、本実施形態は、異なる空間位置を一斉に点灯させた状態で撮像を実行した場合でも、後の信号処理で空間位置ごと及び波長ごとのＰＳＦを容易に取得することを可能にするものである。そこで、以下の説明では、空間位置ごと及び波長ごとのＰＳＦを後の信号処理で分離可能にするための条件と、その条件を満たすような波長特徴を持つ光源の配置とについて、例を挙げる。
　１．２　回折像が重畳するメカニズムについて
　ここで、ＰＳＦを後の信号処理で分離可能にするための条件を説明するにあたり、先に、回折画像において波長ごとの回折像が重畳するメカニズムについてより詳細に説明する。図１５は、回折画像において波長ごとの回折像が重畳するメカニズムを説明するための図である。なお、以下の説明では、それぞれ光源が配置された４×４の計１６個の空間位置それぞれから異なる波長の光が放射され、波長ごとの回折像が形成される領域のずれが１画素単位であり、且つ、受光素子の受光面（撮像面ともいう）に結像される空間位置それぞれの像のサイズが受光素子における各画素のサイズと同等である場合について説明するが、これらの条件に限定されるものではない。また、図１５では、受光面における０次回折像に対して左斜め上方向に結像される回折像の重なりを例に挙げて説明するが、他の方向に結像される回折像についても同様であってよい。さらに、本説明では、ＰＳＦの生成に必要な波長の種類数（以下、波長数ともいう）ｐが波長λ１、λ２、λ３及びλ４の４つであり、回折像Ｇ２１が波長λ１の光の回折像であり、回折像Ｇ２２が波長λ２の光の回折像であり、回折像Ｇ２３が波長λ３の光の回折像であり、回折像Ｇ２４が波長λ４の光の回折像であるとする。
　図１５に示すように、回折画像における回折像が映し出された領域において、ある波長の回折像における特定の領域（以下、注目位置ともいう）は、他の波長の回折像においてこれと対応する領域とは重畳しない。具体的には、例えば、波長λ１に対応する回折像Ｇ２１における注目位置（注目画素ともいう）Ｐ２１は、回折像Ｇ２２、Ｇ３２及びＧ２４においてこれと対応する注目位置Ｐ２２、Ｐ２３及びＰ２４とは重畳しない。これは注目位置が回折像内におけるいずれの位置（例えば、画素に相当）であっても同じである。したがって、図１５に示す例では、斜線のハッチングにより示された領域Ｒ２２においては、回折像Ｇ２１、Ｇ２２、Ｇ２３及びＧ３４において互いに対応する画素間で同じ波長特徴量の回折光が入射することを考慮する必要はない。これは、回折像Ｇ２１、Ｇ２２、Ｇ２３及びＧ３４において互いに対応する画素については、この互いに対応する画素以外の画素で取得された特徴量に基づいて、波長方向の重畳を考慮すれば良いことを意味している。
　そこで、本実施形態では、上記のようなメカニズムを利用することで、空間位置ごと及び波長ごとのＰＳＦを後の信号処理で分離可能にするために必要となる条件を特定する。
　１．３　波長特徴量を分離可能とするための条件について
　つづいて、後の信号処理で各波長特徴量を分離可能とするための条件の求め方について説明する。ＰＳＦの作成に必要な視野範囲を横Ｘ×縦Ｙとし、必要な波長数をｐとすると、作成されるデータキューブのサイズＫは、以下の式（８）で表すことができる。
Figure JPOXMLDOC01-appb-M000008
　また、重畳する可能性のある領域Ｒ２２における各画素に入射する合成回折光の波長特徴量の総和（合成特徴量ｆ＊に相当）Ｍは、以下の式（９）で表される。
Figure JPOXMLDOC01-appb-M000009
　このとき、注目画素Ｐ２１の波長特徴量の組み合わせと領域Ｒ２２における各画素の波長特徴量の組み合わせとの集合Ａ、より具体的には、注目画素Ｐ２１に入射する光を放射した発光部（空間位置）の組み合わせと、領域Ｒ２２における各画素に入射する光を放射した発光部（空間位置）の組み合わせとの集合Ａは、以下の式（１０）で表される。なお、式（１０）において、Ｎは重畳する波長特徴量の数を示す。したがって、Ｎの最大値は視野範囲と同数（すなわち、Ｘ×Ｙ個）となる。
Figure JPOXMLDOC01-appb-M000010
　また、上記のような波長特徴量の重畳が発生した場合でも後の信号処理で各波長特徴量を分離可能とするための条件は、以下の式（１１）のように記述することができる。
Figure JPOXMLDOC01-appb-M000011
　つまり、後の信号処理で各波長特徴量を分離可能とするための条件は、集合Ａにおいて、その任意要素（Ａ’）が示す組み合わせの波長特徴量の合計値がユニーク（すなわち、他の組合せの波長特徴量の合計値とは一致しないこと）であり、且つ、各画素で観測された観測値（輝度値）と波長特徴量の組み合わせとの対応関係が一対一であることとすることができる。
　１．４　波長特徴量の決定方法について
　つづいて、上述の条件を満たすような波長特徴量を決定する方法を説明する。波長特徴量の決定において、回折画像から生成され得るデータキューブＤの波長特徴量の部分集合Ｆは、以下の式（１２）で記述することができる。
Figure JPOXMLDOC01-appb-M000012
　そこで、本実施形態では、上記式（１２）の条件を満たすように部分集合Ｆを決定するための条件式として、以下の式（１３）に示す最適化式を提案する。
Figure JPOXMLDOC01-appb-M000013
　１．５　波長特徴量の決定動作例
　つづいて、上述した式（１３）を解く際の動作、すなわち、上述の条件を満たすような波長特徴量を決定する際の動作について、例を挙げて説明する。なお、本実施形態では、ランダムサーチベースで式（１３）を解くことにより、後の信号処理で各波長特徴量を分離可能とするための条件を満たす波長特徴量を決定する際の動作について例を挙げる。なお、以下の動作は、例えば、後述する情報処理装置１０００におけるＣＰＵ１１００（図１９参照）が所定のプログラムを実行することで実行されてもよい。以下では、情報処理装置１０００が実行する動作として説明する。
　図１６は、本実施形態に係る動作例を示すフローチャートである。図１６に示すように、本動作では、先ず、情報処理装置１０００は、受光素子を構成する各画素（より具体的には、例えば、回折像が結像される領域内の各画素）について、当該画素の波長特徴量の組み合わせと、この画素以外の画素の波長特徴量の組み合わせとの集合Ａを取得する（ステップＳ１０１）。組み合わせの集合Ａは、例えば、上述した式（１０）を計算することで求めることができる。
　次に、情報処理装置１０００は、光源が発光部（空間位置）ごとに放射する光の波長特徴量の組み合わせの集合Ｆ（以下、投影データキューブともいう）をランダムに決定する（ステップＳ１０２）。なお、ステップＳ１０２で決定される集合Ｆは、光源として用いる波長特徴量の組み合わせの候補であり、集合Ｆに含まれる組み合わせに確定されるものではない。また、この部分集合Ｆの決定には、例えば、乱数生成器等で生成された擬似乱数などのランダム数列が用いられてもよい。
　次に、情報処理装置１０００は、集合Ａを構成する各要素、すなわち発光部（空間位置）の組み合わせ（以下、第１要素ともいう）Ｘそれぞれに対応する波長特徴量ｆＸを抽出する（ステップＳ１０３）。具体的には、各第１要素について、組み合わされる発光部（空間位置）それぞれが放射する光の波長特徴量ｆＸが抽出される。
　続いて、情報処理装置１０００は、第１要素Ｘごとに波長特徴量ｆＸの和ｓＸを算出し、算出された第１要素Ｘごとの和ｓＸを和集合Ｓとしてまとめる（ステップＳ１０４）。
　次に、情報処理装置１０００は、和集合Ｓを構成する和（以下、第２要素ともいう）ｓＸに対して、他の第２要素との差分を計算し、計算された差分を差分集合ＥＸとしてまとめる（ステップＳ１０５）。
　そして、情報処理装置１０００は、差分集合ＥＸを構成する差分（以下、第３要素ともいう）の最小値がゼロであるか否かを判定し（ステップＳ１０６）、ゼロである場合（ステップＳ１０６のＹＥＳ）、ステップＳ１０２で決定した投影データキューブをキャリブレーション用の光源に採用し、本動作を終了する。一方、最小値がゼロでない場合（ステップＳ１０６のＮＯ）、情報処理装置１０００は、ステップＳ１０２へ戻り、最小値がゼロとなるまで、以降の動作を繰り返し実行する。
　１．６　波長特徴量決定動作の変形例
　図１７は、本実施形態の変形例に係る動作例を示すフローチャートである。図１７に示すように、本動作では、先ず、情報処理装置１０００は、図１６のステップＳ１０１～Ｓ１０３と同様の動作を実行することで、投影データキューブをランダムに決定するとともに、集合Ａを構成する各第１要素それぞれに対応する波長特徴量ｆＸを抽出する。
　次に、情報処理装置１０００は、集合Ａを構成する第１要素Ｘのうちの任意の１つを選択する（ステップＳ２０１）。
　次に、情報処理装置１０００は、選択された第１要素Ｘ’の波長特徴量ｆ’Ｘの和ｓ’Ｘと、他の第１要素Ｘの波長特徴量ｆＸの和ｓＸとの和集合Ｓ＝｛ｓＸ（１）、…｝を計算する（ステップＳ２０２）。
　次に、情報処理装置１０００は、選択された第１要素Ｘ’の和ｓ’Ｘと、他の第１要素Ｘの和ｓＸとの差分の最小値がゼロであるか否かを判定し（ステップＳ２０３）、ゼロでない場合（ステップＳ２０３のＮＯ）、選択中の波長特徴量ｆ’Ｘを新しいランダム数列で更新して（ステップＳ２０４）、ステップＳ２０２へ戻り、以降の動作を実行する。
　一方、最小値がゼロである場合（ステップＳ２０３のＹＥＳ）、情報処理装置１０００は、ステップＳ２０１において集合Ａを構成する全ての第１要素Ｘを選択済みであるか否かを判定し（ステップＳ２０５）、選択済みである場合（ステップＳ２０５のＹＥＳ）、現時点で構成されている投影データキューブをキャリブレーション用の光源に採用し、本動作を終了する。一方、選択済みでない場合（ステップＳ２０５のＮＯ）、情報処理装置１０００は、ステップＳ２０１へ戻り、全ての第１要素Ｘが選択済みとなるまで、以降の動作を繰り返し実行する。
　１．７　参照テーブルを用いたＰＳＦの復元について
　以上のような最適解の推定（式（１３）、図１６又は図１７）で決定された、後の信号処理で各波長特徴量を分離可能とするための条件となる波長特徴量と、各画素で観測され得る観測値（輝度値）との対応関係は、例えば、ルックアップテーブル（以下、参照テーブルともいう）を用いて管理されてもよい。
　図１８は、本実施形態に係る参照テーブルを用いたＰＳＦの復元動作を説明するための図である。なお、観測値と波長特徴量との対応関係を示す参照テーブル１０２は、図１８に示す動作の前に実行されるキャリブレーションにより生成されており、後述する情報処理装置１０００におけるＲＡＭ１２００やＨＤＤ１４００等（図１９参照）の記憶領域に適宜格納されているものとする。
　図１８に示すように、キャリブレーション後の観測において、各空間位置（例えば、空間位置ＳＰ１～ＳＰ１６に相当）から所定の波長特性（例えば、図１０Ａｎｉ示す波長特性ｆ１～ｆ４に相当）に従って変化する異なる波長特徴量の光を放射する空間ＳＰを分光カメラ１０１を用いて所定のフレームレートで撮像することで複数の回折画像Ｇ１００が生成されると、例えば、情報処理装置１０００は、各回折画像Ｇ１００に対し、各画素の観測値（輝度値）を用いて参照テーブル１０２を辞書引きすることで、各画素に対する波長特徴量の組み合わせの部分集合Ｆを特定する。そして、情報処理装置１０００は、特定された部分集合Ｆに含まれる波長特徴量を用いることで、各画素に入射した回折光の波長ごとのＰＳＦを生成する。
　これを、回折画像Ｇ１００における画素Ｐ１００に着目して具体的に説明する。なお、図１８では、回折画像Ｇ１００における画素Ｐ１００の観測値（輝度値）に、空間ＳＰにおける２つの空間位置それぞれから発せられた波長特性ｆ１及びｆ３の光の波長特徴量が含まれるものとする。分光カメラ１０１を用いて回折画像Ｇ１００が取得されると、情報処理装置１０００は、画素Ｐ１００の輝度値Ｉｍを用いて参照テーブル１０２を辞書引きすることで、画素Ｐ１００に入射する光の波長特徴量の部分集合（Ｉｐ，Ｉｑ）を特定する。そして、情報処理装置１０００は、特定した部分集合に含まれる波長特徴量Ｉｐ及びＩｑを用いることで、画素Ｐ１００に入射した波長λ１の光及び波長λ３の光それぞれのＰＳＦ（Ｈ（ｘ１，ｙ１）、Ｈ（ｘ２，ｙ２））を生成する。
　以上のような動作を、回折画像Ｇ１００を構成する全ての画素に対して実行することで、分光カメラ１０１で取得された回折画像Ｇ１００から通常の画像、すなわち、回折像を含まない画像を復元することが可能となる。
　１．８　まとめ
　以上のように、本実施形態によれば、一度の撮影で空間位置ごと及び波長ごとのＰＳＦを取得することが可能となるため、キャリブレーションに要するコストが低減され、より簡易にＰＳＦを取得することが可能となる。
　２．ハードウエア構成
　上述した実施形態に係る各種処理は、例えば図１９に示すような構成の情報処理装置１０００によって実現され得る。すなわち、情報処理装置１０００は、請求の範囲における決定部及び生成部として機能し得る。図１９は、本開示に係る各種処理を実行する情報処理装置１０００の一例を示すハードウエア構成図である。情報処理装置１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。情報処理装置１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、情報処理装置１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、情報処理装置１０００のハードウエアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、情報処理装置が読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る各動作を実行するためのプログラムを記録する記録媒体である。
　通信インタフェース１５００は、情報処理装置１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、上述したＩ／Ｆ部１８を含む構成であり、入出力デバイス１６５０と情報処理装置１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、情報処理装置１０００が上述の実施形態に係る各種処理を実行する場合、情報処理装置１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、各種処理を実行する。また、ＨＤＤ１４００には、本開示に係るプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部と、
　前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部と、
　前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部と、
　を備える情報処理装置。
（２）
　前記第１の組み合わせは、前記光源からの光を前記回折素子に入射させることで形成され得る回折像の重なりに基づいて特定される同一の画素に入射し得る光の波長特徴量の組み合わせである
　前記（１）に記載の情報処理装置。
（３）
　前記決定部は、ランダム数列を用いて前記値の合計値が互いにユニークとなる前記２以上の第２の組み合わせを決定する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記決定部は、前記第１の組み合わせそれぞれの前記波長特徴量の和を算出し、算出された前記和の差分がゼロとなる組み合わせを、前記第２の組み合わせに決定する
　前記（１）～（３）の何れか１つに記載の情報処理装置。
（５）
　前記決定部は、前記第１の組み合わせの集合から１つの第１の組み合わせを選択し、選択された前記第１の組み合わせの波長特徴量の第１の和と、前記集合における他の第１の組み合わせそれぞれの波長特徴量の第２の和とを算出し、前記第１の和と前記第２の和それぞれとの差分の最小値がゼロとなる場合、前記選択された第１の組み合わせを前記第２の組み合わせに決定する
　前記（１）～（４）の何れか１つに記載の情報処理装置。
（６）
　前記決定部は、前記第１の和と前記第２の和それぞれとの前記差分の最小値がゼロでない場合、前記集合から他の１つの第１の組み合わせを選択する
　前記（５）に記載の情報処理装置。
（７）
　前記波長特徴量は、波長ごとの光強度である
　前記（１）～（６）の何れか１つに記載の情報処理装置。
（８）
　所定空間を格子パターンを備える回折素子を介して撮像する撮像部と、
　前記（１）～（７）の何れか１つに記載の情報処理装置により生成された前記像分布関数を用いることで、前記撮像部で取得された回折画像における各画素の輝度値から各画素に入射した光の組み合わせを特定する特定部と、
　を備える情報処理装置。
（９）
　前記特定部は、前記撮像部の各画素で取得される観測値と、観測値を波長ごとの波長特徴量に分離するための前記像分布関数との対応関係を管理する参照テーブルを用いて、前記撮像部で取得された回折画像における各画素の輝度値から各画素に入射した前記光の組み合わせを特定する
　前記（８）に記載の情報処理装置。
（１０）
　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定し、
　前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して撮像し、
　前記撮像で取得された回折画像における各画素の輝度値から各画素に入射した光の前記波長特徴量の第３の組み合わせを特定し、
　特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する
　ことを含む情報処理方法。
（１１）
　コンピュータを機能させるためのプログラムであって、
　前記コンピュータを、
　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部と、
　前記決定部で決定された前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部と、
　前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部と、
　して機能させるためのプログラム。
　１０１　分光カメラ
　１０２　参照テーブル
　９４１　対物レンズ
　９４２　スリット
　９４３　コリメートレンズ
　９４４　回折格子型分光素子
　９４５　結像レンズ
　９４６　エリアセンサ
　１０００　情報処理装置
　１１００　ＣＰＵ
　１２００　ＲＡＭ
　１３００　ＲＯＭ
　１４００　ＨＤＤ
　１５００　通信インタフェース
　１５５０　外部ネットワーク
　１６００　入出力インタフェース
　１６５０　入出力デバイス
　ＳＰ　空間
　ＳＰ１～ＳＰ１６　空間位置

Claims (11)

  1. 　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部と、
    　前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部と、
    　前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部と、
    　を備える情報処理装置。
  2. 　前記第１の組み合わせは、前記光源からの光を前記回折素子に入射させることで形成され得る回折像の重なりに基づいて特定される同一の画素に入射し得る光の波長特徴量の組み合わせである
    　請求項１に記載の情報処理装置。
  3. 　前記決定部は、ランダム数列を用いて前記値の合計値が互いにユニークとなる前記２以上の第２の組み合わせを決定する
    　請求項１に記載の情報処理装置。
  4. 　前記決定部は、前記第１の組み合わせそれぞれの前記波長特徴量の和を算出し、算出された前記和の差分がゼロとなる組み合わせを、前記第２の組み合わせに決定する
    　請求項１に記載の情報処理装置。
  5. 　前記決定部は、前記第１の組み合わせの集合から１つの第１の組み合わせを選択し、選択された前記第１の組み合わせの波長特徴量の第１の和と、前記集合における他の第１の組み合わせそれぞれの波長特徴量の第２の和とを算出し、前記第１の和と前記第２の和それぞれとの差分の最小値がゼロとなる場合、前記選択された第１の組み合わせを前記第２の組み合わせに決定する
    　請求項１に記載の情報処理装置。
  6. 　前記決定部は、前記第１の和と前記第２の和それぞれとの前記差分の最小値がゼロでない場合、前記集合から他の１つの第１の組み合わせを選択する
    　請求項５に記載の情報処理装置。
  7. 　前記波長特徴量は、波長ごとの光強度である
    　請求項１に記載の情報処理装置。
  8. 　所定空間を格子パターンを備える回折素子を介して撮像する撮像部と、
    　請求項１に記載の情報処理装置により生成された前記像分布関数を用いることで、前記撮像部で取得された回折画像における各画素の輝度値から各画素に入射した光の組み合わせを特定する特定部と、
    　を備える情報処理装置。
  9. 　前記特定部は、前記撮像部の各画素で取得される観測値と、観測値を波長ごとの波長特徴量に分離するための前記像分布関数との対応関係を管理する参照テーブルを用いて、前記撮像部で取得された回折画像における各画素の輝度値から各画素に入射した前記光の組み合わせを特定する
    　請求項８に記載の情報処理装置。
  10. 　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定し、
    　前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して撮像し、
    　前記撮像で取得された回折画像における各画素の輝度値から各画素に入射した光の前記波長特徴量の第３の組み合わせを特定し、
    　特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する
    　ことを含む情報処理方法。
  11. 　コンピュータを機能させるためのプログラムであって、
    　前記コンピュータを、
    　互いにユニークな値を持つ２以上の波長特徴量の母集団から選択された１以上の波長特徴量の第１の組み合わせのうち、前記値の合計値が互いにユニークとなる２以上の第２の組み合わせを決定する決定部と、
    　前記決定部で決定された前記２以上の第２の組み合わせに基づいて決定された２以上の前記波長特徴量のそれぞれに対応する光により構成される光源から照射された光を、格子パターンを備える回折素子を介して受光することで取得された回折画像における各画素の輝度値から、各画素に入射した光の前記波長特徴量の第３の組み合わせを特定する特定部と、
    　前記特定部で特定された画素ごとの前記第３の組み合わせに基づいて、波長ごとの像分布関数を生成する生成部と、
    　して機能させるためのプログラム。
PCT/JP2022/008688 2021-03-15 2022-03-01 情報処理装置、情報処理方法及びプログラム WO2022196351A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/276,597 US20240110863A1 (en) 2021-03-15 2022-03-01 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-041185 2021-03-15
JP2021041185 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022196351A1 true WO2022196351A1 (ja) 2022-09-22

Family

ID=83321469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008688 WO2022196351A1 (ja) 2021-03-15 2022-03-01 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20240110863A1 (ja)
WO (1) WO2022196351A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013979A1 (en) * 2006-07-24 2010-01-21 Hyspec Imaging Ltd Snapshot spectral imaging systems and methods
JP2012508366A (ja) * 2008-11-04 2012-04-05 ウィリアム・マーシュ・ライス・ユニバーシティ 画像マッピング分光計
CN207051193U (zh) * 2017-07-31 2018-02-27 中国科学院西安光学精密机械研究所 一种紧凑型差分干涉成像光谱仪
JP2019128316A (ja) * 2018-01-26 2019-08-01 ダイハツ工業株式会社 リーク試験装置
WO2019216213A1 (ja) * 2018-05-11 2019-11-14 ソニー株式会社 分光計測装置、および分光計測方法
JP2020053910A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 光学デバイス、および撮像装置
WO2021157398A1 (ja) * 2020-02-03 2021-08-12 ソニーグループ株式会社 変調器、撮像装置及び設計方法
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) * 2020-06-05 2021-12-09 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013979A1 (en) * 2006-07-24 2010-01-21 Hyspec Imaging Ltd Snapshot spectral imaging systems and methods
JP2012508366A (ja) * 2008-11-04 2012-04-05 ウィリアム・マーシュ・ライス・ユニバーシティ 画像マッピング分光計
CN207051193U (zh) * 2017-07-31 2018-02-27 中国科学院西安光学精密机械研究所 一种紧凑型差分干涉成像光谱仪
JP2019128316A (ja) * 2018-01-26 2019-08-01 ダイハツ工業株式会社 リーク試験装置
WO2019216213A1 (ja) * 2018-05-11 2019-11-14 ソニー株式会社 分光計測装置、および分光計測方法
JP2020053910A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 光学デバイス、および撮像装置
WO2021157398A1 (ja) * 2020-02-03 2021-08-12 ソニーグループ株式会社 変調器、撮像装置及び設計方法
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) * 2020-06-05 2021-12-09 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム

Also Published As

Publication number Publication date
US20240110863A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US9581496B2 (en) Snapshot spectral imaging based on digital cameras
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
JP6415685B2 (ja) ランダム格子に基づいた圧縮センシング広帯域ハイパースペクトルイメージングシステム
US8379321B2 (en) Method and apparatus for accurate imaging with an extended depth of field
CN101765755A (zh) 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
KR102604960B1 (ko) 홀로그래픽 간섭법의 방법 및 시스템
JP2020503633A (ja) 低解像度検査画像から高分解能点拡がり関数を再構築するシステム及び方法
WO2007087372A2 (en) Spatial image modulation to improve performance of computed tomography imaging spectrometer
CN111869195B (zh) 图像处理装置、成像装置及图像处理方法
JP2020190557A (ja) 時間分解ハイパースペクトル単一画素撮像
JP2020529602A (ja) 符号化開口スペクトル画像解析装置
US11895405B2 (en) Method and system for performing high speed optical image detection
JP2016090291A (ja) 撮像装置、分光システム、および分光方法
JP5942356B2 (ja) 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム
US11199448B2 (en) Spectroscopic measurement device and spectroscopic measurement method
WO2022196351A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20170171476A1 (en) System and method for spectral imaging
US7155354B1 (en) Apparatus for and methods of analyzing the spectral signature of a dynamic event
US11988495B2 (en) Through-focus image-based metrology device, operation method thereof, and computing device for executing the operation
KR101547459B1 (ko) 위상 축소 이미징 시스템 및 이를 이용한 이미징 방법
WO2022185720A1 (ja) 撮像装置、および撮像装置の作動方法、並びにプログラム
US7391519B1 (en) Generation of spatially distributed spectral data using a multi-aperture system
Turner et al. Astrometric speckle interferometry for the amateur
JP6130805B2 (ja) 距離測定装置および方法
JP2008256517A (ja) 収差測定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771105

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18276597

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771105

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP