WO2022163423A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2022163423A1
WO2022163423A1 PCT/JP2022/001512 JP2022001512W WO2022163423A1 WO 2022163423 A1 WO2022163423 A1 WO 2022163423A1 JP 2022001512 W JP2022001512 W JP 2022001512W WO 2022163423 A1 WO2022163423 A1 WO 2022163423A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
image
information
spectral information
image processing
Prior art date
Application number
PCT/JP2022/001512
Other languages
English (en)
French (fr)
Inventor
朝己 上田
真博 伊東
優 鈴木
弘樹 山下
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022578257A priority Critical patent/JPWO2022163423A1/ja
Priority to EP22745646.4A priority patent/EP4287108A1/en
Priority to CN202280008867.4A priority patent/CN116670705A/zh
Priority to US18/261,354 priority patent/US20240070920A1/en
Publication of WO2022163423A1 publication Critical patent/WO2022163423A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program.
  • a method using a reflection model of an object has been proposed as a method for detecting the light source component from the reflected light from the object.
  • This reflection model is called a dichroic reflection model, and is a model that assumes that reflected light from an object is composed of a specular reflection component and a diffuse reflection component.
  • the specular reflection component is a component that reflects the color of the light source as it is
  • the diffuse reflection component is a component that reflects the light from the light source after changing depending on the original color of the object.
  • An illumination estimation apparatus has been proposed that detects the area of specular reflection from an image, estimates the distribution feature of how the image signal of the area spreads in the spectral space, and detects an illumination model based on the distribution feature. (See Patent Document 1, for example).
  • the lighting estimator can output spectral characteristics of lighting based on the detected lighting model.
  • the conventional technology described above has the problem that the method of detecting the spectral characteristics of the light source (illumination) is complicated. As described above, when detecting spectral characteristics, it is necessary to calculate distribution features. This requires principal component analysis and matrix calculation for multi-dimensional spectral information, and has the problem of complicating the method of detecting spectral characteristics.
  • the present disclosure proposes an image processing device, an image processing method, and an image processing program for simply detecting the spectral distribution of a light source.
  • An image processing apparatus has a specific area detection unit, a chromaticity information detection unit, and a light source spectral information generation unit.
  • the specific area detection unit detects a specific area, which is the area of the image of the specific object, from the image of the subject illuminated by the light from the light source.
  • the chromaticity information detection unit detects light source color information based on the plurality of image signals of the detected specific region.
  • the light source spectral information generation unit generates light source spectral information, which is spectral information of the light source, based on the detected light source color information.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing device according to an embodiment of the present disclosure
  • FIG. It is a figure explaining a specular reflection component and a diffuse reflection component. It is a figure which shows an example of the specific area
  • FIG. 4 is a diagram showing an example of spectral sensitivity characteristics of an imaging device used for detection of a specific region in the present disclosure
  • FIG. 3 is a diagram illustrating an example of detection of light source chromaticity information according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of light source spectral information according to the first embodiment of the present disclosure;
  • FIG. 4 is a diagram illustrating an example of removing the influence of a light source according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of removing the influence of a light source according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of removing the influence of a light source according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of image processing according to the first embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram illustrating an example of specific area detection processing according to the first embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of light source color information detection processing according to the first embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of light source spectral information generation processing according to the first embodiment of the present disclosure
  • FIG. 10 is a diagram illustrating an example of detection of light source color information according to the second embodiment of the present disclosure
  • 1 is a diagram illustrating a configuration example of an imaging device to which technology according to the present disclosure may be applied
  • FIG. It is a figure showing an example of composition of an image sensor concerning an embodiment of this indication.
  • FIG. 2 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure;
  • FIG. 1 is a diagram illustrating a configuration example of an image processing device according to an embodiment of the present disclosure. This figure is a block diagram showing a configuration example of the image processing apparatus 200 .
  • the image processing device 200 is a device that generates and outputs an image from an image signal output from an imaging device or the like. In addition, the image processing apparatus 200 further performs processing for removing the influence of the light source from the generated image.
  • the image generator 210 generates an image from the input image signal.
  • the image generating section 210 generates an image for one screen from an image signal generated by an imaging device or the like, and outputs it as image data.
  • the imaging device includes a pixel array section (pixel array section 10) composed of a plurality of pixels (pixels 100), and generates an image signal for each pixel during imaging. After that, the imaging element sequentially outputs the generated image signals in the order of pixel arrangement, for example.
  • the image generator 210 generates an image from the image signal for one screen that is sequentially output. This image is called a RAW image.
  • the image generator 210 outputs the generated image to the spectral image generator 220 and the specific area detector 230 .
  • the spectral image generation unit 220 generates spectral images from RAW images.
  • a spectral image can be generated by performing reconstruction processing on an input image. This reconstruction processing is processing for generating each wavelength image from the input image signal.
  • the pixels of the imaging device described above output image signals corresponding to light in a specific wavelength band among light from a subject.
  • a spectral image for each wavelength can be generated from the image signal corresponding to each wavelength band. Note that the pixels of the imaging element used in the present disclosure generate a spectral image from image signals corresponding to light in eight wavelength bands, for example, as described later.
  • the spectral image generation section 220 outputs the image that has undergone the reconstruction processing to the image adjustment section 260 and the chromaticity information detection section 240 .
  • Chromaticity information detection section 240 generates chromaticity information using the specific area output from specific area detection section 230 and the image output from spectral image generation section 220 . That is, the chromaticity information detection section 240 detects the light source color information using the image signal of the area corresponding to the specific area in the image output from the spectral image generation section 220 . Chromaticity information detection section 240 outputs the detected light source color information to light source spectral information generation section 250 .
  • the light source spectral information generation unit 250 generates light source spectral information based on the light source color information output by the chromaticity information detection unit 240 .
  • This light source spectral information is spectral information of the light source, and for example, the spectral distribution of the light source can be applied.
  • the spectral distribution of the light source can be represented, for example, by the ratio of light from the light source for each wavelength band.
  • For existing light sources it is possible to measure the spectral distribution and generate light source spectral information.
  • the light source spectral information generation unit 250 can adopt a configuration that holds light source spectral information of a plurality of existing light sources.
  • the image adjusting section 260 adjusts the image output by the spectral image generating section 220 based on the light source spectral information output by the light source spectral information generating section 250 . This adjustment can remove the effect of the light source on the image.
  • the image adjuster 260 can adjust the image signals forming the image for each wavelength band. For example, the image adjustment unit 260 can perform adjustment by dividing the image signal for each wavelength band by the spectrum of the same wavelength band. As a result, the level of the image signal forming the image can be adjusted according to the spectrum of the light source, and the influence of the light source can be removed. The details of image adjustment by the image adjustment unit 260 will be described later.
  • the image adjuster 260 outputs the adjusted image. This output image corresponds to the output image of the image processing apparatus 200 .
  • FIG. 2 is a diagram for explaining specular reflection components and diffuse reflection components. This figure shows an example in which an object 301 is irradiated with light 305 from a light source 302 . When the object 301 is irradiated with the light 305, reflected light is generated. This reflected light has a specular reflection component 307 and a diffuse reflection component 306 .
  • a specular reflection component 307 is a component in which the light 305 from the light source 302 is reflected at the interface between the object 301 and the medium of the light 305, and is a component in which the color of the light 305 from the light source 302 is reflected as it is.
  • I specular the specular reflection component in vector notation.
  • I diffuse the diffuse reflectance component in vector notation.
  • ⁇ and ⁇ represent the coefficients of the respective components.
  • L represents the light source vector.
  • ⁇ represents the diffuse reflectance vector.
  • ⁇ and ⁇ change depending on geometric relationships such as the position of the light source 302, the orientation of the surface of the object 301, and the direction of observation.
  • FIG. 3 is a diagram showing an example of a specific area in the present disclosure.
  • This figure is a diagram showing an example of the specific area detected by the specific area detection unit 230.
  • the specific region will be described by taking the case of applying a plant to a specific object as an example.
  • An image 310 in the figure is an image of soil 311 in which a plant 312 is planted.
  • a region including the plant 312 in the image 310 is the specific region.
  • a region 320 in the figure corresponds to the specific region.
  • the specific area detection unit 230 detects and outputs this area 320 as a specific area.
  • pixels having spectral characteristics at wavelengths of 600 nm and 750 nm are pixels having spectral sensitivity characteristics of graphs 334 and 336, respectively.
  • the feature quantity can be calculated by the following equation.
  • a specific region can be detected by comparing the calculated feature quantity with a threshold value.
  • the blackbody locus represents the change in the color of the blackbody with respect to the change in the temperature of the blackbody.
  • Curve 343 in the figure represents the black body locus.
  • An intersection point 344 between the curve 343 and the straight line 342 can be detected as the color temperature.
  • FIG. 6 is a diagram showing an example of light source spectral information according to the first embodiment of the present disclosure.
  • This figure is a diagram showing an example of the light source spectral information held by the chromaticity information detection unit 240, and is a diagram showing the arrangement of the light source spectral information.
  • Light source in the figure is the number of the light source that identifies the light source spectral information.
  • Color temperature is the color temperature [K] of the light source.
  • the light source spectral information is represented by spectral light for each wavelength.
  • “Wavelength” in the figure represents the central wavelength [nm] of each spectrum.
  • wavelengths (61 wavelengths) in increments of 10 nm from 350 nm to 950 nm can be applied.
  • the light source spectral information in the figure represents an example of holding spectral information for each of these 61 wavelengths.
  • the chromaticity information detection unit 240 can hold an array of light source spectral information corresponding to such a plurality of color temperatures.
  • the light source spectral information in this array can be generated by pre-measuring the color temperature and spectral information of an existing light source.
  • the chromaticity information detection unit 240 can use the array shown in the figure as a lookup table for inputting the detected color temperature and outputting the light source spectral information.
  • the chromaticity information detection unit 240 can select one light source with a color temperature closest to the detected color temperature from the array in FIG. Next, the chromaticity information detection unit 240 can output the selected light source spectral information as the generated light source spectral information.
  • the chromaticity information detection unit 240 selects two pieces of light source spectral information having a color temperature close to the detected color temperature, and mixes the selected two pieces of light source spectral information to generate light source spectral information.
  • Mixing of light source spectral information will be described on the assumption that Ta and LUTa( ⁇ ) and Tb and LUTb( ⁇ ) are selected for color temperature and light source spectral information, respectively. Mixing can be performed, for example, by the following formula.
  • L interp ( ⁇ ) represents light source spectral information after mixing.
  • T represents the detected color temperature.
  • T a and T b and LUT a ( ⁇ ) and LUT b ( ⁇ ) represent the respective color temperature and illuminant spectral information of the selected illuminants (a and b). In this way, the light source spectral information can be mixed based on the ratio corresponding to the difference from the detected color temperature.
  • Iwb(x, y, ⁇ ) represents the image signal after adjustment.
  • I(x, y, ⁇ ) represents an input image signal.
  • LUT( ⁇ ) represents light source spectral information.
  • the calculation of I(x, y, ⁇ )/LUT( ⁇ ) in the first half of Equation (5) corresponds to image adjustment.
  • the latter half of the calculation in equation (5) is a calculation part for compensating for changes in brightness due to image adjustment.
  • the specific area detection unit 230 compares the feature amount of the selected area with a threshold (step S116). If the feature amount is not greater than the threshold (step S116, No), the specific area detection unit 230 repeats the process from step S115. On the other hand, if the feature amount is larger than the threshold (step S116, Yes), the specific area detection unit 230 proceeds to the process of step S117.
  • step S117 the specific area detection unit 230 outputs the selected area as the specific area (step S117). Through the above procedure, the specific area detection unit 230 can detect and output the specific area.
  • the chromaticity information detection unit 240 calculates an approximate straight line in the chromaticity space based on the plurality of image signals (step S123). Next, the chromaticity information detection unit 240 detects the intersection of the approximate straight line and the black body locus (step S124). Next, the chromaticity information detection unit 240 detects and outputs the color temperature or chromaticity based on the detected intersection (step S125).
  • the light source spectral information generation unit 250 searches the array of the light source spectral information based on the color temperature input as the light source color information, and generates two light source spectral information adjacent to each other across the color temperature input as the light source color information. can be selected.
  • the image processing apparatus 200 generates light source spectral information based on light source color information detected from a specific region from an array of light source spectral information prepared in advance. This simplifies the generation of light source spectral information for removing the influence of the light source on the image.
  • the image processing apparatus 200 of the first embodiment described above detects the color temperature from the intersection of the blackbody locus and the approximate straight line generated based on the distribution of the image signal in the chromaticity space in the chromaticity information detection unit 240. rice field.
  • an image processing apparatus 200 according to the second embodiment of the present disclosure differs from the above-described first embodiment in that the color temperature is detected without using the blackbody locus.
  • FIG. 12 is a diagram illustrating an example of detection of light source color information according to the second embodiment of the present disclosure. Similar to FIG. 5, this figure shows an example of detection of light source color information by the chromaticity information detection unit 240.
  • the method for detecting the light source color information in FIG. 5 differs from the method for detecting the light source color information in FIG. 5 in that the curve of the black body locus is not used.
  • a straight line 342 is generated based on the distribution of image signals 341 in this figure as well.
  • a light source having a color temperature closest to the straight line 342 in the xy chromaticity diagram is detected. That is, the color temperature having the shortest straight line distance d from the straight line 342 is output as the detected color temperature (chromaticity information).
  • the image processing apparatus 200 can detect light source color information without using the blackbody locus.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to imaging devices such as cameras.
  • An imaging device 1001 is a device that takes an image of a subject.
  • a plurality of pixels each having a photoelectric conversion unit for performing photoelectric conversion of light from an object are arranged on the light receiving surface of the image sensor 1001 . These pixels each generate an image signal based on charges generated by photoelectric conversion.
  • the image sensor 1001 converts image signals generated by pixels into digital image signals and outputs the digital image signals to the image processing unit 1003 .
  • An image signal for one screen is called a frame.
  • the imaging device 1001 can also output an image signal on a frame-by-frame basis.
  • the control unit 1002 controls the image pickup device 1001 and the image processing unit 1003 .
  • the control unit 1002 can be configured by an electronic circuit using a microcomputer or the like, for example.
  • the image processing unit 1003 processes the image signal from the imaging device 1001 .
  • the image processing unit 1003 can be configured by, for example, an electronic circuit using a microcomputer or the like.
  • the display unit 1004 displays an image based on the image signal processed by the image processing unit 1003 .
  • the display unit 1004 can be configured by, for example, a liquid crystal monitor.
  • the recording unit 1005 records an image (frame) based on the image signal processed by the image processing unit 1003 .
  • the recording unit 1005 can be composed of, for example, a hard disk or a semiconductor memory.
  • the imaging device to which the present disclosure can be applied has been described above.
  • the present technology can be applied to the image processing unit 1003 among the components described above.
  • the image processing apparatus 200 described with reference to FIG. 1 can be applied to the image processing unit 1003 .
  • FIG. 14 is a diagram illustrating a configuration example of an imaging element according to an embodiment of the present disclosure; This figure is a block diagram showing a configuration example of the imaging device 1001 .
  • An imaging device 1001 is a semiconductor device that generates image data of a subject.
  • the imaging device 1001 includes a pixel array section 10 , a vertical driving section 20 , a column signal processing section 30 and a control section 40 .
  • the pixel array section 10 is configured by arranging a plurality of pixels 100 .
  • a pixel array section 10 in the figure represents an example in which a plurality of pixels 100 are arranged in a two-dimensional matrix.
  • the pixel 100 includes a photoelectric conversion unit that photoelectrically converts incident light, and generates an image signal of a subject based on the irradiated incident light.
  • a photodiode for example, can be used for this photoelectric conversion unit.
  • Signal lines 11 and 12 are wired to each pixel 100 .
  • the pixels 100 generate image signals under the control of control signals transmitted by the signal lines 11 and output the generated image signals via the signal lines 12 .
  • the signal line 11 is arranged for each row in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one row.
  • the signal line 12 is arranged for each column in the shape of a two-dimensional matrix and is commonly wired to a plurality of pixels 100 arranged in one column.
  • the vertical driving section 20 generates control signals for the pixels 100 described above.
  • a vertical drive unit 20 in FIG. 1 generates a control signal for each row of the two-dimensional matrix of the pixel array unit 10 and sequentially outputs the control signal via the signal line 11 .
  • the column signal processing unit 30 processes image signals generated by the pixels 100 .
  • a column signal processing unit 30 shown in the figure simultaneously processes image signals from a plurality of pixels 100 arranged in one row of the pixel array unit 10 and transmitted through the signal line 12 .
  • this processing for example, analog-to-digital conversion for converting analog image signals generated by the pixels 100 into digital image signals and correlated double sampling (CDS) for removing offset errors in image signals may be performed. can be done.
  • the processed image signal is output to a circuit or the like outside the imaging element 1001 .
  • the control unit 40 controls the vertical driving unit 20 and the column signal processing unit 30.
  • a control unit 40 shown in the figure outputs control signals through signal lines 41 and 42 to control the vertical driving unit 20 and the column signal processing unit 30 .
  • FIG. 15 is a diagram illustrating a configuration example of a pixel according to an embodiment of the present disclosure; This figure is a diagram showing a simplified cross-sectional configuration of the pixel 100 , and is a diagram schematically showing a part of the pixel 100 .
  • the pixel 100 includes a semiconductor substrate 120 , a wiring area 130 , a protective film 140 , a color filter 150 and an on-chip lens 180 .
  • the semiconductor substrate 120 is a semiconductor substrate on which elements of the pixel 100 are formed.
  • the semiconductor substrate 120 can be made of silicon (Si).
  • Si silicon
  • FIG. 1 a photoelectric conversion unit 101 among the elements forming the pixel 100 is shown.
  • the semiconductor substrate 120 in the figure constitutes a p-type well region.
  • Outlined rectangles in the semiconductor substrate 120 represent n-type semiconductor regions.
  • an n-type semiconductor region 121 is shown.
  • the photoelectric conversion unit 101 is composed of an n-type semiconductor region 121 .
  • the photoelectric conversion unit 101 corresponds to a photodiode composed of a pn junction at the interface between the n-type semiconductor region 121 and the surrounding p-type well region. Electrons among charges generated by photoelectric conversion of the photoelectric conversion unit 101 during the exposure period are accumulated in the n-type semiconductor region 121 . After the exposure period has elapsed, an image signal is generated and output based on the charges accumulated in the n-type semiconductor region 121 .
  • the wiring region 130 is a region in which wiring for transmitting signals to elements is arranged.
  • This wiring region 130 includes a wiring 132 and an insulating layer 131 .
  • the wiring 132 transmits the signal of the element.
  • This wiring 132 can be made of a metal such as copper (Cu) or tungsten (W).
  • the insulating layer 149 insulates the wiring 132 and the like.
  • This insulating layer 149 can be composed of an insulating material such as silicon oxide (SiO 2 ).
  • the protective film 140 is a film that protects the back surface of the semiconductor substrate 120 .
  • This protective film 140 can be made of, for example, SiO 2 .
  • the color filter 150 is an optical filter that transmits light of a predetermined wavelength out of incident light.
  • the on-chip lens 180 is a lens that collects incident light onto the photoelectric conversion section 101 .
  • the on-chip lens 180 shown in the figure represents an example configured in a hemispherical shape.
  • the on-chip lens 180 can be made of an inorganic material such as silicon nitride (SiN) or an organic material such as acrylic resin.
  • the image processing apparatus 200 has a specific area detection section 230 , a chromaticity information detection section 240 and a light source spectral information generation section 250 .
  • the specific area detection unit 230 detects a specific area, which is the area of the image of the specific object, from the image of the subject irradiated with the light from the light source.
  • Chromaticity information detection section 240 detects light source color information based on a plurality of image signals of the detected specific region.
  • the light source spectral information generation unit 250 generates light source spectral information, which is light source spectral information, based on the detected light source color information. Thereby, the spectrum of the light source can be detected from the light source color information estimated from the specific area.
  • the light source spectral information may be information representing the relationship between the wavelength and the spectrum. Thereby, the spectrum for each wavelength of the light source can be detected.
  • the light source spectral information generation unit 250 may generate light source spectral information by mixing respective spectra for each wavelength in a plurality of light source spectral information based on the detected light source color information. This simplifies generation of light source spectral information.
  • the light source spectral information generation unit 250 may generate light source spectral information by selecting from a plurality of held light source spectral information. This simplifies generation of light source spectral information.
  • the chromaticity information detection unit 240 may detect an approximate straight line generated based on a plurality of image signals in the chromaticity space as the light source color information. This simplifies the detection of the light source color information.
  • the chromaticity information detection unit 240 may detect the color temperature detected based on the approximate straight line as the light source color information. This simplifies the detection of the light source color information.
  • the chromaticity information detection unit 240 may detect the color in the chromaticity space at the intersection of the approximate straight line and the black body locus as the color temperature. This simplifies color temperature detection.
  • the specific area detection unit 230 may detect the specific area based on the relationship between the wavelength and the reflectance of the specific object.
  • the specific area detection unit 230 may detect a specific area using a plant as a specific object.
  • it may further include an image adjustment unit that adjusts the image of the subject based on the generated light source spectral information. Thereby, the influence of the detected light source can be removed.
  • the image processing method detects a specific area, which is an image area of a specific object, from an image of a subject irradiated with light from a light source, and extracts light source color information based on a plurality of image signals of the detected specific area. and generating light source spectral information, which is light source spectral information, based on the detected light source color information.
  • the spectrum of the light source can be detected from the light source color information estimated from the specific area.
  • the image processing program causes the computer to detect a specific region, which is an image region of a specific object, from the image of the subject illuminated by the light from the light source, and to detect the light source based on a plurality of image signals of the detected specific region.
  • the spectrum of the light source can be detected from the light source color information estimated from the specific area.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of procedures, and a program for causing a computer to execute the series of procedures or a recording medium for storing the program You can catch it.
  • this recording medium for example, CD (Compact Disc), MD (Mini Disc), DVD (Digital Versatile Disc), memory card, Blu-ray disc (Blu-ray (registered trademark) Disc), etc. can be used.
  • the present technology can also take the following configuration.
  • a specific area detection unit that detects a specific area, which is the area of the image of the specific object, from the image of the subject irradiated with the light from the light source; a chromaticity information detection unit that detects light source color information based on a plurality of image signals of the detected specific region; and a light source spectral information generation unit that generates light source spectral information, which is spectral information of the light source, based on the detected light source color information.
  • the light source spectral information is information representing a relationship between a wavelength and a spectrum.
  • the image processing device (6) The image processing device according to (5), wherein the chromaticity information detection unit detects a color temperature detected based on the approximate straight line as the light source color information. (7) The image processing device according to (6), wherein the chromaticity information detection unit detects, as the color temperature, a color in a chromaticity space at an intersection of the approximate straight line and a blackbody locus. (8) The image processing device according to any one of (1) to (7), wherein the specific area detection unit detects the specific area based on the relationship between the wavelength and the reflectance of the specific object. (9) The image processing device according to any one of (1) to (8), wherein the specific area detection unit detects the specific area using a plant as the specific object.
  • Detecting a specific area which is an image area of a specific object, from an image of a subject irradiated with light from a light source; detecting light source color information based on a plurality of image signals of the detected specific region; An image processing program for generating light source spectral information, which is spectral information of the light source, based on the detected light source color information.

Abstract

光源の分光分布の検出を簡略化する。本開示に係る画像処理装置は、特定領域検出部と、色度情報検出部と、光源分光情報生成部とを有する。特定領域検出部は、光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出する。色度情報検出部は、検出された特定領域の複数の画像信号に基づいて光源色情報を検出する。光源分光情報生成部は、検出された光源色情報に基づいて光源の分光の情報である光源分光情報を生成する。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
　カメラ等により撮影された画像から物体を認識する画像処理装置が使用されている。例えば、波長帯毎に複数の画像を生成するマルチスペクトルイメージセンサを使用して撮影された画像から特定の物体、例えば、植物の領域を検出する画像処理装置が使用されている。このような画像処理装置は、物体における光の反射が物体に特有の分光分布を有することを利用して物体の識別を行う。このような画像処理装置は、植生調査等に使用することができる。
　物体の識別精度を向上させるには、光源等の環境光の影響を除く必要がある。光源の光は固有の分光分布を有するため、光源の影響により物体の色となる反射光が変化するためである。物体からの反射光から光源の成分を検出する方法として、物体の反射モデルを利用する方法が提案されている。この反射モデルは二色性反射モデルと称され、物体からの反射光が鏡面反射成分及び拡散反射成分により構成されると仮定するモデルである。鏡面反射成分は光源の色味をそのまま反射する成分であり、拡散反射成分は光源からの光が物体本来の色味によって変化して反射する成分である。
　この鏡面反射の領域を画像から検出し、当該領域の画像信号のスペクトル空間内における広がり方の特徴を分布特徴として推定し、当該分布特徴に基づいて照明モデルを検出する照明推定装置が提案されている（例えば、特許文献１参照）。この照明推定装置は、検出した照明モデルに基づく照明の分光特性を出力することができる。
国際公開第２０１４／２０３４５３号
　しかしながら、上記の従来技術では、光源（照明）の分光特性の検出方法が複雑になるという問題がある。上記のように分光特性の検出の際、分布特徴を算出する必要がある。これには、多次元の分光情報に対して主成分分析や行列計算が必要になり、分光特性の検出方法が複雑になるという問題がある。
　そこで、本開示では、光源の分光分布の検出を簡便に行う画像処理装置、画像処理方法及び画像処理プログラムを提案する。
　本開示に係る画像処理装置は、特定領域検出部と、色度情報検出部と、光源分光情報生成部とを有する。特定領域検出部は、光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出する。色度情報検出部は、上記検出された特定領域の複数の画像信号に基づいて光源色情報を検出する。光源分光情報生成部は、上記検出された光源色情報に基づいて上記光源の分光の情報である光源分光情報を生成する。
本開示の実施形態に係る画像処理装置の構成例を示す図である。 鏡面反射成分及び拡散反射成分を説明する図である。 本開示における特定領域の一例を示す図である。 本開示における特定領域の検出に使用する撮像素子の分光感度特性の一例を示す図である。 本開示の第１の実施形態に係る光源色度情報の検出の一例を示す図である。 本開示の第１の実施形態に係る光源分光情報の一例を示す図である。 本開示の第１の実施形態に係る光源の影響の除去の一例を示す図である。 本開示の第１の実施形態に係る光源の影響の除去の一例を示す図である。 本開示の第１の実施形態に係る光源の影響の除去の一例を示す図である。 本開示の第１の実施形態に係る画像処理の一例を示す図である。 本開示の第１の実施形態に係る特定領域検出処理の一例を示す図である。 本開示の第１の実施形態に係る光源色情報検出処理の一例を示す図である。 本開示の第１の実施形態に係る光源分光情報生成処理の一例を示す図である。 本開示の第２の実施形態に係る光源色情報の検出の一例を示す図である。 本開示に係る技術が適用され得る撮像装置の構成例を示す図である。 本開示の実施形態に係る撮像素子の構成例を示す図である。 本開示の実施形態に係る画素の構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．撮像装置の構成
４．撮像素子の構成
　（１．第１の実施形態）
　［画像処理装置の構成］
　図１は、本開示の実施形態に係る画像処理装置の構成例を示す図である。同図は、画像処理装置２００の構成例を表すブロック図である。画像処理装置２００は、撮像素子等から出力される画像信号から画像を生成して出力する装置である。また、画像処理装置２００は、生成した画像から光源の影響を除去する処理を更に行う。同図の画像処理装置２００は、画像生成部２１０と、分光画像生成部２２０と、特定領域検出部２３０と、色度情報検出部２４０と、光源分光情報生成部２５０と、画像調整部２６０とを備える。
　画像生成部２１０は、入力された画像信号から画像を生成するものである。この画像生成部２１０は、撮像素子等により生成された画像信号から１画面分の画像を生成し、画像データとして出力するものである。後述するように、撮像素子は、複数の画素（画素１００）により構成される画素アレイ部（画素アレイ部１０）を備え、撮像の際に画素毎に画像信号を生成する。その後、撮像素子は、生成した複数の画像信号を、例えば、画素の並び順に順次出力する。画像生成部２１０は、この順次出力される１画面分の画像信号から画像を生成する。この画像は、ＲＡＷ画像と称される。画像生成部２１０は、生成した画像を分光画像生成部２２０及び特定領域検出部２３０に対して出力する。
　分光画像生成部２２０は、ＲＡＷ画像から分光画像を生成するものである。分光画像は、入力された画像に対して再構成処理を行うことにより生成することができる。この再構成処理は、入力された画像信号から各波長画像を生成する処理である。上述の撮像素子の画素は、被写体からの光のうちの特定の波長帯域の光に対応した画像信号を出力する。この各波長帯域に対応した画像信号から波長毎の分光画像を生成することができる。なお、本開示において使用する撮像素子の画素は、後述するように例えば８つの波長帯域の光に対応した画像信号から分光画像を生成する。分光画像生成部２２０は、再構成処理を行った画像を画像調整部２６０及び色度情報検出部２４０に対して出力する。
　特定領域検出部２３０は、画像生成部２１０から出力される画像から特定領域を検出するものである。ここで、特定領域とは、特定物体が撮像されている領域である。この特定物体には、例えば、野菜等の植物を適用することができる。特定領域検出部２３０は、画像から特定物体を検出し、当該特定物体の領域を特定領域として検出する。特定領域検出部２３０における特定領域の検出の詳細については後述する。特定領域検出部２３０は、検出した特定領域を色度情報検出部２４０に対して出力する。なお、特定領域は、植物の領域に限定されない。例えば、特定領域には、同じ色目の反射光（の物体）の領域を適用することができる。
　色度情報検出部２４０は、特定領域の画像信号に基づいて光源色情報を検出するものである。ここで、光源色情報とは、色度空間における光源を特定する情報である。この光源色情報として、特定領域の複数の画像信号を色度空間、例えば、ｘｙ色度図に配置した際の分布の形状を使用して推定することができる。また、光源色情報として、ｘｙ色度図上の複数の画像信号に基づいて生成した近似直線を使用して推定することもできる。また、光源色情報として、この近似直線に基づいて検出された色温度を使用することもできる。色度情報検出部２４０における光源色情報の検出の詳細については後述する。色度情報検出部２４０は、特定領域検出部２３０から出力された特定領域と分光画像生成部２２０から出力された画像とを使用して色度情報を生成する。すなわち、色度情報検出部２４０は、分光画像生成部２２０から出力された画像における特定領域に対応する領域の画像信号を使用して光源色情報を検出する。色度情報検出部２４０は、検出した光源色情報を光源分光情報生成部２５０に対して出力する。
　光源分光情報生成部２５０は、色度情報検出部２４０が出力した光源色情報に基づいて光源分光情報を生成するものである。この光源分光情報は、光源の分光の情報であり、例えば、光源の分光分布を適用することができる。光源の分光分布は、例えば、光源からの光の波長帯毎の比率により表すことができる。既存の光源については、分光分布を測定して光源分光情報を生成することが可能である。光源分光情報生成部２５０は、複数の既存の光源の光源分光情報を保持する構成を採ることができる。そして、光源分光情報生成部２５０は、これら複数の光源分光情報を使用して光源色情報に基づく光源分光情報を生成することができる。例えば、光源分光情報生成部２５０は、光源色情報に基づいて複数の光源分光情報から１つを選択することにより光源分光情報を生成することができる。また、例えば、光源分光情報生成部２５０は、光源色情報に基づいて２つの光源分光情報を選択することもできる。この場合、光源分光情報生成部２５０は、２つの光源分光情報について波長毎に分光を混合することにより光源分光情報を生成することもできる。光源分光情報の詳細については後述する。
　画像調整部２６０は、光源分光情報生成部２５０が出力した光源分光情報に基づいて分光画像生成部２２０が出力した画像の調整を行うものである。この調整により、画像における光源の影響を除去することができる。画像調整部２６０は、画像を構成する画像信号を波長帯毎に調整することができる。例えば、画像調整部２６０は、波長帯毎の画像信号を同じ波長帯の分光にて除算することにより、調整を行うことができる。これにより、光源の分光に応じて画像を構成する画像信号のレベルを調整することができ、光源の影響を除去することができる。画像調整部２６０による画像の調整の詳細については後述する。画像調整部２６０は、調整した画像を出力する。この出力される画像は、画像処理装置２００の出力画像に該当する。
　［鏡面反射成分及び拡散反射成分］
　図２は、鏡面反射成分及び拡散反射成分を説明する図である。同図は、物体３０１に光源３０２からの光３０５が照射される場合の例を表したものである。物体３０１に光３０５が照射されると反射光を生じる。この反射光には、鏡面反射成分３０７及び拡散反射成分３０６が存在する。鏡面反射成分３０７は、光源３０２からの光３０５が物体３０１と光３０５の媒質との界面にて反射される成分であり、光源３０２からの光３０５の色味そのままに反射される成分である。これに対し、拡散反射成分３０６は、光源３０２からの光３０５が物体３０１の内部で反射される成分であり、光源３０２からの光３０５が物体３０１本来の色味より変化した成分である。
　このような反射光をカメラ３０３で観測する場合を想定する。この観測値は、次式の二色性反射モデルにより表すことができる。
　Ｉ＝Ｉｓｐｅｃｕｌａｒ＋Ｉｄｉｆｆｕｓｅ＝α×Ｌ＋β×Ｌ×ρ　・・・（１）
ここで、Ｉは、ベクトル表記された観測値を表す。Ｉｓｐｅｃｕｌａｒは、ベクトル表記された鏡面反射成分を表す。Ｉｄｉｆｆｕｓｅは、ベクトル表記された拡散反射成分を表す。α及びβは、それぞれの成分の係数を表す。Ｌは、光源ベクトルを表す。ρは、拡散反射ベクトルを表す。α及びβは、光源３０２の位置や物体３０１の表面の向き、観測する方向などの幾何的な関係によりそれぞれ変化する。
　観測値Ｉを色度空間（ｘ，ｙ）に変化すると式（１）は、次式のように表すことができる。
　Ｉ（ｘ，ｙ）＝α×Ｌ（ｘ，ｙ）＋β×Ｄ（ｘ，ｙ）　・・・（２）
ここで、Ｌ（ｘ，ｙ）は、光源（鏡面反射成分）の色度を表す。Ｄ（ｘ，ｙ）は、拡散反射成分の色度を表す。式（２）に表したように、観測値Ｉ（ｘ，ｙ）は、Ｌ（ｘ，ｙ）及びＤ（ｘ，ｙ）がα及びβの係数に基づいて混色されたものである。この色度空間における混色は、色度図上においてそれぞれの色度を結んだ直線上に位置する。このため、領域内の観測値Ｉ（ｘ，ｙ）も直線に沿って分布する。
　本開示では、特定領域検出部２３０により検出された特定領域の画像信号により上記の光源（鏡面反射成分）を検出する。
　［特定領域の検出］
　図３は、本開示における特定領域の一例を示す図である。同図は、特定領域検出部２３０が検出する特定領域の一例を表す図である。特定物体に植物を適用する場合を例に挙げて特定領域を説明する。同図の画像３１０は、植物３１２が植えられた土壌３１１の画像である。この画像３１０のうちの植物３１２が含まれる領域が特定領域となる。同図の領域３２０は、特定領域に該当する。特定領域検出部２３０は、この領域３２０を特定領域として検出し、出力する。
　特定領域は、特定物体の反射光の分光特性に基づいて検出することができる。物体は、固有の分光特性を有する。この固有の分光特性を特徴量として検出する。例えば、植物３１２は、光合成のため可視光を多く吸収する。一方、植物３１２は、赤外光の吸収が少なくなる。このため、植物３１２の反射光は、赤色光（波長６００ｎｍ付近）および近赤外光（波長７５０ｎｍ付近）に特徴を持つ分光特性になる。そこで、これらの波長帯に分光感度を有する撮像素子を使用して撮像を行って特徴量を検出し、特定領域を検出する。
　［撮像素子の分光感度特性］
　図４は、本開示における特定領域の検出に使用する撮像素子の分光感度特性の一例を示す図である。同図は、異なる波長帯域に分光感度を有する撮像素子の分光感度特性を表す図である。また、同図は、例えば８つの異なる波長帯域に分光可能な撮像素子の例を表した図である。使用する撮像素子は、例えば、８つの波長帯域にそれぞれ対応する画素が配置されて構成され、それぞれの波長帯域に対応する画像信号を生成する。同図の横軸は波長を表し、縦軸は感度を表す。同図のグラフ３３１－３３８は、それぞれの画素の分光感度特性を表す。
　同図より、波長６００ｎｍ及び７５０ｎｍに分光特性を有する画素は、それぞれグラフ３３４及び３３６の分光感度特性有する画素となる。波長６００ｎｍ及び７５０ｎｍに分光特性を有する画素の画像信号をそれぞれＩＲｃｈ及びＩＩＲｃｈとすると特徴量は次式により算出することができる。
　｜ＩＲｃｈ－ＩＩＲｃｈ｜／（ＩＲｃｈ＋ＩＩＲｃｈ）　・・・（３）
この算出された特徴量と閾値との比較を行うことにより、特定領域を検出することができる。
　［光源色情報の検出］
　図５は、本開示の第１の実施形態に係る光源色情報の検出の一例を示す図である。同図は、色度情報検出部２４０における光源色情報の検出の一例を表す図である。また、同図は、ｘｙ色度図における特定領域の画像信号及び色度情報の関係を表す図である。同図において、横軸及び縦軸は、それぞれｘ座標及びｙ座標を表す。また、同図のハッチングが付された円は、画像信号から生成した色度を表す。前述のように、観測値である画像信号から生成した色度は特定の方向に伸長された直線上に分布する。この直線により、画像信号の分布を表すことができる。同図の直線３４２は、画像信号の分布に基づいて生成された近似直線を表す。近似直線の生成は、回帰分析や主成分分析により行うことができる。
　色度情報検出部２４０は、上記の近似直線を光源色情報として検出することができる。この近似直線に基づいて、色度情報検出部２４０は、光源分光情報を生成することができる。例えば、色度情報検出部２４０は、近似直線の形状（傾き及び切片）に基づいて光源分光情報を生成することができる。具体的には、色度情報検出部２４０は、保有する複数の光源分光情報から近似直線の形状に基づいて選択した光源分光情報を出力することができる。
　また、色度情報検出部２４０は、上記の近似直線から光源の色温度を検出することもできる。この色温度は、光源が発する光の色を数値で表したものである。この色温度は、例えば、同図の直線３４２と黒体軌跡とに基づいて検出することができる。この黒体軌跡は、黒体放射の色の変化をｘｙ色度図に表したものである。ここで、黒体とは、外部から入射する電磁波のエネルギーを波長によらずに完全に吸収するとともに放射する理想的な物体である。この黒体は、絶対温度に対して放射される電磁波の分光分布である色が一義的に定まる物体である。黒体軌跡は、黒体の温度の変化に対する黒体の色の変化を表すものとなる。同図の曲線３４３は、黒体軌跡を表す。この曲線３４３と直線３４２との交点３４４を色温度として検出することができる。
　色度情報検出部２４０は、上述の色温度を光源色情報として検出することができる。この色温度に基づいて、色度情報検出部２４０は、光源分光情報を生成することができる。例えば、色度情報検出部２４０は、複数の光源分光情報を保持し、色温度に基づいて選択を行い、選択結果の光源分光情報を色度情報に基づく光源分光情報として出力することができる。
　［光源分光情報］
　図６は、本開示の第１の実施形態に係る光源分光情報の一例を示す図である。同図は、色度情報検出部２４０が保持する光源分光情報の一例を表す図であり、光源分光情報の配列を表す図である。同図の「光源」は、光源分光情報を識別する光源の番号である。また、「色温度」は、光源の色温度［Ｋ］である。光源分光情報は、波長毎の分光により表される。同図の「波長」は、それぞれの分光の中心波長［ｎｍ］を表す。この波長には、例えば３５０ｎｍから９５０ｎｍまでの１０ｎｍ刻みの波長（６１波長）を適用することができる。同図の光源分光情報は、この６１の波長毎の分光の情報を保持する例を表したものである。色度情報検出部２４０は、このような複数の色温度に対応する光源分光情報の配列を保持することができる。この配列の光源分光情報は、実在する光源の色温度及び分光情報を予め測定することにより生成することができる。色度情報検出部２４０は、検出した色温度を入力して光源分光情報を出力するルックアップテーブル（Lookup　Table）として同図の配列を使用することができる。
　例えば、色度情報検出部２４０は、検出した色温度に最も近い色温度の光源を同図の配列から１つ選択することができる。次に、色度情報検出部２４０は、この選択した光源分光情報を生成した光源分光情報として出力することができる。
　また、例えば、色度情報検出部２４０は、検出した色温度に近い色温度の２つの光源分光情報を選択し、選択した２つの光源分光情報を混合することにより、光源分光情報を生成することもできる。色温度及び光源分光情報がそれぞれＴａ及びＬＵＴａ（λ）、Ｔｂ及びＬＵＴｂ（λ）の２つを選択した場合を想定し、光源分光情報の混合を説明する。混合は、例えば、次式のように行うことができる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｌｉｎｔｅｒｐ（λ）は、混合後の光源分光情報を表す。Ｔは、検出した色温度を表す。Ｔａ及びＴｂ並びにＬＵＴａ（λ）及びＬＵＴｂ（λ）は、選択した光源（ａ及びｂ）のそれぞれの色温度及び光源分光情報を表す。このように、検出した色温度との差分に応じた比率に基づいて光源分光情報を混合することができる。
　このように、色度情報検出部２４０は、検出した色温度に基づいて光源分光情報を生成することができる。色度情報検出部２４０は、生成した光源分光情報を画像調整部２６０に対して出力する。
　［画像の調整］
　画像調整部２６０は、色度情報検出部２４０から出力された光源分光情報に基づいて分光画像生成部２２０から出力された画像の調整を行う。この調整は、例えば、次式のように行うことができる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｉｗｂ（ｘ，ｙ，λ）は、調整後の画像信号を表す。Ｉ（ｘ，ｙ，λ）は、入力された画像信号を表す。ＬＵＴ（λ）は、光源分光情報を表す。式（５）の前半のＩ（ｘ，ｙ，λ）／ＬＵＴ（λ）の演算が画像の調整に相当する部分である。式（５）の後半の演算は、画像の調整による輝度の変化を補償するための演算部分である。
　［光源の影響の除去］
　図７Ａ－７Ｃは、本開示の第１の実施形態に係る光源の影響の除去の一例を示す図である。図７Ａ－７Ｃは、画像の分光分布を表す図であり、本開示に係る光源の影響の除去の効果を説明する図である。図７Ａ－７Ｃの横軸は、波長を表す。縦軸は、輝度を表す。なお、図７Ａ－７Ｃの縦軸は、明るさ（任意単位）を表す。図７Ａのグラフ３５１は、分光画像生成部２２０から出力された画像の分光分布を表す。図７Ｂのグラフ３５２は、光源分光情報生成部２５０から出力される光源分光情報に基づく光源の分光分布を表す。図７Ｃのグラフ３５３は、画像調整部２６０により調整された画像を表す。図７Ａのグラフ３５１から図７Ｂのグラフ３５２の光源の分光分布を除去することにより、図７Ｃのグラフ３５３の画像を生成することができる。図７Ｃのグラフ３５３は、被写体の本来の色に相当する分光分布を表すグラフである。
　［画像処理］
　図８は、本開示の第１の実施形態に係る画像処理の一例を示す図である。同図は、画像処理装置２００における画像処理の一例を表す図である。まず、画像生成部２１０が入力された画像信号から画像を生成する（ステップＳ１０１）。次に、分光画像生成部２２０が再構成処理を行って分光画像を生成する（ステップＳ１０２）。次に、特定領域検出の処理を行う（ステップＳ１１０）。この処理は、特定領域を検出する処理であり、特定領域検出部２３０が行う処理である。次に、色度情報検出の処理を行う（ステップＳ１２０）。この処理は、検出された特定領域に基づいて光源色情報を検出する処理であり、色度情報検出部２４０が行う処理である。次に、光源分光情報生成の処理を行う（ステップＳ１３０）。この処理は、検出された光源色情報に基づいて光源分光情報を生成する処理であり、光源分光情報生成部２５０が行う処理である。次に、調整の処理を行う（ステップＳ１０３）。この処理は、生成された光源分光情報に基づいて分光画像を調整する処理であり、画像調整部２６０が行う処理である。
　［特定領域検出処理］
　図９は、本開示の第１の実施形態に係る特定領域検出処理の一例を示す図である。同図は、特定領域検出部２３０における特定領域検出処理の一例を表す図である。まず、特定領域検出部２３０は、入力された画像の平滑化を行う（ステップＳ１１１）。この処理により、画像のノイズを除去することができる。この平滑化は、例えば、ガウシアンフィルタにより行うことができる。次に、特定領域検出部２３０は、画像の正規化を行う（ステップＳ１１２）。次に、特定領域検出部２３０は、特徴量を算出する（ステップＳ１１３）。これは、前述の式（３）を使用して行うことができる。次に、特定領域検出部２３０は、画像を複数の領域に分割する（ステップＳ１１４）。次に、特定領域検出部２３０は、分割した領域のうちの未選択の領域を１つ選択する（ステップＳ１１５）。
　次に、特定領域検出部２３０は、選択した領域の特徴量と閾値とを比較する（ステップＳ１１６）。特徴量が閾値より大きくない場合には（ステップＳ１１６，Ｎｏ）、特定領域検出部２３０は、ステップＳ１１５からの処理を再度実行する。一方、特徴量が閾値より大きい場合には（ステップＳ１１６，Ｙｅｓ）、特定領域検出部２３０は、ステップＳ１１７の処理に移行する。
　ステップＳ１１７において、特定領域検出部２３０は、選択した領域を特定領域として出力する（ステップＳ１１７）。以上の手順により、特定領域検出部２３０は、特定領域を検出し、出力することができる。
　［色度情報検出処理］
　図１０は、本開示の第１の実施形態に係る色度情報検出処理の一例を示す図である。同図は、色度情報検出部２４０における色度情報検出処理の一例を表す図である。光源色情報として、色温度を検出する場合を例に挙げて色度情報検出処理を説明する。まず、色度情報検出部２４０は、特定領域から画像信号を抽出する（ステップＳ１２１）。これは、分光画像生成部２２０から出力された画像（分光画像）における特定領域に対応する領域に含まれる画像信号を選択することにより行うことができる。この際、色度情報検出部２４０は、所定の個数の画像信号を抽出する。次に、色度情報検出部２４０は、抽出した複数の画像信号を色度空間（ｘｙ色度）に変換する（ステップＳ１２２）。
　次に、色度情報検出部２４０は、複数の画像信号に基づいて色度空間における近似直線を算出する（ステップＳ１２３）。次に、色度情報検出部２４０は、近似直線と黒体軌跡との交点を検出する（ステップＳ１２４）。次に、色度情報検出部２４０は、検出した交点に基づいて色温度または色度を検出し、出力する（ステップＳ１２５）。
　［光源分光情報生成処理］
　図１１は、本開示の第１の実施形態に係る光源分光情報生成処理の一例を示す図である。同図は、光源分光情報生成部２５０における光源分光情報生成処理の一例を表す図である。まず、光源分光情報生成部２５０は、光源色情報に基づいて光源分光情報の配列から光源分光情報を選択する（ステップＳ１３１）。図１０において前述したように、色度情報検出部２４０は、色温度または色度を光源色情報として出力する。このため、光源分光情報生成部２５０は、色温度または色度に基づいて光源分光情報を選択する。例えば、光源分光情報生成部２５０は、光源色情報として入力された色温度により光源分光情報の配列の検索を行い、光源色情報として入力された色温度を挟んで隣接する２つの光源分光情報を選択することができる。
　次に、光源分光情報生成部２５０は、選択した光源分光情報を混合する（ステップＳ１３２）。これは、式（４）により行うことができる。次に、光源分光情報生成部２５０は、混合により生成された光源分光情報を出力する（ステップＳ１３３）。
　このように、本開示の第１の実施形態の画像処理装置２００は、予め準備した光源分光情報の配列から特定領域から検出した光源色情報に基づいて光源分光情報を生成する。これにより、画像における光源の影響を除去するための光源分光情報の生成を簡略化することができる。
　（２．第２の実施形態）
　上述の第１の実施形態の画像処理装置２００は、色度情報検出部２４０において色度空間における画像信号の分布に基づいて生成した近似直線と黒体軌跡との交点から色温度を検出していた。これに対し、本開示の第２の実施形態の画像処理装置２００は、黒体軌跡を使用せずに色温度を検出する点で、上述の第１の実施形態と異なる。
　［光源色情報の検出］
　図１２は、本開示の第２の実施形態に係る光源色情報の検出の一例を示す図である。同図は、図５と同様に、色度情報検出部２４０における光源色情報の検出の一例を表す図である。同図の光源色情報の検出方法は、黒体軌跡の曲線を使用しない点で、図５の光源色情報の検出方法と異なる。
　図５と同様に、同図においても画像信号３４１の分布に基づいて直線３４２を生成する。同図の色度情報の検出方法では、ｘｙ色度図においてこの直線３４２に最も近い色温度の光源を検出する。すなわち、直線３４２からの直線距離ｄが最も短い色温度を検出した色温度（色度情報）として出力する。
　これ以外の画像処理装置２００の構成は本開示の第１の実施形態における画像処理装置２００の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の画像処理装置２００は、黒体軌跡を使用することなく光源色情報を検出することができる。
　（３．撮像装置の構成）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、カメラ等の撮像装置に適用することができる。
　図１３は、本開示に係る技術が適用され得る撮像装置の構成例を示す図である。同図の撮像装置１０００は、撮像素子１００１と、制御部１００２と、画像処理部１００３と、表示部１００４と、記録部１００５と、撮影レンズ１００６とを備える。
　撮影レンズ１００６は、被写体からの光を集光するレンズである。この撮影レンズ１００６により、被写体が撮像素子１００１の受光面に結像される。
　撮像素子１００１は、被写体の撮像を行う素子である。この撮像素子１００１の受光面には、被写体からの光の光電変換を行う光電変換部を有する複数の画素が配置される。これら複数の画素は、光電変換により生成された電荷に基づく画像信号をそれぞれ生成する。撮像素子１００１は、画素により生成された画像信号をデジタルの画像信号に変換して画像処理部１００３に対して出力する。なお、１画面分の画像信号はフレームと称される。撮像素子１００１は、フレーム単位で画像信号を出力することもできる。
　制御部１００２は、撮像素子１００１および画像処理部１００３を制御するものである。制御部１００２は、例えば、マイコン等を使用した電子回路により構成することができる。
　画像処理部１００３は、撮像素子１００１からの画像信号を処理するものである。画像処理部１００３は、例えば、マイコン等を使用した電子回路により構成することができる。
　表示部１００４は、画像処理部１００３により処理された画像信号に基づいて、画像を表示するものである。表示部１００４は、例えば、液晶モニタにより構成することができる。
　記録部１００５は、画像処理部１００３により処理された画像信号に基づく画像（フレーム）を記録するものである。記録部１００５は、例えば、ハードディスクや半導体メモリにより構成することができる。
　以上、本開示が適用され得る撮像装置について説明した。本技術は上述の構成要素のうちの画像処理部１００３に適用することができる。具体的には、図１において説明した画像処理装置２００は、画像処理部１００３に適用することができる。
　（４．撮像素子の構成）
　［撮像素子の構成］
　図１４は、本開示の実施形態に係る撮像素子の構成例を示す図である。同図は、撮像素子１００１の構成例を表すブロック図である。撮像素子１００１は、被写体の画像データを生成する半導体素子である。撮像素子１００１は、画素アレイ部１０と、垂直駆動部２０と、カラム信号処理部３０と、制御部４０とを備える。
　画素アレイ部１０は、複数の画素１００が配置されて構成されたものである。同図の画素アレイ部１０は、複数の画素１００が２次元行列の形状に配列される例を表したものである。ここで、画素１００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素１００には、信号線１１及び１２が配線される。画素１００は、信号線１１により伝達される制御信号に制御されて画像信号を生成し、信号線１２を介して生成した画像信号を出力する。なお、信号線１１は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素１００に共通に配線される。信号線１２は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素１００に共通に配線される。
　垂直駆動部２０は、上述の画素１００の制御信号を生成するものである。同図の垂直駆動部２０は、画素アレイ部１０の２次元行列の行毎に制御信号を生成し、信号線１１を介して順次出力する。
　カラム信号処理部３０は、画素１００により生成された画像信号の処理を行うものである。同図のカラム信号処理部３０は、信号線１２を介して伝達される画素アレイ部１０の１行に配置された複数の画素１００からの画像信号の処理を同時に行う。この処理として、例えば、画素１００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）を行うことができる。処理後の画像信号は、撮像素子１００１の外部の回路等に対して出力される。
　制御部４０は、垂直駆動部２０及びカラム信号処理部３０を制御するものである。同図の制御部４０は、信号線４１及び４２を介して制御信号をそれぞれ出力して垂直駆動部２０及びカラム信号処理部３０を制御する。
　［画素の構成］
　図１５は、本開示の実施形態に係る画素の構成例を示す図である。同図は、画素１００の断面の構成を簡略化して表した図であり、画素１００の一部を模式的に表した図である。画素１００は、半導体基板１２０と、配線領域１３０と、保護膜１４０と、カラーフィルタ１５０と、オンチップレンズ１８０とを備える。
　半導体基板１２０は、画素１００の素子が形成される半導体の基板である。この半導体基板１２０は、シリコン（Ｓｉ）により構成することができる。同図には、画素１００を構成する素子のうち、光電変換部１０１を記載した。便宜上、同図の半導体基板１２０は、ｐ型のウェル領域を構成するものと想定する。半導体基板１２０内に記載した白抜きの矩形は、ｎ型の半導体領域を表す。同図には、ｎ型の半導体領域１２１を記載した。
　光電変換部１０１は、ｎ型の半導体領域１２１により構成される。具体的には、ｎ型の半導体領域１２１及び周囲のｐ型のウェル領域の界面のｐｎ接合により構成されるフォトダイオードが光電変換部１０１に該当する。露光期間に光電変換部１０１の光電変換により生成された電荷のうちの電子がｎ型の半導体領域１２１に蓄積される。露光期間の経過後にｎ型の半導体領域１２１に蓄積された電荷に基づいて画像信号が生成されて出力される。
　配線領域１３０は、素子に信号を伝達する配線が配置される領域である。この配線領域１３０は、配線１３２と、絶縁層１３１とを備える。配線１３２は、素子の信号を伝達するものである。この配線１３２は、銅（Ｃｕ）やタングステン（Ｗ）等の金属により構成することができる。絶縁層１４９は、配線１３２等を絶縁するものである。この絶縁層１４９は、酸化シリコン（ＳｉＯ２）等の絶縁物により構成することができる。
　保護膜１４０は、半導体基板１２０の裏面を保護する膜である。この保護膜１４０は、例えば、ＳｉＯ２により構成することができる。
　カラーフィルタ１５０は、入射光のうちの所定の波長の光を透過する光学的なフィルタである。
　オンチップレンズ１８０は、入射光を光電変換部１０１に集光するレンズである。同図のオンチップレンズ１８０は、半球形状に構成される例を表したものである。オンチップレンズ１８０は、窒化シリコン（ＳｉＮ）等の無機材料やアクリル樹脂等の有機材料により構成することができる。
　（効果）
　画像処理装置２００は、特定領域検出部２３０と、色度情報検出部２４０と、光源分光情報生成部２５０とを有する。特定領域検出部２３０は、光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出する。色度情報検出部２４０は、検出された特定領域の複数の画像信号に基づいて光源色情報を検出する。光源分光情報生成部２５０は、検出された光源色情報に基づいて光源の分光の情報である光源分光情報を生成する。これにより、光源の分光を特定領域から推定した光源色情報により検出することができる。
　また、光源分光情報は、波長と分光との関係を表す情報であってもよい。これにより、光源の波長毎の分光を検出することができる。
　また、光源分光情報生成部２５０は、検出された光源色情報に基づく複数の光源分光情報において波長毎にそれぞれの分光を混合することにより光源分光情報を生成してもよい。これにより、光源分光情報の生成を簡略化することができる。
　また、光源分光情報生成部２５０は、保持する複数の光源分光情報から選択することにより光源分光情報を生成してもよい。これにより、光源分光情報の生成を簡略化することができる。
　また、色度情報検出部２４０は、色度空間における複数の画像信号に基づいて生成される近似直線を光源色情報として検出してもよい。これにより、光源色情報の検出を簡略化することができる。
　また、色度情報検出部２４０は、近似直線に基づいて検出された色温度を光源色情報として検出してもよい。これにより、光源色情報の検出を簡略化することができる。
　また、色度情報検出部２４０は、近似直線と黒体軌跡との交点の色度空間における色を色温度として検出してもよい。これにより、色温度の検出を簡略化することができる。
　また、特定領域検出部２３０は、特定物体の波長と反射率との関係に基づいて特定領域を検出してもよい。
　また、特定領域検出部２３０は、植物を特定物体として特定領域を検出してもよい。
　また、生成された光源分光情報に基づいて被写体の画像を調整する画像調整部を更に有してもよい。これにより、検出した光源の影響を除去することができる。
　画像処理方法は、光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、検出された光源色情報に基づいて光源の分光の情報である光源分光情報を生成することとを含む画像処理方法である。光源の分光を特定領域から推定した光源色情報により検出することができる。
　画像処理プログラムは、コンピュータに、光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、検出された光源色情報に基づいて光源の分光の情報である光源分光情報を生成することとを実行させる画像処理プログラムである。光源の分光を特定領域から推定した光源色情報により検出することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact　Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital　Versatile　Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出する特定領域検出部と、
　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出する色度情報検出部と、
　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成する光源分光情報生成部と
を有する画像処理装置。
（２）
　前記光源分光情報は、波長と分光との関係を表す情報である前記（１）に記載の画像処理装置。
（３）
　前記光源分光情報生成部は、前記検出された色度情報に基づく複数の前記光源分光情報において波長毎にそれぞれの分光を混合することにより前記光源分光情報を生成する前記（２）に記載の画像処理装置。
（４）
　前記光源分光情報生成部は、保持する複数の前記光源分光情報から選択することにより前記光源分光情報を生成する前記（１）又は（２）に記載の画像処理装置。
（５）
　前記色度情報検出部は、色度空間における複数の前記画像信号に基づいて生成される近似直線を前記光源色情報として検出する前記（１）から（４）の何れかに記載の画像処理装置。
（６）
　前記色度情報検出部は、前記近似直線に基づいて検出された色温度を前記光源色情報として検出する前記（５）に記載の画像処理装置。
（７）
　前記色度情報検出部は、前記近似直線と黒体軌跡との交点の色度空間における色を前記色温度として検出する前記（６）に記載の画像処理装置。
（８）
　前記特定領域検出部は、前記特定物体の波長と反射率との関係に基づいて前記特定領域を検出する前記（１）から（７）の何れかに記載の画像処理装置。
（９）
　前記特定領域検出部は、植物を前記特定物体として前記特定領域を検出する前記（１）から（８）の何れかに記載の画像処理装置。
（１０）
　前記生成された光源分光情報に基づいて前記被写体の画像を調整する画像調整部を更に有する前記（１）から（９）の何れかに記載の画像処理装置。
（１１）
　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、
　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、
　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成することと
を含む画像処理方法。
（１２）
　コンピュータに、
　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、
　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、
　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成することと
を実行させる画像処理プログラム。
　１０　画素アレイ部
　１００　画素
　２００　画像処理装置
　２１０　画像生成部
　２２０　分光画像生成部
　２３０　特定領域検出部
　２４０　色度情報検出部
　２５０　光源分光情報生成部
　２６０　画像調整部
　１０００　撮像装置
　１００１　撮像素子
　１００３　画像処理部

Claims (12)

  1. 　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出する特定領域検出部と、
    　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出する色度情報検出部と、
    　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成する光源分光情報生成部と
    を有する画像処理装置。
  2. 　前記光源分光情報は、波長と分光との関係を表す情報である請求項１に記載の画像処理装置。
  3. 　前記光源分光情報生成部は、前記検出された光源色情報に基づく複数の前記光源分光情報において波長毎にそれぞれの分光を混合することにより前記光源分光情報を生成する請求項２に記載の画像処理装置。
  4. 　前記光源分光情報生成部は、保持する複数の前記光源分光情報から選択することにより前記光源分光情報を生成する請求項１に記載の画像処理装置。
  5. 　前記色度情報検出部は、色度空間における複数の前記画像信号に基づいて生成される近似直線を前記光源色情報として検出する請求項１に記載の画像処理装置。
  6. 　前記色度情報検出部は、前記近似直線に基づいて検出された色温度を前記光源色情報として検出する請求項５に記載の画像処理装置。
  7. 　前記色度情報検出部は、前記近似直線と黒体軌跡との交点の色度空間における色を前記色温度として検出する請求項６に記載の画像処理装置。
  8. 　前記特定領域検出部は、前記特定物体の波長と反射率との関係に基づいて前記特定領域を検出する請求項１に記載の画像処理装置。
  9. 　前記特定領域検出部は、植物を前記特定物体として前記特定領域を検出する請求項１に記載の画像処理装置。
  10. 　前記生成された光源分光情報に基づいて前記被写体の画像を調整する画像調整部を更に有する請求項１に記載の画像処理装置。
  11. 　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、
    　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、
    　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成することと
    を含む画像処理方法。
  12. 　コンピュータに、
    　光源からの光が照射される被写体の画像から特定物体の画像の領域である特定領域を検出することと、
    　前記検出された特定領域の複数の画像信号に基づいて光源色情報を検出することと、
    　前記検出された光源色情報に基づいて前記光源の分光の情報である光源分光情報を生成することと
    を実行させる画像処理プログラム。
PCT/JP2022/001512 2021-01-29 2022-01-18 画像処理装置、画像処理方法及び画像処理プログラム WO2022163423A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022578257A JPWO2022163423A1 (ja) 2021-01-29 2022-01-18
EP22745646.4A EP4287108A1 (en) 2021-01-29 2022-01-18 Image processing device, image processing method, and image processing program
CN202280008867.4A CN116670705A (zh) 2021-01-29 2022-01-18 图像处理装置、图像处理方法和图像处理程序
US18/261,354 US20240070920A1 (en) 2021-01-29 2022-01-18 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021013992 2021-01-29
JP2021-013992 2021-01-29

Publications (1)

Publication Number Publication Date
WO2022163423A1 true WO2022163423A1 (ja) 2022-08-04

Family

ID=82653334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001512 WO2022163423A1 (ja) 2021-01-29 2022-01-18 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (6)

Country Link
US (1) US20240070920A1 (ja)
EP (1) EP4287108A1 (ja)
JP (1) JPWO2022163423A1 (ja)
CN (1) CN116670705A (ja)
TW (1) TW202303511A (ja)
WO (1) WO2022163423A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165932A (ja) * 2002-11-12 2004-06-10 Sony Corp 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP2006173799A (ja) * 2004-12-13 2006-06-29 Canon Inc 画像処理装置およびその方法
JP2008236437A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 画像処理装置、画像処理方法および画像処理用プログラム
JP2009272709A (ja) * 2008-04-30 2009-11-19 Canon Inc 画像処理装置、方法及びプログラム
WO2014203453A1 (ja) 2013-06-19 2014-12-24 日本電気株式会社 照明推定装置、照明推定方法および照明推定プログラム
JP2016004134A (ja) * 2014-06-16 2016-01-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017215851A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 画像処理装置および画像処理方法、造形システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165932A (ja) * 2002-11-12 2004-06-10 Sony Corp 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP2006173799A (ja) * 2004-12-13 2006-06-29 Canon Inc 画像処理装置およびその方法
JP2008236437A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 画像処理装置、画像処理方法および画像処理用プログラム
JP2009272709A (ja) * 2008-04-30 2009-11-19 Canon Inc 画像処理装置、方法及びプログラム
WO2014203453A1 (ja) 2013-06-19 2014-12-24 日本電気株式会社 照明推定装置、照明推定方法および照明推定プログラム
JP2016004134A (ja) * 2014-06-16 2016-01-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017215851A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 画像処理装置および画像処理方法、造形システム

Also Published As

Publication number Publication date
JPWO2022163423A1 (ja) 2022-08-04
TW202303511A (zh) 2023-01-16
US20240070920A1 (en) 2024-02-29
CN116670705A (zh) 2023-08-29
EP4287108A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
US7489396B1 (en) Spectrophotometric camera
US8569681B2 (en) Ambient infrared detection in solid state sensors
US7439510B2 (en) Compact emissivity and temperature measuring infrared detector
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
US20140198183A1 (en) Sensing pixel and image sensor including same
US20160040985A1 (en) Specimen measuring device and computer program product
US20150062347A1 (en) Image processing methods for visible and infrared imaging
US20100245826A1 (en) One chip image sensor for measuring vitality of subject
US20070177029A1 (en) Color correction apparatus
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
EP3922008A1 (en) Advanced computational pixel imagers with multiple in-pixel counters
KR20080083712A (ko) 이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치
JP6841406B2 (ja) 光学測定方法および光学測定装置
US20100278212A1 (en) Circuit arrangement and imaging pyrometer for generating light- and temperature-dependent signals
JP6600800B2 (ja) 固体撮像装置、撮像システム及び物体識別システム
JPH04328449A (ja) 水分測定方法および測定装置
WO2022163423A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
AU2018309904A1 (en) Imaging device, imaging method, and program
JP2007248196A (ja) 分光輝度分布推定システムおよび方法
KR101998138B1 (ko) 자외선 포토루미네선스를 이용한 결정의 폴리타입 분석방법
TW202101961A (zh) 使用多種波長之光單色成像的顏色檢查方法
US20220342053A1 (en) Distance measurement device, method of controlling distance measurement device, and electronic apparatus
EP3669743B1 (en) System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
JP6815628B2 (ja) マルチスペクトル撮像装置
US20220319048A1 (en) Enhanced measurement of photosynthetically active radiation (par) and image conversion therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745646

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578257

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280008867.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18261354

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022745646

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022745646

Country of ref document: EP

Effective date: 20230829