WO2017222021A1 - 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2017222021A1
WO2017222021A1 PCT/JP2017/023073 JP2017023073W WO2017222021A1 WO 2017222021 A1 WO2017222021 A1 WO 2017222021A1 JP 2017023073 W JP2017023073 W JP 2017023073W WO 2017222021 A1 WO2017222021 A1 WO 2017222021A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
incident light
color
image processing
spectral
Prior art date
Application number
PCT/JP2017/023073
Other languages
English (en)
French (fr)
Inventor
塚田　正人
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018524162A priority Critical patent/JP6969550B2/ja
Priority to US16/311,785 priority patent/US10863115B2/en
Publication of WO2017222021A1 publication Critical patent/WO2017222021A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • This disclosure relates to image processing.
  • Some image sensors for capturing color images have sensitivity to near-infrared light in addition to visible light, such as silicon sensors.
  • An image sensor having sensitivity to near-infrared light has characteristics different from human color perception, and thus color reproducibility may deteriorate.
  • Patent Document 1 discloses an imaging device having an IR (InfraRed) filter that mainly transmits an infrared light component in addition to a filter that transmits a visible light component.
  • Patent Document 2 discloses an imaging device having a non-visible light sensor unit at a position farther from the side where image light enters than the visible light sensor unit.
  • IR InfraRed
  • Patent Documents 1 and 2 require a specially configured imaging unit for reading near-infrared light.
  • An exemplary object of the present disclosure is to enable generation of a visible image and a near-infrared image with a simple configuration.
  • an acquisition unit that acquires a color image captured by an imaging unit according to incident light including visible light and near-infrared light, color information of the acquired color image, and spectrum of the imaging unit
  • Estimating means for estimating the spectral characteristics of the incident light based on sensitivity characteristics and information modeling the spectral characteristics of the incident light, the estimated spectral characteristics of the incident light, and the spectral sensitivity characteristics of the imaging means
  • An image processing apparatus including a generation unit that generates a visible image and a near-infrared image based on the above is provided.
  • the image processing apparatus includes an image capturing apparatus and an image processing apparatus, the image capturing apparatus includes an image capturing unit that generates a color image according to incident light including visible light and near infrared light, and the image processing apparatus includes: Based on acquisition means for acquiring a color image captured by the imaging means, color information of the acquired color image, spectral sensitivity characteristics of the imaging means, and information modeling the spectral characteristics of the incident light Estimating means for estimating the spectral characteristics of the incident light, and generating means for generating a visible image and a near-infrared image based on the estimated spectral characteristics of the incident light and the spectral sensitivity characteristics of the imaging means, An image processing system is provided.
  • a color image captured by an imaging unit is acquired in response to incident light including visible light and near-infrared light, color information of the acquired color image, and spectral sensitivity characteristics of the imaging unit And the spectral characteristic of the incident light based on the modeled spectral characteristic of the incident light, and visible based on the estimated spectral characteristic of the incident light and the spectral sensitivity characteristic of the imaging means.
  • An image processing method for generating an image and a near-infrared image is provided.
  • incident light including visible light and near infrared light, a color information of the acquired color image, and the imaging Estimating the spectral characteristic of the incident light based on the spectral sensitivity characteristic of the means and information modeling the spectral characteristic of the incident light; and estimating the spectral characteristic of the incident light and the spectral characteristic of the imaging means
  • a visible image and a near-infrared image can be generated with a simple configuration.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the image processing apparatus.
  • FIG. 2 is a flowchart illustrating an example of image processing executed by the image processing apparatus.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the image processing system.
  • FIG. 4 is a diagram illustrating an example of spectral sensitivity characteristics of the image sensor of the imaging apparatus.
  • FIG. 5 is a diagram illustrating an example of the spectral transmission characteristics of the optical filter.
  • FIG. 6 is a diagram illustrating an example of spectral transmission characteristics of the IR cut filter.
  • FIG. 7 is a diagram illustrating an example of the average vector r 0 ( ⁇ ) and the basis vector r i ( ⁇ ).
  • FIG. 8 is a block diagram illustrating an example of the configuration of the imaging apparatus.
  • FIG. 9 is a diagram illustrating an example of the configuration of the optical filter.
  • FIG. 10 is a block diagram illustrating another example of the configuration of the image processing apparatus.
  • FIG. 11 is a block diagram illustrating still another example of the configuration of the image processing apparatus.
  • FIG. 12 is a block diagram illustrating another example of the configuration of the imaging apparatus.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration of the computer apparatus.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 100 according to an embodiment.
  • the image processing apparatus 100 includes at least an acquisition unit 110, an estimation unit 120, and a generation unit 130.
  • the image processing apparatus 100 may include other configurations.
  • the acquisition unit 110 acquires a color image.
  • the acquisition unit 110 acquires a color image corresponding to incident light including visible light and near infrared light captured by an imaging unit having sensitivity to both visible light and near infrared light.
  • the acquisition unit 110 may directly acquire a color image from the imaging unit, or may acquire a color image that has been captured by the imaging unit and stored in the storage medium from the storage medium.
  • the visible light is, for example, light in a wavelength range of approximately 400 to 700 nm (that is, electromagnetic waves).
  • near infrared light is, for example, light having a wavelength range of approximately 0.7 to 2 ⁇ m.
  • the upper and lower limits of visible light and near-infrared light are not necessarily limited to the wavelengths exemplified here, and may differ to some extent depending on, for example, the performance and configuration of the imaging unit.
  • a color image is represented by a combination of multiple channel images.
  • the color image is represented by a combination of a plurality of color components.
  • the number of channels of the color image is not particularly limited as long as it is 2 or more.
  • the acquisition unit 110 may be configured to acquire a three-channel color image of R (red), G (green), and B (blue). In the following, it is assumed that the number of color image channels is “M”.
  • the imaging unit includes, for example, a silicon-based sensor such as a CCD (Charge Coupled Device) image sensor and an optical filter (color filter) that filters light incident on the sensor.
  • a silicon-based sensor such as a CCD (Charge Coupled Device) image sensor and an optical filter (color filter) that filters light incident on the sensor.
  • the imaging unit is configured by an image sensor in which an optical filter corresponding to any one of R, G, and B is provided for each imaging element corresponding to a pixel.
  • Such an image sensor having a plurality of color optical filters is also referred to as a “color image sensor” below.
  • the estimation unit 120 estimates the spectral characteristics of incident light.
  • the estimation unit 120 is acquired by the acquisition unit 110 based on the color information of the color image of the M channel acquired by the acquisition unit 110, the spectral sensitivity characteristics of the imaging unit, and information obtained by modeling the spectral characteristics of incident light.
  • the spectral characteristics of the incident light that is the basis of the color image is estimated.
  • a color image is represented by three color components of R, G, and B.
  • C R ( ⁇ ), C G ( ⁇ ), and C B ( ⁇ ) be the spectral sensitivity characteristics of the color image sensor
  • E ( ⁇ ) be the spectral characteristic of light incident on a pixel of the color image sensor.
  • ⁇ represents the wavelength of light, and can take an arbitrary value in a wavelength region in which the color image sensor has sensitivity.
  • the spectral sensitivity characteristic of the color image sensor can be expressed by the product of the spectral sensitivity characteristic of the image sensor and the spectral transmission characteristic of the optical filter, and is known.
  • the spectral characteristic E ( ⁇ ) of incident light is essentially continuous data that is not discrete with respect to wavelength.
  • the spectral characteristic E ( ⁇ ) of the incident light is relatively set. Modeling with a small number of parameters is introduced.
  • the spectral characteristic E ( ⁇ ) of the incident light is modeled by a weighted sum (weighted sum) of the average vector r 0 ( ⁇ ) and the base vector r i ( ⁇ ) of the incident light.
  • the number of basis vectors is equal to the number of colors of the optical filter, that is, the number of channels (M) of the color image. Therefore, the number of basis vectors (that is, the maximum value of i) when a color image is represented by three color components of R, G, and B is “3”.
  • M 3
  • the spectral characteristic E ( ⁇ ) of the incident light is modeled as shown in Expression (2).
  • the basis vector r i ( ⁇ ) is a function expressing the spectral characteristics of incident light.
  • the basis vector r i ( ⁇ ) is obtained by principal component analysis of a spectral space formed by the product of the spectral characteristics of the light source and the surface reflectance of the object. According to such a basis vector r i ( ⁇ ), it is possible to express the spectral characteristics of incident light with a small number of parameters.
  • Equation (3) By substituting equation (2) into equation (1), an observation equation relating to the unknown parameter a i shown in equation (3) can be obtained.
  • the integration constant on the right side of Equation (3) is omitted for the sake of simplicity.
  • Equation (3) can be approximated to the sum shown in equation (4).
  • ⁇ 1 represents the lower limit of the wavelength range of visible light.
  • ⁇ 2 represents the upper limit of the wavelength range of near infrared light.
  • ⁇ 1 and ⁇ 2 depend on the spectral sensitivity characteristics of the color image sensor.
  • the observation equation of Equation (4) becomes a simultaneous ternary equation relating to the unknown parameter a i .
  • the generation unit 130 generates a visible image and a near-infrared image.
  • the generation unit 130 generates a visible image and a near-infrared image based on the spectral characteristics of the incident light estimated by the estimation unit 120 and the spectral sensitivity characteristics of the imaging unit. Specifically, the generation unit 130 generates a visible image and a near-infrared image as follows.
  • the near-infrared image is also referred to as “NIR (near-infrared) image” as necessary.
  • the spectral sensitivity characteristics in the visible region are C R_VIS ( ⁇ ), C G_VIS ( ⁇ ), and C B_VIS. ( ⁇ ).
  • the color signals R VIS , G VIS , and B VIS due to the visible light component are expressed by Expression (5).
  • ⁇ 3 represents the upper limit of the wavelength range of visible light (the lower limit of the wavelength range of near infrared light). ⁇ 3 satisfies ⁇ 1 ⁇ 3 ⁇ 2.
  • the generation unit 130 generates the color signals R VIS , G VIS , and B VIS for all the pixels constituting the color image, thereby obtaining the image data I R , I G , and I B based on the visible light components of the respective color components. Can be generated.
  • the image data I R , I G , and I B are image data representing a visible image.
  • the generation unit 130 also includes spectral sensitivity characteristics C R_NIR ( ⁇ ) and C G_ in the near-infrared region among the spectral sensitivity characteristics C R ( ⁇ ), C G ( ⁇ ), and C B ( ⁇ ) of the color image sensor.
  • spectral sensitivity characteristics C R_NIR ( ⁇ ) and C G_ in the near-infrared region among the spectral sensitivity characteristics C R ( ⁇ ), C G ( ⁇ ), and C B ( ⁇ ) of the color image sensor.
  • NIR ( ⁇ ) and C B — NIR ( ⁇ ) the color signals R NIR , G NIR , and B NIR based on the near-infrared light component are obtained by Equation (6).
  • the generation unit 130 generates color signals R NIR , G NIR , and B NIR for all the pixels constituting the color image, and adds them for each pixel to generate image data I NIR using a near-infrared light component. can do.
  • the image data I NIR is image data representing a near-infrared image.
  • FIG. 2 is a flowchart illustrating image processing executed by the image processing apparatus 100.
  • the acquisition unit 110 acquires an M channel color image captured by the imaging unit.
  • the estimation unit 120 calculates the incident light based on the color information of the color image of the M channel acquired in step S1, the spectral sensitivity characteristic of the imaging unit, and information that models the spectral characteristic of the incident light. Estimate spectral characteristics.
  • the generation unit 130 generates a visible image and a near-infrared image based on the spectral characteristic of the incident light estimated in step S2 and the spectral sensitivity characteristic of the imaging unit.
  • the image processing apparatus 100 has a configuration in which the spectral characteristics of incident light are estimated based on color information of a color image, spectral sensitivity characteristics of an imaging unit, and information modeling the spectral characteristics of incident light.
  • This configuration generates a visible image and a near-infrared image without having a configuration in which a visible light component and a near-infrared light component are read by separate image sensors or a configuration in which an optical filter is mechanically moved. It is possible. Therefore, the image processing apparatus 100 of the present embodiment can generate a visible image and a near-infrared image with a simple configuration without requiring such a special configuration.
  • FIG. 3 is a block diagram illustrating a configuration of an image processing system 200 according to another embodiment.
  • the image processing system 200 includes an imaging device 210 and an image processing device 220.
  • the image processing system 200 may include a configuration other than the imaging device 210 and the image processing device 220.
  • the image processing system 200 may include another device that stores or transfers data supplied by the imaging device 210 to the image processing device 220.
  • the imaging device 210 images a subject and generates image data.
  • the imaging device 210 includes a color image sensor including an image sensor and optical filters of three colors of R, G, and B.
  • the imaging device 210 generates and outputs image data representing a color image corresponding to incident light. This image data has spectral sensitivity in the visible region and the near infrared region.
  • the imaging device 210 may be a digital still camera, for example.
  • the color image sensor of the imaging device 210 is configured to have light receiving sensitivity in the near infrared region. That is, the optical filter of the imaging device 210 is configured to transmit at least part of near-infrared light. Generally, a color image sensor may have a filter (IR cut filter) that prevents transmission of near-infrared light separately from the color filter. The imaging device 210 may be configured using a color image sensor obtained by removing an IR cut filter from such a general color image sensor.
  • visible light refers to electromagnetic waves having a wavelength of 400 to 700 nm.
  • FIG. 4 is a diagram illustrating an example of the spectral sensitivity characteristics of the image sensor of the imaging apparatus 210. As shown in FIG. 4, the image sensor of the imaging apparatus 210 has sensitivity to near infrared light in addition to visible light.
  • FIG. 5 is a diagram showing an example of spectral transmission characteristics of optical filters of R, G, and B colors.
  • the optical filter of the imaging device 210 has a characteristic of transmitting near infrared light in addition to visible light.
  • the image sensor of the imaging device 210 is configured such that each pixel can receive light in any of R, G, and B3 colors.
  • FIG. 6 is a diagram showing an example of spectral transmission characteristics of an IR cut filter used in a general color image sensor.
  • a general color image sensor is provided with such an IR cut filter together with a color filter, thereby enabling imaging with near-infrared light cut, that is, imaging close to human color perception.
  • the image processing apparatus 220 performs image processing on the image data.
  • the image processing device 220 can generate image data corresponding to a visible image and image data corresponding to a near-infrared image based on the image data supplied from the imaging device 210.
  • the image processing apparatus 220 includes a data acquisition unit 221, a spectrum estimation unit 222, a visible image generation unit 223, and an NIR image generation unit 224.
  • the data acquisition unit 221 acquires data.
  • the data acquisition unit 221 includes, for example, a wired or wireless interface for receiving image data from the imaging device 210.
  • the data acquisition unit 221 may include a reader that reads image data stored in a storage medium.
  • the data acquisition unit 221 corresponds to an example of the acquisition unit 110 of the first embodiment.
  • the data acquisition unit 221 acquires at least image data.
  • the data acquisition unit 221 may be configured to acquire data indicating spectral sensitivity characteristics of the imaging device 210 (hereinafter also referred to as “characteristic data”) in addition to the image data.
  • the data acquisition unit 221 may acquire characteristic data embedded as metadata in the image data or associated with the image data.
  • the spectrum estimation unit 222 estimates the spectral characteristics of light incident on each pixel of the color image sensor of the imaging device 210. In the present embodiment, the spectrum estimation unit 222 estimates the spectrum of incident light. The spectrum estimation unit 222 estimates the spectrum of incident light based on the image data acquired by the data acquisition unit 221 and the characteristic data of the imaging device 210. The spectrum estimation unit 222 corresponds to an example of the estimation unit 120 of the first embodiment.
  • the visible image generation unit 223 generates first image data representing a visible image.
  • the visible image generation unit 223 generates first image data based on the incident light spectrum estimated by the spectrum estimation unit 222 and the characteristic data of the imaging device 210.
  • the visible image generation unit 223 (and the NIR image generation unit 224) corresponds to an example of the generation unit 130 of the first embodiment.
  • the NIR image generation unit 224 generates second image data representing a near-infrared image.
  • the NIR image generation unit 224 generates second image data based on the spectrum of the incident light estimated by the spectrum estimation unit 222 and the characteristic data of the imaging device 210.
  • the image processing apparatus 220 may be configured to output 4-channel image data corresponding to the first image data (3 channels) and the second image data (1 channel).
  • the configuration of the image processing system 200 is as described above.
  • the visible image generation unit 223 calculates the color signals R VIS , G VIS , and B VIS based on the visible light component based on the modeling of Expression (2) using the following Expression (7).
  • the NIR image generation unit 224 calculates the color signals R NIR , G NIR , and B NIR based on the near-infrared light component using Expression (8).
  • FIG. 7 is a diagram illustrating an example of the average vector r 0 ( ⁇ ) and the basis vector r i ( ⁇ ) in the present embodiment.
  • the basis vector r i ( ⁇ ) can be obtained by principal component analysis of a spectral space formed by the product of the spectral characteristics of the light source and the surface reflectance of the object.
  • the image processing system 200 includes the same configuration as that of the image processing apparatus 100 according to the first embodiment. Therefore, like the image processing apparatus 100, the image processing system 200 can generate a visible image and a near-infrared image with a simple configuration.
  • FIG. 8 is a block diagram illustrating a configuration of an imaging apparatus 300 according to still another embodiment.
  • the imaging apparatus 300 includes an optical system member 310, a color image sensor 320, an image processing unit 330, and a memory 340. More specifically, the color image sensor 320 includes an optical filter 321 and a photo sensor 322.
  • the optical system member 310 guides light to the color image sensor 320.
  • the optical system member 310 includes, for example, a lens and a mirror.
  • the optical system member 310 causes visible light and near infrared light to enter the color image sensor 320.
  • the color image sensor 320 generates image data corresponding to incident light.
  • the optical filter 321 includes three color optical filters of R, G, and B.
  • the optical filter 321 has optical filters of each color arranged in a so-called Bayer array. Therefore, in the photosensor 322, each pixel selectively receives one of the three color components R, G, and B.
  • FIG. 9 is a diagram illustrating an example of the configuration of the optical filter 321.
  • the red (R) color filter is provided corresponding to the pixels in the odd rows and the odd columns.
  • the blue (B) color filter is provided corresponding to pixels in even rows and even columns.
  • the green (G) color filter is provided corresponding to the pixels in the odd-numbered and even-numbered columns and the even-numbered and odd-numbered columns.
  • the photosensor 322 receives light corresponding to red (and near-infrared light) at pixels in odd rows and odd columns, and turns blue at pixels in even rows and even columns. Corresponding light (and near infrared light) is received. The photosensor 322 receives light corresponding to green (and near-infrared light) at other pixels.
  • a general color image sensor has an IR cut filter 323 in front of the optical filter 321 (that is, between the optical system member 310 and the optical filter 321).
  • the color image sensor 320 may have a configuration in which the IR cut filter 323 is removed from such a general color image sensor. Therefore, the color image sensor 320 can be created using a general-purpose product that can be easily mass-produced.
  • the memory 340 stores characteristic data similar to that of the second embodiment described above.
  • the characteristic data of the present embodiment is data indicating the spectral sensitivity characteristic of the imaging apparatus 300.
  • the memory 340 includes a volatile or nonvolatile storage medium. This storage medium is not limited to a specific type of storage medium.
  • the characteristic data may be measured in advance using the imaging apparatus 300, or may be determined experimentally or empirically.
  • the configuration of the imaging apparatus 300 is as described above. With such a configuration, the imaging apparatus 300 has the first image data corresponding to the visible image and the first image corresponding to the near-infrared image based on the image data corresponding to the incident light including visible light and near-infrared light. 2 image data is generated.
  • the image data input to the image processing unit 330 is composed of only a single color component for each pixel. Therefore, the image processing unit 330 performs a demosaicing process.
  • a plurality of algorithms are known for the demosaicing process.
  • the image processing unit 330 performs a demosaicing process as follows.
  • the demosaicing process executed by the image processing unit 330 is not limited to a specific algorithm.
  • the coordinates of the pixel in the i-th row and the j-th column are (i, j).
  • the color signals of the respective channels at the coordinates (i, j) are R (i, j), G (i, j), and B (i, j), respectively.
  • R (i, j), G (i, j), and B (i, j) are also referred to as “R value”, “G value”, and “B value”, respectively.
  • the pixel at the coordinates (1, 1) is a pixel corresponding to red. Therefore, as the R value of the coordinates (1, 1), the color signal of the coordinates (1, 1) is used as it is as shown in the equation (9).
  • the G value and B value of the coordinates (1, 1) cannot be obtained directly from the color signal of the coordinates. Therefore, the G value and B value of the coordinates (1, 1) are obtained by interpolating from the color signals of neighboring pixels of the same color, as shown in equations (10) and (11), for example.
  • the pixel at coordinates (1, 2) is a pixel corresponding to green. Therefore, the color signal at the coordinates (1, 2) is used as it is for the G value at the coordinates (1, 2) as shown in the equation (12).
  • the R value and B value of the coordinates (1, 2) are obtained by interpolating from color signals of neighboring pixels of the same color, as shown in, for example, equations (13) and (14).
  • the image processing unit 330 calculates the R value, the G value, and the B value for other pixels in the same manner.
  • the image processing unit 330 can obtain color information for three channels for each pixel by calculating the R value, the G value, and the B value for all the pixels.
  • the processing executed after the demosaicing processing by the image processing unit 330 is the same as the processing executed by the image processing device 220 of the second embodiment.
  • the imaging apparatus 300 of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. Therefore, like the image processing device 220, the imaging device 300 can generate a visible image and a near-infrared image with a simple configuration. In addition, the imaging apparatus 300 can generate a near-infrared image with a simple or inexpensive configuration as compared with the case where a special configuration is required to generate a near-infrared image, and thus the size of the apparatus can be reduced. It can be expected to contribute to the improvement of reliability (due to failure).
  • FIG. 10 is a block diagram illustrating a configuration of an image processing device 220a according to still another embodiment.
  • the image processing device 220a includes a data acquisition unit 221, a spectrum estimation unit 222, and a visible image generation unit 223 similar to the image processing device 220 of the second embodiment.
  • the image processing device 220 a includes a signal separation unit 225.
  • the signal separation unit 225 has a function of generating a near-infrared image. Specifically, the signal separation unit 225 generates second image data based on the image data supplied by the data acquisition unit 221 and the first image data generated by the visible image generation unit 223. .
  • the signal separation unit 225 generates second image data based on the difference between the image data supplied by the data acquisition unit 221 and the first image data.
  • I R_NIR , I G_NIR , I B_NIR , and the first image data (including the visible component) I R are supplied from the data acquisition unit 221 (including the visible component and the near-infrared component).
  • I G , I B the signal separation unit 225 calculates the second image data I NIR by Expression (15).
  • c R1 , c G1 , and c B1 are predetermined coefficients.
  • the image processing apparatus 220a of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. For this reason, the image processing apparatus 220a can generate a visible image and a near-infrared image with a simple configuration, like the image processing apparatus 220. Further, the image processing apparatus 220a includes the signal separation unit 225, so that the second image data can be generated by a simple calculation such as subtraction.
  • FIG. 11 is a block diagram illustrating a configuration of an image processing apparatus 220b according to another embodiment.
  • the image processing device 220b includes a data acquisition unit 221, a spectrum estimation unit 222, and an NIR image generation unit 224 similar to the image processing device 220 of the second embodiment.
  • the image processing device 220 b includes a signal separation unit 226.
  • the signal separation unit 226 has a function of generating a visible image. Specifically, the signal separation unit 226 generates first image data based on the image data supplied from the data acquisition unit 221 and the second image data generated by the NIR image generation unit 224. .
  • the signal separation unit 226 generates first image data based on the difference between the image data supplied from the data acquisition unit 221 and the second image data.
  • I R_NIR , I G_NIR , I B_NIR , and second image data (including near-infrared components) supplied from the data acquisition unit 221 are three-channel image data (including visible and near-infrared components).
  • the signal separation unit 226 calculates the first image data I R , I G , and I B according to Equation (16).
  • c R2 , c G2 , and c B2 are predetermined coefficients.
  • the image processing apparatus 220b of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. For this reason, the image processing device 220b can generate a visible image and a near-infrared image with a simple configuration, like the image processing device 220. In addition, the image processing apparatus 220b includes the signal separation unit 226, so that the first image data can be generated by a simple calculation such as subtraction.
  • FIG. 12 is a block diagram illustrating a configuration of an imaging apparatus 600 according to still another embodiment.
  • the imaging device 600 is an example of a so-called multi-plate imaging device. That is, the imaging device according to the present disclosure is not limited to the single plate method.
  • the imaging apparatus 600 includes a color separation unit 610, photosensors 620, 630, and 640, an image processing unit 650, and a memory 660.
  • the color separation unit 610 disperses incident light for each specific wavelength range.
  • the color separation unit 610 is, for example, a prism.
  • the color separation unit 610 decomposes incident light including a visible component and a near-infrared component into colored light corresponding to each of the R, G, and B wavelength ranges and emits the light.
  • Color light emitted from the color separation unit 610 is incident on the photosensors 620, 630, and 640.
  • the photosensors 620, 630, and 640 generate image data corresponding to incident light.
  • the photosensor 620 generates image data I R_NIR corresponding to red.
  • the photosensor 630 generates image data I G_NIR corresponding to green.
  • the photo sensor 640 generates image data I B_NIR corresponding to blue. At least one of these image data includes not only a visible component but also a near infrared component.
  • the image processing unit 650 has the same configuration as that of the image processing apparatus 220 of the second embodiment. That is, the image processing unit 650 has a function of acquiring image data (I R_NIR , I G_NIR , I B_NIR ) generated by the photosensors 620 , 630 , 640 , a function of estimating the spectral characteristics of incident light, and a visible image Including a function of generating first image data (I R , I G , I B ) representing the second image data (I NIR ) representing a near-infrared image.
  • image data I R_NIR , I G_NIR , I B_NIR
  • the memory 660 stores characteristic data indicating the spectral sensitivity characteristics of the imaging apparatus 600.
  • the memory 660 may have the same configuration as the memory 340 in the third embodiment. However, the specific value of the characteristic data may be different from the value of the characteristic data of the third embodiment.
  • the imaging apparatus 600 can be realized in hardware by removing an IR cut filter from a general three-plate imaging apparatus.
  • the image processing executed by the image processing unit 650 includes processing different from the image processing executed by a general three-plate imaging device.
  • the present disclosure is not limited to the first to sixth embodiments described above.
  • This indication may include the form which applied the modification or application which those skilled in the art can grasp.
  • this indication includes the form of the modification described below, and the form conceivable from the modification.
  • the present disclosure may include a form in which matters described in the present specification are appropriately combined as necessary.
  • the matters described using a specific embodiment can be applied to other embodiments as long as no contradiction arises.
  • the number of channels of the color image and the color component (that is, wavelength range) of each channel are not limited to specific values.
  • the number of color image channels may be four or more.
  • C (Cyan) M (Magenta) Y (Yellow) may be used instead of RGB as the color component of the color image.
  • Modification 2 Specific hardware configurations of the devices according to the present disclosure (the image processing devices 100 and 220, the imaging devices 300 and 600, and the like) include various variations, and are not limited to specific configurations.
  • each device may be realized using software, or may be configured to share various processes using a combination of two or more devices.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration of a computer device 700 for realizing the device according to the present disclosure.
  • the computer device 700 includes a CPU (Central Processing Unit) 701, a ROM (Read Only Memory) 702, a RAM (Random Access Memory) 703, a storage device 704, a drive device 705, a communication interface 706, and an input / output interface. 707.
  • the apparatus according to the present disclosure may be realized by the configuration (or part thereof) shown in FIG.
  • the CPU 701 executes the program 708 using the RAM 703.
  • the program 708 may be stored in the ROM 702. Further, the program 708 may be recorded on a recording medium 709 such as a memory card and read by the drive device 705 or may be transmitted from an external device via the network 710.
  • the communication interface 706 exchanges data with an external device via the network 710.
  • the input / output interface 707 exchanges data with peripheral devices (such as an input device and a display device).
  • the communication interface 706 and the input / output interface 707 can function as components for acquiring or outputting data.
  • the component of the apparatus according to the present disclosure may be configured by a single circuit (processor or the like) or may be configured by a combination of a plurality of circuits.
  • the circuit here may be either dedicated or general purpose.
  • the configuration described as a single device in the above-described embodiment may be distributed among a plurality of devices.
  • the image processing apparatuses 100 and 220 may be realized by a plurality of computer apparatuses using a cloud computing technique or the like.
  • Image processing apparatus 110 Acquisition part 120 Estimation part 130 Generation part 200 Image processing system 210 Imaging apparatus 220, 220a, 220b Image processing apparatus 221 Data acquisition part 222 Spectrum estimation part 223 Visible image generation part 224 NIR image generation part 225, 226 Signal Separation unit 300, 600 Imaging device 700 Computer device

Abstract

可視画像と近赤外画像とを簡易な構成で生成できるようにする。画像処理装置１００は、可視光及び近赤外光を含む入射光に応じて撮像部により撮像されたカラー画像を取得する取得部１１０と、取得されたカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定部１２０と、推定された入射光の分光特性と撮像部の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成部１３０とを含む。

Description

画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
　本開示は、画像処理に関する。
　カラー画像を撮像するためのイメージセンサには、例えばシリコン系センサのように、可視光（visible light）のほかに近赤外光（near-infrared light）にも感度を有するものがある。近赤外光に感度を有するイメージセンサは、人間の色知覚と異なる特性を有するため、色再現性が低下する場合がある。
　特許文献１は、可視光成分を透過するフィルタに加え、主に赤外光成分を透過するＩＲ（InfraRed）フィルタを有する撮像装置を開示している。また、特許文献２は、可視光センサ部よりも画像光が進入する側から遠い位置に非可視光センサ部を有する撮像デバイスを開示している。
特開２０１１－２４３８６２号公報 特開２０１２－２２７７５８号公報
　特許文献１、２に開示された技術は、いずれも、近赤外光を読み取るための特別な構成の撮像部を要する。
　本開示の例示的な目的は、可視画像と近赤外画像とを簡易な構成で生成できるようにすることにある。
　一の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段とを備える画像処理装置が提供される。
　別の態様において、撮像装置と画像処理装置とを備え、前記撮像装置は、可視光及び近赤外光を含む入射光に応じてカラー画像を生成する撮像手段を備え、前記画像処理装置は、前記撮像手段により撮像されたカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段とを備える画像処理システムが提供される。
　さらに別の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得し、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定し、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する画像処理方法が提供される。
　さらに別の態様において、コンピュータに、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得するステップと、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定するステップと、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体が提供される。
　本開示によれば、可視画像と近赤外画像とが簡易な構成で生成可能である。
図１は、画像処理装置の構成の一例を示すブロック図である。 図２は、画像処理装置が実行する画像処理の一例を示すフローチャートである。 図３は、画像処理システムの構成の一例を示すブロック図である。 図４は、撮像装置のイメージセンサの分光感度特性の一例を示す図である。 図５は、光学フィルタの分光透過特性の一例を示す図である。 図６は、ＩＲカットフィルタの分光透過特性の一例を示す図である。 図７は、平均ベクトルｒ0（λ）と基底ベクトルｒi（λ）の一例を示す図である。 図８は、撮像装置の構成の一例を示すブロック図である。 図９は、光学フィルタの構成の一例を示す図である。 図１０は、画像処理装置の構成の別の例を示すブロック図である。 図１１は、画像処理装置の構成のさらに別の例を示すブロック図である。 図１２は、撮像装置の構成の別の例を示すブロック図である。 図１３は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
　［第１実施形態］
　図１は、一実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、取得部１１０と、推定部１２０と、生成部１３０とを少なくとも含んで構成される。画像処理装置１００は、他の構成を含んでもよい。
　取得部１１０は、カラー画像を取得する。取得部１１０は、可視光及び近赤外光のいずれにも感度を有する撮像部により撮像された可視光及び近赤外光を含む入射光に応じたカラー画像を取得する。取得部１１０は、撮像部からカラー画像を直接取得してもよいし、撮像部により撮像された後に記憶媒体に記憶されたカラー画像をその記憶媒体から取得してもよい。
　ここでいう可視光は、例えば、概ね４００～７００ｎｍの波長域の光（すなわち電磁波）である。一方、近赤外光は、例えば、概ね０．７～２μｍの波長域の光である。ただし、可視光及び近赤外光の上限及び下限は、ここに例示された波長に必ずしも限定されず、例えば、撮像部の性能や構成に応じてある程度異なってもよい。
　カラー画像は、複数チャネルの画像の組み合わせにより表される。換言すれば、カラー画像は、複数の色成分の組み合わせにより表される。カラー画像のチャネル数は、２以上であれば特に限定されない。例えば、取得部１１０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャネルのカラー画像を取得するように構成されてもよい。以下においては、カラー画像のチャネル数を「Ｍ」とする。
　撮像部は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサなどのシリコン系のセンサと、センサへの入射光をフィルタする光学フィルタ（カラーフィルタ）とを含んで構成される。例えば、撮像部は、画素に相当する撮像素子のそれぞれにＲ、Ｇ、Ｂのいずれかに相当する光学フィルタを設けたイメージセンサにより構成される。このような複数色の光学フィルタを有する構成のイメージセンサのことを、以下においては「カラーイメージセンサ」ともいう。
　推定部１２０は、入射光の分光特性を推定する。推定部１２０は、取得部１１０により取得されたＭチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、取得部１１０により取得されたカラー画像の基となった入射光の分光特性を推定する。
　ここで、カラー画像がＲ、Ｇ、Ｂの３色の色成分により表されるとする。また、カラーイメージセンサの分光感度特性をＣR（λ）、ＣG（λ）、ＣB（λ）とし、カラーイメージセンサのある画素への入射光の分光特性をＥ（λ）とする。ここで、各画素における色信号をＲ、Ｇ、Ｂとすると、これらの色信号は、式（１）のように表される。ここにおいて、λは、光の波長を表し、カラーイメージセンサが感度を有する波長域の任意の値をとり得る。
Figure JPOXMLDOC01-appb-I000001
　カラーイメージセンサの分光感度特性は、イメージセンサの分光感度特性と光学フィルタの分光透過特性の積で表すことができ、既知である。入射光の分光特性Ｅ（λ）は、本来、波長に関して離散的でない連続データである。本実施形態においては、画像データの色信号Ｒ、Ｇ、Ｂから入射光の分光特性Ｅ（λ）を式（１）に基づいて求めるために、入射光の分光特性Ｅ（λ）を比較的少数のパラメータで表現するモデル化が導入される。
　具体的には、入射光の分光特性Ｅ（λ）は、入射光の平均ベクトルｒ0（λ）と基底ベクトルｒi（λ）の加重和（重み付き和）によってモデル化される。ここにおいて、基底ベクトルの数は、光学フィルタの色数、すなわちカラー画像のチャネル数（Ｍ）と等しい。したがって、カラー画像がＲ、Ｇ、Ｂの３色の色成分により表される場合の基底ベクトルの数（すなわちｉの最大値）は、「３」である。Ｍ＝３の場合、入射光の分光特性Ｅ（λ）は、式（２）のようにモデル化される。
Figure JPOXMLDOC01-appb-I000002
　基底ベクトルｒi（λ）は、入射光の分光特性を表現する関数である。基底ベクトルｒi（λ）は、光源の分光特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって得られる。このような基底ベクトルｒi（λ）によれば、入射光の分光特性を少ないパラメータで表現することが可能である。
　式（１）に式（２）を代入すると、式（３）に示される未知のパラメータａiに関する観測方程式を得ることができる。ここで、式（３）の右辺の積分定数は、説明を簡単にするために省略されている。
Figure JPOXMLDOC01-appb-I000003
　式（３）の積分は、式（４）に示される総和に近似することができる。ここにおいて、λ１は、可視光の波長域の下限を表す。また、λ２は、近赤外光の波長域の上限を表す。λ１、λ２は、カラーイメージセンサの分光感度特性に依存する。
Figure JPOXMLDOC01-appb-I000004
　画像データから色情報、すなわち各色成分の色信号（Ｒ、Ｇ、Ｂ）が得られれば、式（４）の観測方程式は、未知のパラメータａiに関する連立三元一次方程式になる。そうすると、各画素の入射光の分光特性Ｅ（λ）は、式（４）により求められたパラメータａi（ｉ＝１，２，３）を式（２）に代入することで推定することができる。したがって、推定部１２０は、画像データの全ての画素について式（４）の観測方程式を解くことにより、入射光の分光特性を全ての画素について求めることが可能である。
　生成部１３０は、可視画像と近赤外画像とを生成する。生成部１３０は、推定部１２０により推定された入射光の分光特性と、撮像部の分光感度特性とに基づいて、可視画像と近赤外画像とを生成する。具体的には、生成部１３０は、以下のように可視画像と近赤外画像とを生成する。以下においては、近赤外画像を、必要に応じて「ＮＩＲ（near-infrared）画像」ともいう。
　例えば、カラーイメージセンサの分光感度特性ＣR（λ）、ＣG（λ）、ＣB（λ）のうち、可視領域の分光感度特性をＣR_VIS（λ）、ＣG_VIS（λ）、ＣB_VIS（λ）とする。すると、可視光成分による色信号ＲVIS、ＧVIS、ＢVISは、式（５）により表される。ここにおいて、λ３は、可視光の波長域の上限（近赤外光の波長域の下限）を表す。λ３は、λ１＜λ３＜λ２を満たす。
Figure JPOXMLDOC01-appb-I000005
　生成部１３０は、カラー画像を構成する全ての画素について色信号ＲVIS、ＧVIS、ＢVISを生成することで、それぞれの色成分の可視光成分による画像データＩR、ＩG、ＩBを生成することができる。画像データＩR、ＩG、ＩBは、可視画像を表す画像データである。
　また、生成部１３０は、カラーイメージセンサの分光感度特性ＣR（λ）、ＣG（λ）、ＣB（λ）のうちの近赤外領域の分光感度特性ＣR_NIR（λ）、ＣG_ NIR（λ）、ＣB_ NIR（λ）を用いて、近赤外光成分による色信号ＲNIR、ＧNIR、ＢNIRを式（６）により求める。
Figure JPOXMLDOC01-appb-I000006
　生成部１３０は、カラー画像を構成する全ての画素について色信号ＲNIR、ＧNIR、ＢNIRを生成し、これらを画素毎に加算することで、近赤外光成分による画像データＩNIRを生成することができる。画像データＩNIRは、近赤外画像を表す画像データである。
　図２は、画像処理装置１００が実行する画像処理を示すフローチャートである。ステップＳ１において、取得部１１０は、撮像部により撮像されたＭチャネルのカラー画像を取得する。ステップＳ２において、推定部１２０は、ステップＳ１において取得されたＭチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、入射光の分光特性を推定する。ステップＳ３において、生成部１３０は、ステップＳ２において推定された入射光の分光特性と、撮像部の分光感度特性とに基づき、可視画像と近赤外画像とを生成する。
　以上のとおり、本実施形態の画像処理装置１００は、カラー画像の色情報、撮像部の分光感度特性及び入射光の分光特性をモデル化した情報に基づいて入射光の分光特性を推定する構成を有する。この構成は、可視光成分と近赤外光成分とを別個のイメージセンサで読み取るような構成や、光学フィルタを機械的に移動させる構成を有することなく可視画像と近赤外画像とを生成することが可能である。したがって、本実施形態の画像処理装置１００は、このような特別な構成を要することなく、可視画像と近赤外画像とを簡易な構成で生成することを可能にする。
　［第２実施形態］
　図３は、別の実施形態に係る画像処理システム２００の構成を示すブロック図である。画像処理システム２００は、撮像装置２１０と、画像処理装置２２０とを含んで構成される。画像処理システム２００は、撮像装置２１０及び画像処理装置２２０以外の構成を含んでもよい。例えば、画像処理システム２００は、撮像装置２１０により供給されるデータを記憶し、又は画像処理装置２２０に転送する別の装置を含んでもよい。
　撮像装置２１０は、被写体を撮像し、画像データを生成する。本実施形態において、撮像装置２１０は、イメージセンサと、Ｒ、Ｇ、Ｂの３色の光学フィルタとを含むカラーイメージセンサを有する。撮像装置２１０は、入射光に応じたカラー画像を表す画像データを生成して出力する。この画像データは、可視領域及び近赤外領域に分光感度を有する。撮像装置２１０は、例えば、デジタルスチルカメラであってもよい。
　撮像装置２１０のカラーイメージセンサは、近赤外領域に受光感度を有するように構成されている。すなわち、撮像装置２１０の光学フィルタは、近赤外光の少なくとも一部を透過するように構成されている。一般に、カラーイメージセンサは、近赤外光の透過を妨げるフィルタ（ＩＲカットフィルタ）をカラーフィルタとは別に有している場合がある。撮像装置２１０は、このような一般的なカラーイメージセンサからＩＲカットフィルタを取り除いたカラーイメージセンサを用いて構成されてもよい。
　なお、本実施形態において、可視光とは、波長が４００～７００ｎｍの電磁波をいう。また、近赤外光とは、波長が７００～１０００ｎｍの電磁波をいう。すなわち、本実施形態においては、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍである。
　図４は、撮像装置２１０のイメージセンサの分光感度特性の一例を示す図である。図４に示すように、撮像装置２１０のイメージセンサは、可視光に加えて近赤外光に感度を有する。
　図５は、Ｒ、Ｇ、Ｂの各色の光学フィルタの分光透過特性の一例を示す図である。図５に示すように、撮像装置２１０の光学フィルタは、可視光に加えて近赤外光を透過する特性を有している。なお、撮像装置２１０のイメージセンサは、各画素がＲ、Ｇ、Ｂ３色のいずれについても受光できるように構成されているものとする。
　図６は、一般的なカラーイメージセンサに用いられるＩＲカットフィルタの分光透過特性の一例を示す図である。一般的なカラーイメージセンサは、このようなＩＲカットフィルタをカラーフィルタとともに設けることで、近赤外光がカットされた撮像、すなわち人間の色知覚に近い撮像を可能にしている。
　画像処理装置２２０は、画像データに対して画像処理を実行する。画像処理装置２２０は、撮像装置２１０から供給された画像データに基づいて、可視画像に相当する画像データと近赤外画像に相当する画像データとを生成することができる。画像処理装置２２０は、データ取得部２２１と、スペクトル推定部２２２と、可視画像生成部２２３と、ＮＩＲ画像生成部２２４とを含んで構成される。
　データ取得部２２１は、データを取得する。データ取得部２２１は、例えば、撮像装置２１０から画像データを受信するための有線又は無線のインタフェースを含む。あるいは、データ取得部２２１は、記憶媒体に記憶された画像データを読み出すリーダを含んでもよい。データ取得部２２１は、第１実施形態の取得部１１０の一例に相当する。
　データ取得部２２１は、画像データを少なくとも取得する。データ取得部２２１は、画像データに加え、撮像装置２１０の分光感度特性を示すデータ（以下「特性データ」ともいう。）を取得するように構成されてもよい。あるいは、データ取得部２２１は、画像データにメタデータとして埋め込まれ、又は画像データに関連付けられた特性データを取得してもよい。
　スペクトル推定部２２２は、撮像装置２１０のカラーイメージセンサの各画素に入射した光の分光特性を推定する。本実施形態において、スペクトル推定部２２２は、入射光のスペクトルを推定する。スペクトル推定部２２２は、データ取得部２２１により取得された画像データと、撮像装置２１０の特性データとに基づき、入射光のスペクトルを推定する。スペクトル推定部２２２は、第１実施形態の推定部１２０の一例に相当する。
　可視画像生成部２２３は、可視画像を表す第１の画像データを生成する。可視画像生成部２２３は、スペクトル推定部２２２により推定された入射光のスペクトルと、撮像装置２１０の特性データとに基づき、第１の画像データを生成する。可視画像生成部２２３（及びＮＩＲ画像生成部２２４）は、第１実施形態の生成部１３０の一例に相当する。
　ＮＩＲ画像生成部２２４は、近赤外画像を表す第２の画像データを生成する。ＮＩＲ画像生成部２２４は、スペクトル推定部２２２により推定された入射光のスペクトルと、撮像装置２１０の特性データとに基づき、第２の画像データを生成する。
　なお、ここでいう第１の画像データ及び第２の画像データは、便宜的な区別にすぎない。例えば、画像処理装置２２０は、第１の画像データ（３チャネル）及び第２の画像データ（１チャネル）に相当する４チャネルの画像データを出力するように構成されてもよい。
　画像処理システム２００の構成は、以上のとおりである。画像処理装置２２０は、原理的には、第１実施形態の画像処理装置１００と同様に動作する。より詳細には、画像処理装置２２０は、式（１）～（６）を用いて説明された原理の下、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍであるとして必要な演算を実行する。
　例えば、可視画像生成部２２３は、式（２）のモデル化に基づき、可視光成分による色信号ＲVIS、ＧVIS、ＢVISを次の式（７）を用いて算出する。
Figure JPOXMLDOC01-appb-I000007
　また、ＮＩＲ画像生成部２２４は、近赤外光成分による色信号ＲNIR、ＧNIR、ＢNIRを式（８）を用いて算出する。
Figure JPOXMLDOC01-appb-I000008
　図７は、本実施形態における平均ベクトルｒ0（λ）と基底ベクトルｒi（λ）の一例を示す図である。基底ベクトルｒi（λ）は、上述のように、光源の分光特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって求めることが可能である。
　本実施形態の画像処理システム２００は、第１実施形態の画像処理装置１００と同様の構成を含む。そのため、画像処理システム２００は、画像処理装置１００と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。
　［第３実施形態］
　図８は、さらに別の実施形態に係る撮像装置３００の構成を示すブロック図である。撮像装置３００は、光学系部材３１０と、カラーイメージセンサ３２０と、画像処理部３３０と、メモリ３４０とを含んで構成される。カラーイメージセンサ３２０は、より詳細には、光学フィルタ３２１とフォトセンサ３２２とを含む。
　光学系部材３１０は、光をカラーイメージセンサ３２０に誘導する。光学系部材３１０は、例えば、レンズやミラーを含む。光学系部材３１０は、可視光及び近赤外光をカラーイメージセンサ３２０に入射させる。
　カラーイメージセンサ３２０は、入射光に応じた画像データを生成する。光学フィルタ３２１は、Ｒ、Ｇ、Ｂの３色の光学フィルタを含んで構成される。光学フィルタ３２１は、いわゆるベイヤ（Bayer）配列で各色の光学フィルタが配置される。したがって、フォトセンサ３２２は、各画素がＲ、Ｇ、Ｂの３色のいずれかの色成分を選択的に受光する。
　図９は、光学フィルタ３２１の構成の一例を示す図である。この例において、赤色（Ｒ）のカラーフィルタは、奇数行奇数列の画素に対応して設けられる。これに対し、青色（Ｂ）のカラーフィルタは、偶数行偶数列の画素に対応して設けられる。また、緑色（Ｇ）のカラーフィルタは、奇数行偶数列及び偶数行奇数列の画素に対応して設けられる。
　光学フィルタ３２１が図９に示される構成の場合、フォトセンサ３２２は、奇数行奇数列の画素で赤色に相当する光（及び近赤外光）を受光し、偶数行偶数列の画素で青色に相当する光（及び近赤外光）を受光する。また、フォトセンサ３２２は、その他の画素で緑色に相当する光（及び近赤外光）を受光する。
　なお、一般的なカラーイメージセンサは、光学フィルタ３２１の前段（すなわち光学系部材３１０と光学フィルタ３２１の間）にＩＲカットフィルタ３２３を有する。カラーイメージセンサ３２０は、このような一般的なカラーイメージセンサからＩＲカットフィルタ３２３を取り除いた構成であってもよい。したがって、カラーイメージセンサ３２０は、大量生産が容易な汎用品を用いて作成可能である。
　画像処理部３３０は、第２実施形態の画像処理装置２２０と同様の構成を有する。具体的には、画像処理部３３０は、カラーイメージセンサ３２０により生成された画像データを取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第１の画像データを生成する機能と、近赤外画像を表す第２の画像データを生成する機能とを含む。また、画像処理部３３０は、取得された画像データに対してデモザイキング処理を実行する機能を有する。なお、本実施形態における可視光及び近赤外光の波長域は、第２実施形態に準ずる。すなわち、本実施形態においても、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍである。
　メモリ３４０は、上述の第２実施形態と同様の特性データを記憶する。ただし、本実施形態の特性データは、撮像装置３００の分光感度特性を示すデータである。メモリ３４０は、揮発性又は不揮発性の記憶媒体を含んで構成される。この記憶媒体は、特定の種類の記憶媒体に限定されない。特性データは、撮像装置３００を用いてあらかじめ測定されてもよく、実験的又は経験的に決定されてもよい。
　撮像装置３００の構成は、以上のとおりである。撮像装置３００は、このような構成により、可視光と近赤外光とを含む入射光に応じた画像データに基づき、可視画像に相当する第１の画像データと近赤外画像に相当する第２の画像データとを生成する。
　光学フィルタ３２１がベイヤ配列であるため、画像処理部３３０に入力される画像データは、各画素が単一の色成分のみよって構成されている。そのため、画像処理部３３０は、デモザイキング処理を実行する。デモザイキング処理は、複数のアルゴリズムが周知である。画像処理部３３０は、例えば、デモザイキング処理を以下のように実行する。ただし、画像処理部３３０が実行するデモザイキング処理は、特定のアルゴリズムに限定されない。
　ここで、図９を参照し、第ｉ行第ｊ列の画素の座標を（ｉ，ｊ）とする。また、座標（ｉ，ｊ）における各チャネルの色信号をそれぞれＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）とする。説明の便宜上、以下においては、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）をそれぞれ「Ｒ値」、「Ｇ値」、「Ｂ値」ともいう。
　例えば、座標（１，１）の画素は、赤色に相当する画素である。したがって、座標（１，１）のＲ値は、式（９）に示されるように、座標（１，１）の色信号がそのまま用いられる。
Figure JPOXMLDOC01-appb-I000009
　一方、座標（１，１）のＧ値及びＢ値は、当該座標の色信号から直接には取得できない。そのため、座標（１，１）のＧ値及びＢ値は、例えば式（１０）、（１１）に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
Figure JPOXMLDOC01-appb-I000010
Figure JPOXMLDOC01-appb-I000011
　次に、座標（１，２）の画素は、緑色に相当する画素である。したがって、座標（１，２）のＧ値は、式（１２）に示されるように、座標（１，２）の色信号がそのまま用いられる。
Figure JPOXMLDOC01-appb-I000012
　また、座標（１，２）のＲ値及びＢ値は、例えば式（１３）、（１４）に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
Figure JPOXMLDOC01-appb-I000013
Figure JPOXMLDOC01-appb-I000014
　画像処理部３３０は、他の画素についても同様にＲ値、Ｇ値及びＢ値を計算する。画像処理部３３０は、Ｒ値、Ｇ値及びＢ値を全ての画素について計算することにより、各画素について３チャネル分の色情報を得ることができる。画像処理部３３０がデモザイキング処理以降に実行する処理は、第２実施形態の画像処理装置２２０が実行する処理と同様である。
　本実施形態の撮像装置３００は、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、撮像装置３００は、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。加えて、撮像装置３００は、近赤外画像を生成するために特別な構成を要する場合に比べ、簡易又は安価な構成で近赤外画像を生成可能であり、ひいては装置の小型化や（少ない故障による）信頼性の向上に寄与することが期待できる。
　［第４実施形態］
　図１０は、さらに別の実施形態に係る画像処理装置２２０ａの構成を示すブロック図である。画像処理装置２２０ａは、第２実施形態の画像処理装置２２０と同様のデータ取得部２２１、スペクトル推定部２２２及び可視画像生成部２２３を含んで構成される。加えて、画像処理装置２２０ａは、信号分離部２２５を有する。
　信号分離部２２５は、近赤外画像を生成する機能を有する。具体的には、信号分離部２２５は、データ取得部２２１により供給される画像データと、可視画像生成部２２３により生成された第１の画像データとに基づいて、第２の画像データを生成する。
　より詳細には、信号分離部２２５は、データ取得部２２１により供給される画像データと第１の画像データの差に基づいて第２の画像データを生成する。例えば、データ取得部２２１により供給される（可視成分及び近赤外成分を含む）３チャネルの画像データをＩR_NIR、ＩG_NIR、ＩB_NIR、（可視成分を含む）第１の画像データをＩR、ＩG、ＩBとした場合、信号分離部２２５は、式（１５）により第２の画像データＩNIRを算出する。ここにおいて、ｃR1、ｃG1、ｃB1は、所定の係数である。
Figure JPOXMLDOC01-appb-I000015
　本実施形態の画像処理装置２２０ａは、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、画像処理装置２２０ａは、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。また、画像処理装置２２０ａは、信号分離部２２５を有することにより、減算等の簡易な計算によって第２の画像データを生成することが可能である。
　［第５実施形態］
　図１１は、さらに別の実施形態に係る画像処理装置２２０ｂの構成を示すブロック図である。画像処理装置２２０ｂは、第２実施形態の画像処理装置２２０と同様のデータ取得部２２１、スペクトル推定部２２２及びＮＩＲ画像生成部２２４を含んで構成される。加えて、画像処理装置２２０ｂは、信号分離部２２６を有する。
　信号分離部２２６は、可視画像を生成する機能を有する。具体的には、信号分離部２２６は、データ取得部２２１により供給される画像データと、ＮＩＲ画像生成部２２４により生成された第２の画像データとに基づいて、第１の画像データを生成する。
　より詳細には、信号分離部２２６は、データ取得部２２１により供給される画像データと第２の画像データの差に基づいて第１の画像データを生成する。例えば、データ取得部２２１により供給される（可視成分及び近赤外成分を含む）３チャネルの画像データをＩR_NIR、ＩG_NIR、ＩB_NIR、（近赤外成分を含む）第２の画像データをＩNIRとした場合、信号分離部２２６は、式（１６）により第１の画像データＩR、ＩG、ＩBを算出する。ここにおいて、ｃR2、ｃG2、ｃB2は、所定の係数である。
Figure JPOXMLDOC01-appb-I000016
　本実施形態の画像処理装置２２０ｂは、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、画像処理装置２２０ｂは、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。また、画像処理装置２２０ｂは、信号分離部２２６を有することにより、減算等の簡易な計算によって第１の画像データを生成することが可能である。
　［第６実施形態］
　図１２は、さらに別の実施形態に係る撮像装置６００の構成を示すブロック図である。撮像装置６００は、いわゆる多板方式の撮像装置の一例である。すなわち、本開示に係る撮像装置は、単板方式に限定されない。撮像装置６００は、色分解部６１０と、フォトセンサ６２０、６３０、６４０と、画像処理部６５０と、メモリ６６０とを含んで構成される。
　色分解部６１０は、入射光を特定の波長域毎に分散させる。色分解部６１０は、例えば、プリズムである。色分解部６１０は、可視成分と近赤外成分とを含む入射光をＲ、Ｇ、Ｂのそれぞれの波長域に相当する色光に分解して出射する。色分解部６１０から出射された色光は、フォトセンサ６２０、６３０、６４０に入射する。
　フォトセンサ６２０、６３０、６４０は、入射光に応じた画像データを生成する。フォトセンサ６２０は、赤色に相当する画像データＩR_NIRを生成する。フォトセンサ６３０は、緑色に相当する画像データＩG_NIRを生成する。フォトセンサ６４０は、青色に相当する画像データＩB_NIRを生成する。これらの画像データの少なくともいずれかには、可視成分だけでなく近赤外成分も含まれる。
　画像処理部６５０は、第２実施形態の画像処理装置２２０と同様の構成を有する。すなわち、画像処理部６５０は、フォトセンサ６２０、６３０、６４０により生成された画像データ（ＩR_NIR、ＩG_NIR、ＩB_NIR）を取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第１の画像データ（ＩR、ＩG、ＩB）を生成する機能と、近赤外画像を表す第２の画像データ（ＩNIR）を生成する機能とを含む。
　メモリ６６０は、撮像装置６００の分光感度特性を示す特性データを記憶する。メモリ６６０は、第３実施形態のメモリ３４０と同様の構成でよい。ただし、特性データの具体的な値は、第３実施形態の特性データの値と異なり得る。
　本実施形態によれば、他の実施形態と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。撮像装置６００は、ハードウェア的には、一般的な３板方式の撮像装置からＩＲカットフィルタを取り除くことによって実現することが可能である。ただし、画像処理部６５０が実行する画像処理には、一般的な３板方式の撮像装置が実行する画像処理と異なる処理が含まれる。
　［変形例］
　本開示は、上述された第１実施形態～第６実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例の形態及び変形例から想到し得る形態を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
　（変形例１）
　カラー画像のチャネル数と各チャネルの色成分（すなわち波長域）は、いずれも特定の値に限定されない。例えば、カラー画像のチャネル数は、４以上であってもよい。また、カラー画像の色成分は、ＲＧＢに代えてＣ（Cyan）Ｍ（Magenta）Ｙ（Yellow）が用いられてもよい。
　（変形例２）
　本開示に係る装置（画像処理装置１００、２２０、撮像装置３００、６００など）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよく、２以上の装置を組み合わせて用いて各種処理を分担するように構成されてもよい。
　図１３は、本開示に係る装置を実現するためのコンピュータ装置７００のハードウェア構成の一例を示すブロック図である。コンピュータ装置７００は、ＣＰＵ（Central Processing Unit）７０１と、ＲＯＭ（Read Only Memory）７０２と、ＲＡＭ（Random Access Memory）７０３と、記憶装置７０４と、ドライブ装置７０５と、通信インタフェース７０６と、入出力インタフェース７０７とを含んで構成される。本開示に係る装置は、図１３に示される構成（又はその一部）によって実現され得る。
　ＣＰＵ７０１は、ＲＡＭ７０３を用いてプログラム７０８を実行する。プログラム７０８は、ＲＯＭ７０２に記憶されていてもよい。また、プログラム７０８は、メモリカード等の記録媒体７０９に記録され、ドライブ装置７０５によって読み出されてもよいし、外部装置からネットワーク７１０を介して送信されてもよい。通信インタフェース７０６は、ネットワーク７１０を介して外部装置とデータをやり取りする。入出力インタフェース７０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース７０６及び入出力インタフェース７０７は、データを取得又は出力するための構成要素として機能することができる。
　なお、本開示に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。
　上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置１００、２２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１６年６月２４日に出願された日本出願特願２０１６－１２５１４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００　　画像処理装置
　１１０　　取得部
　１２０　　推定部
　１３０　　生成部
　２００　　画像処理システム
　２１０　　撮像装置
　２２０、２２０ａ、２２０ｂ　　画像処理装置
　２２１　　データ取得部
　２２２　　スペクトル推定部
　２２３　　可視画像生成部
　２２４　　ＮＩＲ画像生成部
　２２５、２２６　　信号分離部
　３００、６００　　撮像装置
　７００　　コンピュータ装置

Claims (10)

  1. 　可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得する取得手段と、
    　前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と
    　を備える画像処理装置。
  2. 　前記カラー画像は、Ｍチャネル（Ｍは２以上の整数）のカラー画像であり、
    　前記情報は、前記入射光の分光特性を、入射光の平均ベクトルとＭ個の基底ベクトルとによってモデル化した情報である
    　請求項１に記載の画像処理装置。
  3. 　前記生成手段は、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記可視画像を生成し、
    　前記カラー画像と当該生成された可視画像とに基づいて前記近赤外画像を生成する
    　請求項１又は請求項２に記載の画像処理装置。
  4. 　前記生成手段は、
    　前記カラー画像と前記生成された可視画像の差に基づいて前記近赤外画像を生成する
    　請求項３に記載の画像処理装置。
  5. 　前記生成手段は、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記近赤外画像を生成し、
    　前記カラー画像と当該生成された近赤外画像とに基づいて前記可視画像を生成する
    　請求項１又は請求項２に記載の画像処理装置。
  6. 　前記生成手段は、
    　前記カラー画像と前記生成された近赤外画像の差に基づいて前記可視画像を生成する
    　請求項５に記載の画像処理装置。
  7. 　前記Ｍは、３であり、
    　前記カラー画像は、赤、緑及び青の３色の色成分により構成される
    　請求項２に記載の画像処理装置。
  8. 　撮像装置と画像処理装置とを備え、
    　前記撮像装置は、
    　可視光及び近赤外光を含む入射光に応じてＭチャネル（Ｍは２以上の整数）のカラー画像を生成する撮像手段を備え、
    　前記画像処理装置は、
    　前記撮像手段により撮像されたカラー画像を取得する取得手段と、
    　前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段とを備える
    　画像処理システム。
  9. 　可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得し、
    　前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定し、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する
    　画像処理方法。
  10. 　コンピュータに、
    　可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像を取得するステップと、
    　前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定するステップと、
    　前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成するステップと
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
PCT/JP2017/023073 2016-06-24 2017-06-22 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 WO2017222021A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018524162A JP6969550B2 (ja) 2016-06-24 2017-06-22 画像処理装置、画像処理システム、画像処理方法及びプログラム
US16/311,785 US10863115B2 (en) 2016-06-24 2017-06-22 Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-125147 2016-06-24
JP2016125147 2016-06-24

Publications (1)

Publication Number Publication Date
WO2017222021A1 true WO2017222021A1 (ja) 2017-12-28

Family

ID=60784145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023073 WO2017222021A1 (ja) 2016-06-24 2017-06-22 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Country Status (3)

Country Link
US (1) US10863115B2 (ja)
JP (1) JP6969550B2 (ja)
WO (1) WO2017222021A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181125A1 (ja) * 2018-03-22 2019-09-26 ソニー株式会社 画像処理装置及び画像処理方法
EP3609171A1 (en) * 2018-08-10 2020-02-12 Ricoh Company, Ltd. Reading device, image forming apparatus including same, and reading method
EP3609170A1 (en) * 2018-08-10 2020-02-12 Ricoh Company, Ltd. Image processing apparatus, image processing method, and carrier medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6725060B2 (ja) * 2017-03-31 2020-07-15 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059897A1 (ja) * 2013-10-23 2015-04-30 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
WO2015133130A1 (ja) * 2014-03-06 2015-09-11 日本電気株式会社 映像撮影装置、信号分離装置および映像撮影方法
WO2016051927A1 (ja) * 2014-09-29 2016-04-07 ソニー株式会社 信号処理装置、撮像装置および信号処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162841A (en) * 1989-10-11 1992-11-10 Fuji Photo Film Co., Ltd. Exposure controlling apparatus
JP3072729B2 (ja) * 1998-10-09 2000-08-07 日本電気株式会社 カラーマッチング方法、カラーマッチング装置並びにプログラムを記録した機械読み取り可能な記録媒体
US20050182328A1 (en) * 2002-08-09 2005-08-18 Hamamatsu Photonics K.K. System enabling chromaticity measurement in the visible and invisible ranges
WO2005101853A1 (ja) * 2004-04-05 2005-10-27 Mitsubishi Denki Kabushiki Kaisha 撮像装置
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4892909B2 (ja) * 2005-09-22 2012-03-07 ソニー株式会社 信号処理方法、信号処理回路およびこれを用いたカメラシステム
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP5718138B2 (ja) 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
JP5611490B1 (ja) * 2012-12-26 2014-10-22 シチズンホールディングス株式会社 投影装置
JP2014135571A (ja) * 2013-01-08 2014-07-24 V Technology Co Ltd 撮像装置
JP2015211727A (ja) * 2014-05-01 2015-11-26 オリンパス株式会社 内視鏡装置
WO2015198127A1 (ja) * 2014-06-24 2015-12-30 日立マクセル株式会社 撮像処理装置および撮像処理方法
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
EP3321661A4 (en) * 2015-07-10 2019-01-16 Sony Corporation INSPECTION DEVICE, INSPECTION PROCEDURE AND PROGRAM
JP7143767B2 (ja) * 2016-12-22 2022-09-29 日本電気株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2019190927A (ja) * 2018-04-23 2019-10-31 キヤノン株式会社 解析システム、撮像装置、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059897A1 (ja) * 2013-10-23 2015-04-30 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
WO2015133130A1 (ja) * 2014-03-06 2015-09-11 日本電気株式会社 映像撮影装置、信号分離装置および映像撮影方法
WO2016051927A1 (ja) * 2014-09-29 2016-04-07 ソニー株式会社 信号処理装置、撮像装置および信号処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181125A1 (ja) * 2018-03-22 2019-09-26 ソニー株式会社 画像処理装置及び画像処理方法
EP3609171A1 (en) * 2018-08-10 2020-02-12 Ricoh Company, Ltd. Reading device, image forming apparatus including same, and reading method
EP3609170A1 (en) * 2018-08-10 2020-02-12 Ricoh Company, Ltd. Image processing apparatus, image processing method, and carrier medium
CN110830669A (zh) * 2018-08-10 2020-02-21 株式会社理光 图像处理装置、图像处理系统、记录介质及图像处理方法
US10834272B2 (en) 2018-08-10 2020-11-10 Ricoh Company, Ltd. Reading device, image forming apparatus including same, and reading method
US11012585B2 (en) 2018-08-10 2021-05-18 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US20190208146A1 (en) 2019-07-04
US10863115B2 (en) 2020-12-08
JP6969550B2 (ja) 2021-11-24
JPWO2017222021A1 (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6969550B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
US9584743B1 (en) Image sensor with auto-focus and pixel cross-talk compensation
JP5406151B2 (ja) ３次元撮像装置
JP7143767B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
US11422026B2 (en) Information processing device, information processing method, and program to perform calibration with respect to environment light
JP2008085659A (ja) デジタルカメラ
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
US20160323563A1 (en) Method for compensating for color differences between different images of a same scene
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
KR100894420B1 (ko) 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
EP3001668A1 (en) Method for compensating for color differences between different images of a same scene
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP4859502B2 (ja) 撮像装置
US20210142446A1 (en) Image processing device, image processing method, and non-transitory computer-readable medium
US8866972B1 (en) Method for transmitting spectrum information
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
US20170206631A1 (en) Image processing unit, imaging device, computer-readable medium, and image processing method
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
TW202220431A (zh) 攝像元件及電子機器
JP2021043722A (ja) 映像処理装置、および、映像処理方法
JPWO2020209102A5 (ja)
JP2014230247A (ja) 画像作成装置及び画像作成方法
JP2014175731A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815487

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018524162

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815487

Country of ref document: EP

Kind code of ref document: A1