WO2018179378A1 - 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2018179378A1
WO2018179378A1 PCT/JP2017/013721 JP2017013721W WO2018179378A1 WO 2018179378 A1 WO2018179378 A1 WO 2018179378A1 JP 2017013721 W JP2017013721 W JP 2017013721W WO 2018179378 A1 WO2018179378 A1 WO 2018179378A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
infrared
incident light
light
Prior art date
Application number
PCT/JP2017/013721
Other languages
English (en)
French (fr)
Inventor
塚田 正人
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019508141A priority Critical patent/JP6725060B2/ja
Priority to US16/496,516 priority patent/US11140370B2/en
Priority to PCT/JP2017/013721 priority patent/WO2018179378A1/ja
Publication of WO2018179378A1 publication Critical patent/WO2018179378A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Definitions

  • This disclosure relates to image processing.
  • Some image sensors for capturing color images have sensitivity to near-infrared light in addition to visible light, such as silicon sensors.
  • An image sensor having sensitivity to near-infrared light has characteristics different from human color perception, and thus color reproducibility may deteriorate. Therefore, such an image sensor may be provided with a filter for cutting near infrared light from incident light.
  • Patent Document 1 discloses an imaging apparatus having a color filter that transmits a visible light component and an infrared light component.
  • the imaging device disclosed in Patent Literature 1 is configured so that, for example, not only red visible light region light but also infrared light region light is incident on an image sensor of a pixel corresponding to red (R). Yes.
  • the imaging device described in Patent Document 1 has a problem in color reproducibility because a yellow complementary color filter is used. Moreover, since the imaging device described in Patent Document 1 has a special sensor using four types of color filters having different transmittances, there is another incidental problem that the cost is increased.
  • An exemplary object of the present disclosure is to provide a technique for obtaining a near-infrared image while obtaining a visible image with high color reproducibility by one imaging.
  • Acquisition means for acquiring a color image including a second region imaged with reduced light, color information of the acquired color image, spectral sensitivity characteristics of the imaging means, and spectral characteristics of the incident light
  • An estimation means for estimating a spectral characteristic of incident light based on information obtained by modeling the image, and a generation for generating a visible image and a near-infrared image based on the estimated spectral characteristic and the spectral sensitivity characteristic of the imaging means
  • an image processing apparatus including means, and correction means for correcting the generated visible image and near-infrared image based on color information of the second region of the color image.
  • An image pickup apparatus including an image pickup unit that generates a color image, an acquisition unit that acquires a color image picked up by the image pickup unit, color information of the acquired color image, and spectral sensitivity characteristics of the image pickup unit , Based on information obtained by modeling the spectral characteristics of the incident light, and estimating means for estimating the spectral characteristics of the incident light; and based on the estimated spectral characteristics of the incident light and the spectral sensitivity characteristics of the imaging means.
  • Generation means for generating a visible image and a near-infrared image, and the generated visible light based on color information of an area that has been transmitted through the specific area and imaged by the imaging means out of the color image.
  • An image processing system including an image processing apparatus including a correction means for correcting the image and a near-infrared image is provided.
  • a color image captured by an imaging unit in response to incident light including visible light and near-infrared light, the first region and the near-red light from the incident light more than the first region A color image including a second region imaged with reduced external light is acquired, and color information of the acquired color image, spectral sensitivity characteristics of the imaging unit, and spectral characteristics of the incident light are modeled A spectral characteristic of incident light based on the converted information, a visible image and a near-infrared image are generated based on the estimated spectral characteristic and the spectral sensitivity characteristic of the imaging means, An image processing method for correcting the generated visible image and near-infrared image based on the color information of the second region is provided.
  • Acquiring a color image including a second region imaged with reduced near-infrared light, color information of the acquired color image, spectral sensitivity characteristics of the imaging means, and the incident light A step of estimating a spectral characteristic of incident light based on information obtained by modeling the spectral characteristic of the image, and generating a visible image and a near-infrared image based on the estimated spectral characteristic and the spectral sensitivity characteristic of the imaging means.
  • Data readable program recording medium Data readable program recording medium.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the image processing apparatus.
  • FIG. 2 is a diagram illustrating an example of the configuration of the filter.
  • FIG. 3A is a diagram illustrating an example of an average vector and a base vector.
  • FIG. 3B is a diagram illustrating another example of the average vector and the basis vector.
  • FIG. 4 is a diagram illustrating an example of the relationship between the coefficient of the first basis vector and the intensity of incident light.
  • FIG. 5 is a flowchart illustrating an example of image processing executed by the image processing apparatus.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the image processing system.
  • FIG. 7 is a diagram illustrating an example of spectral sensitivity characteristics of the image sensor of the imaging apparatus.
  • FIG. 8 is a diagram illustrating an example of the spectral transmission characteristic of the optical filter.
  • FIG. 9 is a diagram illustrating an example of spectral transmission characteristics of the IR cut filter.
  • FIG. 10 is a block diagram illustrating an example of the configuration of the imaging apparatus.
  • FIG. 11 is a diagram illustrating an example of the configuration of the optical filter.
  • FIG. 12 is a block diagram illustrating another example of the configuration of the image processing apparatus.
  • FIG. 13 is a block diagram illustrating still another example of the configuration of the image processing apparatus.
  • FIG. 14 is a block diagram illustrating still another example of the configuration of the image processing apparatus.
  • FIG. 15 is a block diagram illustrating an example of a hardware configuration of the computer apparatus.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 100 according to an embodiment.
  • the image processing apparatus 100 includes at least an acquisition unit 110, an estimation unit 120, a generation unit 130, and a correction unit 140.
  • the image processing apparatus 100 may include other configurations.
  • the acquisition unit 110 acquires a color image.
  • the acquisition unit 110 acquires a color image corresponding to incident light including visible light and near infrared light, which is captured by an imaging unit including an image sensor having sensitivity to both visible light and near infrared light.
  • the acquisition unit 110 may directly acquire a color image from the imaging unit, or may acquire a color image that has been captured by the imaging unit and stored in the storage medium from the storage medium.
  • the visible light is light in a wavelength range of approximately 400 to 700 nm (that is, electromagnetic waves).
  • near-infrared light generally refers to light having a wavelength range of approximately 700 to 2000 nm.
  • the upper and lower limits of visible light and near-infrared light are not necessarily limited to the wavelengths exemplified here, and may differ to some extent depending on, for example, the performance and configuration of the imaging unit.
  • the imaging unit includes, for example, a silicon-based sensor such as a CCD (Charge Coupled Device) image sensor and an optical filter (color filter) that filters light incident on the sensor.
  • a silicon-based sensor such as a CCD (Charge Coupled Device) image sensor and an optical filter (color filter) that filters light incident on the sensor.
  • the imaging unit is configured by an image sensor in which an optical filter corresponding to any one of R, G, and B is provided for each imaging element corresponding to a pixel.
  • Such an image sensor having a plurality of color optical filters is also referred to as a “color image sensor” below.
  • a color image is represented by a combination of multiple channel images.
  • the color image is represented by a combination of a plurality of color components.
  • the number of channels of the color image is not particularly limited as long as it is 2 or more.
  • the acquisition unit 110 may be configured to acquire a three-channel color image of R (red), G (green), and B (blue). In the following, it is assumed that the number of color image channels is “M”.
  • the color image acquired by the acquisition unit 110 includes a first region and a second region imaged by reducing near-infrared light from incident light as compared to the first region. That is, the color image acquired by the acquisition unit 110 includes a pixel imaged based on incident light including visible light and near infrared light, and a pixel imaged by reducing near infrared light from the incident light. Including. Such a color image can be acquired, for example, by providing a predetermined filter on the color image sensor of the imaging unit.
  • FIG. 2 is a diagram showing the configuration of the filter 150 provided in the color image sensor from the light incident side.
  • the filter 150 includes a near-infrared light transmitting portion 151 and a near-infrared light cutting portion 152 indicated by hatching.
  • the near infrared light transmission unit 151 transmits visible light and near infrared light.
  • the near-infrared light cut unit 152 transmits visible light, but is configured so that the transmittance of the near-infrared light is lower than that of the near-infrared light transmission unit 151.
  • the near-infrared light cut portions 152 are scattered in the filter 150 at predetermined intervals.
  • the arrangement of the near infrared light cut portion 152 is not limited to a specific arrangement.
  • the first area of the color image is an area picked up by incident light transmitted through the near-infrared light transmitting portion 151.
  • the second region of the color image is a region imaged by incident light transmitted through the near infrared light cut unit 152.
  • the transmittance (spectral transmittance) for each wavelength of visible light and near infrared light in the near infrared light transmitting unit 151 and the near infrared light cutting unit 152 is not limited to a specific value.
  • the near-infrared light cut unit 152 sufficiently reduces near-infrared light as compared to the near-infrared light transmission unit 151 (that is, to the extent that the influence of the near-infrared light does not substantially occur in the color information).
  • the near infrared light cut unit 152 completely blocks near infrared light. That is, the incident light transmitted through the near infrared light cut unit 152 does not include a near infrared component.
  • the estimation unit 120 estimates the spectral characteristics of incident light corresponding to each pixel of the color image acquired by the acquisition unit 110.
  • the estimation unit 120 is acquired by the acquisition unit 110 based on the color information of the color image of the M channel acquired by the acquisition unit 110, the spectral sensitivity characteristics of the imaging unit, and information obtained by modeling the spectral characteristics of incident light.
  • the spectral characteristics of the incident light that is the basis of the color image is estimated.
  • a color image is represented by three color components of R, G, and B.
  • the spectral sensitivity characteristics for each color component of the color image sensor are C R ( ⁇ ), C G ( ⁇ ), and C B ( ⁇ )
  • the spectral characteristics of incident light to a pixel of the color image sensor are E ( ⁇ ).
  • the color signals in each pixel are R, G, and B, these color signals are expressed as in Expression (1).
  • represents the wavelength of light, and can take an arbitrary value in a wavelength region in which the color image sensor has sensitivity.
  • the spectral sensitivity characteristic of the color image sensor can be expressed by the product of the spectral sensitivity characteristic of the image sensor and the spectral transmission characteristic of the optical filter, and is known.
  • the spectral characteristic E ( ⁇ ) of incident light is essentially continuous data that is not discrete with respect to wavelength.
  • the spectral characteristic E ( ⁇ ) of the incident light is relatively set. Modeling with a small number of parameters is introduced.
  • the spectral characteristic E ( ⁇ ) of the incident light can be obtained by using a well-known finite-dimensional linear model and an average vector (also referred to as “average function”) and several basis vectors (“basis function”). This can be modeled by a weighted sum (weighted sum).
  • the average vector and the basis vector can be obtained, for example, by performing principal component analysis based on the spectral characteristics of many different incident lights. Such modeling makes it possible to reproduce the spectral characteristic E ( ⁇ ) of incident light, which is originally continuous data, with relatively few parameters.
  • the number of base vectors to be added (that is, the number of dimensions) is not particularly limited, but in general, if it is about 2 to 4, the spectral characteristic E ( ⁇ ) can be reproduced without significantly damaging the original information. . In other words, a higher-order basis vector has a small contribution to the spectral characteristic E ( ⁇ ).
  • the number of basis vectors i is equal to the number of colors of the optical filter, that is, the number of channels (M) of the color image. That is, the number of basis vectors (that is, the maximum value of i) when a color image is represented by three color components of R, G, and B is “3”.
  • M 3
  • the basis vector r i ( ⁇ ) is a function expressing the spectral characteristics of incident light.
  • the basis vector r i ( ⁇ ) is obtained by principal component analysis of a spectral space formed by the product of the spectral characteristics of the light source and the surface reflectance of the object. According to such a basis vector r i ( ⁇ ), it is possible to express the spectral characteristics of incident light with a small number of parameters.
  • Equation (3) By substituting equation (2) into equation (1), an observation equation relating to the unknown parameter a i shown in equation (3) can be obtained.
  • the integration constant on the right side of Equation (3) is omitted for the sake of simplicity.
  • Equation (3) can be approximated to the sum shown in equation (4).
  • ⁇ 1 represents the lower limit of the wavelength range of visible light.
  • ⁇ 2 represents the upper limit of the wavelength range of near infrared light.
  • ⁇ 1 and ⁇ 2 depend on the spectral sensitivity characteristics of the color image sensor.
  • the pitch (step size) of ⁇ is, for example, 1 nm or 10 nm, although it depends on the color image sensor to be used.
  • the basis vector r i ( ⁇ ) is defined in the section from the wavelength region ⁇ 1 to ⁇ 2 of the spectral sensitivity characteristic of the color image sensor.
  • the observation equation of Equation (4) becomes a simultaneous ternary equation relating to the unknown parameter a i .
  • the estimation unit 120 can estimate the spectral characteristics of the incident light as follows.
  • the number of basis vectors that is, the maximum value of i
  • the spectral characteristic E ( ⁇ ) of the incident light is modeled as shown in Equation (5). Equation (5) is obtained by adding a 4 r 4 ( ⁇ ) to the spectral characteristic E ( ⁇ ) represented by Equation (2).
  • 3A and 3B are diagrams showing examples of the average vector r 0 ( ⁇ ) and the basis vector r i ( ⁇ ). Both the average vector r 0 ( ⁇ ) and the basis vector r i ( ⁇ ) are expressed as a function of ⁇ .
  • the basis vector r i ( ⁇ ) can be obtained by principal component analysis of a spectral space formed by the product of the spectral distribution characteristic of the light source and the surface reflectance of the object.
  • the first basis vector r 1 ( ⁇ ) of the incident light is positive throughout the illustrated wavelength band, and shows a relatively smooth line with little fluctuation. From these characteristics, it can be said that the coefficient of the first basis vector r 1 ( ⁇ ) corresponds to a coefficient for representing the intensity of incident light.
  • FIG. 4 is a diagram showing the relationship between the coefficient a 1 of the first basis vector r 1 ( ⁇ ) obtained using the spectral characteristics of actual incident light and the intensity I of incident light.
  • the intensity I of incident light may be represented by the luminance of the incident light, or may be represented by the sum of the image data of the three channels.
  • the correlation coefficient (Pearson's product moment correlation coefficient) between the coefficient a 1 and the intensity I is “0.98”. Therefore, it can be said that there is a very strong positive correlation between the coefficient a 1 and the intensity I.
  • a regression equation relating to the sum of the image data of three channels and the coefficient a 1 of the basis vector r 1 ( ⁇ ) can be obtained by simple regression analysis.
  • the coefficient a 1 of the basis vector r 1 ( ⁇ ) can be obtained.
  • the estimation unit 120 can restore the spectral characteristic E ( ⁇ ) of the incident light on the corresponding pixel in the image data by substituting the parameter a i obtained in this way into the equation (5).
  • the generation unit 130 generates a visible image and a near-infrared image.
  • the generation unit 130 generates a visible image and a near-infrared image based on the spectral characteristics of the incident light estimated by the estimation unit 120 and the spectral sensitivity characteristics of the imaging unit. Specifically, the generation unit 130 generates a visible image and a near-infrared image as follows.
  • the spectral sensitivity characteristics in the visible region are C R_VIS ( ⁇ ), C G_VIS ( ⁇ ), and C B_VIS. ( ⁇ ).
  • the color signals R VIS , G VIS , and B VIS due to the visible light component are calculated by Equation (7) when there are three basis vectors and Equation (8) when there are four basis vectors.
  • ⁇ 3 represents the upper limit of the wavelength range of visible light (the lower limit of the wavelength range of near infrared light). ⁇ 3 satisfies ⁇ 1 ⁇ 3 ⁇ 2.
  • the generation unit 130 generates the color signals R VIS , G VIS , and B VIS for all the pixels constituting the color image, thereby obtaining the image data I R , I G , and I B based on the visible light components of the respective color components. Can be generated.
  • the image data I R , I G , and I B are image data representing a visible image.
  • the generation unit 130 converts the spectral sensitivity characteristics in the near infrared region among the spectral sensitivity characteristics C R ( ⁇ ), C G ( ⁇ ), and C B ( ⁇ ) of the color image sensor to C R_NIR ( ⁇ ), C G_ NIR (lambda), when the C B_ NIR (lambda), the color signals R NIR near-infrared light component, G NIR, the B NIR, when base vectors is three formula (9), the base vector 4 When the number is individual, it is calculated by the equation (10).
  • the color signals R NIR , G NIR , and B NIR based on near-infrared light components are obtained by subtracting the color signals R VIS , G VIS , and B VIS based on visible light components from the color signals R, G, and B of the input image data. May be calculated.
  • the generation unit 130 generates color signals R NIR , G NIR , and B NIR for all the pixels constituting the color image, and adds them for each pixel to generate image data I NIR using a near-infrared light component. can do.
  • the image data I NIR is image data representing a near-infrared image.
  • the correction unit 140 corrects the visible image and the near-infrared image generated by the generation unit 130.
  • the correction unit 140 corrects the visible image and the near-infrared image based on the color information of the second region of the color image.
  • the correction unit 140 can correct the visible image and the near-infrared image as follows.
  • the color image captured using the filter 150 illustrated in FIG. 2 includes pixels in which the near-infrared light component included in the incident light is blocked by the near-infrared light cut unit 152 and a pixel value is generated. Exists. Such a pixel can be specified in advance at which coordinates of the color image by known calibration. Based on the color information of the pixels that do not include such a near-infrared light component, the correction unit 140 performs image data I R , I G , I B based on the visible light component and image data I NIR based on the near-infrared light component, Correct.
  • the correction unit 140 corrects the error between the pixel values (R1 K ′, G1 K ′, B1 K ′) after correction processing represented by Expression (11) and the true values (R0 K , G0 K , B0 K ).
  • a correction matrix M that minimizes is calculated.
  • the correction unit 140 is a pixel based on incident light that has passed through the near-infrared light cut unit 152 of the filter 150 in FIG. 2 in the color image, that is, incident light that does not include a near-infrared light component. Based on the above, at least three or more pixels are selected from the pixels whose pixel values are generated. It is assumed that the three or more pixels selected at this time are selected so that their hues are different.
  • the correction unit 140 obtains a set of (R0 K , G0 K , B0 K ) and (R1 K , G1 K , B1 K ) corresponding to the selected pixel. Now, when three pixels are selected, an observation equation for calculating the correction matrix M is expressed as in Expression (12).
  • m 11 to m 33 represent elements of the correction matrix M.
  • the correction unit 140 can calculate the correction matrix M by calculating the inverse matrix of the matrix of 9 rows and 9 columns on the right side of Equation (12) and multiplying both sides by the inverse matrix. Note that the matrix of 9 rows and 9 columns on the right side of Expression (12) can be calculated as an inverse matrix if three or more pixels are selected to have different hues as described above. .
  • the correction unit 140 may select four or more (that is, four or more colors) pixels.
  • the correction matrix M differs depending on the number of colors selected. For example, the observation equation when the number of colors is p is expressed by Expression (13). In equation (13), the number of equations is greater than the number of unknowns. Therefore, the correction unit 140 calculates the correction matrix M by using a least square method or the like.
  • the correction unit 140 substitutes the correction matrix M calculated from the observation equation of the equation (12) or the equation (13) into the equation (11), so that the coordinate K of the pixel not including the near-infrared light component in the color image is obtained. in (R1 K, G1 K, B1 K) pixel value after correction for (R1 K ', G1 K' , B1 K ') obtained. Then, the correction unit 140 to zero NIR1 K pixel values NIR1 K after correction '. Thereby, the correction of the correction unit 140, that is, the optimization of the pixel value is completed.
  • a correction process is applied to the pixel value (R1 X , G1 X , B1 X ) according to the equation (11), ( R1 X ', G1 X ', B1 X ') are obtained.
  • the correction unit 140 calculates NIR1 X ′ using Expression (14) so that the sum of the pixel values is equal before and after the correction.
  • NIR1 X ′ becomes negative, the correction unit 140 may set NIR1 X ′ to “0”.
  • FIG. 5 is a flowchart illustrating image processing executed by the image processing apparatus 100.
  • the acquisition unit 110 acquires an M channel color image including the first region and the second region described above.
  • the estimation unit 120 calculates the incident light based on the color information of the color image of the M channel acquired in step S1, the spectral sensitivity characteristic of the imaging unit, and information that models the spectral characteristic of the incident light. Estimate spectral characteristics.
  • the generation unit 130 generates a visible image and a near-infrared image based on the spectral characteristic of the incident light estimated in step S2 and the spectral sensitivity characteristic of the imaging unit.
  • the correction unit 140 corrects the visible image and the near-infrared image generated in step S3 based on the color information of the second region of the color image.
  • the image processing apparatus 100 has a configuration in which the spectral characteristics of incident light are estimated based on color information of a color image, spectral sensitivity characteristics of an imaging unit, and information modeling the spectral characteristics of incident light.
  • the visible image and the near-infrared image are obtained once without the configuration in which the visible light component and the near-infrared component are read by separate image sensors or the configuration in which the optical filter is mechanically moved. It is possible to generate by imaging. Therefore, the image processing apparatus 100 of the present embodiment can generate a visible image and a near-infrared image with a simple configuration without requiring such a special configuration.
  • the image processing apparatus 100 is based on a color image including a first region and a second region that is captured with near-infrared light being reduced from incident light as compared to the first region.
  • the visible image and the near-infrared image are corrected.
  • This configuration makes it possible to capture a pixel including a visible light component and a near-infrared light component and a pixel with a reduced near-infrared light component in a single image, and to solve the so-called optimization problem. Allows correction of images and near-infrared images. Therefore, the image processing apparatus 100 according to the present embodiment can improve the color reproducibility of the visible image as compared with the case where such a configuration is not provided.
  • FIG. 6 is a block diagram illustrating a configuration of an image processing system 200 according to another embodiment.
  • the image processing system 200 includes an imaging device 210 and an image processing device 220.
  • the image processing system 200 may include a configuration other than the imaging device 210 and the image processing device 220.
  • the image processing system 200 may include another device that stores or transfers data supplied by the imaging device 210 to the image processing device 220.
  • the imaging device 210 images a subject and generates image data.
  • the imaging apparatus 210 includes a color image sensor including a filter including a near-infrared light cut unit such as the filter 150 illustrated in FIG. 2 and optical filters of three colors R, G, and B. Have.
  • the imaging device 210 generates and outputs image data representing a color image corresponding to incident light.
  • This image data includes pixels whose pixel values include a visible light component and a near infrared light component.
  • the imaging device 210 may be a digital still camera, for example.
  • the image represented by the image data generated by the imaging device 210 is also referred to as a “captured image”.
  • the color image sensor of the imaging device 210 is configured to have light receiving sensitivity in a wavelength region from visible light to near infrared light.
  • the color image sensor can generate a captured image including the first region and the second region by transmitting incident light through a filter including a near-infrared light cut unit.
  • a color image sensor may have a filter (IR cut filter) that prevents transmission of infrared light separately from the color filter.
  • the imaging apparatus 210 may be created by replacing the IR cut filter of such a general color image sensor with a filter including a near infrared light cut unit such as the filter 150 illustrated in FIG. Good.
  • visible light refers to light (electromagnetic wave) having a wavelength of 400 to 700 nm.
  • FIG. 7 is a diagram illustrating an example of the spectral sensitivity characteristics of the image sensor of the imaging apparatus 210. As shown in FIG. 7, the image sensor of the imaging device 210 has sensitivity to near infrared light in addition to visible light.
  • FIG. 8 is a diagram showing an example of spectral transmission characteristics of optical filters of R, G, and B colors.
  • the optical filter of the imaging device 210 has a characteristic of transmitting near infrared light in addition to visible light.
  • the image sensor of the imaging device 210 is configured such that each pixel can receive light in any of R, G, and B3 colors.
  • FIG. 9 is a diagram showing an example of spectral transmission characteristics of an IR cut filter used in a general color image sensor.
  • a general color image sensor is provided with such an IR cut filter together with a color filter, thereby enabling imaging with near-infrared light cut, that is, imaging close to human color perception.
  • the image processing apparatus 220 performs image processing on the image data.
  • the image processing device 220 can generate image data corresponding to a visible image and image data corresponding to a near-infrared image based on the image data supplied from the imaging device 210.
  • the image processing apparatus 220 includes a data acquisition unit 221, a spectrum estimation unit 222, a visible image generation unit 223, a near infrared image generation unit 224, and an optimization unit 227.
  • the data acquisition unit 221 acquires data.
  • the data acquisition unit 221 includes, for example, a wired or wireless interface for receiving image data from the imaging device 210.
  • the data acquisition unit 221 may include a reader that reads image data stored in a storage medium.
  • the data acquisition unit 221 corresponds to an example of the acquisition unit 110 of the first embodiment.
  • the data acquisition unit 221 includes data indicating spectral sensitivity characteristics of the imaging device 210 and data indicating pixel coordinate information that does not include near-infrared light components in the captured image (hereinafter collectively referred to as “characteristic data”). It is also configured to obtain.
  • the characteristic data may be acquired in a form embedded in the image data as metadata or in a form associated with the image data.
  • the spectrum estimation unit 222 estimates the spectral characteristics of light incident on each pixel of the color image sensor of the imaging device 210. In the present embodiment, the spectrum estimation unit 222 estimates the spectrum of incident light. The spectrum estimation unit 222 estimates the spectrum of incident light based on the image data acquired by the data acquisition unit 221 and the spectral sensitivity characteristics included in the characteristic data of the imaging device 210. The spectrum estimation unit 222 corresponds to an example of the estimation unit 120 of the first embodiment.
  • the visible image generation unit 223 generates first image data representing a visible image.
  • the visible image generation unit 223 generates first image data based on the incident light spectrum estimated by the spectrum estimation unit 222 and the spectral sensitivity characteristic included in the characteristic data of the imaging device 210.
  • the visible image generation unit 223 (and the near infrared image generation unit 224) corresponds to an example of the generation unit 130 of the first embodiment.
  • the near-infrared image generation unit 224 generates second image data representing a near-infrared image.
  • the near-infrared image generation unit 224 generates second image data based on the spectrum of incident light estimated by the spectrum estimation unit 222 and the spectral sensitivity characteristics included in the characteristic data of the imaging device 210.
  • the image processing apparatus 200 may be configured to output 4-channel image data corresponding to the first image data (3 channels) and the second image data (1 channel).
  • the optimization unit 227 sets pixel values with higher accuracy for the visible image represented by the first image data generated by the visible image generation unit 223 and the near-infrared image represented by the second image data. Perform optimization.
  • the optimization unit 227 performs an optimization process with the captured image, the coordinate information included in the characteristic data of the imaging device 210, the visible image, and the near-infrared image as inputs, and the optimized visible image and near-red An outside image is generated.
  • the optimization unit 227 corresponds to an example of the correction unit 140 of the first embodiment.
  • the configuration of the image processing system 200 is as described above.
  • the visible image generation unit 223 calculates the color signals R VIS , G VIS , and B VIS based on the visible light component based on the modeling of Expression (2) using the following Expression (15). Note that the spectral characteristic E ( ⁇ ) may be replaced by Expression (2) to Expression (5).
  • the near-infrared image generation unit 224 calculates the color signals R NIR , G NIR , and B NIR based on the near-infrared light component using Expression (16). Also here, the spectral characteristic E ( ⁇ ) may be replaced by Expression (2) to Expression (5). The average vector r 0 ( ⁇ ) and the basis vector r i ( ⁇ ) may be the same as in the first embodiment.
  • the image processing system 200 includes the same configuration as that of the image processing apparatus 100 according to the first embodiment. Therefore, like the image processing apparatus 100, the image processing system 200 can generate a visible image and a near-infrared image with a simple configuration. In addition, the image processing system 200 can improve the color reproducibility of the visible image and the near-infrared image, similarly to the image processing apparatus 100.
  • FIG. 10 is a block diagram illustrating a configuration of an imaging apparatus 300 according to still another embodiment.
  • the imaging apparatus 300 includes an optical system member 310, a color image sensor 320, an image processing unit 330, and a memory 340. More specifically, the color image sensor 320 includes an optical filter 321, a photo sensor 322, and a filter 323.
  • the optical system member 310 guides light to the color image sensor 320.
  • the optical system member 310 includes, for example, a lens and a mirror.
  • the optical system member 310 causes visible light and near infrared light to enter the color image sensor 320.
  • the color image sensor 320 generates image data corresponding to incident light.
  • the optical filter 321 includes three color optical filters of R, G, and B.
  • the optical filter 321 has optical filters of each color arranged in a so-called Bayer array. Therefore, in the photosensor 322, each pixel selectively receives one of the three color components R, G, and B.
  • FIG. 11 is a diagram illustrating an example of the configuration of the optical filter 321.
  • the red (R) color filter is provided corresponding to the pixels in the odd rows and the odd columns.
  • the blue (B) color filter is provided corresponding to pixels in even rows and even columns.
  • the green (G) color filter is provided corresponding to the pixels in the odd-numbered and even-numbered columns and the even-numbered and odd-numbered columns.
  • the photosensor 322 receives light corresponding to red (and near-infrared light) at odd-numbered and odd-numbered pixels, and turns blue at even-numbered and even-numbered pixels. Corresponding light (and near infrared light) is received. The photosensor 322 receives light corresponding to green (and near-infrared light) at other pixels.
  • the filter 323 is a filter in which a plurality of near-infrared light cut portions are scattered, like the filter 150 of the first embodiment.
  • the filter 323 is provided before the optical filter 321, that is, between the optical system member 310 and the optical filter 321.
  • the memory 340 stores the above characteristic data.
  • the memory 340 includes a volatile or nonvolatile storage medium. This storage medium is not limited to a specific type of storage medium.
  • the characteristic data may be measured in advance using the imaging apparatus 300, or may be determined experimentally or empirically.
  • the configuration of the imaging apparatus 300 is as described above. With such a configuration, the imaging apparatus 300 has the first image data corresponding to the visible image and the first image corresponding to the near-infrared image based on the image data corresponding to the incident light including visible light and near-infrared light. 2 image data is generated.
  • the image processing unit 330 performs a demosaicing process.
  • a demosaicing process a plurality of algorithms such as a linear interpolation method, a gradient method, and an adaptive color plane interpolation method (Advanced Color Interpolation: ACPI) are well known.
  • the image processing unit 330 performs a demosaicing process as follows.
  • the demosaicing process executed by the image processing unit 330 is not limited to a specific algorithm.
  • the coordinates of the pixel in the i-th row and the j-th column are (i, j).
  • the color signals of the respective channels at the coordinates (i, j) are R (i, j), G (i, j), and B (i, j), respectively.
  • R (i, j), G (i, j), and B (i, j) are also referred to as “R value”, “G value”, and “B value”, respectively.
  • the pixel at the coordinates (1, 1) is a pixel corresponding to red. Therefore, as the R value of the coordinate (1, 1), the color signal of the coordinate (1, 1) is used as it is as shown in the equation (17).
  • the G value and B value of the coordinates (1, 1) cannot be obtained directly from the color signal of the coordinates. Therefore, the G value and B value of the coordinates (1, 1) can be obtained by interpolating from the color signals of neighboring pixels of the same color, as shown in equations (18) and (19), for example.
  • the pixel at coordinates (1, 2) is a pixel corresponding to green. Therefore, the color signal at the coordinates (1, 2) is used as it is for the G value at the coordinates (1, 2) as shown in the equation (20).
  • the R value and B value of the coordinates (1, 2) are obtained by interpolating from color signals of neighboring pixels of the same color, as shown in, for example, the equations (21) and (22).
  • the image processing unit 330 calculates the R value, the G value, and the B value for other pixels by interpolation from neighboring pixels of the same color.
  • the image processing unit 330 can obtain color information for three channels for each pixel by calculating the R value, the G value, and the B value for all the pixels.
  • the processing executed after the demosaicing processing by the image processing unit 330 is the same as the processing executed by the image processing device 220 of the second embodiment.
  • the imaging apparatus 300 of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. Therefore, like the image processing device 220, the imaging device 300 can generate a visible image and a near-infrared image with a simple configuration, and can improve the color reproducibility of the visible image and the near-infrared image. . In addition, the imaging apparatus 300 can generate a near-infrared image with a simple or inexpensive configuration as compared with the case where a special configuration is required to generate a near-infrared image, and thus the size of the apparatus can be reduced. It can be expected to contribute to the improvement of reliability (due to failure).
  • FIG. 12 is a block diagram illustrating a configuration of an image processing device 220a according to still another embodiment.
  • the image processing device 220a includes a data acquisition unit 221, a spectrum estimation unit 222, a visible image generation unit 223, and an optimization unit 227 similar to those of the image processing device 220 of the second embodiment.
  • the image processing device 220 a includes a signal separation unit 225.
  • the signal separation unit 225 has a function of generating a near-infrared image. Specifically, the signal separation unit 225 generates second image data based on the image data supplied by the data acquisition unit 221 and the first image data generated by the visible image generation unit 223. .
  • the signal separation unit 225 generates second image data based on the difference between the image data supplied by the data acquisition unit 221 and the first image data.
  • the three-channel image data (including the visible component and the near-infrared component) supplied by the data acquisition unit 221 is I R_NIR , I G_NIR , I B_NIR
  • the first image data is I R , I G , I B.
  • the signal separation unit 225 calculates the second image data I NIR according to the equation (23).
  • c R1 , c G1 , and c B1 are predetermined coefficients obtained experimentally or empirically.
  • all of c R1 , c G1 , and c B1 may be “1.0”, but are not limited thereto.
  • the image processing apparatus 220a of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. Therefore, like the image processing apparatus 220, the image processing apparatus 220a can generate a visible image and a near-infrared image with a simple configuration, and can improve the color reproducibility of the visible image and the near-infrared image. is there. Further, the image processing apparatus 220a includes the signal separation unit 225, so that the second image data can be generated by a simple calculation such as subtraction.
  • FIG. 13 is a block diagram illustrating a configuration of an image processing device 220b according to another embodiment.
  • the image processing device 220b includes a data acquisition unit 221, a spectrum estimation unit 222, a near-infrared image generation unit 224, and an optimization unit 227 similar to those of the image processing device 220 of the second embodiment.
  • the image processing device 220 b includes a signal separation unit 226.
  • the signal separation unit 226 has a function of generating a visible image. Specifically, the signal separation unit 226 converts the first image data based on the image data supplied from the data acquisition unit 221 and the second image data generated by the near-infrared image generation unit 224. Generate.
  • the signal separation unit 226 generates first image data based on the difference between the image data supplied from the data acquisition unit 221 and the second image data. For example, when the three-channel image data (including the visible component and the near-infrared component) supplied by the data acquisition unit 221 is I R_NIR , I G_NIR , I B_NIR , and the second image data is I NIR , signal separation is performed. parts 226, the first image data I R by equation (24), I G, and calculates the I B.
  • c R2 , c G2 , and c B2 are predetermined coefficients obtained experimentally or empirically. For example, all of c R2 , c G2 , and c B2 may be “1.0”, but are not limited thereto.
  • the image processing apparatus 220b of the present embodiment includes the same configuration as the image processing apparatus 220 of the second embodiment. Therefore, like the image processing apparatus 220, the image processing apparatus 220b can generate a visible image and a near-infrared image with a simple configuration, and can improve the color reproducibility of the visible image and the near-infrared image. is there.
  • the image processing apparatus 220b includes the signal separation unit 226, so that the first image data can be generated by a simple calculation such as subtraction.
  • FIG. 14 is a block diagram illustrating a configuration of an imaging apparatus 600 according to still another embodiment.
  • the imaging device 600 is an example of a so-called multi-plate imaging device. That is, the imaging device according to the present disclosure is not limited to the single plate method.
  • the imaging apparatus 600 includes a color separation unit 610, photosensors 620, 630, and 640, an image processing unit 650, a memory 660, and a filter 670.
  • the color separation unit 610 disperses incident light for each specific wavelength range.
  • the color separation unit 610 is, for example, a prism.
  • the color separation unit 610 decomposes incident light including a visible component and a near-infrared component into colored light corresponding to each of the R, G, and B wavelength ranges and emits the light.
  • the color light emitted from the color separation unit 610 passes through the filter 670 and enters the photosensors 620, 630, and 640.
  • the filter 670 is a filter interspersed with near-infrared light cut portions.
  • the configuration of the filter 670 may be the same as that of the filter 150 illustrated in the first embodiment.
  • Photosensors 620, 630, and 640 generate image data corresponding to light that passes through filter 670 and enters.
  • the photosensor 620 generates image data I R_NIR corresponding to red.
  • the photosensor 630 generates image data I G_NIR corresponding to green.
  • the photo sensor 640 generates image data I B_NIR corresponding to blue. At least one of these image data includes not only a visible component but also a near infrared component.
  • the image processing unit 650 has the same configuration as that of the image processing apparatus 220 of the second embodiment. That is, the image processing unit 650 has a function of acquiring image data (I R_NIR , I G_NIR , I B_NIR ) generated by the photosensors 620 , 630 , 640 , a function of estimating the spectral characteristics of incident light, and a visible image A function for generating first image data (I R , I G , I B ) representing the first image data, a function for generating second image data (I NIR ) representing a near-infrared image, and the first image data ( I R , I G , I B ) and second image data (I NIR ) corrected image data (I R ′, I G ′, I B ′, I NIR ′) are output.
  • image data I R_NIR , I G_NIR , I B_NIR
  • the memory 660 stores characteristic data indicating the spectral sensitivity characteristics of the imaging apparatus 600 and the coordinate information of pixels that do not include the near-infrared light component in the captured image.
  • the memory 660 may have the same configuration as the memory 340 in the third embodiment. However, the specific value of the characteristic data may be different from the value of the characteristic data of the third embodiment.
  • the imaging apparatus 600 can be realized by replacing the IR cut filter of a general three-plate imaging apparatus with a filter 670 in terms of hardware.
  • the image processing executed by the image processing unit 650 includes processing different from the image processing executed by a general three-plate imaging device.
  • the present disclosure is not limited to the first to sixth embodiments described above.
  • This indication may include the form which applied the modification or application which those skilled in the art can grasp.
  • this indication includes the form of the modification described below, and the form conceivable from the modification.
  • the present disclosure may include a form in which matters described in the present specification are appropriately combined as necessary.
  • the matters described using a specific embodiment can be applied to other embodiments as long as no contradiction arises.
  • the number of channels of the color image and the color component (that is, wavelength range) of each channel are not limited to specific values.
  • the number of color image channels may be four or more.
  • C (Cyan) M (Magenta) Y (Yellow) may be used instead of RGB as the color component of the color image.
  • Modification 2 Specific hardware configurations of the devices according to the present disclosure (the image processing devices 100 and 220, the imaging devices 300 and 600, and the like) include various variations, and are not limited to specific configurations.
  • each device may be realized using software, or may be configured to share various processes using a combination of two or more devices.
  • FIG. 15 is a block diagram illustrating an example of a hardware configuration of a computer device 700 for realizing the device according to the present disclosure.
  • the computer device 700 includes a CPU (Central Processing Unit) 701, a ROM (Read Only Memory) 702, a RAM (Random Access Memory) 703, a storage device 704, a drive device 705, a communication interface 706, and an input / output interface. 707.
  • the apparatus according to the present disclosure may be realized by the configuration (or part thereof) shown in FIG.
  • the CPU 701 executes the program 708 using the RAM 703.
  • the program 708 may be stored in the ROM 702. Further, the program 708 may be recorded on a recording medium 709 such as a memory card and read by the drive device 705 or may be transmitted from an external device via the network 710.
  • the communication interface 706 exchanges data with an external device via the network 710.
  • the input / output interface 707 exchanges data with peripheral devices (such as an input device and a display device).
  • the communication interface 706 and the input / output interface 707 can function as components for acquiring or outputting data.
  • the component of the apparatus according to the present disclosure may be configured by a single circuit (processor or the like) or may be configured by a combination of a plurality of circuits.
  • the circuit here may be either dedicated or general purpose.
  • the configuration described as a single device in the above-described embodiment may be distributed among a plurality of devices.
  • the image processing apparatuses 100 and 220 may be realized by a plurality of computer apparatuses using a cloud computing technique or the like.
  • the present invention has been described as an exemplary example of the above-described embodiments and modifications. However, the present invention is not limited to these embodiments and modifications. The present invention may include embodiments to which various modifications or applications that can be understood by those skilled in the art are applied within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

可視画像及び近赤外画像の色再現性を向上させる。画像処理装置100は、可視光及び近赤外光を含む入射光に応じて撮像部により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得する取得部110と、前記取得されたカラー画像の色情報と、前記撮像部の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定部120と、前記推定された分光特性と前記撮像部の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成部130と、前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正部140とを含む。

Description

画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
 本開示は、画像処理に関する。
 カラー画像を撮像するためのイメージセンサには、例えばシリコン系センサのように、可視光(visible light)のほかに近赤外光(near-infrared light)にも感度を有するものがある。近赤外光に感度を有するイメージセンサは、人間の色知覚と異なる特性を有するため、色再現性が低下する場合がある。よって、このようなイメージセンサには、入射光から近赤外光をカットするためのフィルタが設けられる場合がある。
 一方、感度の向上等を目的として、可視光だけでなく赤外光も受光するように構成されたイメージセンサもある。例えば、特許文献1は、可視光成分及び赤外光成分を透過するカラーフィルタを有する撮像装置を開示している。特許文献1に開示された撮像装置は、例えば赤色(R)に相当する画素の撮像素子には、赤色の可視光領域の光だけでなく赤外光領域の光も入射するように構成されている。
特開2012-227758号公報
 特許文献1に記載された撮像装置は、黄色の補色フィルタが使用されているため、色再現性に問題がある。また、特許文献1に記載された撮像装置は、4種類の異なる透過率を有するカラーフィルタを用いる特殊なセンサを有するため、高コストになるという別の付随的な問題もある。
 本開示の例示的な目的は、1回の撮像で色再現性が高い可視画像を得つつ近赤外画像をも得るための技術を提供することである。
 一の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定手段と、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成手段と、前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを含む画像処理装置が提供される。
 別の態様において、入射光のうちの近赤外光を、特定の領域において他の領域よりも低減させるフィルタと、前記フィルタを透過した入射光に応じてMチャネル(Mは2以上の整数)のカラー画像を生成する撮像手段とを含む撮像装置と、前記撮像手段により撮像されたカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と前記カラー画像のうち、前記特定の領域を透過して前記撮像手段により撮像された領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを含む画像処理装置とを含む画像処理システムが提供される。
 さらに別の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得し、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定し、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成し、前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する画像処理方法が提供される。
 さらに別の態様において、コンピュータに、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得するステップと、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定するステップと、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成するステップと、前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正するステップとを実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体が提供される。
 本開示によれば、1回の撮像で色再現性が高い可視画像を得つつ近赤外画像をも得ることが可能である。
図1は、画像処理装置の構成の一例を示すブロック図である。 図2は、フィルタの構成の一例を示す図である。 図3Aは、平均ベクトルと基底ベクトルの一例を示す図である。 図3Bは、平均ベクトルと基底ベクトルの別の例を示す図である。 図4は、第一基底ベクトルの係数と入射光の強度との関係の一例を示す図である。 図5は、画像処理装置が実行する画像処理の一例を示すフローチャートである。 図6は、画像処理システムの構成の一例を示すブロック図である。 図7は、撮像装置のイメージセンサの分光感度特性の一例を示す図である。 図8は、光学フィルタの分光透過特性の一例を示す図である。 図9は、IRカットフィルタの分光透過特性の一例を示す図である。 図10は、撮像装置の構成の一例を示すブロック図である。 図11は、光学フィルタの構成の一例を示す図である。 図12は、画像処理装置の構成の別の例を示すブロック図である。 図13は、画像処理装置の構成のさらに別の例を示すブロック図である。 図14は、画像処理装置の構成のさらに別の例を示すブロック図である。 図15は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
 [第1実施形態]
 図1は、一実施形態に係る画像処理装置100の構成を示すブロック図である。画像処理装置100は、取得部110と、推定部120と、生成部130と、補正部140を少なくとも含んで構成される。画像処理装置100は、他の構成を含んでもよい。
 取得部110は、カラー画像を取得する。取得部110は、可視光及び近赤外光のいずれにも感度を有するイメージセンサを含む撮像部により撮像された、可視光及び近赤外光を含む入射光に応じたカラー画像を取得する。取得部110は、撮像部からカラー画像を直接取得してもよいし、撮像部により撮像された後に記憶媒体に記憶されたカラー画像をその記憶媒体から取得してもよい。
 ここでいう可視光は、概ね400~700nmの波長域の光(すなわち電磁波)である。一方、近赤外光は、一般には概ね700~2000nmの波長域の光を指す。ただし、可視光及び近赤外光の上限及び下限は、ここに例示された波長に必ずしも限定されず、例えば、撮像部の性能や構成に応じてある程度異なってもよい。
 撮像部は、例えば、CCD(Charge Coupled Device)イメージセンサなどのシリコン系のセンサと、センサへの入射光をフィルタする光学フィルタ(カラーフィルタ)とを含んで構成される。例えば、撮像部は、画素に相当する撮像素子のそれぞれにR、G、Bのいずれかに相当する光学フィルタを設けたイメージセンサにより構成される。このような複数色の光学フィルタを有する構成のイメージセンサのことを、以下においては「カラーイメージセンサ」ともいう。
 カラー画像は、複数チャネルの画像の組み合わせにより表される。換言すれば、カラー画像は、複数の色成分の組み合わせにより表される。カラー画像のチャネル数は、2以上であれば特に限定されない。例えば、取得部110は、R(赤)、G(緑)、B(青)の3チャネルのカラー画像を取得するように構成されてもよい。以下においては、カラー画像のチャネル数を「M」とする。
 取得部110により取得されるカラー画像は、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含む。すなわち、取得部110により取得されるカラー画像は、可視光及び近赤外光を含む入射光に基づいて撮像された画素と、入射光から近赤外光が低減されて撮像された画素とを含む。このようなカラー画像は、例えば、撮像部のカラーイメージセンサに所定のフィルタを設けることで取得可能である。
 図2は、カラーイメージセンサに設けられるフィルタ150の構成を光が入射する側から示す図である。フィルタ150は、近赤外光透過部151と、ハッチングで示された近赤外光カット部152とを含む。近赤外光透過部151は、可視光及び近赤外光を透過する。一方、近赤外光カット部152は、可視光を透過するが、近赤外光の透過率が近赤外光透過部151よりも低くなるように構成されている。近赤外光カット部152は、フィルタ150に所定の間隔で点在する。近赤外光カット部152の配置は、特定の配置に限定されない。
 カラー画像のうちの第1の領域は、近赤外光透過部151を透過した入射光により撮像される領域である。これに対し、カラー画像のうちの第2の領域は、近赤外光カット部152を透過した入射光により撮像される領域である。
 近赤外光透過部151及び近赤外光カット部152における可視光及び近赤外光の波長毎の透過率(分光透過率)は、特定の値に限定されない。ただし、近赤外光カット部152は、近赤外光透過部151に比べて、近赤外光を十分に(すなわち色情報に近赤外光の影響が実質的に生じない程度に)低減させるように構成される。以下においては、説明の便宜上、近赤外光カット部152は近赤外光を完全に遮断するものとする。すなわち、近赤外光カット部152を透過した入射光は、近赤外成分を含まないものとする。
 推定部120は、取得部110により取得されたカラー画像の各画素に対応する入射光の分光特性を推定する。推定部120は、取得部110により取得されたMチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、取得部110により取得されたカラー画像の基となった入射光の分光特性を推定する。
 ここで、カラー画像がR、G、Bの3色の色成分により表されるとする。また、カラーイメージセンサの色成分毎の分光感度特性をCR(λ)、CG(λ)、CB(λ)とし、カラーイメージセンサのある画素への入射光の分光特性をE(λ)とする。ここで、各画素における色信号をR、G、Bとすると、これらの色信号は、式(1)のように表される。ここにおいて、λは、光の波長を表し、カラーイメージセンサが感度を有する波長域の任意の値をとり得る。
Figure JPOXMLDOC01-appb-I000001
 カラーイメージセンサの分光感度特性は、イメージセンサの分光感度特性と光学フィルタの分光透過特性の積で表すことができ、既知である。入射光の分光特性E(λ)は、本来、波長に関して離散的でない連続データである。本実施形態においては、画像データの色信号R、G、Bから入射光の分光特性E(λ)を式(1)に基づいて求めるために、入射光の分光特性E(λ)を比較的少数のパラメータで表現するモデル化が導入される。
 具体的には、入射光の分光特性E(λ)は、周知の有限次元線形モデルを用いることにより、平均ベクトル(「平均関数」ともいう。)といくつかの基底ベクトル(「基底関数」ともいう。)の加重和(重み付き和)によってモデル化することができる。平均ベクトル及び基底ベクトルは、例えば、多くの異なる入射光の分光特性に基づいて、主成分分析することによって得ることができる。このようなモデル化により、本来連続データである入射光の分光特性E(λ)を比較的少ないパラメータで再現することができる。ここにおいて、加算される基底ベクトルの数(すなわち次元数)は、特に限定されないが、一般には2~4程度あれば元の情報を大きく損なうことなく分光特性E(λ)を再現することができる。換言すれば、高次の基底ベクトルは、分光特性E(λ)に対する寄与が小さいということである。
 一例として、ここでは、基底ベクトルの数iは、光学フィルタの色数、すなわちカラー画像のチャネル数(M)と等しいものとする。すなわち、カラー画像がR、G、Bの3色の色成分により表される場合の基底ベクトルの数(すなわちiの最大値)は、「3」である。M=3の場合、入射光の分光特性E(λ)は、平均ベクトルをr0(λ)、基底ベクトルをri(λ)(i=1,2,3)とすると、式(2)のようにモデル化される。
Figure JPOXMLDOC01-appb-I000002
 基底ベクトルri(λ)は、入射光の分光特性を表現する関数である。基底ベクトルri(λ)は、光源の分光特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって得られる。このような基底ベクトルri(λ)によれば、入射光の分光特性を少ないパラメータで表現することが可能である。
 式(1)に式(2)を代入すると、式(3)に示される未知のパラメータaiに関する観測方程式を得ることができる。ここで、式(3)の右辺の積分定数は、説明を簡単にするために省略されている。
Figure JPOXMLDOC01-appb-I000003
 式(3)の積分は、式(4)に示される総和に近似することができる。ここにおいて、λ1は、可視光の波長域の下限を表す。また、λ2は、近赤外光の波長域の上限を表す。λ1、λ2は、カラーイメージセンサの分光感度特性に依存する。また、λのピッチ(刻み幅)は、使用するカラーイメージセンサにも依存するが、例えば1nm又は10nmである。なお、基底ベクトルri(λ)は、カラーイメージセンサの分光感度特性の波長領域λ1からλ2までの区間で定義されるものとする。
Figure JPOXMLDOC01-appb-I000004
 画像データから色情報、すなわち各色成分の色信号(R、G、B)が得られれば、式(4)の観測方程式は、未知のパラメータaiに関する連立三元一次方程式になる。そうすると、各画素の入射光の分光特性E(λ)は、式(4)により求められたパラメータai(i=1,2,3)を式(2)に代入することで推定することができる。したがって、推定部120は、画像データの全ての画素について式(4)の観測方程式を解くことにより、入射光の分光特性を全ての画素について求めることが可能である。
 次に、基底ベクトルの数がカラー画像のチャネル数(M)よりも1つ多く、「M+1」である場合を考える。基底ベクトルの数が「M+1」であると、「M」である場合よりも入射光の分光特性の再現性が高まるといえる。この場合においても、推定部120は、入射光の分光特性を以下のように推定することが可能である。カラー画像がR、G、Bの3色の色成分により表される場合の基底ベクトルの数(すなわちiの最大値)は、「4」である。この場合、入射光の分光特性E(λ)は、式(5)のようにモデル化される。式(5)は、式(2)で表された分光特性E(λ)に対してa44(λ)が加算されたものである。
Figure JPOXMLDOC01-appb-I000005
 式(5)から求められる観測方程式は、式(3)と同様に、式(6)のように表される。
Figure JPOXMLDOC01-appb-I000006
 式(6)において、基底ベクトルri(λ)(i=1~4)の係数である未知のパラメータaiは、4個であり、観測方程式の数である3個よりも多い状態(アンダーデターミナントな状態)となる。そのため、このままでは未知のパラメータaiを解析的に解くことはできない。そこで、基底ベクトルr1(λ)の係数a1については、別の方法であらかじめ求めることとする。以下、その方法の一例について説明する。
 図3A及び図3Bは、平均ベクトルr0(λ)と基底ベクトルri(λ)の一例を示す図である。平均ベクトルr0(λ)及び基底ベクトルri(λ)は、いずれもλの関数で表される。基底ベクトルri(λ)は、上述のように、光源の分光分布特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって求めることが可能である。
 図3A及び図3Bに示されるように、入射光の第一基底ベクトルr1(λ)は、図示された波長帯全域で正であり、かつ少ない変動で比較的滑らかな線を示す。このような特徴から、第一基底ベクトルr1(λ)の係数は、入射光の強度を表すための係数に相当するといえる。
 図4は、実際の入射光の分光特性を用いて得られた第一基底ベクトルr1(λ)の係数a1と入射光の強度Iとの関係を示す図である。ここにおいて、入射光の強度Iは、入射光の輝度によって表されてもよく、3チャネルの画像データの総和によって表されてもよい。図4の例において、係数a1と強度Iとの相関係数(ピアソンの積率相関係数)は、「0.98」である。したがって、係数a1と強度Iとの間には、非常に強い正の相関関係があるといえる。
 この性質に着目すると、例えば、単回帰分析により、3チャネルの画像データの総和と、基底ベクトルr1(λ)の係数a1に関する回帰式を得ることができる。この回帰式に3チャネルの画像データの総和を代入することで、基底ベクトルr1(λ)の係数a1を得ることができる。
 そして、この方法で算出したa1を式(6)に代入することで、アンダーデターミナントの問題は解消されて連立三元一次方程式となり、残りの未知パラメータai(i=2~4)を得ることができる。推定部120は、このようにして得られたパラメータaiを式(5)に代入することによって、画像データにおける該当する画素への入射光の分光特性E(λ)を復元することができる。
 生成部130は、可視画像と近赤外画像とを生成する。生成部130は、推定部120により推定された入射光の分光特性と、撮像部の分光感度特性とに基づいて、可視画像と近赤外画像とを生成する。具体的には、生成部130は、以下のように可視画像と近赤外画像とを生成する。
 例えば、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうち、可視領域の分光感度特性をCR_VIS(λ)、CG_VIS(λ)、CB_VIS(λ)とする。すると、可視光成分による色信号RVIS、GVIS、BVISは、基底ベクトルが3個のときは式(7)、基底ベクトルが4個のときは式(8)により算出される。ここにおいて、λ3は、可視光の波長域の上限(近赤外光の波長域の下限)を表す。λ3は、λ1<λ3<λ2を満たす。
Figure JPOXMLDOC01-appb-I000007

Figure JPOXMLDOC01-appb-I000008
 生成部130は、カラー画像を構成する全ての画素について色信号RVIS、GVIS、BVISを生成することで、それぞれの色成分の可視光成分による画像データIR、IG、IBを生成することができる。画像データIR、IG、IBは、可視画像を表す画像データである。
 また、生成部130は、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうちの近赤外領域の分光感度特性をCR_NIR(λ)、CG_ NIR(λ)、CB_ NIR(λ)とすると、近赤外光成分による色信号RNIR、GNIR、BNIRを、基底ベクトルが3個のときは式(9)、基底ベクトルが4個のときは式(10)で算出する。
Figure JPOXMLDOC01-appb-I000009

Figure JPOXMLDOC01-appb-I000010
 なお、近赤外光成分による色信号RNIR、GNIR、BNIRは、入力画像データの色信号R、G、Bから可視光成分による色信号RVIS、GVIS、BVISを減算することにより算出されてもよい。
 生成部130は、カラー画像を構成する全ての画素について色信号RNIR、GNIR、BNIRを生成し、これらを画素毎に加算することで、近赤外光成分による画像データINIRを生成することができる。画像データINIRは、近赤外画像を表す画像データである。
 補正部140は、生成部130により生成された可視画像及び近赤外画像を補正する。補正部140は、可視画像及び近赤外画像を、カラー画像のうちの第2の領域の色情報に基づいて補正する。例えば、補正部140は、以下のように可視画像及び近赤外画像を補正することができる。
 例えば、図2に示されるフィルタ150を用いて撮像されたカラー画像には、近赤外光カット部152によって入射光に含まれる近赤外光成分が遮られて画素値が生成される画素が存在する。このような画素は、周知のキャリブレーションにより、カラー画像のどの座標にあるかをあらかじめ特定することができる。補正部140は、このような近赤外光成分を含まない画素の色情報に基づいて、可視光成分による画像データIR、IG、IBと近赤外光成分による画像データINIRとを補正する。
 いま、撮像されたカラー画像における近赤外光成分を含まない画素の座標Kにおける色信号を(R0K,G0K,B0K,NIR0K(NIR0K=0))とする。また、生成部130で得られた画像データIR、IG、IB、INIRにおける近赤外光成分を含まない画素に対応する色信号を(R1K,G1K,B1K,NIR1K)とする。ここで、可視光成分の画素値(R0K,G0K,B0K)と(R1K,G1K,B1K)とに差がある場合は、(R1K,G1K,B1K)に誤差が含まれていることを意味する。この誤差を最小化することは、画像データIR、IG、IBの画素値の精度が向上するように最適化することに相当する。(R1K,G1K,B1K)に対する補正処理の一例としては、式(11)で示される補正行列を利用することが可能である。
Figure JPOXMLDOC01-appb-I000011
 補正部140は、式(11)で表される補正処理後の画素値(R1K’,G1K’,B1K’)と、真値である(R0K,G0K,B0K)の誤差が最小となる補正行列Mを算出する。補正行列Mを決定するには、補正部140は、カラー画像において図2のフィルタ150の近赤外光カット部152を透過した入射光に基づく画素、すなわち近赤外光成分を含まない入射光に基づいて画素値が生成される画素から、少なくとも3個以上選択する。このとき選択される3個以上の画素は、それぞれの色相が異なるように選択されるものとする。補正部140は、選択された画素に対応する(R0K,G0K,B0K)と(R1K,G1K,B1K)のセットを得る。いま、3個の画素が選択された場合、補正行列Mを算出するための観測方程式は、式(12)のように表される。
Figure JPOXMLDOC01-appb-I000012
 式(12)において、m11~m33は、補正行列Mの要素を表す。補正部140は、式(12)の右辺の9行9列の行列の逆行列を算出し、逆行列を両辺に乗じることにより、補正行列Mを算出することができる。なお、式(12)の右辺の9行9列の行列は、上述のように3個以上の画素が互いの色相が異なるように選択されていれば、逆行列を算出することが可能である。
 なお、この補正において、補正部140は、4個以上(すなわち4色以上)の画素を選択してもよい。補正行列Mは、選択される色数に応じて異なる。例えば、色数をpとした場合の観測方程式は、式(13)により表される。式(13)においては、未知数の数よりも方程式の数が多くなる。そのため、補正部140は、最小二乗法などを用いることによって補正行列Mを算出する。
Figure JPOXMLDOC01-appb-I000013
 補正部140は、式(12)又は式(13)の観測方程式から算出された補正行列Mを式(11)に代入することで、カラー画像における近赤外光成分を含まない画素の座標Kにおける(R1K,G1K,B1K)に対する補正後の画素値(R1K’,G1K’,B1K’)を得る。そして、補正部140は、NIR1Kの補正後の画素値NIR1K’をゼロにする。これにより、補正部140の補正、すなわち画素値の最適化が終了する。
 カラー画像中の近赤外光成分を含まない画素が座標Xにある場合、その画素値(R1,G1X,B1X)については、式(11)に従って補正処理を適用することで、(R1X’,G1X’,B1X’)が得られる。補正部140は、NIR1X’については、補正前後で画素値の総和が等しくなるように、式(14)を用いて算出する。なお、NIR1X’が負になる場合には、補正部140は、NIR1X’を「0」に設定すればよい。
Figure JPOXMLDOC01-appb-I000014
 図5は、画像処理装置100が実行する画像処理を示すフローチャートである。ステップS1において、取得部110は、上述の第1の領域と第2の領域とを含むMチャネルのカラー画像を取得する。ステップS2において、推定部120は、ステップS1において取得されたMチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、入射光の分光特性を推定する。ステップS3において、生成部130は、ステップS2において推定された入射光の分光特性と、撮像部の分光感度特性とに基づき、可視画像と近赤外画像とを生成する。ステップS4において、補正部140は、ステップS3において生成された可視画像及び近赤外画像を、カラー画像のうちの第2の領域の色情報に基づいて補正する。
 以上のとおり、本実施形態の画像処理装置100は、カラー画像の色情報、撮像部の分光感度特性及び入射光の分光特性をモデル化した情報に基づいて入射光の分光特性を推定する構成を有する。この構成は、可視光成分と近赤外構成分とを別個のイメージセンサで読み取るような構成や、光学フィルタを機械的に移動させる構成を有することなく可視画像と近赤外画像とを1回の撮像で生成することが可能である。したがって、本実施形態の画像処理装置100は、このような特別な構成を要することなく、可視画像と近赤外画像とを簡易な構成で生成することを可能にする。
 また、本実施形態の画像処理装置100は、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像に基づいて、可視画像と近赤外画像とを補正する構成を有する。この構成は、可視光成分及び近赤外光成分を含む画素と、近赤外光成分が低減された画素とを1回の撮像で撮像可能にするとともに、いわゆる最適化問題を解くことによる可視画像及び近赤外画像の補正を可能にする。したがって、本実施形態の画像処理装置100は、このような構成を有しない場合に比べ、可視画像の色再現性を向上させることが可能である。
 [第2実施形態]
 図6は、別の実施形態に係る画像処理システム200の構成を示すブロック図である。画像処理システム200は、撮像装置210と、画像処理装置220とを含んで構成される。画像処理システム200は、撮像装置210及び画像処理装置220以外の構成を含んでもよい。例えば、画像処理システム200は、撮像装置210により供給されるデータを記憶し、又は画像処理装置220に転送する別の装置を含んでもよい。
 撮像装置210は、被写体を撮像し、画像データを生成する。本実施形態において、撮像装置210は、図2に例示されたフィルタ150のような近赤外光カット部を含むフィルタと、R、G、Bの3色の光学フィルタとを含むカラーイメージセンサを有する。撮像装置210は、入射光に応じたカラー画像を表す画像データを生成して出力する。この画像データは、画素値が可視光成分及び近赤外光成分を含む画素によって構成されている。撮像装置210は、例えば、デジタルスチルカメラであってもよい。以下においては、撮像装置210により生成された画像データが表す画像のことを「撮像画像」ともいう。
 撮像装置210のカラーイメージセンサは、可視光から近赤外光の波長領域に受光感度を有するように構成されている。また、このカラーイメージセンサは、近赤外光カット部を含むフィルタに入射光を透過させることにより、第1の領域と第2の領域とを含む撮像画像を生成することができる。
 一般に、カラーイメージセンサは、赤外光の透過を妨げるフィルタ(IRカットフィルタ)をカラーフィルタとは別に有している場合がある。撮像装置210は、例えば、このような一般的なカラーイメージセンサのIRカットフィルタを、図2に例示されたフィルタ150のような近赤外光カット部を含むフィルタに置き換えることで作成されてもよい。
 なお、本実施形態において、可視光とは、波長が400~700nmの光(電磁波)をいう。また、近赤外光とは、波長が700~1000nmの光(電磁波)をいう。すなわち、本実施形態においては、λ1=400nm、λ2=1000nm、λ3=700nmである。
 図7は、撮像装置210のイメージセンサの分光感度特性の一例を示す図である。図7に示すように、撮像装置210のイメージセンサは、可視光に加えて近赤外光に感度を有する。
 図8は、R、G、Bの各色の光学フィルタの分光透過特性の一例を示す図である。図8に示すように、撮像装置210の光学フィルタは、可視光に加えて近赤外光を透過する特性を有している。なお、撮像装置210のイメージセンサは、各画素がR、G、B3色のいずれについても受光できるように構成されているものとする。
 図9は、一般的なカラーイメージセンサに用いられるIRカットフィルタの分光透過特性の一例を示す図である。一般的なカラーイメージセンサは、このようなIRカットフィルタをカラーフィルタとともに設けることで、近赤外光がカットされた撮像、すなわち人間の色知覚に近い撮像を可能にしている。
 画像処理装置220は、画像データに対して画像処理を実行する。画像処理装置220は、撮像装置210から供給された画像データに基づいて、可視画像に相当する画像データと近赤外画像に相当する画像データとを生成することができる。画像処理装置220は、データ取得部221と、スペクトル推定部222と、可視画像生成部223と、近赤外画像生成部224と、最適化部227とを含んで構成される。
 データ取得部221は、データを取得する。データ取得部221は、例えば、撮像装置210から画像データを受信するための有線又は無線のインタフェースを含む。あるいは、データ取得部221は、記憶媒体に記憶された画像データを読み出すリーダを含んでもよい。データ取得部221は、第1実施形態の取得部110の一例に相当する。
 データ取得部221は、画像データに加え、撮像装置210の分光感度特性を示すデータと、撮像画像における近赤外光成分を含まない画素の座標情報を示すデータ(以下総称して「特性データ」ともいう。)を取得するように構成される。特性データは、画像データにメタデータとして埋め込まれた形や、画像データに関連付けられた形で取得されてもよい。
 スペクトル推定部222は、撮像装置210のカラーイメージセンサの各画素に入射した光の分光特性を推定する。本実施形態において、スペクトル推定部222は、入射光のスペクトルを推定する。スペクトル推定部222は、データ取得部221により取得された画像データと、撮像装置210の特性データに含まれる分光感度特性とに基づき、入射光のスペクトルを推定する。スペクトル推定部222は、第1実施形態の推定部120の一例に相当する。
 可視画像生成部223は、可視画像を表す第1の画像データを生成する。可視画像生成部223は、スペクトル推定部222により推定された入射光のスペクトルと、撮像装置210の特性データに含まれる分光感度特性とに基づき、第1の画像データを生成する。可視画像生成部223(及び近赤外画像生成部224)は、第1実施形態の生成部130の一例に相当する。
 近赤外画像生成部224は、近赤外画像を表す第2の画像データを生成する。近赤外画像生成部224は、スペクトル推定部222により推定された入射光のスペクトルと、撮像装置210の特性データに含まれる分光感度特性とに基づき、第2の画像データを生成する。
 なお、ここでいう第1の画像データ及び第2の画像データは、便宜的な区別にすぎない。例えば、画像処理装置200は、第1の画像データ(3チャネル)及び第2の画像データ(1チャネル)に相当する4チャネルの画像データを出力するように構成されてもよい。
 最適化部227は、可視画像生成部223で生成された第1の画像データが表す可視画像と、第2の画像データが表す近赤外画像に対して、より精度の高い画素値となるよう最適化を行う。最適化部227は、撮像画像と、撮像装置210の特性データに含まれる座標情報と、可視画像と、近赤外画像とを入力として最適化処理を行い、最適化された可視画像及び近赤外画像を生成する。最適化部227は、第1実施形態の補正部140の一例に相当する。
 画像処理システム200の構成は、以上のとおりである。画像処理装置220は、原理的には、第1実施形態の画像処理装置100と同様に動作する。より詳細には、画像処理装置220は、式(1)~(14)を用いて説明された原理の下、λ1=400nm、λ2=1000nm、λ3=700nmであるとして必要な演算を実行する。
 例えば、可視画像生成部223は、式(2)のモデル化に基づき、可視光成分による色信号RVIS、GVIS、BVISを次の式(15)を用いて算出する。なお、分光特性E(λ)は、式(2)から式(5)に置き換えられてもよい。
Figure JPOXMLDOC01-appb-I000015
 また、近赤外画像生成部224は、近赤外光成分による色信号RNIR、GNIR、BNIRを、式(16)を用いて算出する。ここにおいても、分光特性E(λ)は、式(2)から式(5)に置き換えられてもよい。なお、平均ベクトルr0(λ)と基底ベクトルri(λ)は、第1実施形態と同様でよい。
Figure JPOXMLDOC01-appb-I000016
 本実施形態の画像処理システム200は、第1実施形態の画像処理装置100と同様の構成を含む。そのため、画像処理システム200は、画像処理装置100と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。また、画像処理システム200は、画像処理装置100と同様に、可視画像及び近赤外画像の色再現性を向上させることが可能である。
 [第3実施形態]
 図10は、さらに別の実施形態に係る撮像装置300の構成を示すブロック図である。撮像装置300は、光学系部材310と、カラーイメージセンサ320と、画像処理部330と、メモリ340とを含んで構成される。カラーイメージセンサ320は、より詳細には、光学フィルタ321と、フォトセンサ322と、フィルタ323とを含む。
 光学系部材310は、光をカラーイメージセンサ320に誘導する。光学系部材310は、例えば、レンズやミラーを含む。光学系部材310は、可視光及び近赤外光をカラーイメージセンサ320に入射させる。
 カラーイメージセンサ320は、入射光に応じた画像データを生成する。光学フィルタ321は、R、G、Bの3色の光学フィルタを含んで構成される。光学フィルタ321は、いわゆるベイヤ(Bayer)配列で各色の光学フィルタが配置される。したがって、フォトセンサ322は、各画素がR、G、Bの3色のいずれかの色成分を選択的に受光する。
 図11は、光学フィルタ321の構成の一例を示す図である。この例において、赤色(R)のカラーフィルタは、奇数行奇数列の画素に対応して設けられる。これに対し、青色(B)のカラーフィルタは、偶数行偶数列の画素に対応して設けられる。また、緑色(G)のカラーフィルタは、奇数行偶数列及び偶数行奇数列の画素に対応して設けられる。
 光学フィルタ321が図11に示される構成の場合、フォトセンサ322は、奇数行奇数列の画素で赤色に相当する光(及び近赤外光)を受光し、偶数行偶数列の画素で青色に相当する光(及び近赤外光)を受光する。また、フォトセンサ322は、その他の画素で緑色に相当する光(及び近赤外光)を受光する。
 フィルタ323は、第1実施形態のフィルタ150と同様に、複数の近赤外光カット部を点在させたフィルタである。フィルタ323は、光学フィルタ321の前段、すなわち光学系部材310と光学フィルタ321の間に設けられる。
 画像処理部330は、第2実施形態の画像処理装置220と同様の構成を有する。具体的には、画像処理部330は、カラーイメージセンサ320により生成された画像データを取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第1の画像データを生成する機能と、近赤外画像を表す第2の画像データを生成する機能と、可視画像及び近赤外画像を最適化(すなわち補正)する機能とを含む。また、画像処理部330は、取得された画像データに対してデモザイキング処理を実行する機能をさらに有する。なお、本実施形態における可視光及び近赤外光の波長域は、第2実施形態に準ずる。すなわち、本実施形態においても、λ1=400nm、λ2=1000nm、λ3=700nmである。
 メモリ340は、上述の特性データを記憶する。メモリ340は、揮発性又は不揮発性の記憶媒体を含んで構成される。この記憶媒体は、特定の種類の記憶媒体に限定されない。特性データは、撮像装置300を用いてあらかじめ測定されてもよく、実験的又は経験的に決定されてもよい。
 撮像装置300の構成は、以上のとおりである。撮像装置300は、このような構成により、可視光と近赤外光とを含む入射光に応じた画像データに基づき、可視画像に相当する第1の画像データと近赤外画像に相当する第2の画像データとを生成する。
 光学フィルタ321がベイヤ配列であるため、画像処理部330に入力される画像データは、各画素が単一の色成分のみによって構成されている。そのため、画像処理部330は、デモザイキング処理を実行する。デモザイキング処理は、線形補間法、勾配法、適応型カラープレーン補間法(Advanced Color Plane Interpolation:ACPI)など、複数のアルゴリズムが周知である。画像処理部330は、例えば、デモザイキング処理を以下のように実行する。ただし、画像処理部330が実行するデモザイキング処理は、特定のアルゴリズムに限定されない。
 ここで、図11を参照し、第i行第j列の画素の座標を(i,j)とする。また、座標(i,j)における各チャネルの色信号をそれぞれR(i,j)、G(i,j)、B(i,j)とする。説明の便宜上、以下においては、R(i,j)、G(i,j)、B(i,j)をそれぞれ「R値」、「G値」、「B値」ともいう。
 例えば、座標(1,1)の画素は、赤色に相当する画素である。したがって、座標(1,1)のR値は、式(17)に示されるように、座標(1,1)の色信号がそのまま用いられる。
Figure JPOXMLDOC01-appb-I000017
 一方、座標(1,1)のG値及びB値は、当該座標の色信号から直接には取得できない。そのため、座標(1,1)のG値及びB値は、例えば式(18)、(19)に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
Figure JPOXMLDOC01-appb-I000018

Figure JPOXMLDOC01-appb-I000019
 次に、座標(1,2)の画素は、緑色に相当する画素である。したがって、座標(1,2)のG値は、式(20)に示されるように、座標(1,2)の色信号がそのまま用いられる。
Figure JPOXMLDOC01-appb-I000020
 また、座標(1,2)のR値及びB値は、例えば式(21)、(22)に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
Figure JPOXMLDOC01-appb-I000021

Figure JPOXMLDOC01-appb-I000022
 画像処理部330は、他の画素についても同様に、近傍の同色の画素からの補間によってR値、G値及びB値を計算する。画像処理部330は、R値、G値及びB値を全ての画素について計算することにより、各画素について3チャネル分の色情報を得ることができる。画像処理部330がデモザイキング処理以降に実行する処理は、第2実施形態の画像処理装置220が実行する処理と同様である。
 本実施形態の撮像装置300は、第2実施形態の画像処理装置220と同様の構成を含む。そのため、撮像装置300は、画像処理装置220と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。加えて、撮像装置300は、近赤外画像を生成するために特別な構成を要する場合に比べ、簡易又は安価な構成で近赤外画像を生成可能であり、ひいては装置の小型化や(少ない故障による)信頼性の向上に寄与することが期待できる。
 [第4実施形態]
 図12は、さらに別の実施形態に係る画像処理装置220aの構成を示すブロック図である。画像処理装置220aは、第2実施形態の画像処理装置220と同様のデータ取得部221、スペクトル推定部222、可視画像生成部223及び最適化部227を含んで構成される。加えて、画像処理装置220aは、信号分離部225を有する。
 信号分離部225は、近赤外画像を生成する機能を有する。具体的には、信号分離部225は、データ取得部221により供給される画像データと、可視画像生成部223により生成された第1の画像データとに基づいて、第2の画像データを生成する。
 より詳細には、信号分離部225は、データ取得部221により供給される画像データと第1の画像データの差に基づいて第2の画像データを生成する。例えば、データ取得部221により供給される(可視成分及び近赤外成分を含む)3チャネルの画像データをIR_NIR、IG_NIR、IB_NIR、第1の画像データをIR、IG、IBとした場合、信号分離部225は、式(23)により第2の画像データINIRを算出する。ここにおいて、cR1、cG1、cB1は、実験的又は経験的に求められる所定の係数である。cR1、cG1、cB1は、例えばいずれも「1.0」であってもよいが、これに限定されない。
Figure JPOXMLDOC01-appb-I000023
 本実施形態の画像処理装置220aは、第2実施形態の画像処理装置220と同様の構成を含む。そのため、画像処理装置220aは、画像処理装置220と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。また、画像処理装置220aは、信号分離部225を有することにより、減算等の簡易な計算によって第2の画像データを生成することが可能である。
 [第5実施形態]
 図13は、さらに別の実施形態に係る画像処理装置220bの構成を示すブロック図である。画像処理装置220bは、第2実施形態の画像処理装置220と同様のデータ取得部221、スペクトル推定部222、近赤外画像生成部224及び最適化部227を含んで構成される。加えて、画像処理装置220bは、信号分離部226を有する。
 信号分離部226は、可視画像を生成する機能を有する。具体的には、信号分離部226は、データ取得部221により供給される画像データと、近赤外画像生成部224により生成された第2の画像データとに基づいて、第1の画像データを生成する。
 より詳細には、信号分離部226は、データ取得部221により供給される画像データと第2の画像データの差に基づいて第1の画像データを生成する。例えば、データ取得部221により供給される(可視成分及び近赤外成分を含む)3チャネルの画像データをIR_NIR、IG_NIR、IB_NIR、第2の画像データをINIRとした場合、信号分離部226は、式(24)により第1の画像データIR、IG、IBを算出する。ここにおいて、cR2、cG2、cB2は、実験的又は経験的に求められる所定の係数である。cR2、cG2、cB2は、例えばいずれも「1.0」であってもよいが、これに限定されない。
Figure JPOXMLDOC01-appb-I000024
 本実施形態の画像処理装置220bは、第2実施形態の画像処理装置220と同様の構成を含む。そのため、画像処理装置220bは、画像処理装置220と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。また、画像処理装置220bは、信号分離部226を有することにより、減算等の簡易な計算によって第1の画像データを生成することが可能である。
 図14は、さらに別の実施形態に係る撮像装置600の構成を示すブロック図である。撮像装置600は、いわゆる多板方式の撮像装置の一例である。すなわち、本開示に係る撮像装置は、単板方式に限定されない。撮像装置600は、色分解部610と、フォトセンサ620、630、640と、画像処理部650と、メモリ660と、フィルタ670とを含んで構成される。
 色分解部610は、入射光を特定の波長域毎に分散させる。色分解部610は、例えば、プリズムである。色分解部610は、可視成分と近赤外成分とを含む入射光をR、G、Bのそれぞれの波長域に相当する色光に分解して出射する。色分解部610から出射された色光は、フィルタ670を透過してフォトセンサ620、630、640に入射する。フィルタ670は、近赤外光カット部を点在させたフィルタである。フィルタ670の構成は、第1実施形態において例示されたフィルタ150と同様でよい。
 フォトセンサ620、630、640は、フィルタ670を透過して入射する光に応じた画像データを生成する。フォトセンサ620は、赤色に相当する画像データIR_NIRを生成する。フォトセンサ630は、緑色に相当する画像データIG_NIRを生成する。フォトセンサ640は、青色に相当する画像データIB_NIRを生成する。これらの画像データの少なくともいずれかには、可視成分だけでなく近赤外成分も含まれる。
 画像処理部650は、第2実施形態の画像処理装置220と同様の構成を有する。すなわち、画像処理部650は、フォトセンサ620、630、640により生成された画像データ(IR_NIR、IG_NIR、IB_NIR)を取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第1の画像データ(IR、IG、IB)を生成する機能と、近赤外画像を表す第2の画像データ(INIR)を生成する機能と、第1の画像データ(IR、IG、IB)と第2の画像データ(INIR)とを補正した画像データ(IR’,IG’,IB’,INIR’)を出力する機能とを含む。
 メモリ660は、撮像装置600の分光感度特性と、撮像画像における近赤外光成分を含まない画素の座標情報とを示す特性データを記憶する。メモリ660は、第3実施形態のメモリ340と同様の構成でよい。ただし、特性データの具体的な値は、第3実施形態の特性データの値と異なり得る。
 本実施形態によれば、他の実施形態と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。撮像装置600は、ハードウェア的には、一般的な3板方式の撮像装置のIRカットフィルタをフィルタ670に置き換えることによって実現することが可能である。ただし、画像処理部650が実行する画像処理には、一般的な3板方式の撮像装置が実行する画像処理と異なる処理が含まれる。
 [変形例]
 本開示は、上述された第1実施形態~第6実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例の形態及び変形例から想到し得る形態を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
 (変形例1)
 カラー画像のチャネル数と各チャネルの色成分(すなわち波長域)は、いずれも特定の値に限定されない。例えば、カラー画像のチャネル数は、4以上であってもよい。また、カラー画像の色成分は、RGBに代えてC(Cyan)M(Magenta)Y(Yellow)が用いられてもよい。
 (変形例2)
 本開示に係る装置(画像処理装置100、220、撮像装置300、600など)の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよく、2以上の装置を組み合わせて用いて各種処理を分担するように構成されてもよい。
 図15は、本開示に係る装置を実現するためのコンピュータ装置700のハードウェア構成の一例を示すブロック図である。コンピュータ装置700は、CPU(Central Processing Unit)701と、ROM(Read Only Memory)702と、RAM(Random Access Memory)703と、記憶装置704と、ドライブ装置705と、通信インタフェース706と、入出力インタフェース707とを含んで構成される。本開示に係る装置は、図15に示される構成(又はその一部)によって実現され得る。
 CPU701は、RAM703を用いてプログラム708を実行する。プログラム708は、ROM702に記憶されていてもよい。また、プログラム708は、メモリカード等の記録媒体709に記録され、ドライブ装置705によって読み出されてもよいし、外部装置からネットワーク710を介して送信されてもよい。通信インタフェース706は、ネットワーク710を介して外部装置とデータをやり取りする。入出力インタフェース707は、周辺機器(入力装置、表示装置など)とデータをやり取りする。通信インタフェース706及び入出力インタフェース707は、データを取得又は出力するための構成要素として機能することができる。
 なお、本開示に係る装置の構成要素は、単一の回路(プロセッサ等)によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路(circuitry)は、専用又は汎用のいずれであってもよい。
 上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置100、220は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。
 以上、本発明は、上述された実施形態及び変形例を模範的な例として説明された。しかし、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、いわゆる当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。
 100  画像処理装置
 110  取得部
 120  推定部
 130  生成部
 140  補正部
 200  画像処理システム
 210  撮像装置
 220、220a、220b  画像処理装置
 221  データ取得部
 222  スペクトル推定部
 223  可視画像生成部
 224  近赤外画像生成部
 225、226  信号分離部
 227  最適化部
 300、600  撮像装置
 700  コンピュータ装置

Claims (10)

  1.  可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得する取得手段と、
     前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定手段と、
     前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成手段と、
     前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段と
     を備える画像処理装置。
  2.  前記カラー画像は、Mチャネル(Mは2以上の整数)のカラー画像であり、
     前記情報は、前記入射光の分光特性を、入射光の平均ベクトルとM+1個以下の基底ベクトルとによってモデル化した情報である
     請求項1に記載の画像処理装置。
  3.  前記生成手段は、
     前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記可視画像を生成し、
     前記カラー画像と当該生成された可視画像とに基づいて前記近赤外画像を生成する
     請求項1又は請求項2に記載の画像処理装置。
  4.  前記生成手段は、
     前記カラー画像と前記生成された可視画像の差に基づいて前記近赤外画像を生成する
     請求項3に記載の画像処理装置。
  5.  前記生成手段は、
     前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記近赤外画像を生成し、
     前記カラー画像と当該生成された近赤外画像とに基づいて前記可視画像を生成する
     請求項1又は請求項2に記載の画像処理装置。
  6.  前記生成手段は、
     前記カラー画像と前記生成された近赤外画像の差に基づいて前記可視画像を生成する
     請求項5に記載の画像処理装置。
  7.  前記Mは、3であり、
     前記カラー画像は、赤、緑及び青の3色の色成分により構成される
     請求項2に記載の画像処理装置。
  8.  入射光のうちの近赤外光を、特定の領域において他の領域よりも低減させるフィルタと、
     前記フィルタを透過した入射光に応じてMチャネル(Mは2以上の整数)のカラー画像を生成する撮像手段とを備える撮像装置と、
     前記撮像手段により撮像されたカラー画像を取得する取得手段と、
     前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、
     前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と
     前記カラー画像のうち、前記特定の領域を透過して前記撮像手段により撮像された領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを備える画像処理装置と
     を備える画像処理システム。
  9.  可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得し、
     前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定し、
     前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成し、
     前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する
     画像処理方法。
  10.  コンピュータに、
     可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第1の領域と、当該第1の領域よりも入射光から近赤外光が低減されて撮像された第2の領域とを含むカラー画像を取得するステップと、
     前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定するステップと、
     前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成するステップと、
     前記カラー画像のうちの前記第2の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正するステップと
     を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。
PCT/JP2017/013721 2017-03-31 2017-03-31 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 WO2018179378A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019508141A JP6725060B2 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US16/496,516 US11140370B2 (en) 2017-03-31 2017-03-31 Image processing device, image processing system, image processing method, and program recording medium for generating a visible image and a near-infrared image
PCT/JP2017/013721 WO2018179378A1 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013721 WO2018179378A1 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2018179378A1 true WO2018179378A1 (ja) 2018-10-04

Family

ID=63674894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013721 WO2018179378A1 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Country Status (3)

Country Link
US (1) US11140370B2 (ja)
JP (1) JP6725060B2 (ja)
WO (1) WO2018179378A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030626A (ja) * 2011-07-28 2013-02-07 Sony Corp 固体撮像素子および撮像システム
WO2014041742A1 (ja) * 2012-09-14 2014-03-20 パナソニック株式会社 固体撮像装置及びカメラモジュール
WO2017047080A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663668B2 (en) * 2004-04-05 2010-02-16 Mitsubishi Electric Corporation Imaging device
US7796169B2 (en) * 2004-04-20 2010-09-14 Canon Kabushiki Kaisha Image processing apparatus for correcting captured image
KR100866486B1 (ko) * 2007-01-04 2008-11-03 삼성전자주식회사 주변광 적응적인 색 보정 장치 및 방법
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
CA2767023C (en) * 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
JP5718138B2 (ja) 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム
US9743057B2 (en) * 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
WO2017222021A1 (ja) * 2016-06-24 2017-12-28 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030626A (ja) * 2011-07-28 2013-02-07 Sony Corp 固体撮像素子および撮像システム
WO2014041742A1 (ja) * 2012-09-14 2014-03-20 パナソニック株式会社 固体撮像装置及びカメラモジュール
WO2017047080A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体

Also Published As

Publication number Publication date
JPWO2018179378A1 (ja) 2020-01-16
US20210112223A1 (en) 2021-04-15
JP6725060B2 (ja) 2020-07-15
US11140370B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
US11193830B2 (en) Spectrocolorimeter imaging system
JP5527448B2 (ja) 画像入力装置
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
KR20170074602A (ko) 영상 출력 장치 및 영상 출력 방법
JP6969550B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP4874752B2 (ja) デジタルカメラ
JP7143767B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5052286B2 (ja) 分光特性補正装置、分光特性補正方法
US20080310710A1 (en) Direct calibration of color imaging devices
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2006222783A (ja) 色変換テーブルの作成
JP4859502B2 (ja) 撮像装置
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2008085975A (ja) 撮像素子特性評価方法および撮像素子特性評価装置
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
TW202220431A (zh) 攝像元件及電子機器
KR20230164604A (ko) 다중 스펙트럼 rgb-nir 센서에 의해 획득된 이미지를 처리하는 시스템 및 방법
JP2020150411A (ja) 撮像装置及び画像処理方法
Adams et al. Single capture image fusion
JP2010199849A (ja) 画像処理装置、画像処理方法、撮像装置
JP2015049352A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904023

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508141

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17904023

Country of ref document: EP

Kind code of ref document: A1