WO2017047080A1 - 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体 - Google Patents

映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2017047080A1
WO2017047080A1 PCT/JP2016/004195 JP2016004195W WO2017047080A1 WO 2017047080 A1 WO2017047080 A1 WO 2017047080A1 JP 2016004195 W JP2016004195 W JP 2016004195W WO 2017047080 A1 WO2017047080 A1 WO 2017047080A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
color
infrared
pattern
video
Prior art date
Application number
PCT/JP2016/004195
Other languages
English (en)
French (fr)
Inventor
真人 戸田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2017540507A priority Critical patent/JP6794989B2/ja
Priority to US15/757,456 priority patent/US10440292B2/en
Publication of WO2017047080A1 publication Critical patent/WO2017047080A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the present invention relates to video processing.
  • a color image input device such as a digital still camera or a video camera generally has a configuration in which optical filters of three colors of red (R), green (G), and blue (B) are incorporated in an image sensor.
  • the light incident on the color image input device is decomposed by the three-color optical filter and converted into R, G, and B color signals by the image sensor.
  • the image sensor used in the color image input device is a silicon sensor
  • the sensor sensitivity ranges from the visible region to the near infrared region.
  • near-infrared light components may adversely affect color reproduction.
  • the three-color optical filter guarantees a certain transmittance in the wavelength region corresponding to each color, the light transmission characteristics are not necessarily guaranteed in regions other than the visible region such as the near infrared region.
  • FIG. 17 is a diagram illustrating the spectral transmittance of the RGB three-color optical filter.
  • each color filter is expected to transmit light having wavelengths in the vicinity of 400 to 500 nm (B), 500 to 600 nm (G), and 600 to 700 nm (R).
  • B 500 nm
  • G 500 to 600 nm
  • R 600 to 700 nm
  • each color filter may also have a characteristic of transmitting light in a region other than the visible region.
  • the spectral sensitivity characteristics of image sensors using photodiodes which are often used in image input devices, have sensitivity even in the wavelength region of 700 nm or more. If this is done, a problem may arise from the viewpoint of color reproducibility only by applying a three-color optical filter having spectral sensitivity characteristics as shown in FIG. 17 to a general image sensor. Therefore, the image sensor is provided with an infrared cut filter when high color reproducibility is required.
  • FIG. 18 is a diagram showing the color matching functions of the XYZ color system relating to human color perception. As shown in FIG. 18, human color perception is insensitive to light having a wavelength of 700 nm or more. Therefore, light having power in a wavelength region of 700 nm or more does not affect the perceived color that is a psychophysical quantity.
  • an infrared cut filter having a spectral transmittance for removing the influence of near-infrared light of 700 nm or more as shown in FIG. Is used. Specifically, as shown in FIG. 21, by providing an infrared cut filter 610 in the optical system of the color image input device, the incidence of near infrared light to the three-color optical filter 620 and the image sensor 630 is blocked. The By doing so, light having no power in the near infrared region can be incident on the three-color optical filter 620 and the image sensor 630.
  • the simplest method of using near-infrared light for high-sensitivity shooting is to move the infrared cut filter set in the optical system mechanically during high-sensitivity shooting and temporarily move the infrared cut filter from the optical system. It is a method to remove.
  • this method has not only a problem of an increase in the number of parts, that is, an increase in cost, but also a problem that the possibility of a failure is increased by requiring a mechanical operation for moving the infrared cut filter.
  • Non-Patent Document 1 discloses a method of photographing without requiring a mechanical operation. Specifically, Non-Patent Document 1 describes a photographing method using two cameras for photographing a color image and a near-infrared image.
  • Non-Patent Document 2 includes an image sensor 700 in which a four-color optical filter in which an IR (infrared) filter that transmits near-infrared light is added to an RGB three-color optical filter is incorporated. Disclosure.
  • FIG. 2 of Non-Patent Document 2 describes spectral sensitivity characteristics of R, G, B, and IR optical filters. The spectral sensitivity characteristics of the R, G, and B optical filters have the same spectral sensitivity as that of the IR filter in the near infrared region. In order to realize high color reproducibility in daytime shooting, it is necessary to suppress or remove the influence of near-infrared light included in the R, G, and B color signals.
  • Non-Patent Document 2 removes IR components included in R, G, and B color signals in daytime shooting, and IR signals obtained by passing through an IR filter in nighttime shooting. In addition, a black and white image is obtained using not only the IR components included in the R, G, and B color signals.
  • Patent Document 1 uses R, G, and B three-color optical filters that transmit near-infrared (NIR) light, and uses a photosensor that detects near-infrared light, so that R, G , B, and NIR color imaging devices that generate signals are disclosed.
  • This photosensor has a visible light sensor portion at a shallow position with respect to the incident direction of light, and has an invisible light sensor portion at a deep position with respect to the direction.
  • Non-Patent Document 3 does not use an IR cut filter and uses a different color filter array such as two types of filters having different spectral transmission characteristics with respect to a G filter of an RGB Bayer type color filter array (CFA).
  • CFA RGB Bayer type color filter array
  • Non-Patent Document 1 generates an RGB image and a near-infrared image using two cameras. Note that the method described in Non-Patent Document 1 requires two optical paths and two image sensors for RGB and near-infrared images, although it is not impossible to configure with a single device. .
  • Non-Patent Document 2 and Patent Document 1 are special image sensors for generating a near-infrared image, and can be said not to have a general configuration.
  • the color filter array described in Non-Patent Document 3 requires two different G filters.
  • An object of the present invention is to provide a technique that enables image processing of visible light and near-infrared light using an imaging device having a general configuration.
  • the present invention uses acquisition means for acquiring an image signal representing an image including near-infrared light having an intensity corresponding to a pattern having a predetermined geometric shape, and pattern information defining the pattern. And a signal processing unit that outputs a color signal representing a visible light component corresponding to the acquired video signal and a near infrared signal representing a near infrared light component corresponding to the video signal. provide.
  • the present invention includes an optical filter that transmits near-infrared light in a pattern having a predetermined geometric shape, and a video signal representing an image including near-infrared light that has passed through the optical filter.
  • a near-infrared light representing a color signal representing a visible light component corresponding to the generated video signal and a near-infrared light component corresponding to the video signal by using a light receiving means to generate and pattern information defining the pattern
  • a photographing apparatus including signal processing means for outputting a signal.
  • the present invention obtains a video signal representing an image including near-infrared light having an intensity corresponding to a pattern having a predetermined geometric shape, and uses pattern information that defines the pattern,
  • a video processing method for outputting a color signal representing a visible light component corresponding to the acquired video signal and a near infrared signal representing a near infrared light component corresponding to the video signal.
  • a computer obtains a video signal representing an image including near-infrared light having an intensity corresponding to a pattern having a predetermined geometric shape, and a pattern defining the pattern Using the information, a process for outputting a color signal representing a visible light component corresponding to the acquired video signal and a near infrared signal representing a near infrared light component corresponding to the video signal is executed.
  • a computer-readable program recording medium recording a program is provided.
  • FIG. 1 is a block diagram illustrating the configuration of the video processing apparatus.
  • FIG. 2 is a diagram illustrating an NIR cut filter.
  • FIG. 3 is a block diagram illustrating the configuration of the video processing apparatus.
  • FIG. 4 is a block diagram illustrating the configuration of the second color signal estimation unit.
  • FIG. 5 is a flowchart illustrating an outline of processing executed by the video processing apparatus.
  • FIG. 6 is a diagram illustrating a near infrared signal.
  • FIG. 7A is a diagram illustrating near-infrared light according to the pattern of the NIR cut filter.
  • FIG. 7B is a diagram illustrating near-infrared light according to the pattern of the NIR cut filter.
  • FIG. 8 is a diagram for explaining the value of equation (2).
  • FIG. 8 is a diagram for explaining the value of equation (2).
  • FIG. 9 is a diagram illustrating the relationship between the intensity of near infrared light and the distance from the center.
  • FIG. 10 is a schematic view illustrating the configuration of the photographing apparatus.
  • FIG. 11 is a schematic diagram illustrating the behavior of near-infrared light incident on the light receiving unit.
  • FIG. 12 is a diagram illustrating the configuration of the color filter.
  • FIG. 13 is a diagram for explaining an example of the demosaicing process.
  • FIG. 14 is a diagram illustrating the correspondence between the infrared transmission part of the NIR cut filter and the color filter.
  • FIG. 15 is a schematic view illustrating the configuration of the photographing apparatus.
  • FIG. 16 is a schematic view illustrating the configuration of the photographing apparatus.
  • FIG. 17 is a diagram illustrating the spectral transmittance of the RGB three-color optical filter.
  • FIG. 18 is a diagram showing color matching functions of the XYZ color system relating to human color perception.
  • FIG. 19 is a diagram illustrating a spectral intensity distribution of certain color light.
  • FIG. 20 is a diagram illustrating an example of spectral characteristics of an infrared cut filter.
  • FIG. 21 is a diagram illustrating a configuration example of a color image input apparatus.
  • FIG. 22 is a diagram illustrating a configuration example of a color image input apparatus.
  • FIG. 1 is a block diagram illustrating the configuration of a video processing apparatus according to an embodiment of the present invention.
  • the video processing apparatus 100 is an apparatus that acquires a video signal representing an image including near-infrared light and outputs a color signal and a near-infrared signal corresponding to the acquired video signal.
  • the video processing apparatus 100 is an apparatus that separates a color signal and a near-infrared signal from an image captured in a state including visible light and near-infrared light.
  • the arrows shown in the block diagrams after this figure show an example of the signal flow, and are not intended to limit the signal flow to a specific direction.
  • the image means an image taken in through an optical system such as a lens, and may be either a still image or a moving image.
  • the color signal is a signal representing a visible light component in the video signal.
  • the near-infrared signal is a signal representing a near-infrared light component in the video signal.
  • the color signal and the near-infrared signal represent, for example, the luminance of the pixel, but are not limited to luminance.
  • the color signal and the near-infrared signal represent the brightness of each pixel of the image at a specific time point of the video when the color signal and the near-infrared signal are still images or videos.
  • the visible region means a wavelength region of 400 to 700 nm.
  • the wavelength range of 400 to 500 nm is blue (B)
  • 500 to 600 nm is green (G)
  • 600 to 700 nm is red (R).
  • the near infrared region refers to a wavelength region of 700 nm to 2.5 ⁇ m.
  • the wavelength region classification shown here is merely an example.
  • the video processing apparatus 100 includes an acquisition unit 110 and a signal processing unit 120.
  • the video processing device 100 is connected to an external device that supplies a video signal.
  • the external device is, for example, an imaging device having an image sensor.
  • the acquisition unit 110 acquires a video signal from the external device.
  • the signal processing unit 120 outputs a color signal and a near-infrared signal based on the video signal acquired by the acquisition unit 110.
  • the acquisition unit 110 acquires a video signal representing an image including near-infrared light having an intensity corresponding to a pattern having a predetermined geometric shape.
  • the pattern here is a pattern in which figures such as a circle and a rectangle are repeatedly arranged regularly.
  • Such a video signal is obtained, for example, by providing an optical filter (hereinafter referred to as “NIR cut filter”) that cuts near infrared light in the image sensor.
  • NIR cut filter optical filter
  • FIG. 2 is a diagram illustrating an NIR cut filter, and is a diagram illustrating the NIR cut filter perpendicular to the incident direction of light.
  • the NIR cut filter 10 shown in FIG. 2 has a configuration in which a plurality of infrared transmission parts 12 are provided in the filter part 11.
  • the infrared transmission parts 12 are circular holes arranged at equal intervals.
  • the NIR cut filter 10 transmits near-infrared light without blocking in the infrared transmission part 12, and the near-infrared light is cut by a predetermined ratio or more in the filter part 11.
  • the pattern formed on the video by the near-infrared light component included in the video signal does not necessarily match the pattern of the NIR cut filter. This is because near infrared light diffracts after passing through the NIR cut filter.
  • Each pattern of the near-infrared light component pattern that appears as an image in the video signal is larger than the pattern formed on the NIR cut filter (corresponding to the infrared transmission part 12 in FIG. 2).
  • the signal processing unit 120 acquires such a video signal from the acquisition unit 110, and outputs a color signal and a near-infrared signal.
  • the color signal is typically output as a three-component signal of R, G, and B, but is not necessarily limited thereto.
  • the signal processing unit 120 can output a color signal and a near-infrared signal by executing predetermined arithmetic processing using pattern information that defines a pattern of near-infrared light.
  • the pattern information is information for specifying the near-infrared light pattern on the video.
  • the pattern information is data representing the position and shape of the pattern in the NIR cut filter.
  • the pattern information may be data describing the coordinates of the center of the circle and the radius of the circle of the infrared transmission part 12 as parameters, but the pattern can be specified. Any data can be used.
  • the pattern information may be stored in advance in the video processing apparatus 100 or may be input by a user or the like. For example, the pattern information may be obtained in advance by the user performing calibration.
  • the video processing apparatus 100 separates the color signal and the near infrared signal from the video signal by using the video signal representing the video including the near infrared light in a predetermined pattern and the pattern information. Is possible. Therefore, according to the video processing apparatus 100, it is possible to execute visible light video processing and near infrared light video processing based on a video signal including a color signal and a near infrared signal, respectively.
  • the image pickup apparatus when such an image signal is obtained by an image pickup apparatus, the image pickup apparatus only needs to be provided with an NIR cut filter as shown in FIG. 2 in a general image pickup apparatus, so that a general configuration can be used.
  • the use of the output near-infrared signal is not particularly limited.
  • FIG. 3 is a block diagram illustrating the configuration of a video processing apparatus according to another embodiment of the invention.
  • the video processing device 200 shown in FIG. 3 includes a video data acquisition unit 210, a first color signal acquisition unit 220, a pattern storage unit 230, a second color signal estimation unit 240, a near infrared signal calculation unit 250, And an output unit 260.
  • the video processing device 200 has the same function as the video processing device 100 of the first embodiment.
  • the video data acquisition unit 210 acquires video data.
  • the video data acquisition unit 210 can acquire video data from the same external device as in the first embodiment.
  • the video data includes at least a plurality of color signals.
  • the plurality of color signals are color signals expressed by being separated into three color components of R, G, and B, and each pixel is represented by a value of a predetermined number of bits.
  • the color signal here represents an image in a state where a near-infrared light component is superimposed on a visible light component.
  • a color signal is also referred to as a “first color signal”.
  • the first color signal is a signal obtained by adding a second color signal described later and a near-infrared signal.
  • the first color signal acquisition unit 220 acquires the first color signal from the video data acquisition unit 210.
  • the first color signal acquisition unit 220 acquires a first color signal for each color.
  • the pattern storage unit 230 stores pattern information.
  • the pattern storage unit 230 is configured by a storage medium such as a hard disk or a flash memory. Note that the same data as in the first embodiment can be used as the pattern information in this embodiment.
  • the pattern information can use common data for each color.
  • the second color signal estimation unit 240 estimates a second color signal that is a color signal obtained by removing the near-infrared light component from the first color signal. Further, the second color signal estimation unit 240 estimates the intensity ratio between the second color signal and the near infrared signal in addition to the second color signal. The second color signal estimation unit 240 calculates the second color signal and the intensity ratio of each color based on the first color signal acquired by the first color signal acquisition unit 220 and the pattern information stored in the pattern storage unit 230. presume.
  • the near infrared signal calculation unit 250 calculates a near infrared signal for each color.
  • the near-infrared signal calculation unit 250 can calculate a near-infrared signal using the second color signal estimated by the second color signal estimation unit 240 and the intensity ratio of the second color signal and the near-infrared signal. it can.
  • the output unit 260 outputs the second color signal and the near infrared signal.
  • the output unit 260 performs a predetermined calculation (for example, addition) on the near-infrared signal for each color calculated by the near-infrared signal calculation unit 250 and outputs the result.
  • first color signal acquisition unit 220 the second color signal estimation unit 240, and the near-infrared signal calculation unit 250 may execute the processing of each color sequentially or in parallel.
  • FIG. 4 is a block diagram showing the configuration of the second color signal estimation unit 240 in more detail.
  • the second color signal estimation unit 240 includes an initial value estimation unit 241, an estimated value selection unit 242, a smoothness evaluation unit 243, a first color signal estimation unit 244, an error calculation unit 245, and an estimated value update unit 246. With.
  • the initial value estimation unit 241 calculates an initial value of the second color signal and the estimated value of the intensity ratio between the second color signal and the near-infrared signal.
  • the initial value estimation unit 241 calculates an initial value of the estimated value of the second color signal and an estimated value of the intensity ratio based on the first color signal.
  • the estimated value selection unit 242 selects the second color signal and the estimated value of the intensity ratio, respectively.
  • the estimated value selection unit 242 repeats the process of selecting these estimated values.
  • the estimated value selection unit 242 selects the initial value calculated by the initial value estimation unit 241 in the first selection process, while the estimated value updated by the estimated value update unit 246 in the second and subsequent selection processes. Select.
  • the smoothness evaluation unit 243 evaluates the smoothness of the second color signal and the estimated value of the intensity ratio.
  • smoothness means the degree of spatial variation of values and is also referred to as “smoothness”.
  • the smoothness of the estimated value of the second color signal means that the difference between the maximum value and the minimum value of the estimated value of pixels within a certain range that constitutes the video is equal to or less than a predetermined threshold value.
  • the smoothness evaluation unit 243 calculates a smoothness evaluation value according to a predetermined algorithm.
  • the first color signal estimation unit 244 estimates the first color signal.
  • the first color signal estimation unit 244 calculates an estimated value of the first color signal based on the estimated value selected by the estimated value selection unit 242 and the pattern information stored in the pattern storage unit 230.
  • the error calculation unit 245 compares the estimated value of the first color signal with the actual first color signal, and calculates the error. That is, the error calculation unit 245 compares the first color signal estimated by the first color signal estimation unit 244 with the first color signal acquired by the first color signal acquisition unit 220.
  • the estimated value update unit 246 updates the estimated value of the second color signal and the intensity ratio.
  • the estimated value updating unit 246 updates these estimated values based on the evaluation value calculated by the smoothness evaluating unit 243 and the error calculated by the error calculating unit 245.
  • the estimated value update unit 246 compares the estimated values before and after the update, and ends the update when the update amount of each estimated value becomes sufficiently small. Specifically, the estimated value update unit 246 compares the update amount of the estimated value with a predetermined threshold value, and ends the update when the update amount is equal to or less than the threshold value. The estimated value updating unit 246 uses the estimated value at the time when the updating is completed as the output value of the second color signal estimating unit 240.
  • the estimated value update unit 246 supplies the estimated value to the estimated value selection unit 242 when the update amount exceeds the threshold value.
  • the estimated value selection unit 242, the smoothness evaluation unit 243, the first color signal estimation unit 244, the error calculation unit 245, and the estimated value update unit 246 execute the above-described process again using the updated estimated value. This is repeated until the update of the estimated value is completed.
  • the configuration of the video processing apparatus 200 is as described above. In this configuration, when the video processing device 200 acquires video data, the video processing device 200 outputs a color signal and a near-infrared signal.
  • the specific operation of the video processing apparatus 200 is as follows. Here, it is assumed that color signals of R, G, and B colors are set for all the pixels of the video data.
  • FIG. 5 is a flowchart illustrating an outline of processing executed by the video processing apparatus 200.
  • the video processing apparatus 200 does not necessarily need to execute processing as shown in FIG.
  • the video processing apparatus 200 may execute the processes in steps S3 and S4 in parallel for the color signals of R, G, and B colors.
  • the video data acquisition unit 210 acquires video data (step S1).
  • the first color signal acquisition unit 220 selects any one of a plurality of first color signals included in the video data acquired by the video data acquisition unit 210 (step S2).
  • the first color signal acquisition unit 220 selects a first color signal that has not yet been processed in steps S3 and S4 described below.
  • the second color signal estimation unit 240 is close to the second color signal and the second color signal based on the selected first color signal. Infrared signal intensity ratios are estimated (step S3). In other words, the second color signal estimation unit 240 calculates an estimated value of the second color signal and an estimated value of the intensity ratio, respectively. Next, the near-infrared signal calculation unit 250 calculates a near-infrared signal based on these estimated values (step S4).
  • the output unit 260 outputs the necessary second color signal and near-infrared signal when they are obtained. That is, the output unit 260 determines whether or not the processing in steps S2 to S4 has been performed for all colors (step S5), and if the processing for all colors has been completed (step S5: YES), the second color signal. And a near-infrared signal is output (step S6).
  • step S5 when there is a color that has not been subjected to the processes of steps S2 to S4 (step S5: NO), the first color signal acquisition unit 220 selects an unprocessed first color signal (step S2).
  • the second color signal estimation unit 240 and the near-infrared signal calculation unit 250 execute the processes of steps S3 and S4 again according to the selection of step S2.
  • steps S3 and S4 are as follows in more detail. Note that the following description is described using G color signals for convenience, but the processing of other colors is the same.
  • FIG. 6 is a diagram illustrating a near-infrared signal in the present embodiment, and represents a near-infrared signal that has passed through a circular infrared transmission portion provided in the NIR cut filter.
  • the X axis and the Y axis correspond to orthogonal coordinates defined for the video represented by the video data.
  • the Z axis indicates the luminance (brightness) of the near-infrared signal.
  • the near-infrared signal has a significant value in a range wider than the actual area of the infrared transmission part due to the influence of diffraction of the near-infrared light, and the value goes from the center of the infrared transmission part to the outside thereof. And gradually decrease.
  • a component derived from one infrared transmission part and a component derived from another infrared transmission part may be mixed.
  • FIG. 7A and 7B are diagrams exemplifying near infrared light corresponding to the pattern of the NIR cut filter, and show the range of near infrared light irradiated on the image sensor.
  • FIG. 7A shows a case where the infrared light from the respective infrared transmission portions does not overlap.
  • FIG. 7B shows a case where the infrared light from the respective infrared transmission parts overlap.
  • the intensity I (w) on the image sensor when near-infrared light having a wavelength ⁇ and an incident intensity I 0 is incident on a certain infrared transmission part on the NIR cut filter is expressed by the following formula ( Represented by 1).
  • J 1 (w) is a first-order Bessel function of degree 1
  • C is a predetermined correction coefficient.
  • the correction coefficient C is a coefficient for adjusting the intensity I (w) so that it matches the pattern formed in the actual video. W is as shown in the following formula (2).
  • a represents the radius of the infrared transmission part.
  • q and R are respectively the distance between the point p and the point where the perpendicular line dropped from the center of the infrared transmission part to the image sensor intersects the image sensor, where p is an arbitrary point on the image sensor, This corresponds to the distance between the center of the infrared transmission part and the point p.
  • FIG. 8 illustrates a, q, and R in the formula (2).
  • FIG. 9 is a diagram illustrating the relationship between the intensity and the distance from the center of one of the patterns formed on the image sensor by the near infrared light being diffracted by the NIR cut filter.
  • the correction coefficient C in Expression (1) is determined so that the intensity I (w) matches such a pattern.
  • the intensity of the near-infrared signal at the position X on the image corresponding to the near-infrared light transmission part is I NIR_G (X)
  • the near-red light transmitted through the same infrared transmission part The intensity I NIR — G (X, x) observed at the pixel at the position x by external light is expressed as the following equation (3).
  • k X ⁇ x is a coefficient calculated using the formulas (1) and (2) from the distance between the position X and the position x on the image sensor.
  • the calculation method of the coefficient k X ⁇ x is not limited to this.
  • a calculation method of the coefficient k X ⁇ x when the spectral distribution of the near-infrared signal I NIR_G (X) is known, it is calculated using the equations (1) and (2) at each wavelength.
  • the coefficient k X ⁇ x can also be obtained by calculating based on a standard near-infrared spectral distribution in the installation scene or by using another means in advance.
  • the light reaching the pixel at the position x is a mixed light of visible light and near infrared light.
  • the first color signal in the pixel at the position x is transmitted to the pixel from the second color signal, which is a color signal based only on the visible light component, and a plurality of infrared transmission parts constituting the pattern on the NIR cut filter.
  • This is a sum of signals representing near-infrared light that arrives. Therefore, this first color signal can be expressed by I G_NIR (x) shown in Expression (4).
  • I G (x) corresponds to the second color signal representing the G component of the visible light components.
  • I G represents a vector having the second color signal (I G (x)) of each pixel as an element.
  • S represents a sampling matrix for extracting the second color signal in a portion that transmits near-infrared light.
  • D (M G ) represents a diagonal matrix having each element of the vector M G having the values of the intensity ratios (m G ) of the portions that transmit near infrared light as diagonal elements.
  • K represents a matrix having the values of the coefficient k X ⁇ x as elements.
  • the second color signal I G and the intensity ratio M G are obtained by calculating a value that minimizes the energy function E represented by the following equation (8).
  • the first term on the right side of Equation (8) is a value greater than 0 if the second color signal I G and the intensity ratio M G do not satisfy the relationship of Equation (7).
  • the second and third terms on the right side of Equation (8) are regularizations to prevent the energy minimization of the first term on the right side derived from Equation (7) from falling into an ill-posed state.
  • Term (regularization term) are coefficients ⁇ 1 set in advance in the cost functions C 1 (I G ) and C 2 (M G ) for evaluating the spatial smoothness of the second color signal and the intensity ratio. , ⁇ 2 .
  • the cost function for evaluating the smoothness is expressed by C (p) shown in equations (9) and (10), for example.
  • ⁇ p represents a set of pixels constituting the image sensor
  • N (x) represents a function indicating the positions of spatially adjacent pixel groups.
  • p (x) represents data (second color signal I G or intensity ratio M G ) corresponding to the pixel at the position x on the image sensor
  • p (y) is spatially applied to the pixel at the position x.
  • Data (second color signal I G or intensity ratio M G ) corresponding to any arbitrary pixel in the adjacent pixel group is represented.
  • the second color signal I G and the intensity ratio M G are calculated by the second color signal estimation unit 240 updating values using repetitive calculations.
  • I 0 G is set as I G_NIR
  • M 0 G is set as a matrix having values of all elements of 1.0
  • the update expressions represented by the equations (11) and (12) are set. This calculation is repeated until the update amount becomes sufficiently small.
  • I t G and M t G represent I G and M G at the repetition count t, respectively.
  • K t represents a coefficient for adjusting the update amount at the repetition count t and satisfies 0 ⁇ k t ⁇ 1.
  • E represents a unit matrix, and superscript T represents transposition of the matrix.
  • the near-infrared signal I NIR_G can be calculated.
  • the near-infrared signal calculating section 250 calculates the near-infrared signal I NIR_G by substituting the second color signal I G and the intensity ratio M G in equation (5).
  • the second color signal and the near-infrared signal can be calculated similarly to the G component described above. That is, the R component second color signal I R , the near infrared signal I NIR_R, the B component second color signal I B , and the near infrared signal I NIR_B can be calculated by the same calculation as the G component.
  • the near-infrared signal output from the video processing device 200 is obtained by adding the near-infrared signals of the R, G, and B components. That is, if the near-infrared signal to be output is I NIR , I NIR is as shown in the following equation (13).
  • Image processing apparatus 200 by executing such a processing, it is possible to output the image data including the near-infrared signals I NIR and second color signals I R, I G, I B .
  • the video processing apparatus 200 can obtain the second color signal and the near-infrared signal from the first color signal only by preparing the NIR cut filter and the corresponding pattern information. In this case, the imaging device does not require a special configuration other than the NIR cut filter.
  • FIG. 10 is a schematic view illustrating the configuration of an imaging apparatus according to yet another embodiment of the invention.
  • An imaging apparatus 300 illustrated in FIG. 10 includes a light receiving unit 310 and a video processing unit 320. More specifically, the light receiving unit 310 includes an NIR cut filter 311, a color filter 312, and a photosensor 313. Light including visible light and near-infrared light is incident on the photographing apparatus 300 via an optical system such as a lens.
  • the NIR cut filter 311 is an optical filter having the same configuration as the NIR cut filter of the first embodiment and the second embodiment.
  • the NIR cut filter 311 is provided on the front side of the traveling direction of the incident light with respect to the color filter 312 and the photosensor 313.
  • the NIR cut filter 311 is provided at a predetermined distance from the color filter 312 and the photosensor 313 so that the near infrared light diffused by diffraction is received by the photosensor 313.
  • the NIR cut filter 311 may be configured to be detachable or movable.
  • FIG. 11 is a schematic diagram showing the behavior of near-infrared light incident on the light receiving unit 310. As shown in FIG. 11, near-infrared light passes through a part (infrared transmission part) of the NIR cut filter 311, but is cut off at other parts. However, since near-infrared light is diffracted when passing through the infrared transmission part, it enters the photosensor 313 in a wider range than the infrared transmission part.
  • the color filter 312 is a three-color optical filter having a general configuration.
  • the color filter 312 has, for example, the spectral characteristics shown in FIG.
  • the photosensor 313 includes a plurality of photoelectric elements (that is, sensors) that generate signals according to the intensity of incident light.
  • the photosensor 313 may have a configuration similar to that of a general image input device or photographing device.
  • the video processing unit 320 acquires the signal generated by the photosensor 313 and executes video processing.
  • the video processing unit 320 has a function common to the video processing apparatus 200 of the second embodiment and a function of executing a demosaicing process described later.
  • FIG. 12 is a diagram partially showing the configuration of the color filter 312. As shown in FIG. 12, the color filter 312 has a so-called Bayer type arrangement. The color filter 312 is provided so that each filter corresponds to each sensor (that is, pixel) of the photosensor 313.
  • the pattern of the NIR cut filter 311 may have a corresponding relationship with the pixel arrangement of the photosensor 313.
  • the correspondence here is, for example, that the interval between the infrared transmission parts of the NIR cut filter 311 is equal to the interval between the pixels of the photosensor 313 or is an integer multiple.
  • the infrared transmission part of the NIR cut filter 311 may be provided so as to overlap with pixels corresponding to a specific color of the photosensor 313.
  • the pattern of the NIR cut filter 311 does not necessarily have a corresponding relationship with the pixel arrangement of the photosensor 313.
  • the configuration of the photographing apparatus 300 is as described above. Under this configuration, the imaging apparatus 300 generates video data represented by four colors (four components) of R, G, B, and NIR, based on video data represented by three colors of R, G, and B. Is possible.
  • the operation of the imaging device 300 is common to the operation of the video processing device 200 of the second embodiment in its main points. However, the imaging apparatus 300 performs a demosaicing process prior to the operation described in the second embodiment.
  • FIG. 13 is a diagram for explaining an example of the demosaicing process, and is a diagram illustrating a correspondence relationship between pixels and coordinates.
  • coordinates of (1, 1), (1, 2), (2, 1), and (2, 2) are assigned to the pixels in 2 rows and 2 columns shown in FIG. Note that the pixel at coordinates (1, 1) corresponds to the R component. A pixel at coordinates (2, 2) corresponds to the B component. The remaining pixels correspond to the G component.
  • color information (color signal values) of RGB colors at coordinates (i, j) will be expressed as R (i, j), G (i, j), and B (i, j), respectively.
  • R (1,1) represents the color information of the R component of the pixel at coordinates (1,1).
  • the color information at the time of execution of the demosaicing process actually includes an NIR component.
  • the NIR component of the color information is not considered.
  • the pixel at the coordinates (1, 1) corresponds to the R component. Therefore, the color information of the R component at the coordinates (1, 1) is expressed by the following formula (14).
  • R (1,1) R (1,1) (14)
  • the pixel at the coordinates (1, 1) does not receive other color components. For this reason, the color information of the G component and B component of the pixel at the coordinates (1, 1) is obtained by interpolation from the surrounding pixels as shown in equations (15) and (16).
  • G (1,1) (G (2,1) + G (1,2)) / 2 (15)
  • B (1,1) B (2,2) (16)
  • the color information of the pixel at coordinates (2, 1) is obtained in the same manner as the color information of the pixel at coordinates (1, 2).
  • the color information of the pixel at coordinates (2, 2) is obtained in the same manner as the color information of the pixel at coordinates (1, 1).
  • the video processing unit 320 executes such processing for all the pixels and acquires color information of each color. Subsequently, the video processing unit 320 calculates a near-infrared signal by the operation described in the second embodiment. Note that the demosaicing process is not limited to the method described above, and may be executed using, for example, the methods disclosed in Non-Patent Documents 4 to 6.
  • the imaging device 300 can achieve the same effects as the video processing device 200 of the second embodiment.
  • the imaging apparatus 300 can disperse infrared light by diffraction in the NIR cut filter 311. Thereby, the imaging apparatus 300 can reduce the intensity of the near-infrared signal per pixel even when infrared light having an intensity that saturates the near-infrared signal is incident on the photosensor 313. It makes it possible to increase the apparent dynamic range.
  • FIG. 14 is a diagram illustrating a preferable correspondence relationship between the infrared transmission unit 311 a of the NIR cut filter 311 and the color filter 312.
  • FIG. 14 shows the positional relationship when the NIR cut filter 311 and the color filter 312 are viewed from the direction in which light enters.
  • the infrared transmission part 311a shown in FIG. 14 is in a position overlapping with the pixel corresponding to the G component.
  • I NIR_R and I NIR_B are ignored compared to the case where the NIR cut filter 311 does not have such a pattern (for example, when the infrared transmission unit 311a overlaps with a pixel corresponding to the R component or B component). It is possible to reduce the influence of the error.
  • Embodiments of the present invention are not limited to the first to third embodiments described above.
  • the present invention can be implemented by the following modified embodiments.
  • the present invention may be implemented in a mode in which the first to third embodiments and modifications are appropriately combined.
  • the specific shape of the NIR cut filter pattern is not limited as long as it can be described as pattern information.
  • the infrared transmission portion does not have to be circular, and all the infrared transmission portions do not necessarily have the same shape.
  • the visible light component is not limited to the three components R, G, and B.
  • the visible light component for example, three components of cyan (C), magenta (M), and yellow (Y) may be used. Further, the visible light component need not be composed of three components, and may be more or less than this.
  • Modification 3 15 and 16 are diagrams showing another example of the photographing apparatus.
  • FIG. 15 is a diagram showing an imaging apparatus 400 having a so-called three-plate type, that is, a configuration in which sensors corresponding to R, G, and B colors are independent.
  • FIG. 16 is a diagram showing an imaging apparatus 500 including a so-called stacked sensor. The present invention can also be applied to an imaging apparatus having such a configuration.
  • the photographing apparatus 400 includes a prism 410, photosensors 420, 430, and 440, an NIR cut filter 450, and an image processing unit 460.
  • the prism 410 decomposes the incident light and emits the light in directions corresponding to the R, G, and B components.
  • the photo sensors 420 (R), 430 (G), and 440 (B) generate signals corresponding to the intensity of incident light of each color.
  • the NIR cut filter 450 is an optical filter similar to the NIR cut filter 311 of the third embodiment.
  • the NIR cut filter 450 is not necessarily provided in all of the photosensors 420, 430, and 440, and may be provided in any of these (the photosensor 420 in FIG. 15) according to the spectral characteristics of the prism 410.
  • the near infrared light incident on the photosensors 430 and 440 is sufficiently smaller than the near infrared light incident on the photosensor 420.
  • an optical filter that cuts near infrared light is provided in front of the photosensors 430 and 440. Good.
  • the video processing unit 460 may have the same configuration as the video processing unit 320 described in the third embodiment. However, in the example shown in FIG. 15, the color signal including the near infrared light component is only the R component. Therefore, the video processing unit 460 only needs to perform the process of separating the near-infrared signal from the color signal only on the R component color signal.
  • the photographing apparatus 500 includes an NIR cut filter 510, a stacked sensor 520, and a video processing unit 530.
  • the NIR cut filter 510 and the video processing unit 530 may have the same configuration as the NIR cut filter 450 and the video processing unit 460 shown in FIG.
  • the stacked sensor 520 is a sensor in which sensors 521, 522, and 523 are stacked.
  • the sensor 521 has sensitivity in the wavelength region of the B component.
  • the sensor 522 has sensitivity in the wavelength region of the G component.
  • the sensor 523 has sensitivity in the wavelength region of the R component and the near infrared light component.
  • the video processing devices 100 and 200 and the video processing unit 320 can be realized by a processing device (processor) such as a CPU (Central Processing Unit) and a memory.
  • processor processing device
  • the present invention may be realized by a general-purpose processor or a processor dedicated to video processing.
  • the present invention may be provided in the form of a program executable by a computer.
  • This program may be provided in the form of being downloaded from another device (server or the like) via a network, or may be provided in the form of a computer-readable recording medium.
  • the present invention can be provided as a video processing method in addition to a video processing device, a photographing device, a program, and a recording medium.
  • Video processing device 110 Acquisition unit 120 Signal processing unit 210 Video data acquisition unit 220 First color signal acquisition unit 230 Pattern storage unit 240 Second color signal estimation unit 241 Initial value estimation unit 242 Estimation value selection unit 243 Smoothness evaluation unit 244 First color signal estimation unit 245 Error calculation unit 246 Estimated value update unit 250 Near infrared signal calculation unit 260 Output unit 300, 400, 500 Imaging device 310 Light receiving unit 312 Color filter 313 Photo sensor 320 Image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

一般的な構成の撮影装置を利用し、可視光及び近赤外光の映像処理を可能にする。映像処理装置（１００）は、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する取得部（１１０）と、前記パターンを規定するパターン情報を用いて、取得部（１１０）により取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理部（１２０）とを備える。

Description

映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体
　本発明は、映像処理に関する。
　デジタルスチルカメラ、ビデオカメラなどのカラー画像入力装置においては、イメージセンサに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の光学フィルタが組み込まれている構成が一般的である。カラー画像入力装置に入射した光は、この３色光学フィルタによって分解され、イメージセンサによってＲ、Ｇ、Ｂ各色の信号に変換される。
　カラー画像入力装置に使用されるイメージセンサがシリコン系のセンサである場合、そのセンサ感度は、可視領域から近赤外領域に渡る。しかし、近赤外光成分は、色再現において悪影響を及ぼす場合がある。ところが、３色光学フィルタは、それぞれの色に対応する波長領域については一定の透過率を保証するものの、近赤外領域などの可視領域以外の領域については、光の透過特性が必ずしも保証されない。
　図１７は、ＲＧＢ３色光学フィルタの分光透過率を例示する図である。例えば、可視領域を４００～７００ｎｍとした場合、各色のフィルタには、４００～５００ｎｍ（Ｂ）、５００～６００ｎｍ（Ｇ）、６００～７００ｎｍ（Ｒ）付近の波長の光を透過する特性が期待される。しかし、各色のフィルタは、図１７に示すように、可視領域以外の領域の光を透過する特性も有している場合がある。
　また、画像入力装置での採用例も多いフォトダイオードによるイメージセンサの分光感度特性は、７００ｎｍ以上の波長領域においても感度を有する。そうすると、図１７のような分光感度特性を有する３色光学フィルタを一般的なイメージセンサに適用しただけでは、色再現性の観点から問題が生じる場合がある。そのため、イメージセンサには、高い色再現性が要求される場合には赤外カットフィルタが設けられる。
　図１８は、人間の色知覚に関するＸＹＺ表色系の等色関数を示す図である。図１８に示すように、人間の色知覚は、７００ｎｍ以上の波長の光について感度を有しない。そのため、７００ｎｍ以上の波長領域にパワーを有する光は、心理物理量である知覚色に影響を与えない。
　ここで、図１９に示すような６００ｎｍ以上の波長領域にパワーを有する光を観測する場合を想定する。この光は、人間には赤として知覚される。一方、図１７に示すような３色光学フィルタを用いたイメージセンサで観測した場合、その出力信号は、ＲだけでなくＧやＢも値を有してしまう。そのため、この出力信号は、人間が知覚する色（赤）と異なる色を示してしまう。
　カラー画像入力装置において、人間の色知覚に応じた色再現性を実現するためには、図２０に示すような７００ｎｍ以上の近赤外光の影響を除去する分光透過率を有する赤外カットフィルタが用いられる。具体的には、図２１に示すように、カラー画像入力装置の光学系に赤外カットフィルタ６１０を設けることで、３色光学フィルタ６２０及びイメージセンサ６３０への近赤外光の入射が遮断される。このようにすることで、近赤外領域にパワーを有しない光を３色光学フィルタ６２０及びイメージセンサ６３０に入射させることができる。
　一方、光量が不足した環境下で映像を撮影する場合には、ノイズを抑制した高感度撮影が求められる。このような場合には、光量不足に起因するセンサノイズを抑制するために、イメージセンサへの受光量を増やすことが望ましい。暗所での高感度撮影を実現する方法としては、近赤外光を利用した撮影方法が知られている。
　高感度撮影時に近赤外光を利用する最も簡易的な方法は、光学系にセットされている赤外カットフィルタを高感度撮影時に機械的に移動させ、光学系から赤外カットフィルタを一時的に取り除く方法である。しかし、この方法には、部品点数の増加、すなわちコスト上昇の問題だけでなく、赤外カットフィルタを移動させる機械的動作を要することにより故障の可能性が増大する問題もある。
　これに対し、非特許文献１は、機械的動作を要することなく撮影する方法を開示している。具体的には、非特許文献１には、カラー画像と近赤外画像のそれぞれを撮影する２台のカメラを用いた撮影方法が記載されている。
　また、非特許文献２は、図２２に示すように、ＲＧＢの３色光学フィルタに近赤外光を透過するＩＲ（infrared）フィルタを加えた４色の光学フィルタが組み込まれたイメージセンサ７００を開示している。非特許文献２の第２図には、Ｒ、Ｇ、Ｂ、ＩＲの各光学フィルタの分光感度特性が記載されている。Ｒ、Ｇ、Ｂの各光学フィルタの分光感度特性は、近赤外領域において、ＩＲフィルタと同様の分光感度を有している。昼間撮影において高い色再現性を実現するためには、Ｒ、Ｇ、Ｂの色信号に含まれる近赤外光の影響を抑制ないし除去する必要がある。非特許文献２に記載されたイメージセンサは、昼間撮影においては、Ｒ、Ｇ、Ｂの色信号に含まれるＩＲ成分を除去し、夜間撮影においては、ＩＲフィルタを透過して得られたＩＲ信号だけでなく、Ｒ、Ｇ、Ｂの色信号に含まれるＩＲ成分も用いて白黒画像を得る。
　特許文献１は、近赤外光（ＮＩＲ：near-infrared）を透過するＲ、Ｇ、Ｂの３色光学フィルタを用いるとともに、近赤外光を検出するフォトセンサを用いることで、Ｒ、Ｇ、Ｂ、ＮＩＲの各色の信号を生成する撮像デバイスを開示している。このフォトセンサは、光の入射方向に対して浅い位置に可視光センサ部を有し、当該方向に対して深い位置に非可視光センサ部を有する。
　また、非特許文献３は、ＩＲカットフィルタを用いず、ＲＧＢベイヤ型カラーフィルタアレイ（ＣＦＡ）のＧフィルタに対して分光透過特性が異なる２種類のフィルタを用いるなど、通常と異なるカラーフィルタアレイを用いて撮像した画像からカラーチャネルとＮＩＲチャネルを分離し、４チャネルの画像を生成する手法を開示している。
特開２０１１－２４３８６２号公報
松井壮介、島野美保子、岡部孝弘、佐藤洋一、"カラーと近赤外画像の併用による低照度シーンの画質改善"、第１２回画像の認識・理解シンポジウム（ＭＩＲＵ２００９）論文集、ｐｐ．１０８９－１０９６、２００９年 香山信三、田中圭介、廣瀬裕、"監視カメラ用昼夜兼用イメージセンサ"、パナソニック技報　２００９年　１月号、Ｖｏｌ．５４、Ｎｏ．４、pp.18-23 Z. Sadeghipoor et al, "A Novel Compressive Sensing Approach to Simultaneously Acquire Color and Near-Infrared Images on a Single Sensor", Proc. of IEEE ICASSP, pp.1646-1650, 2013. O. Losson, L. Macaire, Y. Yang, "Comparison of Color Demosaicing Methods", Advances in Imaging and Electron Physics, Vol.162, pp. 173-265, 2010. R. Ramanath, W. Snyder, G. Bilbro, W. Sander, "Demosaicking methods for Bayer color array", J. Electronic Imaging, Vol.11, No.3, pp. 306-315, 2002. S. Ferradans, M. Bertalmio, V. Caselles, "Geometry-Based Demosaicking", IEEE Trans. on Image Processing, Vol.18, No.3, pp. 665-670, 2009.
　非特許文献１に記載された方法は、ＲＧＢ画像と近赤外画像とを２台のカメラを用いて生成するものである。なお、非特許文献１に記載の方法は、１台の装置によって構成することも不可能ではないものの、ＲＧＢ画像と近赤外画像のための２つの光学パスと２つのイメージセンサが必要である。
　また、非特許文献２及び特許文献１に記載されたイメージセンサは、近赤外の画像を生成するための特殊なイメージセンサであり、一般的な構成ではないといえる。また、非特許文献３に記載されたカラーフィルタアレイは、２つの異なるＧフィルタを必要とする。
　本発明の目的は、一般的な構成の撮影装置を利用し、可視光及び近赤外光の映像処理を可能にする技術を提供することにある。
　本発明は、一の態様において、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する取得手段と、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備える映像処理装置を提供する。
　本発明は、別の態様において、所定の幾何学的形状を有するパターンで近赤外光を透過する光学フィルタを有し、当該光学フィルタを透過した近赤外光を含む映像を表す映像信号を生成する受光手段と、前記パターンを規定するパターン情報を用いて、前記生成された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備える撮影装置を提供する。
　本発明は、さらに別の態様において、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得し、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理方法を提供する。
　本発明は、さらに別の態様において、コンピュータに、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する処理と、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体を提供する。
　本発明によれば、一般的な構成の撮影装置を利用した可視光及び近赤外光の映像処理が可能になる。
図１は、映像処理装置の構成を例示するブロック図である。 図２は、ＮＩＲカットフィルタを例示する図である。 図３は、映像処理装置の構成を例示するブロック図である。 図４は、第２色信号推定部の構成を例示するブロック図である。 図５は、映像処理装置が実行する処理の概略を例示するフローチャートである。 図６は、近赤外信号を例示する図である。 図７Ａは、ＮＩＲカットフィルタのパターンに応じた近赤外光を例示する図である。 図７Ｂは、ＮＩＲカットフィルタのパターンに応じた近赤外光を例示する図である。 図８は、式（２）の値を説明するための図である。 図９は、近赤外光の強度と中心からの距離との関係を例示する図である。 図１０は、撮影装置の構成を例示する模式図である。 図１１は、受光部に入射した近赤外光の振る舞いを表す模式図である。 図１２は、カラーフィルタの構成を例示する図である。 図１３は、デモザイキング処理の一例を説明するための図である。 図１４は、ＮＩＲカットフィルタの赤外透過部とカラーフィルタの対応関係を例示する図である。 図１５は、撮影装置の構成を例示する模式図である。 図１６は、撮影装置の構成を例示する模式図である。 図１７は、ＲＧＢ３色光学フィルタの分光透過率を例示する図である。 図１８は、人間の色知覚に関するＸＹＺ表色系の等色関数を示す図である。 図１９は、ある色光の分光強度分布を例示する図である。 図２０は、赤外カットフィルタの分光特性の一例を示す図である。 図２１は、カラー画像入力装置の構成例を示す図である。 図２２は、カラー画像入力装置の構成例を示す図である。
　［第１実施形態］
　図１は、本発明の一実施形態に係る映像処理装置の構成を例示するブロック図である。映像処理装置１００は、近赤外光を含む映像を表す映像信号を取得し、取得した映像信号に対応する色信号及び近赤外信号を出力する装置である。換言すれば、映像処理装置１００は、可視光及び近赤外光を含んだ状態で撮像された映像から色信号と近赤外信号を分離する装置である。なお、本図以降のブロック図に示した矢印は、信号の流れの一例を示すものであって、信号の流れが特定の方向に限定されることを意図したものではない。
　ここでいう映像とは、レンズ等の光学系を介して取り込まれる像をいい、静止画と動画のいずれであってもよい。また、色信号は、映像信号のうちの可視光成分を表す信号である。これに対し、近赤外信号は、映像信号のうちの近赤外光成分を表す信号である。色信号及び近赤外信号は、例えば画素の輝度を表すが、輝度のみに限定されない。なお、以下の説明において、色信号及び近赤外信号は、静止画か、映像である場合には当該映像の特定の時点の像の各画素の輝度を表すものとする。
　また、本実施形態において、可視領域とは、４００～７００ｎｍの波長領域をいう。このうち、４００～５００ｎｍを青（Ｂ）、５００～６００ｎｍを緑（Ｇ）、６００～７００ｎｍを赤（Ｒ）の波長領域とする。また、近赤外領域とは、７００ｎｍ～２．５μｍの波長領域をいう。ただし、ここに示した波長領域の分類は、あくまでも一例にすぎない。
　映像処理装置１００は、取得部１１０と信号処理部１２０とを備える。映像処理装置１００は、映像信号を供給する外部装置と接続する。外部装置は、例えば、イメージセンサを有する撮像装置である。取得部１１０は、この外部装置から映像信号を取得する。信号処理部１２０は、取得部１１０により取得された映像信号に基づいて、色信号と近赤外信号とを出力する。
　取得部１１０は、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する。ここでいうパターンは、円形、矩形などの図形が繰り返し規則的に配列されたものである。このような映像信号は、例えば、イメージセンサに近赤外光をカットする光学フィルタ（以下「ＮＩＲカットフィルタ」という。）を設けることで得られる。
　図２は、ＮＩＲカットフィルタを例示する図であり、ＮＩＲカットフィルタを光の入射方向に対して垂直に示す図である。図２に示すＮＩＲカットフィルタ１０は、フィルタ部１１に赤外透過部１２を複数設けた構成である。赤外透過部１２は、ここでは、等間隔に配列された円形の穴である。ＮＩＲカットフィルタ１０は、赤外透過部１２において近赤外光を遮光せずに透過し、フィルタ部１１において近赤外光を所定の割合以上カットする。
　なお、映像信号に含まれる近赤外光成分が映像上に形成するパターンは、ＮＩＲカットフィルタのパターンと必ずしも一致しない。なぜならば、近赤外光は、ＮＩＲカットフィルタを透過した後に回折を生じるからである。映像信号に映像として現われる近赤外光成分のパターンは、ＮＩＲカットフィルタに形成されたパターン（図２の赤外透過部１２に相当）よりも各図形が大きくなる。
　信号処理部１２０は、このような映像信号を取得部１１０から取得し、色信号と近赤外信号とを出力する。色信号は、典型的にはＲ、Ｇ、Ｂの３成分の信号として出力されるが、必ずしもこれに限定されない。信号処理部１２０は、近赤外光のパターンを規定するパターン情報を用いて所定の演算処理を実行することにより、色信号と近赤外信号とを出力することができる。
　パターン情報は、映像上の近赤外光のパターンを特定するための情報である。例えば、パターン情報は、ＮＩＲカットフィルタにおけるパターンの位置及び形状を表すデータである。パターン情報は、図２に示したＮＩＲカットフィルタの場合であれば、赤外透過部１２の円の中心の座標とその半径とをパラメータとして記述したデータであってもよいが、パターンを特定可能であればどのようなデータであってもよい。なお、パターン情報は、映像処理装置１００にあらかじめ記憶されていてもよいし、ユーザ等によって入力されてもよい。例えば、パターン情報は、ユーザがキャリブレーションを実施することによってあらかじめ求められてもよい。
　以上のとおり、映像処理装置１００は、近赤外光を所定のパターンで含んだ映像を表す映像信号とパターン情報とを組み合わせて用いることで、映像信号から色信号と近赤外信号とを分離することが可能である。したがって、映像処理装置１００によれば、色信号と近赤外信号とを含んだ映像信号に基づいて可視光の映像処理と近赤外光の映像処理とをそれぞれ実行することが可能になる。
　また、このような映像信号を撮像装置によって得る場合、撮像装置は、一般的な撮像装置に図２に示すようなＮＩＲカットフィルタを設ければ足りるため、一般的な構成を利用可能である。なお、本実施形態において、出力された近赤外信号の用途は、特に限定されない。
　［第２実施形態］
　図３は、本発明の別の実施形態に係る映像処理装置の構成を例示するブロック図である。図３に示す映像処理装置２００は、映像データ取得部２１０と、第１色信号取得部２２０と、パターン記憶部２３０と、第２色信号推定部２４０と、近赤外信号算出部２５０と、出力部２６０とを備える。映像処理装置２００は、第１実施形態の映像処理装置１００と同様の機能を有する。
　映像データ取得部２１０は、映像データを取得する。映像データ取得部２１０は、第１実施形態と同様の外部装置から映像データを取得することができる。映像データは、複数の色信号を少なくとも含む。複数の色信号は、ここでは、Ｒ、Ｇ、Ｂの３色の色成分に分離されて表現された色信号であり、各画素を所定のビット数の値によって表す。なお、ここでいう色信号は、可視光成分に近赤外光成分が重畳された状態の映像を表す。以下においては、このような色信号のことを「第１色信号」ともいう。第１色信号は、後述する第２色信号と近赤外信号とを加算した信号である。
　第１色信号取得部２２０は、映像データ取得部２１０から第１色信号を取得する。第１色信号取得部２２０は、各色の第１色信号をそれぞれ取得する。
　パターン記憶部２３０は、パターン情報を記憶する。パターン記憶部２３０は、例えば、ハードディスク、フラッシュメモリなどの記憶媒体によって構成される。なお、本実施形態のパターン情報としては、第１実施形態と同様のデータを用いることができる。パターン情報は、各色で共通のデータを用いることが可能である。
　第２色信号推定部２４０は、第１色信号から近赤外光成分を除いた色信号である第２色信号を推定する。また、第２色信号推定部２４０は、第２色信号に加え、第２色信号と近赤外信号の強度比を推定する。第２色信号推定部２４０は、第１色信号取得部２２０により取得された第１色信号とパターン記憶部２３０に記憶されたパターン情報とに基づいて、各色の第２色信号及び強度比を推定する。
　近赤外信号算出部２５０は、近赤外信号を各色について算出する。近赤外信号算出部２５０は、第２色信号推定部２４０により推定された第２色信号及び第２色信号と近赤外信号の強度比を用いて、近赤外信号を算出することができる。
　出力部２６０は、第２色信号と近赤外信号とを出力する。出力部２６０は、近赤外信号算出部２５０により算出された各色分の近赤外信号に対して所定の演算（例えば、加算）を実行してからこれを出力する。
　なお、第１色信号取得部２２０、第２色信号推定部２４０及び近赤外信号算出部２５０は、各色の処理を順次実行してもよいし、同時並行的に実行してもよい。
　図４は、第２色信号推定部２４０の構成をより詳細に示すブロック図である。第２色信号推定部２４０は、初期値推定部２４１と、推定値選択部２４２と、平滑さ評価部２４３と、第１色信号推定部２４４と、誤差算出部２４５と、推定値更新部２４６とを備える。
　初期値推定部２４１は、第２色信号及び第２色信号と近赤外信号との強度比の推定値の初期値を算出する。初期値推定部２４１は、第１色信号に基づき、第２色信号の推定値と強度比の推定値の初期値をそれぞれ算出する。
　推定値選択部２４２は、第２色信号と強度比の推定値をそれぞれ選択する。推定値選択部２４２は、これらの推定値を選択する処理を繰り返す。推定値選択部２４２は、初回の選択処理においては、初期値推定部２４１により算出された初期値を選択する一方、２回目以降の選択処理においては、推定値更新部２４６により更新された推定値を選択する。
　平滑さ評価部２４３は、第２色信号及び強度比の推定値の平滑さを評価する。ここにおいて、平滑さとは、値の空間的なばらつきの度合いを意味し、「滑らかさ」ともいう。例えば、第２色信号の推定値が平滑であるとは、映像を構成する一定の範囲内の画素の推定値の最大値と最小値の差分が所定の閾値以下であることをいう。平滑さ評価部２４３は、所定のアルゴリズムに従って平滑さの評価値を算出する。
　第１色信号推定部２４４は、第１色信号を推定する。第１色信号推定部２４４は、推定値選択部２４２により選択された推定値とパターン記憶部２３０に記憶されたパターン情報とに基づいて、第１色信号の推定値を算出する。
　誤差算出部２４５は、第１色信号の推定値を実際の第１色信号と比較し、その誤差を算出する。すなわち、誤差算出部２４５は、第１色信号推定部２４４により推定された第１色信号と第１色信号取得部２２０により取得された第１色信号とを比較する。
　推定値更新部２４６は、第２色信号及び強度比の推定値を更新する。推定値更新部２４６は、平滑さ評価部２４３により算出された評価値と誤差算出部２４５により算出された誤差とに基づいてこれらの推定値を更新する。
　また、推定値更新部２４６は、更新前後の推定値をそれぞれ比較し、各々の推定値の更新量が十分に小さくなった場合には、更新を終了する。具体的には、推定値更新部２４６は、推定値の更新量を所定の閾値を比較し、更新量が当該閾値以下になった場合に更新を終了する。推定値更新部２４６は、更新を終了した時点での推定値を第２色信号推定部２４０の出力値とする。
　一方、推定値更新部２４６は、更新量が閾値を超える場合には、推定値を推定値選択部２４２に供給する。この場合、推定値選択部２４２、平滑さ評価部２４３、第１色信号推定部２４４、誤差算出部２４５及び推定値更新部２４６は、更新された推定値を用いて上述した処理を再度実行し、これを推定値の更新が終了するまで繰り返す。
　映像処理装置２００の構成は、以上のとおりである。この構成において、映像処理装置２００は、映像データを取得すると、色信号と近赤外信号を出力する。映像処理装置２００の具体的な動作は、以下に示すとおりである。なお、ここでは、映像データの全ての画素にＲ、Ｇ、Ｂ各色の色信号が設定されているものとする。
　図５は、映像処理装置２００が実行する処理の概略を例示するフローチャートである。ただし、映像処理装置２００は、必ずしも図５に示したとおりに処理を実行することを要しない。例えば、映像処理装置２００は、Ｒ、Ｇ、Ｂ各色の色信号について、ステップＳ３、Ｓ４の処理を並行して実行してもよい。
　まず、映像データ取得部２１０は、映像データを取得する（ステップＳ１）。次に、第１色信号取得部２２０は、映像データ取得部２１０により取得された映像データに含まれる複数の第１色信号のいずれかを選択する（ステップＳ２）。このとき、第１色信号取得部２２０は、後述するステップＳ３、Ｓ４の処理をまだ実行していない第１色信号を選択する。
　第１色信号取得部２２０によりいずれかの第１色信号が選択されたら、第２色信号推定部２４０は、選択された第１色信号に基づき、第２色信号及び第２色信号と近赤外信号の強度比をそれぞれ推定する（ステップＳ３）。換言すれば、第２色信号推定部２４０は、第２色信号の推定値と強度比の推定値とをそれぞれ算出する。次いで、近赤外信号算出部２５０は、これらの推定値に基づいて近赤外信号を算出する（ステップＳ４）。
　出力部２６０は、必要な第２色信号及び近赤外信号が得られたら、これを出力する。すなわち、出力部２６０は、ステップＳ２～Ｓ４の処理が全色について実行されたか否かを判断し（ステップＳ５）、全色の処理が終了していれば（ステップＳ５：ＹＥＳ）第２色信号及び近赤外信号を出力する（ステップＳ６）。
　一方、ステップＳ２～Ｓ４の処理を実行していない色がある場合（ステップＳ５：ＮＯ）、第１色信号取得部２２０は、未処理の第１色信号を選択する（ステップＳ２）。第２色信号推定部２４０及び近赤外信号算出部２５０は、ステップＳ２の選択に応じて、それぞれステップＳ３、Ｓ４の処理を再度実行する。
　ステップＳ３、Ｓ４の処理は、より詳細には、次のとおりである。なお、以下の説明は、便宜的にＧの色信号を用いて記述されるが、他の色の処理も同様のものである。
　図６は、本実施形態における近赤外信号を例示する図であり、ＮＩＲカットフィルタに設けられた円形の赤外透過部を透過した近赤外信号を表している。ここにおいて、Ｘ軸及びＹ軸は、映像データが表す映像に定義される直交座標に対応する。また、Ｚ軸は、近赤外信号の輝度（明るさ）を示している。
　近赤外信号は、近赤外光の回折の影響により、赤外透過部の実際の面積よりも広い範囲に有意な値を有し、その値が赤外透過部の中心からその外側に向かって段階的に低下する。近赤外信号は、隣り合う赤外透過部の距離が短い場合には、ある赤外透過部に由来する成分と他の赤外透過部に由来する成分とが混合される場合もある。
　図７Ａ及び図７Ｂは、それぞれ、ＮＩＲカットフィルタのパターンに応じた近赤外光を例示する図であり、イメージセンサに照射される近赤外光の範囲を示している。図７Ａは、それぞれの赤外透過部からの赤外光が重ならない場合を示している。これに対し、図７Ｂは、それぞれの赤外透過部からの赤外光が重なる場合を示している。
　ここで、ＮＩＲカットフィルタ上のある１つの赤外透過部に対し、波長λ、入射強度Ｉ0の近赤外光が入射した場合のイメージセンサ上の強度Ｉ（ｗ）は、以下の式（１）によって表される。
Figure JPOXMLDOC01-appb-I000001
　ここにおいて、Ｊ1（ｗ）は次数１の第１種ベッセル関数であり、Ｃは所定の補正係数である。補正係数Ｃは、強度Ｉ（ｗ）が実際の映像に形成されるパターンと一致するように調整するための係数である。また、ｗは、以下の式（２）に示すとおりである。
Figure JPOXMLDOC01-appb-I000002
　ここにおいて、ａは、赤外透過部の半径を表す。また、ｑ及びＲは、それぞれ、イメージセンサ上の任意の点をｐとした場合に、赤外透過部の中心からイメージセンサに下ろした垂線がイメージセンサと交わる点と点ｐとの距離と、赤外透過部の中心と点ｐとの距離とに相当する。式（２）のａ、ｑ及びＲを図解すると、図８のようになる。
　図９は、近赤外光がＮＩＲカットフィルタにおいて回折することでイメージセンサ上に形成されるパターンの一つについて、その強度と中心からの距離との関係を例示する図である。式（１）の補正係数Ｃは、強度Ｉ（ｗ）がこのようなパターンに一致するように決められる。
　そのため、近赤外光の透過部（すなわち赤外透過部）に対応する画像上の位置Ｘにおける近赤外信号の強度をＩNIR_G（Ｘ）とすると、同じ赤外透過部を透過した近赤外光によって位置ｘにある画素において観測される強度ＩNIR_G（Ｘ，ｘ）は、以下の式（３）のように表される。
Figure JPOXMLDOC01-appb-I000003
　ここにおいて、ｋＸ→ｘは、イメージセンサ上における位置Ｘと位置ｘの距離から式（１）及び（２）を用いて算出される係数である。ただし、係数ｋＸ→ｘの算出方法は、これに限定されない。例えば、係数ｋＸ→ｘの算出方法としては、近赤外信号ＩNIR_G（Ｘ）の分光分布が既知である場合には、各波長において式（１）及び（２）を用いて算出される係数を分光分布に基づいて合成する方法がある。また、係数ｋＸ→ｘは、設営シーンにおける標準的な近赤外光の分光分布に基づいて算出したり、あらかじめ別の手段を用いて計算したりすることによって求めることも可能である。
　また、位置ｘの画素に到達する光は、可視光と近赤外光の混合光である。具体的には、位置ｘの画素における第１色信号は、可視光成分のみによる色信号である第２色信号と、ＮＩＲカットフィルタ上のパターンを構成する複数の赤外透過部から当該画素に到達する近赤外光を表す信号とを加算したものである。そのため、この第１色信号は、式（４）に示すＩG_NIR（ｘ）によって表すことができる。ここにおいて、ＩG（ｘ）は、可視光成分のうちのＧ成分を表す第２色信号に対応する。
Figure JPOXMLDOC01-appb-I000004
　ここで、第２色信号ＩG（Ｘ）と近赤外信号ＩNIR_G（Ｘ）の関係は、強度比ｍGを用いると、式（５）のように表される。式（４）は、式（５）を用いると、式（６）のように変換できる。
Figure JPOXMLDOC01-appb-I000005

Figure JPOXMLDOC01-appb-I000006
　式（６）で表されるモデル式を用いると、第１色信号から第２色信号と強度比を推定することが可能である。いま、各画素の第１色信号（ＩG_NIR（ｘ））を要素とするベクトルをＩG_NIRとすると、ＩG_NIRは、理論的には式（７）のように表すことができる。
Figure JPOXMLDOC01-appb-I000007
　ここにおいて、ＩGは、各画素の第２色信号（ＩG（ｘ））を要素とするベクトルを表す。Ｓは、近赤外光を透過させる部分における第２色信号を抽出するためのサンプリング行列を表す。Ｄ（ＭG）は、近赤外光を透過させる部分のそれぞれの強度比（ｍG）の値を要素とするベクトルＭGの各要素を対角要素として有する対角行列を表す。Ｋは、係数ｋＸ→ｘの値を要素として有する行列を表す。
　第２色信号ＩG及び強度比ＭGは、以下の式（８）で表されるエネルギー関数Ｅを最小化する値を算出することで求められる。
Figure JPOXMLDOC01-appb-I000008
　式（８）の右辺第１項は、第２色信号ＩG及び強度比ＭGが式（７）の関係を満たさなければ、０よりも大きな値になる。また、式（８）の右辺第２項及び第３項は、式（７）より導出された右辺第１項のエネルギー最小化が不良設定（ill-posed）に陥ることを防ぐための正則化項（regularization term）である。これらの項は、第２色信号と強度比の空間的な滑らかさ（spatial smoothness）を評価するためのコスト関数Ｃ1（ＩG）、Ｃ2（ＭG）にあらかじめ設定された係数λ1、λ2を乗算した項である。
　滑らかさを評価するためのコスト関数は、例えば、式（９）、（１０）に示すＣ（ｐ）によって表される。ただし、Ωpは、イメージセンサを構成する画素の集合を表し、Ｎ（ｘ）は、空間的に隣接する画素群の位置を示す関数を表す。また、ｐ（ｘ）は、イメージセンサ上の位置ｘの画素に対応するデータ（第２色信号ＩG又は強度比ＭG）を表し、ｐ（ｙ）は、位置ｘの画素に空間的に隣接する画素群の任意のいずれかの画素に対応するデータ（第２色信号ＩG又は強度比ＭG）を表す。
Figure JPOXMLDOC01-appb-I000009

Figure JPOXMLDOC01-appb-I000010
　第２色信号ＩG及び強度比ＭGは、具体的には、第２色信号推定部２４０が繰り返し演算を用いて値を更新していくことで算出される。この繰り返し演算は、Ｉ0 GをＩG_NIRと設定するとともに、Ｍ0 Gを全ての要素の値が１．０の行列と設定し、式（１１）、（１２）で表される更新式を更新量が十分に小さくなるまで繰り返す演算である。
Figure JPOXMLDOC01-appb-I000011

Figure JPOXMLDOC01-appb-I000012
　ここにおいて、Ｉt G、Ｍt Gは、繰り返し回数ｔにおけるＩG、ＭGをそれぞれ表す。また、ｋtは、繰り返し回数ｔにおける更新量を調整するための係数を表し、０＜ｋt＜１を満たす。なお、Ｅは単位行列を表し、上付きのＴは行列の転置を表す。
　このようにして第２色信号ＩG及び強度比ＭGが算出されると、近赤外信号ＩNIR_Gを算出することが可能になる。具体的には、近赤外信号算出部２５０が、第２色信号ＩG及び強度比ＭGを式（５）に代入することで近赤外信号ＩNIR_Gを算出する。
　なお、Ｒ成分及びＢ成分についても、上述したＧ成分と同様に第２色信号及び近赤外信号を算出することができる。すなわち、Ｇ成分と同様の演算によって、Ｒ成分の第２色信号ＩR、近赤外信号ＩNIR_R及びＢ成分の第２色信号ＩB、近赤外信号ＩNIR_Bが算出可能である。
　映像処理装置２００から出力される近赤外信号は、Ｒ、Ｇ、Ｂ各成分の近赤外信号を加算したものである。すなわち、出力される近赤外信号をＩNIRとすると、ＩNIRは、以下の式（１３）のとおりである。
Figure JPOXMLDOC01-appb-I000013
　映像処理装置２００は、このような演算処理を実行することにより、近赤外信号ＩNIR及び第２色信号ＩR、ＩG、ＩBを含む映像データを出力することができる。映像処理装置２００は、ＮＩＲカットフィルタとこれに対応するパターン情報を用意するだけで、第１色信号から第２色信号と近赤外信号とを得ることができる。この場合において、撮像装置は、ＮＩＲカットフィルタのほかに特別な構成を要しない。
　［第３実施形態］
　図１０は、本発明のさらに別の実施形態に係る撮影装置の構成を例示する模式図である。図１０に示す撮影装置３００は、受光部３１０と、映像処理部３２０とを備える。受光部３１０は、より詳細には、ＮＩＲカットフィルタ３１１と、カラーフィルタ３１２と、フォトセンサ３１３とを備える。撮影装置３００には、レンズ等の光学系を介して、可視光と近赤外光とを含んだ光が入射される。
　ＮＩＲカットフィルタ３１１は、第１実施形態及び第２実施形態のＮＩＲカットフィルタと同様の構成を有する光学フィルタである。ＮＩＲカットフィルタ３１１は、カラーフィルタ３１２及びフォトセンサ３１３に対し、入射光の進行方向手前側に設けられる。また、ＮＩＲカットフィルタ３１１は、回折により拡散した近赤外光がフォトセンサ３１３に受光されるように、カラーフィルタ３１２及びフォトセンサ３１３に対して所定の距離だけ隔てて設けられる。なお、ＮＩＲカットフィルタ３１１は、着脱可能又は移動可能に構成されてもよい。
　図１１は、受光部３１０に入射した近赤外光の振る舞いを表す模式図である。図１１に示すように、近赤外光は、ＮＩＲカットフィルタ３１１の一部（赤外透過部）を透過する一方、他の部分ではカットされる。ただし、近赤外光は、赤外透過部を通過するときに回折するため、フォトセンサ３１３において赤外透過部よりも広い範囲に入射する。
　カラーフィルタ３１２は、一般的な構成の３色光学フィルタである。カラーフィルタ３１２は、例えば、図１７に示した分光特性を有する。フォトセンサ３１３は、入射光の強度に応じた信号を生成する光電素子（すなわちセンサ）を複数備える。フォトセンサ３１３は、一般的な画像入力装置又は撮影装置と同様の構成でよい。映像処理部３２０は、フォトセンサ３１３により生成された信号を取得し、映像処理を実行する。映像処理部３２０は、第２実施形態の映像処理装置２００と共通の機能を有するほか、後述するデモザイキング処理を実行する機能を有する。
　図１２は、カラーフィルタ３１２の構成を部分的に示す図である。図１２に示すように、カラーフィルタ３１２は、いわゆるベイヤ型の配列である。カラーフィルタ３１２は、個々のフィルタがフォトセンサ３１３の個々のセンサ（すなわち画素）に対応するように設けられている。
　なお、ＮＩＲカットフィルタ３１１のパターンは、フォトセンサ３１３の画素の配列と対応関係を有してもよい。ここでいう対応関係は、例えば、ＮＩＲカットフィルタ３１１の赤外透過部の間隔がフォトセンサ３１３の画素の間隔と等しいか、あるいは整数倍の関係にある、といったものである。具体的には、ＮＩＲカットフィルタ３１１の赤外透過部は、フォトセンサ３１３の特定色に対応する画素と重なるように設けられていてもよい。ただし、ＮＩＲカットフィルタ３１１のパターンは、フォトセンサ３１３の画素の配列と必ずしも対応関係を有していなくてもよい。
　撮影装置３００の構成は、以上のとおりである。撮影装置３００は、この構成の下、Ｒ、Ｇ、Ｂの３色で表される映像データに基づいて、Ｒ、Ｇ、Ｂ、ＮＩＲの４色（４成分）で表される映像データを生成することが可能である。撮影装置３００の動作は、その主要な点において、第２実施形態の映像処理装置２００の動作と共通する。ただし、撮影装置３００は、第２実施形態で説明された動作に先立ち、デモザイキング処理を実行する。
　図１３は、デモザイキング処理の一例を説明するための図であり、画素と座標の対応関係を示す図である。ここでは、説明の便宜上、図１３に示す２行２列の画素に対して（１，１）、（１，２）、（２，１）、（２，２）の座標が割り当てられる。なお、座標（１，１）の画素は、Ｒ成分に対応する。また、座標（２，２）の画素は、Ｂ成分に対応する。残りの画素は、Ｇ成分に対応する。
　以下においては、座標（ｉ，ｊ）のＲＧＢ各色の色情報（色信号の値）をＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）とそれぞれ表記する。例えば、Ｒ（１，１）は、座標（１，１）の画素のＲ成分の色情報を表す。なお、デモザイキング処理の実行時点の色情報は、実際にはＮＩＲ成分を含んでいる。しかし、ここでは、説明の便宜上、色情報のＮＩＲ成分を考慮しないものとする。
　座標（１，１）の画素は、Ｒ成分に対応する。したがって、座標（１，１）のＲ成分の色情報は、以下の式（１４）で表される。
Ｒ（１，１）＝Ｒ（１，１）　　　（１４）
　一方、座標（１，１）の画素は、他の色成分を受光しない。そのため、座標（１，１）の画素のＧ成分及びＢ成分の色情報は、式（１５）、（１６）に示すように、周辺の画素から補間することによって求められる。
Ｇ（１，１）＝（Ｇ（２，１）＋Ｇ（１，２））／２　　　（１５）
Ｂ（１，１）＝Ｂ（２，２）　　　（１６）
　次に、座標（１，２）の画素の色情報は、式（１７）～（１９）のとおりである。
Ｇ（１，２）＝Ｇ（１，２）　　　（１７）
Ｒ（１，２）＝Ｒ（１，１）　　　（１８）
Ｂ（１，２）＝Ｂ（２，２）　　　（１９）
　なお、座標（２，１）の画素の色情報は、座標（１，２）の画素の色情報と同様の要領で求められる。また、座標（２，２）の画素の色情報は、座標（１，１）の画素の色情報と同様の要領で求められる。
　映像処理部３２０は、このような処理を全ての画素について実行し、各色の色情報を取得する。続いて、映像処理部３２０は、第２実施形態で説明された動作により、近赤外信号を算出する。なお、デモザイキング処理は、上述した方法に限定されず、例えば非特許文献４～６に開示された方法を用いて実行されてもよい。
　撮影装置３００は、第２実施形態の映像処理装置２００と同様の効果を奏することができる。また、撮影装置３００は、ＮＩＲカットフィルタ３１１において、赤外光を回折により分散させることが可能である。これにより、撮影装置３００は、近赤外信号が飽和するような強度の赤外光がフォトセンサ３１３に入射した場合であっても画素当たりの近赤外信号の強度を減少させることができ、見かけ上のダイナミックレンジを大きくすることを可能にする。
　なお、映像処理部３２０は、デモザイキング処理後のＲ、Ｂ成分の色信号に含まれる近赤外光成分を無視してもよい。すなわち、映像処理部３２０は、Ｒ、Ｂ成分について、式（７）の右辺第２項を０（すなわちＩR_NIR＝ＩR、ＩB_NIR＝ＩB）とみなしてもよい。この場合、ＩNIR_R＝ＩNIR_B＝０であるため、式（１３）よりＩNIR＝ＩNIR_Gが成り立つ。
　図１４は、ＮＩＲカットフィルタ３１１の赤外透過部３１１ａとカラーフィルタ３１２の好適な対応関係を例示する図である。図１４は、ＮＩＲカットフィルタ３１１とカラーフィルタ３１２を光が入射する方向から見た場合の位置関係を示している。図１４に示す赤外透過部３１１ａは、いずれも、Ｇ成分に対応する画素に重なる位置にある。ＮＩＲカットフィルタ３１１がこのようなパターンを有すると、そうでない場合（例えば、赤外透過部３１１ａがＲ成分やＢ成分に対応する画素と重なる場合）に比べ、ＩNIR_R及びＩNIR_Bを無視した場合の誤差の影響を少なくすることが可能である。
　［変形例］
　本発明の実施の形態は、上述した第１～第３実施形態に限定されない。例えば、本発明は、以下に説明する変形例の態様によっても実施可能である。また、本発明は、第１～第３実施形態及び変形例を適宜に組み合わせた態様で実施されてもよい。
　（１）変形例１
　本発明の実施形態において、ＮＩＲカットフィルタのパターンは、パターン情報として記述可能なパターンであれば、その具体的形状は限定されない。例えば、ＮＩＲカットフィルタに形成されるパターンは、赤外透過部が円形でなくてもよく、また、全ての赤外透過部が必ずしも同じ形状である必要もない。
　（２）変形例２
　本発明の実施形態において、可視光成分は、Ｒ、Ｇ、Ｂの３成分に限定されない。可視光成分は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３成分が用いられてもよい。また、可視光成分は、３成分で構成される必要はなく、これより多くても少なくてもよい。
　（３）変形例３
　図１５及び図１６は、撮影装置の他の例を示す図である。図１５は、いわゆる３板式、すなわちＲ、Ｇ、Ｂ各色に対応するセンサが独立した構成の撮影装置４００を示す図である。また、図１６は、いわゆる積層型のセンサを備えた撮影装置５００を示す図である。本発明は、このような構成の撮影装置に対しても適用可能である。
　撮影装置４００は、プリズム４１０と、フォトセンサ４２０、４３０、４４０と、ＮＩＲカットフィルタ４５０と、映像処理部４６０とを備える。プリズム４１０は、入射光を分解し、Ｒ、Ｇ、Ｂそれぞれの成分に応じた方向に出射する。フォトセンサ４２０（Ｒ）、４３０（Ｇ）、４４０（Ｂ）は、各色の入射光の強度に応じた信号を生成する。
　ＮＩＲカットフィルタ４５０は、第３実施形態のＮＩＲカットフィルタ３１１と同様の光学フィルタである。ＮＩＲカットフィルタ４５０は、フォトセンサ４２０、４３０、４４０の全てに設けられる必要はなく、プリズム４１０の分光特性に応じて、これらのいずれか（図１５においてはフォトセンサ４２０）に設けられればよい。図１５の例の場合、フォトセンサ４３０、４４０に入射する近赤外光は、フォトセンサ４２０に入射する近赤外光に比して十分に少ないものとする。例えば、フォトセンサ４３０、４４０の前段には、近赤外光をカットする光学フィルタ（ただし、ＮＩＲカットフィルタ４５０と異なり、近赤外光を透過するパターンが形成されていない）が設けられてもよい。
　映像処理部４６０は、第３実施形態で説明された映像処理部３２０と同様の構成でよい。ただし、図１５に示す例においては、近赤外光成分を含む色信号はＲ成分のみである。したがって、映像処理部４６０は、色信号から近赤外信号を分離する処理をＲ成分の色信号に対してのみ実行すればよい。
　撮影装置５００は、ＮＩＲカットフィルタ５１０と、積層型センサ５２０と、映像処理部５３０とを備える。ＮＩＲカットフィルタ５１０、映像処理部５３０は、それぞれ、図１５に示したＮＩＲカットフィルタ４５０、映像処理部４６０と同様の構成でよい。
　積層型センサ５２０は、センサ５２１、５２２、５２３を積層したセンサである。センサ５２１は、Ｂ成分の波長領域に感度を有する。センサ５２２は、Ｇ成分の波長領域に感度を有する。センサ５２３は、Ｒ成分及び近赤外光成分の波長領域に感度を有する。
　（４）変形例４
　本発明は、その全部又は一部の構成をコンピュータによって実現することが可能である。例えば、映像処理装置１００、２００及び映像処理部３２０は、ＣＰＵ（Central Processing Unit）などの処理装置（プロセッサ）とメモリによって実現可能である。また、本発明は、汎用的なプロセッサによって実現されてもよいし、映像処理専用のプロセッサによって実現されてもよい。
　また、本発明は、コンピュータが実行可能なプログラムの形態で提供されてもよい。このプログラムは、ネットワークを介して他の装置（サーバ等）からダウンロードされる形態で提供されてもよいし、コンピュータが読み取り可能な記録媒体の形態で提供されてもよい。さらに、本発明は、映像処理装置、撮影装置、プログラム、記録媒体のほか、映像の処理方法としても提供され得る。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１５年９月１８日に出願された日本出願特願２０１５－１８４８８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０、３１１　　ＮＩＲカットフィルタ
　１２、３１１ａ　　赤外透過部
　１００、２００　　映像処理装置
　１１０　　取得部
　１２０　　信号処理部
　２１０　　映像データ取得部
　２２０　　第１色信号取得部
　２３０　　パターン記憶部
　２４０　　第２色信号推定部
　２４１　　初期値推定部
　２４２　　推定値選択部
　２４３　　平滑さ評価部
　２４４　　第１色信号推定部
　２４５　　誤差算出部
　２４６　　推定値更新部
　２５０　　近赤外信号算出部
　２６０　　出力部
　３００、４００、５００　　撮影装置
　３１０　　受光部
　３１２　　カラーフィルタ
　３１３　　フォトセンサ
　３２０　　映像処理部

Claims (8)

  1. 　所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する取得手段と、
    　前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段と
    　を備える映像処理装置。
  2. 　前記パターン情報は、前記パターンの位置及び形状を表す
    　請求項１に記載の映像処理装置。
  3. 　前記信号処理手段は、
    　前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
    　請求項１に記載の映像処理装置。
  4. 　近赤外光を前記パターンで透過する透過部を有する光学フィルタを備える受光手段を備える
    　請求項１に記載の映像処理装置。
  5. 　前記受光手段は、各々が複数の色成分のいずれかに対応する複数のセンサを備え、
    　前記パターンは、前記複数のセンサの配列と対応関係を有する
    　請求項４に記載の映像処理装置。
  6. 　所定の幾何学的形状を有するパターンで近赤外光を透過する光学フィルタを有し、当該光学フィルタを透過した近赤外光を含む映像を表す映像信号を生成する受光手段と、
    　前記パターンを規定するパターン情報を用いて、前記生成された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理手段と
    　を備える撮影装置。
  7. 　所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得し、
    　前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する
    　映像処理方法。
  8. 　コンピュータに、
    　所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する処理と、
    　前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する処理と
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
PCT/JP2016/004195 2015-09-18 2016-09-14 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体 WO2017047080A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017540507A JP6794989B2 (ja) 2015-09-18 2016-09-14 映像処理装置、撮影装置、映像処理方法及びプログラム
US15/757,456 US10440292B2 (en) 2015-09-18 2016-09-14 Color signal and near-infrared signal generated by using pattern information defining intensity-corresponding pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-184885 2015-09-18
JP2015184885 2015-09-18

Publications (1)

Publication Number Publication Date
WO2017047080A1 true WO2017047080A1 (ja) 2017-03-23

Family

ID=58288460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004195 WO2017047080A1 (ja) 2015-09-18 2016-09-14 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体

Country Status (3)

Country Link
US (1) US10440292B2 (ja)
JP (1) JP6794989B2 (ja)
WO (1) WO2017047080A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179378A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765494B1 (ja) 2019-10-31 2020-10-07 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235760A (ja) * 2006-03-02 2007-09-13 Fujitsu Ltd 紫外線画像および赤外線画像を撮像する撮像装置および撮像方法
JP2012080553A (ja) * 2011-11-07 2012-04-19 Sony Corp 半導体装置および撮像装置
WO2015133130A1 (ja) * 2014-03-06 2015-09-11 日本電気株式会社 映像撮影装置、信号分離装置および映像撮影方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010016053A1 (en) * 1997-10-10 2001-08-23 Monte A. Dickson Multi-spectral imaging sensor
US8237121B2 (en) * 2008-02-07 2012-08-07 Omnivision Technologies, Inc. Alternating row infrared filter for an image sensor
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US10171757B2 (en) * 2013-10-23 2019-01-01 Nec Corporation Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235760A (ja) * 2006-03-02 2007-09-13 Fujitsu Ltd 紫外線画像および赤外線画像を撮像する撮像装置および撮像方法
JP2012080553A (ja) * 2011-11-07 2012-04-19 Sony Corp 半導体装置および撮像装置
WO2015133130A1 (ja) * 2014-03-06 2015-09-11 日本電気株式会社 映像撮影装置、信号分離装置および映像撮影方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179378A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
JPWO2018179378A1 (ja) * 2017-03-31 2020-01-16 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11140370B2 (en) 2017-03-31 2021-10-05 Nec Corporation Image processing device, image processing system, image processing method, and program recording medium for generating a visible image and a near-infrared image

Also Published As

Publication number Publication date
JP6794989B2 (ja) 2020-12-02
JPWO2017047080A1 (ja) 2018-07-05
US20180249096A1 (en) 2018-08-30
US10440292B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
JP5527448B2 (ja) 画像入力装置
US7839437B2 (en) Image pickup apparatus, image processing method, and computer program capable of obtaining high-quality image data by controlling imbalance among sensitivities of light-receiving devices
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP5543616B2 (ja) 色フィルタアレイ画像反復デノイズ
JP6582987B2 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP4346634B2 (ja) 目標物検出装置
US8411176B2 (en) Image input device
CN104756488B (zh) 信号处理设备以及信号处理方法
WO2016098641A1 (ja) 撮像装置、撮像方法、およびプログラム
JP7143767B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
US10863115B2 (en) Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
KR101923957B1 (ko) 감도 개선을 위한 영상 처리 장치 및 방법
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP2012010141A (ja) 画像処理装置
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5139350B2 (ja) 画像処理装置、画像処理方法、撮像装置
JP5920144B2 (ja) 撮像装置および撮像方法
TWI617198B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16845954

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15757456

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017540507

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16845954

Country of ref document: EP

Kind code of ref document: A1