WO2018154965A1 - 画像処理装置及び撮像装置 - Google Patents

画像処理装置及び撮像装置 Download PDF

Info

Publication number
WO2018154965A1
WO2018154965A1 PCT/JP2017/046969 JP2017046969W WO2018154965A1 WO 2018154965 A1 WO2018154965 A1 WO 2018154965A1 JP 2017046969 W JP2017046969 W JP 2017046969W WO 2018154965 A1 WO2018154965 A1 WO 2018154965A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance
passive
active
brightness
Prior art date
Application number
PCT/JP2017/046969
Other languages
English (en)
French (fr)
Inventor
敏之 佐々木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/485,553 priority Critical patent/US10827129B2/en
Priority to JP2019501096A priority patent/JP7020471B2/ja
Publication of WO2018154965A1 publication Critical patent/WO2018154965A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Definitions

  • the present disclosure relates to an image processing device and an imaging device.
  • Patent Document 1 a subject is photographed to obtain a visible light signal and a non-visible light signal, and a visible light luminance signal Y1 and a non-visible light luminance signal Y2 are synthesized and synthesized with a luminance signal Y3. It is described that a color image is generated using a corrected color signal
  • the combination ratio of the visible light luminance signal Y1 and the non-visible light luminance signal Y2 and the amplification degree of the color signal and the color noise removal I have control. That is, the synthetic luminance signal is created by adding the invisible light luminance signal and the visible light luminance signal according to the illuminance.
  • the synthetic luminance signal is created by adding the non-visible light luminance signal and the visible light luminance signal, a shadow that is not visible in visible light may appear although it is reflected in non-visible light. Conversely, the shadows in visible light may disappear and the natural image close to visible light may not be obtained.
  • the image quality is deteriorated when the active image photographed by irradiating light and the passive image photographed without irradiating light are synthesized.
  • the image quality may be deteriorated when combining.
  • An image processing apparatus includes a combining unit that combines the brightness of an image and the brightness of the passive image.
  • the luminance of an active image photographed by irradiating a predetermined light to a subject is corrected based on the luminance of a passive image photographed without irradiating the predetermined light to the subject.
  • An image processing apparatus includes a correction unit, and a combining unit that combines the brightness of the corrected active image and the brightness of the passive image.
  • an imaging device for capturing an image of a subject, and irradiation of the subject with predetermined light, and luminance of an active image taken by the imaging element and the subject without irradiating the predetermined light
  • An image processing apparatus comprising: an image processing apparatus having a combining unit that combines the brightness of the active image and the brightness of the passive image based on the correlation of the brightness of the passive image captured by the image sensor.
  • an imaging device for capturing an image of a subject, luminance of an active image captured by the imaging device by irradiating the subject with predetermined light, and irradiation of the predetermined light to the subject are not performed.
  • An image processing apparatus comprising: a correction unit configured to perform correction based on the brightness of the passive image captured by the image pickup device; and a combining unit configured to combine the brightness of the corrected active image and the brightness of the passive image.
  • FIG. 1 is a schematic view showing a configuration of an image processing apparatus according to an embodiment of the present disclosure. It is a schematic diagram which shows the structure of a brightness
  • photography a near-infrared flash photography image as an active image and imaging a visible light image as a passive image it is a schematic diagram which shows the structural example of IR light projector and a monocular RGB-IR sensor. It is a schematic diagram which shows the effect by the image processing apparatus of this embodiment. It is a schematic diagram which shows the effect by the image processing apparatus of this embodiment.
  • FIG. 1 is a schematic view showing the configuration of an image processing apparatus 1000 according to an embodiment of the present disclosure.
  • the image processing apparatus 1000 is configured to include an active image conversion unit 100, a passive image conversion unit 110, a luminance synthesis unit 200, a color difference synthesis unit 130, and a synthetic image conversion unit 140.
  • the active image conversion unit 100 receives an image signal of an image (hereinafter, referred to as an active image) which is captured by actively emitting light such as visible light or near infrared light.
  • the passive image conversion unit 110 receives an image (hereinafter referred to as a passive image) captured passively without irradiating light.
  • Active images have the advantage of being brighter and less noisy than passive images, and since passive images are images closer to human appearance, it is common practice to combine active and passive images.
  • the signal level correction of the local region is performed to generate an image closer to the passive image without losing the effect of combining. Also, by controlling the composition ratio in accordance with the correlation amount between the local region of the active image and the passive image, the image quality deterioration of the composite image is prevented.
  • the active image converter 100 receives an RGB signal (color signal) or a Y signal (luminance signal) as an image signal of the active image.
  • the active image conversion unit 100 performs processing to convert the RGB signal into a YUV signal, separates the luminance signal (Y signal (Y_a)) of the active image, and outputs it to the luminance combining unit 200 .
  • the processing of the active image conversion unit 100 is unnecessary, and the luminance signal (Y signal (Y_a)) of the active image is input to the luminance combining unit 200.
  • the passive image conversion unit 110 receives an RGB signal (color signal) or a Y signal (luminance signal) as an image signal of the passive image.
  • the passive image conversion unit 100 performs processing to convert the RGB signal into a YUV signal, separates the luminance signal (Y signal (Y_p)) of the passive image, and outputs it to the luminance synthesis unit 200.
  • the processing of the passive image conversion unit 110 is unnecessary, and the luminance signal (Y signal (Y_p)) of the passive image is input to the luminance combining unit 200.
  • the luminance combining unit 200 performs processing of combining the Y signal (Y_a) of the active image and the Y signal (Y_p) of the passive image. As a result, the Y signal (Y_p ′) obtained by combining is output from the luminance combining unit 200.
  • the passive image conversion unit 110 outputs the remaining signal (UV signal (C_p)) from which the luminance signal (Y signal (Y_p)) is separated to the color difference synthesis unit 130.
  • the color difference synthesis unit 130 synthesizes color differences based on the Y signal (Y_p ′) obtained by the synthesis, and outputs a color signal (C_p ′). For example, the color difference synthesis unit 130 corrects the color signal based on the Y signal (Y_p ′), and performs processing such as amplitude amplification and color noise removal. When there is no color signal in the passive image, the process of the color difference synthesizing unit 130 is unnecessary.
  • a Y signal (Y_p ′) and a color signal (C_p ′) are input to the composite image conversion unit 140.
  • the composite image conversion unit 140 converts the Y signal (Y_p ′) and the color signal (C_p ′) into RGB signals. When the YUV signal is output as it is, or when there is no color signal in the passive image, the process by the composite image conversion unit 140 is unnecessary.
  • FIG. 2 is a schematic view showing the configuration of the luminance combining unit 200.
  • the luminance combining unit 200 includes a local region determination unit 222, an intra-region average value calculation unit 224 for the active image, an intra-region average value calculation unit 226 for the passive image, a ratio calculation unit 228, and a gain correction.
  • Unit 230 a low pass filter (LPF) 232, a low pass filter (LPF) 234, a correlation amount calculating unit (correlation calculating unit) 236, a combining ratio calculating unit 238, a noise removing unit 239, and a combining unit 240 There is.
  • LPF low pass filter
  • LPF low pass filter
  • correlation amount calculating unit correlation amount calculating unit
  • the luminance combining unit 200 can be divided into a signal level correcting unit 202 and a combining ratio control unit 204 based on its function. As shown in FIG. 2, the local area determination unit 222, the local area average value calculation section 224 for the active image, the local area average value calculation section 226 for the passive image, the ratio calculation section 228, and the gain correction section 230 The correction unit 202 is included.
  • the low pass filter (LPF) 232, the low pass filter (LPF) 234, the correlation amount calculation unit 236, the combining ratio calculating unit 238, the noise removing unit 239, and the combining unit 240 are included in the combining ratio control unit 204.
  • the local area determination unit 222 determines a local area based on the active image.
  • the local region determination unit 222 determines the local region by the filter coefficients of the bilateral filter expressed by the following equation (1).
  • f (i, j) is the luminance value of the active image
  • i, j is the position of the pixel
  • w is the filter size
  • ⁇ 1 is the parameter for distance
  • ⁇ 2 is the parameter for distance difference.
  • the bilateral filter shown to Formula (1) is a document (C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color. Images, ”in Proc. IEEE International Conference on Computer Vision (ICCV), 1998.).
  • the local area determination unit 222 focuses on, for example, a 5 ⁇ 5 pixel area, and compares the luminance value of the pixel (target pixel) located at the center of the pixel area with the luminance values of other pixels in the pixel area.
  • the weight of a pixel close to the luminance value of the pixel of interest is “1”
  • the weight of a pixel having a large luminance difference from the pixel of interest is “0”
  • a region combining pixels with a weight of “1” is a local region It is determined.
  • a region close to the pixel of interest and the luminance value is determined as the local region, and therefore the image features are close when the local region average value calculation units 224 and 226 in the subsequent stage average the luminance values in the local region. Since the luminance values can be averaged in the area, an appropriate average value can be calculated. On the other hand, if the luminance values are averaged in an area including pixels having a large luminance difference with respect to the pixel of interest, the features of the image are mixed, and an appropriate average value can not be obtained in that area. In practice, when the above equation (1) is calculated, continuous values that are not binary values of 0 or 1 are obtained, and a local region is obtained based on the continuous values.
  • the average value A of the luminance values of the active image is calculated by averaging the luminance values of the pixels in the local region.
  • the in-local-region average value calculation unit 226 of the passive image calculates the average value P of the luminance values of the passive image in the local region determined by the local region determination unit 222.
  • the average value A of the luminance values of the active image and the average value P of the luminance values of the passive image are respectively calculated in the same local region.
  • the signal level correction unit 202 corrects the signal level of the active image by multiplying the luminance value of the active image by the ratio (gain) of the luminance of the passive image to the luminance of the active image. A process of matching the luminance value to the luminance value of the passive image is performed. As a result, the luminance of the active image is converted to the luminance of the passive image, so the active image can be made closer to the passive image, and the user can visually recognize the active image without discomfort.
  • a low pass filter (LPF) 232 removes high frequency components from the luminance signal (Y_a) of the active image. Further, high-frequency components of the Y signal (Y_p) of the passive image are removed by a low pass filter (LPF) 234. Thus, the frequency bands of the luminance signal (Y_a) of the active image and the Y signal (Y_p) of the passive image are aligned.
  • the low pass filters 232 and 234 are composed of, for example, filter kernels of 5 ⁇ 5 Gaussian filters as follows.
  • the low pass filters 232 and 234 are used to suppress the variation due to noise of the correlation amount described later, but may not be used according to the condition of the signal. For example, when noise is small in the luminance signal (Y_a) of the active image and the luminance signal (Y_p) of the passive image, the processing by the low pass filters 132 and 134 may not be performed. Further, even when the frequency bands of the luminance signal (Y_a) of the active image and the luminance signal (Y_p) of the passive image are aligned in advance, the processing by the low pass filters 132 and 134 may not be performed.
  • the correlation amount calculation unit 236 calculates the correlation amount (correlation) between the active image and the passive image from the luminance signal (Y_a) of the active image from which the high frequency component has been removed and the luminance signal (Y_p) of the passive image. By aligning the frequency bands of the luminance signal (Y_a) of the active image and the luminance signal (Y_p) of the passive image by the low pass filters 132 and 134, it is possible to calculate the correlation amount with high accuracy.
  • zero mean normalized cross correlation ZNCC
  • the correlation amount ZNCC It can be represented by 2).
  • the amount of correlation is calculated for each pixel, but in order to enhance robustness, it is calculated in consideration of a local region (for example, a 7 ⁇ 7 square region or the like) around the pixel for which the amount of correlation is calculated.
  • ZNCC (. SIGMA. (A-A ') (P-P')) /. Sqroot. (. SIGMA. (A-A ') 2 (P-P') 2 ) ... (2)
  • the noise removing unit 239 removes noise of the Y signal (Y_p) of the passive image. Since the passive image is generally dark and noisy, the noise removing unit 239 removes the noise.
  • the synthesis unit 240 synthesizes the luminance signal (Y_a) of the active image corrected by the gain correction unit 230 and the Y signal (Y_p) of the passive image from which noise has been removed by the noise removal unit 239, and generates a synthesized luminance signal (Y_p). Calculate ').
  • the combining ratio calculation unit 238 calculates a combining ratio when the combining unit 240 performs combining based on the correlation amount calculated by the correlation amount calculating unit 236.
  • FIG. 3 is a characteristic diagram showing a combining ratio line used when the combining ratio calculation unit 238 calculates the combining ratio.
  • the horizontal axis indicates the correlation amount
  • the vertical axis indicates the combining ratio.
  • the combining ratio calculation unit 238 calculates the combining ratio based on the correlation amount between the active image and the passive image in accordance with the combining ratio line set in advance.
  • FIG. 3 shows the case where the relationship between the correlation amount and the synthesis ratio is linear
  • the synthesis ratio line may be a curve, and even if the synthesis ratio increases exponentially as the correlation amount increases. good.
  • the combination ratio may be increased stepwise (stepwise) as the amount of correlation increases.
  • the combining ratio indicates the ratio of combining in the combining unit 240, and indicates the ratio of the gain-corrected active image to the passive image subjected to noise removal. As the combining ratio increases, the ratio of gain-corrected active images increases and the ratio of passive images decreases. Also, as the combining ratio decreases, the ratio of the passive image increases, and the ratio of the gain-corrected image decreases.
  • the combining unit 240 combines, for each pixel, the luminance of the gain-corrected active image and the luminance of the passive image from which noise has been eliminated, based on the combining ratio calculated for each pixel.
  • the combining ratio control unit 204 calculates the combining ratio based on the correlation amount between the active image and the passive image. At this time, since the degradation of the active image is smaller as the correlation amount is larger, the combining unit 240 performs combining so that the ratio of the gain-corrected active image is larger. Further, since the degradation of the active image is larger as the correlation amount is smaller, the combining unit 240 performs combining so that the ratio of the gain-corrected active image decreases.
  • the active image gain-corrected by the gain correction unit 230 has the same luminance as that of the passive image, and can be visually recognized as a passive image. On the other hand, there is a possibility that image quality deterioration is included in the gain-corrected active image.
  • the correlation amount between the active image and the passive image is small, it is assumed that the gain-corrected active image is deteriorated, and the ratio of the passive image is increased to perform the synthesis. Can be reliably suppressed.
  • FIG. 4 is a schematic view showing a configuration in the case where the processing by the combining ratio control unit 204 is performed only in the area of the edge of the image. As shown in FIG. 4, edge detection units 242 and 244 are added to the configuration of FIG. 2.
  • the edge detection unit 242 determines an edge area based on the luminance signal (Y_a) of the active image. Further, the edge detection unit 244 detects an edge area based on the luminance signal (Y_a) of the passive image. In the pixel in which the edge is detected from any of the edge detection unit 242 and the edge detection unit 244 in the region of interest, information to that effect is sent to the combination ratio calculation unit 238.
  • the combining ratio calculation unit 238 calculates the combining ratio based on the correlation amount for the pixels for which the edge is detected by both the edge detecting unit 242 and the edge detecting unit 244, and sends the calculated ratio to the combining unit 240.
  • the combining unit 240 performs combining processing only on pixels for which edges have been detected by both the edge detecting unit 242 and the edge detecting unit 244. On the other hand, it is determined that the image deterioration is small for the pixels for which the edge is not detected by at least one or both of the edge detection unit 242 and the edge detection unit 244, and the synthesis by the synthesis unit 240 is not performed.
  • the output from may be used as the output of the synthesis unit 240.
  • FIG. 5 is a schematic view showing processing performed by the image processing apparatus 1000 according to the present embodiment.
  • the processes of steps S10 and S12 and the processes of steps S14 and S16 are performed in parallel.
  • Active photographing is performed in step S10, and an image signal of the active image is acquired.
  • the active image conversion unit 100 performs processing of converting the RGB signal of the active image into a YUV signal.
  • step S14 passive imaging is performed, and an image signal of the passive image is acquired.
  • step S16 the passive image conversion unit 110 performs processing of converting RGB signals of the passive image into YUV signals.
  • step S18 luminance combining by the luminance combining unit 200 is performed.
  • step S20 color difference synthesis is performed by the color difference synthesis unit 130.
  • step S22 the composite image conversion unit 140 converts the luminance signal (Y_p ') and the color signal (C_p') into RGB signals. After step S22, the process ends.
  • the active image include a near infrared flash photographed image photographed by irradiating near infrared light and a visible light flash photographed image photographed by irradiating visible light.
  • Passive images include visible light images and far infrared images. In this case, the following three combinations can be used as a combination of an active image and a passive image. (1) Active image taken as near infrared flash image and passive image taken as visible light image (2) Active image taken as near infrared flash taken image Passive image taken as far infrared image (3) Active image visible Light flash photography image and passive image visible light image
  • FIG. 6 is a schematic view showing a configuration example of the IR projector 300, the IR sensor 400, and the RGB sensor 500 when capturing a near infrared flash captured image as an active image and capturing a visible light image as a passive image.
  • the IR sensor 400 and the RGB sensor 500 are configured as separate sensors.
  • the RGB sensor 500 is provided with an IR cut filter 502 that cuts infrared light.
  • the active image is acquired by demosaicing the signal of the IR sensor 400.
  • a passive image (visible light image) is acquired by demosaicing the signal of the RGB sensor 500. Since the IR sensor 400 and the RGB sensor 500 are separately configured, after acquiring the active image and the passive image, the active image and the passive image are aligned, and the active image and the passive image are associated.
  • FIG. 7 is a schematic view showing a configuration example of the IR projector 300 and the monocular RGB-IR sensor 600 when capturing a near infrared flash captured image as an active image and capturing a visible light image as a passive image.
  • the IR sensor 400 and the RGB sensor 500 shown in FIG. 6 are integrated, and configured as a monocular RGB-IR sensor 600. Therefore, the monocular RGB-IR sensor 600 has R pixels for detecting red, G pixels for detecting green, B pixels for detecting blue, and IR pixels for detecting infrared light.
  • the IR sensor 400 and the RGB sensor 500 shown in FIG. 6 and the single-eye RGB-IR sensor 600 shown in FIG. 7 are examples of an imaging device.
  • infrared light is projected from the IR projector 300 toward the subject.
  • An IR cut filter 602 for cutting infrared light is provided on the R pixel, the G pixel, and the B pixel of the monocular RGB-IR sensor 600. Therefore, the R pixel, the G pixel, and the B pixel detect visible light without detecting infrared light. On the other hand, the IR pixel detects infrared light.
  • the active image is acquired by demosaicing the signal of the IR pixel.
  • a passive image (visible light image) is acquired by demosaicing visible light pixels of R pixel, G pixel, and B pixel.
  • the signal corresponding to the infrared light at the position of the visible light pixel (R pixel, G pixel, B pixel) can be obtained by interpolating the signal of the IR pixel.
  • a signal corresponding to visible light at the position of the IR pixel can be obtained by interpolating visible light pixels of R pixel, G pixel, and B pixel.
  • FIG. 7 since IR pixels and visible light pixels are provided in one sensor, alignment as in the configuration of FIG. 6 is unnecessary.
  • FIG. 8 is a schematic view showing the effects of the image processing device 1000 of the present embodiment, and particularly shows the effects of the processing of the signal level correction unit 202.
  • a shadow not appearing in the passive image does not appear or disappear, and an image closer to the appearance of the passive image is generated. can do.
  • the upper part shows an active image (near infrared flash image) and a passive image (visible light image) input to the image processing apparatus 1000.
  • FIG 8 shows a composite image obtained by combining the active image and the passive image in the upper row, and the left side shows a composite image according to the prior art (comparative example) on the left side, and the image of the present embodiment on the right side.
  • the composite image by the processing apparatus 1000 is shown.
  • the passive image in the upper part of FIG. 8 the left side of the person is shaded (area A1), and the right side of the person is not shaded (area A2).
  • the active image in the upper part of FIG. 7 there is no shadow on the left side of the person and there is a shadow on the right side of the person.
  • the passive image is an image closer to human appearance.
  • the composite image of the comparative example similarly to the active image, there is no shadow on the left side of the person (area A3), and there is a shadow on the right side of the person (area A4). Therefore, unlike the passive image, the composite image of the comparative example is an image different from the appearance of a person.
  • the level of the luminance signal is corrected by the signal level correction unit 202, so that the left side of the person has a shadow (area A5) and the right side of the person is shaded as in the passive image.
  • the image has no image (area A6). Therefore, according to the present embodiment, it is possible to make the synthesized image an image closer to human appearance.
  • FIG. 9 is a schematic view showing the effect of the image processing apparatus 1000 of the present embodiment, and particularly shows the effect of the processing of the combining ratio control unit 204.
  • the upper part shows an active image (near infrared flash image) and a passive image (visible light image) input to the image processing apparatus 1000.
  • the lower part of FIG. 9 shows a composite image obtained by combining the active image and the passive image in the upper row, and the left side shows a composite image according to the prior art (comparative example) on the left, and the image of the present embodiment on the right.
  • the composite image by the processing apparatus 1000 is shown.
  • the combining ratio of the passive image after noise removal is high in the region where the correlation amount between the active image and the passive image is low.
  • An area in which a black shadow appears in the active image is hardly shadowed in the passive image, and is an area in which the amount of correlation between the active image and the passive image is low.
  • the combining ratio of the passive image is high, and as a result, in the combined image of the present embodiment shown in FIG. 9, streaky image quality deterioration does not occur (area A10). Therefore, according to the present embodiment, it is possible to minimize the image quality deterioration that occurs when combining the active image and the passive image.
  • the signal level correction of the local region is performed, so that the image is close to the passive image without impairing the effect of noise reduction. It is possible to composite an image (close to human appearance). Further, by controlling the composition ratio in accordance with the correlation amount between the local region of the active image and the passive image, it is possible to prevent the image quality deterioration of the composite image particularly in the vicinity of the shadow boundary of the active image.
  • the luminance of the active image and the luminance of the passive image are determined based on the correlation between the luminance of the active image photographed by irradiating the light to the object and the luminance of the passive image photographed without irradiating the light to the object
  • An image processing apparatus comprising: (2) The combining unit is configured such that the ratio of the active image is larger when the correlation between the luminance of the active image and the luminance of the passive image is large than when the correlation between the luminance of the active image and the passive image is large.
  • the image processing apparatus according to (1) which combines luminances.
  • the image processing apparatus further includes a combining ratio calculation unit that calculates a combining ratio when the combining unit combines the brightness of the active image and the brightness of the passive image based on the correlation.
  • the image processing apparatus according to (3) wherein the correlation is calculated for each pixel, and the combining ratio calculation unit calculates the combining ratio for each pixel.
  • An edge detection unit that detects an edge in the active image or the passive image, The image processing apparatus according to any one of (1) to (4), wherein the combining unit combines the brightness of the active image and the brightness of the passive image in a region where the edge is detected.
  • a correction unit that corrects the luminance of an active image photographed by irradiating a subject with predetermined light based on the luminance of a passive image photographed without irradiating the subject with the predetermined light.
  • a combining unit that combines the corrected luminance of the active image and the luminance of the passive image;
  • An image processing apparatus comprising: (10) The image processing device according to (9), wherein the correction unit corrects the luminance of the active image using a ratio of the luminance of the passive image to the luminance of the active image in a local region.
  • an imaging device for capturing an image of a subject; Based on the correlation between the luminance of an active image taken by the image pickup device by irradiating a predetermined light to a subject and the luminance of a passive image taken by the image pickup device without irradiating the subject with the predetermined light
  • An image processing apparatus having a combining unit that combines the brightness of the active image and the brightness of the passive image;
  • An imaging device comprising: (13) An imaging device for capturing an image of a subject The subject is irradiated with predetermined light and the luminance of the active image taken by the imaging device is corrected based on the luminance of the passive image taken by the imaging device without irradiating the subject with the predetermined light
  • a correction unit An image processing apparatus comprising: a combining unit that combines the brightness of the corrected active image and the brightness of the passive image;
  • An imaging device comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑える。 【解決手段】本開示によれば、光を照射して撮影されたアクティブ画像の輝度と光を照射せずに撮影されたパッシブ画像の輝度の相関量を算出する相関量算出部と、前記相関量に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を備える、画像処理装置が提供される。この構成により、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑えることができる。

Description

画像処理装置及び撮像装置
　本開示は、画像処理装置及び撮像装置に関する。
　従来、例えば下記の特許文献１には、被写体を撮影して可視光信号と非可視光信号を取得し、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２を合成し、合成した輝度信号Ｙ３と補正された色信号を用いてカラー画像を生成することが記載されている
特開２０１４-１３５６２７号公報
　しかし、特許文献１に記載された技術では、可視光輝度信号Ｙ１の値に応じて、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率と、色信号の増幅度と色ノイズ除去を制御している。つまり、合成輝度信号は、照度に応じて非可視光輝度信号と可視光輝度信号を加算することで作成されている。
　合成輝度信号は、非可視光輝度信号と可視光輝度信号を加算して作成しているので、非可視光に写っているが、可視光に写っていない陰影が出現する場合がある。また逆に可視光に写っている陰影が消えて、可視光に近い自然な画像にならない場合もある。
　更には、光を照射して撮影されたアクティブ画像と光を照射せずに撮影されたパッシブ画像を合成した際に、画質に劣化が生じる問題がある。特にアクティブ画像に物体の影が生じる領域では、合成した際に画質の劣化が生じる場合がある。
　そこで、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を抑制することが求められていた。
　本開示によれば、被写体に所定の光を照射して撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、を備える画像処理装置が提供される。
　また、本開示によれば、被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を備える画像処理装置が提供される。
　また、本開示によれば、被写体像を撮像する撮像素子と、被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、を備える、撮像装置が提供される。
　また、本開示によれば、被写体像を撮像する撮像素子と、被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、を備える、撮像装置が提供される。
　以上説明したように本開示によれば、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑えることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る画像処理装置の構成を示す模式図である。 輝度合成部の構成を示す模式図である。 合成比率算出部が合成比率を算出する際に用いる合成比率線を示す特性図である。 合成比率制御部による処理を画像のエッジの領域のみで行う場合の構成を示す模式図である。 本実施形態に係る画像処理装置で行われる処理を示す模式図である。 アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器、ＩＲセンサ、ＲＧＢセンサの構成例を示す模式図である。 アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器と単眼ＲＧＢ－ＩＲセンサの構成例を示す模式図である。 本実施形態の画像処理装置による効果を示す模式図である。 本実施形態の画像処理装置による効果を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．画像処理装置の全体構成例
　２．画像合成部の構成例
　３．画像処理装置で行われる処理
　４．アクティブ画像とパッシブ画像の組み合わせ
　５．本実施形態の画像処理装置による効果
　１．画像処理装置の概略構成例
　まず、図１を参照して、本開示の一実施形態に係る画像処理装置の概略構成について説明する。図１は、本開示の一実施形態に係る画像処理装置１０００の構成を示す模式図である。図１に示すように、画像処理装置１０００は、アクティブ画像変換部１００、パッシブ画像変換部１１０、輝度合成部２００、色差合成部１３０、合成画像変換部１４０、を有して構成されている。
　アクティブ画像変換部１００には、アクティブに可視光、近赤外光などの光を照射して撮影した画像（以下、アクティブ画像という）の画像信号が入力される。一方、パッシブ画像変換部１１０には、光を照射せずにパッシブに撮影した画像（以下、パッシブ画像という）が入力される。
　アクティブ画像は、パッシブ画像に比べ明るくノイズが少ないというメリットがあり、パッシブ画像は人の見た目により近い画像であるため、アクティブ画像とパッシブ画像を合成することが一般的に行われている。本実施形態では、アクティブ画像とパッシブ画像の輝度信号を合成する際に、局所領域の信号レベル補正を行なうことで、合成の効果を損なうことなく、よりパッシブ画像に近い画像を生成する。また、アクティブ画像とパッシブ画像の局所領域の相関量に応じて合成比率を制御することで、合成画像の画質劣化を防ぐ。
　アクティブ画像変換部１００には、アクティブ画像の画像信号として、ＲＧＢ信号（色信号）又はＹ信号（輝度信号）が入力される。アクティブ画像変換部１００は、ＲＧＢ信号が入力された場合、ＲＧＢ信号をＹＵＶ信号に変換する処理を行い、アクティブ画像の輝度信号（Ｙ信号（Ｙ＿ａ））を分離して輝度合成部２００へ出力する。なお、アクティブ画像に色信号が無い場合は、アクティブ画像変換部１００の処理は不要であり、アクティブ画像の輝度信号（Ｙ信号（Ｙ＿ａ））が輝度合成部２００へ入力される。
　パッシブ画像変換部１１０には、パッシブ画像の画像信号として、ＲＧＢ信号（色信号）又はＹ信号（輝度信号）が入力される。パッシブ画像変換部１００は、ＲＧＢ信号が入力された場合、ＲＧＢ信号をＹＵＶ信号に変換する処理を行い、パッシブ画像の輝度信号（Ｙ信号（Ｙ＿ｐ））を分離して輝度合成部２００へ出力する。なお、パッシブ画像に色信号が無い場合は、パッシブ画像変換部１１０の処理は不要であり、パッシブ画像の輝度信号（Ｙ信号（Ｙ＿ｐ））が輝度合成部２００へ入力される。
　輝度合成部２００は、アクティブ画像のＹ信号（Ｙ＿ａ）とパッシブ画像のＹ信号（Ｙ＿ｐ）を合成する処理を行う。これにより、合成により得られたＹ信号（Ｙ＿ｐ’）が輝度合成部２００から出力される。
　また、パッシブ画像変換部１１０は、輝度信号（Ｙ信号（Ｙ＿ｐ））が分離された残りの信号（ＵＶ信号（Ｃ＿ｐ））を色差合成部１３０へ出力する。
　色差合成部１３０は、合成により得られたＹ信号（Ｙ＿ｐ’）に基づいて、色差の合成を行い、色信号（Ｃ＿ｐ’）を出力する。例えば、色差合成部１３０は、Ｙ信号（Ｙ＿ｐ’）に基づいて、色信号の補正を行い、振幅増幅、色ノイズ除去などの処理を行う。なお、パッシブ画像に色信号が無い場合は、色差合成部１３０の処理は不要である。
　合成画像変換部１４０には、Ｙ信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）が入力される。合成画像変換部１４０は、Ｙ信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）をＲＧＢ信号に変換する。なお、ＹＵＶ信号のまま出力する場合や、パッシブ画像に色信号が無い場合は、合成画像変換部１４０による処理は不要である。
　２．画像合成部の構成例
　図２は、輝度合成部２００の構成を示す模式図である。図２に示すように、輝度合成部２００は、局所領域決定部２２２、アクティブ画像の局所領域内平均値算出部２２４、パッシブ画像の局所領域内平均値算出部２２６、比率算出部２２８、ゲイン補正部２３０、ローパスフィルタ（ＬＰＦ）２３２、ローパスフィルタ（ＬＰＦ）２３４、相関量算出部（相関関係算出部）２３６、合成比率算出部２３８、ノイズ除去部２３９、合成部２４０を有して構成されている。
　輝度合成部２００は、その機能に基づいて、信号レベル補正部２０２と合成比率制御部２０４に分けることができる。図２に示すように、局所領域決定部２２２、アクティブ画像の局所領域内平均値算出部２２４、パッシブ画像の局所領域内平均値算出部２２６、比率算出部２２８、ゲイン補正部２３０は、信号レベル補正部２０２に含まれる。また、ローパスフィルタ（ＬＰＦ）２３２、ローパスフィルタ（ＬＰＦ）２３４、相関量算出部２３６、合成比率算出部２３８、ノイズ除去部２３９、合成部２４０は、合成比率制御部２０４に含まれる。
　局所領域決定部２２２は、アクティブ画像に基づいて局所領域を決定する。局所領域決定部２２２は、以下の式（１）に示すバイラテラルフィルタのフィルタ係数により、局所領域を決定する。式（１）において、ｆ（ｉ，ｊ）はアクティブ画像の輝度値、ｉ，ｊは画素の位置、ｗはフィルタサイズ、σ１は距離に関するパラメータ、σ２は距離差に関するパラメータである。なお、式（１）に示すバイラテラルフィルタは、文献（C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color
Images, ” in Proc. IEEE International Conference on Computer Vision (ICCV),
1998.）にも記載されている。
Figure JPOXMLDOC01-appb-M000001
　局所領域の決定の原理は、以下の通りである。局所領域決定部２２２は、例えば、５×５の画素領域に注目し、画素領域の中心に位置する画素（注目画素）の輝度値と、画素領域の他の画素の輝度値を比較する。注目画素の輝度値に近い画素の重みは「１」となり、注目画素との輝度差が大きい画素の重みは「０」となり、重みが「１」となった画素を結合した領域が局所領域として決定される。これにより、注目画素と輝度値の近い領域が局所領域として決定されるため、後段の局所領域内平均値算出部２２４，２２６が局所領域内で輝度値を平均した際に、画像の特徴が近い領域で輝度値を平均することができるため、適正な平均値を算出することができる。一方、注目画素に対して輝度差の大きい画素を含む領域で輝度値を平均すると、画像の特徴が混ざってしまい、その領域で適正な平均値を得ることができない。なお、実際には、上記式（１）を計算すると、０か１の２値ではない連続した値が得られ、この連続した値に基づいて局所領域が求まる。
　アクティブ画像の局所領域内平均値算出部２２４は、局所領域決定部２２２が決定した局所領域において、局所領域内の画素の輝度値を平均することで、アクティブ画像の輝度値の平均値Ａを算出する。パッシブ画像の局所領域内平均値算出部２２６は、局所領域決定部２２２が決定した局所領域において、パッシブ画像の輝度値の平均値Ｐを算出する。このように、アクティブ画像の輝度値の平均値Ａとパッシブ画像の輝度値の平均値Ｐは、同じ局所領域においてそれぞれ算出される。
　比率算出部２２８は、平均値Ａに対する平均値Ｐの比率（ゲイン＝Ｐ／Ａ）を算出する。ゲイン補正部２３０は、アクティブ画像の輝度信号（Ｙ＿ａ）にゲイン（＝Ｐ／Ａ）を乗算し、アクティブ画像の輝度信号を正しい信号レベルに補正する。この際、ゲイン補正部２３０は、アクティブ画像の全画素の輝度信号（Ｙ＿ａ）にゲイン（＝Ｐ／Ａ）をそれぞれ乗算することで、アクティブ画像の輝度信号（Ｙ＿ａ）を補正する。
　以上のように、信号レベル補正部２０２は、アクティブ画像の輝度に対するパッシブ画像の輝度の比率（ゲイン）をアクティブ画像の輝度値に乗算することで、アクティブ画像の信号レベルを補正し、アクティブ画像の輝度値をパッシブ画像の輝度値に合わせる処理を行う。これにより、アクティブ画像の輝度がパッシブ画像の輝度に変換されるため、アクティブ画像をよりパッシブ画像に近づけることができ、ユーザはアクティブ画像を違和感なく視認することができる。
　次に、合成比率制御部２０４の処理について説明する。アクティブ画像の輝度信号（Ｙ＿ａ）は、ローパスフィルタ（ＬＰＦ）２３２により高周波成分が除去される。また、パッシブ画像のＹ信号（Ｙ＿ｐ）は、ローパスフィルタ（ＬＰＦ）２３４により高周波成分が除去される。これにより、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像のＹ信号（Ｙ＿ｐ）の周波数帯域が揃えられる。
　ローパスフィルタ２３２，２３４は、例えば以下のような５×５のガウシアンフィルタのフィルタカーネルから構成される。ローパスフィルタ２３２，２３４は、後述する相関量のノイズによる変動を抑制するために用いられるが、信号の状況に応じて用いなくても良い。例えば、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）にノイズが少ない場合は、ローパスフィルタ１３２，１３４による処理を行わなくても良い。また、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）の周波数帯域が予め揃っている場合なども、ローパスフィルタ１３２，１３４による処理を行わなくても良い。
Figure JPOXMLDOC01-appb-M000002
　相関量算出部２３６は、高周波成分が除去されたアクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）からアクティブ画像とパッシブ画像の相関量（相関関係）を算出する。ローパスフィルタ１３２，１３４によりアクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）の周波数帯域を揃えたことにより、相関量を精度良く算出することが可能である。
　相関量を算出する方法の一例として、ゼロ平均正規化相互相関（ＺＮＣＣ）を用いることができる。相関量ＺＮＣＣは、アクティブ画像の輝度値Ａ、パッシブ画像の輝度値Ｐ、アクティブ画像の局所領域の輝度平均値Ａ’、パッシブ画像の局所領域の輝度平均値Ｐ’を用いて、以下の式（２）で表すことができる。相関量は画素毎に算出されるが、ロバスト性を高めるため、相関量を算出する画素の周囲の局所領域（例えば、７×７正方領域など）を考慮して算出される。なお、ここで用いる局所領域は、局所領域決定部２２２が決定する局所領域とは異なり、相関量を求める画素毎に当該画素の周囲に設定される。
ＺＮＣＣ＝（Σ（Ａ－Ａ’）（Ｐ－Ｐ’））／√（ΣΣ（Ａ－Ａ’）２（Ｐ－Ｐ’）２）
・・・（２）
　ノイズ除去部２３９は、パッシブ画像のＹ信号（Ｙ＿ｐ）のノイズを除去する。パッシブ画像は一般的に暗く、ノイズが多いため、ノイズ除去部２３９によりノイズを除去する。合成部２４０は、ゲイン補正部２３０により補正されたアクティブ画像の輝度信号（Ｙ＿ａ）とノイズ除去部２３９によりノイズが除去されたパッシブ画像のＹ信号（Ｙ＿ｐ）とを合成し、合成輝度信号（Ｙ＿ｐ’）を算出する。
　合成比率算出部２３８は、相関量算出部２３６が算出した相関量に基づいて、合成部２４０が合成を行う際の合成比率を算出する。図３は、合成比率算出部２３８が合成比率を算出する際に用いる合成比率線を示す特性図である。図３において、横軸は相関量を、縦軸は合成比率を示している。図３に示すように、相関量が大きくなる程、合成比率は大きくなる。このように、合成比率算出部２３８は、事前に設定した合成比率線に従い、アクティブ画像とパッシブ画像の相関量に基づいて合成比率を算出する。
　図３では、相関量と合成比率の関係が線形の場合を示しているが、合成比率線は曲線であっても良く、相関量の増加に伴って合成比率が指数関数的に増加しても良い。また、相関量の増加に伴って合成比率がステップ状（階段状）に増加しても良い。
　合成比率は、合成部２４０における合成の比率を示しており、ゲイン補正されたアクティブ画像とノイズ除去が行われたパッシブ画像の比率を示している。合成比率が大きくなる程、ゲイン補正されたアクティブ画像の比率が大きくなり、パッシブ画像の比率が小さくなる。また、合成比率が小さくなる程、パッシブ画像の比率が大きくなり、ゲイン補正された画像の比率が小さくなる。
　相関量が画素毎に算出されるため、合成比率も画素毎に算出される。合成部２４０は、画素毎に算出された合成比率に基づいて、ゲイン補正されたアクティブ画像の輝度とノイズ除去されたパッシブ画像の輝度を画素毎に合成する。
　以上のように、合成比率制御部２０４は、アクティブ画像とパッシブ画像の相関量に基づいて合成比率を算出する。この際、相関量が大きいほどアクティブ画像の劣化が小さいため、ゲイン補正されたアクティブ画像の比率が大きくなるように合成部２４０における合成が行われる。また、相関量が小さいほど、アクティブ画像の劣化が大きいため、ゲイン補正されたアクティブ画像の比率が小さくなるように合成部２４０における合成が行われる。
　ゲイン補正部２３０によりゲイン補正されたアクティブ画像は、パッシブ画像と同様の輝度を有し、パッシブ画像として視認することができる。一方、ゲイン補正されたアクティブ画像中には、画質劣化が含まれている可能性がある。本実施形態では、アクティブ画像とパッシブ画像の相関量が小さい場合は、ゲイン補正されたアクティブ画像に劣化が生じているとして、パッシブ画像の比率を高めて合成を行うため、アクティブ画像中の画質劣化を確実に抑えることが可能である。
　画質劣化は特に画像のエッジ部に生じ易いため、合成比率制御部２０４による処理は画像のエッジの領域のみで行っても良い。図４は、合成比率制御部２０４による処理を画像のエッジの領域のみで行う場合の構成を示す模式図である。図４に示すように、図２の構成に対してエッジ検出部２４２，２４４が追加されている。
　エッジ検出部２４２は、アクティブ画像の輝度信号（Ｙ＿ａ）に基づいてエッジの領域を判定する。また、エッジ検出部２４４は、パッシブ画像の輝度信号（Ｙ＿ａ）に基づいてエッジの領域を検出する。注目領域において、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素では、その旨の情報が合成比率算出部２３８に送られる。合成比率算出部２３８は、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素について、相関量に基づいて合成比率を算出し、合成部２４０へ送る。これにより、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素についてのみ、合成部２４０による合成処理が行われる。一方、エッジ検出部２４２とエッジ検出部２４４の少なくともいずれか一方又は双方でエッジが検出されなかった画素については、画像劣化が少ないと判断し、合成部２４０による合成を行わず、ゲイン補正部２３０からの出力を合成部２４０の出力としても良い。
　３．画像処理装置で行われる処理
　図５は、本実施形態に係る画像処理装置１０００で行われる処理を示す模式図である。処理が開始されると、ステップＳ１０，Ｓ１２の処理とステップＳ１４，Ｓ１６の処理が並行して行われる。ステップＳ１０ではアクティブ撮影が行われ、アクティブ画像の画像信号が取得される。次のステップＳ１２では、アクティブ画像変換部１００により、アクティブ画像のＲＧＢ信号をＹＵＶ信号に変換する処理が行われる。
　また、ステップＳ１４では、パッシブ撮影が行われ、パッシブ画像の画像信号が取得される。次のステップＳ１６では、パッシブ画像変換部１１０により、パッシブ画像のＲＧＢ信号をＹＵＶ信号に変換する処理が行われる。
　ステップＳ１２，Ｓ１６の後はステップＳ１８へ進む。ステップＳ１８では、輝度合成部２００による輝度合成が行われる。ステップＳ２０では、色差合成部１３０による色差合成が行われる。
　次のステップＳ２２では、合成画像変換部１４０により輝度信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）をＲＧＢ信号に変換する処理が行われる。ステップＳ２２の後は処理を終了する。
　４．アクティブ画像とパッシブ画像の組み合わせ
　次に、アクティブ画像とパッシブ画像の組み合わせについて説明する。アクティブ画像の例としては、近赤外光を照射して撮影した近赤外フラッシュ撮影画像と、可視光を照射して撮影した可視光フラッシュ撮像画像が挙げられる。パッシブ画像としては、可視光画像と、遠赤外画像が挙げられる。この場合、アクティブ画像とパッシブ画像の組み合わせとしては、以下の３通りの組み合わせを用いることができる。
（１）アクティブ画像を近赤外フラッシュ撮影画像としパッシブ画像を可視光画像とする
（２）アクティブ画像を近赤外フラッシュ撮影画像としパッシブ画像を遠赤外画像とする
（３）アクティブ画像を可視光フラッシュ撮影画像とし、パッシブ画像を可視光画像とする
　図６は、アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器３００、ＩＲセンサ４００、ＲＧＢセンサ５００の構成例を示す模式図である。図５に示す例では、ＩＲセンサ４００とＲＧＢセンサ５００は別々のセンサとして構成されている。アクティブ画像を撮影する際には、ＩＲ投光器３００から被写体に向けて赤外光が投降される。このため、ＲＧＢセンサ５００には赤外光をカットするＩＲカットフィルタ５０２が設けられている。
　アクティブ画像（ＩＲ画像）は、ＩＲセンサ４００の信号をデモザイクすることで取得される。また、パッシブ画像（可視光画像）は、ＲＧＢセンサ５００の信号をデモザイクすることで取得される。ＩＲセンサ４００とＲＧＢセンサ５００は別々に構成されるため、アクティブ画像とパッシブ画像を取得した後、アクティブ画像とパッシブ画像の位置合わせを行ない、アクティブ画像とパッシブ画像の対応付けを行う。
　また、図７は、アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器３００と単眼ＲＧＢ－ＩＲセンサ６００の構成例を示す模式図である。図７に示す例では、図６に示すＩＲセンサ４００とＲＧＢセンサ５００が一体とされ、単眼ＲＧＢ－ＩＲセンサ６００として構成されている。このため、単眼ＲＧＢ－ＩＲセンサ６００は、赤色を検出するＲ画素、緑色を検出するＧ画素、青色を検出するＢ画素、赤外光を検出するＩＲ画素を有する。なお、図６に示したＩＲセンサ４００、ＲＧＢセンサ５００、図７に示した単眼ＲＧＢ－ＩＲセンサ６００は撮像装置の一例である。
　アクティブ画像を撮影する際には、ＩＲ投光器３００から被写体に向けて赤外光が投光される。単眼ＲＧＢ－ＩＲセンサ６００のＲ画素、Ｇ画素、Ｂ画素には赤外光をカットするＩＲカットフィルタ６０２が設けられている。従って、Ｒ画素、Ｇ画素、Ｂ画素は赤外光を検出せずに可視光を検出する。一方、ＩＲ画素は赤外光を検出する。
　アクティブ画像（ＩＲ画像）は、ＩＲ画素の信号をデモザイクすることで取得される。また、パッシブ画像（可視光画像）は、Ｒ画素、Ｇ画素、Ｂ画素の可視光画素をデモザイクすることで取得される。なお、可視光画素（Ｒ画素、Ｇ画素、Ｂ画素）の位置での赤外光に対応する信号は、ＩＲ画素の信号を補間することで求めることができる。同様に、ＩＲ画素の位置での可視光に対応する信号は、Ｒ画素、Ｇ画素、Ｂ画素の可視光画素を補間して求めることができる。図７の構成例では、ＩＲ画素と可視光画素が１つのセンサに設けられるため、図６の構成のような位置合わせは不要である。
　５．本実施形態の画像処理装置による効果
　図８は、本実施形態の画像処理装置１０００による効果を示す模式図であって、特に信号レベル補正部２０２の処理による効果を示している。本実施形態によれば、アクティブ画像とパッシブ画像の合成時に、パッシブ画像に写っていない陰影が出現したり消失したりすることがなく、よりパッシブ画像に近い（人の見た目に近い）画像を生成することができる。図８では、上段に画像処理装置１０００に入力されるアクティブ画像（近赤外フラッシュ画像）とパッシブ画像（可視光画像）を示している。また、図８の下段には、上段のアクティブ画像とパッシブ画像を合成して得られる合成画像を示しており、左側に従来技術による合成画像（比較例）を示し、右側に本実施形態の画像処理装置１０００による合成画像を示している。
　図８の上段のパッシブ画像では、人物の左側に陰影があり（領域Ａ１）、人物の右側には陰影が無い（領域Ａ２）。一方、図７の上段のアクティブ画像では、人物の左側に陰影が無く、人物の右側に陰影がある。ここで、パッシブ画像の方が人の見た目に近い画像となる。
　比較例の合成画像では、アクティブ画像と同様に、人物の左側に陰影が無く（領域Ａ３）、人物の右側に陰影がある（領域Ａ４）。従って、比較例の合成画像は、パッシブ画像と異なり、人の見た目からも異なる画像となっている。一方、本実施形態による合成画像では、信号レベル補正部２０２により輝度信号のレベルを補正したことにより、パッシブ画像と同様に、人物の左側に陰影があり（領域Ａ５）、人物の右側には陰影が無い画像となっている（領域Ａ６）。従って、本実施形態によれば、合成した画像をより人の見た目に近い画像とすることができる。
　また、図９は、本実施形態の画像処理装置１０００による効果を示す模式図であって、特に合成比率制御部２０４の処理による効果を示している。図９では、上段に画像処理装置１０００に入力されるアクティブ画像（近赤外フラッシュ画像）とパッシブ画像（可視光画像）を示している。また、図９の下段には、上段のアクティブ画像とパッシブ画像を合成して得られる合成画像を示しており、左側に従来技術による合成画像（比較例）を示し、右側に本実施形態の画像処理装置１０００による合成画像を示している。
　図９のアクティブ画像では、右下の花の後ろに黒い影が映っている（領域Ａ７）。一方、図９のパッシブ画像では、右下の花の後ろには殆ど影が生じていない（領域Ａ８）。ここで、パッシブ画像の方が人の見た目に近い画像となる。
　図９の下段に示す比較例の合成画像と本実施形態の合成画像では、右下の花の後ろには殆ど影が生じておらず、パッシブ画像と同様、人の見た目に近い画像となっている。しかし、比較例の合成画像では、アクティブ画像で黒い影が映っている位置に、筋状の画質摘花が生じている（領域Ａ９）。
　一方、本実施形態では、上述した合成比率制御部２０４の処理により、アクティブ画像とパッシブ画像の相関量が低い領域では、ノイズ除去後のパッシブ画像の合成比率が高くなる。アクティブ画像で黒い影が映っている領域は、パッシブ画像では殆ど影が生じておらず、アクティブ画像とパッシブ画像の相関量が低い領域となっている。このため、合成部２４０における合成処理において、パッシブ画像の合成比率が高くなり、結果として、図９に示す本実施形態の合成画像では、筋状の画質劣化は生じていない（領域Ａ１０）。従って、本実施形態によれば、アクティブ画像とパッシブ画像を合成する際に生じる画質劣化を最小限に抑えることができる。
　以上説明したように本実施形態によれば、アクティブ画像とパッシブ画像の輝度信号を合成する際に、局所領域の信号レベル補正を行なうことで、ノイズ低減の効果を損なうことなく、パッシブ画像に近い（人の見た目に近い）画像を合成することができる。また、アクティブ画像とパッシブ画像の局所領域の相関量に応じて合成比率を制御することで、特にアクティブ画像の影の境界付近における合成画像の画質劣化を防ぐことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　被写体に光を照射して撮影されたアクティブ画像の輝度と前記被写体に光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、
　を備える、画像処理装置。
（２）　前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、前記（１）に記載の画像処理装置。
（３）　前記相関関係を算出する相関関係算出部を備える、前記（１）又は（２）に記載の画像処理装置。
（４）　前記相関関係に基づいて、前記合成部が前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する際の合成比率を算出する合成比率算出部を備え、前記相関関係算出部は、前記相関関係を画素毎に算出し、前記合成比率算出部は、前記合成比率を画素毎に算出する、前記（３）に記載の画像処理装置。
（５）　前記アクティブ画像又は前記パッシブ画像におけるエッジを検出するエッジ検出部を備え、
　前記合成部は、前記エッジが検出された領域において、前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、前記（１）～（４）のいずれかに記載の画像処理装置。
（６）　局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する補正部を備える、前記（１）～（５）のいずれかに記載の画像処理装置。
（７）　前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、前記（６）に記載の画像処理装置。
（８）　前記アクティブ画像は赤外光を照射して撮影された画像であり、前記パッシブ画像を可視光画像である、前記（１）～（７）のいずれかに記載の画像処理装置。
（９）　被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
　補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、
　を備える、画像処理装置。
（１０）　前記補正部は、局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する、前記（９）に記載の画像処理装置。
（１１）　前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、前記（１０）に記載の画像処理装置。
（１２）　被写体像を撮像する撮像素子と、
　被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、
　を備える、撮像装置。
（１３）　被写体像を撮像する撮像素子と、
　被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
　補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、
　を備える、撮像装置。
　２２２　　局所領域決定部
　２３０　　ゲイン補正部
　２３６　　相関量算出部
　２３８　　合成比率算出部
　２４０　　合成部
　２４２，２４４　　エッジ検出部
　４００　　ＩＲセンサ
　５００　　ＲＧＢセンサ
　６００　　単眼ＲＧＢ－ＩＲセンサ

Claims (13)

  1. 　被写体に所定の光を照射して撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、
    　を備える、画像処理装置。
  2. 　前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、請求項１に記載の画像処理装置。
  3. 　前記相関関係を算出する相関関係算出部を備える、請求項１に記載の画像処理装置。
  4. 　前記相関関係に基づいて、前記合成部が前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する際の合成比率を算出する合成比率算出部を備え、
    　前記相関関係算出部は、前記相関関係を画素毎に算出し、
    　前記合成比率算出部は、前記合成比率を画素毎に算出する、請求項３に記載の画像処理装置。
  5. 　前記アクティブ画像又は前記パッシブ画像におけるエッジを検出するエッジ検出部を備え、
    　前記合成部は、前記エッジが検出された領域において、前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、請求項１に記載の画像処理装置。
  6. 　局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する補正部を備える、請求項１に記載の画像処理装置。
  7. 　前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項６に記載の画像処理装置。
  8. 　前記アクティブ画像は赤外光を照射して撮影された画像であり、前記パッシブ画像は可視光画像である、請求項１に記載の画像処理装置。
  9. 　被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
    　補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、
    　を備える、画像処理装置。
  10. 　前記補正部は、局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する、請求項９に記載の画像処理装置。
  11. 　前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項１０に記載の画像処理装置。
  12. 　被写体像を撮像する撮像素子と、
    　被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、
    　を備える、撮像装置。
  13. 　被写体像を撮像する撮像素子と、
    　被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
    　補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、
    　を備える、撮像装置。
PCT/JP2017/046969 2017-02-24 2017-12-27 画像処理装置及び撮像装置 WO2018154965A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/485,553 US10827129B2 (en) 2017-02-24 2017-12-27 Image processing apparatus and imaging apparatus
JP2019501096A JP7020471B2 (ja) 2017-02-24 2017-12-27 画像処理装置及び撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017033535 2017-02-24
JP2017-033535 2017-02-24

Publications (1)

Publication Number Publication Date
WO2018154965A1 true WO2018154965A1 (ja) 2018-08-30

Family

ID=63253688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046969 WO2018154965A1 (ja) 2017-02-24 2017-12-27 画像処理装置及び撮像装置

Country Status (3)

Country Link
US (1) US10827129B2 (ja)
JP (1) JP7020471B2 (ja)
WO (1) WO2018154965A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080458A (ja) * 2018-11-12 2020-05-28 キヤノン株式会社 撮像装置及び制御方法
JP2021027535A (ja) * 2019-08-08 2021-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022105382A (ja) * 2021-01-04 2022-07-14 東芝テリー株式会社 可視画像と熱画像のデータ処理装置及び処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP7403242B2 (ja) * 2019-06-10 2023-12-22 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP6055681B2 (ja) 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
JP6729394B2 (ja) * 2015-01-13 2020-07-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム及びシステム
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080458A (ja) * 2018-11-12 2020-05-28 キヤノン株式会社 撮像装置及び制御方法
JP7250483B2 (ja) 2018-11-12 2023-04-03 キヤノン株式会社 撮像装置、コンピュータプログラム、及び記憶媒体
JP2021027535A (ja) * 2019-08-08 2021-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7412920B2 (ja) 2019-08-08 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022105382A (ja) * 2021-01-04 2022-07-14 東芝テリー株式会社 可視画像と熱画像のデータ処理装置及び処理方法
JP7301893B2 (ja) 2021-01-04 2023-07-03 東芝テリー株式会社 可視画像と熱画像のデータ処理装置及び処理方法

Also Published As

Publication number Publication date
JPWO2018154965A1 (ja) 2020-01-23
US10827129B2 (en) 2020-11-03
JP7020471B2 (ja) 2022-02-16
US20190373155A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
WO2018154965A1 (ja) 画像処理装置及び撮像装置
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
JP6564421B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9338371B2 (en) Imaging device
EP2302903B1 (en) Image processing method, image processing apparatus, computer readable medium, and imaging apparatus
US8385680B2 (en) Image processing apparatus and image processing method
JP4346634B2 (ja) 目標物検出装置
WO2013157201A1 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
US9355327B2 (en) Image processing apparatus and imaging apparatus with noise correction function and signal level correction function
JP6390847B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20140307129A1 (en) System and method for lens shading compensation
US11328679B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
US9830690B2 (en) Wide dynamic range imaging method
JP2013162431A (ja) 画像信号処理装置，撮像装置および画像処理プログラム
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010073009A (ja) 画像処理装置
JP2004021374A (ja) 画像処理方法、画像処理装置、プログラム、記憶媒体
WO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012108898A (ja) 画像処理装置、画像処理方法
US11503215B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that notify a user of a region in which tone characteristics can be restored
JP6466809B2 (ja) 撮像装置および撮像方法
JP2009273691A (ja) 内視鏡画像処理装置および方法
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898056

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501096

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898056

Country of ref document: EP

Kind code of ref document: A1