WO2017057047A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2017057047A1
WO2017057047A1 PCT/JP2016/077403 JP2016077403W WO2017057047A1 WO 2017057047 A1 WO2017057047 A1 WO 2017057047A1 JP 2016077403 W JP2016077403 W JP 2016077403W WO 2017057047 A1 WO2017057047 A1 WO 2017057047A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
unit
pixel
imaging unit
Prior art date
Application number
PCT/JP2016/077403
Other languages
English (en)
French (fr)
Inventor
高橋　宏彰
健太郎 岡村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,374 priority Critical patent/US10621711B2/en
Publication of WO2017057047A1 publication Critical patent/WO2017057047A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and in particular, an image processing device capable of realizing high image quality by combining images captured by a plurality of imaging systems, and
  • the present invention relates to an image processing method and a program.
  • Patent Documents 1 and 2 A technique for synthesizing images taken with a compound eye camera composed of a plurality of different imaging systems to improve image quality has been proposed (see Patent Documents 1 and 2).
  • Patent Documents 1 and 2 have been synthesized in a state in which parallax existing between different imaging systems is ignored.
  • the present disclosure has been made in view of such a situation, and in particular, it is possible to realize high image quality by combining images captured by a plurality of imaging systems in consideration of parallax. To do.
  • An image processing apparatus includes a first imaging unit that captures a first image, a second imaging unit that captures a second image, the first image, and the second image.
  • An image processing apparatus including: a parallax determination unit that determines whether or not there is a parallax; and a synthesis unit that combines the pixels of the first image and the second image according to a determination result of the parallax determination unit. is there.
  • the first imaging unit and the second imaging unit can be on the same plane and have their optical axes parallel to each other.
  • the image characteristics of the first image and the second image can be different.
  • the first image and the second image may have different image characteristics of at least one of the number of pixels, the angle of view, the wavelength band, and the arrangement of color filters.
  • the parallax amount determination unit is configured to determine the presence or absence of parallax in a pixel unit of the first image and the second image or a region unit composed of a plurality of pixels and divided into a plurality of regions. be able to.
  • the synthesizing unit synthesizes pixels at corresponding positions in the first image and the second image, and the parallax determining unit When it is determined that there is the parallax, similar pixels can be searched for in the second image for each pixel of the first image and can be combined with the searched pixel.
  • a characteristic adjustment unit that adjusts the characteristics of the first image and the second image to match may be further included, and the parallax determination unit has the characteristics adjusted by the characteristic adjustment unit. The presence or absence of the parallax can be determined for the first image and the second image that have been adjusted to do so.
  • the characteristic adjustment unit includes at least one of resolution, sensitivity, spatial frequency characteristic, optical axis direction, or parallelization processing for correcting lens distortion of the first image and the second image. Can be adjusted to match.
  • the first image may further include a translation unit that translates the second image to reduce parallax, and the translation unit includes the translation unit of the second image.
  • the parallax can be reduced by translating the entire image or in units of pixels in the second image.
  • the parallel movement unit includes a parallax calculated according to the distance from the first imaging unit to the in-focus plane, the arrangement of the first imaging unit and the second imaging unit, the optical characteristics, and the resolution.
  • Amount the amount of parallax obtained by referring to a table set in advance from a setting value obtained by combining the focal lengths of the first imaging unit, and the feature points common to the first image and the second image
  • the entire image of the second image or the pixel unit in the second image can be translated by the amount.
  • An image processing method captures a first image, captures a second image, determines whether or not there is a parallax between the first image and the second image, and determines the parallax. According to the result, the image processing method includes a step of combining respective pixels of the first image and the second image.
  • a program includes a first imaging unit that captures a first image, a second imaging unit that captures a second image, and parallax between the first image and the second image
  • a program that causes the computer to function as a parallax determination unit that determines the presence or absence of the image and a synthesis unit that combines the pixels of the first image and the second image according to the determination result of the parallax determination unit.
  • a first image is captured, a second image is captured, the presence or absence of parallax between the first image and the second image is determined, and the determination result regarding the presence or absence of the parallax Accordingly, the respective pixels of the first image and the second image are synthesized.
  • two images can be appropriately combined according to the parallax, so that appropriate image quality can be improved by combining the same range with a plurality of imaging units. Can be realized.
  • FIG. 3 is a flowchart illustrating image processing by the image processing apparatus in FIG. 1. It is a figure explaining parallax. It is a figure explaining how to obtain the amount of parallax. It is a figure explaining the relationship between a to-be-photographed object distance and the amount of parallax. It is a flowchart explaining the judgment value calculation process of FIG. It is a figure explaining the relationship between an evaluation value and a judgment value. It is a flowchart explaining the search composition process of FIG. It is a figure explaining search composition processing. It is a figure explaining the search range when parallax generate
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 is a configuration example of an embodiment of an image processing apparatus that combines (superimposes) images captured by a plurality of imaging systems to which the present disclosure is applied to improve the image quality.
  • the image processing apparatus 11 of FIG. 1 includes a high resolution imaging unit 31, a characteristic conversion unit 32, a high sensitivity imaging unit 33, a characteristic conversion unit 34, a translation unit 35, a parallax determination unit 36, and a binocular synthesis unit 37. Yes.
  • a high-resolution imaging unit 31 and a high-sensitivity imaging unit 33 are provided, which are configured on the same plane with respect to the imaging direction and having, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor configured in parallel. ing.
  • the high resolution imaging unit 31 captures a Bayer array image as shown in the upper left part of the drawing and supplies the image to the characteristic conversion unit 32.
  • the high-sensitivity imaging unit 33 captures a Bayer array image as shown in the lower left part of the drawing and supplies the image to the characteristic conversion unit 32.
  • the image captured by the high-resolution imaging unit 31 is a high-resolution but low-sensitivity image compared to the image captured by the high-sensitivity imaging unit 33.
  • the image captured by the high-sensitivity imaging unit 33 is a high-sensitivity but low-resolution image compared to the image captured by the high-resolution imaging unit 31.
  • the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 are provided on the same plane and so that their optical axes are parallel to each other.
  • an image captured by the high-resolution imaging unit 31 is improved in image quality using an image captured by the high-sensitivity imaging unit 33. Therefore, since the image captured by the high-resolution imaging unit 31 is used as a reference, hereinafter, it is also referred to as a main image, and similarly, an image captured by the high-sensitivity imaging unit 34 is also referred to as a sub image. .
  • the characteristic conversion units 32 and 34 mutually convert the image characteristics of the high-resolution main image captured by the high-resolution imaging unit 31 and the image characteristics of the high-sensitivity sub-image captured by the high-sensitivity imaging unit 33, respectively. If they do not match in comparison, they are converted so as to be aligned and output to the parallax determination unit 36.
  • the characteristic conversion unit 32 aligns the low resolution sub image by reducing the resolution of the high resolution main image. .
  • the characteristic conversion unit 32 adjusts the sensitivity of the main image so as to match the sensitivity of the sub image.
  • the characteristic conversion units 32 and 34 also perform parallelization to compensate for the optical characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33, assembly variations, and the like. If the characteristics of the main image and the sub-image are already aligned, the characteristic converters 32 and 34 do not perform any processing.
  • the parallel movement unit 35 can obtain information on the amount of parallax generated from the respective optical characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 that are known in advance, the main image and the sub image are corrected in the direction of correcting the parallax amount. Translate the image.
  • the translation unit 35 may acquire the parallax amount information. Only using the information on the amount of parallax, the other image is translated based on the position of either the main image or the sub image.
  • the parallax determination unit 36 obtains the amount of parallax and adjusts the synthesis method in order to switch the method of synthesizing a main image and a sub image, which will be described later. That is, if pixels with parallax between the main image and the sub-image are combined, artifacts and false colors are generated. Therefore, the parallax determination unit 36 determines the synthesis method according to the amount of parallax, and supplies the synthesis method that is the determination result to the binocular synthesis unit 37.
  • the binocular synthesis unit 37 combines the main image and the sub image with the same characteristics by using the synthesis method specified based on the determination result of the parallax determination unit 36, and outputs the synthesized image. .
  • step S11 the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 capture the main image and the sub-image, respectively, and output them to the characteristic conversion units 32 and 34, respectively.
  • step S12 the characteristic conversion units 32 and 34 compare the image characteristics of the main image and the sub-image input to each other, and determine whether or not the image characteristics are different.
  • step S12 in this example, the main image has a higher resolution than the sub-image and has different characteristics, so the process proceeds to step S13.
  • the characteristic conversion units 32 and 34 adjust the image characteristics of the main image and the sub image so as to match. Then, the characteristic conversion unit 32 supplies the main image with adjusted characteristics to the parallax determination unit 36. In addition, the characteristic conversion unit 34 supplies the sub image to the translation unit 35.
  • the characteristics to be adjusted include, for example, the resolution and sensitivity of the main image and the sub-image, the spatial frequency characteristics, the direction of the optical axis, or the parallel processing of lens distortion.
  • the characteristic conversion unit 32 aligns the resolution of the main image with the resolution of the sub image, and By adjusting the sensitivity of the main image to the sensitivity of the sub image, the characteristics of the main image and the sub image are made uniform.
  • the characteristic conversion units 32 and 34 parallelize the main image and the sub image in order to compensate for the optical characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33, assembly variations, and the like.
  • the resolution of the main image is adjusted to the sub image will be described, but the sub image may be upsampled to create a high resolution image, and the resolution of the sub image may be aligned with the main image. .
  • step S11 if the image characteristics of the main image and the sub image match, the process of step S12 is skipped.
  • the translation unit 35 can acquire information (for example, information such as a lens focal length) that can obtain a parallax amount including optical characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33. It is determined whether or not there is. Information necessary for obtaining the amount of parallax such as optical characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 is input in advance, or communication from the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 is performed. If the information necessary for obtaining the amount of parallax can be acquired by, for example, the process proceeds to step S15.
  • information for example, information such as a lens focal length
  • step S15 the translation unit 35 translates the sub-image using the parallax amount information with the main image as a reference position.
  • parallax occurs between the main image P1 and the sub-image P2, as shown in FIG.
  • the amount of parallax differs depending on the distance from the imaging position of the region of interest, that is, the depth. For example, in the case of FIG. 3, the left end portion of the house C on the left side of the main image P1 and the sub image P2 is noted. If it is an area, the parallax is parallax d1, but if the left end of the right person D is the attention area, the parallax is d2. This occurs because the house C exists at a position farther than the person D as viewed from the imaging positions of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33.
  • the subjects imaged by each of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33 are: An image is formed at a position x_l on the image sensor 31 a of the high-resolution imaging unit 31 and a position x_r on the image sensor 33 a of the high-sensitivity imaging unit 33.
  • the line-of-sight direction of the high-resolution imaging unit 31 including the image sensor 31a is Q1
  • the line-of-sight direction of the high-sensitivity imaging unit 33 including the image sensor 33a is Q2.
  • ⁇ is the amount of parallax
  • f is the focal length of the lens
  • T is the distance between the imaging systems
  • Z is the distance to the subject
  • the unit is [mm].
  • FIG. 5 shows the relationship of Expression (2). If the focal length f and the distance T between the imaging systems are unchanged, the amount of parallax ⁇ is inversely proportional to the distance to the subject.
  • the translation unit 35 obtains the amount of parallax from the above-described equations (1) and (2), and translates the sub image with respect to the main image by the obtained amount of parallax ⁇ , so that the in-focus position is determined.
  • the parallax between the main image and the sub image of the subject existing in the depth is set to zero.
  • step S15 If there is no information for obtaining the amount of parallax in step S14, the process of step S15 is skipped, and the translation unit 35 does not perform translation and outputs the sub-image to the parallax determination unit 36 as it is. Further, even if information for obtaining the amount of parallax cannot be obtained directly, for example, the amount of parallax may be obtained with reference to infinity to perform parallel movement. In the above description, the example in which the entire image is translated has been described. However, the image may be translated in units of pixels.
  • the parallel movement is performed in accordance with the amount of parallax required in accordance with the distance to the focal plane, the arrangement of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33, the optical characteristics, and the resolution.
  • other methods may be used as long as they can be translated.
  • the parallel movement may be performed by the amount of parallax obtained by referring to a table set in advance from a setting value obtained by combining the focal lengths of the high-resolution imaging unit 31. Further, the parallel movement may be performed by the amount of parallax obtained as the deviation between the feature points common to the main image and the sub-image. Furthermore, when a depth map corresponding to each of the main image and the sub-image is given, the image may be translated by the amount of parallax obtained according to the depth, or only by a predetermined parallax amount set in advance. You may make it move in parallel.
  • step S ⁇ b> 16 the parallax determination unit 36 thereafter performs processing in units of pixels, and therefore, for any pixel position corresponding to each of the main image and the sub image, any of the unprocessed pixels is set as a target pixel to be processed. Set.
  • step S ⁇ b> 17 the parallax determination unit 36 executes a determination value calculation process, and calculates a determination value ⁇ for each pixel necessary for determining a method for combining the main pixel and the sub-pixel for each pixel.
  • step S31 the parallax determination unit 36 calculates the luminance value of the target pixel for each of the main image and the sub image.
  • RGB is an interpolated pixel value of RGB at the pixel position of the target pixel
  • L is a luminance value
  • step S32 the parallax determination unit 36 sets an upper limit value and a lower limit value of noise based on characteristics of the high-resolution imaging unit 31 and the high-sensitivity imaging unit 33, using the luminance values obtained for the main image and the sub-image. To do.
  • step S33 the parallax determination unit 36 sets a function for obtaining a determination value based on the upper limit value and the lower limit value of the noise.
  • the function for obtaining the determination value is, for example, a function shown in FIG. In the graph of FIG. 7, the horizontal axis is the noise evaluation value E, and the vertical axis is the determination value ⁇ .
  • the thresholds th1 and th2 in the noise evaluation value are a noise lower limit value and an upper limit value, respectively.
  • the determination value ⁇ is 0, and when the difference value is larger than the upper limit value, the determination value ⁇ Is set to 1, and values between 0 and 1 are set according to the inter-pixel difference.
  • step S34 the parallax determination unit 36 calculates an inter-pixel difference value between each main image and sub-image of RGB in the target pixel, and calculates the maximum value as the evaluation value E. That is, when the RGB pixel value of the target pixel of the main image is (Rm, Gm, Bm) and the RGB pixel value of the target pixel of the sub-image is (Rs, Gs, Bs), , (
  • the evaluation value E only needs to be obtained as a difference between pixels at the same position in the main image and the sub-image. Therefore, the difference value between pixels (
  • step S35 the parallax determination unit 36 obtains a determination value ⁇ corresponding to the evaluation value E in the function set in step S33 as the determination value of the target pixel.
  • the determination value ⁇ is set to 0.
  • the determination value ⁇ is a value between 0 and 1 corresponding to the evaluation value.
  • step S17 When the determination value ⁇ for determining the synthesis method is obtained in step S17, the parallax determination unit 36 determines whether or not the determination value ⁇ is 1 in step S18. If the determination value ⁇ is 1 in step S18, the process proceeds to step S19.
  • step S19 the parallax determining unit 36 uses the pixel-of-interest synthesis method as search synthesis, supplies it to the binocular synthesis unit 37, and executes search synthesis processing to synthesize the pixel of interest.
  • step S18 If the determination value ⁇ is not 1 in step S18, the process proceeds to step S20.
  • step S20 the parallax determination unit 36 determines whether or not the determination value ⁇ is 0. If the determination value ⁇ is 0, the process proceeds to step S21.
  • step S ⁇ b> 21 the parallax determination unit 36 sets the target pixel composition method as the optimal composition, supplies the binocular composition unit 37 to execute the optimum composition process, and synthesizes the target pixel.
  • the determination value ⁇ is 0, it is considered that the pixel values of the pixels at the same position in the main image and the sub image are substantially the same, and no parallax is generated. Therefore, the optimum combining process for combining the target pixel in the main image and the pixel in the sub image at the same position is selected. Details of the optimum synthesis process will be described later.
  • step S20 if the determination value ⁇ is not 0, that is, if the determination value ⁇ is 0 ⁇ ⁇ 1, the process proceeds to step S22.
  • step S ⁇ b> 22 the parallax determination unit 36 sets the target pixel synthesis method as blend synthesis in which search synthesis and optimum synthesis are blended using the determination value ⁇ , and supplies the blend synthesis process to the binocular synthesis unit 37. To synthesize the target pixel.
  • the determination value ⁇ is in the range of 0 to 1, there is a suspicion that parallax occurs because the pixel of interest in the main image and the pixel at the same position on the sub-image are not the same. It is a pixel that has a relatively close pixel value and cannot determine whether the difference is parallax or noise. Therefore, a blend composition process for blending the search composition pixel and the optimum composition pixel in accordance with the determination value ⁇ is selected. Details of the blend composition processing will be described later.
  • a synthesis method is set according to the value of the determination value ⁇ , and pixels are synthesized by the set synthesis method.
  • step S23 the parallax determination unit 36 determines whether there is an unprocessed pixel. If there is an unprocessed pixel, the process returns to step S16. That is, the same processing is repeated until the processing in steps S16 to S23 is completed. In step S23, when all the pixels are combined and there is no unprocessed pixel, the process proceeds to step S24.
  • step S24 the binocular composition unit 37 outputs a composite image including pixels obtained by compositing the main image and the sub image, and ends the process.
  • the main image and the sub image can be synthesized.
  • step S41 the binocular synthesis unit 37 searches for a predetermined range, for example, a 3 ⁇ 3 pixel range centered on the target pixel, in order to improve the SNR (Signal toSignNoise Ratio) of the main image. Multiply the reduction. More specifically, the filtering process represented by the following formula (4) is performed.
  • P m, n m is a pixel signal of the target pixel (m, n) in the main image
  • ⁇ is a noise estimation value
  • P ref m is a new reference signal (pixel signal of the target pixel). It is.
  • the process represented by Expression (4) is a process of performing an ⁇ filter process on a 3 ⁇ 3 pixel range surrounded by a dotted line corresponding to the target pixel P m, n m of the main image as shown in FIG. It is.
  • step S42 the binocular synthesis unit 37 searches for a pixel signal similar to the reference pixel signal in the sub-image using the pixel signal of the target pixel of the main image as a reference pixel signal, and the pixel signal of the searched pixel; By combining the reference pixel signal, which is the pixel signal of the target pixel of the main image, it is output as a search combined pixel. More specifically, the search composite pixel is obtained by the calculation represented by the following formula (5). ... (5)
  • P m, n S is a pixel signal of a pixel (m, n) in the sub-image
  • ⁇ is a noise estimation value
  • P out is a pixel signal of a search synthesis pixel.
  • the pixel of the main image is used as a reference pixel signal, a pixel signal similar to the reference pixel signal in the sub image is searched for the similarity of both, and the sub image similar to the searched target pixel is searched.
  • This is a process of combining the pixel and the pixel signal of the target pixel of the main image.
  • the similarity used for the search is, for example, a weighted average corresponding to the weight of similarity between pixels, or the sum of absolute differences between corresponding pixels in a 3 ⁇ 3 pixel range centered on the target pixel. It is.
  • the standard for determining a pixel signal similar to the pixel signal of the target pixel in the main image is the same technique as the process for obtaining the evaluation value in the parallax determination unit.
  • the noise value is estimated, and the noise estimated value and the reference pixel Significance is determined by comparing the difference signal between the signal and the sub-image pixel.
  • noise reduction is performed by performing a search within a 3 ⁇ 3 range using only the main pixels as a preliminary process.
  • the initial position of the search in the sub-image for searching for a pixel similar to the target pixel may be the same coordinates as the main image, or a position moved by a predetermined value may be set as the initial position.
  • the predetermined value the already-described amount of parallax calculated so that the parallax is 0 on the in-focus plane, or a feature point that exists in common in the main image and the sub-image (the same pixel position of the object that exists in common, etc.) The amount of parallax at the position corresponding to) may be used.
  • the search range of the sub image may be adjusted with parameters in the vertical direction and the horizontal direction. For example, if the parallax exists in the vertical direction, the sub image search range is indicated by a range surrounded by a dotted line in FIG. As shown in FIG. 11, if the search range in the vertical direction is widened and the parallax exists in the horizontal direction, the horizontal search range is widened as shown by the range surrounded by the dotted line in FIG. Search can be realized, and the amount of calculation can be suppressed.
  • step S ⁇ b> 51 the binocular composition unit 37 calculates the mixing ratio ⁇ for synthesizing the target pixel in the main image and the pixel in the sub-image at the corresponding position by, for example, calculating the following formula (6). calculate.
  • ⁇ main is the estimated noise variance of the main image
  • ⁇ sub is the estimated noise variance of the sub image
  • ⁇ is the pixel signal of the pixel of interest in the main image and the pixel of interest in the sub image. This is the mixing ratio with the pixel signal of the pixel at the corresponding position.
  • step S52 the binocular synthesis unit 37 calculates the following expression (7) to calculate the pixel signal of the target pixel in the main image and the pixel at the position corresponding to the target pixel in the sub-image with the calculated mixture ratio ⁇ . Are combined with each other and calculated as an optimum combined signal.
  • Optimized synthesis is a technique for synthesizing so that the SNR of the synthesized signal is maximized.
  • the optimum synthesis assumes synthesis when there is no parallax or blur between the main image and the sub-image, and no saturated pixels.
  • the synthesis is performed in a situation in which no artifact or false color occurs even if the process of replacing the sub image with the main image is performed.
  • the amount of calculation can be reduced as compared with the search synthesis process.
  • the parallax determination process in advance, it is possible to deal with only the pixel having a problem in the optimum synthesis process in the search synthesis process, and for other pixels, it is possible to deal with all pixels by dealing with the optimum synthesis process. Since it is possible to eliminate the search and synthesis process, it is possible to reduce the amount of calculation and to perform synthesis with the SNR being maximized.
  • step S71 the binocular synthesis unit 37 generates a synthesized pixel for the target pixel of the main image by performing search synthesis processing with the corresponding pixel of the sub-image.
  • the search synthesis process is the same as the process described with reference to the flowchart of FIG.
  • step S72 the binocular synthesis unit 37 generates a synthesized pixel by performing an optimum synthesis process with the corresponding pixel of the sub-image for the target pixel of the main image.
  • the optimum synthesis process is the same as the process described with reference to the flowchart of FIG.
  • the binocular synthesis unit 37 uses the determination value ⁇ as a mixture ratio to synthesize the pixel signal obtained by the search synthesis process and the pixel signal obtained by the optimum synthesis process, thereby blending and blending. Output as pixels. More specifically, the binocular synthesizing unit 37 is obtained by the optimum synthesis process and the pixel signal obtained by the search synthesis process using the determination value ⁇ as a mixture ratio by the calculation of the following formula (8), for example. Is synthesized with the pixel signal.
  • OUT is a blend synthesis signal
  • OUT search is a pixel signal obtained by search synthesis processing
  • OUT opt is a pixel signal obtained by optimal synthesis processing
  • ⁇ is a judgment value ( 0 ⁇ ⁇ 1).
  • the noise lower limit value th1 and the upper limit value th2 are the same as the threshold value for switching the determination value ⁇ , the optimum synthesis process and the search synthesis process are switched abruptly, so that the blend synthesis process is substantially eliminated and the search is performed. Pixels are synthesized by either the synthesis process or the optimum synthesis process.
  • the process of translating the sub image by the amount corresponding to the parallax amount according to the main image is performed only when information for obtaining the parallax amount of the optical system of the high resolution imaging unit 31 and the high sensitivity imaging unit 33 is obtained. Therefore, the translation unit 35 may be omitted.
  • the input of the main image and the sub image has been both Bayer array images.
  • an image in which three pixels of RGB are arranged in each pixel in the main image and the sub image. May be used.
  • the amount of calculation increases.
  • processing is performed with each of the three RGB colors for each pixel, the sensitivity of the main image is higher. Can be realized.
  • HDR high dynamic range
  • a wide-angle image may be input to the high-resolution imaging unit 31 as a main image
  • a telephoto image may be input to the high-sensitivity imaging unit 33 as a sub image.
  • FIG. 15 shows a configuration example of the image processing apparatus 11 in which a wide-angle image is input to the high-resolution imaging unit 31 as a main image and a telephoto image is input to the high-sensitivity imaging unit 33 as a sub image.
  • configurations having the same functions as those of the image processing apparatus 11 of FIG. 1 are denoted by the same names and the same reference numerals, and description thereof will be omitted as appropriate. To do.
  • the image processing apparatus 11 in FIG. 15 is different from the image processing apparatus in FIG. 1 in that a parallax determination unit 101 and a binocular synthesis unit 102 are provided instead of the parallax determination unit 36 and the binocular synthesis unit 37. It is a point.
  • the parallax determination unit 101 basically has the same function as the parallax determination unit 36, but further, among the wide-angle image that is a main image and the telephoto image that are sub-images having different angles of view, the main image and the sub-image The parallax determination is performed only for pixels in the range where the angle of view overlaps.
  • the binocular synthesis unit 102 extracts a high-frequency component in the sub-image in a region where the angle of view of the wide-angle image that is the main image and the tele-image that is the sub-image overlaps, and within the range that becomes the region of the telephoto image in the wide-angle image.
  • the region corresponding to the telephoto image, which is a wide-angle image is converted into a high-definition image.
  • step S96 the parallax determination unit 36 performs processing in units of pixels thereafter, and therefore sets any unprocessed pixel as a target pixel to be processed for the pixel position of the main image.
  • step S97 the parallax determination unit 36 determines whether or not the target pixel is a pixel within the angle of view in the sub-image. That is, here, since the main image is a wide-angle image and the sub-image is a telephoto image, the sub-image becomes a part of the main image. For this reason, the processing is possible in the region where the angle of view of the main image and the sub-image overlap, and the other region is excluded from the processing range. Therefore, the target pixel is a pixel within the angle of view of the sub-image. It is determined whether or not there is. In step S97, when the target pixel is a pixel within the angle of view of the sub-image, the process proceeds to step S98.
  • step S98 a determination value ⁇ for determining the presence / absence of parallax between the target pixel as the main image and the sub image pixel at the corresponding pixel position is calculated by performing the determination value calculation process. It will be.
  • the determination value calculation process is the same as the process described with reference to the flowchart of FIG.
  • step S99 when the determination value ⁇ is 1 and it is determined that there is a parallax, the process proceeds to step S100.
  • step S100 the binocular synthesis unit 101 executes search synthesis processing, searches for a similar pixel on the sub-image with respect to the target pixel, and adds the high-frequency component of the searched pixel.
  • the determination value ⁇ is 1, the pixel of interest on the main image and the pixel of the sub image at the same position are not the same due to the parallax, and thus a pixel similar to the pixel of interest on the sub image. And processing using the pixels on the searched sub-image is required.
  • step S121 the binocular synthesis unit 102 searches for a predetermined range, for example, a 3 ⁇ 3 pixel range centered on the target pixel, in order to improve the SNR (Signal to Noise Ratio) of the main image. Multiply the reduction. This process is the same as the process of step S41 in FIG. 8 described above.
  • the binocular synthesis unit 102 searches for a pixel that is most similar to the current pixel of interest within the search range within the sub-image.
  • the pixel on the sub-image that is most similar to the target pixel is, for example, a weighted average according to the weight of similarity between pixels, or a 3 ⁇ 3 pixel centered on each of the target pixel and the search pixel. This is the sum of absolute differences between pixels in the range.
  • step S123 the binocular synthesis unit 102 extracts a high-frequency component of a pixel on the sub-image having the highest similarity with the target pixel.
  • step S124 the binocular synthesis unit 102 adds the extracted high-frequency component to the pixel value of the target pixel and stores the result as a synthesis result.
  • a pixel having a high similarity in the sub-image is searched for a pixel that is regarded as having a parallax in the main image, thereby reducing the influence of the parallax. It is possible to add the high-frequency component of the image to pixels in the same field angle region as the sub-image in the main image.
  • step S101 it is considered that no parallax has occurred between the target pixel on the main image and the corresponding pixel on the sub-image. Proceeding to S102, optimal synthesis processing is performed, and the high frequency component in the sub-image at the corresponding position is added to the pixel value of the target pixel.
  • step S141 the binocular synthesis unit 102 extracts a high-frequency component of a pixel at a position on the sub-image corresponding to the target pixel in the main image.
  • step S142 the binocular synthesis unit 102 adds and stores the high-frequency component of the pixel at the position corresponding to the target pixel on the sub-image extracted to the pixel value of the target pixel in the main image.
  • the pixel on the sub image at the position corresponding to the target pixel on the main image is regarded as having no parallax, and the high frequency component of the pixel on the sub image is added to the target pixel as it is. become.
  • step S103 the blend synthesis process is executed, and the high frequency component is added in the optimum synthesis process by adding the high frequency component in the search synthesis process.
  • the pixels are blended at a mixture ratio using the determination value ⁇ . Since this process is the same as the process described with reference to the flowchart of FIG. 13, the description thereof is omitted.
  • step S97 If it is determined in step S97 that the target pixel is outside the angle of view of the sub-image, the process proceeds to step S104. That is, in this case, the target pixel is stored without being processed. When all the pixels of the main image are processed, an image composed of the pixel values stored by the binocular synthesis unit 102 is output in step S105.
  • the high-frequency component of the sub-image is added to the region of the sub-image that is the telephoto image in the main image that is the wide-angle image, so that the region corresponding to the telephoto image is a wide-angle image.
  • a high-definition image can be obtained.
  • the combination of the main image and the sub image may be other than this.
  • the main image may be a Bayer image
  • the sub image may be a monochrome image
  • the main image may be a Bayer image
  • the sub-image may be a near-infrared image.
  • the optical system can be made the same for the main image and the sub-image, and therefore it is possible to synthesize at all angles of view.
  • the monochrome image sensor is characterized by high brightness and high sensitivity compared to the Bayer array sensor. As a result, the composite image can be improved in high resolution effect and SNR.
  • the main image a Bayer array sensor and a sensor with sensitivity to the near-infrared image of the sub-image, it is possible to synthesize an image that cannot be captured with visible light with the main image. It is possible to image hemoglobin in the blood.
  • processing can be switched according to the presence or absence of parallax, and the amount of calculation can be reduced.
  • the calculation range for searching the main image and the sub image is narrow in the direction perpendicular to the parallax direction and wide in the parallel direction, the image quality can be improved while suppressing the calculation amount.
  • the operation in the parallel moving unit 35 obtains information necessary for obtaining parallax such as optical characteristics such as the distance to the focusing surface of the high resolution imaging unit 31 and the high sensitivity imaging unit 33 from the outside,
  • optical characteristics such as the distance to the focusing surface of the high resolution imaging unit 31 and the high sensitivity imaging unit 33
  • the arrangement, the optical characteristics, and the resolution has been described, other translations that can reduce parallax are possible.
  • a parallax amount obtained by referring to a table set in advance from a setting value obtained by combining the focal lengths of one imaging unit, and a parallax obtained as a deviation between common feature points of two images When a depth map corresponding to each of the two images is given, the parallax amount obtained according to the depth or a predetermined parallax amount set in advance is viewed in parallel. It may be reduce.
  • ⁇ Example executed by software> By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 19 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • a first imaging unit that captures a first image
  • a second imaging unit that captures a second image
  • a parallax determination unit that determines the presence or absence of parallax between the first image and the second image
  • An image processing apparatus including: a combining unit that combines the pixels of the first image and the second image according to a determination result of the parallax determination unit.
  • a combining unit that combines the pixels of the first image and the second image according to a determination result of the parallax determination unit.
  • the first imaging unit and the second imaging unit are on the same plane and have respective optical axes parallel to each other.
  • ⁇ 3> The image processing device according to ⁇ 1> or ⁇ 2>, wherein the first image and the second image have different image characteristics.
  • the image processing apparatus according to ⁇ 3>, wherein the first image and the second image have different image characteristics of at least one of the number of pixels, the angle of view, the wavelength band, and the arrangement of color filters. . ⁇ 5>
  • the parallax amount determination unit determines the presence / absence of parallax in a pixel unit of the first image and the second image or a region unit including a plurality of pixels divided into a plurality of regions ⁇
  • the image processing device according to any one of 1> to ⁇ 4>.
  • the synthesis unit includes: When the parallax determination unit determines that there is no parallax, the pixels at the corresponding positions of the first image and the second image are combined, When the parallax determination unit determines that there is the parallax, for each pixel of the first image, a similar pixel is searched for on the second image and combined with the searched pixel ⁇ 1> to The image processing device according to any one of ⁇ 5>.
  • a characteristic adjustment unit that adjusts the characteristics of the first image and the second image to match, The parallax determination unit determines the presence or absence of the parallax for the first image and the second image adjusted so that the characteristics match by the characteristic adjustment unit.
  • the characteristic adjustment unit may include a resolution, a sensitivity, a spatial frequency characteristic, an optical axis direction, or a parallelization process for correcting lens distortion of the first image and the second image.
  • a translation unit that translates the second image to reduce parallax with respect to the first image, The image processing apparatus according to any one of ⁇ 1> to ⁇ 8>, wherein the translation unit reduces the parallax by translating the entire image of the second image or in units of pixels in the second image. .
  • the translation unit is obtained according to a distance from the first imaging unit to the in-focus plane, an arrangement of the first imaging unit and the second imaging unit, optical characteristics, and resolution.
  • the amount of parallax to be obtained the amount of parallax obtained by referring to a table set in advance from a setting value obtained by combining the focal lengths of the first imaging unit, and common features of the first image and the second image
  • the image processing apparatus according to ⁇ 9>, wherein the entire image of the second image or the pixel unit in the second image is translated by the amount of parallax.
  • ⁇ 11> Take a first image, Take a second image, Determining the presence or absence of parallax between the first image and the second image;
  • An image processing method including a step of combining respective pixels of the first image and the second image in accordance with the determination result of the parallax.
  • ⁇ 12> a first imaging unit that captures a first image; A second imaging unit that captures a second image; A parallax determination unit that determines the presence or absence of parallax between the first image and the second image;
  • a program that causes a computer to function as a combining unit that combines respective pixels of the first image and the second image according to a determination result of the parallax determination unit.

Abstract

本開示は、複数の撮像部により撮像される複数の画像を用いて画質を向上させることができるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。 高解像度撮像部により撮像された低感度な高解像度画像からなるメイン画像と、高感度撮像部により撮像された低解像度だが高感度画像からなるサブ画像とを用いて、相互の視差の有無を求め、視差があるときは、探索合成処理によりメイン画像の各画素について、サブ画像内を探索して類似した画素と合成し、視差がないときは最適合成処理で同一位置の画素間で画素を合成する。本開示は、撮像装置に適用することができる。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、複数の撮像系で撮像された画像を合成することで、画像の高画質化を実現できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
　複数の異なる撮像系から構成される複眼カメラで撮影された画像を合成し、高画質化する技術が提案されている（特許文献１，２参照）。
特開２００４－３２８１３７号公報 特開２０１０－１５７８６３号公報
　しかしながら、上述した特許文献１，２に代表される、これまでの手法では、異なる撮像系の間に存在する視差が無視された状態で合成されていた。
　視差は被写体の撮像系からの距離に応じて変化するため、画素ごとに視差を正確に求めることは、コストが大きく、また、視差がある状態で複数の画像を合成するとアーティファクトや偽色を生じさせてしまう恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、複数の撮像系により撮像された画像を、視差を考慮して合成することで、画像の高画質化を実現できるようにするものである。
　本開示の一側面の画像処理装置は、第１の画像を撮像する第１の撮像部と、第２の画像を撮像する第２の撮像部と、前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む画像処理装置である。
　前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸を平行とすることができる。
　前記第１の画像、および前記第２の画像は、画像特性が異なるようにすることができる。
　前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なるようにすることができる。
　前記視差量判定部には、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定させるようにすることができる。
　前記合成部には、前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成させ、前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索させ、探索した画素と合成させるようにすることができる。
　前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含ませるようにすることができ、前記視差判定部には、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定させるようにすることができる。
　前記特性調整部には、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整させるようにすることができる。
　前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含ませるようにすることができ、前記平行移動部には、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減させるようにすることができる。
　前記平行移動部には、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動させるようにすることができる。
　本開示の一側面の画像処理方法は、第１の画像を撮像し、第２の画像を撮像し、前記第１の画像および前記第２の画像の視差の有無を判定し、前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む画像処理方法である。
　本開示の一側面のプログラムは、第１の画像を撮像する第１の撮像部と、第２の画像を撮像する第２の撮像部と、前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させるプログラムである。
　本開示の一側面においては、第１の画像が撮像され、第２の画像が撮像され、前記第１の画像および前記第２の画像の視差の有無が判定され、前記視差の有無の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素が合成される。
　本開示の一側面によれば、２枚の画像を視差に応じて適切に合成することができるので、複数の撮像部により同一の範囲を撮像して重ね合わせるといった合成により、適切な高画質化を実現させることが可能となる。
本開示を適用した画像処理装置の構成例を説明する図である。 図１の画像処理装置による画像処理を説明するフローチャートである。 視差を説明する図である。 視差量の求め方を説明する図である。 被写体距離と視差量との関係を説明する図である。 図２の判定値算出処理を説明するフローチャートである。 評価値と判定値との関係を説明する図である。 図２の探索合成処理を説明するフローチャートである。 探索合成処理を説明する図である。 垂直方向に視差が発生したときの探索範囲を説明する図である。 水平方向に視差が発生したときの探索範囲を説明する図である。 図２の最適合成処理を説明するフローチャートである。 図２のブレンド合成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第１の応用例を説明する図である。 本開示を適用した画像処理装置の第２の応用例を説明する図である。 図１５の画像処理装置による画像処理を説明するフローチャートである。 図１６の探索合成処理を説明するフローチャートである。 図１６の最適合成処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．本開示の実施の形態
　　２．第１の応用例
　　３．第２の応用例
　＜１．本開示の実施の形態＞
　　＜画像処理装置の構成例＞
　図１は、本開示を適用した複数の撮像系により撮像された画像を合成して（重ね合わせて）、画像を高画質化する画像処理装置の一実施の形態の構成例である。
　図１の画像処理装置１１は、高解像度撮像部３１、特性変換部３２、高感度撮像部３３、特性変換部３４、平行移動部３５、視差判定部３６、および２眼合成部３７を備えている。
　撮像方向に対して同一の面上であって、光軸が平行に構成された、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる高解像度撮像部３１および高感度撮像部３３が設けられている。高解像度撮像部３１は、図中左上部で示されるようなBayer配列の画像を撮像し、特性変換部３２に供給する。一方、高感度撮像部３３は、図中左下部で示されるような同じくBayer配列の画像を撮像し、特性変換部３２に供給する。
　高解像度撮像部３１により撮像される画像は、高感度撮像部３３により撮像される画像と比較して、高解像度であるが、低感度の画像である。一方、高感度撮像部３３により撮像される画像は、高解像度撮像部３１により撮像される画像と比較して、高感度であるが、低解像度の画像である。また、高解像度撮像部３１および高感度撮像部３３は、同一面上で、かつ、それぞれの光軸が平行となるように設けられている。
　尚、以降においては、高解像度撮像部３１により撮像される画像を、高感度撮像部３３により撮像された画像で高画質化する例について説明を進めるものとする。そこで、高解像度撮像部３１により撮像される画像を基準とするため、以降においては、メイン画像とも称するものとし、同様に、高感度撮像部３４により撮像された画像をサブ画像とも称するものとする。
　特性変換部３２，３４は、それぞれ高解像度撮像部３１により撮像された高解像度のメイン画像の画像特性と、高感度撮像部３３により撮像された高感度のサブ画像の画像特性とを、相互に比較して一致しない場合、揃えるように変換し、視差判定部３６に出力する。ここでは、メイン画像とサブ画像との解像度が異なり、メイン画像の方が高解像度であるため、特性変換部３２は、高解像度のメイン画像の解像度を下げることで、低解像度のサブ画像に揃える。また、メイン画像は、サブ画像より低感度の画像であるため、特性変換部３２は、メイン画像の感度を、サブ画像の感度に合わせるように調整する。さらに、特性変換部３２，３４は、高解像度撮像部３１および高感度撮像部３３の光学特性や、組立ばらつきなどを補償するために平行化も行う。尚、すでにメイン画像とサブ画像の特性が揃っている場合、特性変換部３２，３４は、いずれも何も処理を行わない。
　平行移動部３５は、予めわかっている高解像度撮像部３１、および高感度撮像部３３のそれぞれの光学特性などから生じる視差量の情報を入手できる場合、視差量を補正する方向にメイン画像およびサブ画像を平行移動させる。尚、高解像度撮像部３１、および高感度撮像部３３の光学特性などからなる視差量の情報については、必ずしも取得できないこともあるため、平行移動部３５は、視差量の情報が取得できた場合にのみ、この視差量の情報を利用して、メイン画像およびサブ画像のいずれか一方の画像の位置を基準として、他方の画像を平行移動させる。
　視差判定部３６は、後述するメイン画像とサブ画像とを合成する手法を切り替えるために視差量を求め、合成方法を調整する。すなわち、メイン画像とサブ画像との視差が存在する画素を合成すると、アーティファクトや偽色が生じる原因となる。そのため、視差判定部３６は、視差量に応じて、合成方法を判定し、判定結果となる合成方法を２眼合成部３７に供給する。
　２眼合成部３７は、視差判定部３６の判定結果に基づいて特定された合成方法で、特性が揃えられたメイン画像とサブ画像とを重ね合わせるようにして合成し、合成した画像を出力する。
　＜図１の画像処理装置により画像合成処理＞
　次に、図２のフローチャートを参照して、図１の画像処理装置１１による画像を合成する画像合成処理について説明する。
　ステップＳ１１において、高解像度撮像部３１および高感度撮像部３３は、それぞれメイン画像およびサブ画像を撮像し、特性変換部３２，３４にそれぞれ出力する。
　ステップＳ１２において、特性変換部３２，３４は、相互に入力されたメイン画像およびサブ画像の画像特性を比較し、画像特性が異なるか否かを判定する。ステップＳ１２において、この例においては、メイン画像がサブ画像に対して高解像度であり、特性が異なるので、処理は、ステップＳ１３に進む。
　ステップＳ１３において、特性変換部３２，３４は、メイン画像およびサブ画像の画像特性を一致するように調整する。そして、特性変換部３２は、特性を調整したメイン画像を視差判定部３６に供給する。また、特性変換部３４は、サブ画像を平行移動部３５に供給する。調整対象となる特性としては、例えば、メイン画像およびサブ画像の解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みの平行化処理等を含むものである。
　より詳細には、ここでは、メイン画像がサブ画像に対して、高解像度で有り、かつ、低感度であるため、特性変換部３２が、メイン画像の解像度を、サブ画像の解像度に揃えると共に、メイン画像の感度をサブ画像の感度に調整することにより、メイン画像とサブ画像との特性を揃える。この他にも、特性変換部３２，３４は、高解像度撮像部３１および高感度撮像部３３の光学特性や、組立ばらつきなどを補償するために、メイン画像およびサブ画像を平行化する。ここでは、メイン画像の解像度をサブ画像に合わせる例について説明するものとするが、サブ画像をアップサンプルして、高解像度画像を作成し、サブ画像の解像度をメイン画像に揃えるようにしてもよい。
　尚、ステップＳ１１において、メイン画像およびサブ画像の画像特性が一致している場合、ステップＳ１２の処理がスキップされる。
　ステップＳ１４において、平行移動部３５は、高解像度撮像部３１および高感度撮像部３３の光学特性などからなる視差量を求めることができる情報（例えば、レンズ焦点距離などの情報）が取得できる状態であるか否かを判定する。予め高解像度撮像部３１および高感度撮像部３３の光学特性などの視差量を求めるために必要とされる情報が入力されていたり、または、高解像度撮像部３１および高感度撮像部３３などから通信等により視差量を求めるために必要とされる情報が取得できるような場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、平行移動部３５は、視差量の情報を利用して、メイン画像を基準位置として、サブ画像を平行移動させる。
　すなわち、高解像度撮像部３１および高感度撮像部３３からなる２眼のカメラで撮像した場合、図３で示されるように、メイン画像Ｐ１とサブ画像Ｐ２との間には視差が生じる。視差量は、注目領域の撮像位置からの距離、すなわち、奥行に応じて、異なるもので有り、例えば、図３の場合、メイン画像Ｐ１およびサブ画像Ｐ２の左部の家Ｃの左端部が注目領域であるとした場合、視差は、視差ｄ１となるが、右部の人物Ｄの左端部が注目領域であるとした場合、視差はｄ２となる。これは、高解像度撮像部３１および高感度撮像部３３の撮像位置からみて家Ｃが、人物Ｄよりも遠い位置に存在することにより生じるものである。
　より詳細には、高解像度撮像部３１および高感度撮像部３３が、同一平面上かつ水平方向に設置された場合、高解像度撮像部３１および高感度撮像部３３のそれぞれで撮像された被写体は、それぞれ高解像度撮像部３１のイメージセンサ３１ａ上の位置x_l、および、高感度撮像部３３のイメージセンサ３３ａ上の位置x_rで結像される。この時の位置のずれが視差として現れ、視差量δ（＝x_l－x_r）は以下の式（１）で表される。ここで、図３においては、イメージセンサ３１ａからなる高解像度撮像部３１の視線方向がＱ１であり、イメージセンサ３３ａからなる高感度撮像部３３の視線方向がＱ２である。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、δは視差量、fはレンズの焦点距離、Tは撮像系間の距離、Zは被写体までの距離であり、いずれも単位は[mm]である。
　高解像度撮像部３１および高感度撮像部３３のイメージセンサ３１ａ，３３ａにおける画素ピッチがp[mm/pixel]である場合、画像での視差δ_p[pixel]は式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　図５は、式（２）の関係を表したものであり、焦点距離fおよび撮像系間の距離Tが不変であるならば、視差量δは被写体までの距離に反比例する。
　例えば、所定の被写体に合焦しており、その被写体までの距離が既知の場合、式（１），式（２）から画像上における視差量を求めることができる。そこで、平行移動部３５は、上述した式（１），式（２）より視差量を求め、求めた視差量δだけ、メイン画像に対してサブ画像を平行移動することで、合焦位置の奥行に存在する被写体のメイン画像とサブ画像との視差を０にする。
　尚、ステップＳ１４において、視差量を求めるための情報がない場合、ステップＳ１５の処理はスキップされ、平行移動部３５は、平行移動を行わず、サブ画像をそのまま視差判定部３６に出力する。また、仮に視差量を求めるための情報が直接得られない場合であっても、例えば、無限遠を基準として視差量を求めるようにして、平行移動するようにしてもよい。また、以上においては、画像全体を平行移動する例について説明してきたが、画素単位に平行移動するようにしてもよい。
　尚、平行移動については、上述したように、合焦面までの距離、高解像度撮像部３１、および高感度撮像部３３の配置、光学特性、および解像度に応じて求められる視差量に応じて行うようにしてもよいが、平行移動ができればよいので、他の手法であってもよい。
　例えば、高解像度撮像部３１の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量分だけ平行移動するようにしてもよい。また、メイン画像およびサブ画像の共通する特徴点間のズレとして求められる視差量分だけ平行移動するようにしてもよい。さらに、メイン画像およびサブ画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求められる視差量分だけ平行移動するようにしてもよいし、予め設定された所定の視差量だけ平行移動するようにしてもよい。
　ステップＳ１６において、視差判定部３６は、以降において画素単位での処理となるため、メイン画像とサブ画像とのそれぞれ対応する画素位置について、未処理の画素のいずれかを処理対象となる注目画素に設定する。
　ステップＳ１７において、視差判定部３６は、判定値算出処理を実行し、画素単位でのメイン画素とサブ画素の合成方法を判定するために必要となる画素単位の判定値αを算出する。
　＜判定値算出処理＞
　ここで、図６のフローチャートを参照して判定値αを算出する判定値算出処理について説明する。
　ステップＳ３１において、視差判定部３６は、メイン画像およびサブ画像のそれぞれについて、注目画素の輝度値を算出する。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、ＲＧＢは、注目画素の画素位置におけるＲＧＢのそれぞれの補間画素値であり、Ｌは、輝度値である。
　ステップＳ３２において、視差判定部３６は、メイン画像およびサブ画像のそれぞれについて求められた輝度値を用いて、高解像度撮像部３１および高感度撮像部３３の特性よりノイズの上限値および下限値を設定する。
　ステップＳ３３において、視差判定部３６は、ノイズの上限値および下限値に基づいて、判定値を求めるための関数を設定する。ここで、判定値を求めるための関数とは、例えば、図７で示される関数である。図７のグラフにおいては、横軸がノイズの評価値Ｅであり、縦軸が判定値αである。ここで、ノイズの評価値における閾値ｔｈ１、ｔｈ２は、それぞれノイズの下限値および上限値である。後述する処理により求められるメイン画像およびサブ画像の注目画素におけるＲＧＢの画素間差分が、ノイズレベルの下限値よりも小さいとき、判定値αが０とされ、上限値よりも大きいとき、判定値αが１とされ、その間については、画素間差分に応じた０乃至１の値とされる。
　ステップＳ３４において、視差判定部３６は、注目画素におけるＲＧＢのそれぞれのメイン画像とサブ画像との画素間差分値を算出し、その最大値を評価値Ｅとして算出する。すなわち、メイン画像の注目画素のＲＧＢの画素値が（Ｒｍ，Ｇｍ，Ｂｍ）であり、サブ画像の注目画素のＲＧＢの画素値が（Ｒｓ，Ｇｓ，Ｂｓ）であるとき、画素間差分値として、（｜Ｒｍ－Ｒｓ｜，｜Ｇｍ－Ｇｓ｜，｜Ｂｍ－Ｂｓ｜）が算出され、このうちの最大値が評価値Ｅとして算出される。尚、評価値Ｅは、メイン画像とサブ画像の同一位置の画素間の差分が求められればよいものであるので、画素間差分値（｜Ｒｍ－Ｒｓ｜，｜Ｇｍ－Ｇｓ｜，｜Ｂｍ－Ｂｓ｜）の最大値ではなく、例えば、平均値などでもよい。
　ステップＳ３５において、視差判定部３６は、ステップＳ３３において設定された関数における、評価値Ｅに対応する判定値αを注目画素の判定値として求める。
　すなわち、図７で示されるように、評価値Ｅが、推定したノイズの下限値ｔｈ１より差分が小さければ、注目画素におけるメイン画像とサブ画像との間には視差が存在しない領域であるものと判定し、判定値αが０とされる。また、評価値Ｅがノイズの下限値ｔｈ１と上限値ｔｈ２の間の場合、判定値αは、評価値に対応した０乃至１の値とされる。さらに、評価値Ｅが、ノイズの上限値ｔｈ２より大きければ、注目画素におけるメイン画像とサブ画像との間には視差が存在する領域であるものと判定し、判定値αが１とされる。
　ここで、図２のフローチャートの説明に戻る。
　ステップＳ１７において、合成方法を判定するための判定値αが求められると、ステップＳ１８において、視差判定部３６は、判定値αが１であるか否かを判定する。ステップＳ１８において、判定値αが１である場合、処理は、ステップＳ１９に進む。
　ステップＳ１９において、視差判定部３６は、注目画素の合成方法を探索合成とし、２眼合成部３７に供給して探索合成処理を実行させて、注目画素を合成させる。
　すなわち、判定値αが１であるということは、メイン画像とサブ画像との同一位置の画素の画素値が大きく異なり、同一の画素ではないと見なされ、視差が生じているものと見なされる。そこで、メイン画像における注目画素と同一の画素をサブ画像から探索し、探索された画素と合成する探索合成処理が選択される。尚、探索合成処理については、詳細を後述する。
　また、ステップＳ１８において、判定値αが１ではない場合、処理は、ステップＳ２０に進む。
　ステップＳ２０において、視差判定部３６は、判定値αが０であるか否かを判定し、判定値αが０である場合、処理は、ステップＳ２１に進む。
　ステップＳ２１において、視差判定部３６は、注目画素の合成方法を最適合成とし、２眼合成部３７に供給して最適合成処理を実行させて、注目画素を合成させる。
　すなわち、判定値αが０であるということは、メイン画像とサブ画像との同一位置の画素の画素値はほぼ同一であるものとみなされ、視差が生じていないものと見なされる。そこで、メイン画像における注目画素と同一位置のサブ画像の画素とを合成する最適合成処理が選択される。尚、最適合成処理については、詳細を後述する。
　ステップＳ２０において、判定値αが０ではない場合、すなわち、判定値αが０＜α＜１である場合、処理は、ステップＳ２２に進む。
　ステップＳ２２において、視差判定部３６は、注目画素の合成方法を探索合成と最適合成とを判定値αを用いてブレンドするブレンド合成とし、２眼合成部３７に供給してブレンド合成処理を実行させて注目画素を合成する。
　すなわち、判定値αが０乃至１の範囲内であるということは、メイン画像における注目画素とサブ画像上の同一位置の画素とは、同一ではないので視差が生じてはいる疑いがあるが、比較的近い画素値であり、差分が視差であるかノイズであるかを判定できない画素である。そこで、探索合成画素と最適合成画素とを判定値αに応じてブレンドするブレンド合成処理が選択される。尚、ブレンド合成処理については、詳細を後述する。
　すなわち、判定値αの値に応じて、合成方法が設定されて、設定された合成方法で画素が合成される。
　ステップＳ２３において、視差判定部３６は、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１６に戻る。すなわち、ステップＳ１６乃至Ｓ２３の処理が、全ての画素が合成されるまで同様の処理が繰り返される。そして、ステップＳ２３において、全ての画素が合成されて、未処理の画素が存在しない場合、処理は、ステップＳ２４に進む。
　ステップＳ２４において、２眼合成部３７は、メイン画像とサブ画像とを合成した画素からなる合成画像を出力し、処理を終了する。
　以上の処理により、メイン画像およびサブ画像を合成することが可能となる。
　＜図１の画像処理装置における探索合成処理＞
　次に、図８のフローチャートを参照して、探索合成処理について説明する。
　ステップＳ４１において、２眼合成部３７は、メイン画像のSNR（Signal to Noise Ratio）を向上させるため、注目画素を中心とした、所定の範囲、例えば、3×3画素の範囲を探索してノイズリダクションを掛ける。より具体的には、以下の式（４）で示されるフィルタ処理を施す。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、Pm,n mは、メイン画像における注目画素（m，n）の画素信号であり、σは、ノイズ推定値であり、Pref mは新たな基準信号（注目画素の画素信号）である。
　式（４）で示される処理は、例えば、図９で示されるような、メイン画像の注目画素Pm,n mに対応する点線で囲まれる３×３画素の範囲にεフィルタ処理を施す処理である。
　ステップＳ４２において、２眼合成部３７は、メイン画像の注目画素の画素信号を基準画素信号として、サブ画像内の基準画素信号と類似した画素信号を探索し、探索された画素の画素信号と、メイン画像の注目画素の画素信号である基準画素信号とを合成することで、探索合成画素として出力する。より具体的には、以下の式（５）で示される演算により探索合成画素が求められる。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、Pm,n Sは、サブ画像における画素（m、n）の画素信号であり、σは、ノイズ推定値であり、Poutは探索合成画素の画素信号である。
　すなわち、探索合成処理は、メイン画像の画素を基準画素信号とし、サブ画像内の基準画素信号と類似した画素信号を双方の類似度を求めて探索し、探索した注目画素と類似したサブ画像の画素と、メイン画像の注目画素の画素信号と合成する処理である。尚、探索に当たり利用される類似度としては、例えば、画素間の類似度の重みに応じる加重平均や、注目画素を中心とした３×３画素の範囲における対応する画素間の差分絶対値和などである。
　このような合成処理が施されることにより、メイン画像に対してノイズリダクション掛けることが可能となる。サブ画像の信号がより高感度であれば、高いノイズリダクションの効果が期待できる。
　メイン画像における注目画素の画素信号と類似した画素信号と判定する基準は、視差判定部における評価値を求める処理と同じ手法であり、まずノイズの値が推定され、ノイズの推定値と、基準画素信号とサブ画像の画素との差分信号を比較することで有意性を判定する。
　視差のあるサブ画像を同一画素として合成した場合、アーティファクトや偽色が生じる可能性が高いため、視差のあるサブ画像の画素と合成され難いようにノイズ推定値を小さく計算されるように高解像度撮像部３１および高感度撮像部３３の光学系の特性を調整する。
　メイン画像とサブ画像の感度差が顕著に大きい場合、基準画素信号は相対的にノイズを多く含むことになり、基準画素信号とサブ画像の各画素の真値が等しいかどうか判断することが困難になる。そこで、ステップＳ４１の処理により、メイン画像のSNRを向上させることを目的に、事前処理としてメイン画素のみで3x3の範囲で探索しノイズリダクションが行われている。
　尚、注目画素と類似した画素を探索するサブ画像内の探索の初期位置は、メイン画像と同じ座標でもよいし、所定値分だけ移動させた位置を初期位置としてもよい。所定値としては、合焦面で視差０となるように算出した既出の視差量、または、メイン画像とサブ画像に共通して存在する特徴点（共通して存在するオブジェクトの同一の画素位置など）に対応する位置の視差量を利用するようにしてもよい。
　また、この時、サブ画像の探索範囲は、垂直方向と水平方向をパラメータで調整するようにしてもよく、例えば、視差が垂直方向に存在すれば、図１０の点線で囲まれた範囲で示されるように、垂直方向の探索範囲を広くし、視差が水平方向に存在すれば、図１１の点線で囲まれた範囲で示されるように水平方向の探索範囲を広くすることで、効率的な探索を実現することが可能となり、演算量を抑制することが可能となる。
　＜図１の画像処理装置による最適合成処理＞
　次に、図１２のフローチャートを参照して、最適合成処理について説明する。
　ステップＳ５１において、２眼合成部３７は、メイン画像における注目画素と対応する位置のサブ画像における画素とを合成するための、混合比βを、例えば、以下の式（６）を演算することにより算出する。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、σmainは、メイン画像のノイズ分散推定値であり、σsubは、サブ画像のノイズ分散推定値であり、βは、メイン画像における注目画素の画素信号と、サブ画像における注目画素に対応する位置の画素の画素信号との混合比である。
　ステップＳ５２において、２眼合成部３７は、以下の式（７）を演算することにより、算出した混合比βでメイン画像における注目画素の画素信号と、サブ画像における注目画素に対応する位置の画素の画素信号とを合成し、最適合成信号として算出する。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　最適合成は、合成後の信号のSNRが最大となるように合成する手法である。すなわち、最適合成は、メイン画像とサブ画像の視差やブラー、および飽和画素がないときの合成を想定している。つまり、サブ画像をメイン画像と入れ替えるような処理をしても、アーティファクトや偽色が生じない状況での合成である。
　また、最適合成処理は、繰り返しの演算がないため、探索合成処理と比較すると演算量を低減することが可能となる。また、予め視差判定処理により、最適合成処理で問題のある画素だけを探索合成処理で対応することができ、それ以外の画素については、最適合成処理により対応するようにすることで、全画素に探索合成処理を掛けずに済ますことが可能となるので、演算量を低減させることが可能になると共に、SNRを最大にして合成することが可能となる。
　＜図１の画像処理装置によるブレンド合成処理＞
　次に、図１３のフローチャートを参照して、ブレンド合成処理について説明する。
　ステップＳ７１において、２眼合成部３７は、メイン画像の注目画素について、サブ画像の対応する画素と探索合成処理により合成画素を生成する。尚、探索合成処理については、図８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
　ステップＳ７２において、２眼合成部３７は、メイン画像の注目画素について、サブ画像の対応する画素と最適合成処理により合成画素を生成する。尚、最適合成処理については、図１２のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
　ステップＳ７３において、２眼合成部３７は、判定値αを混合比として、探索合成処理により求められた画素信号と、最適合成処理により求められた画素信号とを混合することで合成し、ブレンド合成画素として出力する。より具体的には、２眼合成部３７は、例えば、以下の式（８）の演算により、判定値αを混合比として、探索合成処理により求められた画素信号と、最適合成処理により求められた画素信号とを合成する。
Figure JPOXMLDOC01-appb-M000008
 　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　ここで、OUTは、ブレンド合成信号であり、OUTsearchは、探索合成処理により求められた画素信号であり、OUToptは、最適合成処理により求められた画素信号であり、αは、判定値（0＜α＜1）である。
　尚、判定値αが切り替わる閾値となる、ノイズの下限値ｔｈ１、および上限値ｔｈ２が同値であれば、最適合成処理および探索合成処理が急峻に切り替わることとなり、実質的にブレンド合成処理なくなり、探索合成処理または最適合成処理のいずれかにより画素が合成されることになる。
　また、サブ画像をメイン画像に合わせて、視差量分だけ平行移動させる処理は、高解像度撮像部３１および高感度撮像部３３の光学系の視差量を得るための情報が得られる場合にのみなされるものであるので、平行移動部３５は、省略するようにしてもよい。
　＜２．第１の応用例＞
　以上においては、メイン画像およびサブ画像の入力を、いずれもBayer配列の画像としてきたが、例えば、図１４で示されるように、メイン画像およびサブ画像における各画素にＲＧＢの３色がそろった画像を利用するようにしてもよい。この場合、ＲＧＢの各画像に対して処理が必要となるため、演算量が増加するが、各画素についてＲＧＢの３色のそれぞれが揃った状態で処理がなされるため、よりメイン画像の高感度化を実現することが可能となる。
　また、以上の実施例は、感度が異なる構成でSNRの向上を目的に合成する手法について説明してきたが、感度が低い信号値の感度差分を補償して合成することで、HDR（ハイダイナミックレンジ）機能を実現することも可能となる。
　＜３．第２の応用例＞
　さらに、以上においては、メイン画像およびサブ画像の画角が同一の画像である場合について説明してきたが、必ずしも同一の画角からなる画像同士でなくてもよく、例えば、それぞれ広角画像および望遠画像とするようにしてもよい。
　すなわち、図１５で示されるように、高解像度撮像部３１にメイン画像として広角画像を入力し、高感度撮像部３３にサブ画像として望遠画像を入力するようにしてもよい。
　図１５は、高解像度撮像部３１にメイン画像として広角画像を入力し、高感度撮像部３３にサブ画像として望遠画像を入力するようにした画像処理装置１１の構成例を示している。尚、図１５の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。
　すなわち、図１５の画像処理装置１１において、図１の画像処理装置と異なるのは、視差判定部３６、および２眼合成部３７に代えて、視差判定部１０１、および２眼合成部１０２を備えている点である。
　視差判定部１０１は、基本的には視差判定部３６と同様の機能を備えているが、さらに、画角が異なるメイン画像たる広角画像とサブ画像たる望遠画像のうち、メイン画像とサブ画像との画角が重なる範囲の画素のみの視差判定を行う。
　２眼合成部１０２は、メイン画像たる広角画像とサブ画像たる望遠画像との画角が重なる領域において、サブ画像における高周波成分を抽出して、広角画像のうち、望遠画像の領域となる範囲に加算することで、広角画像であって、望遠画像に対応する領域を高精細な画像とする。
　＜図１５の画像処理装置による画像合成処理＞
　次に、図１６のフローチャートを参照して、図１５の画像処理装置による画像合成処理について説明する。尚、図１６のステップＳ９１乃至Ｓ９５，Ｓ９８，Ｓ９９，Ｓ１０１、Ｓ１０４，Ｓ１０５の処理は、図２のステップＳ１１乃至Ｓ１５，Ｓ１７，Ｓ１８，Ｓ２０，Ｓ２３，Ｓ２４の処理と同様であるので、適宜省略するものとする。
　すなわち、ステップＳ９６においては、視差判定部３６は、以降において画素単位での処理となるため、メイン画像の画素位置について、未処理の画素のいずれかを処理対象となる注目画素に設定する。
　ステップＳ９７において、視差判定部３６は、注目画素がサブ画像における画角内の画素であるか否かを判定する。すなわち、ここでは、メイン画像が広角画像であり、サブ画像が望遠画像であるため、サブ画像は、メイン画像の一部となる。このため、処理が可能なのは、メイン画像とサブ画像の画角がいずれも重なる領域となるため、それ以外の領域は、処理範囲から除外するため、注目画素がサブ画像の画角内の画素であるか否かを判定する。ステップＳ９７において、注目画素がサブ画像の画角内の画素である場合、処理は、ステップＳ９８に進む。
　ステップＳ９８において、判定値算出処理がなされることにより、メイン画像である注目画素と、対応する画素位置のサブ画像の画素との間に視差の有無を判定するための判定値αが算出されることになる。尚、判定値算出処理は、図６のフローチャートを参照して説明した処理と同様であるので、ここでは省略するものとする。
　そして、ステップＳ９９において、判定値αが１であり、視差があると判定された場合、処理は、ステップＳ１００に進む。
　ステップＳ１００において、２眼合成部１０１は、探索合成処理を実行し、注目画素に対して、サブ画像上の類似する画素を探索し、探索した画素の高周波成分を加算する。
　すなわち、判定値αが１であるということは、メイン画像上の注目画素と、同一位置のサブ画像の画素は、視差により同一ではないことになるため、サブ画像上で注目画素と類似する画素を探索し、探索されたサブ画像上の画素を用いた処理が必要となる。
　＜図１５の画像処理装置による探索合成処理＞
　ここで、図１７のフローチャートを参照して、図１５の画像処理装置１１による探索合成処理について説明する。
　ステップＳ１２１において、２眼合成部１０２は、メイン画像のSNR（Signal to Noise Ratio）を向上させるため、注目画素を中心とした、所定の範囲、例えば、3×3画素の範囲を探索してノイズリダクションを掛ける。この処理は、上述した図８におけるステップＳ４１の処理と同様である。
　ステップＳ１２２において、２眼合成部１０２は、サブ画像内であって、探索範囲内において、現在の注目画素と最も類似する画素を探索する。ここで、注目画素と最も類似するサブ画像上の画素とは、例えば、画素間の類似度の重みに応じる加重平均や、注目画素と探索画素とのそれぞれを中心とした３画素×３画素の範囲における画素間差分絶対値和などである。
　ステップＳ１２３において、２眼合成部１０２は、注目画素と最も類似度の高いサブ画像上の画素の高周波成分を抽出する。
　ステップＳ１２４において、２眼合成部１０２は、注目画素の画素値に、抽出した高周波成分を加算して合成結果として記憶する。
　すなわち、このような処理により、メイン画像のうち、視差があるとみなされた画素に対して、サブ画像内で類似度の高い画素が探索されることにより、視差による影響を低減して、サブ画像の高周波成分をメイン画像におけるサブ画像と同一の画角領域の画素に加算することが可能となる。
　ここで、図１６の説明に戻る。
　一方、ステップＳ１０１において、判定値αが０である場合については、メイン画像上の注目画素と、対応するサブ画像上の画素に視差が生じていないとみなされることになるので、処理は、ステップＳ１０２に進み、最適合成処理がなされて、対応する位置のサブ画像における高周波成分が注目画素の画素値に加算される。
　＜図１５の画像処理装置による最適合成処理＞
　ここで、図１８のフローチャートを参照して、図１５の画像処理装置による最適合成処理について説明する。
　ステップＳ１４１において、２眼合成部１０２は、メイン画像における注目画素と対応するサブ画像上の位置の画素の高周波成分を抽出する。
　ステップＳ１４２において、２眼合成部１０２は、メイン画像における注目画素の画素値に抽出した、サブ画像上の注目画素に対応する位置の画素の高周波成分を加算して記憶する。
　以上の処理により、メイン画像上の注目画素と対応する位置のサブ画像上の画素は、視差がないものとみなされて、サブ画像上の画素の高周波成分が、そのまま注目画素に加算されることになる。
　ここで、図１６のフローチャートの説明に戻る。
　さらに、判定値αが０乃至１の範囲内である場合、ステップＳ１０３において、ブレンド合成処理が実行されて、探索合成処理で高周波成分が加算された画素と、最適合成処理で高周波成分が加算された画素とが、判定値αを用いた混合比でブレンドされる。尚、この処理については、図１３のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
　そして、ステップＳ９７において、注目画素のうち、サブ画像の画角外であるとみなされた場合、処理は、ステップＳ１０４に進む。すなわち、この場合、注目画素については、処理が施されないまま記憶される。そして、メイン画像の全画素について処理がなされると、ステップＳ１０５において、２眼合成部１０２により記憶された画素値からなる画像が出力される。
　この結果、広角画像たるメイン画像のうち、望遠画像たるサブ画像の領域内に、サブ画像の高周波成分が加算されることになるので、広角画像であって、かつ、望遠画像に対応する領域を高精細な画像とすることが可能となる。
　尚、メイン画像とサブ画像の組み合わせはこれ以外のものであってもよく、例えば、メイン画像をBayer画像とし、サブ画像をモノクロ画像とするようにしてもよいし、また、メイン画像をBayer画像とし、サブ画像を近赤外線画像とするようにしてもよい。
　すなわち、メイン画像をBayer配列のセンサにより撮像された画像として、サブ画像をモノクロのセンサにより撮像された画像にすることで、高解像度な合成結果の取得が可能になる。この構成の場合、光学系をメイン画像とサブ画像とで同一にすることができるため、全画角において合成することが可能である。
　モノクロ画像のセンサはBayer配列のセンサと比べると、輝度が高解像度である点と感度がよい点が特徴である。結果として、合成画像は、高解像度の効果とSNRを向上させるようにすることができる。
　また、メイン画像をBayer配列のセンサ、サブ画像の近赤外画像に感度を持つセンサにすることで、可視光では撮影することができない画像をメイン画像に合成することが可能である。血中のヘモグロビンを撮像することが可能となる。
　視差がある領域と視差がない領域をあらかじめ切り分けることで、視差有無に応じて処理を切り替え、演算量の削減を図ることが可能となる。
　また、メイン画像とサブ画像の探索の演算範囲を、視差方向に垂直な方向は狭く、平行な方向は広く範囲を持つことで、演算量を抑えつつ、高画質化することが可能となる。
　注目する領域の視差を最小にすることによって、特性を最大化して合成することが可能となる。
　さらに、以上においては、画素単位での視差の有無を求める判定値を求める例について説明してきたが、視差の有無は、画素単位でなくてもよく、例えば、画像全体を複数の画素単位の領域に分割し、分割された領域毎に視差の有無を求め、判定値を求めるようにし、領域単位で合成するようにしてもよい。
　また、以上においては、平行移動部３５における動作は、高解像度撮像部３１および高感度撮像部３３の合焦面までの距離といった光学特性など視差を求めるのに必要な情報を外部から取得し、それぞれの合焦面までの距離、配置、光学特性、および解像度に応じて求められる視差量分だけ平行移動させる例について説明してきたが、視差を低減できるようにする平行移動であれば、他の方法でもよく、例えば、一方の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、２の画像の共通する特徴点間のズレとして求められる視差量、２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ平行移動して視差を低減させるようにしてもよい。
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図１９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　第１の画像を撮像する第１の撮像部と、
　第２の画像を撮像する第２の撮像部と、
　前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
　前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む
　画像処理装置。
＜２＞　前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸が平行である
　＜１＞に記載の画像処理装置。
＜３＞　前記第１の画像、および前記第２の画像は、画像特性が異なる
　＜１＞または＜２＞に記載の画像処理装置。
＜４＞　前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なる
　＜３＞に記載の画像処理装置。
＜５＞　前記視差量判定部は、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定する
　＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞　前記合成部は、
　　前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成し、
　　前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索し、探索した画素と合成する
　＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞　前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含み、
　前記視差判定部は、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定する
　＜１＞乃至＜６＞のいずれかに記載の画像処理装置。
＜８＞　前記特性調整部は、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整する
　＜１＞乃至＜７＞のいずれかに記載の画像処理装置。
＜９＞　前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含み、
　前記平行移動部は、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減する
　＜１＞乃至＜８＞のいずれかに記載の画像処理装置。
＜１０＞　前記平行移動部は、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動する
　＜９＞に記載の画像処理装置。
＜１１＞　第１の画像を撮像し、
　第２の画像を撮像し、
　前記第１の画像および前記第２の画像の視差の有無を判定し、
　前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む
　画像処理方法。
＜１２＞　第１の画像を撮像する第１の撮像部と、
　第２の画像を撮像する第２の撮像部と、
　前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
　前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させる
　プログラム。
　１１　画像処理装置，　３１　高解像度撮像部，　３２　特性変換部，　３３　高感度撮像部，　３４　特性変換部，　３５　平行移動部，　３６　視差判定部，　３７　２眼合成部

Claims (12)

  1. 　第１の画像を撮像する第１の撮像部と、
    　第２の画像を撮像する第２の撮像部と、
    　前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
    　前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む
    　画像処理装置。
  2. 　前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸が平行である
    　請求項１に記載の画像処理装置。
  3. 　前記第１の画像、および前記第２の画像は、画像特性が異なる
    　請求項１に記載の画像処理装置。
  4. 　前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なる
    　請求項３に記載の画像処理装置。
  5. 　前記視差量判定部は、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定する
    　請求項１に記載の画像処理装置。
  6. 　前記合成部は、
    　　前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成し、
    　　前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索し、探索した画素と合成する
    　請求項１に記載の画像処理装置。
  7. 　前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含み、
    　前記視差判定部は、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定する
    　請求項１に記載の画像処理装置。
  8. 　前記特性調整部は、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整する
    　請求項１に記載の画像処理装置。
  9. 　前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含み、
    　前記平行移動部は、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減する
    　請求項１に記載の画像処理装置。
  10. 　前記平行移動部は、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動する
    　請求項９に記載の画像処理装置。
  11. 　第１の画像を撮像し、
    　第２の画像を撮像し、
    　前記第１の画像および前記第２の画像の視差の有無を判定し、
    　前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む
    　画像処理方法。
  12. 　第１の画像を撮像する第１の撮像部と、
    　第２の画像を撮像する第２の撮像部と、
    　前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
    　前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させる
    　プログラム。
PCT/JP2016/077403 2015-10-02 2016-09-16 画像処理装置、および画像処理方法、並びにプログラム WO2017057047A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/761,374 US10621711B2 (en) 2015-10-02 2016-09-16 Image processing device and image processing method for synthesizing plurality of images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015197209A JP2017069926A (ja) 2015-10-02 2015-10-02 画像処理装置、および画像処理方法、並びにプログラム
JP2015-197209 2015-10-02

Publications (1)

Publication Number Publication Date
WO2017057047A1 true WO2017057047A1 (ja) 2017-04-06

Family

ID=58423566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077403 WO2017057047A1 (ja) 2015-10-02 2016-09-16 画像処理装置、および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10621711B2 (ja)
JP (1) JP2017069926A (ja)
WO (1) WO2017057047A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法
JP2019201301A (ja) * 2018-05-16 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 撮像システム
IL264032B (en) * 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
JPWO2020189223A1 (ja) 2019-03-15 2020-09-24
CN114269218A (zh) * 2019-08-29 2022-04-01 奥林巴斯株式会社 图像处理方法和图像处理装置
WO2021253166A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating target image data and electrical device
KR20220021728A (ko) * 2020-08-14 2022-02-22 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072757A (ja) * 2004-09-02 2006-03-16 Toyota Motor Corp 物体検出装置
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2011254170A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 撮像装置および撮像方法
JP2012124622A (ja) * 2010-12-07 2012-06-28 Sharp Corp 撮像装置
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
JP2014026641A (ja) * 2012-06-20 2014-02-06 Canon Inc 画像処理装置、その制御方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JP2004328137A (ja) 2003-04-22 2004-11-18 Konica Minolta Photo Imaging Inc 画像撮像装置、画像処理装置及び画像処理プログラム
TWI336810B (en) * 2006-12-21 2011-02-01 Altek Corp Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device
EP3328048B1 (en) * 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2010157863A (ja) 2008-12-26 2010-07-15 Fujifilm Corp 複眼カメラ及び画像処理方法
EP2533541A4 (en) * 2010-02-02 2013-10-16 Konica Minolta Holdings Inc STEREO CAMERA
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
CN101984670B (zh) * 2010-11-16 2013-01-23 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US8957973B2 (en) * 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10291899B2 (en) * 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072757A (ja) * 2004-09-02 2006-03-16 Toyota Motor Corp 物体検出装置
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2011254170A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 撮像装置および撮像方法
JP2012124622A (ja) * 2010-12-07 2012-06-28 Sharp Corp 撮像装置
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
JP2014026641A (ja) * 2012-06-20 2014-02-06 Canon Inc 画像処理装置、その制御方法、およびプログラム

Also Published As

Publication number Publication date
US10621711B2 (en) 2020-04-14
US20180268531A1 (en) 2018-09-20
JP2017069926A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
WO2017057047A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20230419437A1 (en) Systems and methods for fusing images
US10182216B2 (en) Extended color processing on pelican array cameras
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
US8436910B2 (en) Image processing apparatus and image processing method
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US10567646B2 (en) Imaging apparatus and imaging method
JP7136080B2 (ja) 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
JP6326180B1 (ja) 画像処理装置
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10200593B2 (en) Image capturing apparatus and control method thereof
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JPWO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8542312B2 (en) Device having image reconstructing function, method, and storage medium
US20160094822A1 (en) Imaging device, image processing device, imaging method, and image processing method
WO2022226702A1 (zh) 图像处理方法、处理装置、电子设备和存储介质
JP2018148513A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
US20160155213A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US20230222765A1 (en) Image processing device, image processing method, and storage medium
CN112565588A (zh) 图像处理设备、图像处理方法和存储介质
JP2017201762A (ja) 画像処理装置、画像処理方法、プログラム
JP2011211436A (ja) 撮像画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15761374

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851221

Country of ref document: EP

Kind code of ref document: A1