WO2011078244A1 - 多眼撮像装置および多眼撮像方法 - Google Patents

多眼撮像装置および多眼撮像方法 Download PDF

Info

Publication number
WO2011078244A1
WO2011078244A1 PCT/JP2010/073175 JP2010073175W WO2011078244A1 WO 2011078244 A1 WO2011078244 A1 WO 2011078244A1 JP 2010073175 W JP2010073175 W JP 2010073175W WO 2011078244 A1 WO2011078244 A1 WO 2011078244A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
area
imaging
distance information
Prior art date
Application number
PCT/JP2010/073175
Other languages
English (en)
French (fr)
Inventor
紫村　智哉
田中　誠一
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201080057930.0A priority Critical patent/CN102668537B/zh
Priority to EP10839474.3A priority patent/EP2518995B1/en
Priority to US13/518,294 priority patent/US8885067B2/en
Publication of WO2011078244A1 publication Critical patent/WO2011078244A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present invention relates to a multi-eye imaging device and a multi-eye imaging method.
  • This application claims priority based on Japanese Patent Application No. 2009-291624 filed in Japan on December 24, 2009, the contents of which are incorporated herein by reference.
  • An image pickup apparatus represented by a digital camera includes a lens optical system that forms an image and an image pickup element that photoelectrically converts the formed light and outputs an electrical signal.
  • an electronic device such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used. These image sensors photoelectrically convert the light amount distribution formed on the imaging surface and record it as a photographed image.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the imaging lens device includes a lens system 2001, a lens system having the same number of variable focus type liquid crystal lens arrays 2002, an imaging element 2003, an arithmetic device 2004, and a liquid crystal driving device 2005. It is composed of The image sensor 2003 captures an optical image formed through this lens system.
  • the arithmetic device 2004 performs image processing on a plurality of images obtained by the imaging element 2003 to reconstruct an entire image.
  • the liquid crystal driving device 2005 detects focus information from the arithmetic device 2004 and drives the liquid crystal lens array 2002. With this configuration, it is possible to realize a small and thin imaging lens device with a short focal length.
  • the thin color camera 200 includes a lens 220, a color filter 250, and a detector array 240 as shown in FIGS. 20A and 20B.
  • the lens 220 includes four lenses 220a to 220d.
  • the color filter 250 includes four color filters 250a to 250d.
  • the color filter 250 includes a filter 250a that transmits red light (R), filters 250b and 250c that transmit green light (G), and a filter 250d that transmits blue light (B).
  • the detector array 240 captures red, green, and blue images. With this configuration, a high-resolution composite image is formed from two green images having high sensitivity in the human visual system, and a full-color image can be obtained by combining red and blue.
  • the corresponding point of the standard image is used as the composite image generation data.
  • a compound eye imaging device that does not use corresponding points of a reference image as composite image generation data is known (for example, see Patent Document 3).
  • the compound eye imaging device includes an occlusion area determination unit that determines whether or not there is an occlusion area in which a corresponding point cannot be obtained in a process of synthesizing a high-definition image from two images of a left imaging system and a right imaging system. Prepare.
  • Patent Document 3 discloses a process in which one image is not used as composite image data in the occlusion area. According to this configuration, it is possible to omit the processing procedure of the region where the occlusion occurs and to suppress image quality deterioration due to an incorrect response.
  • the compound-eye imaging device of Patent Document 3 uses a compound-eye imaging device composed of two left and right cameras, but the number of cameras is not limited to two, and it is possible even in the case of three or more. However, when three or more cameras are provided, the corresponding points are searched for by all the camera pairs, so that the amount of processing increases by a multiple of the number of camera pairs.
  • Patent Document 3 as a well-known search method for corresponding points, the similarity between a block surrounding a certain point in the reference image and the block in the reference image is compared, and the central pixel of the block having the highest similarity is determined as the corresponding point.
  • the template matching detected as is described.
  • this detection method not only increases the amount of processing as the resolution of the camera increases, but also detects corresponding points with accuracy exceeding the camera resolution, so-called subpixel accuracy, in order to synthesize high-definition images.
  • the corresponding point detection process has a significantly larger processing amount than the high-definition synthesis process.
  • the corresponding point detection processing amount increases accordingly. For example, in the case of moving image shooting, it is necessary to detect corresponding points within the time of one pixel clock, and there is a problem that it is difficult to detect corresponding points with high accuracy among all the cameras within this time.
  • one pixel clock is 0.007 ⁇ s in 1080 / 60P high-definition video shooting.
  • the present invention has been made in view of such circumstances, and in high-definition synthesis processing using three or more cameras, an occlusion area or correspondence that could not be searched for corresponding points without significantly increasing the amount of processing.
  • An object of the present invention is to provide a multi-view imaging apparatus and a multi-view imaging method capable of realizing image quality degradation suppression in a point detection error region.
  • the overall high-definition composite image looks great by directing the areas that could not be refined due to the failure to search for corresponding points to be close to the visual psychological appearance seen with both human eyes.
  • An object of the present invention is to provide a multi-eye imaging apparatus and a multi-eye imaging method capable of improving the quality.
  • a multi-view imaging device includes a plurality of imaging units that capture an image, an output video of a first imaging unit serving as a reference among the imaging units, and the first imaging.
  • a distance calculation unit that calculates distance information from an output video of at least one imaging unit of the plurality of imaging units different from the unit, and a distance calculation unit that calculates distance information in the distance calculation unit.
  • An output video of the first imaging unit for a multi-view video synthesis processing unit that generates a composite video from output video of the imaging units of the plurality of systems based on the information, and an area for which distance information could not be calculated by the distance calculation unit A monocular video composition processing unit for generating a composite video from the first imaging unit, and the distance calculation unit from an output video of the first imaging unit and an output video of a second imaging unit different from the first imaging unit. The first to the subject If there is an area where the first distance information could not be calculated, at least once for the areas where the first distance information could not be calculated, Among them, the distance information to the subject is calculated again from the output video of the imaging unit not used for the distance calculation and the output video of the first imaging unit.
  • the monocular video composition processing unit of the multi-lens imaging device generates the composite image by reducing the luminance of the area where the distance information could not be calculated by the distance calculation unit at a predetermined rate. May be.
  • the monocular image composition processing unit of the multi-lens imaging device may calculate the luminance of the area where the distance information cannot be calculated by the distance calculation unit in the area adjacent to the area.
  • the composite image may be generated with a lower brightness value.
  • the monocular image composition processing unit of the multi-lens image pickup device uses the distance calculation unit to calculate the luminance of an area on the far side adjacent to the area.
  • the synthesized image may be generated so as to coincide with the brightness value of.
  • the monocular image composition processing unit of the multi-lens imaging device reduces the saturation of the area in which the distance information cannot be calculated by the distance calculation unit at a predetermined rate, and reduces the composite image. It may be generated.
  • the monocular image composition processing unit of the multi-lens image pickup device uses the distance calculation unit to calculate the saturation of an area in which distance information cannot be calculated, and an area in front of the area.
  • the synthesized image may be generated at a lower saturation.
  • the monocular image composition processing unit of the multi-lens imaging device has a saturation of a region where distance information cannot be calculated by the distance calculation unit on the back side adjacent to the region.
  • the composite image may be generated in accordance with the saturation of the region.
  • the monocular video composition processing unit of the multi-lens imaging device may generate the composite image while suppressing a change in luminance of a region where the distance information cannot be calculated by the distance calculation unit. .
  • the multi-view imaging method is different from the output image of the first imaging unit serving as a reference among the imaging systems of a plurality of systems that capture images, and the first imaging unit.
  • the distance information to the subject is calculated from the output video of at least one of the plurality of image pickup units, and the output video of the plurality of image pickup units based on the distance information for the area where the distance information can be calculated.
  • the output of the first imaging unit is generated when the synthesized image is generated from the output image of the first imaging unit and the distance information is calculated.
  • the distance information to the subject is calculated from the video and the output video of the second imaging unit different from the first imaging unit, and there is an area where the first distance information cannot be calculated, Can't calculate the first distance information At least once, the distance information to the subject is calculated again from the output video of the imaging unit that is not used for the distance calculation among the imaging units of the plurality of systems and the output video of the first imaging unit. .
  • 1 is an overview diagram of a multi-eye imaging device according to a first embodiment of the present invention.
  • 1 is an overall block diagram of a multi-view imaging apparatus according to a first embodiment. It is a block diagram of the distance calculation part of the multiview imaging device in a 1st embodiment. It is a schematic diagram which shows the corresponding point search process of the multiview imaging device in 1st Embodiment. It is a schematic diagram which shows the corresponding point search process of the multiview imaging device in 1st Embodiment. It is a schematic diagram which shows the corresponding point search process of the multiview imaging device in 1st Embodiment. It is a schematic diagram which shows the corresponding point search process of the multiview imaging device in 1st Embodiment. It is a schematic diagram which shows the corresponding point search process of the multiview imaging device in 1st Embodiment.
  • FIG. 1 is a diagram showing an overview of a multi-eye imaging device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of the multi-view imaging apparatus according to the embodiment.
  • the multiview imaging apparatus 10 according to the present embodiment includes four systems of imaging units 101, 102, 103, and 104. Each of the imaging units 101, 102, 103, 104 includes an imaging lens 11 and an imaging element 12.
  • the imaging lens 11 forms an image of light from the subject on the imaging device 12, and the formed image is photoelectrically converted by the imaging device 12 such as a CMOS imaging device, for example, as video signals V1, V2, V3, and V4. Is output.
  • the video signals V1, V2, V3, and V4 output from each of the four image pickup units 101, 102, 103, and 104 are captured by the four image pickup units 101, 102, 103, and 104, respectively.
  • the video signals V1 and V2 output from the two imaging units 101 and 102 among the four systems of video signals V1, V2, V3, and V4 are also input to the distance calculation unit 21 simultaneously.
  • the distance calculation unit 21 performs corresponding point search from the two input video signals V1 and V2, calculates parallax data D1 between the two imaging units from the search result, and outputs the parallax data D1 to the video processing unit 20.
  • the video processing unit 20 synthesizes the input video signals V1, V2, V3, and V4 based on the parallax data D1 output from the distance calculation unit 21, and outputs a high-definition video V5.
  • the distance calculation unit 21 shown in FIG. 2 calculates parallax data D1 from an image V1 (hereinafter referred to as a reference image) captured by the imaging unit 101 illustrated in FIG. 2 and an image V2 (hereinafter referred to as a reference image) captured by the imaging unit 102.
  • a reference image an image captured by the imaging unit 101 illustrated in FIG. 2
  • an image V2 hereinafter referred to as a reference image
  • the two coordinate conversion units 31 and 32 parallelize the epipolar line by geometrically converting (coordinate conversion) both images for the purpose of placing the image plane of the base image and the reference image on the same plane.
  • the camera parameter 30 holds in advance an internal parameter such as a focal length and a lens distortion parameter unique to the imaging unit 101 and an external parameter representing a positional relationship between the four imaging units 101, 102, 103, and 104. Details of the camera parameters will be described later.
  • the coordinate conversion unit 32 holds camera parameters specific to the imaging unit 102 (not shown).
  • the corresponding point search unit 33 searches for corresponding pixels between the reference image and the reference image in which the epipolar lines are parallel, and obtains and outputs parallax data D1 of the reference image with respect to the reference image.
  • FIGS. 4 and 5 show image planes after the epipolar line parallelization of the reference image P1 and the standard image P2, respectively.
  • a method of moving the target pixel on the standard image P2 will be described with reference to the diagram of the standard image P2 shown in FIG.
  • a block centering on the pixel of interest on the reference image P2 (hereinafter referred to as the block of interest) is sequentially moved from the upper left of the image (search start block B1) in the right line direction for each pixel.
  • search start block B1 the upper left of the image
  • search start block B1 search start block B1
  • the search range (search range R1) is a value determined by the maximum parallax of the photographed subject, and the shortest distance to the subject for which the parallax data D1 can be calculated is determined by the set search range.
  • the search for the reference attention block B4 described above is performed for each reference attention block B3 on the reference image P2 shown in FIG.
  • FIG. 7 shows a reference target block B3, which represents a block having a size of horizontal M pixels ⁇ vertical N pixels (M and N are predetermined natural numbers) centered on the target pixel on the reference image P2.
  • FIG. 6 shows the reference attention block B4, which represents a block of size of horizontal M ⁇ vertical N around the target pixel on the reference image P1.
  • the pixel value of the coordinates (i, j) when the horizontal direction is i and the vertical direction is j Are R (i, j) and T (i, j), respectively.
  • SAD Sud of Absolute Difference
  • SAD calculates the absolute value of the difference between R (i, j) and T (i, j) for all the pixels of the block as in the similarity determination formula shown in equation (1), and sums them (SSAD) It is.
  • the reference attention block B4 similar to the reference attention block B3 is determined by referring to the reference attention block B4 having the smallest SSAD value among the reference attention blocks B4 in the search range R1 on the reference image P1 shown in FIG. Are determined to be similar to the reference block of interest B3.
  • the method of calculating the parallax data D1 is performed for each processing unit.
  • the processing method according to the sequence of input pixels is described with reference to the processing flows shown in FIGS. 4 to 7 and FIG. To do.
  • the reference target block B3 is set to the head (search start block B1) of the reference image P2 (FIG. 5) (step S900).
  • all pixel values of the reference target block B3 are read from the reference image P2 (FIG. 5) (step S901).
  • the reference block of interest B4 is set to the top (reference image P1 upper left) of the reference image P1 (FIG. 4) (step S902).
  • all pixel values of the reference target block B4 are read from the reference image P1 (FIG. 4) (step S903).
  • the SSAD values of the pixel values of the read reference attention block B3 and reference attention block B4 are calculated according to the equation (1) and stored (step S904).
  • step S905 it is determined whether or not the search range R1 has ended. If the search range R1 has not ended, the reference block of interest B4 is moved by one pixel in the right line direction (step S906), and step S903 and step again. The process of S904 is performed. The processing from step S903 to step S906 is repeated within the search range R1, and after calculation of all the SSAD values within the search range R1, the reference attention block B3 having the smallest SSAD value is detected. The difference between the center coordinate of the reference target block B3 (target pixel on the reference image P2) and the detected center coordinate of the reference target block B4 (center coordinate on the reference image P1) is the parallax of the target pixel on the standard image P2. Data D1 is stored and stored (step S907).
  • step S908 it is determined whether or not the process is completed. If the process is not completed, the reference target block B3 is moved by one pixel in the right line direction (step S909), and the process from step S901 to step S907 is performed again. I do. The processing from step S901 to step S909 is repeated until the reference target block B3 becomes the search end block B2 of the reference image P2 (FIG. 5), and the parallax data D1 of each pixel on the reference image P2 is obtained.
  • the reference attention block B4 indicating the smallest value is not necessarily a correct similar block.
  • An erroneous detection may occur when there is no pattern (texture) in the reference block of interest B3, or when the search area on the reference image P1 is an occlusion area.
  • there are a parallax calculation error detection method and an occlusion detection method there is a method described in Patent Document 3 as an example of these methods.
  • Various methods are already known as methods for reducing erroneous detection of similar blocks, and therefore will not be described in detail.
  • step S907 these search errors are detected, and for the target pixel on the reference image determined to be a parallax calculation error or occlusion, the parallax value is stored as 0, or a predetermined unique value is stored as the parallax data D1.
  • a pixel on the reference image similar to the target pixel on the base image is searched using the SAD similarity evaluation function.
  • the parallax data may be obtained using any technique as long as it is a technique for searching for similar pixels on the standard image and the reference image.
  • the imaging processing unit 20 includes four correction processing units 401-1 to 401-4, a monocular video composition processing unit 403, a multi-view video composition processing unit 404, and a high resolution composition processing unit 405.
  • Each of the four alignment correction processing units 401-1 to 401-4 includes a storage device that stores the camera parameter 402, and this is illustrated in one alignment correction processing unit 401-1.
  • the video signal V1 (reference image) of the imaging device 101 is added to the alignment correction processing unit 401-1, and the video signals V2, V3, and V4 of the imaging devices 102, 103, and 104 are respectively aligned in the same manner.
  • the correction processing units 401-2, 401-3, and 401-4 are added.
  • the output of the alignment correction processing unit 401-1 is applied to the monocular video composition processing unit 403.
  • the outputs of the alignment correction processing units 401-1 to 401-4 are applied to the multi-view video composition processing unit 404.
  • the output of the monocular video synthesis processing unit 403 and the output of the multi-eye video synthesis processing unit 404 are synthesized into the high-definition video V5 by the high resolution synthesis processing unit 405 and output to the outside of the video processing unit 20.
  • the alignment correction processing units 401-1 to 401-4 use the parallax data D1 output from the distance calculation unit 21 (FIG. 3) and the camera parameters 402 indicating the orientation and orientation of each imaging unit and the state of lens distortion. Based on this, alignment is performed so that the images of the imaging units 101, 102, 103, and 104 capture the same subject position.
  • the monocular image composition processing unit 403 uses the distance calculation unit 21 as a reference for an area in which the parallax data D1 cannot be calculated by the distance calculation unit 21 due to occlusion, for example, an area where the parallax value is 0 or a predetermined unique value.
  • the video signal captured by the imaging unit 101 is synthesized.
  • the multi-view video composition processing unit 404 performs high-definition composition on the area where the parallax data D1 can be calculated by the distance calculation unit 21 using the video signals V1 to V4 of the four imaging units 101, 102, 103, and 104. .
  • the camera parameters 402 indicating the orientation, orientation, and lens distortion state of each imaging unit 101 to 104 are calculated from images obtained by capturing a checkered checker pattern with a known pattern shape several times while changing the orientation and angle. Can be obtained by camera calibration.
  • the camera parameter 402 includes an external parameter and an internal parameter.
  • the external parameters are composed of a total of six parameters including a three-axis vector of yaw, pitch, and roll indicating the posture of the camera and a three-axis translation vector indicating a translation component.
  • the internal parameters are composed of five parameters: the image center position, the coordinate angle and aspect ratio assumed on the image sensor, and the focal length.
  • the imaging unit 101 is used as a reference imaging unit, and the images of the other imaging units 102, 103, and 104 are combined with the images of the imaging unit 101.
  • the shift amount calculated from the parallax data D1 up to the subject, the interval between the reference imaging unit 101 and the other imaging units 102, 103, and 104 (camera baseline length) is used as a translation amount that is an external parameter of the camera parameter.
  • a geometric correction process is performed using the added parameters. Accordingly, the images of the four imaging units 101, 102, 103, and 104 can be aligned so that the same point of the subject is captured at the same position (pixel).
  • the horizontal axis indicates the spread (size) of the space
  • the vertical axis indicates the light amplitude (light intensity).
  • Reference numeral 40a indicates the light intensity distribution of the actual image.
  • Reference numerals 40b and 40c in FIG. 10 are pixels of the imaging unit 101 and the imaging unit 102, respectively, and the relative positional relationship is shifted by an offset indicated by an arrow 40d.
  • the image sensor integrates the light intensity in units of pixels, when the image of the contour of the subject indicated by reference numeral 40 a is captured by the image sensor 101, a video signal having a light intensity distribution indicated by reference numeral 40 e is obtained. When a picture is taken, a video signal having a light intensity distribution indicated by reference numeral 40f is obtained. By synthesizing these two images, a high-definition image close to the actual contour indicated by reference numeral 40g can be reproduced.
  • FIG. 11 shows an example in which high-resolution composition is performed using the images obtained by the four imaging units 101, 102, 103, and 104, respectively.
  • the resolution of the four imaging units 101, 102, 103, and 104 is VGA (640 ⁇ 480 pixels), and high-resolution synthesis into Quad-VGA pixels (1280 ⁇ 960 pixels) that is four times the number of pixels.
  • VGA 640 ⁇ 480 pixels
  • high-resolution synthesis into Quad-VGA pixels (1280 ⁇ 960 pixels
  • FIG. 11 four pixels adjacent to Quad-VGA pixels (1280 ⁇ 960 pixels) allocate and synthesize pixels captured by different imaging units, thereby obtaining a high-resolution image. Is possible.
  • the pixels on the top line of the image P11 captured by the imaging unit 101 are denoted as G11, G12, G13,.
  • the pixels in the second line are G14, G15, G16,.
  • the pixels on the third line are G17, G18, G19,.
  • the pixels in the uppermost line of the image P12 imaged by the imaging unit 102 are G21, G22, G23,.
  • the pixels in the second line are G24, G25, G26,.
  • the pixels on the third line are G27, G28, G29,.
  • symbols G31 to G39 and G41 to G49 as shown in FIG. 11 are added to the pixels of the images P13 and P14 captured by the imaging units 103 and 104, respectively.
  • the images taken by the imaging devices 101 and 102 such as G11, G21, G12, G22, G13, G23,.
  • the pixels on the top line of the pixels P11 and P12 are arranged in a nested manner.
  • the second line is the top line of the pixels of the images P13 and P14 captured by the image capturing apparatuses 103 and 104, such as G31, G41, G32, G42, G33, G43,. Nested pixels.
  • FIG. 12 a case will be described in which a front area 61 (cube) arranged in front of the back area 62 is captured by the imaging units 101 and 102.
  • An outline of the high-definition image 65 after the high-resolution composition processing is shown in the upper part of FIG.
  • an occlusion area 63 that is visible in the imaging unit 101 but hidden by the imaging unit 102 is generated in the parallax data 64 calculated by the distance measuring unit 21.
  • the occlusion area 63 is shown hatched with a downward slanting diagonal line.
  • video processing using the image of the imaging unit 101 serving as a reference is performed in the monocular video synthesis processing unit 403 illustrated in FIG. 9, and distances can be calculated in other regions.
  • the high resolution composition processing described with reference to FIGS. 10 and 11 is performed.
  • Reference numeral 65 shown in FIG. 13 indicates a high-definition image generated by the video processing unit 20.
  • three graphs denoted by reference numerals 67, 68, and 69 indicate changes in luminance on the straight line 66 of the high-definition image 65.
  • the vertical axes of the three graphs 67, 68, and 69 indicate the luminance, and the horizontal axis indicates the position.
  • the horizontal axis continues from the left to the front area 61, the occlusion area 63, and the back area 62. Since the parallax data 64 can be calculated for the back area 62 and the near area 61, the high-resolution composition processing described with reference to FIGS. 10 and 11 is performed by the four imaging units 101, 102, 103, and 104.
  • a luminance curve C0 indicated by a dotted line in the graph 67 using the image of the imaging unit 101 as it is is applied.
  • the luminance curve C0 is brighter than the luminance of the near area 61, as indicated by an arrow A1 in the graph 67, the luminance value is lowered and corrected to the luminance curve indicated by C1 (luminance reduction correction processing).
  • the luminance of the occlusion area 63 can be synthesized darker than the front area 61. Therefore, it is possible to effectively produce an appearance suitable for brightness perception due to depth in human visual psychology, such as darkness due to occlusion.
  • the monocular video composition process for changing the luminance has been described, but a process in which the luminance is replaced with saturation is also possible. That is, as shown in FIG. 13, color perception due to depth in human visual psychology such that the color of the occlusion area 63 is lower than the saturation of the front area 61 so that the color appears lighter than the area in front of the occlusion. It is possible to effectively produce an appearance suitable for the. Further, by matching the saturation of the occlusion area 63 with the saturation of the front side area 61, the occlusion area and the back side area to be continued to maintain the continuity of the saturation and visually It can be synthesized so that it looks uncomfortable.
  • a pixel to be subjected to video processing after the operation starts is designated (step S800). Subsequently, it is determined whether or not the designated pixel is the occlusion region 63 (step S801). When it is not the occlusion area 63, that is, when the parallax data 64 can be calculated, the alignment correction process using the camera parameters and the parallax data 64 is executed for all the images of the four imaging units 101, 102, 103, and 104 (step S802). . Thereafter, the multi-view video composition processing unit 404 performs multi-view video composition processing (step S803).
  • correction processing is performed assuming that the parallax data 64 is 0 for the video of the imaging unit 101 (step S804). Then, a monocular video synthesis process (luminance reduction correction process, splice correction process, and smoothing correction process) is executed (step S805). The above process is repeated until the imaging process is completed (step S806).
  • FIG. 15 is a block diagram illustrating a configuration of a multi-view imaging apparatus according to the second embodiment.
  • FIG. 16 is a block diagram showing the configuration of the distance calculation unit 151 shown in FIG.
  • the multi-view imaging apparatus shown in FIG. 15 is different from the multi-view imaging apparatus 10 shown in FIG. 2 in that a distance calculation unit 151 is provided instead of the distance calculation unit 21.
  • the parallax data D11 output from the distance calculation unit 151 is sent to the video processing unit 20 shown in FIG.
  • the video processing unit 20 shown in FIG. 15 is the same as the video processing unit 20 shown in FIG. 9 except that the parallax data D1 of the video processing unit 20 shown in FIG. .
  • a distance calculation unit 151 illustrated in FIG. 15 inputs video signals V1, V2, V3, and V4 output from each of the four imaging units 101, 102, 103, and 104, and calculates a distance (parallax).
  • the distance calculation unit 151 illustrated in FIG. 16 includes an image captured by the imaging unit 101 illustrated in FIG. 15 (hereinafter referred to as a reference image P21) and an image captured by the imaging unit 102 (hereinafter referred to as a first reference image P11). ), An image captured by the imaging unit 103 (hereinafter referred to as a second reference image P12), and an image captured by the imaging unit 104 (hereinafter referred to as a third reference image P13). .
  • the coordinate converters 81 to 84 perform geometric conversion (coordinate conversion) on each image for the purpose of placing the base image P21 and the image planes of the reference images P11 to P13 on the same plane.
  • the coordinate conversion process is the same as that of the coordinate conversion units 31 and 32 shown in FIG.
  • Corresponding point search units 85 to 87 convert the standard image P21 and the reference images P11 to P11 after the conversion of the geometric image so that the standard image P21 and the image planes of the reference images P11 to P13 are on the same plane. A corresponding pixel is searched for with P13, and parallax data D11 of each reference image P11 to P13 with respect to the base image P21 is obtained. The corresponding point search unit 85 calculates the parallax data D12 between the base image P21 and the first reference image P11, similarly to the corresponding point search unit 33 shown in FIG. At this time, in step S907 in FIG.
  • the parallax value of 0 or a predetermined unique value is stored as the parallax data D12 for the pixel of interest in which the parallax calculation error or occlusion is detected.
  • the corresponding point search unit 85 further sends to the corresponding point search unit 86 undetectable information indicating that the pixel is a parallax calculation error or an occlusion target pixel.
  • this non-detectable information for example, the coordinate information of the coordinate of interest and the value ⁇ 1 indicating non-detectable are mentioned.
  • Corresponding point search unit 86 calculates disparity data D13 between base image P21 after geometric conversion and second reference image P12, as in corresponding point searching unit 85.
  • the corresponding point search unit 85 searches for corresponding pixels in the base image P21 and the entire second reference image P12 after the geometric conversion.
  • the corresponding point search unit 86 corresponds to the corresponding pixel from the second reference image P12 with respect to the target pixel of the reference image P21 detected as a parallax calculation error or occlusion based on the non-detectable information sent from the corresponding point search 85.
  • parallax data D13 is calculated.
  • undetectable information is sent to the corresponding point search unit 87.
  • the corresponding point search unit 87 uses the non-detection information sent from the corresponding point search 86 for the base image P21 and the third reference image P13 after the geometric conversion, and generates a parallax calculation error.
  • the corresponding pixel is searched from the third reference image P13 for the target pixel of the base image P21 detected as occlusion, and the parallax data D14 is calculated.
  • the corresponding point search unit 86 calculates the parallax data D12 calculated by the corresponding point search unit 85 and the coordinates (region) on the reference image P21 that are detected as a parallax calculation error or occlusion by the corresponding point search unit 85 and could not be calculated.
  • the parallax data D11 corresponding to the reference image P21 is calculated by combining in the unit 88.
  • FIG. 17 shows the occlusion area 63 of the base image P21 and the reference images P211, P12, P13.
  • the occlusion is formed on the right side of the subject 200 as shown in the diagram showing the first reference image P11 (the upper left diagram in FIG. 17). It becomes the parallax data D12 in which the area 63 is generated.
  • a corresponding point search is performed between the base image P21 and the second reference image P12, as shown in the diagram showing the second reference image P12 (the lower right diagram in FIG.
  • FIG. 18 shows the parallax data D12, D13, D14 between the reference images P11, P12, P13 shown in FIG. 17 in a hierarchical manner.
  • the parallax data D13 is calculated from the “area 300 for newly obtaining parallax data” of the second reference image P12, and corresponds to the reference image P21. It shows that the occlusion area 63 is reduced as the entire parallax data D11. Further, in the third reference image P13 of FIG.
  • the parallax data D11 corresponding to the standard image P21 is obtained. It shows that the third reference image P13 is not used in the determination.
  • the corresponding point search unit 86 or 87 shown in FIG. 16 stops the corresponding point search processing for the subsequent reference images when all the occlusion areas disappear due to the processing of the previous corresponding point search unit. Also good.
  • a region detected as a parallax calculation error or occlusion with respect to the parallax data D12 obtained between the base image P21 and the first reference image P11 is obtained from a reference image different from these images. Asked. Further, when a parallax calculation error or occlusion is detected, the parallax data D11 is hierarchically calculated by a method of calculating from a new reference image that is not used. This is because the parallax data can be detected from other cameras in the undetected area of the parallax data, so that the entire image is individually searched between the reference image P21 and each of the reference images P11 to P13, and compared with the case of combining at the end, The amount of processing can be drastically reduced. Therefore, even when the number of cameras used is increased or when the number of pixels of each camera is improved, the circuit scale can be reduced and real-time processing can be performed.
  • the configuration is a four-eye camera.
  • the configuration is not limited to the four-eye configuration, and other camera numbers can be applied.
  • the coordinate conversion units 81 to 84 have the number of cameras, and the corresponding point search units 85 to 87 have one less than the number of cameras. good.
  • the processing amount number of steps, memory, circuit scale, etc.
  • distance information is calculated by searching for corresponding points for two video pairs from three or more camera videos, and high-definition video is obtained from a plurality of camera videos based on the distance information. It is selected whether to perform synthesis processing or to generate a synthesized video from a single camera video as a reference. Therefore, as compared with the conventional technology in which all corresponding points are searched between camera images, the processing amount is overwhelmingly reduced, and it is possible to suppress deterioration in image quality in an area (such as an occlusion area) where distance information has not been calculated.
  • the area for which distance information is not calculated is calculated by using another camera image, the area for which distance information is not calculated can be reduced. Furthermore, this increases the area where high-definition video is synthesized from a plurality of camera videos, so that higher-definition video can be generated.
  • the distance calculation is performed on the area in which the distance information is not calculated using the video of another camera, it is possible to significantly reduce the processing amount as compared with the conventional technique in which corresponding points are searched between all the camera videos. . Further, by reducing the video luminance of a region where the distance information such as the occlusion region cannot be calculated and the definition cannot be increased, the region can be synthesized inconspicuously. At the same time, it is possible to effectively produce an appearance adapted to the perception of brightness due to depth in human visual psychology, which looks dark due to occlusion.
  • the video brightness of the area where the distance information such as the occlusion area could not be calculated and the resolution could not be increased may be generated by making it darker than the brightness value of the area adjacent to the area. Accordingly, it is possible to effectively produce an appearance adapted to the brightness perception by the depth in the human visual psychology such that the area overlapped by occlusion looks darker than the area in front.
  • the video brightness of the area where the distance information such as the occlusion area could not be calculated and the resolution could not be increased may be generated by matching the brightness value of the area on the back side adjacent to the area.
  • the occlusion area and the back area to be continuous with the occlusion area can be combined so that the brightness continuity is maintained and the visual psychology can be seen without a sense of incongruity.
  • the saturation of an area where distance information such as an occlusion area could not be calculated at a predetermined rate the area can be synthesized inconspicuously. At the same time, it is possible to effectively produce an appearance suitable for color perception due to the depth of human visual psychology, such as the color appearing light due to occlusion.
  • the saturation of an area where distance information could not be calculated may be generated by lowering the saturation of the area adjacent to that area. Accordingly, it is possible to effectively produce an appearance adapted to color perception by depth in human visual psychology, such that the occlusion area looks lighter than the area in front.
  • the saturation of an area where distance information could not be calculated such as an occlusion area, may be generated by matching the saturation of an area on the back side adjacent to the area.
  • the occlusion area and the back area to be continuous with the occlusion area can be synthesized so as to keep a continuous example of saturation and to make it look visually uncomfortable.
  • an area where distance information could not be calculated such as an occlusion area
  • an occlusion area may be blurred. This makes it possible to synthesize the area inconspicuously and effectively produce the appearance of blur due to the depth of the human visual psychology, such as being blurred due to occlusion.
  • the configuration of the embodiment of the present invention significantly reduces the processing amount compared to the conventional technique of searching for corresponding points between all camera images, and the parallax data non-detectable region ( It is possible to suppress image quality deterioration in a parallax calculation error area or an occlusion area.
  • by improving the appearance of the entire high-definition composite image by directing the area where parallax data cannot be detected to an area that could not be refined to the visual psychological appearance seen by both human eyes It is possible to provide a multi-eye imaging device and a multi-eye imaging method capable of performing the above.
  • a program for realizing the functions of the video processing unit 20, the distance calculation unit 21, and the distance calculation unit 151 shown in FIG. 2 may be recorded on a computer-readable recording medium. Then, the high-definition image composition processing may be performed by causing the computer system to read and execute the program recorded on the recording medium.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
  • RAM volatile memory
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement

Abstract

　多眼撮像装置は、画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、第１の撮像部と異なる撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、距離情報を算出できた領域について、距離情報に基づき複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、距離情報が算出できなかった領域について、第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備える。距離算出部は、第１の撮像部の出力映像と、第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、第１の距離情報が算出できなかった領域があった場合、第１の距離情報が算出できなかった領域について、複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。

Description

多眼撮像装置および多眼撮像方法
　本発明は、多眼撮像装置および多眼撮像方法に関する。
　本願は、２００９年１２月２４日に、日本に出願された特願２００９－２９１６２４号に基づき優先権を主張し、その内容をここに援用する。
　近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話機等に小型で高画質なデジタルカメラが搭載され始めた。デジタルカメラに代表される撮像装置は、像を結像するレンズ光学系と、結像した光を光電変換して電気信号を出力する撮像素子とから構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサ等の電子デバイスが使用される。これら撮像素子は、撮像面に結像した光量分布を光電変換し撮影画像として記録する。レンズ光学系は、収差を除去するために、数枚の非球面レンズから構成されているものが多い。さらにズーム機能を持たせる場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。
　一方、撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題が表出している。このような課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。例えば、平面状に配置した固体レンズアレイと、液晶レンズアレイと、撮像素子とから構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図１９に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、撮像素子２００３と、演算装置２００４と、液晶駆動装置２００５とから構成されている。
　撮像素子２００３は、このレンズ系を通して結像する光学像を撮像する。
　演算装置２００４は、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する。
　液晶駆動装置２００５は、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する。
　この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。
　また、撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている（例えば、特許文献２参照）。この薄型カラーカメラ２００は、図２０Ａおよび図２０Ｂに示すように、レンズ２２０と、カラーフィルタ２５０と、検出器アレイ２４０から構成される。レンズ２２０は、４つのレンズ２２０ａ～２２０ｄを備えている。カラーフィルタ２５０は、４つのカラーフィルタ２５０ａ～２５０ｄを備えている。カラーフィルタ２５０は、図２０Ｂに示すように、赤色光（Ｒ）を透過するフィルタ２５０ａ、緑色光（Ｇ）を透過するフィルタ２５０ｂと２５０ｃ、青色光（Ｂ）を透過するフィルタ２５０ｄから構成されている。検出器アレイ２４０は、赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができるとしている。
　これら複数のカメラで撮影した複数の画像から高解像度画像を合成する場合は、各画像で、同じ領域を撮像した対応点を探索して合成する必要がある。しかし、一方のカメラでは撮影できるが、他方のカメラでは物体の陰に隠れて撮影できないオクルージョン（occlusion）と呼ばれる領域が発生するため、対応点が求まらない場合がある。このオクルージョン領域は、対応点の誤探索により、高精細合成画像の品質劣化を招くといった問題がある。このような問題を解決するために、基準画像と参照画像とから高精細画像を合成する処理において、対となる対応点が求まらない領域については、基準画像の対応点を合成画像生成データとして用いて、参照画像の対応点を合成画像生成データとして用いない複眼撮像装置が知られている（例えば、特許文献３参照）。この複眼撮像装置は、左撮像系と右撮像系の２つの画像から高精細画像を合成する処理において、対応点が求まらないオクルージョン領域が存在するか否かを判定するオクルージョン領域判断部を備える。特許文献３は、そのオクルージョン領域では、一方の画像を合成画像データとして用いない処理を開示している。この構成により、オクルージョンが発生する領域の処理手順を省略できるとともに、誤対応による画質劣化を抑制することができるとしている。
特開２００６－２５１６１３号公報 特表２００７－５２０１６６号公報 特開平６－１４１２３７号公報
　特許文献３の複眼撮像装置は、左右２つのカメラからなる複眼撮像装置を用いているが、カメラの数は２つに限られるものではなく、３つ以上の場合でも可能としている。しかしながら、３つ以上のカメラを備えた場合は、全てのカメラ対で対応点探索を行うため、カメラ対の数の倍数分だけ処理量が増大するという問題が生じる。特許文献３では、周知の対応点の探索手法として、基準画像のある一点を中心に囲むブロックと参照画像中のブロックの類似度を比較して一番類似度が高いブロックの中心画素を対応点として検出するテンプレートマッチングを説明している。
　しかし、この検出方法は、カメラの解像度が高まるに従い処理量が膨大になっていくだけでなく、高精細画像を合成するためにはカメラ解像度を超えた精度、いわゆるサブピクセル精度で対応点を検出する必要がある。そのため、その対応点検出処理は、高精細合成処理よりも格段に処理量が大きくなる。特許文献３の構成では、高精細化のためカメラ台数を増やすと、それだけ対応点検出処理量が増加する。例えば動画撮影の場合、１ピクセルクロックの時間内で対応点を検出する必要があり、この時間内で全てのカメラ間で高精度な対応点検出を行うことが難しいという問題がある。１ピクセルクロックとは、具体的には、１０８０／６０Ｐのハイビジョン動画撮影で０．００７μｓのことである。
　本発明は、このような事情に鑑みてなされたもので、３つ以上のカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
　加えて、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
（１）　本発明の一態様による多眼撮像装置は、画像を撮像する複数系統の撮像部と、前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
（２）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成しても良い。
（３）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成しても良い。
（４）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成しても良い。
（５）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成しても良い。
（６）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成しても良い。
（７）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成しても良い。
（８）　本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成しても良い。
（９）　本発明の他の一態様による多眼撮像方法は、画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
　本発明によれば、２つまたはそれより多いカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能になる。また、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることができるという効果が得られる。
本発明の第１の実施形態における多眼撮像装置の概観図である。 第１の実施形態における多眼撮像装置の全体ブロック図である。 第１の実施形態における多眼撮像装置の距離算出部のブロック図である。 第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。 第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。 第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。 第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。 第１の実施形態における多眼撮像装置の対応点探索処理のフローチャートである。 第１の実施形態による多眼撮像装置の映像処理部のブロック図である。 第１の実施形態による多眼撮像装置の多眼映像合成処理部の動作を説明する模式図である。 第１の実施形態による多眼撮像装置の４眼合成処理部の動作を説明する模式図である。 第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。 第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。 第１の実施形態による多眼撮像装置の映像処理部の動作を説明するフローチャートである。 第２の実施形態における多眼撮像装置の全体ブロック図である。 第２の実施形態における多眼撮像装置の距離算出部のブロック図である。 第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。 第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。 従来の多眼撮像装置の構成を示すブロック図である。 他の従来の多眼撮像装置の構成を示すブロック図である。 図２０Ａの多眼撮像装置のカラーフィルタの構成を示す概略図である。
＜第１の実施形態＞
　以下、図面を参照して、本発明の第１の実施形態による多眼撮像装置を説明する。図１は、本発明の第１の実施形態による多眼撮像装置の概観を示す図である。図２は、同実施形態の多眼撮像装置の構成を示すブロック図である。図１に示すように、本実施形態による多眼撮像装置１０は、４系統の撮像部１０１、１０２、１０３、１０４を備える。各撮像部１０１、１０２、１０３、１０４は、撮像レンズ１１と撮像素子１２とを備えている。撮像レンズ１１は、被写体からの光を撮像素子１２上に結像し、結像されたイメージは、例えばＣＭＯＳ撮像素子などの撮像素子１２で光電変換されて映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４として出力される。４つの撮像部１０１、１０２、１０３、１０４のそれぞれで撮影することにより、４系統の撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４は、映像処理部２０に入力する。また、４系統の映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のうち２つの撮像部１０１、１０２から出力する映像信号Ｖ１、Ｖ２は、距離算出部２１にも同時に入力する。距離算出部２１は、入力した２つの映像信号Ｖ１、Ｖ２から対応点探索を行い、その探索結果から２つの撮像部間の視差データＤ１を算出して映像処理部２０に出力する。映像処理部２０は、入力した映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を、距離算出部２１から出力する視差データＤ１に基づき合成処理して高精細映像Ｖ５を出力する。
　次に、図３を参照して、図２に示す距離算出部２１の構成を説明する。図３は、図２に示す撮像部１０１において撮影された画像Ｖ１（以下、基準画像という）と、撮像部１０２において撮影された画像Ｖ２（以下、参照画像という）とから、視差データＤ１を算出する距離算出部２１の構成を示すブロック図である。２つの座標変換部３１、３２は、基準画像と参照画像の画像平面を同一平面上に乗せることを目的に、両画像を幾何学変換（座標変換）してエピポーララインを平行化する。カメラパラメータ３０は、撮像部１０１固有の焦点距離やレンズ歪みパラメータなどの内部パラメータ、および４つの撮像部１０１、１０２、１０３、１０４間の位置関係を表す外部パラメータを予め保持している。カメラパラメータの詳細については後述する。同様に、座標変換部３２は、撮像部１０２固有のカメラパラメータを保持している（図示省略）。対応点探索部３３は、エピポーララインが平行となった基準画像と参照画像との対応画素を探索し、基準画像に対する参照画像の視差データＤ１を求めて出力する。
　次に、図４～図７を参照して、対応画素を探索する処理動作について説明する。図４および図５は、それぞれ参照画像Ｐ１および基準画像Ｐ２のエピポーラライン平行化後の画像平面を示している。基準画像Ｐ２上の画素に対応する参照画像Ｐ１上の画素（対応画素）を求めるために、基準画像Ｐ２上の注目画素の移動方法を図５に示す基準画像Ｐ２の図を用いて説明する。基準画像Ｐ２上の注目画素を中心とするブロック（以下、注目ブロックという）を画像左上（探索開始ブロックＢ１）から順に右側のライン方向に１画素毎に移動させ、移動させた注目ブロックがラインの右端に到達した場合は、１ライン下の左側から順に右側のライン方向へと注目ブロックを移動させる。これを基準画像右下のブロック（探索終了ブロックＢ２）まで繰り返す。
　次に、図５に示す基準画像Ｐ２上のある１つの注目ブロック（基準注目ブロックＢ３）に類似する参照画像Ｐ１上のブロックを探索する処理動作を図４に示す参照画像Ｐ１の図を用いて説明する。図５に示す基準画像Ｐ２上の基準注目ブロックＢ３の座標（ｘ、ｙ）と同じ座標となる参照画像Ｐ１上のブロック（参照注目ブロックＢ４）から順に右側のライン方向へ参照注目ブロックを１画素毎に移動させていき、図４に示す参照画像上の探索終了ブロックＢ５まで繰り返す。ここで探索する範囲（探索範囲Ｒ１）は、撮影した被写体の最大視差で決まる値であり、設定した探索範囲によって、視差データＤ１を算出できる被写体までの最短の距離が決定される。以上の参照注目ブロックＢ４の探索を、図５に示す基準画像Ｐ２上の各基準注目ブロックＢ３について行う。
　次に、基準注目ブロックＢ３と類似する参照注目ブロックＢ４の決定方法について図６および図７を参照して説明する。図７は、基準注目ブロックＢ３を示しており、基準画像Ｐ２上の注目画素を中心とする横Ｍ画素×縦Ｎ画素（Ｍ、Ｎは、所定の自然数）のサイズのブロックを表している。図６は、参照注目ブロックＢ４を示しており、参照画像Ｐ１上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックを表している。図６に示す参照注目ブロックＢ４および図７に示す基準注目ブロックＢ３上の任意の画素を表すために、横方向をｉとし、縦方向をｊとした時の座標（ｉ、ｊ）の画素値をそれぞれＲ（ｉ、ｊ）、Ｔ（ｉ、ｊ）とする。類似度を求める方法は、一般的に多く用いられているＳＡＤ（Sum of Absolute Difference：差分絶対和）を用いる。ＳＡＤは、（１）式に示す類似度判定式のようにＲ（ｉ、ｊ）とＴ（ｉ、ｊ）の差分の絶対値をブロックの全画素について求め、それを合計した値（ＳＳＡＤ）である。基準注目ブロックＢ３に類似する参照注目ブロックＢ４の決定は、前述した図４に示す参照画像Ｐ１上の探索範囲Ｒ１内の各参照注目ブロックＢ４の中でＳＳＡＤの値が最も小さくなる参照注目ブロックＢ４を、基準注目ブロックＢ３と類似していると決定する。
Figure JPOXMLDOC01-appb-M000001
　以上の説明は、視差データＤ１の算出方法を処理単位毎に行ったものであるが、入力画素のシーケンスに沿った処理方法を図４～図７及び図８に示す処理フローを参照して説明する。まず、基準注目ブロックＢ３を基準画像Ｐ２（図５）の先頭（探索開始ブロックＢ１）に設定する（ステップＳ９００）。そして、基準注目ブロックＢ３の全画素値を基準画像Ｐ２（図５）から読み出す（ステップＳ９０１）。次に、参照注目ブロックＢ４を、参照画像Ｐ１（図４）の先頭（参照画像Ｐ１左上）に設定する（ステップＳ９０２）。そして、参照注目ブロックＢ４の全画素値を参照画像Ｐ１（図４）から読み出す（ステップＳ９０３）。読み出した基準注目ブロックＢ３と参照注目ブロックＢ４の画素値のＳＳＡＤ値を、（１）式に従って算出し、記憶する（ステップＳ９０４）。
　次に、探索範囲Ｒ１が終了したか否かを判定し（ステップＳ９０５）、終了していなければ参照注目ブロックＢ４を、右側のライン方向に１画素移動し（ステップＳ９０６）、再度ステップＳ９０３およびステップＳ９０４の処理を行う。これらステップＳ９０３からステップＳ９０６の処理を、探索範囲Ｒ１内で繰り返し、探索範囲Ｒ１内の全ＳＳＡＤ値の算出が終了後、ＳＳＡＤ値が最小となる参照注目ブロックＢ３を検出する。基準注目ブロックＢ３の中心座標（基準画像Ｐ２上の注目画素）と、検出した参照注目ブロックＢ４の中心座標（参照画像Ｐ１上の中心座標）との差分が、基準画像Ｐ２上の注目画素の視差データＤ１となり、これを記憶する（ステップＳ９０７）。
　そして、処理が終了したか否かを判定し（ステップＳ９０８）、終了していなければ基準注目ブロックＢ３を、右側のライン方向に１画素移動し（ステップＳ９０９）、再度ステップＳ９０１からステップＳ９０７の処理を行う。これらステップＳ９０１からステップＳ９０９の処理を、基準注目ブロックＢ３が基準画像Ｐ２（図５）の探索終了ブロックＢ２となるまで繰り返し、基準画像Ｐ２上の各画素の視差データＤ１を求める。
　また、ステップＳ９０７においてＳＳＡＤ値が最小となる参照注目ブロックＢ４を検出する際、最小の値を示す参照注目ブロックＢ４が必ずしも正しい類似ブロックとなるとは限らない。基準注目ブロックＢ３に模様（テクスチャ）がない場合や、参照画像Ｐ１上の探索領域がオクルージョン領域の場合などに誤検出することがある。このような類似ブロックの誤検出を低減するため、視差算出エラーの検出法、もしくはオクルージョン検出法があり、これら手法の一例として特許文献３に記載されている手法がある。類似ブロックの誤検出を低減する方法として、様々なものが既に知られている為、詳細な説明は行わない。ステップＳ９０７にてこれら探索の誤りを検出し、視差算出エラーまたはオクルージョンと判定した基準画像上の注目画素については、視差値を０、もしくは所定のユニークな値を視差データＤ１として記憶する。
　以上の説明において、図３の対応点探索部３３の処理方法の一例として、基準画像上の注目画素に類似する参照画像上の画素をＳＡＤの類似度評価関数で探索したが、この手法に限定されるものではなく、基準画像上と参照画像上の類似画素を探索する手法であればどのような手法を使用して、視差データを求めても良い。
　次に、図９を参照して図２に示す映像処理部２０の詳細な構成と動作を説明する。撮像処理部２０は、４つの補正処理部４０１－１～４０１－４、単眼映像合成処理部４０３、多眼映像合成処理部４０４、高解像度合成処理部４０５を備える。４つの位置合わせ補正処理部４０１－１～４０１－４は、それぞれカメラパラメータ４０２を格納した記憶装置を備えるが、それを１つの位置合わせ補正処理部４０１－１内に図示した。撮像装置１０１の映像信号Ｖ１（基準画像）は、位置合わせ補正処理部４０１－１に加えられ、以下同様にして、撮像装置１０２、１０３、１０４の映像信号Ｖ２、Ｖ３、Ｖ４は、それぞれ位置合わせ補正処理部４０１－２、４０１－３、４０１－４に加えられる。位置合わせ補正処理部４０１－１の出力は、単眼映像合成処理部４０３へ加えられる。位置合わせ補正処理部４０１－１～４０１－４の出力は、多眼映像合成処理部４０４へ加えられる。単眼映像合成処理部４０３の出力と、多眼映像合成処理部４０４の出力とは、高解像度合成処理部４０５において高精細映像Ｖ５に合成され、映像処理部２０の外部へ出力される。
　位置合わせ補正処理部４０１－１～４０１－４は、距離算出部２１（図３）から出力される視差データＤ１と、各撮像部の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２とに基づき、各撮像部１０１、１０２、１０３、１０４の映像が同じ被写体位置を捕らえるように位置合わせを行う。単眼映像合成処理部４０３は、例えばオクルージョンなどで距離算出部２１において視差データＤ１が算出できなかった領域、すなわち視差値が０、もしくは所定のユニークな値である領域を、距離算出部２１で基準とした撮像部１０１で撮影された映像信号について合成を行う。多眼映像合成処理部４０４は、距離算出部２１において視差データＤ１が算出できた領域を、４つの撮像部１０１、１０２、１０３、１０４の映像信号Ｖ１～Ｖ４を用いて高精細化合成を行う。
　次に、位置合わせ補正処理部４０１－１～４０１－４の動作を説明する。各撮像部１０１～１０４の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２は、パターン形状が既知の市松模様チェッカーパターンを、姿勢やアングルを変えながら数回撮像して、その撮影画像から算出するカメラキャリブレーションで求めることができる。カメラパラメータ４０２は、外部パラメータと内部パラメータとから構成される。外部パラメータは、カメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す３軸の並進ベクトルの計６パラメータから構成される。また内部パラメータは、画像中心位置、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５パラメータから構成される。ここでは撮像部１０１を基準の撮像部として、他の撮像部１０２、１０３、１０４の映像を撮像部１０１の映像に合せる場合について説明する。被写体までの視差データＤ１と、基準の撮像部１０１と、他の撮像部１０２、１０３、１０４との間隔（カメラ基線長）から算出されるシフト量を、カメラパラメータの外部パラメータである並進量に加味したパラメータを用いて、幾何学補正処理する。これにより、４つの撮像部１０１、１０２、１０３、１０４の映像が被写体の同じ点を同じ位置（画素）で捕らえるように位置を合わせることができる。
　次に、図１０を参照して、多眼映像合成処理部４０４の動作を説明する。図１０において、横軸は空間の広がり（大きさ）を示しており、縦軸は光の振幅（光強度）を示している。説明の簡略化のため、ここでは２つの撮像部１０１、１０２で撮影した２つの画像の合成処理を説明する。符号４０ａは、実際の画像の光の強度分布を示す。図１０中の符号４０ｂと符号４０ｃは、それぞれ撮像部１０１と撮像部１０２の画素であり、相対位置関係が符号４０ｄの矢印で示すオフセット分だけずれている。撮像素子は、画素単位で光強度を積分することになるため、符号４０ａで示す被写体の輪郭を、撮像素子１０１で撮影すると符号４０ｅで示す光強度分布の映像信号が得られ、撮像素子１０２で撮影すると符号４０ｆで示す光強度分布の映像信号が得られる。この２つの画像を合成することによって、符号４０ｇで示す実際の輪郭に近い高精細な画像を再現することができる。
　図１０においては、２つの画像による高解像度合成処理を説明したが、４つの撮像部１０１、１０２、１０３、１０４のそれぞれで得られた画像を用いて高解像度化合成する一例を図１１に示す。ここでは、４つの撮像部１０１、１０２、１０３、１０４の解像度がＶＧＡ（６４０×４８０画素）で、その４倍の画素数であるＱｕａｄ－ＶＧＡの画素（１２８０×９６０画素）への高解像度合成処理を行う場合について説明する。図１１に示すように、Ｑｕａｄ－ＶＧＡの画素（１２８０×９６０画素）の隣接する４つの画素が、異なる撮像部で撮像された画素を割り当てて合成することで、高解像度の画像を得ることが可能である。
　一例として、撮像部１０１で撮像した画像Ｐ１１の一番上のラインの画素を左から順にＧ１１、Ｇ１２、Ｇ１３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ１４、Ｇ１５、Ｇ１６、・・・とする。また、３番目のラインの画素を左から順にＧ１７、Ｇ１８、Ｇ１９、・・・とする。
　撮像部１０２で撮像した画像Ｐ１２の一番上のラインの画素を、同様に、左から順にＧ２１、Ｇ２２、Ｇ２３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ２４、Ｇ２５、Ｇ２６、・・・とする。また、３番目のラインの画素を左から順にＧ２７、Ｇ２８、Ｇ２９、・・・とする。
　撮像部１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素にも、同様に図１１に示すような符号Ｇ３１～Ｇ３９、Ｇ４１～Ｇ４９を、それぞれ付加する。高解像度合成処理後の画像Ｐ１５としては、一番上のラインについては、左から順にＧ１１、Ｇ２１、Ｇ１２、Ｇ２２、Ｇ１３、Ｇ２３、・・・のように、撮像装置１０１、１０２で撮像した画像Ｐ１１、Ｐ１２の画素の一番上のラインの画素を入れ子にして配置する。２番目のラインについては、左から順にＧ３１、Ｇ４１、Ｇ３２、Ｇ４２、Ｇ３３、Ｇ４３、・・・のように、撮像装置１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素の一番上のラインの画素を入れ子にして配置する。以下、図１１の高解像度合成処理後の画像Ｐ１５に示すように、同様の配置になるように処理を繰り返す。
　次に、図１２、図１３を参照して、オクルージョン領域とその領域の映像処理を行う単眼映像合成処理部４０３の動作を説明する。図１２に示すように、奥領域６２の手前に配置された手前領域６１（立方体）を、撮像部１０１、１０２それぞれで撮影した場合について説明する。図１３の上部に高解像度合成処理後の高精細画像６５の概略を示す。撮像部１０１を基準とした場合、距離測定部２１で算出された視差データ６４に、撮像部１０１では見えているが撮像部１０２では隠れて見えないオクルージョン領域６３が発生する。図１３において、オクルージョン領域６３を、右下がりの斜線でハッチングして示す。
視差データが算出できないオクルージョン領域６３は、図９に示す単眼映像合成処理部４０３にて、基準となる撮像部１０１の映像を用いた映像処理が行われ、それ以外の領域は距離が算出できるため、図１０と図１１により説明した高解像度合成処理が実施される。図１３に示す符号６５は、映像処理部２０にて生成された高精細画像を示している。また、図１３において、符号６７、６８、６９で示す３つのグラフは、高精細画像６５の直線６６における輝度変化を示している。３つのグラフ６７、６８、６９の縦軸は、輝度を示しており、横軸は位置を示している。横軸は左から手前領域６１、オクルージョン領域６３、奥領域６２と続いている。奥領域６２と手前領域６１とは、視差データ６４が算出できるため、４つの撮像部１０１、１０２、１０３、１０４にて、図１０と図１１で説明した高解像度合成処理が実施される。
　オクルージョン領域６３には、撮像部１０１の映像をそのまま用いたグラフ６７中の点線で示す輝度曲線Ｃ０が適用される。輝度曲線Ｃ０が手前領域６１の輝度よりも明るい場合は、グラフ６７の矢印Ａ１に示すように、輝度値を下げてＣ１の示す輝度曲線に補正する（輝度低下補正処理）。この映像処理により、オクルージョン領域６３の輝度を、手前領域６１よりも暗く合成することができる。そのため、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。また、奥側の手前領域６１の輝度と一致させるため、グラフ６８の矢印Ａ２に示すように、輝度曲線Ｃ２のように補正する（繋ぎ補正処理）。この映像処理によりオクルージョン領域６３と、連続すべき奥側の領域６２との明るさ連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、グラフ６９の輝度曲線Ｃ３に示すようにオクルージョン領域６３の輝度変化を平滑化フィルターで抑える（平滑化補正処理）。これにより、オクルージョンのためぼやけて見えるといった人間の視覚心理における奥行の見えを効果的に演出することができる。
　なお、前述した説明においては、輝度を変化させる単眼映像合成処理を説明したが、輝度を彩度に置き換えた処理も可能である。すなわち、図１３に示すように、オクルージョン領域６３の彩度を、手前領域６１の彩度よりも下げることにより、オクルージョンで手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。さらに、オクルージョン領域６３の彩度を奥側の手前領域６１の彩度と一致することで、オクルージョン領域と、それと連続すべき奥側の領域とを彩度の連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。
　次に、図１４を参照して、図２に示す映像処理部２０の動作を説明する。まず、動作開始後に映像処理を行うべき画素を指定する（ステップＳ８００）。続いて、指定した画素が、オクルージョン領域６３か否かの判定を行う（ステップＳ８０１）。オクルージョン領域６３でない、すなわち視差データ６４が算出できた場合は、４つの撮像部１０１、１０２、１０３、１０４の全ての映像においてカメラパラメータと視差データ６４による位置合わせ補正処理を実行する（ステップＳ８０２）。その後、多眼映像合成処理部４０４により多眼映像合成処理を実施する（ステップＳ８０３）。一方、オクルージョン領域６３の場合は、撮像部１０１の映像について視差データ６４が０であるものとして補正処理を行う（ステップＳ８０４）。そして、単眼映像合成処理（輝度低下補正処理、繋ぎ補正処理、平滑化補正処理）を実行する（ステップＳ８０５）。以上の処理が、撮像処理が終了するまで繰り返される（ステップＳ８０６）。
＜第２の実施形態＞
　次に、図１５および図１６を参照して、本発明の第２の実施形態について説明する。図１５は、第２の実施形態による多眼撮像装置の構成を示すブロック図である。図１６は、図１５に示す距離算出部１５１の構成を示すブロック図である。図１５に示す多眼撮像装置１０が、図２に示す多眼撮像装置１０と同一の部分には同一の符号を付し、その説明を省略する。図１５に示す多眼撮像装置が図２に示す多眼撮像装置１０と異なる点は、距離算出部２１に代えて、距離算出部１５１が設けられている点である。距離算出部１５１が出力する視差データＤ１１は、図１５に示す映像処理部２０に送られる。図１５に示す映像処理部２０は、図９に示す映像処理部２０の視差データＤ１をＤ１１と読み替えることを除いて、図９に示す映像処理部２０と同様であるため、その説明を省略する。図１５に示す距離算出部１５１は、４つの撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を入力して距離（視差）を算出する。
　次に、図１６を参照して、図１５に示す距離算出部１５１の構成を説明する。距離算出部１５１には、４つの撮像部１０１、１０２、１０３、１０４で撮影された映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のそれぞれが入力される。図１６に示す距離算出部１５１は、図１５に示す撮像部１０１で撮影された画像（以下、基準画像Ｐ２１という）と、撮像部１０２で撮影された画像（以下、第１の参照画像Ｐ１１という）と、撮像部１０３で撮影された画像（以下、第２の参照画像Ｐ１２という）と、撮像部１０４で撮影された画像（以下、第３の参照画像Ｐ１３という）から視差データＤ１１を算出する。座標変換部８１～８４は、基準画像Ｐ２１と各参照画像Ｐ１１～Ｐ１３の画像平面とを同一平面上に乗せることを目的に、各画像を幾何学変換（座標変換）する。座標変換処理は、図３に示す座標変換部３１、３２と同様であるため、詳細な説明は省略する。
　対応点探索部８５～８７は、基準画像Ｐ２１と各参照画像Ｐ１１～Ｐ１３の画像平面とが同一平面上に乗るように幾何学変換した画像について、変換後の基準画像Ｐ２１と各参照画像Ｐ１１～Ｐ１３との間で対応画素を探索し、基準画像Ｐ２１に対する各参照画像Ｐ１１～Ｐ１３の視差データＤ１１を求める。対応点探索部８５は、図３に示す対応点探索部３３と同様に、基準画像Ｐ２１と第１の参照画像Ｐ１１との間の視差データＤ１２を算出する。このとき、図８のステップＳ９０７においては視差算出エラーまたはオクルージョンを検出した注目画素について、視差値を０、もしくは所定のユニークな値を視差データＤ１２として記憶する。対応点探索部８５では、さらに視差算出エラーまたはオクルージョンの注目画素であることを表す検出不可情報を対応点探索部８６に送る。この検出不可情報は、例として注目座標の座標情報と検出不可を表す値－１などが挙げられる。
　対応点探索部８６は、対応点探索部８５と同様に、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２間の視差データＤ１３を算出する。しかし、対応点探索部８５は、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２全体に対して対応画素を探索する。これに対し、対応点探索部８６は、対応点探索８５から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第２の参照画像Ｐ１２から対応画素を探索し、視差データＤ１３を算出する。このとき、対応点探索部８５と同様に、視差算出エラーまたはオクルージョンを検出した場合は、検出不可情報を対応点探索部８７に送る。
　対応点探索部８７は、対応点探索部８６と同様に、幾何学変換後の基準画像Ｐ２１と第３の参照画像Ｐ１３について、対応点探索８６から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第３の参照画像Ｐ１３から対応画素を探索し、視差データＤ１４を算出する。
　次に、対応点探索部８５～８７のそれぞれで算出された視差データＤ１２、Ｄ１３、Ｄ１４を合成する処理について説明する。対応点探索部８５で算出された視差データＤ１２と、対応点探索部８５で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８６で算出された視差データＤ１３と、対応点探索部８６で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８７で算出された視差データＤ１４を合成部８８で合成し、基準画像Ｐ２１に対応する視差データＤ１１を算出する。
　以上までの視差データ算出方法について、オクルージョン領域を例にとって図１７を参照して模式的に説明する。図１７は、基準画像Ｐ２１と各参照画像Ｐ２１１、Ｐ１２、Ｐ１３のオクルージョン領域６３を示している。基準画像Ｐ２１と第１の参照画像Ｐ１１との間で対応点探索を行った場合は、第１の参照画像Ｐ１１を示す図（図１７の左上の図）に示すように被写体２００の右側にオクルージョン領域６３が発生する視差データＤ１２となる。また、基準画像Ｐ２１と第２の参照画像Ｐ１２との間で対応点探索を行った場合は、第２の参照画像Ｐ１２を示す図（図１７の右下の図）に示すように被写体２００の上側にオクルージョン領域６３が発生する視差データＤ１３となる。さらに、基準画像Ｐ２１と第３の参照画像Ｐ１３との間で対応点探索を行った場合は、第３の参照画像Ｐ１３（図１７の左下の図）に示すように被写体２００の右側と上側にオクルージョン領域６３が発生する視差データＤ１４となる。したがって、前述した第１の実施形態の構成（図３に示す構成）では、第１の参照画像Ｐ１１のように被写体２００の右側にオクルージョン領域６３が必ず発生する。しかし、第２の実施形態の構成（図１６に示す構成）では、第２の参照画像Ｐ１２または第３の参照画像Ｐ１３を使ってオクルージョン領域６３を削減することができる。
　オクルージョン領域を削減する方法について、図１８に示す各オクルージョン領域の位置関係の図を参照して説明する。図１８は、図１７に示す各参照画像Ｐ１１、Ｐ１２、Ｐ１３の間の視差データＤ１２、Ｄ１３、Ｄ１４を階層的に示したものである。第１の参照画像Ｐ１１で発生した被写体２００の右側のオクルージョン領域６３を、第２の参照画像Ｐ１２の「新たに視差データを求める領域３００」から視差データＤ１３を算出し、基準画像Ｐ２１に対応する視差データＤ１１全体としてオクルージョン領域６３を削減することを示している。また、図１８の第３の参照画像Ｐ１３では、第１の参照画像Ｐ１１で発生したオクルージョン領域６３の全てが第２の参照画像Ｐ１２で補間されるため、基準画像Ｐ２１に対応する視差データＤ１１を求める上で第３の参照画像Ｐ１３が使用されていないことを示している。このように、図１６に示す対応点探索部８６または８７は、それ以前の対応点探索部の処理によりオクルージョン領域が全て消滅した場合は、それ以降の参照画像について対応点探索処理を中止してもよい。
　以上までの第２の実施形態は、基準画像Ｐ２１と第１の参照画像Ｐ１１間で求めた視差データＤ１２に対し、視差算出エラーまたはオクルージョンと検出した領域について、これら画像とは別の参照画像から求めた。さらに視差算出エラーまたはオクルージョンと検出した場合は、使用していない新たな参照画像から算出する手法により階層的に視差データＤ１１を算出した。これは、視差データの未検出エリアについて他のカメラから視差データを検出できることから、基準画像Ｐ２１と各参照画像Ｐ１１～Ｐ１３間で画像全体を個別に探索し、最後に合成する場合と比較し、飛躍的に処理量を削減することができる。よって、使用するカメラ数を増加させた場合や、各カメラの画素数を向上した場合でも回路規模を削減し、リアルタイム処理を可能にすることができる。
　また、前述した説明においては４眼カメラの構成であるが、４眼構成に限定されるものではなく、それ以外のカメラ数についても適用可能である。４眼以外の構成の場合、例えば図１６に示す距離算出部１５１では、座標変換部８１～８４はカメラの数だけ、対応点探索部８５～８７はカメラの数より１つ少ない数だけあれば良い。さらに、カメラ数が増加しても視差データの検出不可領域について他のカメラから検出するため、処理量（ステップ数、メモリ、回路規模など）が常に最小の構成で構築することができる。
　以上説明したように、３台以上のカメラ映像から２つの映像対についての対応点探索により距離情報（視差データ）を算出して、その距離情報をもとに複数のカメラ映像から高精細映像の合成処理を行うか、基準となる１台のカメラ映像から合成映像を生成するかを選択する。そのため、全てカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量が削減され、距離情報が算出されなかった領域（オクルージョン領域など）の画質劣化の抑制が可能となる。
　また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、距離情報が算出されない領域を減少させることができる。さらに、これは複数のカメラ映像から高精細映像の合成処理を行う領域が増加することから、より高精細な映像を生成することが可能となる。
　また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、全てのカメラ映像間で対応点探索する従来技術と比較して大幅に処理量を削減することが可能である。また、オクルージョン領域などの距離情報が算出できず、高精細化できなかった領域の映像輝度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
　また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して手前にある領域の輝度値よりも暗くして生成しても良い。これにより、オクルージョンで重なった領域が手前にある領域より暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
　また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して奥側にある領域の輝度値と一致させて生成しても良い。これにより、オクルージョン領域と、それと連続すべき奥側の領域とを明るさの連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、オクルージョン領域などの距離情報が算出できなかった領域の彩度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため色が薄く見えるといった人間の視覚心理の奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
　また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて生成しても良い。これにより、オクルージョンである領域が手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
　また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を該領域と隣接して奥側にある領域の彩度と一致させて生成しても良い。これにより、オクルージョン領域とそれと連続すべき奥側の領域とを彩度の連続例を保ち、視覚心理的に違和感なく見えるように合成することができる。
　さらに、オクルージョン領域などの距離情報が算出できなかった領域をぼかすようにしても良い。これにより、その領域を目立たなく合成することができるとともに、オクルージョンのためぼやけて見えるといった人間の視覚心理の奥行によるボケの見えを効果的に演出することができる。
　以上の説明で明らかなように、本発明の実施形態の構成により、全てのカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量を削減し、視差データ検出不可領域（視差算出エラー領域またはオクルージョン領域）の画質劣化抑制が可能となる。さらに、視差データ検出不可領域で高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することが可能となる。
　なお、図２に示す映像処理部２０、距離算出部２１、図１５に示す距離算出部１５１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しても良い。そして、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより高精細画像の合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　複数の画像撮像系を使用して得られた複数の画像を合成することにより高精細画像を得る撮像装置に適用することができる。
　１０　　多眼撮像装置
　１０１～１０４　　撮像部
　１１　　撮像レンズ
　１２　　撮像素子
　２０　　映像処理部
　２１、１５１　　距離算出部
　３０、８０　　カメラパラメータ記憶部
　３１、３２、８１～８４　　座標変換部
　３３、８５～８７　　対応点探索部
　４０１　　位置合わせ補正処理部
　４０３　　単眼映像合成処理部
　４０４　　多眼映像合成処理部
　４０ｂ　　撮像部１０１の画素
　４０ｃ　　撮像部１０２の画素
　４０ｄ　　撮像部１０１と撮像部１０２のオフセット
　６１　　手前側の領域
　６２　　奥側の領域
　６３　　オクルージョン領域
　６４　　視差データ
　６５　　高精細画像
　６６　　高精細画像６５の輝度変化を示す領域
　８８　　視差データ合成処理

Claims (9)

  1. 　画像を撮像する複数系統の撮像部と、
    　前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、
    　前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、
    　前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、
    　前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像装置。
  2. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
  3. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成する請求項１に記載の多眼撮像装置。
  4. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成する請求項１に記載の多眼撮像装置。
  5. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
  6. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
  7. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成する請求項１に記載の多眼撮像装置。
  8. 　前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成する請求項１に記載の多眼撮像装置。
  9. 　画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、
    　距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、
    　距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、
    　前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像方法。
PCT/JP2010/073175 2009-12-24 2010-12-22 多眼撮像装置および多眼撮像方法 WO2011078244A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080057930.0A CN102668537B (zh) 2009-12-24 2010-12-22 多眼摄像装置及多眼摄像方法
EP10839474.3A EP2518995B1 (en) 2009-12-24 2010-12-22 Multocular image pickup apparatus and multocular image pickup method
US13/518,294 US8885067B2 (en) 2009-12-24 2010-12-22 Multocular image pickup apparatus and multocular image pickup method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009291624 2009-12-24
JP2009-291624 2009-12-24

Publications (1)

Publication Number Publication Date
WO2011078244A1 true WO2011078244A1 (ja) 2011-06-30

Family

ID=44195771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073175 WO2011078244A1 (ja) 2009-12-24 2010-12-22 多眼撮像装置および多眼撮像方法

Country Status (5)

Country Link
US (1) US8885067B2 (ja)
EP (1) EP2518995B1 (ja)
JP (1) JP4790086B2 (ja)
CN (1) CN102668537B (ja)
WO (1) WO2011078244A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152527A (zh) * 2012-05-07 2013-06-12 北京普邦基烨科技发展有限公司 多镜头切换变焦的3d摄录放一体机
US20150277252A1 (en) * 2014-03-25 2015-10-01 Fuji Xerox Co., Ltd. Brilliant toner, electrostatic charge image developer, toner cartridge, and process cartridge
EP2764405B1 (en) * 2011-10-05 2019-11-27 Nctech Ltd Camera
US10650506B2 (en) 2016-07-22 2020-05-12 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8902321B2 (en) * 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US9143749B2 (en) 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) * 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US20140300691A1 (en) * 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
JP6429483B2 (ja) * 2013-07-09 2018-11-28 キヤノン株式会社 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US10582186B1 (en) * 2014-06-11 2020-03-03 Amazon Technologies, Inc. Approaches for identifying misaligned cameras
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
KR20170063827A (ko) 2014-09-29 2017-06-08 포토네이션 케이맨 리미티드 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
EP3373240B1 (en) * 2015-11-30 2019-10-02 Huawei Technologies Co., Ltd. Image processing method and dual-camera system
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
KR101926953B1 (ko) * 2016-07-04 2018-12-07 베이징 칭잉 머신 비쥬얼 테크놀러지 씨오., 엘티디. 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
US10789512B2 (en) 2016-07-22 2020-09-29 Sony Corporation Image processing apparatus and image processing method
JP6922169B2 (ja) 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
US10999562B2 (en) 2017-03-27 2021-05-04 Sony Corporation Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image
CN110809786B (zh) * 2017-06-20 2023-10-27 索尼互动娱乐股份有限公司 校准装置、校准图表、图表图案生成装置和校准方法
DE112017007695T5 (de) * 2017-06-26 2020-03-12 Mitsubishi Electric Corporation Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102479492B1 (ko) * 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
CN108337431B (zh) * 2018-02-10 2020-05-22 上海汇观展示设计工程有限公司 一种多机位按序拍摄的控制装置及其系统
CN108334862A (zh) * 2018-03-02 2018-07-27 中控智慧科技股份有限公司 一种虹膜识别系统及其虹膜识别方法
TWI768127B (zh) * 2018-09-21 2022-06-21 先進光電科技股份有限公司 光學成像模組、光學成像系統及光學成像模組製造方法
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
KR102648912B1 (ko) * 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
BR112022006617A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para detecção por sensor de normais à superfície com polarização
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141237A (ja) 1992-10-22 1994-05-20 Canon Inc 複眼撮像装置
JPH08102970A (ja) * 1994-09-30 1996-04-16 Toshiba Corp ３次元画像撮像装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP2006251613A (ja) 2005-03-14 2006-09-21 Citizen Watch Co Ltd 撮像レンズ装置
JP2007520166A (ja) 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ
JP2008153997A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0260710A3 (en) * 1986-09-19 1989-12-06 Hoya Corporation Method of forming a synthetic image in simulation system for attachment of spectacles
DE69313694T2 (de) * 1992-03-23 1998-02-19 Canon Kk Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung
US5682198A (en) * 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
US7718940B2 (en) * 2005-07-26 2010-05-18 Panasonic Corporation Compound-eye imaging apparatus
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
CN101385332B (zh) * 2006-03-22 2010-09-01 松下电器产业株式会社 摄像装置
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008102898A1 (ja) * 2007-02-19 2008-08-28 Tokyo Institute Of Technology 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
US8090195B2 (en) * 2008-02-12 2012-01-03 Panasonic Corporation Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
US8902321B2 (en) * 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141237A (ja) 1992-10-22 1994-05-20 Canon Inc 複眼撮像装置
JPH08102970A (ja) * 1994-09-30 1996-04-16 Toshiba Corp ３次元画像撮像装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP2007520166A (ja) 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ
JP2006251613A (ja) 2005-03-14 2006-09-21 Citizen Watch Co Ltd 撮像レンズ装置
JP2008153997A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2518995A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2764405B1 (en) * 2011-10-05 2019-11-27 Nctech Ltd Camera
US11637954B2 (en) 2011-10-05 2023-04-25 Nctech Ltd Camera
CN103152527A (zh) * 2012-05-07 2013-06-12 北京普邦基烨科技发展有限公司 多镜头切换变焦的3d摄录放一体机
US20150277252A1 (en) * 2014-03-25 2015-10-01 Fuji Xerox Co., Ltd. Brilliant toner, electrostatic charge image developer, toner cartridge, and process cartridge
US10650506B2 (en) 2016-07-22 2020-05-12 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
CN102668537A (zh) 2012-09-12
US20120262607A1 (en) 2012-10-18
CN102668537B (zh) 2015-03-11
JP4790086B2 (ja) 2011-10-12
JP2011151798A (ja) 2011-08-04
EP2518995A4 (en) 2015-03-18
US8885067B2 (en) 2014-11-11
EP2518995A1 (en) 2012-10-31
EP2518995B1 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
JP4790086B2 (ja) 多眼撮像装置および多眼撮像方法
US9247227B2 (en) Correction of the stereoscopic effect of multiple images for stereoscope view
US9798155B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
TWI408956B (zh) 畫像處理裝置、固態攝像裝置及照相機模組
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2012008224A1 (ja) 画像撮像装置
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5901781B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR20100002231A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 기록 매체
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
US9008412B2 (en) Image processing device, image processing method and recording medium for combining image data using depth and color information
JPWO2006064770A1 (ja) 撮像装置
JP7027064B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2013038502A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011013993A (ja) 画像表示装置および方法並びにプログラム
JP2010181826A (ja) 立体画像形成装置
JP5348258B2 (ja) 撮像装置
JP2013247543A (ja) 撮像装置、表示装置、および画像処理方法、並びにプログラム
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP2011182325A (ja) 撮像装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2006295329A (ja) 画像処理装置、撮像装置、画像処理方法
JP2023101331A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080057930.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10839474

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13518294

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010839474

Country of ref document: EP