WO2016132950A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2016132950A1
WO2016132950A1 PCT/JP2016/053716 JP2016053716W WO2016132950A1 WO 2016132950 A1 WO2016132950 A1 WO 2016132950A1 JP 2016053716 W JP2016053716 W JP 2016053716W WO 2016132950 A1 WO2016132950 A1 WO 2016132950A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
camera
image
peripheral
Prior art date
Application number
PCT/JP2016/053716
Other languages
English (en)
French (fr)
Inventor
功久 井藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680009963.5A priority Critical patent/CN107211085B/zh
Priority to JP2017500609A priority patent/JP6645492B2/ja
Priority to US15/535,560 priority patent/US20170359565A1/en
Publication of WO2016132950A1 publication Critical patent/WO2016132950A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to an imaging apparatus and an imaging method, and more particularly, to an imaging apparatus and an imaging method that can perform depth estimation of an image having a repetitive pattern with high accuracy.
  • An imaging apparatus such as a light field camera or a camera that performs depth estimation according to a multi-baseline stereo method (hereinafter referred to as a multi-baseline stereo camera) has a plurality of cameras that capture images of different viewpoints. And such an imaging device estimates the depth of a subject in a captured image by block matching a captured image of a predetermined camera and a captured image of another camera.
  • an imaging apparatus having a plurality of cameras there is an imaging apparatus in which a plurality of cameras are arranged at unequal intervals (see, for example, Patent Document 1).
  • the present disclosure has been made in view of such a situation, and enables depth estimation of an image having a repetitive pattern to be performed with high accuracy.
  • the imaging device includes a plurality of imaging units arranged according to a base length based on a reciprocal of a different prime number with respect to a position of an imaging unit serving as a reference when imaging images of different viewpoints. It is an imaging device provided.
  • a plurality of imaging units are provided that are arranged according to a baseline length based on a reciprocal of a different prime number with respect to a position of an imaging unit serving as a reference when capturing images of different viewpoints. .
  • the imaging method according to the second aspect of the present disclosure includes a plurality of imaging units arranged according to a baseline length based on a reciprocal of a different prime number with respect to a position of an imaging unit serving as a reference when imaging images of different viewpoints.
  • An imaging method including a step in which the reference imaging unit captures images of different viewpoints.
  • a plurality of imaging units arranged according to a baseline length based on a reciprocal of a different prime number with respect to a position of an imaging unit serving as a reference when capturing images of different viewpoints, and the reference The imaging unit that captures images of different viewpoints.
  • the reciprocal of the prime number mentioned above means not a strict value of the reciprocal number of the prime number but a value within the range that exhibits the effect of the present disclosure including the value.
  • an image can be taken. Further, according to the first and second aspects of the present disclosure, it is possible to estimate the depth of an image having a repetitive pattern with high accuracy.
  • Base length X 1 is a diagram illustrating an example of a correlation value in the case where twice the baseline length X 2.
  • Base length X 1 is a diagram illustrating an example of a correlation value when it is 3/2 times the baseline length X 2. It is a block diagram showing an example of composition of an embodiment of a light field camera as an imaging device to which this indication is applied.
  • FIG. 1 shows the structural example of the imaging part of FIG.
  • FIG. 2 shows the 2nd example of arrangement
  • or FIG. 9 It is a flowchart explaining an imaging process.
  • FIGS. 1 to 4 1. Overview of this technology (Figs. 5 and 6) 2. First embodiment: Light field camera (FIGS. 7 to 15) 3. Second Embodiment: Computer (FIG. 16) 4). Application example (FIGS. 17 and 18)
  • FIG. 1 is a perspective view illustrating an example of an arrangement of cameras included in a stereo camera.
  • the stereo camera 10 in FIG. 1 has two cameras 11 and 12, and the cameras 11 and 12 are arranged in a horizontal direction (X direction).
  • FIG. 2 is a diagram illustrating an example of a captured image captured by the stereo camera 10 of FIG.
  • the captured image 31 is captured by the camera 11 of the stereo camera 10
  • the captured image 32 is captured by the camera 12.
  • the block 41 of the captured image 31 and the blocks 43 of the captured image 32 existing on the epipolar line 42 of the block 41 are block-matched in order. Then, based on the difference between the horizontal positions of the block 41 and the block 43 having the highest correlation, the depth of the subject of the captured image 31 is estimated.
  • the captured image 31 and the captured image 32 include a check pattern 51 including a repeated pattern in the horizontal direction and the vertical direction, and the interval between the check patterns 51 is small, the correlation with the block 41 is performed.
  • Blocks 43 having a high value appear at predetermined intervals. Therefore, there is a high possibility that the erroneous block 43 is selected as the block having the highest correlation with the block 41, and it is difficult to perform accurate depth estimation.
  • FIG. 3 is a perspective view illustrating an example of an arrangement of cameras included in the light field camera.
  • the light field camera 90 in FIG. 3 has one reference camera 100 and seven peripheral cameras 101 to 107.
  • the reference camera 100 and the peripheral cameras 101 to 107 are arranged on the XY plane with the position of the reference camera 100 as the origin (0, 0).
  • the coordinates of the positions of the peripheral cameras 101 to 107 are (X 1 , Y 1 ), (X 2 , Y 2 ), (X 3 , Y 3 ), (X 4 , Y 4 ), (X 5 , Y 5 ), (X 6 , Y 6 ), (X 7 , Y 7 ).
  • FIG. 4 is a diagram illustrating an example of captured images of the reference camera 100 and the peripheral cameras 101 and 102 in FIG.
  • a vertical stripe repetitive pattern with an interval of x r pixels exists in the captured image 140 of the reference camera 100.
  • the peripheral camera 101 captures the captured image 141
  • the peripheral camera 102 captures the captured image 142.
  • the epipolar line 152 of the block 151 is matched with the block 151 centered on the position (x 0 , y 0 ).
  • the center position (x 1 , y 1 ) of the block 153 in the captured image 141 is calculated by the following equation (1).
  • D is a disparity value representing the parallax corresponding to the block 151 and the block 153, and is a value representing the position in the depth direction of the subject existing in both the block 151 and the block 153.
  • An integer greater than or equal to 0 is sequentially substituted for the disparity value D.
  • a is an arbitrary coefficient that determines the movement amount of the block 153.
  • block matching of the block 151 and the block 155 is sequentially performed, and the correlation value is held in association with the disparity value D.
  • Such block matching is also performed on captured images of the reference camera 100 and the peripheral cameras 103 to 107. Then, for each disparity value D, the correlation values in the captured images of all the held peripheral cameras 101 to 107 are added together, and the disparity value D having the largest sum is taken as the depth estimation result.
  • the interval of the x-direction and y-direction of the repeating pattern contained in the captured image 140, respectively, is greater than the width xw n, yw n, the number of repeated patterns included in the search range of block matching and 1 or less Become. Therefore, there is no misperception of depth estimation due to the repeated pattern.
  • FIG. 5 shows a block 151 and a block when the base line length X 1 is twice the base line length X 2 , that is, when the reference camera 100, the peripheral camera 101, and the peripheral camera 102 are arranged at equal intervals in the horizontal direction. It is a figure which shows the example of the correlation value of 153 and the block 151, and the block 155.
  • FIG. 5 shows a block 151 and a block when the base line length X 1 is twice the base line length X 2 , that is, when the reference camera 100, the peripheral camera 101, and the peripheral camera 102 are arranged at equal intervals in the horizontal direction. It is a figure which shows the example of the correlation value of 153 and the block 151, and the block 155.
  • the horizontal axis represents the disparity value D corresponding to the block 151 and the block 153 or the block 151 and the block 155
  • the vertical axis represents the correlation value corresponding to the disparity value D. The same applies to FIG. 6 described later.
  • FIG. 5A is a graph showing the correlation value between the block 151 and the block 153
  • FIG. 5B is a graph showing the correlation value between the block 151 and the block 155
  • C of FIG. 5 is a graph showing a combined correlation value (SSAD) obtained by adding the correlation values of the block 151 and the block 153 and the correlation values of the block 151 and the block 155.
  • SSAD combined correlation value
  • the peak of the correlation value between the block 151 and the block 155 occurs in the period dw
  • the peak of the correlation value between the block 151 and the block 153 is shown in FIG. Occurs at half the period dw. That is, when the baseline length of the reference camera 100 and the peripheral camera is doubled, the peak period of the correlation value is 1 ⁇ 2 times the reciprocal of the double. Further, the phase of the peak of the correlation value of the block 151 and the block 153 and the phase of the peak of the correlation value of the block 151 and the block 155 are synchronized.
  • the peak of the sum of correlation values of the block 151 and the block 153 and the correlation value of the block 151 and the block 155 is the peak of the correlation value of the block 151 and the block 155 as shown in FIG. It occurs with the same disparity value D as the peak. That is, the period of the peak with the large total correlation value is the period dw that is the least common multiple of the period 1 ⁇ 2 dw and the period dw.
  • FIG. 6 is a diagram illustrating examples of correlation values of the block 151 and the block 153 and the block 151 and the block 155 when the base line length X 1 is 3/2 times the base line length X 2 .
  • FIG. 6A is a graph showing the correlation value between the block 151 and the block 153
  • FIG. 6B is a graph showing the correlation value between the block 151 and the block 155
  • C in FIG. 6 is a graph showing a combined correlation value obtained by adding the correlation values of the block 151 and the block 153 and the correlation values of the block 151 and the block 155.
  • the peak of the correlation value between the block 151 and the block 155 occurs in the period dw
  • the peak of the correlation value between the block 151 and the block 153 is shown in FIG. Occurs at 2/3 times the period dw. That is, when the baseline length of the reference camera 100 and the peripheral camera is 3/2 times, the peak period of the correlation value is 2/3 times the reciprocal of 3/2 times. Further, the phase of the peak of the correlation value of the block 151 and the block 153 and the phase of the peak of the correlation value of the block 151 and the block 155 are synchronized.
  • the peak of the correlation value between the block 151 and the block 153 and the correlation value between the block 151 and the block 155 is the sum of the correlation values between the block 151 and the block 155, as shown in FIG. It occurs with a period 2dw that is twice the period dw of the peak. That is, the period of the peak with the large total correlation value is the period 2dw which is the least common multiple of the period 2 / 3dw and the period dw.
  • This period 2dw the base length is equal to the period of the peak of the correlation values in the captured image near the camera and the reference camera 100 is a half of the base length X 2.
  • the reciprocal of the ratio of the base line length Xn in the horizontal direction between the reference camera 100 and the peripheral cameras 101 to 107 is the peak period of the correlation value. It becomes a ratio. Further, the least common multiple of the peak period of the correlation value corresponding to each of the peripheral cameras 101 to 107 becomes the peak period with the large total correlation value.
  • the vertical direction Y n between the reference camera 100 and each of the peripheral cameras 101 to 107 is similar to the case where the vertical stripe repetition pattern exists when the captured image 140 has a horizontal stripe repetition pattern.
  • the reciprocal of the ratio of the base line lengths is the ratio of the correlation value peak periods. Further, the least common multiple of the peak period of the correlation value corresponding to each of the peripheral cameras 101 to 107 becomes the peak period with the large total correlation value.
  • the peak of the large summed correlation value can be obtained without reducing the baseline length. Increase the generation period.
  • the width of the repetitive pattern can be made larger than the width xw n and width yw n .
  • the period of the peak having a large summed correlation value is the least common multiple of the period of the peak of the correlation value corresponding to each peripheral camera. Therefore, by setting the ratio of the peak periods of the correlation values corresponding to the peripheral cameras to a value close to the prime number ratio, the period of the peak having a large combined correlation value can be effectively lengthened.
  • the period of the peak of the correlation value corresponding to each of the four peripheral cameras is 2, 3, 5, or 7 times the certain period dws
  • the ratio of the peak periods of the correlation values corresponding to each peripheral camera is the reciprocal of the ratio of the baseline lengths of the reference camera 100 and each peripheral camera. Accordingly, when the ratio of the peak periods of the correlation values corresponding to each peripheral camera is 2: 3: 5: 7, the ratio of the baseline lengths of the reference camera 100 and each peripheral camera is 1/2: 1 / It becomes 3: 1/5: 1/7.
  • FIG. 7 is a block diagram illustrating a configuration example of an embodiment of a light field camera as an imaging apparatus to which the present disclosure is applied.
  • the light field camera 200 generates a virtual focus captured image as a refocused image from captured images acquired by a plurality of cameras.
  • the imaging unit 201 of the light field camera 200 includes one reference camera (imaging unit) serving as a reference when imaging images from different viewpoints, and a plurality of other peripheral cameras (imaging units).
  • the plurality of peripheral cameras are arranged according to the baseline length based on the reciprocal of different prime numbers, with the position of the reference camera as a reference.
  • the reference camera and the peripheral camera capture images from different viewpoints.
  • the imaging unit 201 supplies the image processing unit 202 with a block including one or more pixels of the captured images (light ray information) captured by the reference camera and the peripheral camera. .
  • the imaging unit 201 supplies the captured image captured by the reference camera and the peripheral camera to the image processing unit 202.
  • the image processing unit 202 is configured by, for example, an LSI (Large Scale Integration).
  • the image processing unit 202 includes a detection unit 211, a virtual viewpoint image generation unit 212, and a refocus image generation unit 213.
  • the detection unit 211 uses the block of the captured image of the reference camera supplied from the imaging unit 201 and the block of the captured image of each peripheral camera, for example, the depth of the image of the reference camera for each pixel. Estimate.
  • the detection unit 211 sequentially determines each pixel of the captured image of the reference camera as a processing target pixel. For each candidate disparity value, the detection unit 211 detects a block of a captured image of a reference camera including a pixel to be processed and a block of captured images of each peripheral camera corresponding to the disparity value. To request. The detection unit 211 performs block matching for each peripheral camera using the captured image block of the reference camera and the captured image block of each peripheral camera supplied from the imaging unit 201 in response to the request. As described above, the detection unit 211 obtains a correlation value corresponding to each disparity value for each peripheral camera and each pixel.
  • the detection unit 211 adds up the correlation values of all the peripheral cameras for each disparity value of each pixel to obtain a combined correlation value.
  • the detection unit 211 sets the disparity value having the largest total correlation value for each pixel as the depth estimation result.
  • the detection unit 211 supplies the parallax image formed from the depth estimation result of each pixel to the virtual viewpoint image generation unit 212 as the parallax image of the viewpoint of the reference camera.
  • the virtual viewpoint image generation unit 212 (generation unit) generates a viewpoint parallax image of the peripheral camera using the parallax image of the reference camera viewpoint supplied from the detection unit 211.
  • the virtual viewpoint image generation unit 212 uses the generated parallax images of the viewpoints and the captured images of the viewpoints supplied from the imaging unit 201 to capture images (light rays) of virtual viewpoints other than the viewpoints of the reference camera and the peripheral cameras. Information). Specifically, for example, the virtual viewpoint image generation unit 212 interpolates the captured image of the virtual viewpoint using the viewpoint parallax image and the captured image around the virtual viewpoint.
  • the virtual viewpoint image generation unit 212 converts the captured image of each viewpoint and the captured image of the virtual viewpoint supplied from the imaging unit 201 to the refocus image generation unit 213 as a high-density viewpoint super multi-view image (ray group information). Supply.
  • the refocus image generation unit 213 uses the super multi-viewpoint image supplied from the virtual viewpoint image generation unit 212 to generate a virtual focus captured image as a refocus image.
  • the refocus image generation unit 213 outputs the generated refocus image.
  • FIG. 8 is a block diagram illustrating a configuration example of the imaging unit 201 in FIG.
  • the imaging unit 201 in FIG. 8 includes a reference camera 221-0, N (N is an integer of 2 or more) peripheral cameras 221-1 to 221-N, a capture control unit 222, a frame memory 223, a read control unit 224, and The correction unit 225 is configured.
  • the reference camera 221-0 includes a lens 221A-0 and an image sensor 221B-0 such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
  • the reference camera 221-0 performs imaging in accordance with the synchronization signal supplied from the capture control unit 222.
  • the reference camera 221-0 receives light incident from the subject by the image sensor 221B-0 via the lens 221A-0 according to the synchronization signal, and outputs an analog signal obtained as a result thereof. By performing A / D conversion and the like, imaging is performed.
  • the reference camera 221-0 captures a captured image obtained as a result of imaging and supplies the captured image to the control unit 222.
  • the peripheral cameras 221-1 to 221 -N are configured in the same manner as the reference camera 221-0, and perform imaging according to a synchronization signal from the capture control unit 222.
  • the peripheral cameras 221-1 to 221-N capture captured images obtained as a result of imaging and supply the captured images to the control unit 222.
  • the capture control unit 222 obtains captured images of different viewpoints at the same time by supplying the same synchronization signal to the reference camera 221-0 and the peripheral cameras 221-1 to 221-N.
  • the capture control unit 222 supplies the acquired captured images at different viewpoints at the same time to the frame memory 223 (storage unit) and stores them.
  • the read control unit 224 In response to a request from the detection unit 211 in FIG. 7, the read control unit 224 reads a predetermined block of the captured images of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N from the frame memory 223. To control reading. The read control unit 224 supplies the read block to the correction unit 225. Further, the read control unit 224 reads out the captured images of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N from the frame memory 223, and supplies them to the correction unit 225.
  • the correction unit 225 performs correction processing such as black level correction, distortion correction, and shading correction on the block and the captured image supplied from the read control unit 224.
  • the correction unit 225 supplies the block after the correction process to the detection unit 211 in FIG. 7 and supplies the captured image after the correction process to the virtual viewpoint image generation unit 212.
  • the reference camera 221-0 (imaging unit) and the peripheral cameras 221-1 to 221-N (imaging unit) may not include the lenses 221A-0 to 221A-N.
  • the imaging unit 201 arranges lenses 221A-0 to 221A-N separately from the reference camera 221-0 and the peripheral cameras 221-1 to 221-N.
  • FIG. 9 is a perspective view illustrating a first arrangement example of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N of the imaging unit 201 in FIG.
  • one reference camera 230 as the reference camera 221-0 and four peripheral cameras 231 to 234 as the peripheral cameras 221-1 to 221-N are arranged in the horizontal direction.
  • the horizontal distance between the reference camera 230 and each of the peripheral cameras 231 to 234, that is, the horizontal base line length between each of the reference camera 230 and each of the peripheral cameras 231 to 234, is set to a predetermined value da. Multiplyed value. Specifically, the base line lengths in the horizontal direction between the reference camera 230 and the peripheral cameras 231 to 234 are 1/7 da, 1/5 da, 1/3 da, 1/2 da, respectively.
  • the base line length in the horizontal direction of each of the reference camera 230 and the peripheral cameras 231 to 234 is a value obtained by multiplying the predetermined value da by a value close to the reciprocal number of the prime number, a value obtained by multiplying the predetermined value da by the reciprocal number of the prime number. Not necessarily.
  • the reference camera and the peripheral camera may be arranged in one direction such as a vertical direction and an oblique direction other than the horizontal direction.
  • the reference camera and the peripheral camera are arranged in the vertical direction, it is possible to suppress misperception of depth estimation due to the repeated pattern in the vertical direction.
  • FIG. 10 is a perspective view illustrating a second arrangement example of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N of the imaging unit 201 in FIG.
  • one reference camera 250 as the reference camera 221-0 and eight peripheral cameras 251 to 258 as the peripheral cameras 221-1 to 221-N are two-dimensionally arranged.
  • the horizontal distance between the reference camera 250 and each of the peripheral cameras 251 to 256 that is, the base length in the horizontal direction between the reference camera 250 and each of the peripheral cameras 251 to 256, the reciprocal of different prime numbers is set to a predetermined value da. Multiplyed value.
  • the horizontal base line lengths of the reference camera 250 and the peripheral cameras 251 to 258 are 1/13 da, 1/11 da, 1/7 da, 1/5 da, 1/3 da, 1/2 da, respectively.
  • the vertical distance between the reference camera 250 and the peripheral cameras 251 to 254, 257, and 258, that is, the vertical base line length between the reference camera 250 and the peripheral cameras 251 to 254, 257, and 258 (Vertical baseline length) is a value obtained by multiplying a predetermined value da by an inverse of different prime numbers.
  • the base line lengths in the vertical direction between the reference camera 250 and the peripheral cameras 251 to 254, 257, and 258 are 1/13 da, 1/11 da, 1/5 da, 1/7 da, 1/3 da, 1 / 2da.
  • the period of the peak with the large total correlation value is 2310 times the period of the peak of the correlation value of the captured images of the peripheral camera 251 and the reference camera 250 whose horizontal base length with the reference camera 250 is the shortest 1/13 da. become. Therefore, it is possible to improve the limit spatial frequency at which the depth estimation misrecognition occurs due to the horizontal repeat pattern by 2310 times.
  • the limit spatial frequency at which misrecognition of depth estimation occurs due to the repeated pattern in the vertical direction can be improved 2310 times.
  • the base line length in the horizontal direction and the vertical direction of each of the reference camera 250 and the peripheral cameras 251 to 258 is a value obtained by multiplying the predetermined value da by a value close to the reciprocal number of the prime number. It does not have to be a multiplied value.
  • FIG. 11 is a perspective view showing a third arrangement example of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N of the imaging unit 201 in FIG.
  • one reference camera 270 as the reference camera 221-0 and eight peripheral cameras 271 to 278 as the peripheral cameras 221-1 to 221-N are arranged in a cross shape. Specifically, the reference camera 270 and the peripheral cameras 271 to 274 are arranged in the horizontal direction around the peripheral camera 272, and the peripheral cameras 272 and 275 to 278 are arranged in the vertical direction.
  • the horizontal base lengths of the reference camera 270 and the peripheral cameras 271 to 274 are values obtained by multiplying a predetermined value da by the reciprocal of different prime numbers. Specifically, the base line lengths in the horizontal direction between the reference camera 270 and the peripheral cameras 271 to 274 are 1/7 da, 1/5 da, 1/3 da, 1/2 da, respectively.
  • the vertical base line lengths of the peripheral camera 275 and the peripheral cameras 272 and 276 to 278 are values obtained by multiplying a predetermined value db by the reciprocal of different prime numbers. Specifically, the vertical base line lengths of the peripheral camera 275 and the peripheral cameras 272 and 276 to 278 are 1/5 db, 1/7 db, 1/3 db, 1/2 db, respectively.
  • the horizontal baseline lengths of the reference camera 270 and the peripheral cameras 271 to 274 are values obtained by multiplying the predetermined value da by a value close to the reciprocal of the prime, and the value obtained by multiplying the predetermined value da by the reciprocal of the prime. Not necessarily.
  • the vertical base line lengths of the peripheral camera 275 and the peripheral cameras 272 and 276 to 278 are values obtained by multiplying the predetermined value da by a value close to the reciprocal of the prime, the reciprocal of the prime is set to the predetermined value da. It does not have to be a multiplied value.
  • FIG. 12 is a perspective view showing a fourth arrangement example of the imaging unit 201 reference camera 221-0 and the peripheral cameras 221-1 to 221-N in FIG.
  • peripheral cameras 291 to 295 as peripheral cameras 221-1 to 221-N are arranged in a regular pentagonal shape with one reference camera 290 as the reference camera 221-0 as the center. ing.
  • the base line length in the horizontal direction between the reference camera 290 and the peripheral cameras 291 to 294 is a value obtained by multiplying the reciprocal of a prime number by a predetermined value da.
  • the horizontal baseline length of the reference camera 290 and the peripheral cameras 291 and 292 is 1/5 da
  • the horizontal baseline length of the reference camera 290 and the peripheral cameras 293 and 294 is 1 / 3da.
  • the horizontal position of the peripheral camera 295 is the same as the horizontal position of the reference camera 290.
  • the base line length in the vertical direction between the reference camera 290 and the peripheral cameras 291 to 294 is a value obtained by multiplying the reciprocal of a prime number by a predetermined value db.
  • the vertical baseline length of the reference camera 290 and the peripheral cameras 291 and 292 is 1/5 db
  • the vertical baseline length of the reference camera 290 and the peripheral cameras 293 and 294 is 1 / 13 db.
  • the base line length in the vertical direction of the reference camera 290 and the peripheral camera 295 is 1/4 db.
  • the virtual viewpoint image generation unit 212 uses the captured image and the parallax image of the viewpoint of the camera located at the vertex of the triangle having the same size as the triangles 301 to 305 including the virtual viewpoint, regardless of the position of the virtual viewpoint.
  • the captured image of the virtual viewpoint can be interpolated by a method of interpolating the captured image of the viewpoint. That is, it is not necessary to change the interpolation method of the captured image of the virtual viewpoint depending on the position of the virtual viewpoint. Therefore, the captured image of the virtual viewpoint can be easily interpolated.
  • FIG. 13 is a perspective view showing a fifth arrangement example of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N of the imaging unit 201 in FIG.
  • one reference camera 310 as the reference camera 221-0 and 18 peripheral cameras 311 to 328 as the peripheral cameras 221-1 to 221-N are arranged.
  • the peripheral cameras 311 to 316 are arranged in a regular hexagonal shape with the reference camera 310 as the center
  • the peripheral cameras 317 to 328 are arranged in a regular dodecagonal shape with the reference camera 310 as the center.
  • the lengths of the sides of the regular hexagonal shape and the regular dodecagonal shape are equal.
  • the horizontal base line lengths of the reference camera 310 and the peripheral cameras 311 to 314 and 317 to 328 are values obtained by multiplying the predetermined value da by the reciprocal of the prime number.
  • the horizontal base lengths of the reference camera 310 and the peripheral cameras 311 to 314 and 317 to 320 are 1/19 da, and the horizontal base lines of the reference camera 310 and the peripheral cameras 321 to 324 are each.
  • the length is 1/7 da.
  • the base line length in the horizontal direction between the reference camera 310 and the peripheral cameras 325 to 328 is 1/5 da.
  • the base line length in the horizontal direction between the reference camera 310 and the peripheral cameras 315 and 316 is 2/19 da.
  • the base line length in the vertical direction between the reference camera 310 and the peripheral cameras 311 to 328 is a value obtained by multiplying the predetermined value da by the reciprocal of the prime number. Specifically, the vertical base line length of the reference camera 310 and the peripheral cameras 325 to 328 is 1/19 da, and the vertical base line length of the reference camera 310 and the peripheral cameras 311 to 314 is 1 / 11da.
  • the base line length in the vertical direction between the reference camera 310 and the peripheral cameras 321 to 324 is 1/7 da
  • the base line length in the vertical direction between the reference camera 310 and the peripheral cameras 317 to 320 is 1/5 da. is there.
  • the peripheral cameras 311 to 316 are arranged in a regular hexagonal shape centered on the reference camera 310, and the peripheral cameras 317 to 328 are arranged in a regular dodecagonal shape centered on the reference camera 310.
  • most of the baseline lengths in the horizontal direction and the vertical direction are values obtained by multiplying the reciprocal of the prime number by a predetermined value. Therefore, it is possible to suppress the misperception of the depth estimation due to the repeated pattern in the horizontal direction and the vertical direction.
  • the first interpolation method is a method of interpolating the captured image of the virtual viewpoint using the captured image and the parallax image of the camera viewpoint located at the apex of the equilateral triangle having the same size as the triangles 341 to 352 including the virtual viewpoint. is there.
  • the second interpolation method is a method of interpolating the captured image of the virtual viewpoint using the captured image and the parallax image of the viewpoint of the camera located at the vertex of the square having the same size as the quadrangles 361 to 366 including the virtual viewpoint. . As described above, the captured image of the virtual viewpoint can be easily interpolated.
  • FIG. 14 is a diagram for explaining first to fifth arrangement examples of the reference camera and the peripheral camera shown in FIGS. 9 to 13 and an effect of the arrangement.
  • the names of the arrangements shown in FIGS. 9 to 13 are described in the left column, the degree of the effect on the misperception of depth estimation due to the repeated pattern is described in the center column, and The column describes the degree of effect on the interpolation of the captured image of the virtual viewpoint.
  • the first to fifth arrangement examples are referred to as a horizontal arrangement, a two-dimensional arrangement, a cross-shaped arrangement, a regular pentagonal arrangement, and 19 arrangements, respectively.
  • the arrangement of the reference camera and the peripheral camera of the imaging unit 201 is the horizontal arrangement of FIG. 9, the distances between adjacent cameras are all different. Furthermore, when the arrangement of the reference camera and the peripheral camera of the imaging unit 201 is the two-dimensional arrangement of FIG. 10 and the cross-shaped arrangement of FIG. 11, three or more adjacent cameras of the reference camera and the peripheral camera are connected. All shapes are different. Therefore, there is no effect on the interpolation of the captured image of the virtual viewpoint. Therefore, in the right column of the second to fourth rows in the table of FIG. 14, “X” indicating “None” is described as the degree of the effect on the interpolation of the captured image of the virtual viewpoint.
  • the arrangement of the reference camera and the peripheral cameras of the imaging unit 201 is the regular pentagonal arrangement of FIG. 12 and the 19 arrangements of FIG. 13, the adjacent cameras of the reference camera and the peripheral cameras are connected to each other. At least some of the shapes are identical. Accordingly, the number of methods for interpolating the virtual viewpoint captured image is small, and the virtual viewpoint captured image can be easily interpolated.
  • the lengths of the sides of the triangles 341 to 352 and the rectangles 361 to 366 are the same. Therefore, the interpolation of the captured image of the virtual viewpoint can be performed with an equal density. Therefore, in the right column of the sixth row in the table of FIG. 14, a circle representing “high” is described as the degree of the effect on the interpolation of the captured image of the virtual viewpoint.
  • the light field camera 200 includes the reference camera that captures images of different viewpoints and a plurality of peripheral cameras, and the distance between at least one direction between the reference camera and at least two peripheral cameras is different. This is a value obtained by multiplying the reciprocal of the prime number by a predetermined value. Accordingly, it is possible to estimate the depth of a captured image having a repetitive pattern in at least one direction with high accuracy. As a result, the accuracy of the refocus image is improved.
  • the depth estimation of the captured image having a repetitive pattern is performed with high accuracy. It is difficult.
  • the resolutions of the reference camera and the peripheral camera may be the same or different.
  • the disparity value can be obtained in units of subpixels.
  • the number of peripheral cameras is not limited to the number described above. As the number of peripheral cameras increases, it is possible to suppress misperception of depth estimation due to finer repeated patterns. Furthermore, the predetermined values da and db can be set to arbitrary values.
  • FIG. 15 is a flowchart for describing an imaging process of the light field camera 200 of FIG.
  • step S 11 of FIG. 15 the reference camera 221-0 and the peripheral cameras 221-1 to 221 -N (FIG. 8) of the imaging unit 201 of the light field camera 200 have the same time according to the synchronization signal from the capture control unit 222. An image of each viewpoint is taken. The captured image obtained as a result is stored in the frame memory 223 via the capture control unit 222.
  • the read control unit 224 reads a predetermined block of the captured images of the reference camera 221-0 and the peripheral cameras 221-1 to 221 -N from the frame memory 223. Further, the read control unit 224 reads out the captured images of the reference camera 221-0 and the peripheral cameras 221-1 to 221-N from the frame memory 223.
  • the block read from the frame memory 223 is supplied to the detection unit 211 via the correction unit 225, and the captured image read from the frame memory 223 is supplied to the virtual viewpoint image generation unit 212 via the correction unit 225. Is done.
  • step S12 the detection unit 211 uses the captured image block of the reference camera 221-0 and the captured image blocks of the peripheral cameras 221-1 to 221-N supplied from the correction unit 225, for example, for each pixel.
  • the depth of the viewpoint of the reference camera 221-0 is estimated.
  • the detection unit 211 supplies the parallax image formed from the depth estimation result of each pixel to the virtual viewpoint image generation unit 212 as the parallax image of the viewpoint of the reference camera 221-0.
  • step S13 the virtual viewpoint image generation unit 212 generates the viewpoint parallax images of the peripheral cameras 221-1 to 221-N using the viewpoint parallax image of the reference camera 221-0 supplied from the detection unit 211. .
  • step S14 the virtual viewpoint image generation unit 212 interpolates the captured image of the virtual viewpoint using the generated parallax image of each viewpoint and the captured image of each viewpoint supplied from the correction unit 225.
  • the virtual viewpoint image generation unit 212 supplies the captured image of each viewpoint and the captured image of the virtual viewpoint supplied from the correction unit 225 to the refocus image generation unit 213 as a super multi-view image of a high-density viewpoint.
  • step S15 the refocus image generation unit 213 uses the super multi-viewpoint image supplied from the virtual viewpoint image generation unit 212 to generate a virtual focus captured image as a refocus image.
  • the refocus image generation unit 213 outputs the generated refocus image and ends the process.
  • ⁇ Second Embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • An imaging unit 406, an input unit 407, an output unit 408, a storage unit 409, a communication unit 410, and a drive 411 are connected to the input / output interface 405.
  • the imaging unit 406 is configured in the same manner as the imaging unit 201 in FIG.
  • the input unit 407 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 408 includes a display, a speaker, and the like.
  • the storage unit 409 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 410 includes a network interface or the like.
  • the drive 411 drives a removable medium 412 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads the program stored in the storage unit 409 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 400 can be provided by being recorded on a removable medium 412 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 409 via the input / output interface 405 by attaching the removable medium 412 to the drive 411. Further, the program can be received by the communication unit 410 via a wired or wireless transmission medium and installed in the storage unit 409. In addition, the program can be installed in the ROM 402 or the storage unit 409 in advance.
  • the program executed by the computer 400 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle.
  • FIG. 17 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 2000 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 2000 includes a plurality of electronic control units connected via a communication network 2010.
  • the vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, a vehicle exterior information detection unit 2400, a vehicle interior information detection unit 2500, and an integrated control unit 2600.
  • the communication network 2010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 2010, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 2610 As a functional configuration of the integrated control unit 2600, a microcomputer 2610, a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, an audio image output unit 2670, An in-vehicle network I / F 2680 and a storage unit 2690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 2100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 2200 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 2200 receives the input of these radio waves or signals, and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 2300 controls the secondary battery 2310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 2300 from a battery device including the secondary battery 2310. The battery control unit 2300 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 2310 or the cooling device provided in the battery device.
  • the outside information detection unit 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the vehicle exterior information detection unit 2400 is connected to at least one of the imaging unit 2410 and the vehicle exterior information detection unit 2420.
  • the imaging unit 2410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle on which the vehicle control system 2000 is mounted. A surrounding information detection sensor is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 2410 and the outside information detection unit 2420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 18 shows an example of installation positions of the imaging unit 2410 and the vehicle outside information detection unit 2420.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one position among a front nose, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of shooting ranges of the respective imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the vehicle outside information detection units 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner, and upper windshield of the vehicle 2900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These vehicle outside information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle outside information detection unit 2400 causes the imaging unit 2410 to capture an image outside the vehicle and receives the captured image data.
  • the vehicle exterior information detection unit 2400 receives detection information from the vehicle exterior information detection unit 2420 connected thereto.
  • the vehicle outside information detection unit 2420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle outside information detection unit 2400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 2400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle outside information detection unit 2400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 2400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 2400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 2400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 2410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 2400 may perform viewpoint conversion processing using image data captured by different imaging units 2410.
  • the in-vehicle information detection unit 2500 detects in-vehicle information.
  • a driver state detection unit 2510 that detects the driver's state is connected to the in-vehicle information detection unit 2500.
  • the driver state detection unit 2510 may include a camera that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 2500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 2510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 2500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 2600 controls the overall operation in the vehicle control system 2000 according to various programs.
  • An input unit 2800 is connected to the integrated control unit 2600.
  • the input unit 2800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 2800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 2000. May be.
  • the input unit 2800 may be, for example, a camera. In this case, the passenger can input information using a gesture.
  • the input unit 2800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 2800 and outputs the input signal to the integrated control unit 2600.
  • a passenger or the like operates the input unit 2800 to input various data or instruct a processing operation to the vehicle control system 2000.
  • the storage unit 2690 may include a RAM (Random Access Memory) that stores various programs executed by the microcomputer, and a ROM (Read Only Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 2690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 2620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 2750.
  • the general-purpose communication I / F 2620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) may be implemented.
  • the general-purpose communication I / F 2620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be. Further, the general-purpose communication I / F 2620 is connected to a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. May be.
  • a terminal for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 2630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 2630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communications) which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. .
  • the dedicated communication I / F 2630 is typically a V2X concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, and vehicle-to-pedestrian communication. Perform communication.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 2650 may be included in the dedicated communication I / F 2630 described above.
  • the in-vehicle device I / F 2660 is a communication interface that mediates connections between the microcomputer 2610 and various devices existing in the vehicle.
  • the in-vehicle device I / F 2660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 2660 may establish a wired connection via a connection terminal (and a cable if necessary).
  • the in-vehicle device I / F 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device that a passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle network I / F 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network I / F 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is connected via at least one of a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, and an in-vehicle network I / F 2680.
  • the vehicle control system 2000 is controlled according to various programs.
  • the microcomputer 2610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. Also good.
  • the microcomputer 2610 may perform cooperative control for the purpose of avoiding or reducing the collision of a vehicle, following traveling based on the inter-vehicle distance, traveling at a vehicle speed, automatic driving, and the like.
  • the microcomputer 2610 is information acquired via at least one of the general-purpose communication I / F 2620, the dedicated communication I / F 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device I / F 2660, and the in-vehicle network I / F 2680. Based on the above, local map information including peripheral information on the current position of the vehicle may be created. Further, the microcomputer 2610 may generate a warning signal by predicting a danger such as collision of a vehicle, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or outside the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are illustrated as output devices.
  • the display unit 2720 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a projector, or a lamp other than these devices.
  • the display device can display the results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 2010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 2000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 2010. .
  • the imaging unit 201 in FIG. 7 can be applied to, for example, the imaging unit 2410 in FIG. Further, the image processing unit 202 in FIG. 7 can be applied to, for example, the vehicle outside information detection unit 2400 in FIG. Thereby, the depth estimation of the image outside the vehicle having the repetitive pattern can be performed with high accuracy. As a result, the accuracy of the refocus image is improved.
  • peripheral cameras 221-1 to 221-N may be arranged in a polygonal shape other than a regular pentagon, a regular hexagon, and a regular dodecagon with the reference camera 221-0 as the center.
  • This technology can also be applied to multi-baseline stereo cameras.
  • this indication can also take the following structures.
  • An imaging apparatus comprising: a plurality of imaging units arranged according to a baseline length based on a reciprocal of a different prime number with reference to a position of an imaging unit serving as a reference when capturing images of different viewpoints.
  • the baseline length is a value obtained by multiplying a reciprocal of a different prime number by a predetermined value.
  • the baseline length is a horizontal baseline length that is a baseline length in the horizontal direction or a vertical baseline length that is a baseline length in the vertical direction.
  • the baseline length includes a horizontal baseline length that is a horizontal baseline length and a vertical baseline length that is a vertical baseline length.
  • the number of the imaging units is 4 or more, The imaging device according to any one of (1) to (4), wherein a part of a shape connecting three or more adjacent imaging units is the same.
  • the imaging device according to (6) wherein the plurality of imaging units are arranged in a hexagonal shape and a dodecagonal shape centering on the reference imaging unit.
  • a depth estimation unit that performs depth estimation of the image acquired by the reference imaging unit using the image corrected by the correction unit, and generates a parallax image of the image; Generation for generating a super multi-viewpoint image using the parallax images of the reference imaging unit generated by the depth estimation unit and the images acquired by the plurality of imaging units and the reference imaging unit
  • 200 light field camera 230 reference camera, 231 to 234 peripheral camera, 250 reference camera, 251 to 258 peripheral camera, 270 reference camera, 271 to 278 peripheral camera, 290 reference camera, 291 to 295 peripheral camera, 310 reference camera, 311 Thru 328 Peripheral camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　本開示は、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができるようにする撮像装置および撮像方法に関する。 周辺カメラは、異なる視点の画像を撮像する際の基準となる基準カメラの位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置される。本開示は、例えば、基準カメラと複数の周辺カメラを備え、複数の視点の画像から視差画像を生成し、複数の視点の画像と視差画像を用いてリフォーカス画像を生成するライトフィールドカメラ等に適用することができる。

Description

撮像装置および撮像方法
　本開示は、撮像装置および撮像方法に関し、特に、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができるようにした撮像装置および撮像方法に関する。
　ライトフィールドカメラやマルチベースラインステレオ法にしたがった奥行き推定を行うカメラ（以下、マルチベースラインステレオカメラという）などの撮像装置は、異なる視点の画像を撮像する複数のカメラを有する。そして、このような撮像装置は、所定のカメラの撮像画像と他のカメラの撮像画像をブロックマッチングすることにより、撮像画像内の被写体の奥行き推定を行う。
　複数のカメラを有する撮像装置としては、複数のカメラを非等間隔で配置した撮像装置がある（例えば、特許文献１参照）。
特開平11-125522号公報
　ところで、部屋の中や都市の風景など、人間が作り出した世界には、単純な繰り返しパターンが非常に多く含まれる。従って、このような世界が、ライトフィールドカメラやマルチベースラインステレオカメラなどの撮像装置の被写体とされ、ブロックマッチングが行われると、相関の高いブロックが繰り返し出現し、正確な奥行き推定が困難になる。
　本開示は、このような状況に鑑みてなされたものであり、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができるようにするものである。
　本開示の第１の側面の撮像装置は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部を備える撮像装置である。
　本開示の第１の側面においては、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部が備えられる。
　本開示の第２の側面の撮像方法は、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部と前記基準となる撮像部が、異なる視点の画像を撮像するステップを含む撮像方法である。
　本開示の第２の側面においては、異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部と前記基準となる撮像部が、異なる視点の画像を撮像する。
　上述した素数の逆数とは、素数の逆数の厳密な値ではなく、その値を含む本開示の効果を奏する範囲内の値を意味する。
　本開示の第１および第２の側面によれば、画像を撮像することができる。また、本開示の第１および第２の側面によれば、繰り返しパターンを有する画像の奥行き推定を高精度に行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ステレオカメラが有するカメラの配置の一例を示す斜視図である。 図１のステレオカメラで撮像された撮像画像の一例を示す図である。 ライトフィールドカメラが有するカメラの配置の一例を示す斜視図である。 図３の基準カメラと周辺カメラの撮像画像の一例を示す図である。 基線長Ｘ1が基線長Ｘ2の２倍である場合の相関値の例を示す図である。 基線長Ｘ1が基線長Ｘ2の3/2倍である場合の相関値の例を示す図である。 本開示を適用した撮像装置としてのライトフィールドカメラの一実施の形態の構成例を示すブロック図である。 図７の撮像部の構成例を示すブロック図である。 図７の撮像部の基準カメラと周辺カメラの第１の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第２の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第３の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第４の配置例を示す斜視図である。 図７の撮像部の基準カメラと周辺カメラの第５の配置例を示す斜視図である。 図９乃至図１３で示した基準カメラと周辺カメラの第１乃至第５の配置例と、その配置による効果を説明する図である。 撮像処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　０．本開示の前提（図１乃至図４）
　１．本技術の概要（図５および図６）
　２．第１実施の形態：ライトフィールドカメラ（図７乃至図１５）
　３．第２実施の形態：コンピュータ（図１６）
　４．応用例（図１７および図１８）
　＜本開示の前提＞
　（ステレオカメラが有するカメラの配置の一例）
　図１は、ステレオカメラが有するカメラの配置の一例を示す斜視図である。
　図１のステレオカメラ１０は、２つのカメラ１１とカメラ１２を有し、カメラ１１とカメラ１２が、水平方向（Ｘ方向）に並ぶように配置される。
　（ステレオカメラの撮像画像の一例）
　図２は、図１のステレオカメラ１０で撮像された撮像画像の一例を示す図である。
　図２の例では、ステレオカメラ１０のカメラ１１において撮像画像３１が撮像され、カメラ１２において撮像画像３２が撮像される。
　この場合、撮像画像３１のブロック４１と、ブロック４１のエピポーラ線４２上に存在する撮像画像３２の複数のブロック４３のそれぞれとが、順にブロックマッチングされる。そして、相関が最も高いブロック４１とブロック４３の水平方向の位置の差分に基づいて、撮像画像３１の被写体の奥行き推定が行われる。
　しかしながら、図２に示すように、撮像画像３１および撮像画像３２に、水平方向と垂直方向の繰り返しパターンからなるチェック模様５１が含まれ、このチェック模様５１の間隔が小さい場合、ブロック４１との相関が高いブロック４３は、所定の間隔置きに出現する。従って、誤ったブロック４３が、ブロック４１との相関が最も高いブロックとして選択される可能性が高く、正確な奥行き推定を行うことは困難である。
　（ライトフィールドカメラが有するカメラの配置の一例）
　図３は、ライトフィールドカメラが有するカメラの配置の一例を示す斜視図である。
　図３のライトフィールドカメラ９０は、１つの基準カメラ１００と、７つの周辺カメラ１０１乃至１０７を有する。基準カメラ１００と周辺カメラ１０１乃至１０７は、基準カメラ１００の位置を原点(0,0)としたＸＹ平面上に配置される。周辺カメラ１０１乃至１０７の位置の座標は、ぞれぞれ、（Ｘ1，Ｙ1），（Ｘ2，Ｙ2），（Ｘ3，Ｙ3），（Ｘ4，Ｙ4），（Ｘ5，Ｙ5），（Ｘ6，Ｙ6），（Ｘ7，Ｙ7）である。
　（ライトフィールドカメラの撮像画像の一例）
　図４は、図３の基準カメラ１００と周辺カメラ１０１および１０２の撮像画像の一例を示す図である。
　図４の例では、基準カメラ１００の撮像画像１４０に、ｘr個の画素分の間隔の縦縞の繰り返しパターンが存在する。この場合、周辺カメラ１０１は、撮像画像１４１を撮像し、周辺カメラ１０２は、撮像画像１４２を撮像する。
　撮像画像１４０の繰り返しパターン内の位置（x0,y0）の奥行き推定を行う際、位置（x0,y0）を中心としたブロック１５１とマッチングされる、ブロック１５１のエピポーラ線１５２上の撮像画像１４１内のブロック１５３の中心位置（x1,y1）は、以下の式（１）により算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、Ｄは、ブロック１５１とブロック１５３に対応する視差を表すディスパリティ値であり、ブロック１５１とブロック１５３の両方に存在する被写体の奥行き方向の位置を表す値である。ディスパリティ値Ｄには、０以上の整数が順次代入される。これにより、ブロック１５１のエピポーラ線１５２上の撮像画像１４１内のブロックが順次ブロック１５３とされる。また、aは、ブロック１５３の移動量を決める任意の係数である。
　同様に、撮像画像１４０の位置（x0,y0）の奥行き推定を行う際、ブロック１５１とマッチングされる、ブロック１５１のエピポーラ線１５４上の撮像画像１４２内のブロック１５５の中心位置（x2,y2）は、以下の式（２）により算出される。
Figure JPOXMLDOC01-appb-M000002
　また、ブロック１５１とマッチングされる、周辺カメラ１０３乃至１０７の撮像画像内のブロックの中心位置も、中心位置（x1,y1）と同様に算出される。従って、ブロック１５１とマッチングされる周辺カメラ１０１乃至１０７の撮像画像内のブロックの中心位置（xn,yn）（n=1,2,...,7）は、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　そして、奥行き推定の方法として、SSAD(Sum of SAD(Sum of Absolute Difference)）やSSSD(Sum of SSD（Sum of Squared Difference))などが採用される場合、ブロック１５１とブロック１５３のブロックマッチングが順次行われ、ブロック１５３ごとに相関値が求められる。そして、各ブロック１５３の相関値が、そのブロック１５３に対応するディスパリティ値Ｄと対応付けて保持される。
　また、ブロック１５５についても同様に、ブロック１５１とブロック１５５のブロックマッチングが順次行われ、ディスパリティ値Ｄと対応付けて相関値が保持される。このようなブロックマッチングは、基準カメラ１００と周辺カメラ１０３乃至１０７の撮像画像に対しても行われる。そして、ディスパリティ値Ｄごとに、保持されている全ての周辺カメラ１０１乃至１０７の撮像画像における相関値が合算され、合算値が最も大きいディスパリティ値Ｄが、奥行き推定結果とされる。なお、ここでは、相関が高いほど、相関値が大きいものとする。
　ここで、Ｄの範囲を0以上Ｄmax以下とすると、ｘn，ｙnの移動量、即ちブロックマッチングの検索範囲の幅ｘｗn，ｙｗnは、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　従って、撮像画像１４０に含まれる繰り返しパターンのｘ方向およびｙ方向の間隔が、それぞれ、幅ｘｗn，ｙｗnよりも大きいとき、ブロックマッチングの検索範囲内に含まれる繰り返しパターンの数は１以下となる。よって、繰り返しパターンに起因する奥行き推定の誤認は発生しない。
　以上により、繰り返しパターンに起因する奥行き推定の誤認を抑制するためには、幅ｘｗn，ｙｗnが可能な限り小さくなるように、基準カメラ１００と周辺カメラ１０１乃至１０７のＸ方向、Ｙ方向の基線長であるＸn，Ｙn（n=1,2,...7）を小さくする必要がある。しかしながら、基線長Ｘnおよび基線長Ｙnを小さくすると、ディスパリティ値の三角測量の精度が低下する。従って、繰り返しパターンを有する画像の奥行き推定を高精度で行うことは困難である。
　＜本技術の概要＞
　（周辺カメラの基線長と相関値の関係）
　図５は、基線長Ｘ1が基線長Ｘ2の２倍である場合、即ち、基準カメラ１００、周辺カメラ１０１、および周辺カメラ１０２が水平方向に等間隔で配置された場合のブロック１５１とブロック１５３およびブロック１５１とブロック１５５の相関値の例を示す図である。
　なお、図５において、横軸は、ブロック１５１とブロック１５３またはブロック１５１とブロック１５５に対応するディスパリティ値Ｄを表し、縦軸は、そのディスパリティ値Ｄに対応する相関値を表す。このことは、後述する図６においても同様である。
　また、図５のＡは、ブロック１５１とブロック１５３の相関値を表すグラフであり、図５のＢは、ブロック１５１とブロック１５５の相関値を表すグラフである。図５のＣは、ブロック１５１とブロック１５３の相関値とブロック１５１とブロック１５５の相関値とを合算した合算相関値（SSAD）を表すグラフである。
　基線長Ｘ1が基線長Ｘ2の２倍である場合、ブロック１５５のｘ座標であるｘ2がｘrだけ移動するとき、上述した式（１）および式（２）から、ブロック１５３のｘ座標であるｘ1は２ｘrだけ移動することになる。
　従って、図５のＢに示すように、ブロック１５１とブロック１５５の相関値のピークが、周期ｄｗで発生する場合、図５のＡに示すように、ブロック１５１とブロック１５３の相関値のピークは、周期ｄｗの1/2倍で発生する。即ち、基準カメラ１００と周辺カメラの基線長が２倍になると、相関値のピークの周期は、２倍の逆数の1/2倍になる。また、ブロック１５１とブロック１５３の相関値のピークの位相と、ブロック１５１とブロック１５５の相関値のピークの位相は、同期する。
　以上により、ブロック１５１とブロック１５３の相関値と、ブロック１５１とブロック１５５の相関値を合算した合算相関値の大きいピークは、図５のＣに示すように、ブロック１５１とブロック１５５の相関値のピークと同一のディスパリティ値Ｄで発生する。即ち、合算相関値の大きいピークの周期は、周期1/2ｄｗと周期ｄｗの最小公倍数の周期ｄｗである。
　図６は、基線長Ｘ1が基線長Ｘ2の3/2倍である場合のブロック１５１とブロック１５３およびブロック１５１とブロック１５５の相関値の例を示す図である。
　なお、図６のＡは、ブロック１５１とブロック１５３の相関値を表すグラフであり、図６のＢは、ブロック１５１とブロック１５５の相関値を表すグラフである。図６のＣは、ブロック１５１とブロック１５３の相関値とブロック１５１とブロック１５５の相関値とを合算した合算相関値を表すグラフである。
　基線長Ｘ1が基線長Ｘ2の3/2倍である場合、ブロック１５５のｘ座標であるｘ2がｘrだけ移動すると、上述した式（１）および式（２）から、ブロック１５３のｘ座標であるｘ1は3/2ｘrだけ移動することになる。
　従って、図６のＢに示すように、ブロック１５１とブロック１５５の相関値のピークが、周期ｄｗで発生する場合、図６のＡに示すように、ブロック１５１とブロック１５３の相関値のピークは、周期ｄｗの2/3倍で発生する。即ち、基準カメラ１００と周辺カメラの基線長が3/2倍になると、相関値のピークの周期は、3/2倍の逆数の2/3倍になる。また、ブロック１５１とブロック１５３の相関値のピークの位相と、ブロック１５１とブロック１５５の相関値のピークの位相は、同期する。
　以上により、ブロック１５１とブロック１５３の相関値と、ブロック１５１とブロック１５５の相関値を合算した合算相関値の大きいピークは、図６のＣに示すように、ブロック１５１とブロック１５５の相関値のピークの周期ｄｗの２倍の周期２ｄｗで発生する。即ち、合算相関値の大きいピークの周期は、周期2/3ｄｗと周期ｄｗの最小公倍数の周期２ｄｗである。この周期２ｄｗは、基線長が基線長Ｘ2の1/2である周辺カメラと基準カメラ１００の撮像画像における相関値のピークの周期と等しい。
　なお、図５および図６では、周辺カメラ１０１と周辺カメラ１０２における相関値について説明したが、他の２つの周辺カメラにおける相関値においても同様である。
　以上のように、撮像画像１４０に縦縞の繰り返しパターンが存在する場合、基準カメラ１００と周辺カメラ１０１乃至１０７それぞれとの水平方向の基線長Ｘnの比の逆数が、相関値のピークの周期の比となる。また、周辺カメラ１０１乃至１０７のそれぞれに対応する相関値のピークの周期の最小公倍数が、合算相関値の大きいピークの周期となる。
　また、図示は省略するが、撮像画像１４０に横縞の繰り返しパターンが存在する場合も、縦縞の繰り返しパターンが存在する場合と同様に、基準カメラ１００と周辺カメラ１０１乃至１０７それぞれとの垂直方向Ｙnの基線長の比の逆数が、相関値のピークの周期の比となる。また、周辺カメラ１０１乃至１０７のそれぞれに対応する相関値のピークの周期の最小公倍数が、合算相関値の大きいピークの周期となる。
　従って、本技術は、基準カメラと複数の周辺カメラそれぞれとの水平方向および垂直方向の少なくとも一方の基線長の比を異ならせることで、基線長を小さくすることなく、合算相関値の大きいピークの発生周期を長くする。これにより、ディスパリティ値の三角測量の精度を低下させることなく、幅ｘｗnや幅ｙｗnを小さくし、繰り返しパターンの幅が、幅ｘｗnや幅ｙｗnより大きくなるようにすることができる。その結果、繰り返しパターンに起因する奥行き推定の誤認が発生しなくなり、奥行き推定を高精度に行うことができる。
　ここで、上述したように、合算相関値の大きいピークの周期は、各周辺カメラに対応する相関値のピークの周期の最小公倍数である。従って、各周辺カメラに対応する相関値のピークの周期の比を、素数比に近い値にすることにより、合算相関値の大きいピークの周期を効率的に長くすることができる。
　例えば、４つの周辺カメラのそれぞれに対応する相関値のピークの周期が、ある周期ｄｗｓの2倍、3倍、5倍、7倍であると、合算相関値の大きいピークの周期は、周期ｄｗｓの210（=2×3×5×7）倍となる。また、上述したように、各周辺カメラに対応する相関値のピークの周期の比は、基準カメラ１００と各周辺カメラとの基線長の比の逆数である。従って、各周辺カメラに対応する相関値のピークの周期の比が、2：3：5：7である場合、基準カメラ１００と各周辺カメラとの基線長の比は、1/2：1/3：1/5：1/7になる。
　このとき、合算相関値の大きいピークの周期に対応する基線長は、周期ｄｗｓに対応する基線長の1/210（=1/(2×3×5×7)）となり、基準カメラと最も短い実際の周辺カメラの基線長の1/30（=（1/210）/(1/7)）である。従って、繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を30倍改善できたことになる。
　＜第１実施の形態＞
　（ライトフィールドカメラの一実施の形態の構成例）
　図７は、本開示を適用した撮像装置としてのライトフィールドカメラの一実施の形態の構成例を示すブロック図である。
　図７のライトフィールドカメラ２００は、撮像部２０１と画像処理部２０２により構成される。ライトフィールドカメラ２００は、複数のカメラで取得された撮像画像から、仮想フォーカスの撮像画像をリフォーカス画像として生成する。
　具体的には、ライトフィールドカメラ２００の撮像部２０１は、異なる視点の画像を撮像する際の基準となる１つの基準カメラ（撮像部）、他の複数の周辺カメラ（撮像部）などにより構成される。複数の周辺カメラは、基準カメラの位置を基準にして、それぞれ、異なる素数の逆数に基づく基線長にしたがって配置される。
　基準カメラと周辺カメラは、それぞれ、異なる視点の画像を撮像する。撮像部２０１は、画像処理部２０２からの要求に応じて、基準カメラと周辺カメラにより撮像された撮像画像（光線情報）のうちの１以上の画素からなるブロックを、画像処理部２０２に供給する。また、撮像部２０１は、基準カメラと周辺カメラにより撮像された撮像画像を画像処理部２０２に供給する。
　画像処理部２０２は、例えばLSI（Large Scale Integration）により構成される。画像処理部２０２は、検出部２１１、仮想視点画像生成部２１２、およびリフォーカス画像生成部２１３を備える。
　検出部２１１（奥行き推定部）は、撮像部２０１から供給される基準カメラの撮像画像のブロックと、各周辺カメラの撮像画像のブロックとを用いて、例えば画素ごとに、基準カメラの画像の奥行き推定を行う。
　具体的には、検出部２１１は、基準カメラの撮像画像の各画素を順に処理対象の画素に決定する。検出部２１１は、候補となるディスパリティ値ごとに、そのディスパリティ値に対応する、処理対象の画素を含む基準カメラの撮像画像のブロックと各周辺カメラの撮像画像のブロックとを、撮像部２０１に要求する。検出部２１１は、その要求に応じて撮像部２０１から供給される基準カメラの撮像画像のブロックと各周辺カメラの撮像画像のブロックとを用いて、周辺カメラごとにブロックマッチングを行う。以上により、検出部２１１は、周辺カメラおよび画素ごとに、各ディスパリティ値に対応する相関値を求める。
　そして、検出部２１１は、各画素のディスパリティ値ごとに、全ての周辺カメラにおける相関値を合算し、合算相関値を求める。検出部２１１は、画素ごとに、合算相関値が最も大きいディスパリティ値を、奥行き推定結果とする。検出部２１１は、各画素の奥行き推定結果からなる視差画像を、基準カメラの視点の視差画像として仮想視点画像生成部２１２に供給する。
　仮想視点画像生成部２１２（生成部）は、検出部２１１から供給される基準カメラの視点の視差画像を用いて、周辺カメラの視点の視差画像を生成する。仮想視点画像生成部２１２は、生成された各視点の視差画像と撮像部２０１から供給される各視点の撮像画像とを用いて、基準カメラおよび周辺カメラの視点以外の仮想視点の撮像画像（光線情報）を補間する。具体的には、例えば、仮想視点画像生成部２１２は、仮想視点の周辺の視点の視差画像と撮像画像を用いて、仮想視点の撮像画像を補間する。
　仮想視点画像生成部２１２は、撮像部２０１から供給される各視点の撮像画像と仮想視点の撮像画像を、高密度の視点の超多視点画像（光線群情報）としてリフォーカス画像生成部２１３に供給する。
　リフォーカス画像生成部２１３は、仮想視点画像生成部２１２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２１３は、生成されたリフォーカス画像を出力する。
　（撮像部の構成例）
　図８は、図７の撮像部２０１の構成例を示すブロック図である。
　図８の撮像部２０１は、基準カメラ２２１－０、Ｎ（Ｎは２以上の整数）個の周辺カメラ２２１－１乃至２２１－Ｎ、取り込み制御部２２２、フレームメモリ２２３、読み出し制御部２２４、および補正部２２５により構成される。
　基準カメラ２２１－０は、レンズ２２１Ａ－０と、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）などのイメージセンサ２２１Ｂ－０とにより構成される。基準カメラ２２１－０は、取り込み制御部２２２から供給される同期信号にしたがって、撮像を行う。
　具体的には、基準カメラ２２１－０は、同期信号に応じて、被写体から入射された光を、レンズ２２１Ａ－０を介してイメージセンサ２２１Ｂ－０により受光し、その結果得られるアナログ信号に対してA/D変換等を行うことにより、撮像を行う。基準カメラ２２１－０は、撮像の結果得られる撮像画像を取り込み制御部２２２に供給する。
　周辺カメラ２２１－１乃至２２１－Ｎは、それぞれ、基準カメラ２２１－０と同様に構成され、取り込み制御部２２２からの同期信号に応じて撮像を行う。周辺カメラ２２１－１乃至２２１－Ｎは、撮像の結果得られる撮像画像を取り込み制御部２２２に供給する。
　取り込み制御部２２２は、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎに対して同一の同期信号を供給することにより、同時刻の異なる視点の撮像画像を取得する。取り込み制御部２２２は、取得された同時刻の異なる視点の撮像画像をフレームメモリ２２３（記憶部）に供給し、記憶させる。
　読み出し制御部２２４は、図７の検出部２１１からの要求に応じて、フレームメモリ２２３から、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの撮像画像のうちの所定のブロックが読み出されるように、読み出しを制御する。読み出し制御部２２４は、読み出されたブロックを補正部２２５に供給する。また、読み出し制御部２２４は、フレームメモリ２２３から、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの撮像画像を読み出し、補正部２２５に供給する。
　補正部２２５は、読み出し制御部２２４から供給されるブロックと撮像画像に対して、黒レベル補正、歪み補正、シェーディング補正などの補正処理を行う。補正部２２５は、補正処理後のブロックを図７の検出部２１１に供給し、補正処理後の撮像画像を仮想視点画像生成部２１２に供給する。
　なお、基準カメラ２２１－０（撮像部）と周辺カメラ２２１－１乃至２２１－Ｎ（撮像部）は、レンズ２２１Ａ－０乃至２２１Ａ－Ｎを含まなくてもよい。この場合、撮像部２０１は、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎとは別に、レンズ２２１Ａ－０乃至２２１Ａ－Ｎを配置する。
　（基準カメラと周辺カメラの第１の配置例）
　図９は、図７の撮像部２０１の基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの第１の配置例を示す斜視図である。
　図９の撮像部２０１では、基準カメラ２２１－０としての１つの基準カメラ２３０と、周辺カメラ２２１－１乃至２２１－Ｎとしての４つの周辺カメラ２３１乃至２３４が、水平方向に配置されている。
　また、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの間の水平方向の距離、即ち基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
　この場合、基準カメラ２３０の撮像画像に縦縞の繰り返しパターンが存在すると、合算相関値の大きいピークの周期は、水平方向の基線長が所定値ｄａである周辺カメラと基準カメラ２３０の撮像画像の相関値のピークの周期の210（=2×3×5×7）倍になる。即ち、合算相関値の大きいピークの周期は、基準カメラ２３０との水平方向の基線長（水平基線長）が最も短い1/7ｄａである周辺カメラ２３１と基準カメラ２３０の撮像画像の相関値のピークの周期の30倍になる。従って、水平方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を30倍改善することができる。
　なお、基準カメラ２３０と周辺カメラ２３１乃至２３４それぞれとの水平方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
　また、図示は省略するが、基準カメラと周辺カメラは、水平方向以外の、垂直方向、斜め方向等の一方向に配置されてもよい。基準カメラと周辺カメラが、垂直方向に配置される場合、垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。また、斜め方向に配置される場合、水平方向、垂直方向のほか、斜め方向の繰り返しパターンに起因する奥行き推定の誤認も抑制することができる。
　（基準カメラと周辺カメラの第２の配置例）
　図１０は、図７の撮像部２０１の基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの第２の配置例を示す斜視図である。
　図１０の撮像部２０１では、基準カメラ２２１－０としての１つの基準カメラ２５０と、周辺カメラ２２１－１乃至２２１－Ｎとしての８つの周辺カメラ２５１乃至２５８が、２次元配置されている。
　また、基準カメラ２５０と周辺カメラ２５１乃至２５６それぞれとの間の水平方向の距離、即ち基準カメラ２５０と周辺カメラ２５１乃至２５６それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２５０と周辺カメラ２５１乃至２５８それぞれとの水平方向の基線長は、1/13ｄａ，1/11ｄａ，1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
　また、基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの間の垂直方向の距離、即ち基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの垂直方向の基線長（垂直基線長）は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２５０と周辺カメラ２５１乃至２５４，２５７、および２５８それぞれとの垂直方向の基線長は、1/13ｄａ，1/11ｄａ，1/5ｄａ，1/7ｄａ，1/3ｄａ，1/2ｄａである。
　この場合、基準カメラ２５０の撮像画像に縦縞の繰り返しパターンが存在すると、合算相関値の大きいピークの周期は、水平方向の基線長が所定値ｄａである周辺カメラと基準カメラ２５０の撮像画像の相関値のピークの周期の30030（=2×3×5×7×11×13）倍になる。即ち、合算相関値の大きいピークの周期は、基準カメラ２５０との水平方向の基線長が最も短い1/13ｄａである周辺カメラ２５１と基準カメラ２５０の撮像画像の相関値のピークの周期の2310倍になる。従って、水平方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数を2310倍改善することができる。
　同様に、垂直方向の繰り返しパターンにより奥行き推定の誤認が発生する限界空間周波数も2310倍改善することができる。
　なお、基準カメラ２５０と周辺カメラ２５１乃至２５８それぞれとの水平方向や垂直方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
　（基準カメラと周辺カメラの第３の配置例）
　図１１は、図７の撮像部２０１の基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの第３の配置例を示す斜視図である。
　図１１の撮像部２０１では、基準カメラ２２１－０としての１つの基準カメラ２７０と、周辺カメラ２２１－１乃至２２１－Ｎとしての８つの周辺カメラ２７１乃至２７８が、十字形状に配置されている。具体的には、周辺カメラ２７２を中心として、水平方向に、基準カメラ２７０と周辺カメラ２７１乃至２７４が配置され、垂直方向に、周辺カメラ２７２および２７５乃至２７８が配置される。
　また、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、異なる素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、1/7ｄａ，1/5ｄａ，1/3ｄａ，1/2ｄａである。
　また、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、異なる素数の逆数を所定値ｄｂに乗算した値である。具体的には、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、1/5ｄｂ，1/7ｄｂ，1/3ｄｂ，1/2ｄｂである。
　この場合、水平方向および垂直方向だけでなく、あらゆる方向の繰り返しパターンに起因する奥行き推定の誤認の発生を抑制することができる。
　なお、基準カメラ２７０と周辺カメラ２７１乃至２７４それぞれとの水平方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。同様に、周辺カメラ２７５と周辺カメラ２７２および２７６乃至２７８それぞれとの垂直方向の基線長は、素数の逆数に近い値を所定値ｄａに乗算した値であれば、素数の逆数を所定値ｄａに乗算した値でなくてもよい。
　（基準カメラと周辺カメラの第４の配置例）
　図１２は、図７の撮像部２０１基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの第４の配置例を示す斜視図である。
　図１２の撮像部２０１では、基準カメラ２２１－０としての１つの基準カメラ２９０を中心として、周辺カメラ２２１－１乃至２２１－Ｎとしての５つの周辺カメラ２９１乃至２９５が、正五角形状に配置されている。
　また、基準カメラ２９０と周辺カメラ２９１乃至２９４それぞれとの水平方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ２９０と周辺カメラ２９１および２９２それぞれとの水平方向の基線長は、1/5ｄａであり、基準カメラ２９０と周辺カメラ２９３および２９４それぞれとの水平方向の基線長は、1/3ｄａである。また、周辺カメラ２９５の水平方向の位置は、基準カメラ２９０の水平方向の位置と同一である。
　また、基準カメラ２９０と周辺カメラ２９１乃至２９４それぞれとの垂直方向の基線長は、素数の逆数を所定値ｄｂに乗算した値である。具体的には、基準カメラ２９０と周辺カメラ２９１および２９２それぞれとの垂直方向の基線長は、1/5ｄｂであり、基準カメラ２９０と周辺カメラ２９３および２９４それぞれとの垂直方向の基線長は、1/13ｄｂである。基準カメラ２９０と周辺カメラ２９５の垂直方向の基線長は、1/4ｄｂである。
　図１２に示したように、基準カメラ２９０を中心として、５つの周辺カメラ２９１乃至２９５が、正五角形状に配置される場合、水平方向および垂直方向の基線長の多くが、素数の逆数に所定値を乗算した値になる。従って、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。
　また、基準カメラ２９０と周辺カメラ２９１乃至２９５のうちの隣り合う３つのカメラ間を結んだ三角形のうちの、基準カメラ２９０と隣り合う２つの周辺カメラ間を結んだ三角形３０１乃至３０５は、同一である。従って、仮想視点画像生成部２１２は、仮想視点の位置によらず、仮想視点を含む三角形３０１乃至３０５に共通のサイズの三角形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて仮想視点の撮像画像を補間する方法で、仮想視点の撮像画像を補間することができる。即ち、仮想視点の撮像画像の補間方法を、仮想視点の位置によって変更する必要がない。よって、仮想視点の撮像画像を容易に補間することができる。
　（基準カメラと周辺カメラの第５の配置例）
　図１３は、図７の撮像部２０１の基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの第５の配置例を示す斜視図である。
　図１３の撮像部２０１では、基準カメラ２２１－０としての１つの基準カメラ３１０と、周辺カメラ２２１－１乃至２２１－Ｎとしての１８個の周辺カメラ３１１乃至３２８が配置される。具体的には、周辺カメラ３１１乃至３１６が、基準カメラ３１０を中心とした正六角形状に配置され、周辺カメラ３１７乃至３２８が、基準カメラ３１０を中心とした正十二角形状に配置される。正六角形状と正十二角形状の辺の長さは等しい。
　また、基準カメラ３１０と周辺カメラ３１１乃至３１４および３１７乃至３２８それぞれとの水平方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。
　具体的には、基準カメラ３１０と周辺カメラ３１１乃至３１４および３１７乃至３２０それぞれとの水平方向の基線長は、1/19ｄａであり、基準カメラ３１０と周辺カメラ３２１乃至３２４それぞれとの水平方向の基線長は、1/7ｄａである。また、基準カメラ３１０と周辺カメラ３２５乃至３２８それぞれとの水平方向の基線長は、1/5ｄａである。なお、基準カメラ３１０と周辺カメラ３１５および３１６それぞれとの水平方向の基線長は、2/19ｄａである。
　基準カメラ３１０と周辺カメラ３１１乃至３２８それぞれとの垂直方向の基線長は、素数の逆数を所定値ｄａに乗算した値である。具体的には、基準カメラ３１０と周辺カメラ３２５乃至３２８それぞれとの垂直方向の基線長は、1/19ｄａであり、基準カメラ３１０と周辺カメラ３１１乃至３１４それぞれとの垂直方向の基線長は、1/11ｄａである。
　また、基準カメラ３１０と周辺カメラ３２１乃至３２４それぞれとの垂直方向の基線長は、1/7ｄａであり、基準カメラ３１０と周辺カメラ３１７乃至３２０それぞれとの垂直方向の基線長は、1/5ｄａである。
　図１３に示したように、周辺カメラ３１１乃至３１６が、基準カメラ３１０を中心とした正六角形状に配置され、周辺カメラ３１７乃至３２８が、基準カメラ３１０を中心とした正十二角形状に配置される場合、水平方向および垂直方向の基線長の多くが、素数の逆数に所定値を乗算した値になる。従って、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。
　また、基準カメラ３１０と周辺カメラ３１１乃至３２８のうちの、隣り合う３つのカメラ間を結んだ三角形のうちの、基準カメラ３１０と、周辺カメラ３１１乃至３１６のうちの隣り合う２つの間を結んだ三角形３４１乃至３４６、および、周辺カメラ３１１乃至３１６のうちの１つと、周辺カメラ３１７乃至３２８のうちの隣り合う２つの間を結んだ三角形３４７乃至３５２は、同一の正三角形である。
　さらに、隣り合う４つのカメラ間を結んだ四角形のうちの、周辺カメラ３１１乃至３１６のうちの隣り合う２つと、周辺カメラ３１７乃至３２８のうちの、その２つに対向する２つの間を結んだ四角形３６１乃至３６６は、同一の正方形である。
　従って、仮想視点画像生成部２１２における仮想視点の補間の方法の種類が２種類で済む。第１の補間方法は、仮想視点を含む三角形３４１乃至３５２に共通のサイズの正三角形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて、仮想視点の撮像画像を補間する方法である。第２の補間方法は、仮想視点を含む四角形３６１乃至３６６に共通のサイズの正方形の頂点に位置するカメラの視点の撮像画像と視差画像を用いて、仮想視点の撮像画像を補間する方法である。以上により、仮想視点の撮像画像を容易に補間することができる。
　また、三角形３４１乃至３５２および四角形３６１乃至３６６の各辺の長さは同一であるので、仮想視点の撮像画像の補間を均等な密度で行うことができる。
　（基準カメラおよび周辺カメラの配置と効果の説明）
　図１４は、図９乃至図１３で示した基準カメラと周辺カメラの第１乃至第５の配置例と、その配置による効果を説明する図である。
　図１４の表では、左側の列に、図９乃至図１３で示した配置の名称が記載され、中央の列に、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合が記載され、右側の列に、仮想視点の撮像画像の補間に対する効果の度合が記載されている。なお、以下では、第１乃至第５の配置例を、それぞれ、水平配置、２次元配置、十字形状配置、正五角形状配置、１９個配置という。
　撮像部２０１の基準カメラと周辺カメラの配置が、図９の水平配置である場合、水平方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。しかしながら、垂直方向の繰り返しパターンに起因する奥行き推定の誤認に対する効果はない。従って、図１４の表の第２行目の中央の列には、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合として「中」を表す三角が記載されている。
　一方、撮像部２０１の基準カメラと周辺カメラの配置が、図１０の２次元配置、図１１の十字形状配置、図１２の正五角形状配置、および図１３の１９個配置である場合、水平方向および垂直方向の繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。従って、図１４の表の第３乃至第第６行目の中央の列には、繰り返しパターンに起因する奥行き推定の誤認に対する効果の度合として「高」を表す丸が記載されている。
　また、撮像部２０１の基準カメラと周辺カメラの配置が、図９の水平配置である場合、隣り合うカメラ間の距離は、全て異なる。さらに、撮像部２０１の基準カメラと周辺カメラの配置が、図１０の２次元配置および図１１の十字形状配置である場合、基準カメラと周辺カメラのうちの隣り合う３以上のカメラ間を結んだ形状は、全て異なる。従って、仮想視点の撮像画像の補間に対する効果はない。よって、図１４の表の第２乃至第４行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「なし」を表すバツが記載されている。
　一方、撮像部２０１の基準カメラと周辺カメラの配置が、図１２の正五角形状配置および図１３の１９個配置である場合、基準カメラと周辺カメラのうちの隣り合う３以上のカメラ間を結んだ形状のうちの少なくとも一部は同一である。従って、仮想視点の撮像画像の補間方法の種類が少なくて済み、仮想視点の撮像画像を容易に補間することができる。
　しかしながら、図１２の正五角形状配置では、三角形３０１乃至３０５が正三角形ではないので、仮想視点の撮像画像の補間を均等な密度で行うことはできない。よって、図１４の表の第５行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「中」を表す三角が記載される。
　これに対して、図１３の１９個配置では、三角形３４１乃至３５２および四角形３６１乃至３６６の各辺の長さが同一である。従って、仮想視点の撮像画像の補間を均等な密度で行うことができる。よって、図１４の表の第６行目の右側の列には、仮想視点の撮像画像の補間に対する効果の度合として「高」を表す丸が記載される。
　以上のように、ライトフィールドカメラ２００は、異なる視点の画像を撮像する基準カメラと複数の周辺カメラを備え、基準カメラと少なくとも２つの周辺カメラとの間の少なくとも一方向の距離は、それぞれ、異なる素数の逆数を所定値に乗算した値である。従って、少なくとも一方向の繰り返しパターンを有する撮像画像の奥行き推定を高精度に行うことができる。その結果、リフォーカス画像の精度が向上する。
　これに対して、カメラが、水平方向および垂直方向にそれぞれ一定間隔で配置される場合、即ち、カメラが格子状に配置される場合、繰り返しパターンを有する撮像画像の奥行き推定を高精度に行うことは困難である。
　なお、基準カメラと周辺カメラの解像度は同一であってもよいし、異なっていてもよい。基準カメラと周辺カメラの解像度が異なっている場合には、サブピクセル単位でディスパリティ値を求めることができる。
　また、周辺カメラの数は、上述した数に限定されない。周辺カメラの数が多いほど、より細かい繰り返しパターンに起因する奥行き推定の誤認を抑制することができる。さらに、所定値ｄaおよびｄbは、任意の値にすることができる。
　（ライトフィールドカメラの処理の説明）
　図１５は、図７のライトフィールドカメラ２００の撮像処理を説明するフローチャートである。
　図１５のステップＳ１１において、ライトフィールドカメラ２００の撮像部２０１の基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎ（図８）は、取り込み制御部２２２からの同期信号にしたがって、同時刻の各視点の画像を撮像する。その結果得られ撮像画像は、取り込み制御部２２２を介してフレームメモリ２２３に記憶される。
　そして、読み出し制御部２２４は、検出部２１１からの要求に応じて、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの撮像画像のうちの所定のブロックを、フレームメモリ２２３から読み出す。また、読み出し制御部２２４は、基準カメラ２２１－０と周辺カメラ２２１－１乃至２２１－Ｎの撮像画像をフレームメモリ２２３から読み出す。フレームメモリ２２３から読み出されたブロックは、補正部２２５を介して検出部２１１に供給され、フレームメモリ２２３から読み出された撮像画像は、補正部２２５を介して仮想視点画像生成部２１２に供給される。
　ステップＳ１２において、検出部２１１は、補正部２２５から供給される基準カメラ２２１－０の撮像画像のブロックと各周辺カメラ２２１－１乃至２２１－Ｎの撮像画像のブロックとを用いて、例えば画素ごとに、基準カメラ２２１－０の視点の奥行き推定を行う。検出部２１１は、各画素の奥行き推定結果からなる視差画像を、基準カメラ２２１－０の視点の視差画像として仮想視点画像生成部２１２に供給する。
　ステップＳ１３において、仮想視点画像生成部２１２は、検出部２１１から供給される基準カメラ２２１－０の視点の視差画像を用いて、周辺カメラ２２１－１乃至２２１－Ｎの視点の視差画像を生成する。
　ステップＳ１４において、仮想視点画像生成部２１２は、生成された各視点の視差画像と補正部２２５から供給される各視点の撮像画像とを用いて、仮想視点の撮像画像を補間する。仮想視点画像生成部２１２は、補正部２２５から供給される各視点の撮像画像と仮想視点の撮像画像を、高密度の視点の超多視点画像としてリフォーカス画像生成部２１３に供給する。
　ステップＳ１５において、リフォーカス画像生成部２１３は、仮想視点画像生成部２１２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２１３は、生成されたリフォーカス画像を出力し、処理を終了する。
　＜第２実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ４００において、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、撮像部４０６、入力部４０７、出力部４０８、記憶部４０９、通信部４１０、及びドライブ４１１が接続されている。
　撮像部４０６は、図７の撮像部２０１と同様に構成される。入力部４０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０８は、ディスプレイ、スピーカなどよりなる。記憶部４０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部４１０は、ネットワークインタフェースなどよりなる。ドライブ４１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１２を駆動する。
　以上のように構成されるコンピュータ４００では、CPU４０１が、例えば、記憶部４０９に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ４００（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ４００では、プログラムは、リムーバブルメディア４１２をドライブ４１１に装着することにより、入出力インタフェース４０５を介して、記憶部４０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４１０で受信し、記憶部４０９にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０９に、あらかじめインストールしておくことができる。
　なお、コンピュータ４００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１７では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１８は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１７に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random　Access　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read　Only　Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、又はＤＳＲＣ（Dedicated　Short　Range　Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部２６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
　車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１７に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム２０００において、図７の撮像部２０１は、例えば、図１７の撮像部２４１０に適用することができる。また、図７の画像処理部２０２は、例えば、図１７の車外情報検出ユニット２４００に適用することができる。これにより、繰り返しパターンを有する車外の画像の奥行き推定を高精度に行うことができる。その結果、リフォーカス画像の精度が向上する。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。例えば、周辺カメラ２２１－１乃至２２１－Ｎは、基準カメラ２２１－０を中心とした、正五角形、正六角形、正十二角形以外の多角形の形状に配置されるようにしてもよい。
　また、本技術は、マルチベースラインステレオカメラにも適用可能である。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部
　を備える撮像装置。
　（２）
　前記基線長は、異なる素数の逆数を所定値に乗算した値である
　前記（１）に記載の撮像装置。
　（３）
　前記基線長は、水平方向の基線長である水平基線長または垂直方向の基線長である垂直基線長である
　前記（１）または（２）に記載の撮像装置。
　（４）
　前記基線長は、水平方向の基線長である水平基線長と垂直方向の基線長である垂直基線長からなる
　前記（１）または（２）に記載の撮像装置。
　（５）
　前記複数の撮像部と前記基準となる撮像部は、十字形状に配置される
　前記（１）乃至（４）のいずれかに記載の撮像装置。
　（６）
　前記撮像部の数は４以上であり、
　隣り合う３以上の前記撮像部を結んだ形状の一部は、同一である
　前記（１）乃至（４）のいずれかに記載の撮像装置。
　（７）
　前記複数の撮像部は、前記基準となる撮像部を中心とした多角形状に配置される
　前記（６）に記載の撮像装置。
　（８）
　前記複数の撮像部は、前記基準となる撮像部を中心とした５角形状に配置される
　前記（６）に記載の撮像装置。
　（９）
　前記複数の撮像部は、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置される
　前記（６）に記載の撮像装置。
　（１０）
　前記６角形状と前記１２角形状の辺の長さは等しい
　前記（９）に記載の撮像装置。
　（１１）
　前記複数の撮像部と前記基準となる撮像部は、同一の同期信号にしたがって画像を取得する
　前記（１）乃至（１０）のいずれかに記載の撮像装置。
　（１２）
　前記複数の撮像部と前記基準となる撮像部により取得された前記画像を記憶する記憶部と、
　前記記憶部により記憶された前記画像の読み出しを制御する読み出し制御部と、
　前記読み出し制御部の制御により読み出された前記画像を補正する補正部と
　をさらに備える
　前記（１１）に記載の撮像装置。
　（１３）
　前記補正部により補正された前記画像を用いて、前記基準となる撮像部により取得された前記画像の奥行き推定を行い、その画像の視差画像を生成する奥行き推定部と、
　前記奥行き推定部により生成された前記基準となる撮像部の視差画像と、前記複数の撮像部および前記基準となる撮像部により取得された前記画像とを用いて、超多視点画像を生成する生成部と
　をさらに備える
　前記（１２）に記載の撮像装置。
　（１４）
　異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部と前記基準となる撮像部が、
　異なる視点の画像を撮像する
　ステップを含む撮像方法。
　２００　ライトフィールドカメラ，　２３０　基準カメラ，　２３１乃至２３４　周辺カメラ，　２５０　基準カメラ，　２５１乃至２５８　周辺カメラ，　２７０　基準カメラ、　２７１乃至２７８　周辺カメラ，　２９０　基準カメラ，　２９１乃至２９５　周辺カメラ，　３１０　基準カメラ，　３１１乃至３２８　周辺カメラ

Claims (14)

  1. 　異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部
    　を備える撮像装置。
  2. 　前記基線長は、異なる素数の逆数を所定値に乗算した値である
    　請求項１に記載の撮像装置。
  3. 　前記基線長は、水平方向の基線長である水平基線長または垂直方向の基線長である垂直基線長である
    　請求項２に記載の撮像装置。
  4. 　前記基線長は、水平方向の基線長である水平基線長と垂直方向の基線長である垂直基線長からなる
    　請求項２に記載の撮像装置。
  5. 　前記複数の撮像部と前記基準となる撮像部は、十字形状に配置される
    　請求項１に記載の撮像装置。
  6. 　前記撮像部の数は４以上であり、
    　隣り合う３以上の前記撮像部を結んだ形状の一部は、同一である
    　請求項１に記載の撮像装置。
  7. 　前記複数の撮像部は、前記基準となる撮像部を中心とした多角形状に配置される
    　請求項６に記載の撮像装置。
  8. 　前記複数の撮像部は、前記基準となる撮像部を中心とした５角形状に配置される
    　請求項６に記載の撮像装置。
  9. 　前記複数の撮像部は、前記基準となる撮像部を中心とした６角形状と１２角形状とに配置される
    　請求項６に記載の撮像装置。
  10. 　前記６角形状と前記１２角形状の辺の長さは等しい
    　請求項９に記載の撮像装置。
  11. 　前記複数の撮像部と前記基準となる撮像部は、同一の同期信号にしたがって画像を取得する
    　請求項１に記載の撮像装置。
  12. 　前記複数の撮像部と前記基準となる撮像部により取得された前記画像を記憶する記憶部と、
    　前記記憶部により記憶された前記画像の読み出しを制御する読み出し制御部と、
    　前記読み出し制御部の制御により読み出された前記画像を補正する補正部と
    　をさらに備える
    　請求項１１に記載の撮像装置。
  13. 　前記補正部により補正された前記画像を用いて、前記基準となる撮像部により取得された前記画像の奥行き推定を行い、その画像の視差画像を生成する奥行き推定部と、
    　前記奥行き推定部により生成された前記基準となる撮像部の視差画像と、前記複数の撮像部および前記基準となる撮像部により取得された前記画像とを用いて、超多視点画像を生成する生成部と
    　をさらに備える
    　請求項１２に記載の撮像装置。
  14. 　異なる視点の画像を撮像する際の基準となる撮像部の位置を基準にして異なる素数の逆数に基づく基線長にしたがって配置された複数の撮像部と前記基準となる撮像部が、
    　異なる視点の画像を撮像する
    　ステップを含む撮像方法。
PCT/JP2016/053716 2015-02-20 2016-02-08 撮像装置および撮像方法 WO2016132950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680009963.5A CN107211085B (zh) 2015-02-20 2016-02-08 摄像装置和摄像方法
JP2017500609A JP6645492B2 (ja) 2015-02-20 2016-02-08 撮像装置および撮像方法
US15/535,560 US20170359565A1 (en) 2015-02-20 2016-02-08 Image pickup device and image pickup method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-032006 2015-02-20
JP2015032006 2015-02-20

Publications (1)

Publication Number Publication Date
WO2016132950A1 true WO2016132950A1 (ja) 2016-08-25

Family

ID=56692222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053716 WO2016132950A1 (ja) 2015-02-20 2016-02-08 撮像装置および撮像方法

Country Status (4)

Country Link
US (1) US20170359565A1 (ja)
JP (1) JP6645492B2 (ja)
CN (1) CN107211085B (ja)
WO (1) WO2016132950A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088211A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2018203507A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 信号処理装置
JP2019158759A (ja) * 2018-03-15 2019-09-19 株式会社リコー 撮像装置、車両、及び撮像方法
WO2024004190A1 (ja) * 2022-06-30 2024-01-04 富士通株式会社 ３次元位置算出方法、装置、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6717272B2 (ja) * 2017-08-01 2020-07-01 トヨタ自動車株式会社 車外報知装置
JP6690612B2 (ja) * 2017-08-03 2020-04-28 トヨタ自動車株式会社 車外報知装置
JP7035447B2 (ja) 2017-10-26 2022-03-15 トヨタ自動車株式会社 車両制御装置
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation
DE102017130897A1 (de) * 2017-12-21 2019-06-27 Pilz Gmbh & Co. Kg Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
JP7150508B2 (ja) * 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
US10623660B1 (en) * 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
DE102021104947B4 (de) * 2021-03-02 2023-05-25 Gerhard Schubert Gesellschaft mit beschränkter Haftung Scanner, damit ausgestattete Ermittlungs-Vorrichtung sowie Verfahren für deren Betrieb

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175206A (en) * 1981-04-22 1982-10-28 Canon Inc Distance measuring device
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2013162291A (ja) * 2012-02-03 2013-08-19 Toshiba Corp カメラモジュール

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009912B1 (en) * 1989-10-30 2006-03-07 Northrop Grumman Corporation Method and system for detection of broadband energy
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置
WO2011036813A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 立体映像表示方法及び立体映像表示装置
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
GB2476685B (en) * 2010-01-05 2015-01-21 Sony Corp A camera arrangement, camera system and method
GB2477333B (en) * 2010-01-29 2014-12-03 Sony Corp A method and apparatus for creating a stereoscopic image
CN102823231B (zh) * 2010-03-30 2016-03-02 松下知识产权经营株式会社 摄像控制装置及摄像控制方法
CN103181173B (zh) * 2010-10-27 2016-04-27 松下知识产权经营株式会社 三维图像处理装置、三维摄像装置以及三维图像处理方法
CN102157012B (zh) * 2011-03-23 2012-11-28 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
US8723920B1 (en) * 2011-07-05 2014-05-13 3-D Virtual Lens Technologies, Llc Encoding process for multidimensional display
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
US20140063193A1 (en) * 2012-08-31 2014-03-06 Wayne Martin Williams Natural 3D Motion For Film And Video
US9373183B2 (en) * 2012-11-15 2016-06-21 Honeywell International Inc. Removing an occlusion from an image
US9083873B1 (en) * 2013-03-28 2015-07-14 Google Inc. Devices and methods for providing multi-aperture lens functionality
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9967538B2 (en) * 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
JP2015128131A (ja) * 2013-11-27 2015-07-09 ソニー株式会社 固体撮像素子および電子機器
TWM545271U (zh) * 2017-02-09 2017-07-11 Largan Digital Co Ltd 雙鏡頭驅動裝置與電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175206A (en) * 1981-04-22 1982-10-28 Canon Inc Distance measuring device
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2013162291A (ja) * 2012-02-03 2013-08-19 Toshiba Corp カメラモジュール

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088211A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN109923853A (zh) * 2016-11-08 2019-06-21 索尼公司 图像处理装置、图像处理方法以及程序
JPWO2018088211A1 (ja) * 2016-11-08 2019-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN109923853B (zh) * 2016-11-08 2021-03-26 索尼公司 图像处理装置、图像处理方法以及程序
US11012605B2 (en) 2016-11-08 2021-05-18 Sony Corporation Image processing device, image processing method, and program for generating a focused image
JP7107224B2 (ja) 2016-11-08 2022-07-27 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2018203507A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 信号処理装置
JP2018189489A (ja) * 2017-05-02 2018-11-29 キヤノン株式会社 信号処理装置
JP6995494B2 (ja) 2017-05-02 2022-01-14 キヤノン株式会社 信号処理装置
JP2019158759A (ja) * 2018-03-15 2019-09-19 株式会社リコー 撮像装置、車両、及び撮像方法
WO2024004190A1 (ja) * 2022-06-30 2024-01-04 富士通株式会社 ３次元位置算出方法、装置、及びプログラム

Also Published As

Publication number Publication date
JPWO2016132950A1 (ja) 2017-11-30
US20170359565A1 (en) 2017-12-14
JP6645492B2 (ja) 2020-02-14
CN107211085A (zh) 2017-09-26
CN107211085B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
JP6645492B2 (ja) 撮像装置および撮像方法
CN109844813B (zh) 图像处理装置和图像处理方法
WO2017159382A1 (ja) 信号処理装置および信号処理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111033571B (zh) 图像处理设备和图像处理方法
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10453219B2 (en) Image processing apparatus and image processing method
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
CN110691986B (zh) 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质
WO2018079260A1 (ja) 画像処理装置および画像処理方法
EP3585045B1 (en) Information processing device, information processing method, and program
CN109564696B (zh) 图像处理设备和图像处理方法
WO2018070266A1 (ja) 画像処理装置および画像処理方法
US10748264B2 (en) Image processing apparatus and image processing method
WO2016203989A1 (ja) 画像処理装置および画像処理方法
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2018042815A1 (ja) 画像処理装置と画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752336

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15535560

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017500609

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16752336

Country of ref document: EP

Kind code of ref document: A1