WO2018110264A1 - 撮像装置、及び撮像方法 - Google Patents

撮像装置、及び撮像方法 Download PDF

Info

Publication number
WO2018110264A1
WO2018110264A1 PCT/JP2017/042484 JP2017042484W WO2018110264A1 WO 2018110264 A1 WO2018110264 A1 WO 2018110264A1 JP 2017042484 W JP2017042484 W JP 2017042484W WO 2018110264 A1 WO2018110264 A1 WO 2018110264A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
lens cover
lens
pixel
Prior art date
Application number
PCT/JP2017/042484
Other languages
English (en)
French (fr)
Inventor
信彦 若井
吾妻　健夫
登　一生
佐藤　智
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2018556537A priority Critical patent/JP6854472B2/ja
Priority to CN201780049925.7A priority patent/CN109565539B/zh
Priority to EP17882027.0A priority patent/EP3557858B1/en
Publication of WO2018110264A1 publication Critical patent/WO2018110264A1/ja
Priority to US16/374,641 priority patent/US10812691B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This disclosure relates to imaging technology using a camera.
  • Stereo imaging and light field camera imaging devices calculate the depth of a subject, synthesize an image from a virtual viewpoint, etc. from images taken from multiple viewpoints.
  • a lens cover is used for lens protection (see, for example, Patent Document 1, Patent Document 2, and Patent Document 3).
  • a lens cover is used for each lens, and when the distance between the lenses is small, one lens cover is used for a plurality of lenses. Therefore, in a small imaging device, it is preferable to use a single camera module and a single lens cover for a compound eye, that is, a plurality of lenses.
  • the present disclosure provides an imaging apparatus and an imaging method capable of reducing the influence on the captured image due to distortion of light passing near the ridgeline of the lens cover, as compared to the conventional art.
  • An imaging device includes a first camera that captures a first image, a second camera that captures a second image, and a plurality of translucent portions
  • a lens cover that covers the first camera and the second camera, the plurality of portions includes an upper portion and a plurality of adjacent portions, and each of the plurality of adjacent portions includes the upper portion.
  • Each of the plurality of ridge lines is formed between each of a plurality of surfaces of the plurality of adjacent portions and the upper surface, and (i) a region in the first image where interpolation of pixel values is necessary (Ii) a processing circuit that generates an output image using interpolation pixel information for interpolating a pixel value of the specified pixel and the first image, and
  • Each of the ridge lines includes a first center of the first lens of the first camera and the second Located skewed relative to a base line connecting the second center of the second lens of the camera, the upper faces the base of the second camera from the first camera is installed.
  • an imaging apparatus includes a first camera that captures a first image, a second camera that captures a second image, and a plurality of translucency.
  • a lens cover that covers the first camera and the second camera, the plurality of portions includes an upper portion and a plurality of adjacent portions, and each of the plurality of adjacent portions is the Adjacent to the upper portion, each of the plurality of ridge lines is formed between each of the plurality of surfaces of the plurality of adjacent portions and the upper surface, and (i) interpolation of pixel values is required in the first image (Ii) a processing circuit that generates an output image using interpolation pixel information for interpolating a pixel value of the specified pixel and the first image, and
  • the outer shape of the lens cover is such that N is the number of cameras, S is the field of view, and i is the first camera. Index indicating the La or the second camera,
  • the evaluation value J specified by is a shape larger than 0.7.
  • an imaging apparatus includes a first camera that captures a first image, a second camera that captures a second image, and a plurality of translucency. And a lens cover that covers the first camera and the second camera, the plurality of portions including an upper portion and a plurality of adjacent portions, each of the plurality of ridge lines being Each of the plurality of adjacent portions is formed between each of the plurality of surfaces and the upper surface, and each of the plurality of ridge lines is formed by the first center of the first lens of the first camera and the second camera. It is characterized by being in a twisted position with respect to a base line connecting the second center of the second lens.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 1.
  • FIG. 2A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 2B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 3 is a view showing a part of a cross section of the lens cover.
  • FIG. 4 is a flowchart showing the operation of the interpolation unit.
  • FIG. 5 is a flowchart showing the first determination process.
  • FIG. 6 is a flowchart showing the second determination process.
  • FIG. 7 is a flowchart showing the interpolation step process.
  • FIG. 8 is a schematic diagram of world coordinate calculation performed by four eyes.
  • FIG. 8 is a schematic diagram of world coordinate calculation performed by four eyes.
  • FIG. 9A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 9B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 10A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 10B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 11A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 11B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 12A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 12B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 12C is a side view showing the positional relationship between the wide-angle camera and the lens cover in an in-vehicle application.
  • FIG. 13A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 13B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 13C is a side view showing the positional relationship between the wide-angle camera and the lens cover in a vehicle-mounted application.
  • FIG. 13D is a side view showing the positional relationship between the wide-angle camera and the lens cover in a vehicle-mounted application.
  • FIG. 13A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 13B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 13C is a side view showing the positional relationship between
  • FIG. 14A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 14B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 15A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 15B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 16A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 16B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 17A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 17B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 18 is a conceptual diagram illustrating the field of view of the camera.
  • FIG. 19 is a conceptual diagram illustrating the evaluation value J
  • FIG. 20A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 20B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 21 is a contour map of the evaluation value J
  • FIG. 22A is a plan view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 22B is a side view showing the positional relationship between the wide-angle camera and the lens cover.
  • FIG. 23 is a block diagram illustrating a configuration of an imaging apparatus according to the fifth embodiment. 24 is a side view of the cover.
  • FIG. 25 is a flowchart showing the operation of the interpolation unit.
  • FIG. 26 is a plan view for explaining the lens
  • a stereo camera is used for monitoring the surroundings or driving support in a moving object such as a drone or a car.
  • a wide-angle compound eye camera is suitable.
  • the installation position the vicinity of the surface of the moving body is preferable in order to ensure a wide field of view.
  • the size the lens cover is low in order to avoid a collision, and a small size is preferable due to restrictions on the mounting space.
  • the weight it is preferable that the weight is particularly light in a flying body such as a drone. In an imaging system in which a plurality of independent wide-angle cameras are arranged, it is difficult to satisfy the restriction.
  • the inventor has come up with a lens cover that enables wide-angle imaging by a single housing small-sized compound eye imaging device, and an imaging device using the lens cover.
  • an imaging device has a first camera that captures a first image, a second camera that captures a second image, and translucency.
  • a lens cover having a plurality of portions and a plurality of ridge lines, covering the first camera and the second camera, the plurality of portions including an upper portion and a plurality of adjacent portions, each of the plurality of adjacent portions being Each of the plurality of ridge lines adjacent to the upper portion is formed between each of the plurality of surfaces of the plurality of adjacent portions and the upper surface, and (i) interpolation of pixel values is performed in the first image.
  • a pixel in a necessary area is specified, and (ii) interpolated pixel information for interpolating the pixel value of the specified pixel, and a processing circuit that generates an output image using the first image,
  • Each of the plurality of ridge lines is a first lens of the first lens of the first camera. It is in a twisted position with respect to the base line connecting the heart and the second center of the second lens of the second camera, and the upper part faces the base on which the first camera and the second camera are installed It is characterized by doing.
  • the imaging apparatus it is possible to reduce the influence of the vicinity of the ridgeline of the lens cover as compared with the conventional case.
  • the processing circuit may specify the pixel based on the first image and the second image.
  • this imaging device uses the image acquired by the device itself.
  • a storage unit that stores area specifying information for specifying the area may be further provided, and the processing circuit may specify the pixel based on the area specifying information.
  • this imaging apparatus can specify the pixels in the area affected by the distortion of the light passing near the ridgeline without using the image acquired by the apparatus itself.
  • the processing circuit may acquire a pixel value of a neighboring pixel located at a predetermined distance or less from the region as the interpolation pixel information.
  • the imaging apparatus can generate an output image from the first image.
  • the image processing apparatus further includes a third camera that captures a third image, and the processing circuit uses the second image and the third image, and uses the second image and the third image as pixels for pixels corresponding to the region as the interpolation pixel information. Value information may be acquired.
  • this imaging apparatus can generate an output image in which the pixels in the area affected by the distortion of the light passing near the ridge line are interpolated with higher accuracy.
  • the lens cover may further be included in a sphere that covers the upper surface of the base and has a radius of a circumscribed circle of the upper surface.
  • one of the plurality of ridge lines and its neighboring area may be replaced with a curved surface.
  • this imaging apparatus can improve the safety of the lens cover.
  • the lens cover may further cover the upper surface of the base, and the outer surface of the upper portion, the inner surface of the upper portion, and the upper surface may be parallel to each other.
  • the lens cover may further cover the upper surface of the base, the outer surface of the upper portion and the upper surface may be similar, and the outer surface of the upper portion may be smaller than the upper surface.
  • this imaging apparatus can suppress an increase in the number of ridge lines.
  • An imaging device includes a first camera that captures a first image, a second camera that captures a second image, a plurality of parts having translucency, and a plurality of ridge lines.
  • Each of the plurality of adjacent portions is formed between each of the plurality of surfaces and the upper surface, and (i) in the first image, a pixel in an area where pixel value interpolation is required is specified; (Ii) a processing circuit for generating an output image using interpolation pixel information for interpolating a pixel value of the specified pixel and the first image, wherein an outer shape of the lens cover is N as a camera , S is the field of view, i is the first camera or the second camera Index showing,
  • the evaluation value J specified by is a shape larger than 0.7.
  • An imaging device includes a first camera that captures a first image, a second camera that captures a second image, a plurality of parts having translucency, and a plurality of ridge lines.
  • a lens cover that covers the first camera and the second camera, wherein the plurality of portions includes an upper portion and a plurality of adjacent portions, and each of the plurality of ridge lines is a plurality of surfaces of the plurality of adjacent portions.
  • each of the plurality of ridge lines includes a first center of the first lens of the first camera and a second center of the second lens of the second camera. It is characterized by being in a twisted position with respect to the base line to be connected.
  • An imaging method is an imaging method, in which a first image is captured by a first camera, a second image is captured by a second camera, and the first camera and the second camera are captured.
  • the camera is covered with a lens cover having a plurality of translucent portions and a plurality of ridge lines, the plurality of portions including an upper portion and a plurality of adjacent portions, and each of the plurality of adjacent portions is adjacent to the upper portion.
  • each of the plurality of ridge lines is formed between each of the plurality of surfaces of the plurality of adjacent portions and the upper surface, and (i) in the first image, an area where pixel values need to be interpolated.
  • a certain pixel is specified, and (ii) an output image is generated using interpolation pixel information for interpolating a pixel value of the specified pixel and the first image, and each of the plurality of ridge lines is The first center of the first lens of the first camera and the second camera Located skewed relative to a base line connecting the second center of the second lens, wherein the upper is characterized in that opposite the base of the second camera from the first camera is installed.
  • the imaging device includes four wide-angle camera lenses arranged on a base having a square upper surface.
  • the center of the upper surface of the base is the intersection of the square diagonal lines.
  • each lens of the four wide-angle cameras intersects with the upper surface of the base in a circle.
  • the center of this circle is defined as the center of the lens of the wide-angle camera
  • the four lenses are mounted on the base so that the centers of the four centers of the four lenses of the four wide-angle cameras coincide with the center of the top surface of the base.
  • the four lenses are arranged on the upper surface and symmetrical with respect to the center of the upper surface of the base.
  • the camera module may include a base and four image sensors installed on the top surface of the base. Each of the four image sensors and the four wide-angle cameras correspond to each other. Each wide-angle camera may include a corresponding image sensor and a corresponding wide-angle camera lens.
  • the imaging device of the present disclosure includes two or more wide-angle cameras, and the content of the present disclosure may be applied to two or more wide-angle cameras.
  • Camera parameters camera parameters based on a camera model of a pinhole camera may be used (Equation 1), and the camera parameters can be calculated by a known method such as the Tsai technique (see Non-Patent Document 1).
  • the x and y components at the center of the image are Cx and Cy
  • the focal length is f
  • the lengths of one pixel of the image sensor in the x and y directions are d′ x and d′ y, respectively
  • the camera world coordinate reference A rotation matrix of 3 rows and 3 columns with respect to R (lower right subscript 10 place represents row and 1 place represents column)
  • the x, y, z components of translation relative to the world coordinate reference of the camera are represented by Tx, respectively.
  • Ty, Tz, and h is a parameter with no degree of freedom.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 101 according to the first embodiment.
  • the imaging apparatus 101 includes a first wide-angle camera 102, a second wide-angle camera 103, a third wide-angle camera 104, a fourth wide-angle camera 105, a lens cover 106, A frame memory 107 and a processing circuit 111 are included.
  • each of the first wide-angle camera 102 to the fourth wide-angle camera 105 has a viewing angle of 110 ° or more.
  • a wide-angle camera may be simply called a camera.
  • the first wide-angle camera 102 captures the first image.
  • the second wide-angle camera 103 captures the second image.
  • the third wide-angle camera 104 captures a third image.
  • the fourth wide-angle camera 105 captures the fourth image.
  • the first wide-angle camera 102 to the fourth wide-angle camera 105 are arranged on the upper surface of the base so that the fields of view of the wide-angle camera overlap.
  • the field of view of the first wide angle camera overlaps the field of view of the second wide angle camera
  • the field of view of the first wide angle camera overlaps the field of view of the third wide angle camera
  • the field of view of the first wide angle camera is
  • the field of view of the fourth wide angle camera overlaps
  • the field of view of the second wide angle camera overlaps the field of view of the third wide angle camera
  • the field of view of the second wide angle camera overlaps the field of view of the fourth wide angle camera.
  • the field of view of the third wide-angle camera overlaps the field of view of the fourth wide-angle camera.
  • the lens cover 106 has a plurality of light-transmitting portions and covers the first wide-angle camera 102 to the fourth wide-angle camera 105.
  • Each of the plurality of portions has an outer surface and an inner surface parallel to the outer surface.
  • the outer surface may receive light from the subject, and the inner surface may output light corresponding to the light received by the outer surface.
  • the lens cover 106 covers the entire upper surface of the base on which the first wide-angle camera 102 to the fourth wide-angle camera 105 are arranged within a range of a solid angle of 2 ⁇ rad.
  • the lens cover 106 is made of a transparent resin.
  • FIGS. 2A and 2B are diagrams showing the positional relationship between the wide-angle camera and the lens cover.
  • reference numeral 501 denotes a base
  • 502 to 505 denote lenses of the first wide-angle camera 102 to the fourth wide-angle camera 105
  • 106 denotes a lens cover
  • 506 denotes a virtual hemisphere circumscribing the base 501.
  • the thickness of the base 501 may be considered as infinitely small.
  • the lens cover 106 has one upper portion and four side surfaces.
  • the shape of the lens cover 106 is a frustum shape that includes a top surface of a square base 501, a bottom surface, one upper portion, and four side surfaces.
  • h is the height of the lens cover 106
  • d is half the length of one side of the base
  • the radius of the virtual hemisphere circumscribing the base is
  • the lens cover 106 is larger than the diameter of the bottom surface of the virtual hemispherical surface 506 that circumscribes the base.
  • a lens cover with a bottom size smaller than double can be used.
  • the lens cover 106 has a plurality of portions including four side portions and one upper portion. Two adjacent portions among the plurality of portions have ridge lines. The lens cover 106 has eight ridge lines.
  • FIG. 3 is a diagram showing a part of a cross section of the lens cover 106.
  • the region in the vicinity of the ridge line can be regarded as a lens having a cross section of a quadrilateral including two sides having a plate thickness as a side length.
  • the light passing near the ridgeline is distorted.
  • this area is referred to as an area affected by the distortion of light passing near the ridge line).
  • the frame memory 107 stores images captured by the first wide-angle camera 102 to the fourth wide-angle camera 105.
  • the processing circuit 111 identifies a pixel in a region affected by distortion of light passing through the vicinity of the ridgeline of two adjacent portions of the plurality of portions of the lens cover 106 in the first image, and the identified pixel An output image is generated using the interpolated pixel information for interpolating the pixel values and the first image.
  • the processing circuit 111 may be realized by a processor (not shown) executing a program stored in a memory (not shown), or dedicated hardware such as an ASIC (Application Specific Integrated Circuit). It may be realized by a circuit.
  • the processing circuit 111 includes an interpolation unit 108, an image composition unit 109, and an image output unit 110.
  • the interpolating unit 108 interpolates pixel values of pixels included in a region affected by distortion of light passing near the ridge line.
  • FIG. 4 is a flowchart showing the operation of the interpolation unit 108.
  • the interpolation unit 108 determines a region that is affected by the distortion of light passing near the ridgeline (step S402), and the ridgeline
  • the pixel value of the pixel included in the region affected by the distortion of the light passing through the vicinity is interpolated with the pixel value of the pixel included in the region not affected by the distortion of the light passing through the vicinity of the ridgeline (step S403).
  • the determination of the area affected by the distortion of the light passing near the ridge line includes (1) a process using the image of the common visual field area of the compound eye (first determination process) and (2) imaging a known pattern in advance.
  • first determination process a process using the image of the common visual field area of the compound eye
  • second determination process imaging a known pattern in advance.
  • FIG. 5 is a flowchart showing the first determination process.
  • the interpolation unit 108 captures a region that matches the region near the target pixel in the image captured by the target camera with another camera.
  • a search is made from the obtained image (step S501).
  • a matching error is calculated based on a difference between pixel values of a rectangular image region (for example, a square with four pixels on each side) used for pixel comparison, and an image region in which the matching error is minimized is set as a matching region.
  • the interpolation unit 108 performs a residual sum of squares defined by the following (Equation 2) in the reference image search region with respect to the reference block centered on the pixel position (x 0 , y 0 ) in the reference image. SSD) is calculated, and the pixel position (u i , v j ) that minimizes the SSD in the search region is set as the estimated value (u, v) at the pixel position (x 0 , y 0 ).
  • f 1 (x, y) is the luminance value at the pixel position (x, y) of the standard image
  • f 2 (x, y) is the luminance value at the pixel position (x, y) of the reference image
  • w is Each block area where correlation calculation is performed.
  • step S502 The determination of the area affected by the distortion of light passing near the ridge line branches depending on the number of cameras used.
  • the interpolation unit 108 performs stereo ranging with all camera pairs (step S503).
  • the number of cameras used is four, for example, a first wide-angle camera, a second wide-angle camera, a third wide-angle camera, and a fourth wide-angle camera
  • the first wide-angle camera and the second wide-angle camera Stereo distance measurement with a pair of the first wide angle camera, stereo distance measurement with a pair of the first wide angle camera and the third wide angle camera, stereo distance measurement with a pair of the first wide angle camera and the fourth wide angle camera, and a second wide angle Stereo ranging with a camera and third wide-angle camera pair, stereo ranging with a second wide-angle camera and fourth wide-angle camera pair, and stereo ranging with a third wide-angle camera and fourth wide-angle camera pair Distance.
  • the interpolation unit 108 calculates a distance measurement error based on the difference between the world coordinate value or the depth value calculated by the distance measurement in step S503 (step S504).
  • the interpolation unit 108 compares the distance measurement error calculated in step S504 with a threshold value based on the distance measurement error estimated from the camera parameter error (step S505).
  • This threshold value can be determined based on the correlation between the distance measurement error and the camera parameter error.
  • Stereo ranging obtains a triangle whose apex is the position of the measurement object and the two cameras, and calculates the position of the measurement object based on the principle of triangulation. For this reason, when the direction vector from the camera position toward the measurement object is calculated from the camera parameter, a ranging error due to the error of the camera parameter occurs.
  • the error of the direction vector from the camera position toward the measurement object can be estimated from the reprojection error of the camera parameter.
  • the reprojection error is a distance between image coordinates calculated by projecting world coordinates onto an image with camera parameters and true image coordinates corresponding to the image coordinates.
  • the reprojection error is used as an evaluation value of a known camera calibration method such as the Tsai method, and can be acquired when calculating camera parameters. Further, the error of the direction vector from the camera position toward the measurement object can be estimated based on the camera model and the reprojection error.
  • the camera model is a pinhole camera represented by Equation 1
  • the camera centers Cx and Cy are respectively half the number of pixels in the horizontal and vertical directions of the captured image
  • the rotation matrix R is a unit matrix
  • translations Tx, Ty By setting Tz to 0, the relationship between the image coordinates and the direction vector from the camera position toward the measurement object can be expressed by Equation 3.
  • ⁇ x and ⁇ y are the x component and the y component of the angle formed by the direction vector from the camera position toward the measurement object and the optical axis of the camera.
  • the errors of the x and y components of the reprojection error are ⁇ x and ⁇ y, respectively, and the errors of the x and y components of the angle formed by the direction vector and the optical axis of the camera are ⁇ x and ⁇ y, respectively (Formula 4).
  • the relationship between the direction vector errors ⁇ x and ⁇ y from the camera position toward the measurement object and the distance measurement error can be estimated according to the distance to the distance measurement object.
  • the two straight lines on the direction vector of the two cameras do not pass through the distance measurement object and are twisted positions.
  • As an approximate position of the intersection of two straight lines it can be calculated as a position having the shortest distance with respect to the two straight lines.
  • step S505 If the distance measurement error is smaller than the threshold value in step S505, the pixel is set to an area not affected by the distortion of light passing near the ridge line (step S507). If the distance measurement error is larger than the threshold value, the pixel passes near the ridge line. Is set to a region (step S508) that is affected by the distortion of light. These settings may be made for each pixel.
  • step S502 if the number of cameras used is less than three, it is compared with a threshold based on match error and image noise, or compared with a threshold based on match error and pixel sampling error (step S506).
  • a threshold based on match error and image noise For example, a constant multiple (about 2 to 3 times) of the average luminance noise level of the entire image may be set as the threshold value.
  • the luminance noise level of the image can be calculated by the following procedure as an example.
  • the same scene is imaged in N frames (for example, 100 frames), and with these N frames, the variance of the luminance value and the standard deviation can be calculated for each pixel.
  • the average of all pixels of the standard deviation of each pixel is set as the luminance noise level of the entire pixel.
  • a matching error of about the luminance noise level of the entire image occurs. Therefore, a constant multiple (about 2 to 3 times) of the luminance noise level can be used as a threshold value for matching determination.
  • step S506 if the matching error is smaller than the threshold value, the target pixel is set in a region not affected by the distortion of light passing near the ridge line in step S507, and if larger than the threshold value, the process proceeds to step S509.
  • the interpolation unit 108 compares the magnitude of the luminance gradient (when the luminance gradient is large, the image is clear) for two corresponding blocks included in different images with matching errors greater than the threshold value. Then, in step S507, a block having a larger luminance gradient is set as an area that is not affected by the distortion of light passing near the ridge line, and a block having a smaller luminance gradient is set in step S508. Set to the affected area.
  • the number of cameras used is three or more, it may be determined whether or not the region is affected by the distortion of light passing near the ridge line due to a matching error.
  • the imaging apparatus 101 further includes a storage unit that stores area specifying information for specifying an area affected by distortion of light passing near the ridgeline.
  • the blurred area on the image near the ridgeline can be identified by photographing a known pattern in advance.
  • a lattice line or a checker pattern can be used.
  • gray appears in the blurred area and the edge is lost.
  • the storage unit stores pixel coordinates located in the blurred area as area specifying information.
  • FIG. 6 is a flowchart showing the second determination process.
  • the interpolation unit 108 refers to the region specifying information stored in the storage unit to check whether the target pixel corresponds to a region affected by the distortion of light passing near the ridge line (step S601). .
  • step S601 when the target pixel corresponds to a region affected by the distortion of light passing near the ridgeline, the interpolation unit 108 determines the distortion of light passing near the ridgeline. If the target pixel is not affected by the distortion of light passing through the vicinity of the ridgeline, the interpolation unit 108 passes the target pixel through the vicinity of the ridgeline. Set to a region (step S603) that is not affected by the distortion of light.
  • the image composition unit 109 determines the pixel value of the region affected by the distortion of the light passing near the ridge line determined by the interpolation unit 108, and the region affected by the distortion of the light passing near the ridge line by the interpolated image. The images are combined as a single image not included (step S403). Then, the image output unit 110 outputs the image generated by the image composition unit 109.
  • FIG. 7 is a flowchart showing the processing of the interpolation step (step S403). Interpolation of pixel values in the shielding area branches depending on the number of cameras used (step S701).
  • the vicinity of the ridge line is passed based on the world coordinates calculated by the stereo ranging of all the camera pairs in the area determination step S402 affected by the distortion of the light passing near the ridge line.
  • World coordinates corresponding to a region affected by light distortion are calculated (step S702).
  • an average of stereo distance measurement of all camera pairs and / or a position where distance measurement points are concentrated may be selected.
  • FIG. 8 is a schematic diagram of world coordinate calculation performed with four eyes.
  • the variance refers to the average of the variances in the X, Y, and Z components of the three-dimensional coordinates.
  • the world coordinates of the distance measuring point Q for the four eyes as a whole are the center of gravity G (G (X, Y, Z) of P1 to P6, and the X, Y, and Z components of the three-dimensional coordinates P1 to P6. Or the center of gravity Q of a set of points (P1 to P3 in the figure) where the distance measuring points are concentrated.
  • step S403 the description of the interpolation step (step S403) will be continued.
  • the pixel value C1 of the pixel B1 in the region affected by the distortion of light passing near the ridge line in the captured image A1 captured by the camera of interest P1 is affected by the distortion of light passing near the ridge line calculated in step S702.
  • Interpolation is performed with the pixel value C2 of the pixel B2 corresponding to the world coordinate W of the pixel B1 included in the region.
  • the pixel value C2 of the corresponding pixel B2 is obtained by obtaining the pixel coordinates obtained by projecting the world coordinates with the camera parameter of the camera P2 different from the camera of interest onto the captured image A2 captured by the other camera P2. What is necessary is just to obtain
  • the captured image A2 is used that the projected pixel B2 is included in a region that is not affected by the distortion of light passing near the edge of the captured image A2.
  • step S701 if the number of cameras used is less than three, pixel values are interpolated from neighboring pixels by a known interpolation method such as bilinear or bicubic interpolation (step S704).
  • the imaging apparatus 101 configured as described above interpolates the pixel values of the region affected by the distortion of the light passing near the ridgeline, so that the output image defect caused by the distortion of the light passing near the ridgeline of the lens cover 106 is eliminated. Does not occur.
  • 9A and 9B show the lens cover 1201 in which the number of cameras is three and the lens arrangement is symmetrical.
  • the lens 1202 of the first wide-angle camera, the lens 1203 of the second wide-angle camera, and the lens 1204 of the third wide-angle camera are arranged in an equilateral triangle, and the upper base of the lens cover 1201 of the triangular frustum Is 1205.
  • 10A and 10B show a lens cover 1401 in which the number of cameras is five and the lens arrangement is symmetrical.
  • 1406 is arranged in a regular pentagon, and the upper base of the lens cover 1401 of the pentagonal pyramid is 1407.
  • 11A and 11B show the lens cover 1601 in which the number of cameras is 6 and the lens arrangement is symmetrical.
  • the lens 1607 of the sixth wide-angle camera is arranged in a regular hexagon, and the upper base of the lens cover 1601 of the hexagonal frustum is designated as 1608.
  • the outer shape of the lens cover may be a frustum with the upper surface of the base as the bottom surface.
  • the region affected by distortion of light passing near the ridge line in each camera may be determined from the positional relationship between the ridge line of the lens cover and the pixels on the imaging element.
  • the shape of the lens cover is not necessarily limited to the shape of a right truncated cone as long as it covers the upper surface of the base on which the camera lens is arranged.
  • Examples of the lens cover having an outer shape other than the right frustum are illustrated in FIGS. 12A, 12B, 13A, and 13B.
  • 511 is a base
  • 512 to 515 are lenses of the first wide-angle camera 102 to the fourth wide-angle camera 105
  • 116 is a lens cover.
  • the upper portion of the lens cover 116 is not parallel to the upper surface of the base 511.
  • the upper surface of the lens cover 116 is tilted so that the angle formed by the normal vector on the upper portion of the lens cover 116 and the normal vector of the upper surface of the base 511 is greater than 0 ° and less than 30 °.
  • the lens cover 116 is described without considering the plate thickness, but the upper outer surface of the lens cover 116 and the corresponding inner surface may be considered to be parallel to each other. That is, neither the outer surface of the upper portion of the lens cover 116 nor the inner surface corresponding thereto is parallel to the upper surface of the base 511.
  • the normal vector of the upper surface of the upper portion of the lens cover 116 may be either a normal vector of the outer surface of the upper portion of the lens cover 116 or a normal vector of the inner surface of the upper portion of the lens cover 116.
  • 521 is a base
  • 522 to 525 are lenses of the first wide-angle camera 102 to the fourth wide-angle camera 105
  • 126 is a lens cover.
  • the upper portion of the lens cover 126 is parallel to the upper surface of the base 521.
  • the lens cover 126 is described without considering the plate thickness, but the upper outer surface of the lens cover 126 and the corresponding inner surface may be considered to be parallel to each other. In other words, the outer surface of the upper portion of the lens cover 126 and the corresponding inner surface are both parallel to the upper surface of the base 521.
  • the center of each center of 525 is shifted from the center of the outer surface of the upper portion of the lens cover 106.
  • the common field of view that does not include the area affected by the distortion of light passing near the ridge line of the lens cover 126 is widened. it can.
  • the arrangement is as shown in FIG. 13C. That is, the normal vector at the top of the lens cover 126 is set to face the ground.
  • Thresholds such as the size of the lens cover are defined as a percentage of the entire lens cover because the effect of reducing the influence of distortion of light passing near the ridgeline can be obtained even with a similar lens cover.
  • the size of the lens cover can be defined only by the radius of the sphere.
  • the size of the lens cover corresponds to the diameter of the sphere.
  • the size of the lens cover corresponds to the diameter in the plan view of the lens cover.
  • the average baseline length D is defined as an effective index representing the size of the frustum lens cover.
  • N is the number of cameras (number of lenses)
  • d is the baseline length (distance between lenses).
  • the size of the lens cover can be defined even when a plurality of lenses are irregularly arranged. Note that the minimum value, maximum value, median value, or standard deviation can be used instead of the average of the baseline length.
  • FIG. 27 shows the case where the bases having the smallest square surface are used in which the lenses are arranged closest to each other.
  • the lens radius an optical axis symmetric lens is assumed, and the maximum distance from the optical axis is r.
  • the minimum radius of the spherical lens cover is 2 ⁇ 2 r.
  • the lower limit of the average baseline length D can be calculated by considering the close-packed arrangement between the lenses (the upper limit depends on the size of the surface of the base, and the lens is arranged at the end of the surface of the base. Is). Therefore, the threshold value such as the size of the lens cover can be defined by a constant multiple of the average baseline length or the like. For example, the size of the lens cover is
  • the shape of the lens cover in the first embodiment is not necessarily limited to the frustum shape.
  • ⁇ ⁇ ⁇ 0
  • a polyhedron in which the upper base side exists in a twisted position with respect to the lower base side is obtained. This polyhedron is called a twisted frustum.
  • the same four wide-angle cameras as in the first embodiment will be described.
  • the lens cover 106 is changed from the imaging apparatus 101 according to the first embodiment to a lens cover 631 (see FIGS. 14A and 14B) described later.
  • FIG. 14A and FIG. 14B are diagrams showing the arrangement of the wide-angle camera and the twisted frustum lens cover.
  • 631 is a lens cover having a twisted frustum-shaped outer shape
  • 632 is a rectangular shape including a line segment connecting the side and the lenses 502 and 503 among the four sides of the upper base of 631, and the area of the rectangle is minimum.
  • the side 633 is a line segment (base line) connecting the centers of the lens 502 and the lens 503.
  • each of the four lenses is a hemisphere, each of the four lenses intersects with the upper surface of the base in a circle.
  • the center of this circle may be defined as the center of the lens.
  • each ridge line surrounding the upper outer surface of the plurality of surfaces of the lens cover 631 connects the first wide-angle camera (first camera) 102 and the second wide-angle camera (second camera) 103. It is in a twisted position with respect to the baseline. In this way, when the base line of the camera and the upper base side of the lens cover are in a twisted position, the influence of the distortion of light passing near the ridge line is caused by only one camera with respect to one point of world coordinates in a certain space. appear.
  • each side of the outer surface of the upper portion of the lens cover 631 has a lens 502 of the first wide-angle camera (first camera) and a second wide-angle camera (second camera).
  • the lens 503 is twisted with respect to the base line connecting the lens 503.
  • the imaging apparatus includes the first wide-angle camera (first camera) 102 that captures the first image and the second wide-angle camera (second camera) that captures the second image. ) 103, a lens cover 631 composed of a plurality of light-transmitting surfaces and covering the first wide-angle camera (first camera) 102 and the second wide-angle camera (second camera) 103, and a first image
  • a processing circuit 111 that generates an output image using the interpolated pixel information and the first image, and each ridge line surrounding the upper outer surface of the plurality of surfaces of the lens cover 631 is a first ridge line.
  • Wide-angle camera (first camera) 10 When in skewed with respect to the second wide-angle camera baseline connecting the (second camera) 103.
  • the outer shape of the lens cover into a twisted frustum shape, the number of cameras that capture an image including an area affected by distortion of light passing near the ridge line of the lens cover can be reduced. As a result, it is possible to facilitate interpolation using pixel values by another camera that captures an image that is not affected by distortion of light passing near the ridgeline.
  • 15A and 15B are diagrams showing the arrangement of three wide-angle cameras and a frustum lens cover.
  • 15A and 15B the same components as those in Embodiment 1 are denoted by the same reference numerals as in FIGS. 9A and 9B, and description thereof is omitted.
  • 1301 is a twisted frustum-shaped lens cover
  • 1302 is the side closest to the lens 1202 and the lens 1203
  • 1303 is a line segment (base line) connecting the centers of the lens 1202 and the lens 1203. ).
  • FIGS. 16A and 16B are diagrams showing the arrangement of five wide-angle cameras and a frustum lens cover. 16A and 16B, the same components as those in the first embodiment are denoted by the same reference numerals as those in FIGS. 10A and 10B, and the description thereof is omitted.
  • 1501 is a twisted frustum-shaped lens cover
  • 1502 is the side closest to the lens 1402 and the lens 1403 among the five sides of the upper base of 1501
  • 1503 is a line segment (base line) connecting the centers of the lens 1402 and the lens 1403 ).
  • FIGS. 17A and 17B are diagrams showing the arrangement of six wide-angle cameras and a frustum lens cover.
  • the same components as those in Embodiment 1 are denoted by the same reference numerals as those in FIG. 16A and FIG. 1701 is a twisted frustum-shaped lens cover
  • 1702 is the side closest to the lens 1602 and the lens 1603 among the six sides of the upper base of 1701
  • 1703 is a line segment (base line) connecting the centers of the lens 1602 and the lens 1603 ).
  • the outer shape of the lens cover may be a twisted frustum with the base as the bottom surface.
  • the shape of the lens cover is preferably such that the lens cover surface through which the incident light passes is perpendicular to the direction vector of the incident light in order to reduce the influence of attenuation of the incident light.
  • a shape that takes into account the influence of attenuation by the lens cover will be described in the third embodiment.
  • FIG. 18 is a conceptual diagram illustrating the field of view of the camera.
  • the optical axis of the camera 1801 is 1802 and the field of view S of the camera is 1803.
  • the angle formed by the straight line passing through the boundary of the visual field and the optical axis is defined as a half field angle ⁇ 1804.
  • the lens cover surface through which the incident light passes becomes nearly perpendicular to the direction vector of the incident light. The attenuation of the incident light due to is small and suitable.
  • the direction vector of the line of sight for the field of view S centered on the lens position.
  • the inner product of the unit line-of-sight vector, which is the unit vector, and the unit normal vector, which is the unit vector of the normal vector of the lens cover surface through which the vector of the line-of-sight direction passes, may be calculated by each camera.
  • An evaluation value J for evaluating the size of the angle formed by the two vectors is shown in Equation 5.
  • N is the number of cameras
  • i is the camera index
  • This evaluation value J corresponds to the average cosine with respect to the angle formed by the two vectors. That is, the evaluation value J is the maximum value 1 when the angle formed by the two vectors is zero.
  • the evaluation value J of Expression 5 will be described with reference to FIG. In FIG. 19, the same components as those of FIG. 18 are denoted by the same reference numerals as those of FIG.
  • the camera line-of-sight vector is 1901
  • the minute visual field through which the line-of-sight vector passes is 1902
  • the unit normal vector of the minute visual field is 1903.
  • Equation 5 Since the depth value of the area corresponding to the area in Equation 5 is arbitrary, it is assumed to be an R hemisphere. Since the normal vector of the sphere passes through the center of the sphere, the lens cover and the line-of-sight vector are orthogonal to each other.
  • the inner product of is always 1. Therefore, the evaluation value J of Formula 5 is 1, which is the maximum value.
  • 20A and 20B will be described by taking four cameras similar to those in Embodiment 1 as an example.
  • 20A and 20B the same components as those in Embodiment 1 are denoted by the same reference numerals as those in FIGS. 2A and 2B, and description thereof is omitted.
  • Reference numeral 701 denotes a field of view centered on the lens position in Equation 5, and the field of view of the camera is hemispherical (within 90 ° from the optical axis).
  • w represents half the length of the upper base side, and ⁇ represents the angle between the side surface and the bottom surface of the frustum.
  • one side of the bottom surface of the lens cover is set to 30 mm, and the center of the lens is set to a position separated from the side of the bottom surface by 7.5 mm.
  • w and h that maximize the evaluation value J of Equation 7 are calculated.
  • structural constraints of the lens cover 0 ⁇ w ⁇ 15 mm and 0 ⁇ h ⁇ 30 mm. Since it is difficult to calculate an analytical solution, a line-of-sight vector is generated at equal angular intervals in a spherical coordinate system to obtain a numerical solution.
  • the maximum value J is 0.841
  • the average of the angle formed by the line-of-sight vector and the normal vector of the lens cover surface through which the line-of-sight vector passes is 32.7 °.
  • w 11.37 mm
  • h 8.11 mm
  • ⁇ 65.9 ° (FIG. 21)
  • the evaluation value J is approximately 0.7.
  • ⁇ since the position of the lens is not in the center of the lens cover, ⁇ has a maximum evaluation value J at 65.9 ° which is larger than 60 °. Therefore, the maximum value of the evaluation value J when one lens is arranged at the center of the base is an example of a threshold value indicating that the lens cover is more perpendicular to the incident light in the third embodiment.
  • the angle of light incident on the lens cover can be evaluated by the evaluation value J, and the influence of attenuation of incident light by the lens cover is reduced by determining the lens cover shape so as to increase the evaluation value. can do.
  • the lens cover is low in height and is located inside the hemispherical lens cover
  • the protrusion of the lens cover can cause a collision.
  • the height of the lens cover is low.
  • the lens cover is arranged inside the hemispherical lens cover whose radius is the radius of the circle circumscribing the base.
  • FIGS. 22A and 22B four cameras similar to those in Embodiment 1 will be described as an example. 22A and 22B, the same components as those in Embodiment 1 are denoted by the same reference numerals as those in FIGS. 2A and 2B, and description thereof is omitted.
  • P represents the vertex of the upper base of the lens cover (there are four vertices but one point is representative because of symmetry). By disposing the lens cover so that P exists inside the hemispherical surface 506, the height of the lens cover is made lower than that of the hemispherical lens cover.
  • the lens cover is a circumscribed circle of the lower surface (the upper surface of the base 501) on which the first wide-angle camera (first camera) 102 and the second wide-angle camera (second camera) 103 are arranged. It is included in a sphere whose radius is.
  • the height of the lens cover can be lowered and the possibility of collision can be reduced.
  • FIG. 23 shows a block diagram of the imaging apparatus 901 of the fifth embodiment.
  • four cameras similar to those of the first embodiment are taken as an example.
  • the lens cover 106 is replaced with the lens cover 906 from the imaging apparatus 101 (see FIG. 1) according to the first embodiment, and the interpolation unit 108 is The interpolation unit 908 is replaced.
  • the lens cover 906 is obtained by replacing the ridge line of the lens cover 106 and the area near the ridge line with a curved surface.
  • the lens cover 106 will be described.
  • FIG. 24 is a side view of the lens cover 906, which is a lens cover in which the ridge line of the lens cover and the area near the ridge line are replaced with curved surfaces.
  • Reference numeral 1001 denotes a lens
  • reference numeral 1002 denotes a lens cover surface parallel to the bottom surface, which is called an upper surface. In FIG. 24, the thickness of the lens cover is ignored. This lens cover surface may be considered as the outer surface of the lens cover.
  • the inner surface of the lens cover may be designed based on the same concept.
  • Reference numeral 1003 denotes a lens cover surface in contact with the bottom surface, which is called a side surface.
  • Reference numeral 1004 denotes a cylinder in contact with the upper surface 1002 and the side surface 1003, which is a circle in the side view of FIG.
  • the curved surface is arranged so as to contact the two flat portions 1002 and 1003 as shown in FIG. 24, and the frustum lenses of the first to fourth embodiments. It is obtained by replacing the ridgeline and the area near the ridgeline in the cover and the twisted frustum lens cover with the curved surface.
  • the size of the curved surface is represented by a radius of curvature. It is preferable to satisfy safety standards for in-vehicle applications.
  • the radius of curvature is 2. 5 mm or more.
  • the curvature may be determined based on the size of the base, and may be a ratio to the length of one side of the base, for example, 1%.
  • the curved surface is not limited to 1004 cylinder.
  • the planar area of the lens cover excluding the ridge line and the area in the vicinity of the ridge line may be determined in the same manner as in the first to fourth embodiments, and the description thereof is omitted.
  • the interpolation unit 908 interpolates pixel values in a region affected by distortion of light passing near the ridge line on the image generated by the curved surface of the lens cover 906. This interpolation will be described with reference to FIG.
  • FIG. 25 is a flowchart showing the operation of the interpolation unit 908.
  • step S1102 the operation performed by the interpolation unit 908 is changed from the operation performed by the interpolation unit 108 according to Embodiment 1 (see FIG. 4) to the process of step S1102. It has become a thing. Hereinafter, the process of step S1102 will be described.
  • Interpolation section 908 determines a shielded area that is affected by light distortion on the image due to the curved surface of the lens cover (step S1102). This determination is performed by any one of the three methods described below or a combination thereof. As a first method, calculation is performed based on whether or not there is a region that matches the region near the target pixel of the target camera as in the first to fourth embodiments. As a second method, calculation is performed based on whether the incident light passes through the curved surface for each pixel on the image based on the design value of the lens cover. As a third method, the calculation is performed based on whether or not the pixel is located within a given number of pixels from the boundary of the shielding area generated by the lens cover.
  • the imaging device has been described based on the embodiment, but the present disclosure is not limited to this embodiment. Unless it deviates from the gist of the present disclosure, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • the imaging device and the imaging method according to the present disclosure are useful in, for example, surrounding monitoring or driving assistance in a mobile object such as a drone or a car.
  • Imaging device 101,901 Imaging device 102 First wide-angle camera (first camera) 103 Second wide-angle camera (second camera) 104 Third wide-angle camera (third camera) 105 Fourth wide-angle camera (fourth camera) 106, 116, 126, 631, 906, 1201, 1301, 1401, 1501, 1601, 1701 Lens cover 107 Frame memory 108, 908 Interpolation unit 109 Image composition unit 110 Image output unit 111 Processing circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Accessories Of Cameras (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

第１画像を撮像する第１カメラ（１０２）と、第２画像を撮像する第２カメラ（１０３）と、透光性を有する複数の部分と複数の稜線を有し、第１カメラ（１０２）と第２カメラ（１０３）を覆うレンズカバー（１０６）と、複数の部分は上部と複数の隣接部を含み、複数の隣接部のそれぞれは上部と隣接し、複数の稜線の各々は、複数の隣接部の複数の表面の各々と上部の表面の間に形成され、第１画像において、画素値の補間が必要な領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と、第１画像とを用い、出力画像を生成する処理回路（１１１）を備え、複数の稜線の各々は、第１カメラ（１０２）の第１レンズの中心と第２カメラ（１０３）の第２レンズの中心とを結ぶ基線に対してねじれの位置にあり、上部は第１カメラ（１０２）と前記第２カメラ（１０３）が設置される基台に対向する撮像装置（１０１）。

Description

撮像装置、及び撮像方法
　本開示は、カメラによる撮像技術に関する。
　ステレオ測距やライトフィールドカメラの撮像装置においては、複数の視点から撮像した画像から、被写体の奥行きの算出や仮想視点による像の合成等を行う。これらの複眼撮像装置を屋外環境で継続して使用する場合、レンズ保護のために、レンズカバーを用いる（例えば、特許文献１、特許文献２、特許文献３参照。）。
　一般に、レンズ同士の距離が大きい場合は個々のレンズに対してレンズカバーを使用し、レンズ同士の距離が小さい場合は複数のレンズに対して一つのレンズカバーを使用する。したがって、小型な撮像装置においては、複眼、すなわち複数のレンズに対し、単一のカメラモジュールと単一のレンズカバーを使用することが好適である。
特開２０１５－２２２４２３号公報 特開２００９－２１１０１２号公報 特開２００９－２２３５２６号公報
Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. Vol. 3, pp.323-344, 1987
　複数のレンズを１つのレンズカバー内に収納する場合には、そのレンズカバーのサイズを小さくするために、そのレンズカバーの外形を、稜線を有する形状とすることが考えられる。
　しかしながら、稜線を有するレンズカバーを利用する場合には、稜線付近を通過する光が歪んでしまうため、撮像画像において、通過光が正しく結像しない領域が生じてしまう。
　そこで、本開示は、従来よりも、レンズカバーの稜線付近を通過する光の歪みによる撮像画像への影響を低減可能な撮像装置、及び撮像方法を提供する。
　本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する。
　また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
Figure JPOXMLDOC01-appb-M000004
　をカメラｉの単位視線ベクトル、
Figure JPOXMLDOC01-appb-M000005
　を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
Figure JPOXMLDOC01-appb-M000006
　で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。
　また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。
　なお、これらの包括的または具体的な態様は、システム、方法で実現されてもよく、装置、システム、方法の任意な組み合わせで実現されてもよい。
　本開示によれば、従来よりも、レンズカバーの稜線による影響を低減することが可能となる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
図１は、実施の形態１に係る撮像装置の構成を示すブロック図 図２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図３は、レンズカバーの断面の一部を示す図 図４は、補間部の動作を示すフローチャート 図５は、第１判定処理を示すフローチャート 図６は、第２判定処理を示すフローチャート 図７は、補間ステップの処理を示すフローチャート 図８は、４眼で行う世界座標算出の模式図 図９Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図９Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１１Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１１Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１２Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図 図１３Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１３Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１３Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図 図１３Ｄは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図 図１４Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１４Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１５Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１５Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１６Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１６Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１７Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図１７Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図１８は、カメラの視野を説明する概念図 図１９は、評価値Ｊを説明する概念図 図２０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図２０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図２１は、評価値Ｊの等高線図 図２２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図 図２２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図 図２３は、実施の形態５に係る撮像装置の構成を示すブロック図 図２４は、カバーの側面図 図２５は、補間部の動作を示すフローチャート 図２６は、レンズカバーを説明するための平面図 図２７は、レンズカバーを説明するための平面図
　（本開示の一態様を得るに至った経緯）
　発明者は、上記従来の撮像装置等に関し、以下の問題等が生じることを見出した。
　移動体、例えば、ドローンまたは車における周辺監視または運転支援のために、ステレオカメラが利用される。この様な目的には、広角な複眼カメラが好適である。また、移動体の場合、撮像システムに対し、設置位置、サイズ、および、重量の制約を生じる。設置位置に関しては、広い視野を確保するために移動体表面付近が好適である。サイズに関しては、衝突を避けるためにレンズカバーが低く、搭載スペースの制約により小型が好適である。重量に関しては、特にドローン等の飛行体において軽量であることが好適である。独立した広角カメラを複数配置する撮像システムにおいて、前記制約を満たすことは困難である。
　発明者は、このような問題を鑑みて、単一のハウジングされた小型複眼撮像装置による、広角撮像を可能とするレンズカバー、およびこれを用いた撮像装置を想到するに至った。
　このような問題を解決するために、本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。
　これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
　例えば、さらに、前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行うとしてもよい。
　これにより、この撮像装置は、予め、いずれの画素が稜線付近を通過する光の歪みの影響を受ける領域の画素であるかが特定されていなくても、自装置によって取得された画像を利用して、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。
　例えば、さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行うとしてもよい。
　これにより、この撮像装置は、自装置によって取得された画像を利用しなくても、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。
　例えば、さらに、前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得するとしてもよい。
　これにより、この撮像装置は、第１画像から出力画像を生成することが可能となる。
　例えば、さらに、第３画像を撮像する第３のカメラを備え、前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得するとしてもよい。
　これにより、この撮像装置は、稜線付近を通過する光の歪みの影響を受ける領域の画素が、より精度良く補間された出力画像を生成することが可能となる。
　例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含されるとしてもよい。
　これにより、この撮像装置は、レンズカバーの高さが比較的低くなることから、外部物体との接触の可能性を低減することが可能となる。
　例えば、さらに、前記複数の稜線の１つとその近傍領域は、曲面に置き換えてもよい。
　これにより、この撮像装置は、レンズカバーの安全性を向上させることが可能となる。
　例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面、前記上部の内表面、前記上面とが平行であるとしてもよい。
　これにより、この撮像装置は、レンズカバーの上部の外表面を垂直に透過する光を、基台の上面に垂直に入射する光とすることが可能となる。
　例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面と前記上面は相似形であり、前記上部の外表面は前記上面より小さくてもよい。
　これにより、この撮像装置は、稜線の数の増加を抑制することが可能となる。
　本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
Figure JPOXMLDOC01-appb-M000007
　をカメラｉの単位視線ベクトル、
Figure JPOXMLDOC01-appb-M000008
　を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
Figure JPOXMLDOC01-appb-M000009
　で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
　本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。
　これにより、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
　本開示の一態様に係る撮像方法は、撮像方法であって、第１のカメラに第１画像を撮像させ、第２のカメラに第２画像を撮像させ、前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。
　これにより、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。
　以下本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、いずれも本開示における好ましい一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態、工程、並びに、工程の順序などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示における最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
　（実施の形態１）
　（錐台形状）
　本実施の形態における撮像装置は、正方形の上面を有する基台に配置された４つの広角カメラのレンズを含む。基台の上面の中心は、この正方形の対角線の交点である。４つの広角カメラのそれぞれのレンズの形状を半球とした場合、４つの広角カメラのそれぞれのレンズは基台の上面と円を形成して交わる。この円の中心を広角カメラのレンズの中心と定義した場合、４つの広角カメラの４つのレンズの４つの中心の中心が、基台の上面の中心と一致するように４つのレンズを基台の上面に配置し、かつ、基台の上面の中心に対し、４つのレンズが対称となるように配置する。
　カメラモジュールは基台と基台の上面に設置された４つ撮像素子を含んでもよい。４つ撮像素子と４つの広角カメラのそれぞれは対応する。各々の広角カメラは対応する撮像素子と対応する広角カメラレンズを含んでよい。
　なお、本開示の撮像装置は２つ以上の広角カメラを含み、２つ以上の広角カメラに対して本開示の内容を適用してもよい。
　ここで、カメラはカメラキャリブレーション済みとし、カメラパラメータは既知とする。カメラパラメータはピンホールカメラのカメラモデルに基づいたカメラパラメータを使用してもよく（式１）、Ｔｓａｉの手法（非特許文献１参照）など、既知の方式で前記カメラパラメータを算出できる。
Figure JPOXMLDOC01-appb-M000010
　ここでは、画像中心のｘ成分とｙ成分をＣｘとＣｙ、焦点距離をｆ、撮像素子の１画素のｘとｙ方向の長さをそれぞれｄ’ｘ、ｄ’ｙ、カメラの世界座標の基準に対する３行３列の回転行列をＲ（右下添え字の１０の位は行を、１の位は列を表す）、カメラの世界座標の基準に対する並進のｘ、ｙ、ｚ成分をそれぞれＴｘ、Ｔｙ、Ｔｚ、自由度のない媒介変数をｈとする。
　図１は、実施の形態１に係る撮像装置１０１の構成を示すブロック図である。
　同図に示されるように、撮像装置１０１は、第１の広角カメラ１０２と、第２の広角カメラ１０３と、第３の広角カメラ１０４と、第４の広角カメラ１０５と、レンズカバー１０６と、フレームメモリ１０７と、処理回路１１１とを含む。一例として、第１の広角カメラ１０２～第４の広角カメラ１０５のそれぞれは、１１０°以上の視野角を有する。なお、広角カメラを単にカメラと呼ぶことがある。
　以下、これら構成要素について説明する。
　第１の広角カメラ１０２は、第１画像を撮像する。第２の広角カメラ１０３は、第２画像を撮像する。第３の広角カメラ１０４は、第３画像を撮像する。第４の広角カメラ１０５は、第４画像を撮像する。
　第１の広角カメラ１０２～第４の広角カメラ１０５は、広角カメラの視野の重なりがあるように、基台の上面に配置する。例えば、第１の広角カメラの視野は第２の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第３の広角カメラの視野は第４の広角カメラの視野と重なりがある。
　レンズカバー１０６は、透光性を有する複数の部分を有し、第１の広角カメラ１０２～第４の広角カメラ１０５を覆う。複数の部分のそれぞれは、外表面と外表面に平行な内表面を有する。外表面は被写体から光を受光し、内表面は、外表面が受光した光に対応する光を出力すると考えてもよい。より具体的には、レンズカバー１０６は、第１の広角カメラ１０２～第４の広角カメラ１０５が配置される基台の上面全体を、立体角２πｒａｄの範囲で覆う。一例として、レンズカバー１０６は、透明な樹脂製である。
　図２Ａ、図２Ｂは広角カメラとレンズカバーとの位置関係を示す図である。
　図２Ａ、図２Ｂにおいて、５０１は基台、５０２～５０５はそれぞれ第１の広角カメラ１０２～第４の広角カメラ１０５のレンズ、１０６はレンズカバー、５０６は基台５０１に外接する仮想的な半球面である。基台５０１の厚さを無限小と考えてもよい。
　図２Ａ、図２Ｂに示されるように、レンズカバー１０６は、１つの上部と４つの側面を有する。レンズカバー１０６の形状は、正方形の基台５０１の上面を底面、１つの上部、及び、４つの側面で構成される錐台形である。ここで、ｈはレンズカバー１０６の高さ、ｄは基台の一辺の長さの半分であり、基台に外接する仮想的な半球面の半径は、
Figure JPOXMLDOC01-appb-M000011
となる。
　よって、レンズカバー１０６は、基台に外接する仮想的な半球面５０６の底面の直径より
Figure JPOXMLDOC01-appb-M000012
倍より小さい底面サイズとなるレンズカバーを使用できる。
　ここで、レンズカバー１０６の稜線付近を通過する光の振る舞いについて、図面を参照しながら説明する。レンズカバー１０６は４つの側部と１つの上部を含む複数の部分を有する。複数の部分のうち、隣り合う２つの部分は稜線を有する。レンズカバー１０６は８つの稜線を有する。
　図３は、レンズカバー１０６の断面の一部を示す図である。
　同図に示されるように、稜線付近の領域は、近似的に、板厚を辺の長さとする２辺を含む四角形を断面とするレンズと見なせる。これにより、稜線付近を通過する光が歪んでしまう。このため、撮像画像において、稜線付近に対応する部分に、通過光が正しく結像せずにぼやけてしまう領域（以下、この領域のことを「稜線付近を通過する光の歪みの影響を受ける領域」と呼ぶ。）が生じることとなる。
　再び図１に戻って、撮像装置１０１の構成についての説明を続ける。
　フレームメモリ１０７は、第１の広角カメラ１０２～第４の広角カメラ１０５で撮影された画像を記憶する。
　処理回路１１１は、第１画像における、レンズカバー１０６の複数の部分のうちの互いに隣り合う２つの部分の稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と第１画像とを用いて出力画像を生成する。処理回路１１１は、一例として、プロセッサ（図示せず）がメモリ（図示せず）に記憶されるプログラムを実行することで実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用ハードウエア回路によって実現されてもよい。
　処理回路１１１は、補間部１０８と、画像合成部１０９と、画像出力部１１０とを含む。補間部１０８は稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を補間する。
　補間部１０８の行う補間について、図面を参照しながら説明する。
　図４は補間部１０８の動作を示すフローチャートである。
　同図に示されるように、補間部１０８は、各カメラの撮像画像が入力されると（ステップＳ４０１）、稜線付近を通過する光の歪みの影響を受ける領域を判定し（ステップＳ４０２）、稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を稜線付近を通過する光の歪みの影響を受けない領域に含まれる画素の画素値で補間する（ステップＳ４０３）。
　稜線付近を通過する光の歪みの影響を受ける領域の判定は、（１）複眼の共通視野領域の画像を用いて判定する処理（第１判定処理）と、（２）予め既知のパターンを撮像することにより、予め稜線付近を通過する光の歪みの影響を受ける領域に位置する画素の画素座標を算出して記憶しておき、この座標を用いて判定する処理（第２判定処理）とのいずれかによって実現可能である。
　以下、これら第１判定処理と第２判定処理とについて、図面を参照しながら説明する。
　図５は、第１判定処理を示すフローチャートである。
　補間部１０８は、稜線付近を通過する光の歪みの影響を受ける領域か否かを判定するために、着目カメラで撮像された画像における着目画素近傍領域にマッチングする領域を他のカメラで撮像された画像から探索する（ステップＳ５０１）。この画像マッチングは、画素比較に用いる矩形画像領域（例えば，一辺４画素の正方形）の画素値の差に基づきマッチング誤差を算出し、マッチング誤差が最小となる画像領域をマッチング領域とする。
　ここで、マッチングの一手法であるブロックマッチングの一具体例について説明する。
　補間部１０８は、基準画像中の画素位置（ｘ０,ｙ０）を中心とする基準ブロックに対して、参照画像の探索領域中で、下記（式２）で定義される残差平方和（ＳＳＤ）を計算し、探索領域内でＳＳＤを最小とする画素位置（ｕｉ,ｖｊ）を、画素位置（ｘ０,ｙ０）における推定値（ｕ,ｖ）とする。
Figure JPOXMLDOC01-appb-M000013
　ここでは、ｆ１（ｘ,ｙ）は基準画像の画素位置（ｘ，ｙ）における輝度値、ｆ２（ｘ,ｙ）は、参照画像の画素位置（ｘ，ｙ）における輝度値、ｗは相関演算を行うブロック領域をそれぞれ示す。
　再び、第１判定処理の説明を続ける。
　稜線付近を通過する光の歪みの影響を受ける領域の判定は、使用カメラ数により分岐する（ステップＳ５０２）。
　使用カメラ数が３つ以上の場合は、補間部１０８は、全てのカメラペアでステレオ測距する（ステップＳ５０３）。例えば、使用カメラの数が４つ、例えば、第１の広角カメラ、第２の広角カメラ、第３の広角カメラ、第４の広角カメラである場合、第１の広角カメラと第２の広角カメラのペアでステレオ測距し、第１の広角カメラと第３の広角カメラのペアでステレオ測距し、第１の広角カメラと第４の広角カメラのペアでステレオ測距し、第２の広角カメラと第３の広角カメラのペアでステレオ測距し、第２の広角カメラと第４の広角カメラのペアでステレオ測距し、第３の広角カメラと第４の広角カメラのペアでステレオ測距する。
　補間部１０８は、ステップＳ５０３の測距により算出した世界座標値または奥行値の差に基づいて測距誤差を算出する（ステップＳ５０４）。
　そして、補間部１０８は、ステップＳ５０４で算出した測距誤差と、カメラパラメータの誤差から見積もられる測距誤差に基づいた閾値とを比較する（ステップＳ５０５）。この閾値は、測距誤差とカメラパラメータの誤差に相関があることに基づき決定できる。ステレオ測距は測定対象物と２カメラの位置を頂点とする三角形を求め、三角測量の原理に基づき測定対象物の位置を算出する。このため、カメラ位置から測定対象物に向かう方向ベクトルをカメラパラメータから算出した場合、カメラパラメータの誤差に起因する測距誤差を生じる。カメラ位置から測定対象物に向かう方向ベクトルの誤差は、カメラパラメータの再投影誤差から見積もることができる。再投影誤差は、世界座標をカメラパラメータで画像上に投影して算出した画像座標と、画像座標に対応する真値の画像座標との距離である。再投影誤差は、Ｔｓａｉの手法など、既知のカメラ校正方式の評価値として利用されており、カメラパラメータ算出時に取得することができる。また、カメラ位置から測定対象物に向かう方向ベクトルの誤差はカメラモデルと再投影誤差に基づき見積もることができる。例えば、カメラモデルが式１で示したピンホールカメラの場合、カメラ中心ＣｘとＣｙをそれぞれ，撮像画像の横方向と縦方向の画素数の半分、回転行列Ｒを単位行列、並進Ｔｘ、Ｔｙ、Ｔｚをそれぞれ０とすることにより、画像座標と、カメラ位置から測定対象物に向かう方向ベクトルの関係は式３で表せる。
Figure JPOXMLDOC01-appb-M000014
　ここで、ωｘとωｙは、カメラ位置から測定対象物に向かう方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分である。再投影誤差のｘ成分とｙ成分の誤差をそれぞれΔｘ、Δｙ、前記方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分の誤差をそれぞれΔωｘ、Δωｙとする（式４）。
Figure JPOXMLDOC01-appb-M000015
　カメラ位置から測定対象物に向かう方向ベクトルの誤差Δωｘ、Δωｙと測距誤差の関係は、測距対象物までの距離に応じて見積もることできる。カメラ位置から測定対象物に向かう方向ベクトルに誤差が存在する場合、２カメラの方向ベクトル上の２直線は、測距対象物を通過せず，かつ、ねじれの位置となる。２直線の交点の近似位置として、２直線に対し最短距離となる位置として算出できる。
　ステップＳ５０５において、測距誤差が閾値より小さい場合は，画素を稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ５０７）に設定し、閾値より大きい場合は，画素を稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ５０８）に設定する。これらの設定は画素毎に行ってもよい。
　ステップＳ５０２において、使用カメラ数が３つ未満の場合は、マッチ誤差と画像ノイズに基づいた閾値と比較、または、マッチ誤差と画素のサンプリング誤差に基づいた閾値と比較する（ステップＳ５０６）。例えば、画像全体の平均輝度ノイズレベルの定数倍（２～３倍程度）を閾値とすればよい。
　画像の輝度ノイズレベルは、一例として、以下の手順で計算できる。
　同じシーンをＮフレーム（例えば１００枚）撮像し、それらＮフレームで、画素ごとに輝度値の分散と標準偏差とを計算できる。この各画素の標準偏差の全画素平均を、画素全体の輝度ノイズレベルとする。
　ブロックマッチングにおいて、同じ被写体領域を参照した場合でも、画像全体の輝度ノイズレベル程度のマッチング誤差を生じる。したがって、輝度ノイズレベルの定数倍（２～３倍程度）を、マッチング判定の閾値として使用可能である。
　ステップＳ５０６において、マッチング誤差が閾値より小さい場合はステップＳ５０７で対象画素を稜線付近を通過する光の歪みの影響を受けない領域に設定し、閾値より大きい場合はステップＳ５０９の処理に進む。
　ステップＳ５０９の処理において、補間部１０８は、マッチング誤差が閾値より大きい、互いに異なる画像に含まれる、対応する２つのブロックについて、輝度勾配の大きさ（輝度勾配が大きい場合、画像が鮮明）を比較して、より輝度勾配が大きいブロックをステップＳ５０７で稜線付近を通過する光の歪みの影響を受けない領域に設定し、より輝度勾配が小さいブロックをステップＳ５０８で稜線付近を通過する光の歪みの影響を受ける領域に設定する。
　なお、使用カメラ数が３つ以上の場合、マッチング誤差による稜線付近を通過する光の歪みの影響を受ける領域か否かの判定をしても良い。
　次に、第２判定処理について説明する。
　この第２判定処理を行う場合には、撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域を特定するための領域特定情報を記憶する記憶部をさらに備える。
　稜線付近による画像上のぼけ領域は、予め既知のパターンを撮影することにより、特定できる。既知パターンの例として、格子線、チェッカーパターンが使用可能である。白黒の２色パターンの場合、ぼけ領域では灰色が現れ、エッジが失われる。記憶部は、このぼけ領域に位置する画素座標を、領域特定情報として記憶する。
　図６は、第２判定処理を示すフローチャートである。
　補間部１０８は、記憶部に記憶される領域特定情報を参照して、対象となる画素が、稜線付近を通過する光の歪みの影響を受ける領域に該当するか否かを調べる（ステップＳ６０１）。
　ステップＳ６０１の処理において、対象となる画素が稜線付近を通過する光の歪みの影響を受ける領域に該当する場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ６０２）に設定し、対象となる画素が稜線付近を通過する光の歪みの影響を受けない場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ６０３）に設定する。
　再び、図４に戻り、図４を用いた説明を続ける。
　画像合成部１０９は補間部１０８によって判定された稜線付近を通過する光の歪みの影響を受ける領域の画素値を、補間された画像により、稜線付近を通過する光の歪みの影響を受ける領域を含まない単一の画像として合成する（ステップＳ４０３）。そして、画像出力部１１０は画像合成部１０９により生成した画像を出力する。
　図７は、補間ステップ（ステップＳ４０３）の処理を示すフローチャートである。遮蔽領域における画素値の補間は、使用カメラ数により分岐する（ステップＳ７０１）。
　使用カメラ数が３つ以上の場合は、稜線付近を通過する光の歪みの影響を受ける領域判定ステップＳ４０２の全てのカメラペアのステレオ測距により算出した世界座標に基づいて、稜線付近を通過する光の歪みの影響を受ける領域に対応する世界座標を算出する（ステップＳ７０２）。この世界座標は、全てのカメラペアのステレオ測距の平均及び／または測距点が集中している位置を選択すればよい。
　ここで、世界座標算出の一具体例について、図面を参照しながら説明する。
　図８は、４眼で行う世界座標算出の模式図である。
　４眼でステレオ測距する場合、６通りのカメラペアを選択でき、これらカメラペアの各測距位置をＰ１～Ｐ６とする。ここでは、Ｐ１～Ｐ６から３点選択する場合において、分散が最小となる組は、Ｐ１～Ｐ３であるとする。ここで言う分散とは、３次元座標のＸ，Ｙ，Ｚの各成分における分散の平均のことである。
　この場合には、４眼全体としての測距点Ｑの世界座標は、Ｐ１～Ｐ６の重心Ｇ（Ｇ（Ｘ，Ｙ，Ｚ）は、Ｐ１～Ｐ６の３次元座標のＸ，Ｙ，Ｚ成分の平均）、または、測距点が集中する点の組（図中のＰ１～Ｐ３）の重心Ｑとすればよい。
　再び、図７に戻って、補間ステップ（ステップＳ４０３）の説明を続ける。
　着目カメラＰ１にて撮像した撮像画像Ａ１における稜線付近を通過する光の歪みの影響を受ける領域の画素Ｂ１の画素値Ｃ１は、ステップＳ７０２で算出した稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素Ｂ１の世界座標Ｗに対応する画素Ｂ２の画素値Ｃ２で補間する。この対応する画素Ｂ２の画素値Ｃ２は、着目カメラとは別のカメラＰ２のカメラパラメータで前記の世界座標をこの別のカメラＰ２にて撮像した撮像画像Ａ２に投影した画素座標を求め、この画素座標に対応する画素の画素値を求めればよい（ステップＳ７０３）。なお、撮像画像Ａ２の稜線付近を通過する光の歪みの影響を受けない領域に、投影した画素Ｂ２が含まれていることが、撮像画像Ａ２を使用する前提となる。
　ステップＳ７０１において、使用カメラ数が３つ未満の場合は、近傍画素からバイリニアもしくはバイキュービック補間等の公知の補間方法によって画素値を補間する（ステップＳ７０４）。
　上記構成の撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域の画素値を補間することにより、レンズカバー１０６の稜線付近を通過する光の歪みに起因する出力画像の欠損は生じない。
　以下、カメラ数が４以外の場合について例示する。
　図９Ａ、図９Ｂに、カメラ数が３かつレンズ配置が対称配置におけるレンズカバー１２０１を示す。図９Ａ、図９Ｂにおいて、第１の広角カメラのレンズ１２０２、第２の広角カメラのレンズ１２０３、第３の広角カメラのレンズ１２０４を正三角形に配置し、三角錐台のレンズカバー１２０１の上底を１２０５とする。
　図１０Ａ、図１０Ｂに、カメラ数が５かつレンズ配置が対称配置におけるレンズカバー１４０１を示す。図１０Ａ、図１０Ｂにおいて、第１の広角カメラのレンズ１４０２、第２の広角カメラのレンズ１４０３、第３の広角カメラのレンズ１４０４、第４の広角カメラのレンズ１４０５、第５の広角カメラのレンズ１４０６を正五角形に配置し、五角錐台のレンズカバー１４０１の上底を１４０７とする。
　図１１Ａ、図１１Ｂに、カメラ数が６かつレンズ配置が対称配置におけるレンズカバー１６０１を示す。図１１Ａ、図１１Ｂにおいて、第１の広角カメラのレンズ１６０２、第２の広角カメラのレンズ１６０３、第３の広角カメラのレンズ１６０４、第４の広角カメラのレンズ１６０５、第５の広角カメラのレンズ１６０６、第６の広角カメラのレンズ１６０７を正六角形に配置し、六角錐台のレンズカバー１６０１の上底を１６０８とする。
　なお、カメラ数が３～６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台の上面を底面とする錐台とすれば良い。また、各カメラにおける稜線付近を通過する光の歪みの影響を受ける領域はレンズカバーの稜線と、撮像素上の画素の位置関係から定めても良い。
　また、レンズカバーの形状は、カメラのレンズが配置されている基台の上面を覆う形状であれば、必ずしも、その形状は直錐台である場合に限られない。外形が直錐台以外の形状のレンズカバーの例について、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに図示する。
　図１２Ａ、図１２Ｂにおいて、５１１は基台、５１２～５１５はそれぞれ第１の広角カメラ１０２～第４の広角カメラ１０５のレンズ、１１６はレンズカバーである。
　図１２Ａ、図１２Ｂにおいて、レンズカバー１１６の上部は、基台５１１の上面と平行にはなっていない。前記レンズカバー１１６の上部の法線ベクトルと前記基台５１１の上面の法線ベクトルのなす角度が０°より大きく、３０°以下になる様に前記レンズカバー１１６の上面を傾ける。なお、図１２Ａ、図１２Ｂではレンズカバー１１６に板厚を考慮せずに記載されているが、レンズカバー１１６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１１６の上部の外表面とそれに対応する内表面はともに基台５１１の上面と平行にはなっていない。レンズカバー１１６の上部上面の法線ベクトルは、レンズカバー１１６の上部の外表面の法線ベクトル、レンズカバー１１６の上部の内表面の法線ベクトルのどちらであってもかまわない。
　前記レンズカバー１１６の上部を基台カメラモジュール５１１の上面に対して傾けることにより、前記レンズカバー１１６の稜線付近を通過する光の歪みの影響を受けない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１２Ｃの様な配置にする。つまり、レンズカバー１１６の上部の法線ベクトルが地表に向かうようにする。
　図１３Ａ、図１３Ｂにおいて、５２１は基台、５２２～５２５はそれぞれ第１の広角カメラ１０２～第４の広角カメラ１０５のレンズ、１２６はレンズカバーである。
　図１３Ａ、図１３Ｂにおいて、レンズカバー１２６の上部は、基台５２１の上面と平行ではある。なお、図１３Ａ、図１３Ｂではレンズカバー１２６に板厚を考慮せずに記載されているが、レンズカバー１２６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１２６の上部の外表面とそれに対応する内表面はともに基台５２１の上面と平行である。一方、レンズカバー１２６を平面視した場合において、レンズカバー１２６の上部の外表面の重心の位置と、基台の上面に設けられた第１の広角カメラの～第４の広角カメラのレンズ５２３～５２５のそれぞれの中心の中心と、１０６はレンズカバーの上部の外表面の中心とがずれている。
　前記レンズカバー１２６の上部と下部が平行であることを維持しながら，平行移動することにより、前記レンズカバー１２６の稜線付近を通過する光の歪みの影響を受ける領域が含まれない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１３Ｃの様な配置にする。つまり、レンズカバー１２６の上部の法線ベクトルが地表に向かうようにする。
　相似形のレンズカバーでも稜線付近を通過する光の歪みの影響を低減する効果が得られるため、レンズカバーの大きさ等の閾値はレンズカバー全体に対する割合で規定される。真球の半分で規定される半球のレンズカバーであれば，球の半径のみでレンズカバーの大きさを定義できる。ここで、半球のレンズカバーの場合、レンズカバーの大きさとは、球の直径に相当する。または、レンズカバーの大きさとは、レンズカバーの平面図における直径に相当する。
　一方、錐台のレンズカバーの大きさの表現は複数考えられる。このため，錐台レンズカバーの大きさを表す有効な指標として、平均基線長Ｄを定義する。
Figure JPOXMLDOC01-appb-M000016
　ここで、Ｎはカメラ台数（レンズ数）、ｄは基線長（レンズ間距離）である。
　この平均基線長を用いることで、複数のレンズが不規則に配置された場合でも、レンズカバーの大きさを規定される。なお、基線長の平均の代わりに、最小値、最大値、中央値、または標準偏差も利用できる。
　複数のレンズを同一の場所に配置することはできないため、Ｎ≧２においてＤ＞０となる。図２６のような正方形状にレンズを配置した場合、水平方向のレンズ間距離をａとすると、
Figure JPOXMLDOC01-appb-M000017
となる。
　図２７は、レンズ同士を最密配置し、最小の正方形の表面を有する基台を用いた場合を示す。レンズ半径として、光軸対称なレンズを仮定し、光軸からの最大距離をｒとする。例えば、半径ｒのレンズを４つ使用する場合、球面レンズカバーの半径の最小値は2√2 rとなる。
　上記のように、レンズ同士の最密配置を考えることで、平均基線長Ｄの下限を算出できる（上限は基台の表面のサイズに依存し、基台の表面の端にレンズを配置した場合である）。したがって、レンズカバーの大きさ等の閾値は平均基線長の定数倍等で規定できる。例えば、レンズカバーの大きさは、
Figure JPOXMLDOC01-appb-M000018
　以上平均基線長の３倍以下である。
　レンズカバーの更なる他の形状について、以下の実施の形態２で説明する。
　（実施の形態２）
　（ねじれ錐台形状）
　実施の形態１におけるレンズカバーの形状は錐台形状に限る必要はない。錐台の上底を、上底が位置する平面上でθ（θ≠０）回転させることにより、上底の辺が下底の辺に対しねじれの位置に存在する多面体となる。この多面体をねじれ錐台と呼ぶ。説明を簡単にするため、実施の形態１と同様の４つの広角カメラで説明する。
　実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置１０１から、レンズカバー１０６が、後述するレンズカバー６３１（図１４Ａ、図１４Ｂ参照）に変更されている。
　図１４Ａ、図１４Ｂは広角カメラとねじれ錐台レンズカバーの配置を示す図である。図１４において、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。６３１は外形がねじれ錐台形状のレンズカバー、６３２は６３１の上底の４辺のうち、前記辺とレンズ５０２と５０３を結ぶ線分を含む矩形を考えた時に、前記矩形の面積が最小となる辺、６３３はレンズ５０２とレンズ５０３の中心を結ぶ線分（基線）を示す。なお、４つのレンズのそれぞれの形状を半球とした場合、４つのレンズのそれぞれは基台の上面と円を形成して交わる。この円の中心をレンズの中心と定義してもよい。
　６３２と６３３の位置関係は回転角θ（θ≠０）ねじれており、非平行である。すなわち、レンズカバー６３１における複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。このようにカメラの基線とレンズカバーの上底の辺がねじれの位置にある場合、稜線付近を通過する光の歪みの影響は、ある空間中の１点の世界座標に対し１つのカメラのみによって発生する。一方、錐台形状の場合、基線と上底の辺を共に含む３次元空間中の平面（錐台形状の場合、基線と上底の辺が平行であり，前記基線と前記辺を含む平面が存在する．）が、上記基線を形成するカメラペアの両方にとって、稜線付近を通過する光の歪みの影響を受ける領域となる。
　図１４Ａ、図１４Ｂで示される例では、レンズカバー６３１の上部の外表面の各辺は、第１の広角カメラ（第１のカメラ）のレンズ５０２と第２の広角カメラ（第２のカメラ）のレンズ５０３とを結ぶ基線に対してねじれの位置にある。
　このように、実施の形態２に係る撮像装置は、第１画像を撮像する第１の広角カメラ（第１のカメラ）１０２と、第２画像を撮像する第２の広角カメラ（第２のカメラ）１０３と、透光性を有する複数の面からなり、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３を覆うレンズカバー６３１と、第１画像における、上記複数の面のうちの互いに隣り合う２つの面の境界線である稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と、第１画像とを用いて、出力画像を生成する処理回路１１１とを備え、レンズカバー６３１における上記複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。
　以上により、レンズカバーの外形をねじれ錐台形状にすることにより、レンズカバーの稜線付近を通過する光の歪みの影響を受ける領域を含む画像を撮像するカメラの台数を少なくすることができ、その結果、稜線付近を通過する光の歪みの影響を受けない画像を撮像する別のカメラによる画素値を用いた補間を容易にすることができる。
　カメラ数が４でない場合について説明する。
　図１５Ａ、図１５Ｂは３つの広角カメラと錐台レンズカバーの配置を示す図である。図１５Ａ、図１５Ｂにおいて、実施の形態１と同一構成要素には、図９Ａ、図９Ｂと同一の符号を付し、その説明を省略する。１３０１はねじれ錐台形状のレンズカバー、１３０２は１３０１の上底の３辺のうち、最もレンズ１２０２とレンズ１２０３の近傍に位置する辺、１３０３はレンズ１２０２とレンズ１２０３の中心を結ぶ線分（基線）を示す。
　図１６Ａ、図１６Ｂは５つの広角カメラと錐台レンズカバーの配置を示す図である。図１６Ａ、図１６Ｂにおいて、実施の形態１同一構成要素には、図１０Ａ、図１０Ｂと同一の符号を付し、その説明を省略する。１５０１はねじれ錐台形状のレンズカバー、１５０２は１５０１の上底の５辺のうち、最もレンズ１４０２とレンズ１４０３の近傍に位置する辺、１５０３はレンズ１４０２とレンズ１４０３の中心を結ぶ線分（基線）を示す。
　図１７Ａ、図１７Ｂは６つの広角カメラと錐台レンズカバーの配置を示す図である。図１７Ａ、図１７Ｂにおいて、実施の形態１と同一構成要素には、図１６Ａ、図１６Ｂと同一の符号を付し、その説明を省略する。１７０１はねじれ錐台形状のレンズカバー、１７０２は１７０１の上底の６辺のうち、最もレンズ１６０２とレンズ１６０３の近傍に位置する辺、１７０３はレンズ１６０２とレンズ１６０３の中心を結ぶ線分（基線）を示す。
　なお、カメラ数が３～６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台を底面とするねじれ錐台とすれば良い。
　（実施の形態３）
　（入射光がなるべく垂直に通過）
　レンズカバーの形状は、入射光の減衰の影響を低減するためには、前記入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直であることが好適である。この様にレンズカバーによる減衰の影響を考慮した形状について実施の形態３で説明する。
　図１８は、カメラの視野を説明する概念図である。カメラ１８０１の光軸を１８０２とし、カメラの視野Ｓを１８０３とする。視野の境界を通過する直線と光軸のなす角を半画角ω１８０４とする。視線の方向ベクトルと視線の方向ベクトルが通過するレンズカバー面の法線ベクトルのなす角が小さい場合、入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直に近くなり、レンズカバーによる入射光の減衰が小さく好適である。２つ以上のカメラを覆うレンズカバーにおいて、レンズカバー全体として視線の方向ベクトルとレンズカバー面の法線ベクトルのなす角を評価するには、レンズ位置を中心とする視野Ｓについて、視線の方向ベクトルの単位ベクトルである単位視線ベクトルと、視線の方向のベクトルが通過するレンズカバー面の法線ベクトルの単位ベクトルである単位法線ベクトルの内積を各カメラで算出すれば良い。上記２ベクトルのなす角の大きさを評価する評価値Ｊを式５に示す。
Figure JPOXMLDOC01-appb-M000019
　ここでは、Ｎはカメラ数、ｉはカメラインデックス、
Figure JPOXMLDOC01-appb-M000020
　は単位視線ベクトル、
Figure JPOXMLDOC01-appb-M000021
　は視線ベクトルが通過する位置におけるレンズカバーの単位法線ベクトルである。
　この評価値Jは上記２ベクトルのなす角に対する平均余弦に相当する。つまり、評価値Ｊは、上記２ベクトルのなす角が０の場合に最大値１となる。例えば、半画角９０°の１つのカメラに対し、カメラの中心と球面の中心が一致する半球面のレンズカバーを使用した場合、式５の評価値Ｊの算出を図１９で説明する。図１９において、図１８と同一構成要素には、図１８と同一の符号を付し、その説明を省略する。カメラの視線ベクトルを１９０１、視線ベクトルが通過する微小視野を１９０２、微小視野の単位法線ベクトルを１９０３とする。式５における面積分の領域の奥行き値は任意であるのでＲの半球面とする。球面の法線ベクトルは前記球面中心を通過するので、レンズカバーと視線ベクトルは直交し、式５の
Figure JPOXMLDOC01-appb-M000022
　の内積は常に１となる。したがって、式５の評価値Ｊは最大値である１となる。
　図２０Ａ、図２０Ｂに実施の形態１と同様の４つのカメラを例として説明する。図２０Ａ、図２０Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。７０１は式５におけるレンズ位置を中心とする視野であり、カメラの視野は半球状（光軸から９０°以内）とする。ｗは上底の辺の長さの半分、φは錐台の側面と底面のなす角を示す。ここでは一例として、レンズカバーの底面の一辺を３０ｍｍ、レンズの中心を底面の辺から７．５ｍｍ離した位置とする。この配置において、数７の評価値Ｊを最大化するｗとｈを算出する。レンズカバーの構造的制約として、０＜ｗ≦１５ｍｍ、０＜ｈ≦３０ｍｍとする。解析的な解の計算は困難なため、視線ベクトルを球面座標系で等角度間隔に生成し、数値解を得る。実際の例として角度分解能０．３６°の場合、最大値Ｊは０．８４１で、視線ベクトルと視線ベクトルが通過するレンズカバー面の法線ベクトルのなす角の平均は３２．７°となる。この時、ｗ＝１１．３７ｍｍ、ｈ＝８．１１ｍｍ、φ＝６５．９°（図２１）となる。なお、φ＝６０°の場合には、評価値Ｊはおよそ０．７となる。このため、φ＝６５．９°となる上記形状のレンズカバーは、φ＝６０°の場合よりも、レンズカバーによる入射光減衰の影響を低減することができていると言える。
　ここで、レンズが基台の中央に１つある場合と複眼の場合の差異について説明する。前者の場合、対称性から側面から見たときに正六角形を半分にした台形において評価値Ｊを最大化し、φ＝６０°となる。それに対し後者の場合、レンズの位置がレンズカバーの中央にないため、φは６０°より大きい６５．９°で評価値Ｊが最大となる。したがって、１つのレンズを基台の中央に配置した場合における評価値Ｊの最大値は、実施の形態３における入射光に対してレンズカバーがより垂直であることを示す閾値の例となる。
　以上により、レンズカバーに入射する光の角度を評価値Ｊによって評価することができ、前記評価値を大きくする様にレンズカバー形状を決定することにより、レンズカバーによる入射光の減衰の影響を低減することができる。
　（実施の形態４）
　（レンズカバーは、高さが低く、半球面レンズカバーの内部に位置）
　移動体、例えば車またはドローン、において、レンズカバーの突出は衝突の原因となりうる。このため、レンズカバーの高さは低いことが好適である。このため、基台に外接する円の半径を半径とする半球面レンズカバーより内部にレンズカバーを配置する。
　図２２Ａ、図２２Ｂを用いて、実施の形態１と同様の４つのカメラを例として説明する。図２２Ａ、図２２Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。Ｐはレンズカバーの上底の頂点を示す（頂点は４つあるが、対称性があるので１点を代表とする）。半球面５０６の内部にＰが存在するようにレンズカバーを配置することにより、レンズカバーの高さを半球面レンズカバーに対して低くする。
　この場合には、レンズカバーは、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３が配置されている下面（基台５０１の上面）の外接円の半径を半径とする球に包含される。
　以上により、レンズカバーの高さを低くし、衝突の可能性を低減できる。
　（実施の形態５）
　（角丸）
　移動体、例えば、車またはドローンにおいて、安全性の観点から角がない形状が好適である。このため、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えた形状の場合、レンズカバーに角はなく、安全な形状となる。
　図２３に、実施の形態５の撮像装置９０１のブロック図を示す。説明を簡単にするため、実施の形態１と同様の４つのカメラを例とする。
　同図に示されるように、実施の形態５に係る撮像装置９０１は、実施の形態１に係る撮像装置１０１（図１参照）から、レンズカバー１０６がレンズカバー９０６に置き換えられ、補間部１０８が補間部９０８に置き換えられて構成される。レンズカバー９０６は、レンズカバー１０６からその稜線と稜線近傍の領域を曲面に置き換えたものとなっている。以下、このレンズカバー１０６について説明する。
　図２４に、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えたレンズカバーであるレンズカバー９０６の側面図を示す。１００１はレンズ、１００２は底面と平行なレンズカバー面であり、上面と呼ぶ。なお、図２４ではレンズカバーの板厚を無視して記載している。このレンズカバー面はレンズカバーの外表面と考えてもよい。レンズカバーの内表面も同じ考え方で設計してもよい。１００３は底面に接するレンズカバー面であり、側面と呼ぶ。１００４は上面１００２と側面１００３に接する円筒であり、図２４の側面図においては円となる。レンズカバーの稜線と稜線近傍の領域を曲面に置き換えるには、図２４の配置のように、２つの平面部１００２、１００３に接するように曲面を配置し、実施の形態１～４の錐台レンズカバーとねじれ錐台レンズカバーにおける稜線と稜線近傍の領域を、上記の曲面で置き換えることにより得られる。上記曲面の大きさは曲率半径で表せられる。車載用途における安全基準を満たすことが好適であり、例えば、道路運送車両の保安基準の細目を定める告示［２０１６年６月１８日］別添２０（外装の技術基準）より、曲率半径が２．５ｍｍ以上とする。また、基台の大きさに基づいて曲率を定めてもよく、前記基台の１辺の長さに対する割合、例えば１％とすればよい。
　なお、上記曲面は１００４の円筒に限らない。稜線と稜線近傍の領域を除くレンズカバーの平面領域は、実施の形態の１～４と同様に定めれば良く、その説明は省略する。
　補間部９０８は、レンズカバー９０６の曲面によって生じる画像上の稜線付近を通過する光の歪みの影響を受ける領域において、画素値を補間する。この補間について、図２５を用いて説明する。
　図２５は補間部９０８の動作を示すフローチャートである。
　同図に示されるように、補間部９０８の行う動作は、実施の形態１に係る補間部１０８の行う動作（図４参照）から、ステップＳ４０２の処理が、ステップＳ１１０２の処理へと変更されたものとなっている。以下、このステップＳ１１０２の処理について説明する。
　補間部９０８は、レンズカバーの曲面による画像上の光の歪みの影響を受ける遮蔽領域を判定する（ステップＳ１１０２）。この判定は、以下に説明する３つの方法のいずれか、あるいは、それらの組み合わせで行う。１つ目の方法としては、実施の形態１～４と同様に着目カメラの着目画素近傍領域にマッチする領域が他のカメラにあるか否かで算出する。２つ目の方法としては、レンズカバーの設計値に基づき、画像上の画素ごとに入射光が曲面を通過するか否かで算出する。３つ目の方法としては、レンズカバーによって生じる遮蔽領域の境界から所与の画素数以内に位置するか否かで算出する。
　以上により、角がなく安全性を向上したレンズカバーを使用し、小型な撮像装置で広角撮影を行える。
　以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示に係る撮像装置、及び撮像方法は、移動体、例えば、ドローンまたは車における、例えば、周辺監視または運転支援の用途において有用である。
　１０１，９０１　撮像装置
　１０２　第１の広角カメラ（第１のカメラ）
　１０３　第２の広角カメラ（第２のカメラ）
　１０４　第３の広角カメラ（第３のカメラ）
　１０５　第４の広角カメラ（第４のカメラ）
　１０６，１１６，１２６，６３１，９０６，１２０１，１３０１，１４０１，１５０１，１６０１，１７０１　レンズカバー
　１０７　フレームメモリ
　１０８，９０８　補間部
　１０９　画像合成部
　１１０　画像出力部
　１１１　処理回路

Claims (12)

  1. 　第１画像を撮像する第１のカメラと、
    　第２画像を撮像する第２のカメラと、
    　透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
    　（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
    　前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
    　前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する
    　撮像装置。
  2. 　前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
    　請求項１記載の撮像装置。
  3. 　さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、
    　前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行う
    　請求項１記載の撮像装置。
  4. 　前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得する
    　請求項１～３のいずれか１項記載の撮像装置。
  5. 　さらに、第３画像を撮像する第３のカメラを備え、
    　前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
    　請求項１～３のいずれか１項記載の撮像装置。
  6. 　前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
    　請求項１～５のいずれか１項記載の撮像装置。
  7. 　前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
    　請求項１～６のいずれか１項記載の撮像装置。
  8. 　前記レンズカバーはさらに前記基台の上面を覆い、
    　前記上部の外表面、前記上部の内表面、前記上面とが平行である
    　請求項１～７のいずれか１項記載の撮像装置。
  9. 　前記レンズカバーはさらに前記基台の上面を覆い、
    　前記上部の外表面と前記上面は相似形であり、
    　前記上部の外表面は前記上面より小さい
    　請求項１～７のいずれか１項記載の撮像装置。
  10. 　第１画像を撮像する第１のカメラと、
    　第２画像を撮像する第２のカメラと、
    　透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
    　（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
    　前記レンズカバーの外形は、
    　Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、
    Figure JPOXMLDOC01-appb-M000001
     　をカメラｉの単位視線ベクトル、
    Figure JPOXMLDOC01-appb-M000002
     　を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、
    Figure JPOXMLDOC01-appb-M000003
     　で規定される評価値Ｊが、０．７よりも大きくなる形状である
    　撮像装置。
  11. 　第１画像を撮像する第１のカメラと、
    　第２画像を撮像する第２のカメラと、
    　透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
    　前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にある
    　撮像装置。
  12. 　撮像方法であって、
    　第１のカメラに第１画像を撮像させ、
    　第２のカメラに第２画像を撮像させ、
    　前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
    　前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
    　前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する
    　撮像方法。
PCT/JP2017/042484 2016-12-15 2017-11-28 撮像装置、及び撮像方法 WO2018110264A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018556537A JP6854472B2 (ja) 2016-12-15 2017-11-28 撮像装置、及び撮像方法
CN201780049925.7A CN109565539B (zh) 2016-12-15 2017-11-28 拍摄装置以及拍摄方法
EP17882027.0A EP3557858B1 (en) 2016-12-15 2017-11-28 Imaging device and imaging method
US16/374,641 US10812691B2 (en) 2016-12-15 2019-04-03 Image capturing apparatus and image capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-243850 2016-12-15
JP2016243850 2016-12-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/374,641 Continuation US10812691B2 (en) 2016-12-15 2019-04-03 Image capturing apparatus and image capturing method

Publications (1)

Publication Number Publication Date
WO2018110264A1 true WO2018110264A1 (ja) 2018-06-21

Family

ID=62558457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042484 WO2018110264A1 (ja) 2016-12-15 2017-11-28 撮像装置、及び撮像方法

Country Status (5)

Country Link
US (1) US10812691B2 (ja)
EP (1) EP3557858B1 (ja)
JP (1) JP6854472B2 (ja)
CN (1) CN109565539B (ja)
WO (1) WO2018110264A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119709A1 (ja) * 2021-12-23 2023-06-29 株式会社日立製作所 撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039117B2 (en) * 2019-08-27 2021-06-15 Htc Corporation Dual lens imaging module and capturing method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092357A (ja) * 1998-09-08 2000-03-31 Mitsubishi Electric Corp 撮像装置
JP2009211012A (ja) * 2008-03-06 2009-09-17 Funai Electric Co Ltd 広角複眼撮像装置
JP2011250138A (ja) * 2010-05-27 2011-12-08 Jvc Kenwood Corp 画像検証方法及び画像検証装置
JP2015222423A (ja) * 2014-04-30 2015-12-10 パナソニックＩｐマネジメント株式会社 撮像装置およびそれを用いた測距装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100583950C (zh) * 2003-10-22 2010-01-20 松下电器产业株式会社 成像装置及其生产方法、便携设备
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
JP2009223526A (ja) 2008-03-14 2009-10-01 Ricoh Co Ltd 画像入力装置及び個人認証装置
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP5818455B2 (ja) * 2011-02-17 2015-11-18 キヤノン株式会社 固体撮像装置およびその製造方法
WO2012129521A1 (en) 2011-03-23 2012-09-27 Gentex Corporation Lens cleaning apparatus
JP2013110711A (ja) * 2011-11-24 2013-06-06 Canon Inc 画像処理装置および画像処理方法、並びにプログラム
JP5768684B2 (ja) * 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6089767B2 (ja) * 2013-02-25 2017-03-08 株式会社リコー 画像処理装置、撮像装置、移動体制御システム及びプログラム
CN205647690U (zh) * 2015-12-30 2016-10-12 南昌欧菲光电技术有限公司 成像模组及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092357A (ja) * 1998-09-08 2000-03-31 Mitsubishi Electric Corp 撮像装置
JP2009211012A (ja) * 2008-03-06 2009-09-17 Funai Electric Co Ltd 広角複眼撮像装置
JP2011250138A (ja) * 2010-05-27 2011-12-08 Jvc Kenwood Corp 画像検証方法及び画像検証装置
JP2015222423A (ja) * 2014-04-30 2015-12-10 パナソニックＩｐマネジメント株式会社 撮像装置およびそれを用いた測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3557858A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119709A1 (ja) * 2021-12-23 2023-06-29 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
EP3557858B1 (en) 2021-01-20
CN109565539B (zh) 2021-04-27
JP6854472B2 (ja) 2021-04-07
EP3557858A4 (en) 2020-01-01
EP3557858A1 (en) 2019-10-23
JPWO2018110264A1 (ja) 2019-10-24
US10812691B2 (en) 2020-10-20
US20190230264A1 (en) 2019-07-25
CN109565539A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
US10594941B2 (en) Method and device of image processing and camera
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP4825980B2 (ja) 魚眼カメラの校正方法。
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106846409B (zh) 鱼眼相机的标定方法及装置
CN112655024B (zh) 一种图像标定方法及装置
JP2018179981A (ja) カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP5011528B2 (ja) ３次元距離計測センサおよび３次元距離計測方法
US11281087B2 (en) Imaging device, image processing apparatus, and image processing method
US20200294269A1 (en) Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
JP5783567B2 (ja) 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
US11380016B2 (en) Fisheye camera calibration system, method and electronic device
WO2018110264A1 (ja) 撮像装置、及び撮像方法
JP6073123B2 (ja) 立体表示システム、立体像生成装置及び立体像生成プログラム
JP4548228B2 (ja) 画像データ作成方法
WO2015159791A1 (ja) 測距装置および測距方法
JP2005275789A (ja) 三次元構造抽出方法
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP6073121B2 (ja) 立体表示装置及び立体表示システム
JP2024050248A (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
KR101902999B1 (ko) 360도 이미지를 형성할 수 있는 카메라
Ainouz et al. Mirror-adapted matching of catadioptric images
JP2013109643A (ja) 球面勾配検出方法、エッジ点検出方法、球面勾配検出装置、エッジ点検出装置、球面勾配検出プログラム及びエッジ点検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17882027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017882027

Country of ref document: EP

Effective date: 20190715