WO2023190188A1 - 撮像装置及びそれを備えた三次元計測装置 - Google Patents

撮像装置及びそれを備えた三次元計測装置 Download PDF

Info

Publication number
WO2023190188A1
WO2023190188A1 PCT/JP2023/011883 JP2023011883W WO2023190188A1 WO 2023190188 A1 WO2023190188 A1 WO 2023190188A1 JP 2023011883 W JP2023011883 W JP 2023011883W WO 2023190188 A1 WO2023190188 A1 WO 2023190188A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
image
light
section
side transparent
Prior art date
Application number
PCT/JP2023/011883
Other languages
English (en)
French (fr)
Inventor
徹 沖野
繁 齋藤
佑亮 湯浅
信三 香山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023190188A1 publication Critical patent/WO2023190188A1/ja

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an imaging device and a three-dimensional measurement device equipped with the same.
  • Patent Document 1 discloses that a first imaging unit that acquires a first image, a second imaging unit that acquires a second image, and a third imaging unit that acquires a third image are spaced apart from each other in a triangular shape.
  • a three-dimensional measurement device is disclosed that is arranged with a gap between the two. This three-dimensional measurement device identifies, for at least one pixel of the first image, a first similarity value associated with the pixel of the second image along a first epipolar line, and determining, for a pixel, a second similarity value associated with a pixel of a third image along a second epipolar line, combining the first and second similarity values; , the second image, and the third image, and determine the distance from the common parallax.
  • Patent Document 1 it is necessary to provide a solid-state image sensor in each of the first to third imaging units, which leads to an increase in the size and cost of the three-dimensional measurement device.
  • the present disclosure has been made in view of these points, and its purpose is to reduce the size and cost of a three-dimensional measuring device.
  • the present disclosure includes a first photographing lens that transmits light from a subject, a first solid-state image sensor that receives light that has passed through the first photographing lens, and a first photographing lens that transmits light from the first photographing lens.
  • a second photographing lens that is spaced apart in a first direction and that allows light from the subject to pass through; and first and second second lenses that are located at different positions in a second direction perpendicular to the first direction.
  • a side light-transmitting portion is formed to allow a part of the light directed from the subject to the second photographing lens to pass through the first and second second lens-side light-transmitting portions, and to block the remainder of the light.
  • the imaging apparatus is characterized in that it includes a second lens-side shielding section disposed at the second lens side, and a second solid-state image sensor that receives light from the object that has passed through the second photographing lens.
  • a first image based on the light from the subject that has passed through the first photographing lens is acquired, and based on the output of the second solid-state image sensor, the first image A second image based on the light from the subject that has passed through the second lens-side transparent section of the second lens, and a third image based on the light from the subject that has passed through the second second lens-side transparent section of the second lens.
  • FIG. 1 is a block diagram showing the configuration of a three-dimensional measuring device according to the first embodiment.
  • FIG. 2 is a front view of the imaging device.
  • FIG. 3 is a cross-sectional view taken along line III--III in FIG.
  • FIG. 4 is a cross-sectional view taken along line IV--IV in FIG.
  • FIG. 5 is a plan view showing a part of the sub-lens array.
  • FIG. 6 is an ex
  • FIG. 8 is a graph illustrating the relationship between the brightness value output by the solid-state image sensor in a uniform light irradiation state and the vertical position of the solid-state image sensor.
  • FIG. 9 is a flowchart illustrating distance information generation processing by the three-dimensional measuring device according to the first embodiment.
  • FIG. 10 is a flowchart illustrating the process of acquiring parallax information.
  • FIG. 11 is a flowchart illustrating the parallax calculation process.
  • FIG. 12 is a diagram corresponding to FIG. 1 of the second embodiment.
  • FIG. 13 is a diagram corresponding to FIG. 1 of the third embodiment.
  • FIG. 14 is a view corresponding to FIG. 2 in a state in which the first lens-side light-transmitting portion is moved upward.
  • FIG. 15 is an explanatory diagram illustrating the rotational operation of the first lens-side shielding section.
  • FIG. 1 shows a three-dimensional measurement device 1 according to Embodiment 1 of the present disclosure.
  • This three-dimensional measuring device 1 includes an imaging device 10, a signal processing section 20, and a memory 40.
  • the imaging device 10 includes a housing 11, a first photographing lens 12, a first lens-side shielding section 13, a first solid-state image sensor 14, a second photographing lens 15,
  • the second solid-state image sensor 17 includes a second lens-side shielding portion 16 and a sub-lens array 19 (see FIG. 5) including a plurality of sub-lenses 18.
  • a point OP indicates a point included in the object O.
  • the housing 11 has first and second perfectly circular openings 11a and 11b opening in a common direction and spaced apart from each other in a horizontal first direction in a horizontal direction perpendicular to the first direction. It is formed to penetrate through the The shape of the housing 11 is not limited to the shape shown in FIG.
  • the housing 11 includes a first photographing lens 12, a first lens-side shielding section 13, a first solid-state image sensor 14, a second photographing lens 15, a second lens-side shielding section 16, and a second solid-state image sensor. 17 and a sub-lens array 19.
  • the first photographing lens 12 is arranged to face the first opening 11a of the housing 11.
  • the first photographing lens 12 allows light from the subject O to pass therethrough.
  • the first lens side shielding part 13 is formed in a plate shape, and is provided between the first opening 11a forming surface of the housing 11 and the first photographing lens 12. They are arranged to face each other.
  • the first lens-side shielding part 13 has a glass plate 13a arranged to face the first opening 11a of the housing 11.
  • a coating film 13b is formed by painting over the entire region of the surface of the glass plate 13a on the first opening 11a side, excluding the perfect circular region in the lower half.
  • the area of the glass plate 13a where the coating film 13b is not formed constitutes a perfectly circular first lens-side light transmitting portion 13c through which light passes.
  • the first lens-side shielding section 13 is arranged so that a part of the light directed from the object O toward the first photographing lens 12 passes through the first lens-side transparent section 13c, and blocks the rest of the light. ing.
  • a translucent plate made of a material other than glass, such as resin may be used instead of the glass plate 13a.
  • a light shielding layer made of a material other than paint may be provided instead of the coating film 13b.
  • the first solid-state image sensor 14 receives the light L1 from the subject O that has passed through the first lens-side transparent section 13c of the first lens-side shielding section 13 and the first photographing lens 12, and receives the luminance value of a plurality of pixels. Output.
  • the second photographing lens 15 is spaced apart from the first photographing lens 12 in the first direction and is arranged to face the second opening 11b of the housing 11. That is, the second photographing lens 15 has its thickness direction oriented in the same direction as the first photographing lens 12. The second photographing lens 15 also allows light from the subject O to pass therethrough.
  • the second lens side shielding part 16 is formed in a plate shape, and is provided between the second opening 11b forming surface of the housing 11 and the second photographing lens 15. They are arranged to face each other.
  • the second lens-side shielding section 16 has a glass plate 16a arranged to face the second opening 11b of the housing 11.
  • a coating film 16b is formed by painting over the entire area of the surface of the glass plate 16a on the second opening 11b side, excluding the perfect circular area in the upper half and the perfect circular area in the lower half. has been done.
  • the area where the coating film 16b is not formed on the upper side of the glass plate 16a constitutes a perfectly circular first and second lens side light transmitting portion 16c through which light passes.
  • the area where the coating film 16b is not formed on the lower side of the glass plate 16a constitutes a perfectly circular second second lens-side transparent portion 16d through which light passes.
  • the second lens-side shielding section 16 allows a part of the light directed from the subject O toward the second photographing lens 15 to pass through the first and second second lens-side transparent sections 16c and 16d, and transmits the remainder of the light. arranged to block it.
  • the second second lens-side light-transmitting portion 16d is located at the same position in the vertical direction as the first lens-side light-transmitting portion 13c.
  • the vertical interval between the first and second second lens-side transparent parts 16c and 16d is set to be longer than 0 and shorter than the diameter of the second photographing lens 15.
  • first and second second lens side transparent parts 16c and 16d are formed at different positions in the vertical direction (second direction perpendicular to the first direction), the first lens side transparent part 13c
  • Two epipolar lines EP1 and EP2 having different inclinations can be formed by the first and second second lens-side transparent parts 16c and 16d.
  • the positional relationship between the first lens-side transparent section 13c and the first and second second lens-side transparent sections 16c and 16d is such that their respective centers of gravity are not aligned in a straight line in the horizontal direction, but are two lines with different inclinations.
  • Other positional relationships may be used as long as epipolar lines EP1 and EP2 can be formed. A detailed explanation of the epipolar lines EP1 and EP2 will be given later.
  • the second solid-state image sensor 17 includes first and second second lens-side transparent parts 16c and 16d of the second lens-side shielding part 16, and light L2 from the subject O that has passed through the second photographing lens 15. Receives L3.
  • the sub-lens 18 constituting the sub-lens array 19 is interposed between the second photographing lens 15 and the second solid-state image sensor 17 in parallel with the second photographing lens 15.
  • the sub-lens 18 is located at the focal point of the second photographing lens 15 on the side opposite to the second lens side shielding section 16 .
  • the sub-lens 18 has an elliptical shape in which the length in the vertical direction (hereinafter referred to as "second direction”) is approximately twice the length in the first direction.
  • the length and position of the sub-lens 18 in the first direction are such that the irradiation area of the second solid-state image sensor 17 of the light L2 that has passed through the sub-lens 18 falls within one pixel of the second solid-state image sensor 17 in the first direction. It is set as follows. The light L2 that has passed through the first second lens-side transparent section 16c passes through the lower half of the sub-lens 18 (one half in the second direction), and the upper half of the sub-lens 18 (the other half in the second direction ), the light L3 that has passed through the second second lens-side transparent section 16d passes through.
  • the lights L2 and L3 that have passed through the sub-lens 18 are incident on areas of the second solid-state image sensor 17 that correspond to mutually different pixels.
  • the length and position of the sub-lens 18 in the second direction are such that the irradiation area on the second solid-state image sensor 17 of the lights L2 and L3 that passed through the sub-lens 18 is two pixels of the second solid-state image sensor 17 in the second direction. It is set to fit in.
  • a plurality of sub-lenses 18 are provided so as to be adjacent to each other in the first direction.
  • the number of sub-lenses 18 in the first direction corresponds to the number of pixels arranged in the first direction in the second solid-state image sensor 17.
  • the signal processing section 20 includes a first image acquisition section 21, a second image acquisition section 22, a first disparity information acquisition section 23, a second disparity information acquisition section 24, a distance information acquisition section 25, and a filter information generation section. 26.
  • the first image acquisition unit 21 acquires a first image based on the luminance values of the plurality of pixels output by the first solid-state image sensor 14.
  • the first image acquisition section 21 has a first shading correction section 21a.
  • the first shading correction unit 21a obtains a first image by correcting the luminance values of the plurality of pixels output by the first solid-state image sensor 14 according to the position in the second direction. Specifically, the luminance values of all pixels output by the first solid-state image sensor 14 are multiplied by a first correction value acquired for each position in the second direction by a calibration process described later and stored in the memory 40. Perform the correction. Then, the first image acquisition unit 21 outputs the corrected brightness values of all pixels output by the first solid-state image sensor 14 as the brightness values of all pixels of the first image.
  • the second image acquisition section 22 generates a second image based on the light L2 that has passed through the first second lens-side transparent section 16c, based on the luminance values of the plurality of pixels output by the second solid-state image sensor 17. and a third image based on the light L3 that has passed through the second lens-side transparent section 16d.
  • the second image acquisition section 22 includes an information extraction section 22a, a second shading correction section 22b, a third shading correction section 22c, a second image size correction section 22d, and a third image size correction section. 22e.
  • the information extraction unit 22a extracts a pixel brightness value based on the light L2 that has passed through the first second lens-side transparent portion 16c from the brightness values of all pixels output by the second solid-state image sensor 17, and a second The brightness value of the pixel is extracted based on the light L3 that has passed through the second lens-side transparent section 16d.
  • the second shading correction section 22b corrects the luminance value of the pixel based on the light L2 extracted by the information extraction section 22a and passed through the first second lens-side transparent section 16c, according to the position in the second direction. By doing so, an image before the first size correction is obtained. Specifically, the second shading correction unit 22b applies a second correction value acquired for each position in the second direction and stored in the memory 40 through a calibration process to be described later to the first second lens side translucent Correction is performed by multiplying the luminance values of all pixels based on the light L2 that has passed through the section 16c.
  • the third shading correction unit 22c corrects the brightness value of the pixel based on the light L3 extracted by the information extraction unit 22a and passed through the second lens-side transparent portion 16d, according to the position in the second direction. By doing so, an image before second size correction is obtained. Specifically, the third shading correction unit 22c converts the third correction value acquired for each position in the second direction and stored in the memory 40 by the calibration process described later into the second second lens side transparent Correction is performed by multiplying the luminance values of all pixels based on the light L3 that has passed through the section 16d.
  • the second image size correction unit 22d performs image size correction on the first size-uncorrected image acquired by the second shading correction unit 22b, and outputs the corrected image as a second image.
  • the second image size correction section 22d corrects the image size so that the second image has the same size (number of pixels) as the first image, based on the information of the first image output from the first shading correction section 21a. I do.
  • the second image is stretched in the vertical direction, but not in the horizontal direction, so that the accuracy in searching on the first epipolar line EP1, which will be described later, is not deteriorated.
  • the third image size correction unit 22e performs image size correction on the second size-uncorrected image acquired by the third shading correction unit 22c, and outputs the corrected image as a third image.
  • the third image size correction section 22e corrects the image size so that the third image has the same size (number of pixels) as the first image, based on the information of the first image output from the first shading correction section 21a. I do.
  • the third image is stretched in the vertical direction, but not in the horizontal direction, so that the accuracy in searching on the second epipolar line EP2, which will be described later, does not deteriorate.
  • the first parallax information acquisition unit 23 For each of the plurality of constituent blocks (component parts) constituting the first image, the first parallax information acquisition unit 23 extracts a corresponding block (corresponding part) corresponding to the constituent block from the first epipolar line of the second image. Explore on EP1. Then, first parallax information indicating the distance (distance in the direction along the first epipolar line EP1) between the position of the plurality of constituent blocks in the first image and the position of each corresponding block in the second image is acquired. .
  • the first epipolar line EP1 used for the search is between the point OP of the object O, the first lens-side transparent section 13c of the first lens-side shielding section 13, and the first second epipolar line EP1 of the second lens-side shielding section 16.
  • the first parallax information is a parallax image in which the pixel value of each constituent block of the first image is a pixel value corresponding to the distance between the position of the constituent block in the first image and the position of the corresponding block in the second image. This is the image information shown. In this image information, the pixel values of constituent blocks whose corresponding blocks (corresponding portions) could not be detected on the first epipolar line EP1 of the second image are set to predetermined blank values indicating blank spaces.
  • first epipolar line EP1 is inclined in the vertical direction with respect to the horizontal direction in the second image.
  • the horizontal direction in the second image is the x axis and the vertical direction is the y axis
  • the horizontal three For each square component block of 3 vertical pixels, a corresponding block corresponding to the component block is searched on the first epipolar line EP1 of the second image.
  • the first image is configured.
  • a corresponding block corresponding to the constituent block is searched on the first epipolar line EP1 of the second image.
  • the horizontal direction in the second image is the x axis and the vertical direction is the y axis
  • the number of pixels in the vertical direction of the constituent blocks and corresponding blocks is is 1/a times the number of pixels.
  • the second parallax information acquisition unit 24 searches for a corresponding block corresponding to each of the plurality of constituent blocks constituting the first image on the second epipolar line EP2 of the third image. Then, second parallax information indicating distances between the positions of the plurality of constituent blocks in the first image and the positions of respective corresponding blocks in the third image is acquired.
  • the second epipolar line EP2 used for the search is between the point of the object O, the first lens-side light-transmitting section 13c of the first lens-side shielding section 13, and the second second lens of the second lens-side shielding section 16. This is a line that intersects the third image and the epipolar plane that connects the side transparent portion 16d.
  • the second epipolar line EP2 extends in the lateral direction in the third image and is not inclined in the vertical direction with respect to the lateral direction in the third image.
  • the second parallax information is a parallax image in which the pixel value of each constituent block in the first image is a pixel value corresponding to the distance between the position of the constituent block in the first image and the position of the corresponding block in the third image. This is the image information shown. Also in this image information, the pixel values of constituent blocks whose corresponding blocks (corresponding portions) could not be detected on the second epipolar line EP2 of the third image are set to predetermined blank values indicating blank spaces.
  • the distance information acquisition unit 25 acquires distance information based on the first parallax information acquired by the first parallax information acquisition unit 23 and the second parallax information acquired by the second parallax information acquisition unit 24.
  • the distance information is information indicating the distance between the imaging device 10 and the subject O captured in each of the constituent blocks forming the first image.
  • the distance information is image information indicating an image in which the pixel value of each constituent block of the first image is set to a pixel value corresponding to the distance between the subject O captured in the constituent block and the imaging device 10.
  • the distance information acquisition unit 25 includes a parallax information synthesis unit 25a and a distance image generation unit 25b.
  • the parallax information synthesis unit 25a generates synthetic parallax information by replacing the pixel value of each pixel with a blank value in the image indicated by the first parallax information with the pixel value of the pixel in the image indicated by the second parallax information. get. That is, the composite parallax information is image information obtained by complementing the first parallax information with the second parallax information.
  • the distance image generation unit 25b generates the distance information based on the composite parallax information acquired by the parallax information synthesis unit 25a.
  • z be the distance between the object O captured in the configuration block and the imaging device 10 (the distance indicated by the pixel value of each pixel in the distance information), d be the parallax indicated by the composite parallax information, and the first lens-side transparent portion 13c.
  • Letting b be the distance in the first direction between the first and second second lens-side transparent parts 16c and 16d, and f be the focal length, z can be calculated using the following general formula 1.
  • the filter information generation unit 26 acquires the brightness values output by the first solid-state image sensor 14 and the second solid-state image sensor 17 at the time of shipment, and calculates the first correction value and the second correction value based on the brightness values.
  • a calibration process is performed in which the value and the third correction value are calculated and stored in the memory 40.
  • the filter information generation unit 26 acquires the brightness value using the first lens-side transparent portion 13c of the first lens-side shielding portion 13 and the first and second second lens-side transparent portions of the second lens-side shielding portion 16. The process is performed in a uniform light irradiation state in which the portions 16c and 16d are irradiated with uniform light from the first or second opening portions 11a and 11b.
  • the intensity of the incident light is made equal at all positions on the surface of the first lens-side transparent section 13c and the first and second second lens-side transparent sections 16c and 16d. light is irradiated on.
  • FIG. 8 shows the output by the first solid-state image sensor 14 and the second solid-state image sensor 17 in a uniform light irradiation state when the first lens-side light-transmitting part 13c is arranged to face the center of the first photographing lens 12.
  • the relationship between the brightness value and the vertical position of the solid-state image sensors 14 and 17 will be illustrated.
  • the right side in the x-axis direction indicates the upper side.
  • the brightness of the irradiation area of the light L1 that has passed through the first lens-side transparent section 13c in the first solid-state image sensor 14 As shown by the curve C1 in FIG. 8, the value increases at the center of the irradiation area in the second direction (vertical direction).
  • the brightness value of the irradiation area of the light L2 that has passed through the first second lens-side light-transmitting portion 16c in the second solid-state image sensor 17 becomes larger on the upper side of the irradiation area, as shown by a curve C2 in FIG.
  • the luminance value of the irradiation area of the light L3 that has passed through the second second lens-side light-transmitting part 16d in the second solid-state image sensor 17 increases at the lower side of the irradiation area, as shown by the curve C3 in FIG. .
  • the filter information generation unit 26 calculates the reciprocal of the luminance value of the irradiation area of the light L1 that has passed through the first lens-side transparent portion 13c in the uniform light irradiation state as the first correction value for each pixel. At this time, pixels at the same position in the second direction have the same first correction value.
  • the filter information generation unit 26 calculates the reciprocal of the luminance value of the irradiation area of the light L2 that has passed through the first second lens-side transparent portion 16c in the uniform light irradiation state as a second correction value for each pixel. . Therefore, the second correction value for each pixel is the reciprocal of the value shown by curve C2 in FIG. Further, the second correction value of pixels located at the same position in the second direction is the same.
  • the filter information generation unit 26 calculates the reciprocal of the luminance value of the irradiation area of the light L3 that has passed through the second second lens-side transparent portion 16d in the uniform light irradiation state as a third correction value for each pixel. . Therefore, the third correction value for each pixel is the reciprocal of the value shown by curve C3 in FIG. Moreover, the third correction value of pixels located at the same position in the second direction is the same.
  • the first solid-state image sensor 14 and the second solid-state image sensor 17 receive light L1, L2, and L3 from the subject O at a common timing.
  • the light L1 from the subject O that has passed through the first lens-side transparent portion 13c of the first lens-side shielding portion 13 and the first photographing lens 12 is incident on the first solid-state image sensor 14.
  • the second solid-state image sensor 17 includes light L2 from the subject O that has passed through the first second lens-side light transmitting section 16c of the second lens-side shielding section 16, the second photographing lens 15, and the sub-lens 18; Light L3 from the subject O that has passed through the second second lens side transparent section 16d of the second lens side shielding section 16, the second photographing lens 15, and the sub-lens 18 is incident.
  • the first shading correction unit 21a applies correction based on the first correction value stored in the memory 40 to the luminance values of all pixels output by the first solid-state image sensor 14 in (S101). By doing so, a first image is obtained.
  • the information extracting unit 22a extracts the brightness of the pixel based on the light L2 that has passed through the first second lens-side light-transmitting unit 16c from the brightness values of all the pixels output by the second solid-state image sensor 17 in (S101). value and the luminance value of the pixel based on the light L3 that passed through the second second lens-side transparent section 16d.
  • the second shading correction unit 22b performs correction based on the second correction value stored in the memory 40 on the luminance values of all pixels based on the light L2 that has passed through the first second lens-side transparent portion 16c. By doing so, an image before the first size correction is obtained. Further, the third shading correction unit 22c performs correction based on the third correction value stored in the memory 40 on the luminance value of the pixel based on the light L3 that has passed through the second second lens-side transparent portion 16d. As a result, an image before second size correction is obtained.
  • the second image size correction unit 22d performs image size correction on the first size-uncorrected image acquired in (S102), and outputs the corrected image as a second image.
  • the third image size correction unit 22e corrects the image size of the image before second size correction acquired in (S102), and outputs the corrected image as a third image.
  • the first parallax information acquisition unit 23 acquires first parallax information based on the first image acquired in (S102) and the second image acquired in (S103). . Further, the second parallax information acquisition unit 24 acquires second parallax information based on the first image acquired in (S102) and the third image acquired in (S103). A detailed method for acquiring the first parallax information and the second parallax information will be described later.
  • the disparity information synthesis unit 25a of the distance information acquisition unit 25 acquires composite disparity information based on the first disparity information and the second disparity information acquired in (S104).
  • the distance image generation unit 25b of the distance information acquisition unit 25 generates distance information based on the composite parallax information acquired in (S105). This completes the distance information generation process by the signal processing unit 20.
  • the first parallax information acquisition process in (S104) will be described in detail with reference to the flowchart in FIG. 10.
  • the first image acquired in (S102) is assumed to be a reference image
  • the second image acquired in (S103) is assumed to be an input image.
  • the first parallax information acquisition unit 23 acquires a reference image and an input image.
  • the first parallax information acquisition unit 23 divides the reference image into a plurality of constituent blocks.
  • the slope of the first epipolar line EP1 is a, for example, the number of pixels in the horizontal direction of the constituent block is set to 3 pixels, and the number of pixels in the vertical direction of the constituent block is set to 1/a of 3 pixels. set to double.
  • the first disparity information acquisition unit 23 selects an unselected constituent block from the plurality of constituent blocks specified by the division in (S202).
  • the first parallax information acquisition unit 23 searches for a corresponding block corresponding to the constituent block selected in (S203) on the first epipolar line EP1 of the input image, thereby Parallax, which is the distance between the position of the constituent block and the position of the corresponding block in the input image, is calculated.
  • Parallax which is the distance between the position of the constituent block and the position of the corresponding block in the input image
  • the first parallax information acquisition unit 23 stores the pixel value according to the parallax calculated in (S204) in a parallax image memory (not shown).
  • the storage area of the pixel value in the parallax image memory is the area allocated to the constituent block selected in (S203).
  • the first parallax information acquisition unit 23 determines whether all of the plurality of constituent blocks specified by the division in (S202) have been selected in (S203). In other words, it is determined whether any unselected configuration blocks remain. If all of the plurality of constituent blocks identified by the division in (S202) have been selected in (S203) and there are no unselected constituent blocks remaining, the first parallax information acquisition process is ended. On the other hand, if some of the plurality of constituent blocks identified by the division in (S202) have not been selected in (S203) and unselected constituent blocks remain, the process returns to (S203).
  • the first parallax information acquisition unit 23 sets i to an initial value. For example, 1 is set as the initial value.
  • the first parallax information acquisition unit 23 extracts an extraction area AR (see FIGS. 6 and 7) having the same size as the constituent block selected in (S203).
  • the extraction region AR is set so that the vertical center is located on the first epipolar line EP1 extending from the center of the component block selected in (S203), and the horizontal center is on the i-th column. move it.
  • the edge of the extraction area AR is located in the middle of the pixel, as shown by the virtual line in FIG.
  • the extraction area AR is moved by the minimum length in the vertical direction.
  • the first parallax information acquisition unit 23 calculates the degree of similarity between the constituent block selected in (S203) and the extraction region AR extracted in (S302).
  • NCC Normalized Cross Correlation
  • the first parallax information acquisition unit 23 adds 1 to i.
  • the first parallax information acquisition unit 23 determines whether i is a predetermined value.
  • the predetermined value is set, for example, to a value that is one larger than the total number of pixels in the horizontal direction of the input image.
  • the first parallax information acquisition unit 23 proceeds to the process of (S305) when i is a predetermined value, while returning to the process of (S302) when i is not a predetermined value.
  • the second parallax information acquisition unit 24 similarly executes the process of the flowchart in FIG. 10 using the first image acquired in (S102) as a reference image and the third image acquired in (S103) as an input image. By doing so, second parallax information is acquired.
  • the size of the constituent blocks is always set constant in (S202).
  • the number of pixels in the horizontal and vertical directions of the constituent block is set to, for example, three pixels.
  • the extraction area AR extracted by the second parallax information acquisition unit 24 in (S302) is an area located in the same row as the constituent blocks and whose horizontal center is in the i-th column.
  • the first image is acquired based on the light L1 from the subject O that has passed through the first photographing lens 12 based on the output of the first solid-state image sensor 14, and the second solid-state image sensor Based on the output of the element 17, a second image based on the light L2 from the subject O that has passed through the first second lens side transparent section 16c and a second image based on the light L2 from the subject O that has passed through the second second lens side transparent section 16d.
  • a third image based on the light L3 from O can be obtained. Therefore, in order to obtain the first image, second image, and third image taken from three triangular points, it is not necessary to provide three solid-state image sensors, so the three-dimensional measuring device 1 It is possible to downsize and reduce costs.
  • the first lens-side transparent portion 13c and the first and second second lens-side transparent portions 16c and 16d are perfectly circular, they can be oval-shaped. In comparison, by increasing the depth of field and suppressing image blur, the accuracy of the distance information obtained can be increased.
  • the sub-lens 18 is provided for each pixel of the second solid-state image sensor 17 in the first direction, the resolution of the second and third images in the first direction can be increased compared to when fewer sub-lenses are provided. .
  • FIG. 12 shows a three-dimensional measurement device 1 according to a second embodiment of the present disclosure.
  • the first lens-side shielding section 13 is composed of a liquid crystal shutter.
  • the signal processing section 20 further includes a liquid crystal shutter control section 51 as a first lens side size adjustment section.
  • the filter information generation unit 26 stores in the memory 40 the luminance values output by the first solid-state image sensor 14 and the second solid-state image sensor 17 in the uniform light irradiation state.
  • the liquid crystal shutter control unit 52 controls the first lens-side light transmission of the first lens-side shielding unit 13 based on the luminance values output by the first solid-state image sensor 14 and the second solid-state image sensor 17 and stored in the memory 40.
  • the liquid crystal shutter control unit 51 calculates the average luminance value of the pixel based on the light L1 that has passed through the first lens-side transparent portion 13c in the uniform light irradiation state, and the average luminance value of the pixel based on the
  • the size of the first lens-side transparent portion 13c of the first lens-side shielding portion 13 is set so that the average luminance values of pixels based on the lights L2 and L3 that have passed through the lens-side transparent portions 16c and 16d are equal. adjust.
  • By increasing the size of the first lens-side transparent portion 13c it is possible to increase the average brightness value of all pixels output by the first solid-state image sensor 14.
  • the signal processing section 20 does not include the first shading correction section 21a, the second shading correction section 22b, and the third shading correction section 22c.
  • the first image acquisition unit 21 acquires the luminance values of the plurality of pixels output by the first solid-state image sensor 14 as a first image.
  • the liquid crystal shutter control unit 51 controls the first and second lens-side shielding units 16 of the second lens-side shielding unit 16 based on the brightness values output by the first solid-state image sensor 14 and the second solid-state image sensor 17 and stored in the memory 40.
  • the size of at least one of the second lens-side transparent parts 16c and 16d may be adjusted.
  • the liquid crystal shutter control section 51 may constitute the second lens side size adjustment section.
  • both the first lens side shielding section 13 and the second lens side shielding section 16 are configured with liquid crystal shutters, and the liquid crystal shutter control section 51 controls the first lens side shielding section based on the brightness value stored in the memory 40.
  • the size of the first lens-side transparent portion 13c of the portion 13 and the size of the first and second second lens-side transparent portions 16c and 16d of the second lens-side shielding portion 16 may be adjusted. .
  • the second solid-state image sensor 17 receives the light that has passed through the first and second second lens-side light transmitting parts 16c and 16d at a common timing.
  • the second lens side shielding part 16 is configured with a liquid crystal shutter, only one of the first and second second lens side transparent parts 16c and 16d is formed in the second lens side shielding part 16.
  • the second solid-state image sensor 17 is made to capture an image, and then only the other of the first and second lens-side transparent parts 16c and 16d is formed in the second lens-side shielding part 16. Then, the second image and the third image may be acquired by causing the second solid-state image sensor 17 to take an image.
  • FIG. 13 shows a three-dimensional measuring device 1 according to the third embodiment.
  • the first lens-side shielding section 13 is composed of a liquid crystal shutter.
  • the signal processing section 20 further includes a liquid crystal shutter control section 52 as a position adjustment section that moves the first lens-side transparent section 13c in the second direction.
  • the liquid crystal shutter control unit 52 moves the first lens-side transparent portion 13c to the first position shown in FIG.
  • Both of the second lens-side transparent parts 16c and 16d can be moved to a different second position shown in FIG. 14 in a second direction (vertical direction).
  • the parallax information synthesis unit 25a of the distance information acquisition unit 25 further combines a plurality of pieces of composite parallax information acquired by photographing with the first lens-side transparent portion 13c disposed at a plurality of different positions in the second direction. Can be synthesized.
  • the parallax information synthesizing unit 25a may combine the synthesized parallax information obtained by photographing with the first lens-side transparent portion 13c disposed at the first position to This can be supplemented with synthetic parallax information obtained by shooting with the image placed in the image.
  • information corresponding to the distance between the subject O and the imaging device 10 can be acquired more reliably for all pixels of the first image.
  • the liquid crystal shutter control section 52 may move the first lens-side transparent section 13c in the first direction.
  • the first lens side shielding part 13 is configured of a glass plate 13a and a coating film 13b as in the first embodiment, and as shown in FIG. 15, the first lens side shielding part 13 is automatically or manually rotated in the x direction.
  • a rotation mechanism may be provided to move the first lens-side transparent portion 13c in the first direction and the second direction.
  • the distance resolution can be adjusted by changing the distance in the first direction from 16d.
  • the distance between the subject O reflected in the constituent block and the imaging device 10 is z
  • the parallax is d
  • 16d in the first direction is b
  • the focal length is f.
  • Equation 2 From Equation 2, it is possible to improve the distance resolution by increasing b, that is, the distance in the first direction between the first lens-side transparent portion 13c and the first and second second lens-side transparent portions 16c and 16d.
  • b that is, the distance in the first direction between the first lens-side transparent portion 13c and the first and second second lens-side transparent portions 16c, 16d, is set to, for example, 10 to 30 cm.
  • the first lens-side transparent portion 13c and the first and second second lens-side transparent portions 16c, 16d are perfectly circular, but they are oval-shaped. Good too.
  • the sub-lens 18 is arranged so that the irradiation area on the second solid-state image sensor 17 of the lights L2 and L3 that have passed through the sub-lens 18 is one pixel in the first direction, and the second They were arranged so as to correspond to two pixels in the direction.
  • the layout pattern of the sub-lens 18 is not limited to this.
  • the sub-lens 18 is arranged so that the irradiation area on the second solid-state image sensor 17 of the lights L2 and L3 that have passed through the sub-lens 18 corresponds to two pixels in the first direction and two pixels in the second direction. may be set.
  • the degree of similarity is calculated in (S303), but the degree of difference such as SAD (sum of absolute differences), SSD (sum of square differences), etc.
  • An evaluation value may also be calculated. If the degree of difference is calculated in (S303), the extraction region AR with the smallest degree of difference may be specified as the corresponding block in (S305).
  • the first parallax information, the second parallax information, and the distance information are image information, but they do not need to be image information.
  • the first parallax information and the second parallax information may be information indicating the distance between the position of one component forming the first image and the position of its corresponding block in the second image or the third image. good.
  • the distance information may also indicate the distance between the imaging device 10 and the subject O reflected in one of the constituent parts constituting the first image.
  • the present disclosure is useful as an imaging device that can reduce the size and cost of a three-dimensional measurement device, and a three-dimensional measurement device equipped with the same.
  • Imaging device First photographing lens 13 First lens side shielding part 13c First lens-side transparent section 14 First solid-state image sensor 15 Second photographing lens 16 Second lens side shielding part 16c First second lens side transparent part 16d Second second lens side transparent part 17 Second solid-state image sensor 18 Sub-lens 21 First image acquisition unit 22 Second image acquisition unit 23 First parallax information acquisition unit 24 Second parallax information acquisition unit 25 Distance information acquisition unit EP1 First epipolar line EP2 Second epipolar line O Subject L1, L2, L3 Light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

撮像装置１０に、被写体からの光を通過させる第１撮影レンズと、第１撮影レンズを通過した光を受光する第１固体撮像素子と、第１撮影レンズから第１方向に間隔を空けて設けられる第２撮影レンズと、第１方向に対して垂直な第２方向に異なる位置に第１及び第２の第２レンズ側透光部１６ｃ，１６ｄが形成され、被写体から第２撮影レンズに向かう光の一部を第１及び第２の第２レンズ側透光部１６ｃ，１６ｄによって通過させるとともに、その光の残りを遮断するように配置される第２レンズ側遮蔽部１６と、第２撮影レンズを通過した被写体からの光を受光する第２固体撮像素子とを設ける。

Description

撮像装置及びそれを備えた三次元計測装置
　本開示は、撮像装置及びそれを備えた三次元計測装置に関する。
　特許文献１には、第１画像を取得する第１のイメージングユニットと、第２画像を取得する第２のイメージングユニットと、第３画像を取得する第３のイメージングユニットとが三角形状に互いに間隔を空けて配置された三次元計測装置が開示されている。この三次元計測装置は、第１画像の少なくとも１つの画素について、第１のエピポーラ線に沿って第２画像の画素に関連する第１の類似値を特定し、第１画像の前記少なくとも１つの画素について、第２のエピポーラ線に沿って第３画像の画素に関連する第２の類似値を特定し、第１及び第２の類似値を結合し、前記少なくとも１つの画素について、第１画像、第２画像、及び第３画像間で共通の視差を決定し、当該共通の視差から距離を決定する。
米国特許第１１０３９１１４号公報
　しかし、特許文献１では、第１～第３のイメージングユニットのそれぞれに固体撮像素子を設ける必要があるので、三次元計測装置の大型化及びコストの増大を招く。
　本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、三次元計測装置を小型化するとともに、コストを削減することにある。
　上記の目的を達成するため、本開示は、被写体からの光を通過させる第１撮影レンズと、前記第１撮影レンズを通過した光を受光する第１固体撮像素子と、前記第１撮影レンズから第１方向に間隔を空けて設けられ、前記被写体からの光を通過させる第２撮影レンズと、前記第１方向に対して垂直な第２方向に異なる位置に第１及び第２の第２レンズ側透光部が形成され、前記被写体から前記第２撮影レンズに向かう光の一部を前記第１及び第２の第２レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第２レンズ側遮蔽部と、前記第２撮影レンズを通過した前記被写体からの光を受光する第２固体撮像素子とを備えた撮像装置であることを特徴とする。
　これにより、第１固体撮像素子の出力に基づいて、第１撮影レンズを通過した前記被写体からの光に基づく第１画像を取得するとともに、第２固体撮像素子の出力に基づいて、前記第１の第２レンズ側透光部を通過した前記被写体からの光に基づく第２画像と、前記第２の第２レンズ側透光部を通過した前記被写体からの光に基づく第３画像とを取得できる。したがって、三角形状をなす３つの地点から撮影された第１画像、第２画像、及び第３画像を取得するために固体撮像素子を３つ設けなくてもよいので、三次元計測装置を小型化するとともに、コストを削減できる。
　本開示によれば、三次元計測装置を小型化するとともに、コストを削減できる。
図１は、実施形態１に係る三次元計測装置の構成を示すブロック図である。 図２は、撮像装置の正面図である。 図３は、図２のIII－III線に対応する断面図である。 図４は、図２のIV－IV線に対応する断面図である。 図５は、サブレンズアレイの一部を示す平面図である。 図６は、第１エピポーラ線が、ｙ＝ｘの直線となる場合の、第２画像における対応ブロックの探索方法を説明する説明図である。 図７は、第１エピポーラ線が、ｙ＝ｘ／２の直線となる場合の、第２画像における対応ブロックの探索方法を説明する説明図である。 図８は、均一光照射状態において固体撮像素子によって出力される輝度値と、固体撮像素子における上下方向の位置との関係を例示するグラフである。 図９は、実施形態１に係る三次元計測装置による距離情報の生成処理を説明するフローチャートである。 図１０は、視差情報の取得処理を説明するフローチャートである。 図１１は、視差の算出処理を説明するフローチャートである。 図１２は、実施形態２の図１相当図である。 図１３は、実施形態３の図１相当図である。 図１４は、第１レンズ側透光部を上方に移動させた状態における図２相当図である。 図１５は、第１レンズ側遮蔽部の回転動作を説明する説明図である。
　以下、本開示の実施形態について図面に基づいて説明する。
　（実施形態１）
　図１は、本開示の実施形態１に係る三次元計測装置１を示す。この三次元計測装置１は、撮像装置１０と、信号処理部２０と、メモリ４０とを備えている。
　撮像装置１０は、図２～４に示すように、筐体１１と、第１撮影レンズ１２と、第１レンズ側遮蔽部１３と、第１固体撮像素子１４と、第２撮影レンズ１５と、第２レンズ側遮蔽部１６と、第２固体撮像素子１７複数のサブレンズ１８を備えたサブレンズアレイ１９（図５参照）とを備えている。図３及び図４中、点ＯＰは、被写体Ｏに含まれる点を示す。
　筐体１１には、共通の方向に開口する真円形の第１及び第２の開口部１１ａ，１１ｂが、水平な第１方向に互いに間隔を空けて当該第１方向に対して垂直な水平方向に貫通するように形成されている。筐体１１の形状は、図２に示す形状に限定されない。筐体１１は、第１撮影レンズ１２と、第１レンズ側遮蔽部１３と、第１固体撮像素子１４と、第２撮影レンズ１５と、第２レンズ側遮蔽部１６と、第２固体撮像素子１７と、サブレンズアレイ１９とを収容している。
　第１撮影レンズ１２は、筐体１１の第１の開口部１１ａに対向するように配設されている。第１撮影レンズ１２は、被写体Ｏからの光を通過させる。
　第１レンズ側遮蔽部１３は、板状に形成され、筐体１１の第１の開口部１１ａ形成面と、第１撮影レンズ１２との間に、筐体１１の第１の開口部１１ａに対向するように配設されている。第１レンズ側遮蔽部１３は、筐体１１の第１の開口部１１ａに対向するように配設されたガラス板１３ａを有している。このガラス板１３ａの第１の開口部１１ａ側の面における下半部の真円形の領域を除く領域には、全体に亘って塗膜１３ｂが塗装により形成されている。ガラス板１３ａの塗膜１３ｂ非形成領域は、光を通過させる真円形の第１レンズ側透光部１３ｃを構成している。第１レンズ側遮蔽部１３は、被写体Ｏから前記第１撮影レンズ１２に向かう光の一部を前記第１レンズ側透光部１３ｃによって通過させるとともに、当該光の残りを遮断するように配置されている。なお、ガラス板１３ａに代えて、樹脂等のガラス以外の材料からなる透光性の板材を用いてもよい。また、塗膜１３ｂに代えて、塗料以外の材料からなる遮光層を設けてもよい。
　第１固体撮像素子１４は、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃ、及び第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１を受光し、複数の画素の輝度値を出力する。
　第２撮影レンズ１５は、第１撮影レンズ１２から第１方向に間隔を空けて、筐体１１の第２の開口部１１ｂに対向するように配設されている。つまり、第２撮影レンズ１５は、その厚さ方向を第１撮影レンズ１２と同じ向きに向けている。第２撮影レンズ１５も、被写体Ｏからの光を通過させる。
　第２レンズ側遮蔽部１６は、板状に形成され、筐体１１の第２の開口部１１ｂ形成面と、第２撮影レンズ１５との間に、筐体１１の第２の開口部１１ｂに対向するように配設されている。第２レンズ側遮蔽部１６は、筐体１１の第２の開口部１１ｂに対向するように配設されたガラス板１６ａを有している。このガラス板１６ａの第２の開口部１１ｂ側の面における上半部の真円形の領域と下半部の真円形の領域とを除く領域には、全体に亘って塗膜１６ｂが塗装により形成されている。ガラス板１６ａの上側の塗膜１６ｂ非形成領域は、光を通過させる真円形の第１の第２レンズ側透光部１６ｃを構成している。ガラス板１６ａの下側の塗膜１６ｂ非形成領域は、光を通過させる真円形の第２の第２レンズ側透光部１６ｄを構成している。第２レンズ側遮蔽部１６は、被写体Ｏから第２撮影レンズ１５に向かう光の一部を第１及び第２の第２レンズ側透光部１６ｃ，１６ｄによって通過させるとともに、当該光の残りを遮断するように配置されている。第２の第２レンズ側透光部１６ｄは、第１レンズ側透光部１３ｃと上下方向に同じ位置に位置している。第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの上下方向の間隔は、０よりも長く、第２撮影レンズ１５の直径よりも短く設定される。第１及び第２の第２レンズ側透光部１６ｃ，１６ｄが上下方向（第１方向に対して垂直な第２方向）に異なる位置に形成されているので、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとで、異なる傾きの２本のエピポーラ線ＥＰ１，ＥＰ２を形成できる。第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの位置関係は、それぞれの重心が水平方向に一直線とならず、異なる傾きの２本のエピポーラ線ＥＰ１，ＥＰ２を形成できれば、他の位置関係であってもよい。エピポーラ線ＥＰ１，ＥＰ２の詳細な説明については後述する。
　第２固体撮像素子１７は、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄと、第２撮影レンズ１５を通過した前記被写体Ｏからの光Ｌ２，Ｌ３を受光する。
　サブレンズアレイ１９を構成するサブレンズ１８は、第２撮影レンズ１５と、第２固体撮像素子１７との間に、第２撮影レンズ１５と平行に介設されている。サブレンズ１８は、第２撮影レンズ１５の反第２レンズ側遮蔽部１６側の焦点に位置している。図５に示すように、サブレンズ１８は、上下方向（以下、「第２方向」と呼ぶ）の長さが第１方向の長さの約２倍である楕円形をなしている。サブレンズ１８の第１方向の長さ及び位置は、サブレンズ１８を通過した光Ｌ２の第２固体撮像素子１７における照射領域が、第１方向において、第２固体撮像素子１７の１画素に収まるように設定されている。サブレンズ１８の下半分（第２方向一方の半分）には、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２が通過し、サブレンズ１８の上半分（第２方向他方の半分）には、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３が通過する。サブレンズ１８を通過した光Ｌ２，Ｌ３は、第２固体撮像素子１７における互いに異なる画素に対応する領域に入射する。サブレンズ１８の第２方向の長さ及び位置は、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第２方向において、第２固体撮像素子１７の２画素に収まるように設定されている。サブレンズ１８は、第１方向に互いに隣り合うように、複数設けられている。サブレンズ１８の第１方向の個数は、第２固体撮像素子１７において第１方向に並ぶ画素の数に相当する。
　信号処理部２０は、第１画像取得部２１と、第２画像取得部２２と、第１視差情報取得部２３と、第２視差情報取得部２４と、距離情報取得部２５と、フィルタ情報生成部２６とを備えている。
　第１画像取得部２１は、第１固体撮像素子１４によって出力された複数の画素の輝度値に基づいて、第１画像を取得する。第１画像取得部２１は、第１シェーディング補正部２１ａを有している。この第１シェーディング補正部２１ａは、第１固体撮像素子１４によって出力された複数の画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第１画像を取得する。具体的には、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第１補正値を、第１固体撮像素子１４によって出力された全画素の輝度値に乗算する補正を行う。そして、第１画像取得部２１は、第１固体撮像素子１４によって出力された全画素の補正後の輝度値を、第１画像の全画素の輝度値として出力する。
　第２画像取得部２２は、第２固体撮像素子１７によって出力された複数の画素の輝度値に基づいて、前記第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく第２画像と、前記第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく第３画像とを取得する。具体的には、第２画像取得部２２は、情報抽出部２２ａと、第２シェーディング補正部２２ｂと、第３シェーディング補正部２２ｃと、第２画像サイズ補正部２２ｄと、第３画像サイズ補正部２２ｅとを有している。
　情報抽出部２２ａは、第２固体撮像素子１７によって出力された全画素の輝度値から、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値と、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値とを抽出する。
　第２シェーディング補正部２２ｂは、情報抽出部２２ａによって抽出された第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第１サイズ補正前画像を取得する。具体的には、第２シェーディング補正部２２ｂは、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第２補正値を、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく全画素の輝度値に乗算する補正を行う。
　第３シェーディング補正部２２ｃは、情報抽出部２２ａによって抽出された第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第２サイズ補正前画像を取得する。具体的には、第３シェーディング補正部２２ｃは、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第３補正値を、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく全画素の輝度値に乗算する補正を行う。
　第２画像サイズ補正部２２ｄは、第２シェーディング補正部２２ｂによって取得された第１サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第２画像として出力する。第２画像サイズ補正部２２ｄは、第１シェーディング補正部２１ａから出力される第１画像の情報に基づいて、第２画像が第１画像と同じサイズ（画素数）になるように画像サイズの補正を行う。このとき、第２画像を上下方向に引き伸ばすが、左右方向には引き伸ばさないので、後述する第１エピポーラ線ＥＰ１上での探索における精度の悪化を招かない。
　第３画像サイズ補正部２２ｅは、第３シェーディング補正部２２ｃによって取得された第２サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第３画像として出力する。第３画像サイズ補正部２２ｅは、第１シェーディング補正部２１ａから出力される第１画像の情報に基づいて、第３画像が第１画像と同じサイズ（画素数）になるように画像サイズの補正を行う。このとき、第３画像を上下方向に引き伸ばすが、左右方向には引き伸ばさないので、後述する第２エピポーラ線ＥＰ２上での探索における精度の悪化を招かない。
　第１視差情報取得部２３は、第１画像を構成する複数の構成ブロック（構成部分）について、それぞれ、当該構成ブロックに対応する対応ブロック（対応部分）を、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。そして、第１画像における前記複数の構成ブロックの位置と、前記第２画像におけるそれぞれの対応ブロックの位置との距離（第１エピポーラ線ＥＰ１に沿う方向の距離）を示す第１視差情報を取得する。ここで探索に用いる第１エピポーラ線ＥＰ１は、被写体Ｏの点ＯＰと、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第１の第２レンズ側透光部１６ｃとを結ぶエピポーラ平面と、第２画像との交差する線である。第１視差情報は、第１画像の各構成ブロックの画素値を、第１画像におけるその構成ブロックの位置と、第２画像における対応ブロックの位置との距離に応じた画素値とした視差画像を示す画像情報である。この画像情報において、対応ブロック（対応部分）を、前記第２画像の第１エピポーラ線ＥＰ１上で検出できなかった構成ブロックの画素値は、空白を示す所定の空白値とされる。
　なお、第１エピポーラ線ＥＰ１は、第２画像における横方向に対して上下方向に傾斜する。
　図６に示すように、例えば、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ｘの直線となるとき、第１画像を構成する横３画素、縦３画素の正方形の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。
　図７に示すように、例えば、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ｘ／２の直線となるとき、第１画像を構成する横３画素、縦６画素の長方形の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。
　つまり、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ａｘ＋ｂの直線となるとき、構成ブロック及び対応ブロックの縦方向の画素数を、横方向の画素数の１／ａ倍とする。
　第２視差情報取得部２４は、第１画像を構成する複数の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第３画像の第２エピポーラ線ＥＰ２上で探索する。そして、第１画像における前記複数の構成ブロックの位置と、前記第３画像におけるそれぞれの対応ブロックの位置との距離を示す第２視差情報を取得する。ここで探索に用いる第２エピポーラ線ＥＰ２は、被写体Ｏの点と、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第２の第２レンズ側透光部１６ｄとを結ぶエピポーラ平面と、第３画像との交差する線である。第２エピポーラ線ＥＰ２は、第３画像における横方向に延び、第３画像における横方向に対して上下方向に傾斜しない。第２視差情報は、第１画像の各構成ブロックの画素値を、第１画像における当該構成ブロックの位置と、第３画像における対応ブロックの位置との距離に応じた画素値とした視差画像を示す画像情報である。この画像情報においても、対応ブロック（対応部分）を、前記第３画像の第２エピポーラ線ＥＰ２上で検出できなかった構成ブロックの画素値は、空白を示す所定の空白値とされる。
　距離情報取得部２５は、第１視差情報取得部２３によって取得された第１視差情報と、第２視差情報取得部２４によって取得された第２視差情報とに基づいて、距離情報を取得する。距離情報は、第１画像を構成する各構成ブロックに写った被写体Ｏと、撮像装置１０との距離を示す情報である。詳しくは、距離情報は、第１画像の各構成ブロックの画素値を、当該構成ブロックに写った被写体Ｏと、撮像装置１０との距離に応じた画素値とした画像を示す画像情報である。
　距離情報取得部２５は、視差情報合成部２５ａと、距離画像生成部２５ｂとを有している。
　視差情報合成部２５ａは、第１視差情報によって示される画像における空白値の各画素の画素値を、第２視差情報によって示される画像における当該画素の画素値に置換することにより、合成視差情報を取得する。つまり、合成視差情報は、第１視差情報を第２視差情報によって補完することによって得られる画像情報である。
　距離画像生成部２５ｂは、視差情報合成部２５ａによって取得された合成視差情報に基づいて、前記距離情報を生成する。
　構成ブロックに写った被写体Ｏと撮像装置１０との距離（距離情報における各画素の画素値によって示される距離）をｚとし、合成視差情報によって示される視差をｄ、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔をｂ、焦点距離をｆとすると、ｚは、以下のような一般的な式１によって算出できる。
　ｚ　＝　ｂ・ｆ／ｄ　・・・（式１）
　フィルタ情報生成部２６は、出荷時に、第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値を取得し、当該輝度値に基づいて、前記第１補正値、前記第２補正値、及び前記第３補正値を算出し、メモリ４０に保存するキャリブレーション処理を行う。フィルタ情報生成部２６による輝度値の取得は、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとに、第１又は第２の開口部１１ａ，１１ｂ側から均一光を照射した均一光照射状態で行われる。つまり、均一光照射状態では、第１レンズ側透光部１３ｃ、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの表面上のすべての位置において、入射光の強度が等しくなるように光が照射される。
　図８は、第１レンズ側透光部１３ｃを第１撮影レンズ１２の中央に対向するように配置した場合に、均一光照射状態において第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値と、固体撮像素子１４，１７における上下方向の位置との関係を例示する。図８中、ｘ軸方向右側が上側を示す。
　第１レンズ側透光部１３ｃを第１撮影レンズ１２の中央に対向するように配置した場合、第１固体撮像素子１４における第１レンズ側透光部１３ｃを通過した光Ｌ１の照射領域の輝度値は、図８の曲線Ｃ１に示すように、当該照射領域における第２方向（上下方向）中央で大きくなる。第２固体撮像素子１７における第１の第２レンズ側透光部１６ｃを通過した光Ｌ２の照射領域の輝度値は、図８の曲線Ｃ２に示すように、当該照射領域における上側で大きくなる。第２固体撮像素子１７における第２の第２レンズ側透光部１６ｄを通過した光Ｌ３の照射領域の輝度値は、図８の曲線Ｃ３に示すように、当該照射領域における下側で大きくなる。
　フィルタ情報生成部２６は、均一光照射状態で第１レンズ側透光部１３ｃを通過した光Ｌ１の照射領域の輝度値の逆数を、各画素における第１補正値として算出する。このとき、第２方向の位置が等しい画素の第１補正値は共通となる。
　また、フィルタ情報生成部２６は、均一光照射状態で第１の第２レンズ側透光部１６ｃを通過した光Ｌ２の照射領域の輝度値の逆数を、各画素における第２補正値として算出する。したがって、各画素における第２補正値は、図８の曲線Ｃ２で示される値の逆数となる。また、第２方向の位置が等しい画素の第２補正値は共通となる。
　また、フィルタ情報生成部２６は、均一光照射状態で第２の第２レンズ側透光部１６ｄを通過した光Ｌ３の照射領域の輝度値の逆数を、各画素における第３補正値として算出する。したがって、各画素における第３補正値は、図８の曲線Ｃ３で示される値の逆数となる。また、第２方向の位置が等しい画素の第３補正値は共通となる。
　次に、上述のように構成された三次元計測装置１による距離情報の生成処理について、図９のフローチャートを参照して説明する。
　まず、（Ｓ１０１）において、被写体Ｏからの光Ｌ１，Ｌ２，Ｌ３を、第１固体撮像素子１４及び第２固体撮像素子１７が共通のタイミングで受光する。第１固体撮像素子１４には、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃ、及び第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１が入射する。第２固体撮像素子１７には、第２レンズ側遮蔽部１６の第１の第２レンズ側透光部１６ｃ、第２撮影レンズ１５、及びサブレンズ１８を通過した被写体Ｏからの光Ｌ２と、第２レンズ側遮蔽部１６の第２の第２レンズ側透光部１６ｄ、第２撮影レンズ１５、及びサブレンズ１８を通過した被写体Ｏからの光Ｌ３が入射する。
　次いで、（Ｓ１０２）において、第１シェーディング補正部２１ａが、（Ｓ１０１）において第１固体撮像素子１４によって出力された全画素の輝度値に、メモリ４０に保存された第１補正値に基づく補正を行うことにより、第１画像を取得する。また、情報抽出部２２ａが、（Ｓ１０１）において第２固体撮像素子１７によって出力された全画素の輝度値から、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値と、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値とを抽出する。そして、第２シェーディング補正部２２ｂは、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく全画素の輝度値に、メモリ４０に保存された第２補正値に基づく補正を行うことにより、第１サイズ補正前画像を取得する。さらに、第３シェーディング補正部２２ｃは、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値に、メモリ４０に保存された第３補正値に基づく補正を行うことにより、第２サイズ補正前画像を取得する。
　次いで、（Ｓ１０３）において、第２画像サイズ補正部２２ｄは、（Ｓ１０２）で取得された第１サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第２画像として出力する。また、第３画像サイズ補正部２２ｅは、（Ｓ１０２）で取得された第２サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第３画像として出力する。
　次いで、（Ｓ１０４）において、第１視差情報取得部２３が、（Ｓ１０２）で取得された第１画像と、（Ｓ１０３）で取得された第２画像とに基づいて、第１視差情報を取得する。また、第２視差情報取得部２４が、（Ｓ１０２）で取得された第１画像と、（Ｓ１０３）で取得された第３画像とに基づいて、第２視差情報を取得する。第１視差情報、及び第２視差情報の詳細な取得方法については、後述する。
　次いで、（Ｓ１０５）において、距離情報取得部２５の視差情報合成部２５ａが、（Ｓ１０４）で取得された第１視差情報及び第２視差情報に基づいて、合成視差情報を取得する。
　最後に、（Ｓ１０６）において、距離情報取得部２５の距離画像生成部２５ｂが、（Ｓ１０５）で取得された合成視差情報に基づいて、距離情報を生成する。これにより、信号処理部２０による距離情報の生成処理が完了する。
　次に、（Ｓ１０４）における第１視差情報の取得処理について、図１０のフローチャートを参照して詳細に説明する。ここで、（Ｓ１０２）で取得された第１画像を基準画像、（Ｓ１０３）で取得された第２画像を入力画像とする。
　まず、（Ｓ２０１）において、第１視差情報取得部２３が、基準画像と入力画像を取得する。
　次いで、（Ｓ２０２）において、第１視差情報取得部２３が、基準画像を複数の構成ブロックに分割する。このとき、第１エピポーラ線ＥＰ１の傾きがａであるとき、例えば、構成ブロックの横方向の画素数は、３画素に設定され、構成ブロックの縦方向の画素数は、３画素の１／ａ倍に設定される。
　次いで、（Ｓ２０３）において、第１視差情報取得部２３が、（Ｓ２０２）の分割により特定された複数の構成ブロックから、未選択の構成ブロックを選択する。
　次いで、（Ｓ２０４）において、第１視差情報取得部２３が、（Ｓ２０３）で選択された構成ブロックに対応する対応ブロックを、入力画像の第１エピポーラ線ＥＰ１上で探索することにより、基準画像における当該構成ブロックの位置と、入力画像における対応ブロックの位置との距離である視差を算出する。（Ｓ２０４）における詳細な処理については、後述する。
　次いで、（Ｓ２０５）において、第１視差情報取得部２３が、（Ｓ２０４）で算出した視差に応じた画素値を、図示しない視差画像用メモリに格納する。視差画像用メモリにおける当該画素値の格納領域は、（Ｓ２０３）で選択された構成ブロックに割り当てられた領域である。
　次いで、（Ｓ２０６）において、第１視差情報取得部２３が、（Ｓ２０２）の分割により特定された複数の構成ブロックの全てを（Ｓ２０３）で選択したか否かを判定する。つまり、未選択の構成ブロックが残っているか否かを判定する。（Ｓ２０２）の分割により特定された複数の構成ブロックの全てを（Ｓ２０３）で選択し終えており、未選択の構成ブロックが残っていない場合には、第１視差情報の取得処理を終了する。一方、（Ｓ２０２）の分割により特定された複数の構成ブロックの一部を（Ｓ２０３）で選択しておらず、未選択の構成ブロックが残っている場合には、（Ｓ２０３）に戻る。
　次に、（Ｓ２０４）における視差の算出処理について、図１１のフローチャートを参照して詳細に説明する。
　まず、（Ｓ３０１）において、第１視差情報取得部２３が、ｉを初期値に設定する。初期値としては、例えば１が設定される。
　次いで、（Ｓ３０２）において、第１視差情報取得部２３が、（Ｓ２０３）で選択された構成ブロックと共通のサイズの抽出領域ＡＲ（図６、図７参照）を抽出する。ここでは、まず抽出領域ＡＲを、縦方向の中心が、（Ｓ２０３）で選択された構成ブロックの中心から延びる第１エピポーラ線ＥＰ１上に位置し、横方向の中心がｉ列目となるように移動させる。そしてこの状態で、抽出領域ＡＲの端縁が、図７中、仮想線で示すように、画素の途中に位置するときは、第１視差情報取得部２３は、画素の端縁と一致するように上下方向に抽出領域ＡＲを最低限の長さだけ移動させる。
　次いで、（Ｓ３０３）において、第１視差情報取得部２３は、（Ｓ２０３）で選択された構成ブロックと（Ｓ３０２）で抽出した抽出領域ＡＲとの類似度を算出する。ここでは、類似度として例えば、ＮＣＣ（Normalized Cross Correlation）が算出される。また、第１視差情報取得部２３は、ｉに１を加算する。
　次いで、（Ｓ３０４）において、第１視差情報取得部２３は、ｉが所定値であるか否かを判定する。所定値は、例えば入力画像の横方向の全画素数よりも１大きい値に設定される。第１視差情報取得部２３は、ｉが所定値である場合には、（Ｓ３０５）の処理に進む一方、ｉが所定値でない場合には、（Ｓ３０２）の処理に戻る。
　（Ｓ３０５）では、ｉが初期値から所定値に至るまでに（Ｓ３０３）で類似度が算出された抽出領域ＡＲのうち、最も類似度が大きい抽出領域ＡＲを対応ブロックとして特定する。そして、入力画像における対応ブロックの位置と、基準画像における構成ブロックの位置との距離である視差を算出し、視差の算出処理が終了する。
　なお、第２視差情報取得部２４は、（Ｓ１０２）で取得された第１画像を基準画像、（Ｓ１０３）で取得された第３画像を入力画像として、図１０のフローチャートの処理を同様に実行することにより、第２視差情報を取得する。かかる場合、第２エピポーラ線ＥＰ２は水平方向に延びるので、（Ｓ２０２）において、構成ブロックのサイズは常に一定に設定される。構成ブロックの横方向及び縦方向の画素数は、例えば３画素に設定される。また、（Ｓ３０２）で第２視差情報取得部２４が抽出する抽出領域ＡＲは、構成ブロックと同じ行に位置し、横方向の中心がｉ列目となる領域である。
　したがって、本実施形態１によれば、第１固体撮像素子１４の出力に基づいて、第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１に基づく第１画像を取得するとともに、第２固体撮像素子１７の出力に基づいて、第１の第２レンズ側透光部１６ｃを通過した被写体Ｏからの光Ｌ２に基づく第２画像と、第２の第２レンズ側透光部１６ｄを通過した被写体Ｏからの光Ｌ３に基づく第３画像とを取得できる。したがって、三角形状をなす３つの地点から撮影された第１画像、第２画像、及び第３画像を取得するために、固体撮像素子を３つ設けなくてもよいので、三次元計測装置１を小型化するとともに、コストを削減できる。
　また、本実施形態１によれば、第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとを真円形としたので、楕円形とした場合に比べ、被写界深度を深くし、画像のボケを抑制することにより、得られる距離情報の精度を高められる。
　また、サブレンズ１８を、第１方向において、第２固体撮像素子１７の画素毎に設けたので、より少なく設けた場合よりも、第２画像及び第３画像の第１方向の解像度を高められる。
　（実施形態２）
　図１２は、本開示の実施形態２に係る三次元計測装置１を示す。本実施形態２では、第１レンズ側遮蔽部１３が、液晶シャッターで構成されている。また、信号処理部２０が、第１レンズ側サイズ調整部としての液晶シャッター制御部５１をさらに備えている。また、フィルタ情報生成部２６が、前記均一光照射状態で第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値をメモリ４０に記憶させる。液晶シャッター制御部５２は、第１固体撮像素子１４及び第２固体撮像素子１７によって出力されてメモリ４０に記憶された輝度値に基づいて、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさを調整する。例えば、液晶シャッター制御部５１は、均一光照射状態で第１レンズ側透光部１３ｃを通過した光Ｌ１に基づく画素の輝度値の平均と、均一光照射状態で第１又は第２の第２レンズ側透光部１６ｃ，１６ｄを通過した光Ｌ２，Ｌ３に基づく画素の輝度値の平均とが等しくなるように、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさを調整する。第１レンズ側透光部１３ｃの大きさを大きくすることにより、第１固体撮像素子１４によって出力される全画素の輝度値の平均を大きくできる。本実施形態２では、信号処理部２０が、第１シェーディング補正部２１ａ、第２シェーディング補正部２２ｂ、及び第３シェーディング補正部２２ｃを備えていない。第１画像取得部２１は、第１固体撮像素子１４によって出力された複数の画素の輝度値を、第１画像として取得する。
　その他の構成及び動作は、実施形態１と同じであるので、同一の構成には同じ符号を付して、その詳細な説明を省略する。
　（実施形態２の変形例）
　上記実施形態２では、第１レンズ側遮蔽部１３だけを液晶シャッターで構成したが、第２レンズ側遮蔽部１６だけを液晶シャッターで構成してもよい。そして、液晶シャッター制御部５１が、第１固体撮像素子１４及び第２固体撮像素子１７によって出力されてメモリ４０に記憶された輝度値に基づいて、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの少なくとも一方の大きさを調整するようにしてもよい。つまり、液晶シャッター制御部５１が、第２レンズ側サイズ調整部を構成してもよい。また、第１レンズ側遮蔽部１３及び第２レンズ側遮蔽部１６の両方を液晶シャッターで構成し、液晶シャッター制御部５１が、メモリ４０に記憶された輝度値に基づいて、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさと、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの大きさとを調整するようにしてもよい。
　また、実施形態１では、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄを通過した光を第２固体撮像素子１７に共通のタイミングで受光させた。しかし、第２レンズ側遮蔽部１６を液晶シャッターで構成した場合には、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの一方だけを第２レンズ側遮蔽部１６に形成した状態で、第２固体撮像素子１７に撮像をさせ、その後、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの他方だけを第２レンズ側遮蔽部１６に形成した状態で、第２固体撮像素子１７に撮像をさせることにより、第２画像及び第３画像を取得してもよい。
　（実施形態３）
　図１３は、実施形態３に係る三次元計測装置１を示す。本実施形態３では、第１レンズ側遮蔽部１３が、液晶シャッターで構成されている。また、信号処理部２０が、第１レンズ側透光部１３ｃを前記第２方向に移動させる位置調整部としての液晶シャッター制御部５２をさらに備えている。液晶シャッター制御部５２は、第１レンズ側透光部１３ｃを、第２の第２レンズ側透光部１６ｄと第２方向（上下方向）に同じ図２に示す第１位置と、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのいずれとも第２方向（上下方向）に異なる図１４に示す第２位置とに移動させることができる。
　また、距離情報取得部２５の視差情報合成部２５ａが、第１レンズ側透光部１３ｃを第２方向に異なる複数種類の位置に配置した状態での撮影により取得した複数の合成視差情報をさらに合成できる。例えば、視差情報合成部２５ａは、第１レンズ側透光部１３ｃを前記第１位置に配置した状態での撮影により取得した合成視差情報を、第１レンズ側透光部１３ｃを前記第２位置に配置した状態での撮影により取得した合成視差情報で補完できる。
　その他の構成及び動作は、実施形態１と同じであるので、同一の構成には同じ符号を付して、その詳細な説明を省略する。
　したがって、本実施形態３によれば、被写体Ｏと撮像装置１０との距離に応じた情報を、第１画像の全ての画素について、より確実に取得できる。
　（実施形態３の変形例）
　上記実施形態３において、液晶シャッター制御部５２が、第１レンズ側透光部１３ｃを第１方向に移動させるようにしてもよい。また、第１レンズ側遮蔽部１３を実施形態１のようにガラス板１３ａ及び塗膜１３ｂで構成し、図１５に示すように、第１レンズ側遮蔽部１３を自動又は手動でｘ方向に回転させることにより、第１レンズ側透光部１３ｃを第１方向及び第２方向に移動させる回転機構を設けてもよい。
　これらの変形例によれば、第１レンズ側透光部１３ｃを第１方向に移動させることにより、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔を変更し、距離分解能を調整することができる。以下の式２において、構成ブロックに写った被写体Ｏと撮像装置１０との距離をｚ、視差をｄ、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔をｂ、焦点距離をｆとする。
　Δｚ＝ｚ２Δｄ／（ｆｂ＋ｚΔｄ）≒ｚ２Δｄ／ｆｂ　・・・（式２）
　式２より、ｂ、すなわち第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔を長くすることにより、距離分解能を向上できることがわかる。ｂ、すなわち第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔は、例えば、１０～３０ｃｍに設定される。
　（その他の実施形態）
　上記実施形態１～３及びそれらの変形例では、第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとを真円形としたが、楕円形としてもよい。
　上記実施形態１～３及びそれらの変形例では、サブレンズ１８を、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第１方向において１画素分、第２方向において２画素分に相当するように配設した。しかし、サブレンズ１８のレイアウトパターンは、これに限られない。例えば、サブレンズ１８を、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第１方向において２画素分、第２方向において２画素分に相当するように配設してもよい。
　また、上記実施形態１～３及びそれらの変形例では、（Ｓ３０３）において、類似度を算出したが、ＳＡＤ（sum of absolute differences）、ＳＳＤ（sum of square differences）等の相違度や、他の評価値を算出してもよい。（Ｓ３０３）において相違度を算出した場合には、（Ｓ３０５）において、最も相違度が小さい抽出領域ＡＲを対応ブロックとして特定すればよい。
　また、上記実施形態１～３及びそれらの変形例では、第１視差情報、第２視差情報、及び距離情報を画像情報としたが、画像情報でなくてもよい。また、第１視差情報及び第２視差情報は、第１画像を構成する１つの構成部分の位置と、第２画像又は第３画像におけるその対応ブロックの位置との距離を示す情報であってもよい。距離情報も、第１画像を構成する１つの構成部分に映った被写体Ｏと撮像装置１０との距離を示すものであってもよい。
　本開示は、三次元計測装置を小型化するとともに、コストを削減できる撮像装置及びそれを備えた三次元計測装置として有用である。
１　　　三次元計測装置
１０　　　撮像装置
１２　　　第１撮影レンズ 
１３　　　第１レンズ側遮蔽部 
１３ｃ　　第１レンズ側透光部
１４　　　第１固体撮像素子 
１５　　　第２撮影レンズ
１６　　　第２レンズ側遮蔽部
１６ｃ　　　第１の第２レンズ側透光部
１６ｄ　　　第２の第２レンズ側透光部
１７　　　第２固体撮像素子
１８　　　サブレンズ 
２１　　　第１画像取得部 
２２　　　第２画像取得部 
２３　　　第１視差情報取得部 
２４　　　第２視差情報取得部 
２５　　　距離情報取得部 
ＥＰ１　　　第１エピポーラ線
ＥＰ２　　　第２エピポーラ線
Ｏ　　　被写体
Ｌ１、Ｌ２、Ｌ３　　　光

Claims (6)

  1. 　被写体からの光を通過させる第１撮影レンズと、
    　前記第１撮影レンズを通過した光を受光する第１固体撮像素子と、
    　前記第１撮影レンズから第１方向に間隔を空けて設けられ、前記被写体からの光を通過させる第２撮影レンズと、
    　前記第１方向に対して垂直な第２方向に異なる位置に第１及び第２の第２レンズ側透光部が形成され、前記被写体から前記第２撮影レンズに向かう光の一部を前記第１及び第２の第２レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第２レンズ側遮蔽部と、
    　前記第２撮影レンズを通過した前記被写体からの光を受光する第２固体撮像素子とを備えた撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記第２レンズ側遮蔽部の第１及び第２の第２レンズ側透光部のうちの少なくとも一方の大きさを調整する第２レンズ側サイズ調整部をさらに備えていることを特徴とする撮像装置。
  3. 　請求項１又は２に記載の撮像装置において、
    　第１レンズ側透光部が形成され、前記被写体から前記第１撮影レンズに向かう光の一部を前記第１レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第１レンズ側遮蔽部と、
    　前記第１レンズ側遮蔽部の第１レンズ側透光部の大きさを調整する第１レンズ側サイズ調整部とをさらに備えていることを特徴とする撮像装置。
  4. 　請求項１～３のいずれか１項に記載の撮像装置において、
    　前記第２撮影レンズと前記第２固体撮像素子との間に介設され、かつ前記第２撮影レンズの焦点に位置するサブレンズをさらに備えていることを特徴とする撮像装置。
  5. 　請求項１～４のいずれか１項に記載の撮像装置において、
    　第１レンズ側透光部が形成され、前記被写体から前記第１撮影レンズに向かう光の一部を前記第１レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第１レンズ側遮蔽部と、
    　前記第１レンズ側遮蔽部の第１レンズ側透光部を前記第２方向に移動させる位置調整部とをさらに備えていることを特徴とする撮像装置。
  6. 　請求項１～５のいずれか１項に記載の撮像装置と、
    　前記第１固体撮像素子によって出力された複数の画素の輝度値に基づいて、第１画像を取得する第１画像取得部と、
    　前記第２固体撮像素子によって出力された複数の画素の輝度値に基づいて、前記第１の第２レンズ側透光部を通過した光に基づく第２画像と、前記第２の第２レンズ側透光部を通過した光に基づく第３画像とを取得する第２画像取得部と、
    　前記第１画像を構成する少なくとも１つの構成部分について、それぞれ、当該構成部分に対応する対応部分を、前記第２画像のエピポーラ線上で探索し、前記第１画像における前記少なくとも１つの構成部分の位置と、前記第２画像におけるそれぞれの対応部分の位置との距離を示す第１視差情報を取得する第１視差情報取得部と、
    　前記第１画像を構成する少なくとも１つの構成部分について、それぞれ、当該構成部分に対応する対応部分を、前記第３画像のエピポーラ線上で探索し、当該第１画像における前記少なくとも１つの構成部分の位置と、前記第３画像におけるそれぞれの対応部分の位置との距離を示す第２視差情報を取得する第２視差情報取得部と、
    　前記第１視差情報及び前記第２視差情報に基づいて、前記第１画像を構成する前記少なくとも１つの構成部分に写った被写体と前記撮像装置との距離を示す距離情報を取得する距離情報取得部とを備えた三次元計測装置。
PCT/JP2023/011883 2022-03-30 2023-03-24 撮像装置及びそれを備えた三次元計測装置 WO2023190188A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-057129 2022-03-30
JP2022057129 2022-03-30

Publications (1)

Publication Number Publication Date
WO2023190188A1 true WO2023190188A1 (ja) 2023-10-05

Family

ID=88201490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011883 WO2023190188A1 (ja) 2022-03-30 2023-03-24 撮像装置及びそれを備えた三次元計測装置

Country Status (1)

Country Link
WO (1) WO2023190188A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346130A (ja) * 2002-05-22 2003-12-05 Saibuaasu:Kk ３次元情報処理装置および３次元情報処理方法
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346130A (ja) * 2002-05-22 2003-12-05 Saibuaasu:Kk ３次元情報処理装置および３次元情報処理方法
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications

Similar Documents

Publication Publication Date Title
US10043290B2 (en) Image processing to enhance distance calculation accuracy
JP3983573B2 (ja) ステレオ画像特性検査システム
CN101971072B (zh) 图像传感器和焦点检测装置
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
CN101233440B (zh) 利用滚动快门的自适应光平面形成
US9414045B2 (en) Stereo camera
EP3480648B1 (en) Adaptive three-dimensional imaging system
US9633441B2 (en) Systems and methods for obtaining image depth information
US20160353006A1 (en) Adaptive autofocusing system
JP2011171858A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
JP2012215785A (ja) 固体撮像素子及び撮像装置
US20130100249A1 (en) Stereo camera device
CN107241592B (zh) 一种成像设备及成像方法
US20150035984A1 (en) In-Vehicle Image Processing Device and Method
CN115150561B (zh) 一种高动态成像系统和方法
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP6082556B2 (ja) 撮像装置
CN112866675A (zh) 深度图生成方法和装置、电子设备、计算机可读存储介质
WO2023190188A1 (ja) 撮像装置及びそれを備えた三次元計測装置
CN111272101A (zh) 一种四维高光谱深度成像系统
CN110708532A (zh) 一种普适光场单元图像生成方法和系统
WO2014073590A1 (ja) ３次元計測装置および３次元計測方法
US20140354875A1 (en) Image capturing apparatus and control method therefor
JP3564383B2 (ja) ３次元動画入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780198

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024512374

Country of ref document: JP