WO2016047220A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2016047220A1
WO2016047220A1 PCT/JP2015/067350 JP2015067350W WO2016047220A1 WO 2016047220 A1 WO2016047220 A1 WO 2016047220A1 JP 2015067350 W JP2015067350 W JP 2015067350W WO 2016047220 A1 WO2016047220 A1 WO 2016047220A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
image
imaging
subject
unit
Prior art date
Application number
PCT/JP2015/067350
Other languages
English (en)
French (fr)
Inventor
松尾　順向
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016047220A1 publication Critical patent/WO2016047220A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an imaging apparatus and an imaging method using a stereo camera.
  • a stereo three-dimensional measuring apparatus that measures the distance to an object, the shape of the object, and the like using a plurality of cameras has been put into practical use.
  • a stereo three-dimensional measurement method two cameras (for example, left and right) are spaced apart to simultaneously photograph an object, and a pair of corresponding pixels in the left and right images from the obtained pair of left and right images, that is, correspondence
  • This is a measurement method in which a point is searched, the distance between corresponding points in the left and right images is determined in the left-right direction, that is, a parallax is obtained, and the distance to the object is calculated from the parallax using the principle of triangulation.
  • the left and right images are focused images.
  • the distance range in focus is limited depending on the conditions of the optical system used in the camera. From the image that is not in focus, the corresponding points cannot be searched accurately, and accurate distance measurement cannot be expected. For this reason, there is a problem that the range in which the distance can be accurately measured is limited by the optical conditions of the camera.
  • Patent Documents 1 to 3 are known.
  • the stereo image processing apparatus disclosed in Patent Document 1 describes a method for enlarging a measurement distance by enlarging a substantial parallax search range by reducing and changing an image magnification in order to widen a distance measurement range. .
  • the three-dimensional image input apparatus focuses on the first object distance, and the grayscale image has the first distance detection setting including the first distance accuracy so as to narrow the first object distance.
  • a first multiple-eye two-dimensional image input device that outputs a distance image, and a second distance detection that focuses on a second object distance that is farther than the first object distance and includes a second distance accuracy.
  • a second multi-eye two-dimensional image input device that outputs a set grayscale image and a distance image, a distance range that is a lower limit value of the first distance accuracy, and an upper limit value of the second distance accuracy; At least one optical axis of the first multiple-eye two-dimensional image input device and the second multiple-eye two-dimensional image input device. To align with at least one optical axis and to have the same line of sight It has been made.
  • the distance calculation device disclosed in Patent Document 3 describes a method of using a distance image obtained from a monocular camera.
  • the conventional imaging device has the following problems.
  • the measurement distance accuracy is lowered because it is substantially equivalent to a coarse pixel pitch of the camera.
  • the corresponding point search accuracy decreases, and the distance measurement error increases. For this reason, it is not possible to cope with increasing the measurement distance while maintaining the measurement accuracy only by reducing the magnification.
  • the 3D image input device disclosed in Patent Document 2 generates a distance image for each focus distance by changing the focus distance, and generates a composite image.
  • the reliability of the distance of the distance image that is the source of the composition is not considered, and the accuracy of the image after the composition is not necessarily good.
  • image evaluation is performed by calculating the blur amount, and the blur amount calculation is determined for the entire image.
  • the distance accuracy can be obtained even if the distance information from the stereo camera should be taken in the part where the blur is not generated.
  • distance information from an image obtained by an inferior monocular camera is adopted in all images.
  • the present invention has been made in view of the above-described conventional problems, and an object of the present invention is to provide an imaging apparatus and an imaging method capable of accurately obtaining wide distance information in a measurement distance range from a near subject to a far subject. Is to provide.
  • an imaging device captures the same portion of a subject between an image capturing unit that captures a subject from a plurality of different viewpoints and generates an image.
  • a corresponding image region determination unit that determines a corresponding image region that is a group of image regions, an evaluation unit that evaluates the determination accuracy of the corresponding image region for each of the corresponding image regions, and an imaging unit based on parallax for each of the corresponding image regions
  • a distance image generation unit that determines a distance from a subject to a subject and generates a distance image, the plurality of distance images generated by photographing the subject at each of a plurality of types of focus distances and the above determination
  • a final distance image generation unit that generates a final distance image based on the accuracy is provided.
  • an imaging method captures an image of a subject from a plurality of different viewpoints and generates an image, and images the same portion of the subject between the images.
  • Corresponding image region determination step for determining a corresponding image region that is a group of image regions, an evaluation step for evaluating the determination accuracy of the corresponding image region for each of the corresponding image regions, and an imaging unit based on parallax for each of the corresponding image regions
  • a final distance image generating step of generating a final distance image based on the above.
  • FIG. 9 is a diagram illustrating a method for setting a focus distance in the imaging apparatus, and is a diagram illustrating a method for obtaining a near point and a far point with respect to a subject distance. It is a block diagram which shows the imaging device in Embodiment 3 of this invention, Comprising: It is a block diagram which shows the structure of an imaging device. It is a flowchart which shows the processing operation in the said imaging device.
  • FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus 1A according to the present embodiment.
  • the imaging apparatus 1A is connected to a stereo camera unit 2 as an imaging unit including a right camera 2a and a left camera 2b, and the right camera 2a and the left camera 2b.
  • the right actuator unit 3a and the left actuator unit 3b as the focus position adjusting unit, the right camera 2a and the left camera 2b, the processor 4 connected to the right actuator unit 3a and the left actuator unit 3b, and the processor 4
  • the memory 5 is provided.
  • the right camera 2a and the left camera 2b are image pickup units for picking up an image of a subject, and are a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal-Oxide ⁇ ⁇ Semiconductor) camera with a lens. It can be either a color camera or a monochrome camera. In this embodiment, a monochrome camera that requires a small amount of data is used.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide ⁇ ⁇ Semiconductor
  • the right actuator unit 3a and the left actuator unit 3b are an actuator and a driver that change the lens focus positions of the right camera 2a and the left camera 2b, respectively.
  • the actuator is composed of an electromagnetic drive motor
  • the driver is composed of a current control circuit.
  • the focus position is determined by an instruction from the processor 4.
  • the processor 4 executes operation control of the right camera 2a and the left camera 2b, and the right actuator unit 3a and the left actuator unit 3b.
  • the processor 4 also includes a three-dimensional measurement processing unit 10 that performs a three-dimensional measurement process on the images obtained from the right camera 2a and the left camera 2b, a final distance image generation processing unit 20 that performs a final distance image generation process, and the like. And have. The processes of the three-dimensional measurement processing unit 10 and the final distance image generation processing unit 20 will be described later.
  • the memory 5 stores programs necessary for the processor 4 to execute the above-described three-dimensional measurement processing and final distance image generation processing, temporary data storage, calibration data for the right camera 2a and the left camera 2b, focus distance, and the like. Store the data.
  • FIG. 1 is a block diagram showing a configuration of a three-dimensional measurement processing unit 10 in the processor 4 of the present embodiment.
  • the captured image captured by the right camera 2a and the left camera 2b is subjected to a three-dimensional measurement process by the three-dimensional measurement processing unit 10 of the processor 4.
  • the three-dimensional measurement processing unit 10 that executes the three-dimensional measurement process includes a parallelization processing unit 11, a prefilter processing unit 12, a corresponding point search processing unit 13 as a search unit, and a distance.
  • An image generation processing unit 14, an evaluation value generation unit 15 as a search unit, and a distance image generation processing unit 16 with an evaluation value as a distance image generation unit are provided.
  • stereo parallelization processing is executed by the parallelization processing unit 11 on the captured images taken by the right camera 2 a and the left camera 2 b.
  • the stereo parallelization processing in each image taken by a plurality of cameras, for example, when a wide-angle lens or the like is used, the distortion increases toward the outside of the image. Correcting the distortion is called parallelization processing.
  • the stereo parallelization process is obtained by camera calibration performed in advance. Therefore, based on the calibration data 18 stored in the memory 5, stereo parallelization processing is performed on the captured image of the right camera 2a and the captured image of the left camera 2b.
  • the calibration data 18 is data for correcting distortion and angular deviation of the lenses of the two right cameras 2a and the left camera 2b in advance before performing measurement.
  • prefiltering is performed by the prefilter processing unit 12 on the stereo-parallelized image (hereinafter referred to as “parallelized image”), and then the corresponding point search processing unit 13 performs corresponding points. A search is performed.
  • the prefilter processing unit 12 in order to absorb the luminance difference between the left and right images, the local luminance level fluctuation in the image, and the like, differentiation processing is performed as a prefilter and edge enhancement processing is performed.
  • a Sobel filter or a Laplacian filter is used as the prefilter.
  • FIG. 3 is an explanatory diagram showing a method of executing corresponding point search processing on two parallelized images.
  • 4A is an explanatory diagram showing each pixel on the parallelized image of the left camera 2b
  • FIG. 4B shows the relationship between the SAD value obtained for one target pixel and the parallax. It is a graph which shows a curve.
  • each pixel on the parallelized image of the left camera 2b is searched for a corresponding pixel from the parallelized image of the right camera 2a. Shall.
  • the corresponding point search process is first called a square-shaped “correlation window” of p ⁇ p (p is an integer) pixels in the vertical and horizontal directions centering on the target pixel of the parallelized image of the left camera 2b. Set the area. Subsequently, a correlation window of the same size is set in the same vertical pixel row in the parallelized image of the right camera 2a, and the pixels included in the correlation window of both images are slid in the horizontal direction of the pixel row. An evaluation value as a determination accuracy indicating the degree of correlation between the two is calculated. As the evaluation value indicating the degree of correlation, for example, an amount that can be calculated by pixel calculation such as SAD (Sum of Absolute Differrence) is used. In SAD represented by the following formula, the smaller the value, the higher the degree of correlation.
  • SAD Sud of Absolute Differrence
  • the center pixel position of the correlation window of the parallelized image of the right camera 2a in the state where the degree of correlation is highest (the SAD value is the smallest) when searching is the target pixel of the parallelized image of the left camera 2b Specify a corresponding point for.
  • the position xk (k is an integer) is the corresponding position.
  • the parallax is defined as the distance between the target pixel of the parallelized image of the left camera 2b and the corresponding pixel of the parallelized image of the right camera 2a expressed in units of pixels in the horizontal direction. That is, as shown in (b) of FIG. 4, the parallax is represented by “xi ⁇ xk (i and k are integers)”.
  • a distance image generation process by the distance image generation processing unit 14 and an evaluation value generation process by the evaluation value generation unit 15 are performed.
  • the three-dimensional coordinates (X, Y, Z) of the object are calculated from the obtained parallax value by the principle of triangulation.
  • the three-dimensional coordinates (X, Y, Z) are a distance X in the horizontal direction, a distance Y in the vertical direction, and a distance in the depth direction from the center of the imaging surface of the left camera 2b as a reference.
  • a distance image can be generated by obtaining the distance value Z for each pixel of the parallelized image of the left camera 2b, which is the reference, and using the pixel value of that pixel.
  • FIG. 5 is a flowchart showing the processing operation in the imaging apparatus 1A of the present embodiment.
  • the lens positions of the right camera 2a and the left camera 2b are controlled by an actuator so as to focus at the first focus distance, and the subject is imaged (S1). ).
  • a three-dimensional measurement process is executed from the obtained image (S2).
  • an SAD that is an evaluation value is calculated for each pixel, and this is also given as a value unique to the pixel. That is, a distance value and an evaluation value are given for one pixel. This is a distance image with a first evaluation value (S3, S4).
  • the lens positions of the right camera 2a and the left camera 2b are controlled by an actuator so as to focus at the second focus distance, and the subject is imaged (S5).
  • a three-dimensional measurement process is executed from the obtained image (S6).
  • an SAD that is an evaluation value is calculated for each pixel, which is also given as a value unique to the pixel. That is, a distance value and an evaluation value are given for one pixel. This is a distance image with a second evaluation value (S7, S8).
  • FIG. 6 is a block diagram illustrating a configuration of the final distance image generation processing unit 20.
  • the final distance image generation processing unit 20 includes an evaluation value comparison unit 22 and a final distance image generation unit 23 as evaluation units.
  • the difference between the first evaluation value-added distance image 17a and the second evaluation value-added distance image 17b shown in FIG. 6 is that the focused distance is different, and basically the same subject is shown. However, since the focus distance is different, the same distance value is not always calculated for the same subject.
  • the distance image 17a with the first evaluation value is focused before and after the first focus distance, and the distance value in the focused range is considered to have high accuracy and reliability of the corresponding point search process.
  • the distance value in the out-of-focus portion is considered to have low accuracy and reliability of the corresponding point search process.
  • the evaluation value comparison unit 22 compares the first evaluation value 21a of the first evaluation value-added distance image 17a with the second evaluation value 21b of the second evaluation value-added distance image 17b, and is more accurate and reliable.
  • the distance value considered to be high is obtained, and the final distance image generation unit 23 sets the distance value considered to be higher in accuracy and reliability as the distance value of the final distance image.
  • the first evaluation value-added distance image 17a and the second evaluation value-added distance image 17b are compared for evaluation values of pixels located at the same plane coordinate (xy coordinate) (S9).
  • the smaller evaluation value is considered to have higher accuracy and reliability of the distance value, it is determined as the distance value for the pixel (S10).
  • a final distance image can be obtained (S11).
  • the final distance image obtained in this manner is a distance image generated by selecting distance information with high reliability and accuracy from two distance images captured at the first focus distance and the second focus distance. is there. For this reason, the part which can be measured with a sufficient precision as a whole increases rather than the distance image obtained, for example only by the 1st focus distance or only the 2nd focus distance. That is, it can be said to be a distance image in which the measurement accuracy is good and the measurement distance range is expanded.
  • the imaging apparatus 1A includes the plurality of right cameras 32a and left cameras 32b that capture an image of the subject, the right actuator unit 3a that adjusts the focus distances of the right cameras 32a and left cameras 32b, and the left The distance from the right camera 2a and the left camera 2b to the subject from the actuator unit 3b, the memory 5 that stores a plurality of focus distances in advance, and a plurality of images captured by the right camera 2a and the left camera 2b
  • the distance image generation processing unit 14 that generates a distance image by calculating the distance image, the distance image generation processing unit 16 with an evaluation value that adds an evaluation value to the generated distance image, and the right camera 2a and the left camera 2b From a plurality of first evaluation value-added distance images 17a and second evaluation value-added distance images 17b generated by imaging at a plurality of preset focus distances, a distance And a final distance image generation processing unit 20 to generate a final distance image based on the value and the evaluation value.
  • the evaluation value is added to each pixel of the distance image using an amount calculated at the time of calculation processing by the distance image generation processing unit 14 that generates the distance image.
  • the final distance image generation processing unit 20 generates a final distance image based on the distance value and the evaluation value for each of the plurality of first evaluation value-added distance images 17a and second evaluation value-added distance images 17b. To do.
  • the plurality of focus distances that are set and stored in advance are set so as to have a partially common distance range in the distance range that includes the near point distance and the far point distance of the depth of field at that distance.
  • an evaluation value a correlation value obtained as a result of corresponding point search processing executed when calculating a distance from a plurality of captured images is used.
  • the amount obtained during the three-dimensional processing is used as the evaluation value, so that no separate processing is required for generating the evaluation value, the system can be simplified and the processing speed can be increased, and highly reliable image information can be obtained.
  • Distance information can be obtained from
  • the stereo camera unit 2 serving as an imaging unit that shoots a subject from a plurality of different viewpoints and generates an image, and the same portion of the subject between the images.
  • Evaluation value comparison as a three-dimensional measurement processing unit 10 as a corresponding image region determination unit that determines a corresponding image region that is a group of captured image regions, and an evaluation unit that evaluates the determination accuracy of the corresponding image region for each corresponding image region
  • a final distance image generation processing unit 20 is provided as a final distance image generation unit that generates a final distance image based on a plurality of distance images generated by photographing a subject at each of a plurality of types of focus distances and determination accuracy.
  • the evaluation value comparison unit 22 as an evaluation unit is provided only in the final distance image generation processing unit 20 and is not provided in the three-dimensional measurement processing unit 10.
  • the evaluation value is determined for each focus distance, and is in principle executed twice when determining a corresponding portion for each focus distance and when generating a final distance image. However, it can be executed only when the final distance image is generated as in the present embodiment.
  • an imaging apparatus has a limited distance range (depth of field) that can be focused. For example, when focusing on a nearby object, a far object is not focused and blurring occurs. There is.
  • the imaging apparatus 1A of the present embodiment employs distance measurement by the stereo camera unit 2, and the three-dimensional measurement processing unit 10 is configured to process a plurality of images acquired by the right camera 32a and the left camera 32b. In the meantime, a corresponding image area which is a group of image areas obtained by imaging the same part of the subject is determined. At this time, the evaluation unit evaluates the determination accuracy of the corresponding image area for each corresponding image area. Then, the distance image generation processing unit 16 with an evaluation value determines the distance from the stereo camera unit 2 to the subject on the basis of the parallax for each corresponding image area, and generates a distance image.
  • the distance measurement by the stereo camera unit 2 determines the corresponding image area in which the same portion is captured in the captured images taken from different viewpoints, and performs the distance measurement based on the parallax of the corresponding image area.
  • the present embodiment includes a final distance image generation processing unit 20 that generates a final distance image based on a plurality of distance images generated by photographing a subject at each of a plurality of types of focus distances and determination accuracy. Yes.
  • the right camera 32a and the left camera 32b are used to photograph the subject with a plurality of types of focus distances, and a distance image is generated for each focus distance. Then, in the generation of each distance image, a corresponding image area with determination accuracy is obtained. As a result, it is possible to generate the final distance image with high distance accuracy by evaluating the determination accuracy of all the distance images and selecting and synthesizing the distance images with the highest determination accuracy of the corresponding image region.
  • this final distance image generation method a subject is photographed at each of a plurality of types of focus distances using the right camera 32a and the left camera 32b, regardless of whether the object is a near object or a distant object. As a result, since it can respond to all the focus positions, the imaging apparatus 1A having a wide measurement distance range can be realized.
  • the imaging apparatus 1A capable of accurately obtaining a wide distance information of a measurement distance range from a near subject to a far subject.
  • the final distance image generation processing unit 20 selects and synthesizes a distance image having the highest determination accuracy for each image region among the plurality of distance images, thereby combining the final distance. Generate as an image.
  • the three-dimensional measurement processing unit 10 serving as the corresponding image region determination unit determines the degree of similarity between the target image region of the subject in one image and the plurality of image regions in other images. Evaluation is performed, and an image area having the highest similarity in other images is determined as a corresponding image area of the target image area.
  • the determination accuracy is evaluated based on the degree of similarity between the target image region and the corresponding image region.
  • the degree of correlation which is a degree of similarity
  • the present invention is not necessarily limited to this, and for example, sharpness or the like can be used as the determination accuracy.
  • the evaluation value comparison unit 22 serving as an evaluation unit evaluates the degree of similarity between the corresponding image regions with the determination accuracy of the corresponding image region. To do.
  • the similarity of the corresponding image region having the highest similarity is used again when generating the final distance image. That is, the similarity, which is the determination accuracy used for obtaining the corresponding image area, is used as it is when the final distance image is generated. In this respect, it is possible to prevent complication of processing of the imaging apparatus 1A.
  • the evaluation value comparison unit 22 as an evaluation unit evaluates the degree of similarity between the corresponding image areas, and uses the degree of similarity as the determination accuracy of the corresponding image area.
  • the difference absolute value sum is used when evaluating the degree of similarity.
  • the similarity can be expressed as a numerical value called a sum of absolute differences (SAD value), and the similarity can be easily determined.
  • the stereo camera unit 2 includes focal positions of a plurality of right cameras 2a and left cameras 2b and a plurality of right cameras 2a and left cameras 2b that photograph a subject from a plurality of different viewpoints.
  • a right actuator part 3a and a left actuator part 3b are provided with a right actuator part 3a and a left actuator part 3b as focus position adjusting parts for changing the focus distance to a plurality of types of focus distances.
  • the stereo camera unit 2 can generate a distance image at each focus distance while changing to a plurality of types of focus distances.
  • the imaging method includes an imaging process (S1, S5) in which a subject is photographed from a plurality of different viewpoints to generate an image, and an image region in which the same portion of the subject is captured between each image.
  • a corresponding image region determination step (S9) for determining a corresponding image region as a group
  • an evaluation step (S10) for evaluating the determination accuracy of the corresponding image region for each corresponding image region, and a stereo based on the parallax for each corresponding image region
  • a distance image generation step (S2 to S4, S6 to S8) for determining the distance from the camera unit 2 to the subject and generating a distance image.
  • a final distance image generation step (S9 to S11) is further included for generating a final distance image based on a plurality of distance images generated by photographing a subject at each of a plurality of types of focus distances and determination accuracy.
  • the image pickup apparatus 1A of the first embodiment it is assumed that shooting is performed at two types of focus distances, ie, the first focus distance and the second focus distance, but this need not be limited to two types.
  • three types of distance images with evaluation values are generated: a distance image with a first evaluation value, a distance image with a second evaluation value, and a distance image with a third evaluation value.
  • the evaluation values of the pixels located at the same plane coordinates (xy coordinates) in each of the three types of distance images with evaluation values are compared, and the accuracy / reliability of the distance value having the smallest evaluation value is compared. It is considered that the nature is high. For this reason, what is necessary is just to determine with the distance value with respect to the pixel. By executing this process for all pixels, a final distance image can be obtained.
  • FIG. 7 is an explanatory diagram illustrating a focus distance setting method according to the present embodiment.
  • FIG. 8 shows a focus distance setting method according to the present embodiment, and is an explanatory diagram showing a method for obtaining the near point Sn1 and the far point Sf1 with respect to the subject distance s1.
  • the distance range in focus within the allowable circle of confusion with respect to the subject distance s is between the near point and the far point.
  • the near point is a position closer to the camera by the distance from the distance s to the near point distance: Dn
  • the far point is a position far from the camera by the distance from the distance s to the far point distance: Df.
  • the first focus distance is the subject distance s1
  • the near point Sn1 and the far point Sf1 with respect to the subject distance s1 are obtained as shown in FIG.
  • the second focus distance is the subject distance s2
  • a near point Sn2 and a far point Sf2 with respect to the subject distance s2 are obtained.
  • the first focus distance and the second focus distance are set so that Sf1> Sn2
  • the first captured image at the first focus distance and the second captured image at the second focus distance are obtained.
  • the subject existing between the near point Sn1 and the far point Sf2 is in focus in either the first captured image or the second captured image.
  • the meaning of being in focus means that the amount of blur is less than or equal to the permissible circle of confusion. If the size of one pixel of the image sensor is set as the permissible circle of confusion, the blur is less than or equal to one pixel. It will be.
  • the SAD value is very small because the high-correlation is shown in the in-focus part, and the distance information obtained based on the obtained parallax is in focus. It can be said that the accuracy is higher than the part without.
  • the obtained distance image with the first evaluation value and the second distance image are obtained.
  • a smaller evaluation value is assigned to a pixel that is in focus. The reason is that, as already described, the SAD value in the corresponding point search process becomes small. As a result, the accurate distance range obtained in the final distance image is between Sn1 and Sf2.
  • the accurate distance range obtained only by the first focus distance is only between Sn1 and Sf1, but according to this method, the accurate distance range is expanded. That is, the distance range that can be accurately measured can be expanded.
  • the overlap portion that is O is in focus at both the first focus distance and the second focus distance. At this time, it is considered that both evaluation values are smaller than the out-of-focus portion, and either value may be taken. In addition, it is desirable to set the first focus distance and the second focus distance so that the range of the overlap portion is as small as possible, and this can widen the distance measurement range.
  • Embodiment 3 The following will describe still another embodiment of the present invention with reference to FIGS.
  • the configurations other than those described in the present embodiment are the same as those in the first embodiment and the second embodiment.
  • members having the same functions as those shown in the drawings of Embodiment 1 and Embodiment 2 are given the same reference numerals, and explanation thereof is omitted.
  • the imaging apparatus 1A of the first embodiment there is only one set of stereo camera unit 2.
  • the imaging apparatus 1B according to the present embodiment is different in that two sets of stereo camera units are provided.
  • FIG. 9 is a block diagram illustrating a configuration of the imaging apparatus 1B according to the present embodiment.
  • images taken at the first focus distance and the second focus distance are not taken at the same time. This is because, since there is only one set of stereo camera unit 2, it takes a finite time to change the focus distance. For this reason, when there is only one set of the stereo camera unit 2, the moving subject cannot be accurately handled.
  • a first stereo camera unit 32 for first focus distance imaging and a second stereo camera unit 42 for second focus distance imaging are prepared.
  • imaging can be performed at the same time.
  • the moving subject can also be handled.
  • the first stereo camera unit 32 includes a right camera 32a and a left camera 32b.
  • a right actuator section 33a and a left actuator section 33b which are actuators and drivers that change the lens focus positions of the right camera 32a and the left camera 32b, are provided.
  • the second stereo camera unit 42 includes a right camera 42a and a left camera 42b.
  • a right actuator portion 43a and a left actuator portion 43b which are actuators and drivers that change the lens focus positions of the right camera 42a and the left camera 42b, are provided.
  • the above-described three-dimensional measurement process is executed from the images obtained from the first stereo camera unit 32 and the second stereo camera unit 42 (S21, S22). If a distance image with an evaluation value is generated, a final distance image can be obtained.
  • the measurement distance range can be expanded with high accuracy even for moving subjects.
  • the image pickup apparatus 1B includes a plurality of image pickup units including a plurality of first stereo camera units 32 and second stereo camera units 42 that pick up an image of a subject, and picks up images at different focus distances for each image pickup unit. Then, from the plurality of distance images with evaluation values generated from the images picked up by the plurality of image pickup units, a final distance image based on the distance value and evaluation value of each corresponding pixel of the distance image with each evaluation value The final distance image generation processing unit 20 is generated.
  • the imaging unit includes the right camera 32a and the left camera 32b as a plurality of imaging cameras that respectively shoot the subject from a plurality of different viewpoints at the first focus position.
  • a first stereo camera unit 32 as a first imaging camera group
  • a right camera 42a and a left camera 42b as a plurality of imaging cameras that respectively shoot a subject from a plurality of different viewpoints at a second focus position.
  • a second stereo camera unit 42 as a group of two imaging cameras.
  • the first stereo camera unit 32 and the second stereo camera unit 42 each photograph a subject from a plurality of different viewpoints at a plurality of types of focus distances. Generate multiple images.
  • a set of imaging cameras corresponding to each focus position is provided, and a set of imaging cameras corresponding to each focus position can capture an image.
  • the first stereo camera unit 32 and the second stereo camera unit 42 are simultaneously photographed, so that even when the subject is a moving object, it is instantaneously close. It is possible to accurately obtain a wide distance information of a measurement distance range from a subject to a far subject.
  • the imaging devices 1A and 1B capture the same part of the subject between the imaging unit (stereo camera unit 2) that captures the subject from a plurality of different viewpoints and generates images.
  • Corresponding image region determination unit three-dimensional measurement processing unit 10) that determines a corresponding image region that is a group of image regions, and an evaluation unit (evaluation value comparison unit 22) that evaluates the determination accuracy of the corresponding image region for each of the corresponding image regions.
  • a distance image generation unit distance image generation processing unit 16 with evaluation value
  • An image pickup apparatus that generates a final distance image based on a plurality of distance images generated by photographing a subject at each of a plurality of types of focus distances and the determination accuracy.
  • Distance image generation unit is characterized in that it further comprises a (final distance image generation processing unit 20).
  • the present invention includes a final distance image generation unit that generates a final distance image based on a plurality of distance images generated by photographing a subject at each of a plurality of types of focus distances and determination accuracy.
  • a subject is photographed with a plurality of types of focus distances using the imaging unit, and a distance image is generated for each focus distance. Then, in the generation of each distance image, a corresponding image area with determination accuracy is obtained. As a result, it is possible to generate the final distance image with high distance accuracy by evaluating the determination accuracy of all the distance images and selecting and synthesizing the distance images with the highest determination accuracy of the corresponding image region.
  • an imaging apparatus capable of accurately obtaining a wide distance information of a measurement distance range from a near subject to a far subject.
  • the final distance image generation unit (final distance image generation processing unit 20) performs determination for each corresponding image region between the plurality of distance images. A distance image with the highest accuracy is selected and combined to generate a final distance image.
  • the imaging apparatus 1A according to aspect 3 of the present invention is the imaging apparatus according to aspect 1 or 2, wherein the corresponding image region determination unit (three-dimensional measurement processing unit 10) includes a plurality of target image regions of a subject in one image and a plurality of images in other images. The degree of similarity with the image area is evaluated, and the image area with the highest similarity in the other image is determined as the corresponding image area of the target image area.
  • the target image region of the subject in one image is a concept that may be one target pixel or a target image region composed of a plurality of target pixels.
  • the determination accuracy is evaluated based on the degree of similarity between the target image region and the corresponding image region.
  • the similarity of the corresponding image region having the highest similarity is used again when generating the final distance image. That is, the similarity, which is the determination accuracy used for obtaining the corresponding image area, is used as it is when the final distance image is generated. In this respect, it is possible to prevent complication of processing of the imaging apparatus.
  • the evaluation unit evaluates the degree of similarity between the corresponding image regions
  • the degree of similarity is used as the determination accuracy of the corresponding image area.
  • the imaging apparatus 1A according to aspect 5 of the present invention preferably uses the sum of absolute differences when evaluating the degree of similarity in the imaging apparatus according to aspect 3.
  • the similarity can be represented by a numerical value called a sum of absolute differences (SAD value), and a similarity having a high similarity can be easily determined.
  • SAD value sum of absolute differences
  • the imaging apparatus 1A according to aspect 6 of the present invention is the imaging apparatus according to any one of aspects 1 to 5, wherein the imaging unit (stereo camera unit 2) captures the subject from a plurality of different viewpoints ( Focus position adjustment units (right actuator unit 3a and left actuator unit 3b) that change the focal positions of the right camera 2a and the left camera 2b) and the plurality of imaging cameras (the right camera 2a and the left camera 2b) to a plurality of types of focus distances. ).
  • the imaging unit stereo camera unit 2 captures the subject from a plurality of different viewpoints
  • Focus position adjustment units (right actuator unit 3a and left actuator unit 3b) that change the focal positions of the right camera 2a and the left camera 2b) and the plurality of imaging cameras (the right camera 2a and the left camera 2b) to a plurality of types of focus distances.
  • the imaging apparatus 1B according to Aspect 7 of the present invention is the imaging apparatus according to any one of Aspects 1 to 5, wherein the imaging unit captures a subject from a plurality of different viewpoints at a first focus position.
  • a first imaging camera group (first stereo camera unit 32) including (right camera 32a and left camera 32b), and a plurality of imaging cameras (right camera) that respectively shoot a subject from a plurality of different viewpoints at the second focus position.
  • a second imaging camera group (second stereo camera unit 42) composed of a camera 42a and a left camera 42b), and the first imaging camera group (first stereo camera unit 32) and the second imaging camera group ( The second stereo camera unit 42) captured the subject from a plurality of different viewpoints at a plurality of types of focus distances, respectively. It is preferable to generate an image of the number.
  • a set of imaging cameras corresponding to each focus position is provided, and a set of imaging cameras corresponding to each focus position can capture an image.
  • the imaging unit of the present invention by simultaneously shooting the first imaging camera group and the second imaging camera group, even when the subject is a moving object, it is possible to instantly start from a nearby subject. It is possible to obtain accurate distance information with a wide measurement distance range to a distant subject.
  • the imaging method includes an imaging process (S1, S5) in which a subject is photographed from a plurality of different viewpoints to generate an image, and a group of image regions in which the same portion of the subject is captured between the images.
  • An imaging method including a distance image generation step (S2 to S4, S6 to S8) for determining a distance from an imaging unit (stereo camera unit 2) to a subject and generating a distance image, each of a plurality of types of focus distances And a final distance image generation step (S9 to S11) for generating a final distance image based on the plurality of distance images generated by photographing the subject and the determination accuracy. It is characterized.
  • the present invention can be used for an imaging apparatus and an imaging method using a stereo camera.

Abstract

　近くから遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置及び撮像方法を提供する。撮像装置は、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する３次元計測処理部（１０）と、対応画像領域毎に対応画像領域の判定精度を評価する評価値比較部と、対応画像領域毎に視差に基づいてカメラ（２ａ・２ｂ）から被写体までの距離を判定し、距離画像を生成する評価値付き距離画像生成処理部（１６）と、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成処理部（２０）とを備えている。

Description

撮像装置及び撮像方法
　本発明は、ステレオカメラを用いた撮像装置及び撮像方法に関するものである。
　複数のカメラを用いて対象物までの距離や対象物の形状等を計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、カメラを２台（例えば左右）離間して配置して対象物を同時に撮影し、得られた左右画像のペアから左右の画像の対応する画素の対、つまり対応点を探索し、左右画像の対応点同士が左右方向にどれだけ離れているか、すなわち視差を求め、この視差から三角測量の原理を用いて対象物までの距離を算出する計測方法である。
　ステレオ３次元計測装置において計測精度を高めるには、対応点の探索を正確に行う必要があり、そのためには、左右画像がフォーカスの合った画像であることが望ましい。しかしながら、実際には、カメラに使用されている光学系の条件により、フォーカスの合う距離範囲は限られる。フォーカスの合っていない画像からは、上記対応点の探索が正確にできず、精度の良い距離計測は望めない。このため、精度良く距離計測できる範囲がカメラの光学的条件により限定的になるという課題を有している。
　ここで、この問題に関連する従来技術として、例えば特許文献１～３に開示された技術が知られている。
　例えば特許文献１に開示されたステレオ画像処理装置では、測距範囲を広げるために、画像倍率を縮小変更して実質的な視差探索範囲を広げることによって計測距離を拡大する方法が記されている。
　また、特許文献２に開示された３次元画像入力装置では、測距範囲を広げるために、フォーカス距離を異ならせて得られた距離画像を合成する方法が記されている。具体的には、３次元画像入力装置は、第１の物体距離に焦点合わせをし、該第１の物体距離を狭むように第１の距離精度を入れた第１の距離検出設定をした濃淡画像及び距離画像を出力する第１の複数眼２次元画像入力装置と、前記第１の物体距離より遠い第２の物体距離に焦点合わせをし、第２の距離精度を入れた第２の距離検出設定をした濃淡画像及び距離画像を出力する第２の複数眼２次元画像入力装置とを備え、前記第１の距離精度の下限値となる距離範囲と、前記第２の距離精度の上限値となる距離範囲とが、重複するように前記第２の距離検出設定を行い、前記第１の複数眼２次元画像入力装置の少なくとも１つの光軸と、前記第２の複数眼２次元画像入力装置の少なくとも１つの光軸とを整合させ、かつ同一視線となるように構成されている。
　さらに、特許文献３に開示された距離算出装置では、単眼カメラから得られた距離画像を利用する方法が記されている。
日本国公開特許公報「特開２００８－３９４９１号公報（２００８年２月２１日公開）」 日本国公開特許公報「特開平６－３４３３９号公報（１９９４年２月８日公開）」 日本国公開特許公報「特開２０１３－１８６０４３号公報（２０１３年９月１９日公開）」
　しかしながら、上記従来の撮像装置では、以下の問題点を有している。
　まず、特許文献１に開示されたステレオ画像処理装置のように、画像倍率を縮小すると、実質的にカメラの画素ピッチが粗くなるのと同等であるので計測距離精度が低下する。また、フォーカスが合っていない物体の距離の計測に対しては、前述したように、対応点探索精度が低下し、測距誤差が大きくなってしまう。このため、倍率縮小だけでは、計測精度を維持して計測距離を拡大することには対応できない。
　次に、特許文献２に開示された３次元画像入力装置では、フォーカス距離を異ならせて該フォーカス距離毎に距離画像を生成し、合成画像を生成しているものの、合成画像を生成する際に合成の元となる距離画像の距離の信頼性が考慮されておらず、必ずしも合成後の画像の精度が良いとは言えない。
　次に、特許文献３に開示された距離算出装置では、ボケ量算出にて画像評価を行っていると共に、ボケ量算出を画像全体で判定している。この場合、カメラに埃や雨滴がついた等の理由によって一部分でボケ量が大きい画像と判定されると、本来、ボケが発生していない部分ではステレオカメラによる距離情報を取るべき場合でも距離精度の劣る単眼カメラによる画像からの距離情報を全画像で採用してしまうという欠点がある。
　本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置及び撮像方法を提供することにある。
　本発明の一態様における撮像装置は、上記の課題を解決するために、被写体を複数の異なる視点から撮影して画像を生成する撮像部と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定部と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価部と、上記対応画像領域毎に視差に基づいて撮像部から被写体までの距離を判定し、距離画像を生成する距離画像生成部とを備えた撮像装置であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成部を備えていることを特徴としている。
　本発明の一態様における撮像方法は、上記の課題を解決するために、被写体を複数の異なる視点から撮影して画像を生成する撮像工程と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程と、上記対応画像領域毎に視差に基づいて撮像部から被写体までの距離を判定し、距離画像を生成する距離画像生成工程とを含む撮像方法であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程をさらに含むことを特徴としている。
　本発明の一態様によれば、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができるという効果を奏する。
本発明の実施形態１における撮像装置のプロセッサにおける３次元計測処理部の構成を示すブロック図である。 上記撮像装置の構成を示すブロック図である。 上記撮像装置において、２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。 （ａ）は上記撮像装置における左カメラの平行化画像上の各画素を示す説明図であり、（ｂ）は上記撮像装置における１つの注目画素に対して得られるＳＡＤ値と視差との関係曲線を示すグラフである。 上記撮像装置における処理動作を示すフローチャートである。 上記撮像装置における最終距離画像生成処理部の構成を示すブロック図である。 本発明の実施形態２における撮像装置を示すものであって、フォーカス距離の設定方法を示す説明図である。 上記撮像装置におけるフォーカス距離の設定方法を示すものであって、被写体距離に対する近点及び遠点を求める方法を示す説明図である。 本発明の実施形態３における撮像装置を示すものであって、撮像装置の構成を示すブロック図である。 上記撮像装置における処理動作を示すフローチャートである。
　　〔実施の形態１〕
　本発明の一実施形態について図１～図６に基づいて説明すれば、以下のとおりである。
　本実施の形態の撮像装置１Ａの構成について、図２に基づいて説明する。図２は、本実施の形態の撮像装置１Ａの構成を示すブロック図である。
　本実施の形態の撮像装置１Ａは、図２に示すように、右カメラ２ａ及び左カメラ２ｂから構成される撮像部としてのステレオカメラユニット２と、上記右カメラ２ａ及び左カメラ２ｂにそれぞれ接続されたフォーカス位置調整部としての右アクチュエータ部３ａ及び左アクチュエータ部３ｂと、上記右カメラ２ａ及び左カメラ２ｂ、並びに右アクチュエータ部３ａ及び左アクチュエータ部３ｂに接続されたプロセッサ４と、上記プロセッサ４に接続されたメモリ５とを備えている。
　上記右カメラ２ａ及び左カメラ２ｂは被写体を撮像する撮像部であり、レンズ付きのＣＣＤ（Charge Coupled Device：電荷結合素子）カメラ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補形金属酸化膜半導体）カメラでよく、カラーカメラ又はモノクロカメラのいずれでもよい。本実施の形態では、データ量が少なくて済むモノクロカメラを使用している。
　右アクチュエータ部３ａ及び左アクチュエータ部３ｂは、それぞれ右カメラ２ａ及び左カメラ２ｂのレンズフォーカス位置を変更するアクチュエータ及びドライバである。例えば、アクチュエータは電磁駆動モータにて構成され、ドライバは電流制御回路にて構成されている。フォーカス位置はプロセッサ４の指示によって決められる。
　プロセッサ４は、右カメラ２ａ及び左カメラ２ｂ、並びに右アクチュエータ部３ａ及び左アクチュエータ部３ｂの動作制御を実行する。また、プロセッサ４は、右カメラ２ａ及び左カメラ２ｂから得られた画像について３次元計測処理を実行する３次元計測処理部１０と、最終距離画像生成処理を実行する最終距離画像生成処理部２０等とを有している。尚、３次元計測処理部１０及び最終距離画像生成処理部２０のそれぞれの処理については後述する。
　メモリ５は、プロセッサ４が上記の３次元計測処理及び最終距離画像生成処理を実行するときに必要なプログラム、一時的なデータ格納、右カメラ２ａ及び左カメラ２ｂのキャリブレーションデータ、及びフォーカス距離等のデータを格納する。
　次に、本実施の形態の撮像装置１Ａにおける、右カメラ２ａ及び左カメラ２ｂの２つのカメラを用いた３次元計測処理について、図１に基づいて説明する。図１は、本実施の形態のプロセッサ４における３次元計測処理部１０の構成を示すブロック図である。
　本実施の形態の撮像装置１Ａでは、右カメラ２ａ及び左カメラ２ｂにて撮影されたキャプチャ画像は、プロセッサ４の３次元計測処理部１０にて３次元計測処理が実行される。
　上記３次元計測処理を実行する３次元計測処理部１０は、図１に示すように、平行化処理部１１と、プレフィルタ処理部１２と、探索部としての対応点探索処理部１３と、距離画像生成処理部１４と、探索部としての評価値生成部１５と、距離画像生成部としての評価値付き距離画像生成処理部１６とを備えている。
　上記３次元計測処理部１０では、まず、右カメラ２ａ及び左カメラ２ｂにて撮影されたキャプチャ画像に対して、平行化処理部１１にてステレオ平行化処理が実行される。ステレオ平行化処理とは、複数のカメラで撮影した各画像において、例えば、広角レンズ等を用いると画像の外側に行くほど歪みが大きくなる。その歪みを補正することを平行化処理という。ステレオ平行化処理は、予め実施されたカメラキャリブレーションにより得られる。このため、メモリ５に格納されているキャリブレーションデータ１８に基づいて、右カメラ２ａのキャプチャ画像、及び左カメラ２ｂのキャプチャ画像にステレオ平行化処理を施す。キャリブレーションデータ１８は、計測を実行する前に予め２つの右カメラ２ａ及び左カメラ２ｂのそれぞれのレンズの歪や角度ずれを補正するためのデータである。
　次に、ステレオ平行化後の画像（以下、「平行化画像」という。）に対して、プレフィルタ処理部１２にてプレフィルタ処理が実行され、その後、対応点探索処理部１３にて対応点探索が実行される。
　まず、プレフィルタ処理部１２では、左右画像の輝度差や画像内の局所的な輝度レベルの変動等を吸収するために、プレフィルタとして微分処理されてエッジ強調処理が施される。プレフィルタとしては、例えばソベルフィルタやラプラシアンフィルタ等が用いられる。
　続いて、対応点探索処理部１３の対応点探索処理について、図３及び図４の（ａ）（ｂ）に基づいて説明する。図３は、２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。図４の（ａ）は、左カメラ２ｂの平行化画像上の各画素を示す説明図であり、図４の（ｂ）は、１つの注目画素に対して得られるＳＡＤ値と視差との関係曲線を示すグラフである。尚、本実施の形態の撮像装置１Ａでは、左カメラ２ｂを基準として、左カメラ２ｂの平行化画像上の各画素に対して右カメラ２ａの平行化画像から対応する画素を探索する処理を行うものとする。
　対応点探索処理は、図３に示すように、まず、左カメラ２ｂの平行化画像の注目画素を中心として、縦横それぞれｐ×ｐ（ｐは整数）画素の正方形状の「相関窓」と呼ばれる領域を設定する。続いて、右カメラ２ａの平行化画像における縦方向の同一画素行に、同じ大きさの相関窓を設定し、これを画素行の左右方向にスライドさせながら、両画像の相関窓に含まれる画素間の相関度合いを示す判定精度としての評価値を計算する。この相関度合いを示す評価値としては、例えばＳＡＤ（Sum of Absolute Differrence：差分絶対値和）等の画素演算にて計算できる量が用いられる。下記式で表されるＳＡＤでは、値が小さいほど相関度合いが高い。
Figure JPOXMLDOC01-appb-M000001
　ここで、例えば、図４の（ａ）（ｂ）に示すように、所定の対応点探索範囲の左端から右端まで（図４の（ａ）（ｂ）では左カメラ２ｂの平行化画像の左端から右端まで）探索したとき、相関度合いが最も高くなる状態（最もＳＡＤ値が小さい）での右カメラ２ａの平行化画像の相関窓の中心画素位置が、左カメラ２ｂの平行化画像の注目画素に対する対応点と特定する。本実施の形態では、図４の（ｂ）に示すように、位置ｘｋ（ｋは整数）が対応位置となっている。
　続いて、得られた対応点の情報から視差の値が算出される。視差とは、左カメラ２ｂの平行化画像の注目画素と右カメラ２ａの平行化画像の対応画素との距離を、水平方向の画素単位で表したものと定義される。つまり、図４の（ｂ）に示すように、視差「ｘｉ－ｘｋ（ｉ,ｋは整数）」にて表される。
　次いで、図２に示すように、距離画像生成処理部１４による距離画像生成処理、及び評価値生成部１５による評価値生成処理を行う。
　具体的には、得られた視差の値から、三角測量の原理により対象物の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。尚、３次元座標（Ｘ，Ｙ，Ｚ）とは、基準である左カメラ２ｂの撮像面中心から、水平方向の距離Ｘ，垂直方向の距離Ｙ、奥行き方向の距離をＺとする。
　例えば、測定対象物までの奥行き方向の距離Ｚを計測する場合、
Figure JPOXMLDOC01-appb-M000002
にて計算することができる。
　基準である左カメラ２ｂの平行化画像の各画素に対して距離値Ｚを求め、その画素の画素値とすることによって、距離画像を生成することができる。
　尚、評価値付き距離画像生成処理部１６での処理内容については、後述する。
　上記の構成を有する撮像装置１Ａにおける処理動作について、図５に基づいて説明する。図５は、本実施の形態の撮像装置１Ａにおける処理動作を示すフローチャートである。
　図５に示すように、まず、右カメラ２ａ及び左カメラ２ｂにおいて、第１フォーカス距離にてフォーカスするように右カメラ２ａ及び左カメラ２ｂのレンズ位置をアクチュエータで制御し、被写体を撮像する（Ｓ１）。次いで、得られた画像から３次元計測処理を実行する（Ｓ２）。このとき、各画素について評価値であるＳＡＤが算出されるが、これもその画素固有の値として付与する。すなわち、１つの画素について距離値と評価値とが与えられる。これを第１評価値付き距離画像とする（Ｓ３、Ｓ４）。
　同様に、右カメラ２ａ及び左カメラ２ｂにおいて、第２フォーカス距離にてフォーカスするように右カメラ２ａ及び左カメラ２ｂのレンズ位置をアクチュエータにて制御し、被写体を撮像する（Ｓ５）。続いて、得られた画像から３次元計測処理を実行する（Ｓ６）。このときに、各画素について評価値であるＳＡＤが算出されるが、これもその画素固有の値として付与する。すなわち、１つの画素について距離値と評価値とが与えられる。これを第２評価値付き距離画像とする（Ｓ７、Ｓ８）。
　次に、得られた第１評価値付き距離画像及び第２評価値付き距離画像から、最終距離画像生成処理部２０における最終距離画像生成処理に移る。ここで、最終距離画像生成処理部２０の構成及び処理について、図６に基づいて説明する。図６は、最終距離画像生成処理部２０の構成を示すブロック図である。
　最終距離画像生成処理部２０は、図６に示すように、評価部としての評価値比較部２２と最終距離画像生成部２３とを備えている。
　図６に示す第１評価値付き距離画像１７ａと第２評価値付き距離画像１７ｂとの違いは、フォーカスされる距離が違うだけであり、基本的には同じ被写体が映っている。しかし、フォーカス距離が違うために必ずしも同じ被写体に対して同じ距離値が演算されているとは限らない。第１評価値付き距離画像１７ａは第１フォーカス距離の前後でピントが合っており、ピントが合っている範囲での距離値は対応点探索処理の精度・信頼性が高いと考えられる。逆に、ピントが合っていない部分での距離値は対応点探索処理の精度・信頼性が低いと考えられる。第２評価値付き距離画像１７ｂも同様のことが言える。そこで、評価値比較部２２は、第１評価値付き距離画像１７ａの第１評価値２１ａと第２評価値付き距離画像１７ｂの第２評価値２１ｂとを比較して、より精度・信頼性が高いと考えられる距離値を求め、最終距離画像生成部２３は、そのより精度・信頼性が高いと考えられる距離値を最終距離画像の距離値とする。
　次いで、図５に示すように、第１評価値付き距離画像１７ａ及び第２評価値付き距離画像１７ｂのそれぞれで同じ平面座標（ｘｙ座標）に位置する画素の評価値を比較する（Ｓ９）。比較の結果、前述したように、評価値の小さい方が距離値の精度・信頼性が高いと考えられるため、その画素に対しての距離値と決定する（Ｓ１０）。これらの処理を全ての画素に対して実行することによって、最終距離画像を得ることができる（Ｓ１１）。
　このようにして得られる最終距離画像は、第１フォーカス距離及び第２フォーカス距離にて撮像された２枚の距離画像から、信頼性及び精度の高い距離情報を選択して生成された距離画像である。このため、例えば第１フォーカス距離のみ、又は第２フォーカス距離のみで得られた距離画像よりも、全体として精度良く計測できている部分が増える。すなわち、計測精度が良く、計測距離範囲が拡大された距離画像といえる。
　上述のように故、本実施の形態の撮像装置１Ａは、被写体を撮像する複数の右カメラ３２ａ及び左カメラ３２ｂと、右カメラ３２ａ及び左カメラ３２ｂのフォーカス距離を調整する右アクチュエータ部３ａ及び左アクチュエータ部３ｂと、該フォーカス距離を予め複数設定して記憶しておくメモリ５と、右カメラ２ａ及び左カメラ２ｂにて撮像した複数の画像から、右カメラ２ａ及び左カメラ２ｂから被写体までの距離を演算して距離画像を生成する距離画像生成処理部１４と、該生成された距離画像に評価値を付加する評価値付き距離画像生成処理部１６と、右カメラ２ａ及び左カメラ２ｂにて該予め設定された複数のフォーカス距離で撮像して生成された複数の第１評価値付き距離画像１７ａ・第２評価値付き距離画像１７ｂから、距離値及び評価値に基づいて最終的な距離画像を生成する最終距離画像生成処理部２０を備えている。そして、該評価値は該距離画像を生成する距離画像生成処理部１４での演算処理の際に算出される量を用いて該距離画像の画素毎に付加されている。そして、最終距離画像生成処理部２０においては、複数の第１評価値付き距離画像１７ａ・第２評価値付き距離画像１７ｂの画素毎について距離値及び評価値に基づいて最終的な距離画像を生成する。
　また、予め複数設定して記憶される複数のフォーカス距離は、互いにその距離における被写界深度の近点距離と遠点距離からなる距離範囲において部分的に共通の距離範囲を有するように設定される。
　これにより、必要な距離範囲にフォーカスが合った複数画像から、精度の良い最終的な距離画像が得られる。また、処理画演算量が少ない簡単な処理構成でかつ高速な処理が可能になる。
　さらに、評価値として、撮像した複数の画像から距離を演算する際に実行する対応点探索処理の結果得られる相関値を用いる。これにより、３次元処理中に得られる量を評価値とするので、評価値生成に別途の処理を必要とせず、システムの簡易化及び処理の高速化が実現できると共に、信頼性の高い画像情報から距離情報が得られる。
　以上のように、本実施の形態の撮像装置１Ａでは、被写体を複数の異なる視点から撮影して画像を生成する撮像部としてのステレオカメラユニット２と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定部としての３次元計測処理部１０と、対応画像領域毎に対応画像領域の判定精度を評価する評価部としての評価値比較部２２と、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する距離画像生成部としての評価値付き距離画像生成処理部１６とを備える。さらに、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成部としての最終距離画像生成処理部２０を備えている。尚、本実施の形態では、評価部としての評価値比較部２２は、最終距離画像生成処理部２０にのみ設けられており、３次元計測処理部１０には設けられていない。すなわち、評価値の判断は、フォーカス距離毎に実行し、フォーカス距離毎の対応箇所を判断するときと、最終距離画像を生成するときとの２回実行するのが原則である。しかし、本実施の形態のように、最終距離画像を生成する時点でのみ実行することが可能である。
　一般的に、撮像装置はフォーカスが合う距離範囲（被写界深度）に制限があり、例えば近くの物体にフォーカスを合わせると、遠くの物体にフォーカスが合わずにボケが発生してしまうといった問題がある。
　ここで、本実施の形態の撮像装置１Ａは、ステレオカメラユニット２による距離測定を採用するものであり、３次元計測処理部１０は、右カメラ３２ａ及び左カメラ３２ｂにて取得した複数の画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する。このとき、評価部にて対応画像領域毎に対応画像領域の判定精度を評価する。そして、評価値付き距離画像生成処理部１６にて、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する。
　このように、ステレオカメラユニット２による距離測定は、異なるなる視点から撮影した撮像画像において同一箇所を撮像した対応画像領域を判定し、対応画像領域の視差に基づいて距離測定を行う。
　しかしながら、この処理だけでは、右カメラ３２ａ及び左カメラ３２ｂにて取得した複数の画像のフォーカスが合っていないボケを有する画像を用いて、距離画像を生成する虞がある。また、その場合には、対応箇所の判定が正確にできずに、結果として距離精度が低下してしまう問題がある。
　そこで、本実施の形態では、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成処理部２０を備えている。
　このため、右カメラ３２ａ及び左カメラ３２ｂを用いて複数種類のフォーカス距離によって被写体を撮影して、フォーカス距離毎に距離画像が生成される。そして、各距離画像の生成においては、判定精度が付された対応画像領域が求まっている。この結果、全ての距離画像の判定精度を評価し、対応画像領域の判定精度が最も高い距離画像を選択して合成することにより、距離精度が高い最終距離画像を生成することができる。
　そして、この最終距離画像の生成方法では、近くの物体であっても又は遠くの物体であっても、右カメラ３２ａ及び左カメラ３２ｂを用いて複数種類のフォーカス距離それぞれで被写体を撮影する。この結果、全てのフォーカス位置に対応できるので、計測距離範囲の広い撮像装置１Ａを実現することができる。
　したがって、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置１Ａを提供することができる。
　また、本実施の形態における撮像装置１Ａでは、最終距離画像生成処理部２０は、複数の距離画像の間で、画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成する。
　これにより、複数種類のフォーカス距離それぞれで生成した各距離画像の中から、判定精度が最も高いものを最終距離画像として生成するので、信頼性の高い距離情報を得ることができる。
　また、本実施の形態における撮像装置１Ａでは、対応画像領域判定部としての３次元計測処理部１０は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定する。
　これにより、対応画像領域の決定方法として、対応画像領域に付された判定精度を評価する場合に、判定精度として、注目画像領域と対応画像領域の領域との類似の度合によって評価する。この結果、注目画像領域と対応画像領域との類似の度合が最も高い領域を他画像における対応画像領域であると判断することにより、容易かつ的確に対応画像領域を認定することができる。尚、本実施の形態では、判定精度として類似の度合いである相関度を用いているが、本発明においては必ずしもこれに限らず、判定精度として例えばシャープさ等を用いることができる。
　また、本実施の形態における撮像装置１Ａでは、評価部としての評価値比較部２２は、対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とする。
　これにより、対応画像領域の探索の方法の具体的方法を提供することができる。
　尚、本実施の形態では、類似度が最も高い対応画像領域を判定した上で、この類似度が最も高い対応画像領域の類似度を、最終距離画像を生成する場合に再度活用する。すなわち、対応画像領域を求めるために用いた判定精度である類似度を、そのまま、最終距離画像を生成する場合に用いている。この点で、撮像装置１Ａの処理の煩雑化を防止できるものとなっている。
　また、本実施の形態における撮像装置１Ａでは、評価部としての評価値比較部２２は、対応画像領域の間の類似の度合いを評価し、該類似の度合を対応画像領域の判定精度とする。
　これにより、対応画像領域の探索の方法の具体的方法を提供することができる。
　また、本実施の形態における撮像装置１Ａでは、類似の度合いを評価するときに、差分絶対値和を用いる。これにより、類似度として差分絶対値和（ＳＡＤ値）という数値に表すことができ、容易に類似度の高いものを判定することができる。
　また、本実施の形態における撮像装置１Ａでは、ステレオカメラユニット２は、被写体を複数の異なる視点から撮影する複数の右カメラ２ａ及び左カメラ２ｂと、複数の右カメラ２ａ及び左カメラ２ｂの焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整部としての右アクチュエータ部３ａ及び左アクチュエータ部３ｂとを備えている。
　これにより、ステレオカメラユニット２にて、複数種類のフォーカス距離に変化させながら、各フォーカス距離にて距離画像を生成することができる。
　この場合、例えば、一組の撮像カメラを用いて、それぞれフォーカス位置を変えることにより撮像することが考えられる。また、例えば、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像するということが考えられる。
　また、本実施の形態における撮像方法は、被写体を複数の異なる視点から撮影して画像を生成する撮像工程（Ｓ１，Ｓ５）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程（Ｓ９）と、対応画像領域毎に対応画像領域の判定精度を評価する評価工程（Ｓ１０）と、対応画像領域毎に視差に基づいてステレオカメラユニット２から被写体までの距離を判定し、距離画像を生成する距離画像生成工程（Ｓ２～Ｓ４、Ｓ６～Ｓ８） とを含む。そして、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程（Ｓ９～Ｓ１１）をさらに含む。
　これにより、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像方法を提供することができる。
　　〔実施の形態２〕
　本発明の他の実施の形態について図７及び図８に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
　前記実施の形態１の撮像装置１Ａでは、第１フォーカス距離と第２フォーカス距離との２種類のフォーカス距離で撮影を行うものとしたが、これは２種類に限る必要はない。
　例えば３種類のフォーカス距離を設定した場合、評価値付き距離画像が第１評価値付き距離画像、第２評価値付き距離画像及び第３評価値付き距離画像との３種類生成されることになる。この場合、最終距離画像生成時に、３種類の評価値付き距離画像のそれぞれで同じ平面座標（ｘｙ座標）に位置する画素の評価値を比較して、最も評価値の小さい距離値の精度・信頼性が高いと考えられる。このため、その画素に対しての距離値と決定すればよい。この処理を全ての画素に対して実行することによって、最終距離画像を得ることができる。
　また、本実施の形態では、フォーカス距離については、例えば次に記すような方法で設定されるのが望ましい。本実施の形態のフォーカス距離の設定方法について、図７及び図８に基づいて説明する。図７は、本実施の形態のフォーカス距離の設定方法を示す説明図である。図８は、本実施の形態のフォーカス距離の設定方法を示すものであって、被写体距離ｓ１に対する近点Ｓｎ１及び遠点Ｓｆ１を求める方法を示す説明図である。
　例えば、被写体距離（ピントを合わせる距離）をｓとし、レンズ焦点距離をｆとし、Ｆ値をＦとし、許容錯乱円直径をδとする。この場合、図７に示すように、被写体距離ｓに対して、許容錯乱円の範囲でピントの合う距離範囲は、近点と遠点との間である。ただし、近点とは距離ｓから近点距離：Ｄｎだけカメラ寄りの位置、遠点とは距離ｓから遠点距離：Ｄｆだけカメラから遠い位置とする。
　このとき、近点距離：Ｄｎ、遠点距離：Ｄｆは以下で示される。
Figure JPOXMLDOC01-appb-M000003
　この場合、第１フォーカス距離を被写体距離ｓ１とすると、図８に示すように、被写体距離ｓ１に対する近点Ｓｎ１及び遠点Ｓｆ１が求まる。同様に、第２フォーカス距離を被写体距離ｓ２とすると、被写体距離ｓ２に対する近点Ｓｎ２及び遠点Ｓｆ２が求まる。
　ここで、Ｓｆ１＞Ｓｎ２となるように第１フォーカス距離及び第２フォーカス距離を設定して、第１フォーカス距離での第１撮像画像と、第２フォーカス距離での第２撮像画像を得た場合、近点Ｓｎ１と遠点Ｓｆ２の間に存在する被写体は第１撮像画像か又は第２撮像画像のどちらかでピントが合っていることになる。ここでいうピントが合っているという意味は、許容錯乱円以下のぼけ量に留まっているということであり、許容錯乱円として撮像素子の１画素の大きさと設定すれば、１画素以下のぼけということになる。
　対応点探索処理は画素単位で実行するため、ピントが合っている部分では高い相関性を示すのでＳＡＤ値は非常に小さくなり、それで得た視差を元に得られた距離情報はピントが合っていない部分よりも精度が高いと言える。
　Ｓｆ１＞Ｓｎ２となるように設定した第１フォーカス距離及び第２フォーカス距離を用いて、実施の形態１にて説明した距離計測方法を用いると、得られた第１評価値付き距離画像及び第２評価値付き距離画像において、よりピントの合った画素の方が小さな評価値が付与されている。理由は既に記したように、対応点探索処理でのＳＡＤ値が小さくなるからである。その結果、最終距離画像で得られる精度の良い距離範囲は、Ｓｎ１とＳｆ２の間ということになる。
　第１フォーカス距離だけで得られる精度の良い距離範囲はＳｎ１とＳｆ１の間でしかないが、この方法によれば、精度の良い距離範囲が拡大される。すなわち、精度良く測距できる距離範囲が拡大できることになる。
　この場合、図８に示すように、Ｏであるオーバーラップ部分については、第１フォーカス距離及び第２フォーカス距離で撮影した何れでもピントが合っている。このときには、どちらの評価値もピントが合っていない部分よりは小さな値となっていると思われ、どちらの値をとっても構わない。また、オーバーラップ部分はできるだけ範囲を小さくするように第１フォーカス距離及び第２フォーカス距離を設定するのが望ましく、その方が測距範囲を広げることができる。
　　〔実施の形態３〕
　本発明のさらに他の実施の形態について図９及び図１０に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態１及び実施の形態２と同じである。また、説明の便宜上、前記の実施の形態１及び実施の形態２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
　前記実施の形態１の撮像装置１Ａでは、ステレオカメラユニット２は、１組しかなかった。これに対して、本実施の形態の撮像装置１Ｂでは、ステレオカメラユニットが２組設けられている点が異なっている。
　本実施の形態の撮像装置１Ｂの構成について、図９に基づいて説明する。図９は本実施の形態の撮像装置１Ｂの構成を示すブロック図である。
　前記実施の形態１の撮像装置１Ａでは、第１フォーカス距離及び第２フォーカス距離で撮影された画像は同時刻に撮影されたものではない。この理由は、ステレオカメラユニット２が１組しかないため、フォーカス距離を変更するのに有限の時間を要するからである。このため、ステレオカメラユニット２が１組しかない場合には、動く被写体については正確には対応できない。
　そこで、本実施の形態の撮像装置１Ｂでは、図９に示すように、第１フォーカス距離撮像用の第１ステレオカメラユニット３２と、第２フォーカス距離撮像用の第２ステレオカメラユニット４２を用意して、同時刻に撮像できるようになっている。そして、これにより、動く被写体にも対応可能となっている。
　具体的には、図９に示すように、第１ステレオカメラユニット３２は、右カメラ３２ａ及び左カメラ３２ｂから構成される。また、これら右カメラ３２ａ及び左カメラ３２ｂのレンズフォーカス位置を可変するアクチュエータ及びドライバである右アクチュエータ部３３ａ及び左アクチュエータ部３３ｂが設けられている。
　一方、第２ステレオカメラユニット４２は、右カメラ４２ａ及び左カメラ４２ｂから構成される。また、これら右カメラ４２ａ及び左カメラ４２ｂのレンズフォーカス位置を可変するアクチュエータ及びドライバである右アクチュエータ部４３ａ及び左アクチュエータ部４３ｂが設けられている。
　そして、撮像処理においては、図１０に示すように、それぞれの第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２から得られた画像から（Ｓ２１、Ｓ２２）、前述した３次元計測処理を実行してそれぞれ評価値付き距離画像を生成すれば、最終距離画像を得ることができる。
　このようにして、動く被写体に対しても精度良く計測距離範囲を拡大することができる。
　上述のように、撮像装置１Ｂは、被写体を撮像する複数の第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２からなる撮像ユニットを複数備え、撮像ユニット毎に異なったフォーカス距離で撮像する。そして、該複数の撮像ユニットにて撮像した画像から生成された複数の評価値付き距離画像から、各評価値付き距離画像の対応する各画素の距離値及び評価値に基づいて最終的な距離画像を生成する最終距離画像生成処理部２０を備える。
　これにより、複数のフォーカスの合った画像を同時刻に取得できるため、移動体に対しても精度の良い、かつ計測距離範囲の広い距離情報を得ることができる。
　以上のように、本実施の形態における撮像装置１Ｂでは、撮像部は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラとしての右カメラ３２ａ及び左カメラ３２ｂからなる第１の撮像カメラ群としての第１ステレオカメラユニット３２と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラとしての右カメラ４２ａ及び左カメラ４２ｂからなる第２の撮像カメラ群としての第２ステレオカメラユニット４２とを備え、第１ステレオカメラユニット３２及び第２ステレオカメラユニット４２は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成する。
　これにより、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像することができる。
　また、本実施の形態の撮像部においては、第１ステレオカメラユニット３２と第２ステレオカメラユニット４２とを同時に撮影することにより、被写体が移動体にてなっている場合においても、瞬時に、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる。
　〔まとめ〕
　本発明の態様１における撮像装置１Ａ・１Ｂは、被写体を複数の異なる視点から撮影して画像を生成する撮像部（ステレオカメラユニット２）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定部（３次元計測処理部１０）と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価部（評価値比較部２２）と、上記対応画像領域毎に視差に基づいて撮像部（ステレオカメラユニット２）から被写体までの距離を判定し、距離画像を生成する距離画像生成部（評価値付き距離画像生成処理部１６）とを備えた撮像装置であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成部（最終距離画像生成処理部２０）をさらに備えていることを特徴としている。
　本発明では、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と判定精度とに基づいて最終距離画像を生成する最終距離画像生成部を備えている。
　このため、撮像部を用いて複数種類のフォーカス距離によって被写体を撮影して、フォーカス距離毎に距離画像が生成される。そして、各距離画像の生成においては、判定精度が付された対応画像領域が求まっている。この結果、全ての距離画像の判定精度を評価し、対応画像領域の判定精度が最も高い距離画像を選択して合成することにより、距離精度が高い最終距離画像を生成することができる。
　そして、この最終距離画像の生成方法では、近くの物体であっても又は遠くの物体であっても、撮像部を用いて複数種類のフォーカス距離それぞれで被写体を撮影する。この結果、全てのフォーカス位置に対応できるので、計測距離範囲の広い撮像装置を実現することができる。
　したがって、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像装置を提供することができる。
　本発明の態様２における撮像装置１Ａは、態様１における撮像装置において、前記最終距離画像生成部（最終距離画像生成処理部２０）は、前記複数の距離画像の間で、対応画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成する。
　これにより、複数種類のフォーカス距離それぞれで生成した各距離画像の中から、判定精度が最も高いものを最終距離画像として生成するので、信頼性の高い距離情報を得ることができる。
　本発明の態様３における撮像装置１Ａは、態様１又は２における撮像装置において、前記対応画像領域判定部（３次元計測処理部１０）は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定する。尚、１画像における被写体の注目画像領域とは、１つの注目画素でもよく、或いは複数の注目画素からなる注目画像領域でもよい概念である。
　これにより、対応画像領域の決定方法として、対応画像領域に付された判定精度を評価する場合に、判定精度として、注目画像領域と対応画像領域との類似の度合によって評価する。この結果、注目画像領域と対応画像領域との類似の度合が最も高い領域を他画像における対応画像領域であると判断することにより、容易かつ的確に対応画像領域を認定することができる。
　尚、本実施の形態では、類似度が最も高い対応画像領域を判定した上で、この類似度が最も高い対応画像領域の類似度を、最終距離画像を生成する場合に再度活用する。すなわち、対応画像領域を求めるために用いた判定精度である類似度を、そのまま、最終距離画像を生成する場合に用いている。この点で、撮像装置の処理の煩雑化を防止できるものとなっている。
　本発明の態様４における撮像装置１Ａは、態様１、２又は３における撮像装置において、前記評価部（評価値比較部２２）は、前記対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とする。
　これにより、対応画像領域の探索の方法の具体的方法を提供することができる。
　本発明の態様５における撮像装置１Ａは、態様３における撮像装置において、前記類似の度合いを評価するときに、差分絶対値和を用いることが好ましい。
　これにより、類似度として差分絶対値和（ＳＡＤ値）という数値に表すことができ、容易に類似度の高いものを判定することができる。
　本発明の態様６における撮像装置１Ａは、態様１～５のいずれか１における撮像装置において、前記撮像部（ステレオカメラユニット２）は、前記被写体を複数の異なる視点から撮影する複数の撮像カメラ（右カメラ２ａ及び左カメラ２ｂ）と、上記複数の撮像カメラ（右カメラ２ａ及び左カメラ２ｂ）の焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整部（右アクチュエータ部３ａ及び左アクチュエータ部３ｂ）とを備えていることが好ましい。
　これにより、ステレオカメラにて、複数種類のフォーカス距離に変化させながら、各フォーカス距離にて距離画像を生成することができる。
　本発明の態様７における撮像装置１Ｂは、態様１～５のいずれか１における撮像装置において、前記撮像部は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラ（右カメラ３２ａ及び左カメラ３２ｂ）からなる第１の撮像カメラ群（第１ステレオカメラユニット３２）と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラ（右カメラ４２ａ及び左カメラ４２ｂ）からなる第２の撮像カメラ群（第２ステレオカメラユニット４２）とを備え、上記第１の撮像カメラ群（第１ステレオカメラユニット３２）及び第２の撮像カメラ群（第２ステレオカメラユニット４２）は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成することが好ましい。
　これにより、フォーカス位置毎に対応した撮像カメラの組みを備え、それぞれのフォーカス位置の画像を対応する撮像カメラの組みが撮像することができる。
　また、本発明の撮像部において、第１の撮像カメラ群と第２の撮像カメラ群とを同時に撮影することにより、被写体が移動体にてなっている場合においても、瞬時に、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる。
　本発明の態様８における撮像方法は、被写体を複数の異なる視点から撮影して画像を生成する撮像工程（Ｓ１，Ｓ５）と、各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程（Ｓ９）と、上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程（Ｓ１０）と、上記対応画像領域毎に視差に基づいて撮像部（ステレオカメラユニット２）から被写体までの距離を判定し、距離画像を生成する距離画像生成工程（Ｓ２～Ｓ４、Ｓ６～Ｓ８） とを含む撮像方法であって、複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程（Ｓ９～Ｓ１１）をさらに含むことを特徴としている。
　これにより、近くの被写体から遠くの被写体までの計測距離範囲の広い距離情報を精度良く得ることができる撮像方法を提供することができる。
　尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明は、ステレオカメラを用いた撮像装置及び撮像方法に利用することができる。
　１Ａ　　　撮像装置
　１Ｂ　　　撮像装置
　２　　　　ステレオカメラユニット（撮像部）
　２ａ　　　右カメラ（撮像カメラ）
　２ｂ　　　左カメラ（撮像カメラ）
　３ａ　　　右アクチュエータ部（フォーカス位置調整部）
　３ｂ　　　左アクチュエータ部（フォーカス位置調整部）
　４　　　　プロセッサ
　５　　　　メモリ
１０　　　　３次元計測処理部（対応画像領域判定部）
１１　　　　平行化処理部
１２　　　　プレフィルタ処理部
１３　　　　対応点探索処理部
１４　　　　距離画像生成処理部
１５　　　　評価値生成部
１６　　　　評価値付き距離画像生成処理部
１７ａ　　　第１評価値付き距離画像（距離画像）
１７ｂ　　　第２評価値付き距離画像（距離画像）
１８　　　　キャリブレーションデータ
２１ａ　　　第１評価値
２１ｂ　　　第２評価値
２０　　　　最終距離画像生成処理部（最終距離画像生成部）
２２　　　　評価値比較部（評価部）
２３　　　　最終距離画像生成部
３２　　　　第１ステレオカメラユニット（第１の撮像カメラ群）
３２ａ　　　右カメラ（撮像カメラ）
３２ｂ　　　左カメラ（撮像カメラ）
３３ａ　　　右アクチュエータ部（フォーカス位置調整部）
３３ｂ　　　左アクチュエータ部（フォーカス位置調整部）
４２　　　　第２ステレオカメラユニット（第２の撮像カメラ群）
４２ａ　　　右カメラ（撮像カメラ）
４２ｂ　　　左カメラ（撮像カメラ）
４３ａ　　　右アクチュエータ部（フォーカス位置調整部）
４３ｂ　　　左アクチュエータ部（フォーカス位置調整部）

Claims (8)

  1. 　被写体を複数の異なる視点から撮影して画像を生成する撮像部と、
    　各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定部と、
    　上記対応画像領域毎に対応画像領域の判定精度を評価する評価部と、
    　上記対応画像領域毎に視差に基づいて撮像部から被写体までの距離を判定し、距離画像を生成する距離画像生成部とを備えた撮像装置であって、
    　複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成部をさらに備えていることを特徴とする撮像装置。
  2. 　前記最終距離画像生成部は、前記複数の距離画像の間で、対応画像領域毎に判定精度が最も高い距離画像を選択して合成することにより最終距離画像として生成することを特徴とする請求項１記載の撮像装置。
  3. 　前記対応画像領域判定部は、１画像における被写体の注目画像領域と他画像における複数の画像領域との類似の度合いをそれぞれ評価し、他画像における類似度が最も高い画像領域を注目画像領域の対応画像領域と判定することを特徴とする請求項１又は２記載の撮像装置。
  4. 　前記評価部は、前記対応画像領域の間の類似の度合いを評価する際に、該類似の度合を対応画像領域の判定精度とすることを特徴とする請求項１、２又は３記載の撮像装置。
  5. 　前記類似の度合いを評価するときに、差分絶対値和を用いることを特徴とする請求項３又は４記載の撮像装置。
  6. 　前記撮像部は、前記被写体を複数の異なる視点から撮影する複数の撮像カメラと、上記複数の撮像カメラの焦点位置を複数種類のフォーカス距離に変化させるフォーカス位置調整部とを備えていることを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
  7. 　前記撮像部は、第１のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラからなる第１の撮像カメラ群と、第２のフォーカス位置にて被写体を複数の異なる視点からそれぞれ撮影する複数の撮像カメラからなる第２の撮像カメラ群とを備え、
    　上記第１の撮像カメラ群及び第２の撮像カメラ群は、それぞれ複数種類のフォーカス距離にて、被写体を複数の異なる視点から撮影した複数の画像を生成することを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
  8. 　被写体を複数の異なる視点から撮影して画像を生成する撮像工程と、
    　各画像の間で、被写体の同一箇所を撮像した画像領域の群である対応画像領域を判定する対応画像領域判定工程と、
    　上記対応画像領域毎に対応画像領域の判定精度を評価する評価工程と、
    　上記対応画像領域毎に視差に基づいて撮像部から被写体までの距離を判定し、距離画像を生成する距離画像生成工程とを含む撮像方法であって、
    　複数種類のフォーカス距離それぞれで被写体を撮影することにより生成した複数の距離画像と上記判定精度とに基づいて最終距離画像を生成する最終距離画像生成工程をさらに含むことを特徴とする撮像方法。
PCT/JP2015/067350 2014-09-24 2015-06-16 撮像装置及び撮像方法 WO2016047220A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-193654 2014-09-24
JP2014193654A JP2016065744A (ja) 2014-09-24 2014-09-24 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
WO2016047220A1 true WO2016047220A1 (ja) 2016-03-31

Family

ID=55580761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067350 WO2016047220A1 (ja) 2014-09-24 2015-06-16 撮像装置及び撮像方法

Country Status (2)

Country Link
JP (1) JP2016065744A (ja)
WO (1) WO2016047220A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000310531A (ja) * 1999-04-27 2000-11-07 Sony Corp 距離画像生成装置及び方法
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
US20110211108A1 (en) * 2008-10-31 2011-09-01 Stephen Pollard Method and digital imaging appliance adapted for selecting a focus setting
JP2011185720A (ja) * 2010-03-08 2011-09-22 Ricoh Co Ltd 距離取得装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000310531A (ja) * 1999-04-27 2000-11-07 Sony Corp 距離画像生成装置及び方法
US20110211108A1 (en) * 2008-10-31 2011-09-01 Stephen Pollard Method and digital imaging appliance adapted for selecting a focus setting
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
JP2011185720A (ja) * 2010-03-08 2011-09-22 Ricoh Co Ltd 距離取得装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
JPWO2017199556A1 (ja) * 2016-05-17 2019-04-04 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
US10863164B2 (en) 2016-05-17 2020-12-08 Fujifilm Corporation Stereo camera and method of controlling stereo camera

Also Published As

Publication number Publication date
JP2016065744A (ja) 2016-04-28

Similar Documents

Publication Publication Date Title
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP6245885B2 (ja) 撮像装置およびその制御方法
US9749614B2 (en) Image capturing system obtaining scene depth information and focusing method thereof
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP5489897B2 (ja) ステレオ測距装置及びステレオ測距方法
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
KR20170056698A (ko) 자동 포커싱 방법, 장치 및 전자 장치
CN107395924B (zh) 图像处理装置、图像捕获装置和图像处理方法
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP6071257B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5776771B2 (ja) 対応点探索装置、および距離測定装置
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR101715553B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2020021126A (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
JP2014022806A (ja) 撮像装置および撮像装置制御方法
CN111292380B (zh) 图像处理方法及装置
WO2016047220A1 (ja) 撮像装置及び撮像方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP6648916B2 (ja) 撮像装置
JP2016005027A (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
WO2018235256A1 (ja) ステレオ計測装置及びシステム
JP6602412B2 (ja) 情報処理装置及び方法、情報処理システム、ならびにプログラム。
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法
CN108540714B (zh) 图像捕获装置和系统、图像捕获装置控制方法及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15845092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15845092

Country of ref document: EP

Kind code of ref document: A1