WO2020235249A1 - ステレオカメラシステム、及び測距方法 - Google Patents
ステレオカメラシステム、及び測距方法 Download PDFInfo
- Publication number
- WO2020235249A1 WO2020235249A1 PCT/JP2020/016150 JP2020016150W WO2020235249A1 WO 2020235249 A1 WO2020235249 A1 WO 2020235249A1 JP 2020016150 W JP2020016150 W JP 2020016150W WO 2020235249 A1 WO2020235249 A1 WO 2020235249A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo camera
- distance
- unit
- camera system
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- This disclosure relates to a stereo camera system and a distance measuring method.
- LIDAR Laser Imaging Detection and Ringing
- a method of measuring the distance to an object using a stereo camera is known.
- a plurality of stereo camera units are arranged on a vehicle body, the arrangement distance between each stereo camera unit is set longer than the baseline length of the stereo camera unit alone, and short baseline length imaging by the stereo camera unit alone is performed.
- An image generator capable of long baseline length imaging by a stereo camera unit composed of a pair of stereo camera units is disclosed.
- image processing for short baseline length imaging and long baseline length imaging is performed separately, which increases the processing load for distance measurement.
- This disclosure has been made in view of such a situation, and proposes a technique for reducing the processing load for distance measurement of a stereo camera having a long baseline length.
- the stereo camera system captures an object existing in its own angle of view range, and a pair of a plurality of distance measuring cameras for measuring the distance of the object and a distance measuring camera.
- a pair of a plurality of distance measuring cameras for measuring the distance of the object and a distance measuring camera.
- Is a long baseline length stereo camera and is provided with an integrated unit that measures the object based on the images captured by each pair of distance measuring cameras, and the image processing range of the distance measuring camera or the integrated unit can be changed. It is configured as follows.
- FIG. 1 is a diagram showing a configuration example of the stereo camera system 1 according to the first embodiment.
- the stereo camera system 1 includes distance measuring cameras 10a and 10b, and an integrated unit 20.
- the range-finding camera 10a is, for example, a stereo having a first imaging unit 11a (FIG. 2) and a second imaging unit 13a (FIG. 2) arranged in a direction perpendicular to the road surface (direction perpendicular to the drawing). Including camera.
- the ranging camera 10a captures the angle of view range AOVa and outputs the image obtained as the imaging result to the integration unit 20.
- the distance measuring camera 10a has a function of measuring a distance (measuring a distance) of an object existing in the angle of view range AOVa as a single unit, and outputs the distance measuring result to the integration unit 20.
- the ranging camera 10a can be realized by, for example, a TOF (time of flight) camera, a monocular camera using an image analysis method called optical flow, or the like, in addition to a stereo camera.
- the ranging camera 10b includes, for example, a stereo camera having a first imaging unit 11b (FIG. 2) and a second imaging unit 13b (FIG. 2) arranged in a direction perpendicular to the road surface.
- the ranging camera 10b captures the angle of view range AOVb and outputs the image obtained as the imaging result to the integration unit 20.
- the distance measuring camera 10b has a function of measuring a distance of an object existing in the angle of view range AOVb as a single unit, and outputs the distance measuring result to the integration unit 20.
- the ranging camera 10b can be realized by, for example, a stereo camera, a TOF camera, a monocular camera using an image analysis method called optical flow, or the like.
- the distance measuring camera 10 when it is not necessary to distinguish the distance measuring cameras 10a and 10b individually, it is simply referred to as the distance measuring camera 10.
- the integration unit 20 regards a pair of ranging cameras 10 (distance measuring cameras 10a and 10b) as one long baseline length stereo camera Sub and measures an object.
- the integration unit 20 acquires images captured by the distance measuring camera 10a and the distance measuring camera 10b, respectively, and performs stereo matching processing using the acquired images to obtain the angle of view range AOVa of the distance measuring camera 10a and the distance measuring.
- the distance is measured for an object existing in the overlapping region Rab where the angle of view range AOVb of the camera 10b overlaps.
- the long baseline length stereo camera Sab cannot measure an object that does not exist in the overlapping region Rab.
- the baseline length L2 (FIG. 4) of the long baseline length stereo camera Sub is longer than the baseline length L1 (FIG. 4) of the distance measuring camera 10 alone, it is possible to measure an object that exists farther than a predetermined distance. The distance accuracy can be improved as compared with the distance measuring camera 10 alone.
- the integration unit 20 sets a predetermined distance at the boundary where the long baseline length stereo camera Sab has higher distance measurement accuracy than the distance measurement camera 10 alone as the distance threshold THL, and among the objects existing in the overlapping region Rab. For objects located farther than the distance threshold THL from the distance measuring camera 10, the distance measurement result by the long baseline length stereo camera Sub is adopted, and for objects existing in the regions Ra and Rb closer to the distance threshold THL, the distance is measured. The distance measurement result of the camera 10 alone is adopted.
- the integration unit 20 adopts the distance measurement result of the distance measurement camera 10 alone for an object that cannot be distance-measured by the long baseline length stereo camera Sub.
- the integration unit 20 measures an object whose exact distance is known, and executes self-calibration of the long baseline length stereo camera Sub based on the difference between the accurate distance and the distance measurement result.
- the distance measuring camera 10b is arranged in the angle of view range AOVa of the distance measuring camera 10a, and the distance measuring camera 10b captured by the distance measuring camera 10a is reflected in the integrated unit 20.
- the baseline length of the stereo camera Sub and its inclination may be determined and corrected based on the image.
- FIG. 2 is a block diagram showing a detailed internal configuration example of the stereo camera system 1.
- the distance measuring camera 10 is a stereo camera having a first imaging unit 11 and a second imaging unit 13.
- the distance measuring camera 10 has a first imaging unit 11, a distortion correction unit 12, a second imaging unit 13, a distortion correction unit 14, and a distance calculation unit 15.
- the first imaging unit 11 of the ranging camera 10a will be referred to as the first imaging unit 11a by adding a to the code thereof.
- the first imaging unit 11 has, for example, a condensing unit 31 (FIG. 3) made of a wide-angle lens, a fisheye lens, or the like, and a high-resolution image sensor 32 (FIG. 3) made of CMOS (Complementary Metal Oxide Semiconductor) or the like.
- CMOS Complementary Metal Oxide Semiconductor
- the first imaging unit 11 outputs the first image to the distortion correction unit 12.
- the distortion correction unit 12 corrects the image distortion occurring in the first image and outputs it to the distance calculation unit 15.
- the second imaging unit 13 has, for example, a condensing unit 33 (FIG. 3) made of a wide-angle lens, a fisheye lens, or the like, and a low-resolution image sensor 34 (FIG. 3) made of CMOS or the like.
- a condensing unit 33 (FIG. 3) made of a wide-angle lens, a fisheye lens, or the like
- a low-resolution image sensor 34 (FIG. 3) made of CMOS or the like.
- the second imaging unit 13 outputs the second image to the distortion correction unit 14.
- the distortion correction unit 14 corrects the image distortion occurring in the second image and outputs it to the distance calculation unit 15.
- FIG. 3 shows an example of the positional relationship between the first imaging unit 11 and the second imaging unit 13 in the ranging camera 10.
- the first imaging unit 11 and the second imaging unit 13 are arranged apart by a baseline length L1 (for example, several cm) in a direction perpendicular to the road surface. Since the first imaging unit 11 and the second imaging unit 13 have a common angle of view range in the direction horizontal to the road surface, it is possible to suppress the occurrence of occlusion.
- the high-resolution image sensor 32 of the first imaging unit 11 and the low-resolution image sensor 34 of the second imaging unit 13 have different resolutions. Therefore, the first image obtained from the high-resolution image sensor 32 has a higher resolution than the second image obtained from the low-resolution image sensor 34. Since the low-resolution image sensor 34 is cheaper than the high-resolution image sensor 32, the production cost can be suppressed accordingly. However, the resolutions of the high-resolution image sensor 32 and the low-resolution image sensor 34 may be unified.
- the distance calculation unit 15 calculates the distance to an object shown in both the first image and the second image by stereo matching processing based on the first image and the second image corrected for image distortion, and determines the distance. Output to unit 23.
- the distance measuring camera 10b is configured in the same manner as the distance measuring camera 10a, the description thereof will be omitted.
- FIG. 4 shows an example of the positional relationship between the first imaging unit 11a and the second imaging unit 13a of the ranging camera 10a and the first imaging unit 11b and the second imaging unit 13b of the ranging camera 10b.
- the distance measuring camera 10a and the distance measuring camera 10b forming the long baseline length stereo camera Sab are arranged in a direction horizontal to the road surface, for example, several meters apart. Therefore, the baseline length L2 of the long baseline length stereo camera Sub is also several m, which is longer than the baseline length L1 of the distance measuring camera 10 alone. Therefore, the long baseline length stereo camera Sub can realize high distance measurement accuracy as compared with a single distance measurement camera 10.
- the integration unit 20 is composed of, for example, a CPU (Central Processing Unit), a memory, a communication I / F, and the like, and realizes each functional block of the image acquisition unit 21, the distance calculation unit 22, and the distance determination unit 23.
- a CPU Central Processing Unit
- memory a memory
- communication I / F a communication I / F
- the image acquisition unit 21 acquires a high-resolution first image a from the distortion correction unit 12a of the distance measuring camera 10a, acquires a high-resolution first image b from the distortion correction unit 12b of the distance measuring camera 10b, and calculates the distance. Output to unit 22.
- the distance calculation unit 22 calculates the distance to the object shown in both the first images a and b by stereo matching processing based on the two first images a and b, and outputs the distance to the distance determination unit 23. ..
- the image acquisition unit 21 acquires low-resolution second images a and b from the distance measuring cameras 10a and 10b, and the distance calculation unit 22 calculates the distance to the object based on the second images a and b. You may try to do it. However, the stereo matching process can be performed with higher accuracy by using the high-resolution first images a and b than when using the low-resolution second images a and b, so that the measurement can be obtained. The distance result can also be obtained with higher accuracy.
- the distance determination unit 23 adopted the distance measurement result of the distance measurement camera 10 alone for the object whose measurement result was less than the distance threshold THL (for example, 10 m), and the measurement result was the distance threshold THL or more. For the object, it is determined that the distance measurement result by the long baseline length stereo camera Sub, that is, the calculation result by the distance calculation unit 22 is adopted. Further, the distance determination unit 23 determines that the distance measurement result of the distance measurement camera 10 alone is adopted even for an object that cannot be distance-measured by the long baseline length stereo camera Sub.
- THL for example, 10 m
- the distance determination unit 23 for some reason (when stereo matching cannot be performed, in the case of failure, etc.), one of the distance measuring camera 10 alone and the long baseline length stereo camera Sab cannot obtain the distance measurement result, and the other When the distance measurement result is obtained, it is determined that the other distance measurement result is adopted. Then, the distance determination unit 23 outputs the distance measurement result corresponding to the determination result to a predetermined device (not shown) or the like.
- the distance measurement result by the distance measuring camera 10 alone and the long baseline length stereo camera A predetermined calculated value (for example, a weighted average value) using the distance measurement result by Sub may be adopted.
- the distance measurement result of the object output to the predetermined device can be displayed on a display as a 3D image, supplied to the ECU (Electronic Control Unit) of the automobile equipped with the stereo camera system 1, or sent to a predetermined server. You may send it.
- ECU Electronic Control Unit
- FIGS. 5 to 7 show the distance measurement accuracy with respect to the distance to the object by the long baseline length stereo camera Sub and the distance measurement camera 10 alone.
- the horizontal axis of each figure shows the actual distance to the object to be distanced, and the vertical axis shows the distance measurement accuracy.
- the distance measurement accuracy indicates the error of the distance measurement result with respect to the actual distance as a percentage, and in each figure, the smaller the value, the higher the distance measurement accuracy.
- the long baseline length stereo camera Sub cannot measure the distance by occlusion, and the distance is longer than the predetermined distance.
- distance threshold THL distance threshold
- the long baseline length stereo camera Sub has higher distance measurement accuracy than the distance measurement camera 10 alone is shown.
- a predetermined distance is set as the distance threshold value THL, and for an object existing closer than the distance threshold value THL, the distance measurement result by the distance measuring camera 10 alone is adopted, and the object existing farther than the distance threshold value THL is adopted.
- the distance measurement result by the long baseline length stereo camera Sub is adopted. At this time, for example, only the distance measuring camera is operated in normal times, and the long baseline stereo camera is operated only when it is determined that distance measurement is necessary at a distant distance where the required distance measuring accuracy cannot be satisfied. , It is also possible to measure the distance.
- the distance measuring accuracy of the distance measuring camera 10 alone is higher than that of the long baseline length stereo camera Sub.
- the long baseline length stereo camera Sub shows a case where the distance measurement accuracy is higher than that of the distance measurement camera 10 alone.
- a predetermined distance is set as the distance threshold THL, and for an object existing closer than the distance threshold THL, the distance measurement result by the distance measuring camera 10 alone is adopted, and the object exists farther than the distance threshold THL.
- the distance measurement result by the long baseline length stereo camera Sub is adopted.
- FIG. 7 shows the distance measurement accuracy before and after self-calibration by the integrated unit 20.
- the predetermined distance indicated by the broken line parallel to the vertical axis in which the superiority or inferiority of the distance measurement accuracy of the distance measurement camera 10 alone and the distance measurement accuracy of the long baseline length stereo camera Sub is reversed changes.
- the distance threshold THL is also changed after the self-calibration.
- only the long baseline length stereo camera Sub is self-calibrated, but the range-finding camera 10 may be self-calibrated as a single unit.
- FIG. 8 is a flowchart for explaining an example of operation by the stereo camera system 1.
- each processing unit integrated unit 20, image acquisition unit 21, distance calculation unit 22, distance determination unit 23, etc.
- a travel control ECU or another processor may be the main operating body (hereinafter, the same applies to the operation description based on the flowchart in each embodiment).
- This operation is started, for example, in response to a predetermined operation from the user.
- the distance measuring cameras 10a and 10b measure the distance of an object existing in their own angle of view range as a single unit, and output the distance measuring result to the integration unit 20 (step S1).
- the first imaging unit 11a images the angle of view range AOVa
- the first image a obtained as a result is output to the distortion correction unit 12a
- the distortion correction unit 12a is the first image.
- the image distortion occurring in a is corrected and output to the distance calculation unit 15a.
- the second imaging unit 13a images the angle of view range AOVa, outputs the second image a obtained as a result to the distortion correction unit 14a, and the distortion correction unit 14a produces an image in the second image a.
- the distortion is corrected and output to the distance calculation unit 15a.
- the distance calculation unit 15a performs stereo matching processing based on the first image a and the second image a corrected for image distortion, and the distance to the object reflected in both the first image a and the second image a. Is calculated and output to the distance determination unit 23.
- the distance measuring camera 10b also performs the same operation as the distance measuring camera 10a described above at the same time, but the description thereof will be omitted.
- the integration unit 20 regards the ranging cameras 10a and 10b as one long baseline length stereo camera Sub and measures the distance of the object (step S2).
- the image acquisition unit 21 of the integration unit 20 receives a high-resolution first image a from the distortion correction unit 12a of the distance measuring camera 10a, and a high-resolution first image from the distortion correction unit 12b of the distance measuring camera 10b. b is acquired and output to the distance calculation unit 22. Then, the distance calculation unit 22 is reflected in both the first images a and b by the stereo matching process based on the high-resolution first images a and b with the image distortion corrected, that is, the overlapping region Rab (FIG. The distance to the object existing in 1) is calculated and output to the distance determination unit 23.
- the distance determination unit 23 determines that the distance measurement result by the long baseline length stereo camera Sub is adopted for the object whose measurement result is the distance threshold THL or more, and the object whose measurement result is less than the distance threshold THL. Determines that the distance measuring camera 10a or 10b adopts the distance measuring result calculated by itself. Then, the distance determination unit 23 outputs the distance measurement result corresponding to the determination result to a predetermined device (not shown) or the like (step S3).
- steps S1 to S3 are repeatedly executed until an operation instructing the end of the operation is input from the user.
- the stereo camera system 1 it is possible to accurately measure an object existing in the angle of view range of the two distance measuring cameras 10 according to the distance.
- FIG. 9 is a diagram showing a configuration example of the vehicle-mounted stereo camera system 2 according to the second embodiment.
- the components of the in-vehicle stereo camera system 2 those that are common to the components of the stereo camera system 1 (FIG. 2) are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
- the in-vehicle stereo camera system 2 is mounted on the automobile 40.
- the in-vehicle stereo camera system 2 is for detecting an object existing all around the automobile 40.
- the in-vehicle stereo camera system 2 includes distance measuring cameras 10a, 10b, 10c, 10d, and integrated units 20ab, 20bc, 20cd, 20ad.
- the ranging cameras 10a to 10d can be arranged at the four corners of the automobile 40. That is, for example, the ranging camera 10a is arranged in the right front corner of the automobile 40 toward the right front, the ranging camera 10b is arranged in the right rear corner of the automobile 40 toward the right rear, and the ranging camera 10c is arranged in the right rear direction.
- the distance measuring camera 10d is arranged in the left rear corner of the 40 toward the left rear direction, and the ranging camera 10d is arranged in the left front corner of the automobile 40 toward the left front direction.
- the arrangement of the distance measuring cameras 10a to 10d is not limited to the above-mentioned example, and may be arranged in a portion protruding from the vehicle body such as a door mirror.
- the integrated units 20ab, 20bc, 20cd, and 20ad are configured in the same manner as the integrated unit 20 (FIG. 2), respectively.
- the integrated unit 20ab is connected to the ranging cameras 10a and 10b, and acquires the ranging results as a single unit from each of the ranging cameras 10a and 10b. Further, the integrated unit 20ab regards the distance measuring cameras 10a and 10b as a long baseline length stereo camera Sub and measures an object. Then, the integrated unit 20ab outputs the distance measurement result of each of the distance measurement cameras 10a and 10b as a single unit or the distance measurement result by the long baseline length stereo camera Sab to the traveling control ECU 50.
- the integrated unit 20bc is connected to the ranging cameras 10b and 10c, and acquires the ranging results as a single unit from each of the ranging cameras 10b and 10c. Further, the integrated unit 20bc regards the distance measuring cameras 10b and 10c as the long baseline length stereo camera Sbc and measures the object. Then, the integrated unit 20bc outputs the distance measurement result of each of the distance measurement cameras 10b and 10c as a single unit, or the distance measurement result by the long baseline length stereo camera Sbc to the traveling control ECU 50.
- the integrated unit 20cd is connected to the ranging cameras 10c and 10d, and obtains the ranging results as a single unit from each of the ranging cameras 10c and 10d. Further, the integrated unit 20cd regards the ranging cameras 10c and 10d as the long baseline length stereo camera Scdd and measures the object. Then, the integrated unit 20cd outputs the distance measurement result of each of the distance measurement cameras 10c and 10d as a single unit, or the distance measurement result by the long baseline length stereo camera Scd to the traveling control ECU 50.
- the integrated unit 20ad is connected to the ranging cameras 10a and 10d, and acquires the ranging results as a single unit from each of the ranging cameras 10a and 10d. Further, the integrated unit 20ad measures the object by regarding the distance measuring cameras 10a and 10d as the long baseline length stereo camera Sad.
- the integrated unit 20ad outputs the distance measurement result of each of the distance measurement cameras 10a and 10d as a single unit, or the distance measurement result by the long baseline length stereo camera Sad to the traveling control ECU 50.
- the traveling control ECU 50 included in the automobile 40 controls various functions in the automobile 40.
- the travel control ECU 50 detects objects existing in the entire surroundings based on the distance measurement result input from each integrated unit 20, and realizes an automatic driving function, an automatic braking function, an automatic tracking function, and the like.
- the integrated units 20ab, 20bc, 20cd, and 20ad may be integrally formed with the distance measuring camera 10 connected to each of them. Further, the traveling control ECU 50 may be made to execute the operation by the integrated unit 20ab, 20bc, 20cd, 20ad.
- FIG. 10 shows the angle of view range of each ranging camera 10 in the in-vehicle stereo camera system 2.
- Each distance measuring camera 10 in the in-vehicle stereo camera system 2 has a wider angle of view than each distance measuring camera 10 in the stereo camera system 1 (FIG. 1), and has an angle of view range of, for example, about 240 °.
- the angle-of-view range AOVa includes an overlapping region Rab overlapping with the angle-of-view range AOVb of the range-finding camera 10b arranged in the right rear corner of the automobile 40. And an overlapping region Rad that overlaps with the angle of view range AOVd of the distance measuring camera 10d arranged in the left front corner of the automobile 40, and an occlusion region Ba that does not overlap the angle of view ranges AOVb and AOVd.
- the object existing in the overlapping region Rab can be measured by the distance measuring camera 10a alone, and can be measured by the long baseline length stereo camera Sab including the distance measuring cameras 10a and 10b.
- the object existing in the overlapping region Rad can be measured by the distance measuring camera 10a alone, and can be measured by the long baseline length stereo camera Sad composed of the distance measuring cameras 10a and 10d.
- the object existing in the occlusion area Ba can be measured only by the distance measuring camera 10a alone. Therefore, as shown in FIG. 11, the general unit 20ab sets the distance threshold value THL that determines the range Ra for adopting the distance measurement result by the distance measurement camera 10a alone to the farthest distance from the distance measurement camera 10a to the occlusion area Ba. You can set it to a large value.
- the integrated unit 20ab determines that the distance measurement result by the long baseline length stereo camera Sab is adopted for the object whose measurement result is the distance threshold value THL or more, and measures the object whose measurement result is less than the distance threshold value THL. It may be determined that the distance measurement result by the distance camera 10a alone is adopted, and the distance measurement result corresponding to the determination result may be output to the traveling control ECU 50.
- the case of paying attention to the distance measuring cameras 10b to 10d is the same as the case of paying attention to the distance measuring cameras 10a described above, and thus the description thereof will be omitted.
- FIG. 12 shows a configuration example of a stereo camera 101 that can be used as the distance measuring camera 10.
- the stereo camera 101 includes an upper hyperboloid mirror 102, a lower hyperboloid mirror 103, an imaging optical system 104, an image sensor 105, a drive control unit 118, and an image processing unit 119.
- the upper hyperboloid mirror 102 and the lower hyperboloid mirror 103 are mirrors having a convex hyperboloid.
- the upper hyperboloid mirror 102 and the lower hyperboloid mirror 103 share a common central axis, and are arranged vertically at predetermined intervals in the directions in which the vertices face each other.
- the upper hyperboloid mirror 102 has an opening 106 at the apex portion.
- the lower side hyperboloid mirror 103 includes an outer peripheral side hyperboloid mirror 107 having a common central axis and different curvatures, and an inner peripheral side hyperboloid mirror 108. There may be a slight step at the boundary between the outer peripheral side hyperboloid mirror 107 and the inner peripheral side hyperboloid mirror 108.
- the imaging optical system 104 is composed of one or more lenses and is arranged in the aperture 106.
- the imaging optical system 104 converges the light reflected by the lower hyperboloid mirror 103 and causes it to enter the image sensor 105.
- the image sensor 105 is made of, for example, CMOS, and under the control of the drive control unit 118, generates an output image 117 based on the light incident through the imaging optical system 104 and outputs the output image 117 to the drive control unit 118.
- the drive control unit 118 controls the drive of the image sensor 105. Further, the drive control unit 118 supplies the output image 117 output by the image sensor 105 to the image processing unit 119.
- the image processing unit 119 generates the three-dimensional position information 120 of the subject 109 based on the supplied output image 117.
- the general properties of the hyperboloid mirror forming the upper hyperboloid mirror 102, the outer peripheral side hyperboloid mirror 107, and the inner peripheral side hyperboloid mirror 108 will be described.
- the hyperboloids of the upper hyperboloid mirror 102, the outer peripheral side hyperboloid mirror 107, and the inner peripheral side hyperboloid mirror 108 each have a conical constant ⁇ smaller than -1 in the quadric surface represented by the following equation (1). Corresponds to the case.
- z (r) in the equation (1) is the sag amount of the surface in the optical axis direction with the apex on the optical axis as the origin.
- c is the curvature on the optical axis (curvature on the axis).
- r is the radial coordinate from the optical axis.
- a hyperboloid has two focal points.
- the coordinates of the two focal points are expressed by the following equation (2) with respect to the surface vertices.
- ⁇ in equation (2) represents the coordinates of the focal point inside the hyperboloid.
- ⁇ in equation (2) is ⁇ , it represents the coordinates of the focal point outside the hyperboloid.
- the focal point inside the hyperboloid is referred to as a first focal point
- the focal point outside the hyperboloid is referred to as a second focal point.
- the hyperboloid mirror has the property of condensing the reflected light to the second focal point when the light beam directed to the first focal point is reflected by the hyperboloidal surface. On the contrary, the hyperboloid mirror has a property of reflecting the light emitted from the second focal point as if it was emitted from the first focal point.
- FIG. 13 is a cross-sectional view showing the relationship between the upper hyperboloid mirror 102, the outer peripheral hyperboloid mirror 107, and the inner peripheral hyperboloid mirror 108.
- the relationship between the upper hyperboloid mirror 102, the outer peripheral hyperboloid mirror 107, and the inner peripheral hyperboloid mirror 108 is that the second focus 1022 of the upper hyperboloid mirror 102 is the first focus 1081 of the inner peripheral hyperboloid mirror 108. It is designed to match. Further, this coincidence point does not have to substantially coincide with the first focal point 1071 of the outer peripheral side hyperboloid mirror 107, but is set to be located in the vicinity.
- the second focus 1072 of the outer peripheral side hyperboloid mirror 107 is made to substantially coincide with the second focus 1082 of the inner peripheral side hyperboloid mirror 108.
- An imaging optical system 104 is arranged at this coincidence point. This coincidence point does not have to substantially coincide with the first focal point 1021 of the upper hyperboloid mirror 102, but is set to be located in the vicinity.
- the light 112 directed to the first focal point (upper viewpoint) 1021 of the upper hyperboloid mirror 102 is the upper hyperboloid mirror 102. Is reflected by and focused on the second focal point 1022 of the upper hyperboloid mirror 102.
- the second focus 1022 of the upper hyperboloid mirror 102 substantially coincides with the first focus 1081 of the inner peripheral side hyperboloid mirror 108. Therefore, the light focused on the second focal point 1022 of the upper hyperboloidal mirror 102 can be regarded as the light directed to the first focal point 1081 of the inner peripheral hyperboloidal mirror 108, so that this light is the inner peripheral hyperboloidal mirror 108. It is reflected again by the mirror 108 and focused on the second focal point 1082 of the inner peripheral side hyperboloid mirror 108.
- the light 114 directed to the first focal point (lower viewpoint) 1071 of the outer peripheral side hyperboloid mirror 107 is reflected by the outer peripheral side hyperboloid mirror 107, and the outer peripheral side hyperboloid mirror 107 It is focused and reflected toward the second focal point 1072.
- the second focal point 1072 of the outer peripheral side hyperboloidal mirror 107 and the second focal point 1082 of the inner peripheral side hyperboloidal mirror 108 substantially coincide with each other, and the imaging optical system 104 is arranged at this coincidence point. Therefore, the reflected light reflected by the upper double-curved mirror 102 and further reflected by the inner peripheral double-curved mirror 108 and the reflected light reflected by the outer peripheral double-curved mirror 107 are simultaneously imaged by the imaging optical system 104. It is incident on the sensor 105.
- the image 115 of the subject 109 seen from the upper viewpoint (first focus) 1021 is projected on the inner peripheral side, and at the same time, the subject seen from the lower viewpoint (first focus) 1071 is projected on the outer peripheral side.
- An output image 117 on which the image 116 of 109 is captured can be generated.
- the output image 117 obtained in this way is supplied to the image processing unit 119 via the drive control unit 118, as shown in FIG.
- the image processing unit 119 separates the output image 117 into an inner peripheral region where the image 115 is copied and an outer peripheral region where the image 116 is copied, and performs a projective conversion process on each of them, and the resulting image 2 is obtained.
- Stereo matching processing is performed on the image to generate the three-dimensional position information 120 of the subject 109.
- the generated three-dimensional position information 120 is supplied to the integration unit 20 (FIG. 1).
- the absolute value of the conical constant ⁇ of the inner peripheral side hyperboloidal mirror 108 is set to a value larger than the absolute value of the conical constant ⁇ of the outer peripheral side hyperboloidal mirror 107.
- the resolutions of the image 115 and the image 116 can be matched, and the accuracy of the stereo matching process can be improved.
- a hyperboloid mirror having a larger diameter than the lower hyperboloid mirror 103 is adopted as the upper hyperboloid mirror 102.
- the diameter of the upper hyperboloid mirror 102 is larger than that of the lower hyperboloid mirror 103, the light rays having an upward angle of view of the lower viewpoint 1071 can be received by the upper viewpoint 1021, and the upper and lower angles of view can be viewed in stereo. It is possible to secure the widest range as much as possible.
- the lower hyperboloid mirror 103 is separated into the outer peripheral hyperboloid mirror 107 and the inner peripheral hyperboloid mirror 108. Therefore, the viewing range of the lower viewpoint 1071 is inevitably narrowed.
- the upper hyperboloid mirror 102 including the imaging optical system 104 having a large aperture is arranged on the upper side, and the lower hyperboloid mirror 103 having a smaller aperture is arranged on the lower side. Even if the vertical positional relationship is reversed, there is no practical problem.
- the stereo camera 101 when the stereo camera 101 is arranged at the four corners of the automobile 40, there is a problem that the angle of view range that can be viewed in stereo is not so wide.
- the stereo camera 101 in order to use the stereo camera 101 for ambient sensing applications for fully automatic driving, it is essential to photograph the vicinity of the automobile, and it is necessary to secure a downward angle of view range.
- the light having a downward angle of view incident on the upper viewpoint 1021 can cover a wider range than the angle of view range incident on the lower viewpoint 1071.
- the upper viewpoint 1021 can be used for monocular viewing, but it is possible to photograph the vicinity of the automobile. Images in the vicinity of the automobile are mainly required to detect white lines such as the center line drawn on the road surface, but since it is known that the white lines are drawn on the road surface, the distance should be measured even with a single eye. Is possible. Therefore, it is effective to arrange the larger upper hyperboloid mirror 102 in which the imaging optical system 104 is arranged on the upper side.
- FIG. 14 shows an example of the radius of curvature r, the conical constant ⁇ , the apex position, and the diameter of the upper hyperboloid mirror 102, the outer peripheral hyperboloid mirror 107, and the inner peripheral hyperboloid mirror 108.
- the radius of curvature r of the upper hyperboloid mirror 102 is 15 mm
- the conical constant ⁇ is -3.1
- the apex position is 0 mm
- the diameter is 34 mm
- the radius of curvature r of the outer peripheral hyperboloid mirror 107 is -17 mm.
- the conical constant ⁇ is -2.94
- the apex position is -18.5056 mm
- the diameter is 25 mm
- the radius of curvature r of the inner peripheral hyperboloid mirror 108 is -22 mm
- the conical constant ⁇ is -130
- the apex position is -18.5086 mm.
- the diameter is 9 mm.
- FIG. 14 is only an example, and any upper hyperboloid mirror 102, outer peripheral hyperboloid mirror 107, and inner peripheral hyperboloid mirror 108 can be adopted for the stereo camera 101.
- FIG. 15 is a diagram for explaining the concept of image processing of the stereo camera system according to the third embodiment.
- 10d and 10a in FIG. 9 are the stereo cameras 101, and stereo cameras having a baseline length perpendicular to the road surface are arranged on the left and right sides in front of the vehicle.
- four images of the left viewpoint and the upper viewpoint 1501a, the left viewpoint and the lower viewpoint 1501b, the right viewpoint and the upper viewpoint 1501c, and the right viewpoint and the lower viewpoint 1501d can be acquired as the images to be acquired.
- FIG. 15 it is shown as a diagram after the projective transformation. It is assumed that the acquired image shows a nearby vehicle 1502 and a distant vehicle 1503, respectively.
- stereo matching processing is performed vertically in the region 1504 in a predetermined range of 1501b in order to obtain the parallax in the direction perpendicular to the road surface.
- the process of comparing the region 1504 in the predetermined range of 1501b with the 1501a and calculating the correlation is performed while shifting the position of the target 1501a in the scanning direction 1505, and the position having the highest correlation is block-matched.
- Judge and find the parallax By performing the same processing on the entire 1501b, a parallax image is obtained, and a distance image is obtained from the relationship between the baseline length and the focal length of the objective lens.
- stereo matching processing is performed in the horizontal direction in the region 1506 in a predetermined range of 1501c in order to obtain the parallax in the horizontal direction on the road surface.
- the distance measurement accuracy at a distance is inferior to that of the long baseline length stereo camera, but the approximate block matching position of the long baseline length stereo camera can be estimated.
- stereo matching can be performed by scanning 1507 in the horizontal direction before and after the estimated block matching position. If there is no distance measurement result of the stereo camera 101, it is necessary to scan in the maximum expected scanning range, but in comparison with that, if there is a distance measurement result of the stereo camera 101, the scanning range is shortened. be able to.
- the parallax With a long baseline length stereo camera, the parallax becomes large and the scanning range becomes long, so that the effect of limiting the scanning range is great.
- the distance image is obtained from the relationship between the baseline length of the stereo camera and the focal length of the objective lens.
- the distance measuring cameras 10d and 10a are described on the assumption that the baseline length is in the direction perpendicular to the road surface, but even if the distance measuring cameras 10d and 10a have the baseline length in the horizontal direction with respect to the road surface, stereo matching is performed. Only the scanning direction changes horizontally, and the calculation load or the processing time can be shortened in the same manner for a long baseline length stereo camera.
- distance measurement results of the distance measurement cameras 10d and 10a have been described as being used for the long baseline length stereo camera, it is also possible to use the distance measurement results of the long baseline length stereo camera for the distance measurement camera.
- FIG. 16 is a block diagram showing a detailed configuration example of the stereo camera system 1, and the same reference numbers are assigned to the same components as those in FIG. 2 in the first embodiment.
- the distance measuring camera 10b will be described instead of the distance measuring camera 10d, but the processing content will not change.
- the distance calculation process between the distance measuring camera 10a and the distance measuring camera 10b is the same as in FIG. 2, but the distance calculation unit 22 of the long baseline length stereo camera in the integrated unit 20 calculates the distance between the distance measuring camera 10a or the distance measuring camera 10b. The difference is that the results of the department are used.
- the distance calculation unit 22 performs the stereo matching process. As described above, the scanning range for stereo matching can be shortened by using the result of the distance calculation of the distance measuring camera 10a or the distance measuring camera 10b.
- the results of the distance calculation units of both the distance measurement camera 10a and the distance measurement camera 10b are input to the distance calculation unit 22, but only one of the results may be used, or both results may be used. You may judge by.
- FIG. 17 is a flowchart illustrating an example of operation by the stereo camera system 1.
- the flow is such that step S1701 is added between steps S1 and S2 in the flowchart of FIG. 8 in the first embodiment.
- step S1701 the scanning range of stereo matching of a long baseline length stereo camera composed of two adjacent distance measuring cameras is calculated from the distance measuring result calculated in step S1. Therefore, in step S2, the scanning range of stereo matching can be shortened as compared with the first embodiment, and the calculation load can be reduced or the processing time can be shortened.
- FIG. 18 is a diagram for explaining the concept of image processing of the stereo camera system according to the fourth embodiment.
- 10d and 10a in FIG. 9 are stereo cameras 101, and stereo cameras having a baseline length perpendicular to the road surface are arranged on the left and right sides in front of the vehicle. Think of it as a premise.
- FIG. 15 shows the figure after the projective transformation. It is assumed that the acquired image shows a nearby vehicle 1502 and a distant vehicle 1503, respectively. The alternate long and short dash line in the figure indicates the front position in the image of each viewpoint.
- stereo matching processing is performed on the entire range of the acquired image.
- object detection and object recognition in front are important, so it is possible to reduce the range of stereo matching centered on the front in the horizontal direction. it can.
- stereo matching processing may be performed on the acquired images 1501a, 1501b, 1501c, 1501d of each viewpoint using the processing ranges 1801a, 1801b, 1801c, 1801d.
- the calculation load can be reduced or the processing time can be shortened during high-speed driving.
- the horizontal angle of view is large, the range in which the stereo matching processing should be performed is wide, so that the effect of limiting the processing range is great.
- the front does not necessarily have to be the center, and it may be reduced not only in the horizontal direction but also in the vertical direction.
- the part corresponding to the reduced range of the image sensor may be calculated before the projective transformation, and the target range may be reduced before the projective transformation.
- FIG. 19 is a block diagram showing a detailed configuration example of the stereo camera system 1, and the same reference numbers are assigned to the same components as those in FIG. 2 in the first embodiment.
- the distance measuring camera 10b will be described instead of the distance measuring camera 10d, but the processing content will not change.
- the image extraction units 1901a, 1901b, 1902a, 1902b, and the vehicle speed detection unit 1903 are added.
- the first imaging unit 11a outputs the acquired first image to the image extraction unit 1901a.
- the image extraction unit 1901a receives information on the speed of the vehicle from the vehicle speed detection unit 1903, and determines an image extraction range according to the speed of the vehicle.
- the image extraction unit 1901a outputs the extracted first image to the distortion correction unit 12a.
- the image extraction units 1901b, 1902a, and 1902b are the same as those of 1901a, and the other processes are the same as those of the first embodiment, and thus the description thereof will be omitted.
- an image extraction unit is added between the image pickup unit and the distortion correction unit, but an image extraction unit may be provided between the distortion correction unit and the distance calculation unit, and an image extraction unit may be provided later. It does not matter if there is a part. Further, these processes may be processes performed in the travel control ECU.
- FIG. 20 is a flowchart illustrating an example of operation by the stereo camera system 1. The flow is such that step S2001 is added before step S1 in the flowchart of FIG. 8 in the first embodiment. In step S2001, the image extraction range is changed according to the vehicle speed.
- steps S1 and S2 the range in which the stereo matching process is performed can be reduced during high-speed running as compared with the first embodiment, and the calculation load can be reduced or the processing time can be shortened.
- FIG. 21 is a diagram for explaining the concept of image processing of the stereo camera system according to the fifth embodiment.
- the image acquired by the ranging camera 10a on the right front side of FIG. 9 is shown as 2101.
- FIG. 21 shows the figure after the projective transformation. It is assumed that the acquired image has a horizontal angle of view of approximately 270 degrees, and the alternate long and short dash line in the figure indicates the left, front, right, and rear positions in order from the left.
- map information for example, it is possible to link with an in-vehicle navigation system, acquire the map information used there, and judge the road condition
- road-to-vehicle communication may be used, or road-to-vehicle communication or It may be acquired by inter-vehicle communication or the like.
- an arbitrary image extraction range can be set according to the road conditions.
- only the range-finding camera performs stereo matching processing, and when it becomes necessary to perform distance measurement within a predetermined range from the range-finding camera, the long baseline length stereo camera processes the stereo matching process within a predetermined range. It is also possible to do.
- the part corresponding to the reduced range of the image sensor may be calculated before the projective transformation, and the target range may be reduced before the projective transformation.
- FIG. 22 is a block diagram showing a detailed configuration example of the stereo camera system 1, and the same reference numbers are assigned to the same components as those in FIG. 2 in the first embodiment.
- the stereo camera system 1 has a configuration in which image extraction range selection units 2201a and 2201b are added instead of the vehicle speed detection unit 1903.
- the first imaging unit 11a outputs the acquired first image to the image extraction unit 1901a.
- the image extraction unit 1901a receives information on the image extraction range according to the road condition from the image extraction range selection unit 2201a, and determines the image extraction range.
- the image extraction unit 1901a outputs the extracted first image to the distortion correction unit 12a.
- the image extraction range selection unit 2201b executes the same processing as the image extraction range selection unit 2201a, and the image extraction units 1901b, 1902a, and 1902b execute the same processing as the image extraction range 1901a. Since other processes are the same as those in the first embodiment, the description thereof will be omitted.
- an image extraction unit is added between the image pickup unit and the distortion correction unit, but an image extraction unit may be provided between the distortion correction unit and the distance calculation unit, and an image extraction unit may be provided later. It does not matter if there is a part. Further, these processes may be processes performed in the travel control ECU.
- FIG. 23 is a flowchart for explaining an example of operation by the stereo camera system 1. This operation is a process in which step S2301 is added before step S1 in the flowchart of FIG. 8 in the first embodiment. In step S2301, the image extraction range is changed according to the road condition.
- steps S1 and S2 the range in which the stereo matching process is performed can be reduced as compared with the first embodiment, and the calculation load can be reduced or the processing time can be shortened.
- FIG. 24 is a diagram showing an angle of view range in the horizontal direction with respect to the road surface of the vehicle-mounted stereo camera system 2 according to the sixth embodiment. Since the configuration of the vehicle-mounted stereo camera system 2 of this embodiment is the same as that of the second embodiment, the description thereof will be omitted. The difference between the present embodiment and the second embodiment lies in the horizontal angle of view of the ranging camera 10.
- the ranging cameras 10a, 10b, 10c, and 10d are arranged at the four corners of the vehicle, respectively. In order to eliminate blind spots, each ranging camera has a horizontal angle of view of approximately 270 degrees, assuming that the vehicle is rectangular when viewed from above.
- the horizontal angle of view may be optimized so that there is no blind spot according to the shape (for example, the integrated portions 20ab, 20bc, 20ad, and 20cd are optimal. Can be).
- a long baseline length stereo camera can be configured by the distance measuring cameras 10a and 10b, 10b and 10c, 10c and 10d, 10d and 10a, respectively, and the horizontal angle of view of the long baseline length stereo camera is 180 degrees.
- FIG. 25 is a diagram showing an angle of view range in the direction perpendicular to the road surface of the in-vehicle stereo camera system 2.
- the distance measuring camera is a stereo camera 101
- the vertical angle of view on the lower side may be set so that the left and right stereo cameras can see each other directly under the wheels.
- the lower vertical angle of view may be designed as described above from only one viewpoint.
- the blind spot is eliminated, so that it is possible to detect and recognize, for example, a white line, a vehicle stop, and a road shape near the vehicle.
- FIG. 26 is a diagram showing an angle of view range in the horizontal direction with respect to the road surface of the vehicle-mounted stereo camera system 2 according to the seventh embodiment. Since the configuration of the vehicle-mounted stereo camera system 2 of this embodiment is the same as that of the second embodiment, the description thereof will be omitted. The difference between the present embodiment and the second embodiment lies in the horizontal angle of view of the ranging camera 10.
- the ranging cameras 10a, 10b, 10c, and 10d are arranged on each of the four sides of the vehicle. In order to eliminate blind spots, each ranging camera has a horizontal angle of view of approximately 180 degrees, assuming that the vehicle is rectangular when viewed from above.
- the horizontal angle of view may be optimized so that there is no blind spot according to the shape (for example, the integrated portions 20ab, 20bc, 20ad, and 20cd are optimal. Can be).
- a long baseline length stereo camera can be configured by the distance measuring cameras 10a and 10b, 10b and 10c, 10c and 10d, 10d and 10a, respectively, and the horizontal angle of view of the long baseline length stereo camera is 90 degrees.
- FIG. 27 shows the angle of view range in the direction perpendicular to the road surface of the in-vehicle stereo camera system 2.
- the distance measuring camera is a stereo camera 101
- the vertical angle of view on the lower side may be set so that the stereo camera can see directly under the wheels.
- the lower vertical angle of view may be designed as described above from only one viewpoint.
- the blind spot is eliminated, so that it is possible to detect and recognize, for example, a white line, a vehicle stop, and a road shape near the vehicle.
- the distance measuring cameras are arranged at the corners of the vehicle
- the distance measuring cameras are arranged on the sides of the vehicle, but the arrangement of the four distance measuring cameras is arbitrarily changed. It is possible, and the horizontal angle of view may be set according to each arrangement position.
- FIG. 28 is a diagram showing a configuration example of the vehicle-mounted stereo camera system 2 according to the eighth embodiment.
- the components of the in-vehicle stereo camera system 2 those that are common to the components of the stereo camera system 1 (FIG. 2) are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
- the in-vehicle stereo camera system 2 of the present embodiment has a configuration in which a front distance measuring camera 2801 is added to the in-vehicle stereo camera system according to the second embodiment.
- the distance measuring camera 2801 can be realized by, for example, a TOF camera, a monocular camera using an image analysis method called optical flow, or the like, in addition to a stereo camera.
- the image and the distance image acquired by the front distance measuring camera 2801 are output to the integration unit 20ad. Further, the distance measurement result of the integrated unit 20ad is output to the front distance measurement camera 2801.
- FIG. 29 is a block diagram showing a detailed internal configuration example of the in-vehicle stereo camera system 2, and the same components as those in FIG. 2 in the first embodiment are shown by the same numbers.
- the distance calculation between the distance measuring camera 10a and the distance measuring camera 10b is the same as in FIG.
- the distance measuring camera 2801 is a stereo camera having a first imaging unit 2911 and a second imaging unit 2913.
- the distance measuring camera 2801 includes a first imaging unit 2911, a distortion correction unit 2912, a second imaging unit 2913, a distortion correction unit 2914, a distance calculation unit 2915, and an image recognition unit 2916.
- the distortion correction unit 2912 outputs the first image corrected for the image distortion to the image recognition unit 2916.
- the image recognition unit 2916 recognizes a vehicle, a pedestrian, or the like by using the first image corrected for image distortion and the distance information calculated by the distance calculation unit 2915.
- the range for image recognition can be specified by using the information of the distance calculation unit 2915 or the distance determination unit 23 of the long baseline length stereo camera.
- the horizontal angle of view of the front distance measuring camera 2801 is limited to the front, it can have a higher angle resolution than the distance measuring camera 10. That is, the same object can be acquired with a larger number of pixels than the distance measuring camera 10. Therefore, the distance is calculated by the distance determination unit 23 of the long baseline length stereo camera, and the image recognition is performed by the image recognition unit 2916 of the front distance measuring camera. Therefore, the front stereo camera alone has a low distance accuracy for a distant object. On the other hand, object recognition and highly accurate distance measurement are possible.
- FIG. 30 is a flowchart for explaining an example of operation by the in-vehicle stereo camera system 2. This operation is a process in which steps S3001 and step S3002 are added after step S3 in the flowchart of FIG. 8 in the first embodiment.
- step S3001 the range to be image-recognized by the front distance measuring camera is specified from the distance measuring result calculated in step S3.
- step S3002 image recognition is performed by the forward ranging camera 2701, which has a higher angular resolution than the ranging camera 10. Therefore, it is possible to improve the accuracy of image recognition as compared with the case where image recognition is performed by the distance measuring camera 10.
- vehicle control such as steering or braking is required as a result of image recognition, vehicle control is performed via the travel control ECU 50.
- FIG. 31 is a flowchart for explaining an example of operation by the in-vehicle stereo camera system 2 according to the ninth embodiment. Since the system configuration and the block diagram are the same as those in the eighth embodiment, the description thereof will be omitted.
- the distance measuring process is executed by the front distance measuring camera in step S3101 in parallel with steps S1 to S3 of the flowchart of FIG. 8 in the first embodiment.
- step S3102 the distance measurement result of the front distance measurement camera in step S3101 is compared with the distance measurement result in step 3.
- the distance measurement result at a distance is highly accurate because the long baseline length stereo camera has a longer baseline length than the front distance measurement camera. Therefore, if the distance measurement result of the front distance measuring camera deviates from the distance measurement result of step 3, the distortion correction parameter of the front distance measuring camera is corrected so as to approach the distance measurement result of step 3. This makes it possible to calibrate the front ranging camera. Specifically, the vanishing point error of the front ranging camera may be corrected based on the ranging result of the long baseline length stereo camera.
- FIG. 32 shows the distance measurement accuracy for the distance to the object by the long baseline length stereo camera and the front distance measurement camera 10.
- the horizontal axis of each figure shows the actual distance to the object to be distanced, and the vertical axis shows the distance measurement accuracy. If the long baseline length stereo camera has higher distance accuracy (smaller error) than the front distance measuring camera, the front distance measuring camera can reach the distance THL that is required for the front distance measuring camera. The distance measurement result may be adopted, and the distance measurement result of a long baseline length stereo camera may be adopted at a distance farther than that.
- the front distance measuring camera is operated in normal times, and the long baseline stereo camera is operated only when it is determined that distance measurement is necessary at a distant distance where the required distance measuring accuracy cannot be satisfied. It is also possible to measure the distance.
- the functions of the embodiment according to the present disclosure can also be realized by the program code of the software.
- a storage medium in which the program code is recorded is provided to the system or device, and the computer (or CPU or MPU) of the system or device reads out the program code stored in the storage medium.
- the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code itself constitute the present disclosure.
- Storage media for supplying such program codes include, for example, flexible disks, CD-ROMs, DVD-ROMs, hard disks, optical disks, magneto-optical disks, CD-Rs, magnetic tapes, non-volatile memory cards, and ROMs. Etc. are used.
- the OS operating system
- the processing enables the functions of the above-described embodiment to be realized. You may. Further, after the program code read from the storage medium is written in the memory on the computer, the CPU of the computer or the like performs a part or all of the actual processing based on the instruction of the program code, and the processing is performed. May realize the functions of the above-described embodiment.
- the program code of the software that realizes the function of the embodiment via the network, it is distributed as a storage means such as a hard disk or a memory of the system or a device or a storage medium such as a CD-RW or a CD-R.
- the computer (or CPU or MPU) of the system or device may read and execute the program code stored in the storage means or the storage medium at the time of use.
- each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
- control lines and information lines in the figure show what is considered necessary for explanation, and do not necessarily show all of them. You can think of almost all configurations as interconnected.
- Stereo camera system 2 In-vehicle stereo camera system 10 Distance measuring camera 11 First imaging unit 12 Distortion correction unit 13 Second imaging unit 14 Distortion correction unit 15 Distance calculation unit 20 Integration unit 21 Image acquisition unit 22 Distance calculation unit 23 Distance determination unit 31 Condensing unit 32 High-resolution image sensor 33 Condensing unit 34 Low-resolution image sensor 40 Automobile 50 Travel control ECU 101 Stereo camera 102 Upper hyperboloid mirror 103 Lower hyperboloid mirror 104 Imaging optical system 105 Image sensor 106 Aperture 107 Outer peripheral side hyperboloid mirror 108 Inner peripheral side hyperboloid mirror 109 Subject 115 Image 116 Image 117 Output image 118 Drive control unit 119 Image processing unit 120 3D position information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
ステレオカメラの測距のための処理負荷を低減する。本開示のステレオカメラシステムは、自己の画角範囲に存在する物体を撮像するとともに、物体を測距する複数の測距カメラと、測距カメラの対を長基線長ステレオカメラとし、測距カメラの対のそれぞれによって撮像された画像に基づいて物体を測距する統合部と、を備え、測距カメラもしくは統合部の画像処理範囲が変更可能なように構成されている(図15参照)。
Description
本開示は、ステレオカメラシステム、及び測距方法に関する。
自動車におけるユーザサポート機能として、自動運転、自動ブレーキ、自動追従等の開発、改良が進められている。これらのユーザサポート機能の実現には、自動車の周囲に存在する物体を検知する技術が共通して用いられており、特に、自動運転については、自動車の全周囲(周囲360°)の物体検知技術の確立が重要となる。
自動車の全周囲の物体検知技術としては、レーザパルスの反射戻り時間から物体までの距離を検出するLIDAR(Laser Imaging Detection and Ranging)を用いる方法が知られている。
また、ステレオカメラを用いて物体までの距離を測定する方法も知られている。例えば特許文献1には、車体に複数のステレオカメラユニットを配置し、各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、ステレオカメラユニット単体による短基線長撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラユニットによる長基線長撮像が可能な画像生成装置が開示されている。
しかしながら、LIDARを用いる方法の場合、LIDARだけでは画像を取得することができないので、検知した物体が何であるのかを認識するため、画像を撮影できるカメラを併用する必要がある。また、周囲に存在する自動車もLIDARを用いている場合、レーザ光が相互に干渉し合ってしまう可能性がある。
また、特許文献1に記載の画像生成装置では、短基線長撮像と長基線長撮像の画像処理は個別に行われており、測距のための処理負荷が増大してしまう。
本開示はこのような状況を鑑みてなされたものであって、長基線長のステレオカメラの測距のための処理負荷を低減する技術を提案する。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本開示の一態様に係るステレオカメラシステムは、自己の画角範囲に存在する物体を撮像するとともに、物体を測距する複数の測距カメラと、測距カメラの対を長基線長ステレオカメラとし、測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、測距カメラもしくは統合部の画像処理範囲が変更可能なように構成されている。
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではないことを理解する必要がある。
本開示の技術によれば、長基線長ステレオカメラの計算負荷を低減することが可能となる。
以下、本開示の技術に係る複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
また、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
また、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
また、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
また、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
(1)第1の実施形態
<ステレオカメラシステムの構成例>
図1は、第1の実施形態であるステレオカメラシステム1の構成例を示す図である。ステレオカメラシステム1は、測距カメラ10aおよび10bと、統合部20と、を備える。
<ステレオカメラシステムの構成例>
図1は、第1の実施形態であるステレオカメラシステム1の構成例を示す図である。ステレオカメラシステム1は、測距カメラ10aおよび10bと、統合部20と、を備える。
測距カメラ10aは、例えば、路面に対して垂直な方向(図面に対して垂直な方向)に配置された第1撮像部11a(図2)及び第2撮像部13a(図2)を有するステレオカメラを含む。測距カメラ10aは、画角範囲AOVaを撮像し、撮像結果として得られる画像を統合部20に出力する。また、測距カメラ10aは、単体として、画角範囲AOVaに存在する物体を測距する(距離を測定する)機能を有し、測距結果を統合部20に出力する。なお、測距カメラ10aは、ステレオカメラの他、例えば、TOF(time of flight)カメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。
同様に、測距カメラ10bは、例えば、路面に対して垂直な方向に配置された第1撮像部11b(図2)及び第2撮像部13b(図2)を有するステレオカメラを含む。測距カメラ10bは、画角範囲AOVbを撮像し、撮像結果として得られる画像を統合部20に出力する。また、測距カメラ10bは、単体として、画角範囲AOVbに存在する物体を測距する機能を有し、測距結果を統合部20に出力する。
なお、測距カメラ10bは、例えば、ステレオカメラの他、TOFカメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。
以下、測距カメラ10a、10bを個々に区別する必要が無い場合、単に測距カメラ10と称する。
統合部20は、測距カメラ10の対(測距カメラ10a、10b)を1つの長基線長ステレオカメラSabと見做して物体を測距する。
すなわち、統合部20は、測距カメラ10aと測距カメラ10bのそれぞれで撮像された画像を取得し、取得した画像を用いたステレオマッチング処理により、測距カメラ10aの画角範囲AOVaと測距カメラ10bの画角範囲AOVbとが重複する重複領域Rabに存在している物体を測距する。当然ながら、長基線長ステレオカメラSabは、重複領域Rabに存在しない物体を測距することはできない。
長基線長ステレオカメラSabは、その基線長L2(図4)が、測距カメラ10の単体の基線長L1(図4)よりも長くなるので、所定の距離よりも遠くに存在する物体に対する測距精度を測距カメラ10の単体よりも上げることができる。
そこで、統合部20は、長基線長ステレオカメラSabの方が測距カメラ10の単体よりも測距精度が高くなる境の所定の距離を距離閾値THLとし、重複領域Rabに存在する物体のうち、測距カメラ10から距離閾値THLよりも遠くに存在する物体については長基線長ステレオカメラSabによる測距結果を採用し、距離閾値THLよりも近い領域Ra、Rbに存在する物体については測距カメラ10の単体による測距結果を採用する。
また、統合部20は、長基線長ステレオカメラSabによって測距できない物体については、測距カメラ10の単体での測距結果を採用する。
さらに、統合部20は、正確な距離が分かっている物体を測距することにより、正確な距離と測距結果との差分に基づいて、長基線長ステレオカメラSabの自己キャリブレーションを実行する。
なお、図1の場合は異なるが、測距カメラ10aの画角範囲AOVaに測距カメラ10bを配置し、統合部20が、測距カメラ10aによって撮像された、測距カメラ10bが写り込んでいる画像に基づき、長基線長ステレオカメラSabの基線長とその傾きを決定、補正するようにしてもよい。
次に、図2は、ステレオカメラシステム1の詳細な内部構成例を示すブロック図である。なお、図2の構成例において、測距カメラ10は、第1撮像部11及び第2撮像部13を有するステレオカメラである。
測距カメラ10は、第1撮像部11、歪補正部12、第2撮像部13、歪補正部14、及び距離算出部15を有する。
以下、測距カメラ10aの第1撮像部11を、その符号にaを追加して第1撮像部11aと称する。その他の構成要素についても同様とする。また、測距カメラ10bについても同様とする。
第1撮像部11は、例えば広角レンズや魚眼レンズ等から成る集光部31(図3)と、CMOS(Complementary Metal Oxide Semiconductor)等から成る高解像度イメージセンサ32(図3)を有する。第1撮像部11においては、集光部31によって物体の光を高解像度イメージセンサ32に集光し、高解像度イメージセンサ32にて光電変換により第1画像を生成する。第1撮像部11は、第1画像を歪補正部12に出力する。歪補正部12は、第1画像に生じている画像歪を補正して距離算出部15に出力する。
第2撮像部13は、例えば広角レンズや魚眼レンズ等から成る集光部33(図3)と、CMOS等から成る低解像度イメージセンサ34(図3)を有する。第2撮像部13においては、集光部33によって物体の光を低解像度イメージセンサ34に集光し、低解像度イメージセンサ34にて光電変換により第2画像を生成する。第2撮像部13は、第2画像を歪補正部14に出力する。歪補正部14は、第2画像に生じている画像歪を補正して距離算出部15に出力する。
図3は、測距カメラ10における第1撮像部11と第2撮像部13との位置関係の例を示している。同図に示されるように、第1撮像部11と第2撮像部13とは、基線長L1(例えば、数cm)だけ路面に対して垂直な方向に離れて配置されている。第1撮像部11と第2撮像部13とは、路面に対して水平な方向の画角範囲が共通なので、オクルージョンの発生を抑止することができる。
なお、第1撮像部11の高解像度イメージセンサ32と、第2撮像部13の低解像度イメージセンサ34とは解像度が異なる。
したがって、高解像度イメージセンサ32から得られる第1画像は、低解像度イメージセンサ34から得られる第2画像よりも高解像度となる。
なお、低解像度イメージセンサ34は、高解像度イメージセンサ32よりも価格が安いので、その分だけ生産コストを抑えることができる。ただし高解像度イメージセンサ32と低解像度イメージセンサ34との解像度を統一するようにしてもよい。
したがって、高解像度イメージセンサ32から得られる第1画像は、低解像度イメージセンサ34から得られる第2画像よりも高解像度となる。
なお、低解像度イメージセンサ34は、高解像度イメージセンサ32よりも価格が安いので、その分だけ生産コストを抑えることができる。ただし高解像度イメージセンサ32と低解像度イメージセンサ34との解像度を統一するようにしてもよい。
図2に戻る。距離算出部15は、画像歪を補正した第1画像及び第2画像に基づき、ステレオマッチング処理によって、第1画像と第2画像との両方に写っている物体までの距離を算出して距離判定部23に出力する。
測距カメラ10bは、測距カメラ10aと同様に構成されているので、その説明は省略する。
図4は、測距カメラ10aの第1撮像部11a及び第2撮像部13aと、測距カメラ10bの第1撮像部11b及び第2撮像部13bとの位置関係の例を示している。
長基線長ステレオカメラSabを成す測距カメラ10aと測距カメラ10bとは、路面に対して水平な方向に、例えば数mだけ離して配置される。
したがって、長基線長ステレオカメラSabの基線長L2も数mとなり、測距カメラ10の単体での基線長L1よりも長くなる。
よって、長基線長ステレオカメラSabは、測距カメラ10の単体に比較して、高い測距精度を実現することができる。
したがって、長基線長ステレオカメラSabの基線長L2も数mとなり、測距カメラ10の単体での基線長L1よりも長くなる。
よって、長基線長ステレオカメラSabは、測距カメラ10の単体に比較して、高い測距精度を実現することができる。
図2に戻る。統合部20は、例えば、CPU(Central Processing Unit)、メモリ、通信I/F等から成り、画像取得部21、距離算出部22、及び距離判定部23の各機能ブロックを実現する。
画像取得部21は、測距カメラ10aの歪補正部12aから高解像度の第1画像aを取得し、測距カメラ10bの歪補正部12bから高解像度の第1画像bを取得して距離算出部22に出力する。距離算出部22は、2枚の第1画像a、bに基づき、ステレオマッチング処理によって、第1画像a、bの両方に写っている物体までの距離を算出して距離判定部23に出力する。
なお、画像取得部21が、測距カメラ10a、10bから低解像度の第2画像a、bを取得し、距離算出部22にて、第2画像a、bに基づき、物体までの距離を算出するようにしてもよい。ただし、高解像度の第1画像a、bを用いる方が、低解像度の第2画像a、bを用いる場合に比較して、より高い精度でステレオマッチング処理を行うことができるので、得られる測距結果もより高い精度を得ることができる。
距離判定部23は、測定結果が距離閾値THL(例えば、10m)未満であった物体については、測距カメラ10の単体での測距結果を採用し、測定結果が距離閾値THL以上であった物体については長基線長ステレオカメラSabによる測距結果、すなわち、距離算出部22による算出結果を採用すると判定する。
また、距離判定部23は、長基線長ステレオカメラSabによって測距できない物体についても、測距カメラ10の単体での測距結果を採用すると判定する。
また、距離判定部23は、長基線長ステレオカメラSabによって測距できない物体についても、測距カメラ10の単体での測距結果を採用すると判定する。
さらに、距離判定部23は、何らかの原因(ステレオマッチングができない場合、故障の場合等)により、測距カメラ10の単体及び長基線長ステレオカメラSabの一方が測距結果を得られず、他方が測距結果を得られた場合、他方の測距結果を採用すると判定する。そして、距離判定部23は、判定結果に対応する測距結果を、所定の装置(不図示)等に出力する。
なお、測距カメラ10の単体と長基線長ステレオカメラSabとの両方によって測距できる重複領域Rabに存在する物体の距離については、測距カメラ10の単体による測距結果と長基線長ステレオカメラSabによる測距結果とを用いた所定の演算値(例えば、重み付け平均値)を採用するようにしてもよい。
該所定の装置に出力された物体の測距結果は、例えば、3D映像としてディスプレイに表示したり、ステレオカメラシステム1を搭載する自動車のECU(Electronic Control Unit)に供給したり、所定のサーバに送信したりするようにしてもよい。
<物体までの距離に対する測距精度>
次に、図5~図7は、長基線長ステレオカメラSabと測距カメラ10の単体とによる、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。ここで、測距精度とは、実際の距離に対する測距結果の誤差を百分率で示したものであり、各図においては、その値が小さいほど、測距精度が高いことを意味する。
次に、図5~図7は、長基線長ステレオカメラSabと測距カメラ10の単体とによる、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。ここで、測距精度とは、実際の距離に対する測距結果の誤差を百分率で示したものであり、各図においては、その値が小さいほど、測距精度が高いことを意味する。
図5は、縦軸に平行な破線によって示す所定の距離(距離閾値THL)よりも近くに存在する物体については、長基線長ステレオカメラSabではオクルージョンによって測距ができず、所定の距離よりも遠くに存在する物体については、長基線長ステレオカメラSabの方が、測距カメラ10の単体よりも測距精度が高い場合を示している。
このような場合、所定の距離を距離閾値THLとし、距離閾値THLよりも近くに存在する物体については測距カメラ10の単体による測距結果を採用し、距離閾値THLよりも遠くに存在する物体については長基線長ステレオカメラSabによる測距結果を採用するようにする。この際、例えば通常時は測距カメラのみを動作させておき、要求される測距精度を満足できない遠方の距離で距離測定が必要と判断された場合にのみ、長基線ステレオカメラを動作させて、距離測定を行うことも可能である。
図6は、縦軸に平行な破線によって示す所定の距離(距離閾値THL)よりも近くに存在する物体については、測距カメラ10の単体の方が長基線長ステレオカメラSabよりも測距精度が高く、距離閾値THLよりも遠くに存在する物体については、長基線長ステレオカメラSabの方が測距カメラ10の単体よりも測距精度が高い場合を示している。このような場合でも、所定の距離を距離閾値THLとし、距離閾値THLよりも近くに存在する物体については測距カメラ10の単体による測距結果を採用し、距離閾値THLよりも遠くに存在する物体については長基線長ステレオカメラSabによる測距結果を採用するようにする。
図7は、統合部20による自己キャリブレーション前後の測距精度を示している。自己キャリブレーション後においては、測距カメラ10の単体による測距精度と長基線長ステレオカメラSabによる測距精度との優劣が逆転する縦軸に平行な破線によって示す所定の距離が変化するので、自己キャリブレーション後においては距離閾値THLも変更するようにする。なお、同図においては、長基線長ステレオカメラSabのみ自己キャリブレーションを行っているが、測距カメラ10の単体として自己キャリブレーションを行うようにしてもよい。
<ステレオカメラシステム1の動作>
次に、図8は、ステレオカメラシステム1による動作の一例を説明するためのフローチャートである。以下の説明では、各処理部(統合部20、画像取得部21、距離算出部22、距離判定部23など)を動作主体としているが、ステレオシステム1の動作をプログラムで実現する場合には、走行制御ECUあるいは別のプロセッサ(コンピュータ)を動作主体としてもよい(以下、各実施形態におけるフローチャートに基づく動作説明においても同様である)。
次に、図8は、ステレオカメラシステム1による動作の一例を説明するためのフローチャートである。以下の説明では、各処理部(統合部20、画像取得部21、距離算出部22、距離判定部23など)を動作主体としているが、ステレオシステム1の動作をプログラムで実現する場合には、走行制御ECUあるいは別のプロセッサ(コンピュータ)を動作主体としてもよい(以下、各実施形態におけるフローチャートに基づく動作説明においても同様である)。
この動作は、例えばユーザからの所定の操作に応じて開始される。
はじめに、測距カメラ10a、10bが、それぞれ単体として、自己の画角範囲に存在する物体を測距し、測距結果を統合部20に出力する(ステップS1)。
具体的には、測距カメラ10aでは、第1撮像部11aが画角範囲AOVaを撮像し、その結果得られる第1画像aを歪補正部12aに出力し、歪補正部12aが第1画像aに生じている画像歪を補正して距離算出部15aに出力する。
これと同時に、第2撮像部13aが画角範囲AOVaを撮像し、その結果得られる第2画像aを歪補正部14aに出力し、歪補正部14aが、第2画像aに生じている画像歪を補正して距離算出部15aに出力する。
さらに、距離算出部15aが、画像歪を補正した第1画像a及び第2画像aに基づき、ステレオマッチング処理によって、第1画像aと第2画像aとの両方に写っている物体までの距離を算出して距離判定部23に出力する。
なお、測距カメラ10bも、上述した測距カメラ10aと同様の動作を同時に実行するが、その説明は省略する。
次に、統合部20が、測距カメラ10a、10bを1つの長基線長ステレオカメラSabと見做して物体を測距する(ステップS2)。
具体的には、統合部20の画像取得部21が、測距カメラ10aの歪補正部12aから高解像度の第1画像aを、測距カメラ10bの歪補正部12bから高解像度の第1画像bを取得して距離算出部22に出力する。そして、距離算出部22が、画像歪を補正した高解像度の第1画像a、bに基づき、ステレオマッチング処理によって、第1画像a、bの両方に写っている、すなわち、重複領域Rab(図1)に存在する物体までの距離を算出して距離判定部23に出力する。
次に、距離判定部23が、測定結果が距離閾値THL以上であった物体については長基線長ステレオカメラSabによる測距結果を採用すると判定し、測定結果が距離閾値THL未満であった物体については測距カメラ10aまたは10bが単体で算出した測距結果を採用すると判定する。そして、距離判定部23が、判定結果に対応する測距結果を、所定の装置(不図示)等に出力する(ステップS3)。
この後、処理はステップS1に戻り、例えば、動作終了を指示する操作がユーザから入力されるまで、ステップS1~S3が繰り返し実行される。
以上説明したように、ステレオカメラシステム1によれば、2つの測距カメラ10の画角範囲に存在する物体をその距離に応じて精度良く測距することが可能となる。
(2)第2の実施形態
<車載ステレオカメラシステムの構成例>
次に、図9は、第2の実施形態である車載ステレオカメラシステム2の構成例を示す図である。なお、車載ステレオカメラシステム2の構成要素のうち、ステレオカメラシステム1(図2)の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
<車載ステレオカメラシステムの構成例>
次に、図9は、第2の実施形態である車載ステレオカメラシステム2の構成例を示す図である。なお、車載ステレオカメラシステム2の構成要素のうち、ステレオカメラシステム1(図2)の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
車載ステレオカメラシステム2は、自動車40に搭載される。車載ステレオカメラシステム2は、自動車40の全周囲に存在する物体を検知するためのものである。
車載ステレオカメラシステム2は、測距カメラ10a、10b、10c、10d、及び統合部20ab、20bc、20cd、20adを備える。
測距カメラ10a~10dは、自動車40の四隅に配置することができる。すなわち、例えば、測距カメラ10aは自動車40の右前隅に右前方向に向けて配置され、測距カメラ10bは自動車40の右後隅に右後方向に向けて配置され、測距カメラ10cは自動車40の左後隅に左後方向に向けて配置され、測距カメラ10dは自動車40の左前隅に左前方向に向けて配置される。
ただし、測距カメラ10a~10dの配置は上述した例に限るものではなく、例えば、ドアミラー等の車体から突出している部分に配置してもよい。
統合部20ab、20bc、20cd、20adは、それぞれ統合部20(図2)と同様に構成される。
統合部20abは、測距カメラ10a、10bに接続されており、測距カメラ10a、10bそれぞれから単体としての測距結果を取得する。また、統合部20abは、測距カメラ10a、10bを長基線長ステレオカメラSabと見做して物体を測距する。そして、統合部20abは、測距カメラ10a、10bそれぞれの単体としての測距結果、または長基線長ステレオカメラSabによる測距結果を走行制御ECU50に出力する。
統合部20bcは、測距カメラ10b、10cに接続されており、測距カメラ10b、10cそれぞれから単体としての測距結果を取得する。また、統合部20bcは、測距カメラ10b、10cを長基線長ステレオカメラSbcと見做して物体を測距する。そして、統合部20bcは、測距カメラ10b、10cそれぞれの単体としての測距結果、または長基線長ステレオカメラSbcによる測距結果を走行制御ECU50に出力する。
統合部20cdは、測距カメラ10c、10dに接続されており、測距カメラ10c、10dそれぞれから単体としての測距結果を取得する。また、統合部20cdは、測距カメラ10c、10dを長基線長ステレオカメラScdと見做して物体を測距する。そして、統合部20cdは、測距カメラ10c、10dそれぞれの単体としての測距結果、または長基線長ステレオカメラScdによる測距結果を走行制御ECU50に出力する。
統合部20adは、測距カメラ10a、10dに接続されており、測距カメラ10a、10dそれぞれから単体としての測距結果を取得する。また、統合部20adは、測距カメラ10a、10dを長基線長ステレオカメラSadと見做して物体を測距する。
そして、統合部20adは、測距カメラ10a、10dそれぞれの単体としての測距結果、または長基線長ステレオカメラSadによる測距結果を走行制御ECU50に出力する。
したがって、車載ステレオカメラシステム2においては、4台の測距カメラ10によって4台の長基線長ステレオカメラが実現されている。
自動車40が備える走行制御ECU50は、自動車40における各種の機能を制御する。例えば、走行制御ECU50は、各統合部20から入力される測距結果に基づき、全周囲に存在する物体を検出し、自動運転機能、自動ブレーキ機能、自動追従機能等を実現する。
なお、統合部20ab、20bc、20cd、20adについては、それぞれ接続される測距カメラ10と一体的に形成してもよい。また、統合部20ab、20bc、20cd、20adによる動作を、走行制御ECU50に実行させるようにしてもよい。
次に、図10は、車載ステレオカメラシステム2における各測距カメラ10の画角範囲を示している。
なお、車載ステレオカメラシステム2における各測距カメラ10は、ステレオカメラシステム1(図1)における各測距カメラ10よりも画角が広く、例えば、240°程度の画角範囲を有する。
自動車40の右前隅に配置された測距カメラ10aに注目した場合、その画角範囲AOVaには、自動車40の右後隅に配置された測距カメラ10bの画角範囲AOVbと重なり合う重複領域Rabと、自動車40の左前隅に配置された測距カメラ10dの画角範囲AOVdと重なり合う重複領域Radと、画角範囲AOVb及びAOVdが重複しないオクルージョン領域Baとが生じている。
重複領域Rabに存在する物体は、測距カメラ10aの単体によって測距でき、且つ、測距カメラ10a、10bから成る長基線長ステレオカメラSabによって測距できる。重複領域Radに存在する物体は、測距カメラ10aの単体によって測距でき、且つ、測距カメラ10a、10dから成る長基線長ステレオカメラSadによって測距できる。オクルージョン領域Baに存在する物体は、測距カメラ10aの単体によってのみ測距できる。したがって、総合部20abは、図11に示すように、測距カメラ10aの単体による測距結果を採用する範囲Raを定める距離閾値THLを、測距カメラ10aからオクルージョン領域Baの最遠距離よりも大きな値に設定すればよい。
そして、統合部20abが、測定結果が距離閾値THL以上であった物体については長基線長ステレオカメラSabによる測距結果を採用すると判定し、測定結果が距離閾値THL未満であった物体については測距カメラ10aの単体による測距結果を採用すると判定し、判定結果に対応する測距結果を、走行制御ECU50に出力するようにすればよい。
測距カメラ10b~10dに注目した場合については、上述した測距カメラ10aに注目した場合と同様であるので、その説明は省略する。
以上説明したように、車載ステレオカメラシステム2によれば、自動車40の全周囲に存在する物体を、その距離に応じて精度良く測距することが可能となる。
<測距カメラ10の変形例>
図12は、測距カメラ10として採用し得るステレオカメラ101の構成例を示している。
図12は、測距カメラ10として採用し得るステレオカメラ101の構成例を示している。
ステレオカメラ101は、上側双曲面ミラー102、下側双曲面ミラー103、結像光学系104、イメージセンサ105、駆動制御部118、及び画像処理部119を備える。
上側双曲面ミラー102、及び下側双曲面ミラー103は、凸状の双曲面を有するミラーである。上側双曲面ミラー102及び下側双曲面ミラー103は、中心軸を共通とし、それぞれの頂点が対向する向きで所定の間隔を空けて上下に配置されている。
上側双曲面ミラー102は、頂点部分に開口106を有する。
下側双曲面ミラー103は、中心軸を共通とし、曲率が異なる外周側双曲面ミラー107、及び内周側双曲面ミラー108からなる。外周側双曲面ミラー107と内周側双曲面ミラー108との境界には、多少の段差があってもよい。
結像光学系104は、1枚以上のレンズから成り、開口106の中に配置される。結像光学系104は、下側双曲面ミラー103にて反射した光を収束してイメージセンサ105に入射させる。
イメージセンサ105は、例えばCMOSから成り、駆動制御部118からの制御に従い、結像光学系104を介して入射された光に基づき、出力画像117を生成し駆動制御部118に出力する。
駆動制御部118は、イメージセンサ105の駆動を制御する。また、駆動制御部118は、イメージセンサ105が出力する出力画像117を画像処理部119に供給する。画像処理部119は、供給された出力画像117に基づき、被写体109の3次元位置情報120を生成する。
ここで、上側双曲面ミラー102、外周側双曲面ミラー107、及び内周側双曲面ミラー108をなす双曲面ミラーの一般的な性質について説明する。
上側双曲面ミラー102、外周側双曲面ミラー107、及び内周側双曲面ミラー108それぞれの双曲面は、次式(1)によって表される2次曲面において、円錐定数κが-1よりも小さい場合に相当する。
ここで、式(1)におけるz(r)は光軸上の頂点を原点とする光軸方向の面のサグ量である。cは光軸上の曲率(軸上曲率)である。rは光軸からの半径座標である。
一般に、双曲面は2つの焦点を有する。2つの焦点の座標は、面頂点を基準として次式(2)によって表される。
なお、式(2)における±が+である場合が双曲面の内側にある焦点の座標を表す。式(2)における±が-である場合が双曲面の外側にある焦点の座標を表す。以下、双曲面の内側にある焦点を第1焦点と称し、双曲面の外側にある焦点を第2焦点と称する。
双曲面ミラーは、第1焦点に向かう光線を双曲面にて反射すると、その反射光を第2焦点に集光させる性質を有する。逆に、双曲面ミラーは、第2焦点から出射された光を第1焦点から出射されたかのように反射する性質を有する。
次に、図13は、上側双曲面ミラー102と外周側双曲面ミラー107と内周側双曲面ミラー108との関係を示す断面図である。
上側双曲面ミラー102と外周側双曲面ミラー107と内周側双曲面ミラー108との関係は、上側双曲面ミラー102の第2焦点1022が、内周側双曲面ミラー108の第1焦点1081と略一致するようになされている。また、この一致点は、外周側双曲面ミラー107の第1焦点1071と略一致する必要はないが、近傍に位置するようになされている。
さらに、外周側双曲面ミラー107の第2焦点1072が、内周側双曲面ミラー108の第2焦点1082と略一致するようになされている。この一致点には、結像光学系104が配置されている。この一致点は、上側双曲面ミラー102の第1焦点1021と略一致する必要はないが、近傍に位置するようになされている。
これにより、図12に示された測距カメラ10においては、被写体109からの光110のうち、上側双曲面ミラー102の第1焦点(上側視点)1021に向かう光112は、上側双曲面ミラー102によって反射されて、上側双曲面ミラー102の第2焦点1022に集光される。
上側双曲面ミラー102の第2焦点1022は、内周側双曲面ミラー108の第1焦点1081と略一致する。よって、上側双曲面ミラー102の第2焦点1022に集光される光は、内周側双曲面ミラー108の第1焦点1081に向かう光と見做せるので、この光は、内周側双曲面ミラー108によって再び反射されて、内周側双曲面ミラー108の第2焦点1082に集光される。
一方、被写体109からの光110のうち、外周側双曲面ミラー107の第1焦点(下側視点)1071に向かう光114は、外周側双曲面ミラー107によって反射され、外周側双曲面ミラー107の第2焦点1072に向けて集光反射される。
外周側双曲面ミラー107の第2焦点1072と内周側双曲面ミラー108の第2焦点1082は略一致し、この一致点には結像光学系104が配置されている。
したがって、上側双曲面ミラー102によって反射され、さらに内周側双曲面ミラー108によって反射された反射光と、外周側双曲面ミラー107によって反射された反射光とは、結像光学系104によって同時にイメージセンサ105に入射される。
したがって、上側双曲面ミラー102によって反射され、さらに内周側双曲面ミラー108によって反射された反射光と、外周側双曲面ミラー107によって反射された反射光とは、結像光学系104によって同時にイメージセンサ105に入射される。
これにより、イメージセンサ105は、内周側に上側視点(第1焦点)1021から見た被写体109の像115が写され、それと同時に外周側に下側視点(第1焦点)1071から見た被写体109の像116が写された出力画像117を生成することができる。
このようにして得られた出力画像117は、図12に示されるように、駆動制御部118を介して画像処理部119に供給される。画像処理部119は、出力画像117を、像115が写されている内周領域と、像116が写されている外周領域とに分離し、それぞれに射影変換処理を行い、その結果得られる2枚の画像においてステレオマッチング処理を行い、被写体109の3次元位置情報120を生成する。
生成された3次元位置情報120は、統合部20(図1)に供給される。
なお、上述したステレオカメラ101における一部の構成要素、例えば、駆動制御部118や画像処理部119については、ステレオカメラ101から独立させて、例えば、自動車40の走行制御ECU50(図9)に実行させてもよい。
<上側双曲面ミラー102と外周側双曲面ミラー107と内周側双曲面ミラー108とのその他との関係>
ステレオカメラ101においては、内周側双曲面ミラー108の円錐定数κの絶対値が、外周側双曲面ミラー107の円錐定数κの絶対値よりも大きくなる値に設定されている。これにより、出力画像117においては、上側視点1021から見た被写体109の像115と、下側視点1071から見た被写体109の像116との大きさが揃えられている。
ステレオカメラ101においては、内周側双曲面ミラー108の円錐定数κの絶対値が、外周側双曲面ミラー107の円錐定数κの絶対値よりも大きくなる値に設定されている。これにより、出力画像117においては、上側視点1021から見た被写体109の像115と、下側視点1071から見た被写体109の像116との大きさが揃えられている。
出力画像117における内周側の像115と外周側の像116とのサイズを揃えることにより、像115と像116の解像度を合わせることができ、ステレオマッチング処理の精度を上げることができる。
また、ステレオカメラ101においては、上側双曲面ミラー102には、下側双曲面ミラー103よりも口径が大きい双曲面ミラーが採用されている。上側双曲面ミラー102の口径を下側双曲面ミラー103よりも大きくすることで、下側視点1071の上向き画角の光線を上側視点1021で受光でき、ステレオ視を行うことができる上下の画角範囲を最大限まで広く確保することが可能となる。
なお、仮に、上側双曲面ミラー102と下側双曲面ミラー103との口径が略等しい場合、下側双曲面ミラー103は外周側双曲面ミラー107と内周側双曲面ミラー108とに分離されているため、下側視点1071の視野範囲は必然的に狭くなってしまうことになる。
ところで、ステレオカメラ101は、口径が大きく結像光学系104含む上側双曲面ミラー102が上側に、口径が小さい方の下側双曲面ミラー103が下側に配置されている。この上下の位置関係は反対にしても実用上支障はない。
しかしながら、ステレオカメラ101を自動車40の四隅に配置する場合、ステレオ視できる画角範囲があまり広くないという課題がある。特に、完全自動運転のための周囲センシング用途にステレオカメラ101を用いるためには自動車近傍を撮影することが必須であり、下向きの画角範囲を確保することが必要である。
ステレオカメラ101においては、上側視点1021に入射する下向き画角の光線が、下側視点1071に入射する画角範囲よりも広い範囲をカバーできるようにしている。これにより上側視点1021による単眼視にはなるが、自動車の近傍を撮影することが可能とすることができる。自動車の近傍の画像は、主に路面にひかれたセンタライン等の白線を検知するために必要となるが、白線は路面にひかれていることが既知であるため、単眼視でも距離を計測することが可能である。そのため、結像光学系104が配置されている大きい方の上側双曲面ミラー102を上側に配置することが有効となる。
次に、図14は、上側双曲面ミラー102、外周側双曲面ミラー107、及び内周側双曲面ミラー108に関する曲率半径r、円錐定数κ、頂点位置、及び口径の一例を示している。
同図の例では、上側双曲面ミラー102の曲率半径rは15mm、円錐定数κは-3.1、頂点位置は0mm、口径は34mm、外周側双曲面ミラー107の曲率半径rは-17mm、円錐定数κは-2.94、頂点位置は-18.5056mm、口径は25mm、内周側双曲面ミラー108の曲率半径rは-22mm、円錐定数κは-130、頂点位置は-18.5086mm、口径は9mmとされている。
ただし、図14は、一例に過ぎず、ステレオカメラ101には、任意の上側双曲面ミラー102、外周側双曲面ミラー107、及び内周側双曲面ミラー108を採用することができる。
(3)第3の実施形態
<ステレオカメラシステムの構成例>
図15は、第3の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図9の10dと10aが前記ステレオカメラ101となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。
このため、取得する画像としては左視点かつ上視点の1501a、左視点かつ下視点の1501b、右視点かつ上視点の1501c、右視点かつ下視点の1501dの4つの画像を取得することができる。なお、図15では射影変換後の図として示している。取得した画像には近傍の車両1502と遠方の車両1503がそれぞれ写っているものとする。
<ステレオカメラシステムの構成例>
図15は、第3の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図9の10dと10aが前記ステレオカメラ101となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。
このため、取得する画像としては左視点かつ上視点の1501a、左視点かつ下視点の1501b、右視点かつ上視点の1501c、右視点かつ下視点の1501dの4つの画像を取得することができる。なお、図15では射影変換後の図として示している。取得した画像には近傍の車両1502と遠方の車両1503がそれぞれ写っているものとする。
ステレオカメラ101単体の測距としては路面に垂直な方向の視差を求めるために1501bの所定の範囲の領域1504を垂直方向にステレオマッチングの処理を行う。具体的には1501bの所定の範囲の領域1504を1501aと比較し相関を算出する処理を、対象とする1501aの位置を走査方向1505にずらしながら行い、最も相関が高い位置をブロックマッチングしたものと判定し、視差を求める。同様の処理を1501bの全体に対して行うことで、視差画像が得られ、基線長と対物レンズの焦点距離との関係から距離画像を求める。
長基線長ステレオカメラの測距としては路面に水平な方向の視差を求めるために1501cの所定の範囲の領域1506を水平方向にステレオマッチングの処理を行う。この際、ステレオカメラ101単体の測距結果があるため、遠方における測距精度は長基線長ステレオカメラに劣るものの、長基線長ステレオカメラのおおよそのブロックマッチングする位置を推定可能である。
したがって、推定したブロックマッチング位置の前後を水平方向に1507の走査を行うことでステレオマッチングさせることが可能となる。ステレオカメラ101の測距結果が無い場合には、想定する最大の走査範囲で走査する必要があるが、それと比較して、ステレオカメラ101の測距結果がある場合には、走査範囲を短くすることができる。
このため、視差画像を得るための計算負荷を低減、もしくは、処理時間を短縮することが可能である。長基線長ステレオカメラでは視差が大きくなり、走査範囲が長くなるため、走査範囲を限定することの効果が大きい。視差画像が得られれば、長基線長ステレオカメラの基線長と対物レンズの焦点距離との関係から距離画像を求める。
上記では測距カメラ10dと10aが路面に対して垂直な方向の基線長を前提に説明したが、測距カメラ10dと10aが路面に対して水平な方向の基線長であってもステレオマッチングの走査の方向が水平に変わるだけであり、長基線長ステレオカメラに対しては同様にして計算負荷を低減、もしくは処理時間を短縮することができる。
また、測距カメラ10dと10aの測距結果を長基線長ステレオカメラに利用するものとして説明したが、逆に長基線長ステレオカメラの測距結果を測距カメラに用いることも可能である。
図16は、ステレオカメラシステム1の詳細な構成例を示すブロック図であり、第1の実施形態における図2と同様の構成要素に対しては同じ参照番号が付与されている。ここでは便宜上、測距カメラ10dの代わりに測距カメラ10bで説明するが、処理内容は変わらない。
測距カメラ10aと測距カメラ10bの距離算出処理は図2と同様であるが、統合部20における長基線長ステレオカメラの距離算出部22において、測距カメラ10aもしくは測距カメラ10bの距離算出部の結果を利用している点が異なる。
距離算出部22ではステレオマッチング処理を行うが、前述の通り、測距カメラ10aもしくは測距カメラ10bの距離算出の結果を用いることで、ステレオマッチングのための走査範囲を短くすることができる。
距離算出部22ではステレオマッチング処理を行うが、前述の通り、測距カメラ10aもしくは測距カメラ10bの距離算出の結果を用いることで、ステレオマッチングのための走査範囲を短くすることができる。
図16では測距カメラ10aと測距カメラ10bの両者の距離算出部の結果を距離算出部22に入力しているが、いずれか一方の結果のみを用いても良いし、両者の結果を用いて判断しても構わない。
<カメラシステムの動作>
図17は、ステレオカメラシステム1による動作の一例を説明するフローチャートである。第1の実施例における図8のフローチャートのステップS1とステップS2の間にステップS1701を追加したフローとなっている。ステップS1701ではステップS1で算出した測距結果から隣り合う2台の測距カメラから成る長基線長ステレオカメラのステレオマッチングの走査範囲を算出する。
このため、ステップS2では第1の実施例と比較してステレオマッチングの走査範囲を短くすることができ、計算負荷を低減、もしくは、処理時間を短縮することができる。
図17は、ステレオカメラシステム1による動作の一例を説明するフローチャートである。第1の実施例における図8のフローチャートのステップS1とステップS2の間にステップS1701を追加したフローとなっている。ステップS1701ではステップS1で算出した測距結果から隣り合う2台の測距カメラから成る長基線長ステレオカメラのステレオマッチングの走査範囲を算出する。
このため、ステップS2では第1の実施例と比較してステレオマッチングの走査範囲を短くすることができ、計算負荷を低減、もしくは、処理時間を短縮することができる。
(4)第4の実施形態
<ステレオカメラシステムの構成例>
図18は、第4の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは、一例として、図9の10dと10aがステレオカメラ101となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。
<ステレオカメラシステムの構成例>
図18は、第4の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは、一例として、図9の10dと10aがステレオカメラ101となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。
このため、取得する画像としては左視点かつ上視点の1501a、左視点かつ下視点の1501b、右視点かつ上視点の1501c、右視点かつ下視点の1501dの4つの画像を取得することができる。
なお、図15では射影変換後の図として示している。取得した画像には近傍の車両1502と遠方の車両1503がそれぞれ写っているものとする。図中の一点鎖線は各視点の画像において正面の位置を示すものとする。
市街地等の交差点があるような箇所や左右から歩行者や自転車の飛び出しが想定されるような箇所で車両が低速に走行している場合には、左右の物体検知や物体認識を行う必要があるため、取得した画像の全範囲でステレオマッチング処理を行う。高速道路のような専用道で車両が高速に走行している場合には、前方の物体検知や物体認識が重要となるため、正面を中心としてステレオマッチングを行う範囲を水平方向に縮小することができる。例えば、取得した各視点の画像1501a、1501b、1501c、1501dに対して、処理範囲1801a、1801b、1801c、1801dを用いてステレオマッチング処理をすれば良い。
これにより、高速走行時には計算負荷を低減、もしくは処理時間を短縮することができる。水平画角が大きい場合にはステレオマッチング処理を行うべき範囲が広いため、処理範囲を限定することの効果が大きい。
なお、ここでは正面を中心として水平方向に縮小する例を示したが、必ずしも正面が中心でなくとも構わないし、水平方向だけでなく上下方向に縮小しても構わない。
また、車両の前方の例として示したが、車両の側方や後方に対して同様の処理をすることも可能である。
また、射影変換後の画像を例として説明したが、射影変換前にイメージセンサの縮小後の範囲に対応する部分を計算し、射影変換前に対象の範囲を縮小しても構わない。
図19は、ステレオカメラシステム1の詳細な構成例を示すブロック図であり、第1の実施形態における図2と同様の構成要素に対しては同じ参照番号が付与されている。ここでは便宜上、測距カメラ10dの代わりに測距カメラ10bで説明するが、処理内容は変わらない。
第1の実施形態の図2と比較して、画像抽出部1901a、1901b、1902a、1902b、および車両速度検出部1903を追加した構成となっている。第1撮像部11aは、取得した第1画像を画像抽出部1901aに出力する。画像抽出部1901aは、車両速度検出部1903から車両の速度の情報を受け取り、車両の速度に応じた画像抽出範囲を決定する。画像抽出部1901aは、抽出した第1画像を歪み補正部12aに出力する。画像抽出部1901b、1902a、1902bについては、1901aと同様の処理であり、その他の処理は第1の実施形態と同様であるため説明を省略する。
なお、図19では撮像部と歪み補正部の間に画像抽出部を追加した構成としたが、歪み補正部と距離算出部の間に画像抽出部がある構成でも構わないし、さらに後段に画像抽出部がある構成でも構わない。また、これらの処理は走行制御ECUの中で行われる処理であっても構わない。
<カメラシステムの動作>
図20は、ステレオカメラシステム1による動作の一例を説明するフローチャートである。第1の実施例における図8のフローチャートのステップS1の前にステップS2001を追加したフローとなっている。ステップS2001では車両速度に応じて画像抽出範囲を変化させる。
図20は、ステレオカメラシステム1による動作の一例を説明するフローチャートである。第1の実施例における図8のフローチャートのステップS1の前にステップS2001を追加したフローとなっている。ステップS2001では車両速度に応じて画像抽出範囲を変化させる。
このため、ステップS1とステップS2では第1の実施例と比較してステレオマッチング処理を行う範囲を高速走行時に縮小することができ、計算負荷を低減、もしくは処理時間を短縮することができる。
(5)第5の実施形態
<ステレオカメラシステムの構成例>
図21は、第5の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図9の右側前方の測距カメラ10aで取得した画像を2101として示す。なお、図21では射影変換後の図として示している。取得した画像はおおよそ270度の水平画角を持っているものとし、図中の一点鎖線は左より順に左側、正面、右側、後方の位置を示すものとする。
<ステレオカメラシステムの構成例>
図21は、第5の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図9の右側前方の測距カメラ10aで取得した画像を2101として示す。なお、図21では射影変換後の図として示している。取得した画像はおおよそ270度の水平画角を持っているものとし、図中の一点鎖線は左より順に左側、正面、右側、後方の位置を示すものとする。
例えば、十字路の交差点においては左側と右側の車両を物体検知もしくは物体認識する必要があるため、道路のある範囲が含まれるように、左側2102a、正面2102b、右側2102c、および後方2102dの範囲で画像抽出する。一方、高速道路のような専用道では左右方向は常に物体検知もしくは物体認識する必要がないため、2102aや2102cは画像抽出しないようにすれば良い。
これにより、道路状況に応じて計算負荷を低減、もしくは処理時間を短縮することができる。道路状況の把握のためには地図情報(例えば、車載ナビゲーションシステムと連携し、そこで使用される地図情報を取得し、道路状況を判断することができる)を用いても構わないし、路車間通信や車間通信などにより取得しても構わない。
なお、ここでは十字路の交差点と高速道路の例を示したが、道路の状況に応じて、任意の画像抽出範囲を設定することができる。また、通常時は測距カメラのみステレオマッチング処理を行い、測距カメラから所定の範囲の遠方測距が必要になった場合に、長基線長ステレオカメラの処理を所定の範囲でステレオマッチング処理をすることも可能である。
また、射影変換後の画像を例として説明したが、射影変換前にイメージセンサの縮小後の範囲に対応する部分を計算し、射影変換前に対象の範囲を縮小しても構わない。
<カメラシステムの詳細構成例>
図22は、ステレオカメラシステム1の詳細な構成例を示すブロック図であり、第1の実施形態における図2と同様の構成要素に対しては同じ参照番号が付与されている。
当該ステレオカメラシステム1は、第4の実施形態の図19と比較して、車両速度検出部1903の代わりに画像抽出範囲選択部2201aと2201bを追加した構成となっている。第1撮像部11aは、取得した第1画像を画像抽出部1901aに出力する。画像抽出部1901aは、画像抽出範囲選択部2201aから道路状況に応じた画像抽出範囲の情報を受け取り、画像抽出範囲を決定する。画像抽出部1901aは、抽出した第1画像を歪み補正部12aに出力する。画像抽出範囲選択部2201bは画像抽出範囲選択部2201aと同様の処理を実行し、画像抽出部1901b、1902a、および1902bは、画像抽出部1901aと同様の処理を実行する。その他の処理は第1の実施形態と同様であるため説明を省略する。
図22は、ステレオカメラシステム1の詳細な構成例を示すブロック図であり、第1の実施形態における図2と同様の構成要素に対しては同じ参照番号が付与されている。
当該ステレオカメラシステム1は、第4の実施形態の図19と比較して、車両速度検出部1903の代わりに画像抽出範囲選択部2201aと2201bを追加した構成となっている。第1撮像部11aは、取得した第1画像を画像抽出部1901aに出力する。画像抽出部1901aは、画像抽出範囲選択部2201aから道路状況に応じた画像抽出範囲の情報を受け取り、画像抽出範囲を決定する。画像抽出部1901aは、抽出した第1画像を歪み補正部12aに出力する。画像抽出範囲選択部2201bは画像抽出範囲選択部2201aと同様の処理を実行し、画像抽出部1901b、1902a、および1902bは、画像抽出部1901aと同様の処理を実行する。その他の処理は第1の実施形態と同様であるため説明を省略する。
なお、図22では撮像部と歪み補正部の間に画像抽出部を追加した構成としたが、歪み補正部と距離算出部の間に画像抽出部がある構成でも構わないし、さらに後段に画像抽出部がある構成でも構わない。また、これらの処理は走行制御ECUの中で行われる処理であっても構わない。
<ステレオカメラシステムの動作>
図23は、ステレオカメラシステム1による動作の一例を説明するためのフローチャートである。当該動作は、第1の実施形態における図8のフローチャートのステップS1の前にステップS2301を追加した処理となっている。ステップS2301では道路状況に応じて画像抽出範囲を変化させる。
図23は、ステレオカメラシステム1による動作の一例を説明するためのフローチャートである。当該動作は、第1の実施形態における図8のフローチャートのステップS1の前にステップS2301を追加した処理となっている。ステップS2301では道路状況に応じて画像抽出範囲を変化させる。
このため、ステップS1とステップS2では第1の実施例と比較してステレオマッチング処理を行う範囲を縮小することができ、計算負荷を低減、もしくは処理時間を短縮することができる。
(6)第6の実施形態
<車載ステレオカメラシステムの構成例>
図24は、第6の実施形態である車載ステレオカメラシステム2の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム2の構成は第2の実施形態と同様であるため、説明を省略する。本実施形態と第2の実施形態との違いは、測距カメラ10の水平画角にある。測距カメラ10a、10b、10c、10dはそれぞれ車両の4隅に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ270度の水平画角を有する。
<車載ステレオカメラシステムの構成例>
図24は、第6の実施形態である車載ステレオカメラシステム2の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム2の構成は第2の実施形態と同様であるため、説明を省略する。本実施形態と第2の実施形態との違いは、測距カメラ10の水平画角にある。測距カメラ10a、10b、10c、10dはそれぞれ車両の4隅に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ270度の水平画角を有する。
なお、車両の上方から見た形状は必ずしも矩形ではないため、形状に応じて死角が無くなるように水平画角を最適化しても構わない(例えば、統合部20ab、20bc、20ad、および20cdで最適化することができる)。
測距カメラ10aと10b、10bと10c、10cと10d、10dと10aによりそれぞれ長基線長ステレオカメラを構成することができ、長基線長ステレオカメラの水平画角は180度となる。
図25は車載ステレオカメラシステム2の路面に対して垂直方向の画角範囲を示す図である。ここでは一例として、測距カメラがステレオカメラ101の場合として図示している。左右の車輪の近傍の路面状況を把握するためには左右のステレオカメラで相互に車輪の直下が見えるような下側の垂直画角とすれば良い。
なお、必ずしも両眼で下側の垂直画角を上記の通り設計する必要は無く、ステレオ視が必要なければ、片側の視点のみで下側の垂直画角を上記の通り設計しても良い。
測距カメラに以上のような画角を持たせることにより、死角がなくなるため、車両近傍の、例えば、白線、車両止め、車両近傍の道路形状などの検知や認識が可能となる。
(7)第7の実施形態
<車載ステレオカメラシステムの構成例>
図26は、第7の実施形態である車載ステレオカメラシステム2の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム2の構成は第2の実施形態と同様であるため、説明を省略する。本実施形態と第2の実施形態との違いは測距カメラ10の水平画角にある。測距カメラ10a、10b、10c、10dはそれぞれ車両の4辺に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ180度の水平画角を有する。
<車載ステレオカメラシステムの構成例>
図26は、第7の実施形態である車載ステレオカメラシステム2の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム2の構成は第2の実施形態と同様であるため、説明を省略する。本実施形態と第2の実施形態との違いは測距カメラ10の水平画角にある。測距カメラ10a、10b、10c、10dはそれぞれ車両の4辺に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ180度の水平画角を有する。
なお、車両の上方から見た形状は必ずしも矩形ではないため、形状に応じて死角が無くなるように水平画角を最適化しても構わない(例えば、統合部20ab、20bc、20ad、および20cdで最適化することができる)。
測距カメラ10aと10b、10bと10c、10cと10d、10dと10aによりそれぞれ長基線長ステレオカメラを構成することができ、長基線長ステレオカメラの水平画角は90度となる。
図27は車載ステレオカメラシステム2の路面に対して垂直方向の画角範囲を示している。ここでは一例として、測距カメラがステレオカメラ101の場合として図示している。左右の車輪の近傍の路面状況を把握するためにはステレオカメラで車輪の直下が見えるような下側の垂直画角とすれば良い。
なお、必ずしも両眼で下側の垂直画角を上記の通り設計する必要は無く、ステレオ視が必要なければ、片側の視点のみで下側の垂直画角を上記の通り設計しても良い。
測距カメラに以上のような画角を持たせることにより、死角がなくなるため、車両近傍の、例えば、白線、車両止め、車両近傍の道路形状などの検知や認識が可能となる。
また、第6の実施例では測距カメラを車両の角に配置する例を、第7の実施例では車両の辺に配置する例を示したが、4つの測距カメラの配置は任意に変更可能であり、それぞれの配置位置に合わせた水平画角とすれば良い。
(8)第8の実施形態
<車載ステレオカメラシステムの構成例>
図28は、第8の実施形態である車載ステレオカメラシステム2の構成例を示す図である。なお、車載ステレオカメラシステム2の構成要素のうち、ステレオカメラシステム1(図2)の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
<車載ステレオカメラシステムの構成例>
図28は、第8の実施形態である車載ステレオカメラシステム2の構成例を示す図である。なお、車載ステレオカメラシステム2の構成要素のうち、ステレオカメラシステム1(図2)の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
本実施形態の車載ステレオカメラシステム2は、第2の実施形態による車載ステレオカメラシステムに前方用測距カメラ2801を追加した構成となっている。測距カメラ2801は、ステレオカメラの他、例えば、TOFカメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。
前方用測距カメラ2801により取得した画像や距離画像は、統合部20adに出力される。また、統合部20adの測距結果は、前方用測距カメラ2801に出力される。
図29は、車載ステレオカメラシステム2の詳細な内部構成例を示すブロック図であり、第1の実施例における図2と同様の構成部品を同じ番号で示す。前方用測距カメラ2801の一例としてステレオカメラを採用した例を示す。測距カメラ10aと測距カメラ10bの距離算出は図2と同様である。
なお、図29の構成例において、測距カメラ2801は、第1撮像部2911及び第2撮像部2913を有するステレオカメラである。
測距カメラ2801は、第1撮像部2911、歪補正部2912、第2撮像部2913、歪補正部2914、距離算出部2915、及び画像認識部2916を有する。
前方用測距カメラ2801における距離算出の処理は第1の実施形態における測距カメラ10と同様のため、説明を省略する。なお、前方用測距カメラ2801においては、歪補正部2912は、画像歪を補正した第1画像を画像認識部2916に出力する。画像認識部2916は、画像歪を補正した第1画像、および距離算出部2915で算出された距離の情報を用いて、車両や歩行者などの認識を行う。この際、距離算出部2915、もしくは、長基線長ステレオカメラの距離判定部23の情報を用いて、画像認識を行う範囲を特定することもできる。
前方用測距カメラ2801は水平画角が前方に制限されるため、測距カメラ10に比べて、高い角度分解能を有することができる。すなわち、同一の対象物を測距カメラ10よりも多い画素数で取得することができる。したがって、距離算出は長基線長ステレオカメラの距離判定部23により行い、画像認識は前方用測距カメラの画像認識部2916で行うことにより、前方用ステレオカメラ単体では距離精度が低い遠方の物体に対して、物体認識と高精度な距離測定が可能となる。
<車載ステレオカメラシステムの動作>
図30は、車載ステレオカメラシステム2による動作の一例を説明するためのフローチャートである。当該動作は、第1の実施形態における図8のフローチャートのステップS3の後に、ステップS3001、及び、ステップS3002を追加した処理となっている。ステップS3001ではステップS3で算出した測距結果から前方用測距カメラで画像認識を行うべき範囲を特定する。ステップS3002では測距カメラ10より角度分解能が高い前方用測距カメラ2701で画像認識を行う。このため、測距カメラ10により画像認識をする場合と比較して画像認識の精度を高めることが可能である。
図30は、車載ステレオカメラシステム2による動作の一例を説明するためのフローチャートである。当該動作は、第1の実施形態における図8のフローチャートのステップS3の後に、ステップS3001、及び、ステップS3002を追加した処理となっている。ステップS3001ではステップS3で算出した測距結果から前方用測距カメラで画像認識を行うべき範囲を特定する。ステップS3002では測距カメラ10より角度分解能が高い前方用測距カメラ2701で画像認識を行う。このため、測距カメラ10により画像認識をする場合と比較して画像認識の精度を高めることが可能である。
なお、画像認識の結果、操舵やブレーキなどの車両制御が必要になった場合は走行制御ECU50を介して、車両制御を行う。
(9)第9の実施形態
<車載ステレオカメラシステムの動作例>
図31は、第9の実施形態である車載ステレオカメラシステム2による動作の一例を説明するためのフローチャートである。システム構成とブロック図は第8の実施形態と同様であるため、説明を省略する。
<車載ステレオカメラシステムの動作例>
図31は、第9の実施形態である車載ステレオカメラシステム2による動作の一例を説明するためのフローチャートである。システム構成とブロック図は第8の実施形態と同様であるため、説明を省略する。
当該車載ステレオカメラシステム2においては、第1の実施形態における図8のフローチャートのステップS1~S3と並列して、ステップS3101で前方用測距カメラにより測距処理が実行される。
ステップS3102では、ステップS3101の前方用測距カメラの測距結果をステップ3の測距結果と比較する。この際、遠方の測距結果については、長基線長ステレオカメラの方が前方用測距カメラよりも基線長が長いため高精度となる。
このため、前方用測距カメラの測距結果がステップ3の測距結果とずれている場合には、前方用測距カメラの歪み補正のパラメータをステップ3の測距結果に近づくように補正することで、前方用測距カメラの校正が可能となる。具体的には、前方用測距カメラの消失点誤差を長基線長ステレオカメラの測距結果を基準に補正すれば良い。
ステップS3102では、ステップS3101の前方用測距カメラの測距結果をステップ3の測距結果と比較する。この際、遠方の測距結果については、長基線長ステレオカメラの方が前方用測距カメラよりも基線長が長いため高精度となる。
このため、前方用測距カメラの測距結果がステップ3の測距結果とずれている場合には、前方用測距カメラの歪み補正のパラメータをステップ3の測距結果に近づくように補正することで、前方用測距カメラの校正が可能となる。具体的には、前方用測距カメラの消失点誤差を長基線長ステレオカメラの測距結果を基準に補正すれば良い。
図32は、長基線長ステレオカメラと、前方用測距カメラ10による、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。前方用測距カメラよりも長基線長ステレオカメラの方が距離精度が高い(誤差が小さい)場合、前方用測距カメラでは要求される測距精度となる距離THLまでは前方用測距カメラの測距結果を採用し、それよりも遠方の距離においては長基線長ステレオカメラの測距結果を採用すれば良い。
この際、例えば通常時は前方用測距カメラのみを動作させておき、要求される測距精度を満足できない遠方の距離で距離測定が必要と判断された場合にのみ、長基線ステレオカメラを動作させて、距離測定を行うことも可能である。
なお、前方用測距カメラ2801、測距カメラ10a、10b、10c、10d、長基線長ステレオカメラSab、Sbc、Scd、Sadは常に動作させる必要はなく、道路状況や走行状況に応じて処理を行えば良い。
(10)まとめ
本開示による実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
本開示による実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
上述のように、本願明細書では様々な実施形態について説明したが、本開示の技術は、上記した実施形態に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した実施形態の一例は、本開示の技術を分かり易くするために詳細に説明したものであり、本開示は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。
1 ステレオカメラシステム
2 車載ステレオカメラシステム
10 測距カメラ
11 第1撮像部
12 歪補正部
13 第2撮像部
14 歪補正部
15 距離算出部
20 統合部
21 画像取得部
22 距離算出部
23 距離判定部
31 集光部
32 高解像度イメージセンサ
33 集光部
34 低解像度イメージセンサ
40 自動車
50 走行制御ECU
101 ステレオカメラ
102 上側双曲面ミラー
103 下側双曲面ミラー
104 結像光学系
105 イメージセンサ
106 開口
107 外周側双曲面ミラー
108 内周側双曲面ミラー
109 被写体
115 像
116 像
117 出力画像
118 駆動制御部
119 画像処理部
120 3次元位置情報
2 車載ステレオカメラシステム
10 測距カメラ
11 第1撮像部
12 歪補正部
13 第2撮像部
14 歪補正部
15 距離算出部
20 統合部
21 画像取得部
22 距離算出部
23 距離判定部
31 集光部
32 高解像度イメージセンサ
33 集光部
34 低解像度イメージセンサ
40 自動車
50 走行制御ECU
101 ステレオカメラ
102 上側双曲面ミラー
103 下側双曲面ミラー
104 結像光学系
105 イメージセンサ
106 開口
107 外周側双曲面ミラー
108 内周側双曲面ミラー
109 被写体
115 像
116 像
117 出力画像
118 駆動制御部
119 画像処理部
120 3次元位置情報
Claims (15)
- 自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を長基線長ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、
を備え、
前記測距カメラもしくは前記統合部の画像処理範囲が変更可能なように構成された、ステレオカメラシステム。 - 請求項1に記載のステレオカメラシステムであって、
前記測距カメラと前記統合部は、距離算出部を有し、
前記統合部は、前記測距カメラの距離算出の結果を用いて距離算出のステレオマッチング処理の走査範囲を決定する、ステレオカメラシステム。 - 請求項1に記載のステレオカメラシステムであって、
さらに車両速度検出部を有し、
前記測距カメラは、画像抽出部を有し、
前記測距カメラは、車両の速度に応じて前記距離算出のための対象画像範囲を変更する、ステレオカメラシステム。 - 請求項3に記載のステレオカメラシステムであって、
前記測距カメラは、車両の速度が高速な場合に低速な場合に比べて距離算出のための対象画像範囲を縮小する、ステレオカメラシステム。 - 請求項1に記載のステレオカメラシステムであって、
さらに画像抽出範囲選択部を有し、
前記測距カメラは、画像抽出部を有し、
前記測距カメラは、道路状況に応じて距離算出のための対象画像範囲を変更可能なように構成された、ステレオカメラシステム。 - 請求項1に記載のステレオカメラシステムであって、
前記測距カメラを構成するステレオカメラは、
中心軸を共通とし、頂点を対向して上下に配置された第1及び第2の凸双曲面ミラーと、
前記第1の凸双曲面ミラーの頂点部分に設けた開口に配置された結像光学系と、
被写体の光が前記第1の凸双曲面ミラーで反射された後、さらに、前記第2の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光、及び前記被写体の光が前記第2の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光に基づいて、異なる2視点から前記被写体を撮像した場合にそれぞれ対応する2つの像が同時に写し出されている出力画像を生成するイメージセンサと、を備える、
ステレオカメラシステム。 - 自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を長基線長ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、
前記統合部は、前記測距カメラの画角を車両の搭載箇所に応じて最適化するように構成された、ステレオカメラシステム。 - 請求項7に記載のステレオカメラシステムであって、
前記測距カメラは車両の4隅に配置され、それぞれの水平画角は略270°である、ステレオカメラシステム。 - 請求項7に記載のステレオカメラシステムであって、
前記測距カメラは車両の4辺に配置され、それぞれの水平画角は略180°である、ステレオカメラシステム。 - 請求項7に記載のステレオカメラシステムであって、
前記測距カメラの垂直画角の下側は車輪の直下を立体視可能である、ステレオカメラシステム。 - 自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を長基線長ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、
前方用測距カメラと、
車両制御部と、を備え、
前記前方用測距カメラの角度分解能は前記測距カメラの角度分解能よりも高い、ステレオカメラシステム。 - 請求項11に記載のステレオカメラシステムであって、
前記前方用測距カメラは、画像認識部を有し、
前記前方用測距カメラは、前記画像認識部を用いて、遠方の物体に対しては、前記統合部で測距した結果に基づいて画像認識する、ステレオカメラシステム。 - 請求項11に記載のステレオカメラシステムであって、
前記統合部は、前記測距カメラの単体による測距結果、または前記統合部による測距結果のいずれを採用するかを判定する距離判定部を有し、
前記前方用測距カメラは、撮像した画像の歪みの補正を行う歪み補正部を有し、
前記歪み補正部は、前記距離判定部による測距結果を用いて校正可能なように構成された、ステレオカメラシステム。 - 請求項11に記載のステレオカメラシステムであって、
前記車両制御部は、前記前方用測距カメラにおいて必要な測距精度が担保できる距離範囲では前記前方用測距カメラによる測距結果を用いて車両制御を行い、それ以外では前記統合部による測距結果を用いて車両制御を行う、ステレオカメラシステム。 - ステレオカメラシステムにおける測距方法であって、
前記ステレオカメラシステムは、画像処理範囲が変更可能なように構成された、少なくとも一対の測距カメラ、もしくは当該少なくとも一対の測距カメラで構成される長基線長ステレオカメラを含み、
前記少なくとも一対の測距カメラを用いて、自己の画角範囲に存在する物体を撮像することと、
前記長基線長ステレオカメラを用いて、前記少なくとも一対の測距カメラのそれぞれによって撮像された画像に基づいて前記物体を測距することと、
を含む測距方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20810346.5A EP3974771A4 (en) | 2019-05-22 | 2020-04-10 | STEREO CAMERA SYSTEM AND DISTANCE MEASUREMENT METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-095888 | 2019-05-22 | ||
JP2019095888A JP7346080B2 (ja) | 2019-05-22 | 2019-05-22 | ステレオカメラシステム、及び測距方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020235249A1 true WO2020235249A1 (ja) | 2020-11-26 |
Family
ID=73453769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/016150 WO2020235249A1 (ja) | 2019-05-22 | 2020-04-10 | ステレオカメラシステム、及び測距方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3974771A4 (ja) |
JP (1) | JP7346080B2 (ja) |
WO (1) | WO2020235249A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7364269B2 (ja) * | 2022-03-15 | 2023-10-18 | Necプラットフォームズ株式会社 | 物体検知装置、画像処理表示方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139596A (ja) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2006033282A (ja) * | 2004-07-14 | 2006-02-02 | Olympus Corp | 画像生成装置およびその方法 |
JP2006330735A (ja) * | 2005-05-26 | 2006-12-07 | Korea Advanced Inst Of Sci Technol | 単一カメラの全方向両眼視映像獲得装置 |
JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
JP2009146217A (ja) * | 2007-12-14 | 2009-07-02 | Hitachi Ltd | ステレオカメラ装置 |
JP2011013064A (ja) * | 2009-07-01 | 2011-01-20 | Nikon Corp | 位置検出装置 |
WO2018042801A1 (ja) * | 2016-09-01 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
-
2019
- 2019-05-22 JP JP2019095888A patent/JP7346080B2/ja active Active
-
2020
- 2020-04-10 WO PCT/JP2020/016150 patent/WO2020235249A1/ja unknown
- 2020-04-10 EP EP20810346.5A patent/EP3974771A4/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139596A (ja) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2006033282A (ja) * | 2004-07-14 | 2006-02-02 | Olympus Corp | 画像生成装置およびその方法 |
JP2006330735A (ja) * | 2005-05-26 | 2006-12-07 | Korea Advanced Inst Of Sci Technol | 単一カメラの全方向両眼視映像獲得装置 |
JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
JP2009146217A (ja) * | 2007-12-14 | 2009-07-02 | Hitachi Ltd | ステレオカメラ装置 |
JP2011013064A (ja) * | 2009-07-01 | 2011-01-20 | Nikon Corp | 位置検出装置 |
WO2018042801A1 (ja) * | 2016-09-01 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7346080B2 (ja) | 2023-09-19 |
EP3974771A4 (en) | 2023-08-30 |
JP2020190925A (ja) | 2020-11-26 |
EP3974771A1 (en) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6522076B2 (ja) | 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品 | |
US8477191B2 (en) | On-vehicle image pickup apparatus | |
WO2016068095A1 (ja) | 光学系、撮像装置および距離測定システム | |
US10992920B2 (en) | Stereo image processing device | |
CN112069862A (zh) | 目标检测方法和装置 | |
JP5083443B2 (ja) | 運転支援装置および方法、ならびに演算装置 | |
JP6983740B2 (ja) | ステレオカメラシステム、及び測距方法 | |
JP7207038B2 (ja) | 撮像装置、撮像光学系及び移動体 | |
WO2020235249A1 (ja) | ステレオカメラシステム、及び測距方法 | |
JP7134925B2 (ja) | ステレオカメラ | |
US20180338095A1 (en) | Imaging system and moving body control system | |
TWM568376U (zh) | 多攝像頭系統及多攝像頭模組 | |
KR102164702B1 (ko) | 자동 주차 장치 및 자동 주차 방법 | |
JP7043375B2 (ja) | ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム | |
JP7207889B2 (ja) | 測距装置および車載カメラシステム | |
JP7264749B2 (ja) | ステレオカメラ、及びステレオカメラ一体型ライトユニット | |
WO2023166813A1 (ja) | ステレオ画像処理装置 | |
WO2022107405A1 (ja) | 3次元画像処理装置 | |
JP7492599B2 (ja) | 車載カメラ装置 | |
WO2024075147A1 (ja) | カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20810346 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020810346 Country of ref document: EP Effective date: 20211222 |