WO2009101687A1 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
WO2009101687A1
WO2009101687A1 PCT/JP2008/052405 JP2008052405W WO2009101687A1 WO 2009101687 A1 WO2009101687 A1 WO 2009101687A1 JP 2008052405 W JP2008052405 W JP 2008052405W WO 2009101687 A1 WO2009101687 A1 WO 2009101687A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
distance distribution
calculation unit
distribution calculation
unit
Prior art date
Application number
PCT/JP2008/052405
Other languages
English (en)
French (fr)
Inventor
Takuya Kawano
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to PCT/JP2008/052405 priority Critical patent/WO2009101687A1/ja
Priority to JP2009553306A priority patent/JP5056861B2/ja
Publication of WO2009101687A1 publication Critical patent/WO2009101687A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention particularly relates to an apparatus that is mounted on a moving body such as a vehicle and measures a distance from a captured image of a so-called stereo camera.
  • Measures to increase vehicle safety include devices that detect obstacles ahead and warn of danger, and measure the distance from the preceding vehicle to keep the distance between vehicles constant.
  • Patent Document 1 has been proposed as such a prior art.
  • an image captured by a stereo camera is processed by an image processing unit to calculate a three-dimensional distance distribution of the entire image, and a road shape and a three-dimensional position of a three-dimensional object are detected at high speed from the distance distribution information.
  • the collision determination unit obtains the traveling area of the vehicle in the captured image from the outputs of various sensors, and the collision risk is calculated for all vehicles and obstacles in the traveling area. To inform you.
  • the collision determination unit estimates the traveling area of the own vehicle in the captured image, and searches for a vehicle or an obstacle within the estimated area.
  • the collision determination unit calculates the three-dimensional distance distribution even in an area other than the travel area that is not used for the warning or the like, it takes a calculation time. For this reason, a time lag occurs before the warning is issued, and safety is lowered.
  • the above-described conventional technique calculates the three-dimensional distance distribution by a stereo method, so that it is high speed but low accuracy. For this reason, the reliability of the obtained distance data is low, and this also reduces the safety. JP-A-10-283593
  • An object of the present invention is to provide a distance measuring device that can shorten the calculation time of the distance distribution calculation.
  • the distance measuring device is mounted on a moving body, and when a distance distribution is obtained from parallax of images captured by a plurality of imaging units, a speed detection unit detects the speed of the moving body, and the detection result In response, a processing region for distance distribution calculation in the captured image is set.
  • the driver will calculate the distance distribution only in the range necessary for collision avoidance (distance range where the driver can stop reliably), reducing the calculation time of the distance distribution calculation. , Can improve safety.
  • FIG. 1 is a block diagram showing an electrical configuration of a distance measuring device according to a first embodiment of the present invention. It is a figure for demonstrating the ranging method by a stereo method. It is a block diagram which shows one structural example of the parallax detection part in the said distance measuring device. It is a graph which shows the example of the POC value obtained by the parallax detection part shown in FIG. It is a figure for demonstrating the setting operation
  • FIG. 1 is a block diagram showing an electrical configuration of the distance measuring device 11 according to the first embodiment of the present invention.
  • the distance measuring device 11 is generally mounted on a vehicle and uses the stereo cameras 1 and 2 as a plurality of image capturing units, and the first distance distribution calculation unit 3 determines the distance from the parallax of the captured images.
  • This is a system that measures the distribution and notifies the driver of distance information from the output unit 4 to the preceding vehicle that is the object.
  • the output unit 4 may be an audio output from audio, an output to a car navigation screen, an output to a display device, or the like.
  • the first distance distribution calculation unit 3 includes a parallax detection unit 3a that calculates the parallax, and a 3D measurement unit 3b that measures the three-dimensional position of the object from the calculated parallax.
  • FIG. 2 is a diagram for explaining a distance measuring method using a stereo method.
  • FIG. 3 is a block diagram illustrating a configuration example of the parallax detection unit 3a.
  • the parallax detection unit 3a uses a phase only correlation method (POC method) as the corresponding point search method. And this parallax detection part 3a shows the flow of a process at the time of making it perform the correlation calculation only of the phase component which suppressed the amplitude component of the Fourier series, using Fourier transformation for conversion.
  • the standard image and the reference image obtained by the stereo cameras 1 and 2 are Fourier-transformed by the Fourier transform units 31 and 32, normalized by the normalization units 33 and 34, and then synthesized by the synthesis unit 35, and then the inverse Fourier transform unit. Inverse Fourier transform is performed at 36.
  • FIG. 3 is expressed as follows.
  • the POC value obtained by the POC process is known to have a steep similarity peak in the coordinates of the amount of movement between images (a reference window and a reference window), and is robust in image matching. High nature.
  • the height of the peak of the POC indicates the pattern similarity.
  • a function such as a parabola can be fitted.
  • the positional deviation amount d between the candidate areas is an amount obtained by adding the positional deviation amount d-sub of the sub-pixel obtained by the POC method to the positional deviation amount d-pixel at the pixel level between the candidate areas.
  • the parallax detection unit 3a performs frequency decomposition on the pattern in the window defined on the captured image, and performs corresponding point search based on the similarity of the signal of only the phase component in which the amplitude component is suppressed. Therefore, it is possible to perform a robust corresponding point search that is hardly affected by differences in shooting conditions of the cameras 1 and 2 and noise.
  • DFT Discrete Fourier Transform
  • FFT Fast Fourier Transform
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • Wavelet Other methods such as transformation and Hadamard transformation may be used.
  • these frequency decomposition methods are generally widely used and are suitable for stable properties.
  • the parallax detection unit 3a uses the POC method for the corresponding point search processing, which is preferable because the robustness in the image matching and the movement amount estimation accuracy are increased.
  • speed information is acquired from the vehicle speed sensor 12 of the mounted vehicle, which is a speed detection unit, and the speed information is handled.
  • the first distance distribution calculation unit 3 is provided with a setting unit 13 for setting a processing region for distance distribution calculation in the captured image.
  • the setting unit 13 increases the range in which the parallax d is obtained in the parallax detection unit 3a as the speed decreases and narrows the range as the speed increases, and calculates the distance distribution only in an important region.
  • a device that measures speed based on the number of wheel rotations a device that measures speed based on GPS current location information, or a device that measures speed by integrating acceleration information from an acceleration sensor is used. be able to.
  • FIG. 5 is a diagram for explaining the setting operation of the detection range of the parallax d by such a setting unit 13.
  • FIG. 5 shows an example of the images captured by the stereo cameras 1 and 2, the road surface that is far from the vehicle is reflected in the upper part of the image, and the road surface that is in a close position is in the lower part of the image. Reflect.
  • the horizontal line is likely to correspond to the same distance on the road surface, so that the setting unit 13 can easily extract an equidistant portion of the image. Therefore, in the present embodiment, the setting unit 13 extracts the horizontal line group defined by the upper and lower lines Lu and Lb corresponding to the speed information as the processing area to be watched from the current speed.
  • the setting unit 13 can easily set the processing area.
  • the safety distance is 33.3 m
  • the inter-vehicle distance of 33.3 m or more is a distance necessary for avoiding danger.
  • a safety distance (a collision avoidance distance) is calculated in advance for each vehicle speed, and as will be described later, a table is obtained from which line on the imaging screen corresponds to the range of the safety distance, This table is stored in advance in the setting unit 13 as a table of the vehicle speed-processing area.
  • the setting unit 13 refers to the table and sets the upper and lower lines Lu and Lb that define the processing area in the parallax detection unit 3a.
  • the mounting height C of the stereo cameras 1 and 2 (this)
  • the stereo cameras 1 and 2 can almost cover (capture) the lower position (up to the road surface) than the center of the screen), but the higher position covers the stereo camera 1 and 2. Whether to do this is determined relatively arbitrarily. Therefore, in the present embodiment, the stereo cameras 1 and 2 cover a height of 2 m or less that is classified as a small vehicle with four wheels or more in the classification of automobiles according to the Japanese Road Transport Vehicle Law (large). The vehicle can also be detected at a height of 2 m or less.)
  • Lu (D / 2) ⁇ ((BC) / E) (where 0 ⁇ Lu ⁇ D / 2)
  • Lb (D / 2) + (C / E) (where D / 2 ⁇ Lb ⁇ B)
  • the distance measuring device 11 is mounted.
  • Lu 46 pixels
  • Lb 480 pixels.
  • Lu 230 pixels
  • Lb 270 pixels.
  • the low speed is less than 7 km / h which is the maximum speed in the creep phenomenon of the vehicle (automobile) 6 on which the distance measuring device 11 is mounted
  • the high speed is 60 km / h which is the minimum speed when traveling on the highway.
  • the medium speed is 7 km / h or more and less than 60 km / h between them, but other values may be used.
  • FIGS. 7 to 9 show the difference in the range from the road surface to the height of 2 m obtained as described above, which becomes the processing area, at a point separated from the stereo cameras 1 and 2 by the collision avoidance distance R. Yes.
  • FIG. 8 shows the middle speed region, and
  • the setting unit 13 sets the values of the upper and lower lines Lu and Lb read from the table corresponding to the vehicle speed in the parallax detection unit 3a, and the parallax detection unit 3a is a processing region between the upper and lower lines Lu and Lb. Only the corresponding point search is performed to obtain the parallax d. When the distance distribution is obtained in the processing region as shown in FIG. 8, it is as shown in FIG.
  • the setting unit 13 sets the corresponding point search according to the vehicle speed, and thus sets the processing region for the distance distribution calculation, so that the distance distribution calculation unit 3 can determine the range necessary for the driver to avoid collision from the current speed.
  • the distance distribution is calculated only for the (distance range that can be reliably stopped), the calculation time of the distance distribution calculation can be shortened, and the safety can be improved.
  • FIG. 11 is a block diagram showing an electrical configuration of the distance measuring device 21 according to the second embodiment of the present invention.
  • the distance measuring device 21 is similar to the distance measuring device 11 described above, and corresponding portions are denoted by the same reference numerals and description thereof is omitted.
  • the distance measuring device 21 further includes a second distance distribution calculation unit 22 that is faster and less accurate than the first distance distribution calculation unit 3 with the entire captured image as the processing region.
  • the setting unit 23 sends the distance distribution in the captured image to the first distance distribution calculation unit 3 from the calculation result of the distance distribution by the second distance distribution calculation unit 22. It is to set the processing area of the calculation.
  • the second distance distribution calculating unit 22 performs a corresponding point search at high speed from the captured images input from the stereo cameras 1 and 2 by the SAD method, and obtains a parallax, And a 3D measurement unit 22b that obtains a distance from the obtained parallax to the object 5 by a stereo method.
  • the distance distribution obtained by the 3D measurement unit 22 b is input to the setting unit 23.
  • the vehicle speed information from the vehicle speed sensor 12 is input to the rear-end collision avoidance distance calculation unit 24, and the rear-end collision avoidance distance calculation unit 24 obtains the rear-end collision avoidance distance R corresponding to the vehicle speed as described above. Entered.
  • the setting unit 23 adds a portion corresponding to a distance of ⁇ ⁇ from the collision avoidance distance in the distance distribution obtained by the 3D measurement unit 22b in the processing region obtained in advance from the vehicle speed as described above. This is added to the processing area of the first distance distribution calculation unit 3.
  • FIG. 12 is a diagram for explaining the SAD method, which is a corresponding point search method performed by the parallax detection unit 22a.
  • the parallax detection unit 22a searches where the image Img1 on the standard image 1c is on the reference image 2c. Specifically, the parallax detection unit 22a sets a window (the image Img1) having a size corresponding to W pixels in the vertical and horizontal directions on the reference image 1c, and similarly on the reference image 2c. A window having the same size (the image Img2) is set.
  • the parallax detection unit 22a starts scanning the window Img2 within a certain range (0 ⁇ p ⁇ max_disp) in the baseline length direction from the same position as the window Img1 on the standard image 1c on the reference image 2c.
  • the correlation calculation is performed at each position.
  • the parallax detection unit 22a first obtains the absolute value of the difference in brightness of the same corresponding pixel in the window, as shown in the following equation.
  • the parallax detection unit 22a obtains a correlation value (COR) from the value SAD p obtained by adding the parallax detection unit 22a over all the pixels in the window according to the following equation.
  • the parallax detection unit 22a performs such work by shifting one pixel at a time, determines that there is an image equal to the image Img1 at the window position with the highest correlation value, and determines the shifted number of pixels as the parallax d. To do. In this description, the parallax detection unit 22a obtains the parallax d from the position with the highest correlation value in pixel units. However, the parallax d is obtained by interpolating the peak in subpixel units using the correlation values before and after the peak. Also good.
  • FIGS. 13 to 16 are diagrams for explaining the operation of the distance measuring device 21.
  • FIG. 13 When the captured images of the stereo cameras 1 and 2 are as shown in FIG. 13, the first distance distribution calculation unit 3 calculates the distance distribution for the processing regions defined by the upper and lower lines Lu and Lb corresponding to the speed as described above. When calculated, it is as shown in FIG.
  • FIGS. 13 to 16 show an example in which the vehicle travels at a location approaching an uphill at medium speed, and there are the preceding vehicles 5a and 5b as the object 5, and the preceding vehicle 5a Although it exists in the vicinity of 20 m, which is the avoidance distance R, the position shown on the imaging screen is higher than the position corresponding to the speed due to the uphill, whereas the preceding vehicle 5b has the same height. Driving far away on the road.
  • the first distance distribution calculation unit 3 simply obtains the distance distribution for the processing area defined by the upper and lower lines Lu and Lb corresponding to the speed, the preceding vehicle 5a cannot be detected due to the uphill relationship.
  • the result of the simple calculation of the distance distribution by the second distance distribution calculation unit 22 is as shown in FIG. 15, and the setting unit 23 indicates that the collision avoidance distance indicated by reference numerals ⁇ 1 and ⁇ 2 in FIG.
  • the distance distribution near the rear-end collision avoidance distance R actually obtained by the first distance distribution calculation unit 3 is as shown in FIG. 16, and the first distance distribution calculation unit 3
  • the preceding vehicle 5a that could not be detected due to the relationship can be captured.
  • the setting unit 23 obtains the second distance distribution calculation unit 22 by simple calculation even if the processing area corresponding to the speed information cannot be set correctly due to road surface up-down or the like. As a result, the processing area can be set correctly.
  • the ⁇ can be set to 2.5 m, for example, corresponding to a vehicle with a two-wheeled vehicle classification according to the Road Transport Vehicle Law and a light classification, but other values may be used.
  • the distance measuring device 21 when used as a distance measuring device for measuring the distance to the preceding vehicle, the distance measuring device 21 avoids a rear-end collision with the preceding vehicles 5a and 5b from the speed information from the vehicle speed sensor 12.
  • a rear-end collision avoidance distance calculation unit 24 that calculates a possible rear-end collision avoidance distance R is provided. Then, in the calculation result of the distance distribution by the second distance distribution calculation unit 22, the setting unit 23 determines only the region of the rear collision avoidance distance R ⁇ ⁇ obtained by the rear collision avoidance distance calculation unit 24 as the first distance. It is set in the processing area of the distribution calculation unit 3.
  • the first distance distribution calculation unit 3 assumes that the region beyond R + ⁇ corresponds to the subsequent processing, and the region closer to R ⁇ already corresponds to the previous processing. Since the first distance distribution calculation unit 3 obtains a distance distribution with high accuracy only for objects existing in the vicinity, the instantaneous processing amount can be further reduced.
  • FIG. 17 is a block diagram showing an electrical configuration of the distance measuring apparatus 41 according to the third embodiment of the present invention.
  • the distance measuring device 41 is similar to the distance measuring device 21 described above, and corresponding portions are denoted by the same reference numerals and description thereof is omitted.
  • the distance measuring device 41 is further provided with an input device 42 for inputting vehicle parameters related to at least road surface conditions (presence / absence of paving, clear rain or snow, etc.), and preferably tire conditions (type, wear, etc.).
  • the rear collision avoidance distance calculation unit 44 calculates the rear collision avoidance distance from the speed information from the vehicle speed sensor 12 and the vehicle parameters.
  • the input device 42 for example, a touch panel, a display device, a keyboard, a remote controller, a mouse or a combination of microphones is used.
  • a stop distance is considered as the rear-end collision avoidance distance R here.
  • the stopping distance is the distance that the vehicle travels before the brake starts to be applied after the driver feels danger while the vehicle 6 on which the stereo cameras 1 and 2 are mounted travels.
  • the reaction time (idle time) from the time when the driver feels dangerous and sudden braking is necessary to the point when the brake pedal is depressed and the brakes start to work, although there are individual differences, is the average of normal people
  • the stop distance is 32.7 m.
  • the rear-end collision avoidance distance calculation unit 44 sets the friction coefficient table prepared beforehand (the road surface condition, the tire type and the wear state as parameters). The friction coefficient is appropriately corrected to an appropriate value by calculation of a correction coefficient or the like.
  • the rear-end collision avoidance distance calculation unit 44 calculates the rear-end collision avoidance distance R, not only the speed information, but at least the road surface condition (presence / absence of pavement, clear rain or snow), and preferably the tire condition (type, wear, etc.) It is possible to calculate more accurately by taking into account the vehicle parameters related to
  • FIG. 18 is a block diagram showing an electrical configuration of the distance measuring apparatus 51 according to the fourth embodiment of the present invention.
  • the distance measuring device 51 is similar to the distance measuring devices 21 and 41 described above, and corresponding portions are denoted by the same reference numerals, and description thereof is omitted.
  • the distance measuring device 51 further includes a second distance distribution calculation unit 52 that is faster and less accurate than the first distance distribution calculation unit 3, and the setting unit 53 includes the vehicle speed sensor 12.
  • a processing region is set in the parallax detection unit 3a of the first distance distribution calculation unit 3, and the remaining region of the captured images of the stereo cameras 1 and 2 is set as the second distance distribution.
  • the processing is performed by setting the processing region of the parallax detection unit 52a of the calculation unit 52.
  • FIG. 19 shows an example in which the vehicle is moving at a medium speed (7 km / h or more and less than 60 km / h).
  • the range from the upper line Lu on the upper side of the image to the lower line Lb on the lower side is the processing region of the first distance distribution calculation unit 3 with respect to both the standard image and the reference image.
  • the upper range and the lower range from the lower line Lb are processing areas of the second distance distribution calculation unit 52.
  • the first distance distribution calculation unit 3 not only performs a high-precision distance distribution calculation on the range necessary for avoiding a collision (distance range that can be reliably stopped) from the current speed, but also other ranges.
  • the high-speed and low-accuracy second distance distribution calculation unit 52 performs the calculation, so that the driver can cope with an unintentional jump-out of an object and the like, and a distant preceding vehicle or the like can be moved to the first distance.
  • the second distance distribution calculation unit 52 can capture the information in advance before capturing it by the distribution calculation unit 3 and use it for alerting the driver.
  • FIG. 20 is a diagram for explaining a distance distribution calculation method in the distance measuring apparatus according to the fifth embodiment of the present invention.
  • the configuration of the distance measuring device 51 described above can be used, and the description thereof is omitted.
  • the second distance distribution calculation unit 52 does not process all the areas not processed by the first distance distribution calculation unit 3, and among them, it is set in advance.
  • it is possible to process a plurality of narrow areas dispersed in the captured image in FIG. 20, circular areas set every ⁇ rows in the vertical direction and every ⁇ columns in the horizontal direction). It is to be an area.
  • the narrow area may be set by the setting unit 53 so as to be excluded when setting the processing area by the second distance distribution calculation unit 52 or set in advance in the second distance distribution calculation unit 52.
  • the setting unit 53 may only set the upper and lower lines Lu and Ld.
  • a distance measuring device is a distance measuring device mounted on a moving body, wherein the first distance distribution calculation unit obtains a distance distribution to an object from the parallax of images captured by a plurality of imaging units.
  • a speed detection unit that acquires speed information of the moving body, and a setting unit that sets a processing region for distance distribution calculation in the captured image in the first distance distribution calculation unit in response to a detection result of the speed detection unit.
  • the first distance distribution calculation unit obtains the distance distribution to the target object from the parallax of the captured image by a plurality of imaging units such as a stereo camera mounted on a moving body such as a vehicle or a robot,
  • a setting unit is provided, and the setting unit responds to a detection result of a speed detection unit that acquires speed information of the moving body such as a vehicle speed sensor.
  • a processing region for distance distribution calculation in the captured image is set.
  • the first distance distribution calculation unit calculates the distance distribution from the current speed within the range necessary for the driver to avoid the collision (distance range where the driver can reliably stop), and the distance distribution calculation time Can be shortened and safety can be improved.
  • the setting unit defines a processing region of distance distribution calculation in the captured image by upper and lower lines corresponding to the speed information.
  • the setting unit defines a processing region for distance distribution calculation in the captured image by upper and lower lines, and sets a processing region to be watched from the current speed.
  • the distance measuring device further includes a second distance distribution calculation unit that is faster and less accurate than the first distance distribution calculation unit, with the entire captured image as the processing region.
  • the setting unit causes the first distance distribution calculation unit to process the distance distribution calculation in the captured image based on the calculation result of the distance distribution by the second distance distribution calculation unit. Set the area.
  • the entire captured image is always used as the processing region in the distance measuring device, and therefore, a second distance distribution calculation unit that is faster and less accurate than the first distance distribution calculation unit is further provided.
  • the setting unit sets a processing region for the distance distribution calculation in the first distance distribution calculation unit based on not only the speed information by the speed detection unit but also the calculation result of the distance distribution by the second distance distribution calculation unit. To do.
  • the processing area corresponding to the speed information cannot be set correctly due to the road surface up and down, the processing area can be set correctly from the result obtained by simple calculation.
  • a distance measuring device is mounted on a vehicle and is used as a distance measuring device for measuring a distance to a preceding vehicle or an obstacle. From a speed information from the speed detecting unit, a rear-end collision with the preceding vehicle is performed. A collision avoidance distance calculation unit that calculates a collision avoidance distance that can avoid the collision, and the setting unit is obtained by the collision avoidance distance calculation unit in the calculation result of the distance distribution by the second distance distribution calculation unit A region having a distance corresponding to the collision avoidance distance is set as the processing region.
  • the distance measuring device when the distance measuring device is mounted on a vehicle and used as a distance measuring device that measures the distance to the preceding vehicle, the rear collision to the preceding vehicle is avoided from the speed information from the speed detecting unit.
  • a collision avoidance distance calculation unit that calculates a possible collision avoidance distance is further provided, and the setting unit calculates the collision avoidance obtained by the collision avoidance distance calculation unit in the calculation result of the distance distribution by the second distance distribution calculation unit. Only a distance area corresponding to the distance is set as the processing area.
  • the distance measuring device further includes an input unit that inputs at least vehicle parameters relating to road surface conditions and preferably tire conditions, and the collision avoidance distance calculating unit includes speed information from the speed detecting unit. Then, a collision avoidance distance is calculated from the vehicle parameters.
  • the collision avoidance distance calculation unit determines not only the speed information but also at least the road surface condition (presence / absence of pavement, clear rain, snow, etc.), and preferably the tire condition (type) when determining the collision avoidance distance. , Wear, etc.) in consideration of vehicle parameters.
  • the distance measuring device further includes a second distance distribution calculation unit that is faster and less accurate than the first distance distribution calculation unit, and the setting unit detects the speed detection unit.
  • a processing region is set in the first distance distribution calculation unit, and a remaining region of the captured image is set in the processing region of the second distance distribution calculation unit to perform processing.
  • the first distance distribution calculation unit not only performs the distance distribution calculation based on the current speed, but the range necessary for the driver to avoid the collision (distance range where the driver can reliably stop), and other than that The range is calculated by a high-speed and low-precision second distance distribution calculation unit.
  • the second distance distribution calculation unit can cope with an unexpected jumping out of an object, and further captures a farther preceding vehicle before the first distance distribution calculation unit. It can also be left.
  • the second distance distribution calculation unit is preset with a plurality of narrow areas dispersed on the captured image as processable areas, and the first distance distribution calculation The narrow area outside the processing area set in the section is set as the processing area.
  • the second distance distribution calculation unit does not set the entire area that is not set in the first distance distribution calculation unit as a processing area, but is set in advance as a processable area therein. Calculation is performed using only a narrow area as a processing area.
  • the first distance distribution calculation unit performs frequency decomposition on the pattern in the window defined on the captured image, and based on the similarity of the signal in which the amplitude component is suppressed. Search for corresponding points.
  • the said 1st distance distribution calculating part frequency-resolves the pattern in a window using conventional frequency analysis methods, such as FFT calculation, and only the signal of the phase component which suppressed the amplitude component is used. Since the similarity calculation is performed using this, it is possible to perform a robust corresponding point search that is hardly affected by a difference in imaging conditions between the left and right cameras and noise.
  • the method for frequency-resolving the pattern in the window is one of FFT, DFT, DCT, DST, wavelet transform, and Hadamard transform.
  • the frequency resolution method is generally widely used, and a method with stable properties is preferable.
  • the corresponding point search processing is POC (phase-only correlation method).
  • the POC value obtained after the inverse Fourier transform is known to have a steep correlation peak in the coordinate of the movement amount between images (the reference window and the reference window), and is robust in image matching.
  • the movement amount estimation accuracy is high and suitable.
  • the present invention it is possible to provide a distance measuring device that can reduce the calculation time of distance distribution calculation and improve safety in a distance measuring device used for detecting a preceding vehicle.

Abstract

 ステレオカメラの撮像画像の視差から対象物までの距離分布を求め、先行車の検知などに使用される測距装置において、距離分布演算の計算時間を短縮し、安全性を向上する。  前記距離分布を求める範囲を上下のラインで規定し、車速センサからの出力に応じて、車速が速くなる程、前記上下のラインの間隔を狭くする。したがって、車速が速いときに、前記距離分布の演算処理量を削減することができる。

Description

測距装置
 本発明は、特に車両などの移動体に搭載され、いわゆるステレオカメラの撮像画像などから測距を行う装置に関する。
 車両の安全性を高める取り組みとして、前方の障害物を検出して危険を警告したり、先行車との距離を測って車間距離を一定に保つ装置がある。そのような従来技術として、特許文献1が提案されている。その従来技術によれば、ステレオカメラで撮影した画像が画像処理部で処理されて画像全体の3次元距離分布が演算され、その距離分布情報から道路形状や立体物の3次元位置が高速で検出されるとともに、衝突判断部で各種センサの出力から撮影画像内における自車の走行領域が求められ、その走行領域に掛かる総ての車両や障害物について衝突危険度が算出され、高い場合はユーザに報知するようになっている。
 上述の従来技術では、衝突判断部が、撮影画像内における自車の走行領域を推定し、その推定した領域内で車両や障害物の探索を行っている。しかしながら、前記衝突判断部が、前記警告などに使用しない前記走行領域以外の領域においても、前記3次元距離分布を算出しているので、計算時間が掛かってしまう。このため、前記警告などを発するまでにタイムラグが発生し、安全性が低下してしまう。また、上述の従来技術は、ステレオ法によって前記3次元距離分布を算出しているので、高速ではあるが低精度である。このため、得られた距離データの信頼性が低く、これによってもまた、安全性が低下してしまう。
特開平10-283593号公報
 本発明の目的は、距離分布演算の計算時間を短縮することができる測距装置を提供することである。
 本発明の一態様の測距装置は、移動体に搭載され、複数の撮像部による撮像画像の視差から距離分布を求めるにあたって、速度検出部が前記移動体の速度を検出し、その検出結果に応じて、前記撮像画像における距離分布演算の処理領域を設定する。
 このように構成することで、現在の速度から、運転者などが衝突回避に必要な範囲(確実に止まれる距離範囲)だけ距離分布の演算を行うことになり、距離分布演算の計算時間を短縮し、安全性を向上することができる。
本発明の実施の第1の形態に係る測距装置の電気的構成を示すブロック図である。 ステレオ法による測距方法を説明するための図である。 前記測距装置における視差検出部の一構成例を示すブロック図である。 図3で示す視差検出部で得られるPOC値の例を示すグラフである。 本発明の実施の第1の形態に係る設定部による距離分布演算の処理領域の設定動作を説明するための図である。 ステレオカメラの距離による視野の変化を説明するための図である。 本発明の実施の第1の形態に係る設定部による距離分布演算の処理領域の変化を説明するための図であり、低速域の場合を示す。 本発明の実施の第1の形態に係る設定部による距離分布演算の処理領域の変化を説明するための図であり、中速域の場合を示す。 本発明の実施の第1の形態に係る設定部による距離分布演算の処理領域の変化を説明するための図であり、高速域の場合を示す。 図8の処理領域で距離分布を求めた結果の一例を示す図である。 本発明の実施の第2の形態に係る測距装置の電気的構成を示すブロック図である。 図11で示す視差検出部で行われる対応点探索手法であるSAD法を説明するための図である。 図11で示す測距装置の動作を説明するための図である。 図11で示す測距装置の動作を説明するための図である。 図11で示す測距装置の動作を説明するための図である。 図11で示す測距装置の動作を説明するための図である。 本発明の実施の第3の形態に係る測距装置の電気的構成を示すブロック図である。 本発明の実施の第4の形態に係る測距装置の電気的構成を示すブロック図である。 本発明の実施の第4の形態に係る設定部による距離分布演算の処理領域の設定動作を説明するための図である。 本発明の実施の第5の形態に係る設定部による距離分布演算の処理領域の設定動作を説明するための図である。
 以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
<実施例1>
 図1は、本発明の実施の第1の形態に係る測距装置11の電気的構成を示すブロック図である。この測距装置11は、大略的に、車両に搭載され、複数の撮像部であるステレオカメラ1,2を使用して、それらの撮像画像の視差から、第1の距離分布演算部3が距離分布を計測し、出力部4から運転者に、対象物である先行車までの距離情報を通知するシステムである。前記出力部4には、オーディオからの音声出力、カーナビ画面への出力および表示装置への出力などが用いられ得る。前記第1の距離分布演算部3は、前記視差を求める視差検出部3aと、その求められた視差から対象物の3次元位置を計測する3D計測部3bとを備えて構成される。
 図2は、ステレオ法による測距方法を説明するための図である。前記視差検出部3aは、ステレオカメラ1,2による2つの撮像画像に対して、後述するようにして対応点探索を行い、同じ対象物5に対する位置ずれ量(=視差d)を求める。前記3D計測部3bは、求められた位置ずれ量(=視差d)から、前記ステレオ法によって対象物5までの距離を求める。図2は、少なくとも焦点距離(f)、撮像面(CCD)の画素数、1画素の大きさ(μ)が相互に等しい2台の前記ステレオカメラ1,2を用い、所定の基線長(L)だけ左右に離間させて光軸1a,2aを平行に配置して対象物5を撮影した状態を示している。この状態で、撮像面1b,2b上の視差(ずれ画素数)がd(=d1+d2)であると、対象物5までの距離(D)は、斜線を施して示す三角形が相似であることから、
  D:f=L:μ×d
の関係があり、
  D=(L×f)/(μ×d)
で求めることができる。
 図3は、前記視差検出部3aの一構成例を示すブロック図である。この視差検出部3aは、前記対応点探索手法として、位相限定相関法(POC法)を用いている。そして、この視差検出部3aは、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行うようにした場合の処理の流れを示すものである。前記ステレオカメラ1,2による基準画像および参照画像は、フーリエ変換部31,32においてそれぞれフーリエ変換され、規格化部33,34において規格化された後、合成部35において合成され、逆フーリエ変換部36において逆フーリエ変換される。図3を数式で表すと以下のとおりである。
Figure JPOXMLDOC01-appb-M000001
 上記POC処理で得られるPOC値は、図4に示すように、画像間(基準ウインドウと参照ウインドウ)の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。そのPOCのピークの高さが、パターン類似度を示す。前記位置ズレ量(=視差d-sub)は、視差検出部3aが、POCのピーク位置を推定することで求められる。POC値は離散的に求まるので、ピーク位置をサブピクセルで補間推定することによって、前記視差検出部3aは、高分解な対応点座標を求めることができる。ピーク位置の補間推定方法としては、放物線などの関数を、フィッティングして行うことができる。そして、候補領域間の前記位置ズレ量dは、候補領域間のピクセルレベルの位置ズレ量d-pixelに、POC法で求めたサブピクセルの位置ズレ量d-subを加えた量となる。
 このように視差検出部3aは、前記撮像画像上に定めたウインドウ内のパターンを周波数分解し、振幅成分を抑制した位相成分のみの信号の類似度に基づいて対応点探索を行うことで、左右のカメラ1,2の撮影条件の差や、ノイズなどの影響を受け難く、ロバストな対応点探索を行うことができる。なお、前記ウインドウ内のパターンを周波数分解する手法には、DFT(離散フーリエ変換)を用いているけれども、FFT(高速フーリエ変換)、DCT(離散コサイン変換)、DST(離散サイン変換)、ウエーブレット変換、アダマール変換などの他の手法が用いられてもよい。前記DFTに加えて、これらの周波数分解手法は、一般的に広く用いられ、性質が安定した手法で好適である。
 また、前記POC法(位相限定相関法)では、逆フーリエ変換後に得られるPOC値は、画像間(基準ウインドウと参照ウインドウ)の移動量の座標に急峻な相関ピークを持つことが知られており、前記視差検出部3aは、対応点探索処理にこのPOC法を用いることで、画像マッチングにおけるロバスト性と移動量推定精度とが高くなり、好適である。
 上述のように構成される測距装置11において、注目すべきは、本実施の形態では、速度検出部である前記搭載車両の車速センサ12からの速度情報を取得し、その速度情報に対応して、前記第1の距離分布演算部3に、撮像画像における距離分布演算の処理領域を設定する設定部13が設けられることである。具体的には、前記設定部13は、視差検出部3aにおいて、前記視差dが求められる範囲を、速度が遅くなる程拡げ、速くなる程狭め、重要な領域のみ距離分布を算出するようにする。前記車速センサ12には、車輪回転数を基に速度を計測する装置、GPSの現在地情報を基に速度を計測する装置または加速度センサからの加速度情報を積分して速度を計測する装置などを用いることができる。
 図5は、そのような設定部13による視差dの検出範囲の設定動作を説明するための図である。この図5は、前記ステレオカメラ1,2の撮像画像の一例を示すものであり、車両から遠い位置に存在する路面は画像中の上部に映り、近い位置に存在する路面は画像中の下部に映る。またこのような状況下では、横一列のラインは路面上の同じ距離に相当する可能性が高いので、設定部13は、画像中の等距離の部分を簡単に抜き出すことができる。よって本実施の形態では、設定部13は、前記速度情報に対応した上下のラインLu,Lbで規定した横一列のライン群を、現在の速度から注視すべき前記処理領域として抽出する。こうして、設定部13は、処理領域を容易に設定することができる。
 ここで、日本交通心理学会で推奨されている危険回避に最低限必要な車間距離として、「車間距離2秒以上」がある。この危険回避に最低限必要な車間距離を安全距離(運転者が注意すべき距離を追突回避距離)とする。したがって、前記安全距離を求める計算式は、速度(km/h)をSとすると、下式で表すことができる。
  安全距離(m)=2×S×(1000/3600)
 たとえば、時速60km/hで走行している場合は、安全距離は33.3mとなり、33.3m以上の車間距離が危険回避に必要な距離となる。このような安全距離(追突回避距離)が、各車速について予め計算され、後述するようにして、その安全距離の範囲が撮像画面上のどのラインからどのラインに該当するかのテーブルが求められ、このテーブルが前記設定部13に、車速-処理領域のテーブルとして予め格納されている。そして、車速が変化すると、設定部13は、前記テーブルを参照して、処理領域を規定する上下ラインLu,Lbを前記視差検出部3aに設定する。
 ここで、図6で示すように、ステレオカメラ1,2の鉛直方向の画角θおよび測距の対象物5までの距離にもよるが、該ステレオカメラ1,2の取付け高さC(これを画面中心に設定する)よりも低い位置(路面まで)は、該ステレオカメラ1,2が殆どカバーできる(捉えることができる)が、高い位置は、該ステレオカメラ1,2がどの程度までカバーするのかは、比較的任意に定められる。そこで、本実施の形態では、該ステレオカメラ1,2は、日本の道路運送車両法による自動車の分類において、四輪以上で小型と分類されている高さ2m以下をカバーするものとする(大きい車両も、前記2m以下の高さの部分で検知できる)。
 そして、図5で示すように、追突回避距離Rにおける高さ2mが、前記ステレオカメラ1,2の何画素に当るかが、前記上ラインLuとして設定部13のテーブルに格納される。また同様に、前記追突回避距離における路面が、前記ステレオカメラ1,2の何画素に当るかが、前記下ラインLbとして設定部13のテーブルに格納される。ここで、図5において、参照符号Dはステレオカメラ1,2の高さ方向の全画素数であり、参照符号Eはステレオカメラ1,2の1画素当りが受け持つ鉛直方向の高さであり、前記上下ラインLu,Lbは画素数(画素No.、以下pixelで示す)として格納される。
 以下に、前記上下ラインLu,Lb(画素数)の求め方を説明する。ステレオカメラ1,2が車両6に水平に取付けられており、前記追突回避距離R(m)だけ離れた位置での撮像画像が示す鉛直方向の長さをA(m)とすると、この高さAは下式で求めることができる。
  A=R×tan(θ/2)×2
 したがって、前記追突回避距離Rの位置において、ステレオカメラ1,2の1画素当りが受け持つ前記鉛直方向の高さE(m/pixel)は、前記全画素数をDとすると、下式で求めることができる。
  E=A/D
 そして、図5に示すように画像原点(0pixel)を左上とした場合、中心ラインCから画像上方向に世界座標系で、B-C(=0.5m)進めた位置(ステレオカメラ1,2から追突回避距離Rだけ離れた位置における小型車の高さ限界)に相当する画像上の位置である前記上ラインLu(pixel)は、下式で求めることができる。
  Lu=(D/2)-((B-C)/E)   (ただし、0≦Lu<D/2)
 また、図5の中心ラインCから画像下方向に世界座標系でC(=1.5m)進めた位置(ステレオカメラ1,2から追突回避距離Rだけ離れた位置における路面の高さ)に相当する画像上の位置である前記下ラインLb(pixel)は、下式で求めることができる。
  Lb=(D/2)+(C/E)   (ただし、D/2<Lb≦B)
 具体的には、前記ステレオカメラ1,2の鉛直方向の画角θを40°、鉛直方向の画素数を480pixel、追突回避距離Rを安全距離とした場合、該測距装置11が搭載された車両が時速7km/h(低速と中速の閾値)で走行していた場合、Lu=46pixel,Lb=480pixelとなる。これに対して、前記車両が時速60km/h(中速と高速の閾値)で走行していた場合、Lu=230pixel,Lb=270pixelとなる。以下、低速は、該測距装置11が搭載される車両(自動車)6のクリープ現象での最高速度である前記7km/h未満、高速は高速道路を走行する際の最低速度である60km/h以上、中速はそれらの間の7km/h以上、60km/h未満とするが、他の値でも構わない。
 図7~図9には、ステレオカメラ1,2から追突回避距離Rだけ離れた地点で、処理領域となる上述のようにして求められた路面から高さ2mまでの範囲の違いが示されている。前記処理領域は、網掛けして示しており、図7は前記低速域のLu=46pixel,Lb=480pixelの場合を示す。図8は中速域であり、図9は高速域のLu=230pixel,Lb=270pixelの場合を示している。設定部13は、車速に対応して前記テーブルから読出したこれらの上下ラインLu,Lbの値を視差検出部3aに設定し、視差検出部3aは、それらの上下ラインLu,Lb間の処理領域のみ対応点探索を行い、視差dを求める。図8のような処理領域で距離分布が求められると、図10で示すようになる。
 このように設定部13が車速に応じて対応点探索、したがって距離分布演算の処理領域を設定することで、距離分布演算部3は、現在の速度から、運転者などが衝突回避に必要な範囲(確実に止まれる距離範囲)だけ距離分布の演算を行うことになり、距離分布演算の計算時間を短縮し、安全性を向上することができる。
<実施例2>
 図11は、本発明の実施の第2の形態に係る測距装置21の電気的構成を示すブロック図である。この測距装置21は、前述の測距装置11に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、この測距装置21は、撮像画像全域を前記処理領域とし、前記第1の距離分布演算部3に比べて、高速低精度な第2の距離分布演算部22をさらに備え、設定部23は、前記車速センサ12の検出結果に加えて、前記第2の距離分布演算部22による距離分布の演算結果から、前記第1の距離分布演算部3に、前記撮像画像における距離分布演算の処理領域を設定することである。
 具体的には、前記第2の距離分布演算部22は、前記ステレオカメラ1,2から入力された撮像画像から、SAD法によって高速に対応点探索を行い、視差を求める視差検出部22aと、求められた視差からステレオ法で対象物5までの距離を求める3D計測部22bとを備えて構成される。3D計測部22bで求められた距離分布は設定部23に入力される。一方、前記車速センサ12からの車速情報は追突回避距離算出部24に入力され、この追突回避距離算出部24において前述のように車速に対応した追突回避距離Rが求められ、前記設定部23に入力される。設定部23は、上述のようにして車速から予め求められている処理領域に、この3D計測部22bで求められた距離分布の内、前記追突回避距離から±αの距離に該当する部分を、第1の距離分布演算部3の処理領域に加える。
 図12は、前記視差検出部22aで行われる対応点探索手法である前記SAD法を説明するための図である。このSAD法では、前記視差検出部22aは、基準画像1c上の画像Img1が参照画像2c上のどこにあるのかを探索する。具体的には、前記視差検出部22aは、前記基準画像1c上で、縦横方向にそれぞれW画素分の大きさを持つウインドウ(前記画像Img1)を設定し、同様に、参照画像2c上にも同じ大きさを持つウインドウ(前記画像Img2)を設定する。そして、前記視差検出部22aは、参照画像2c上において、基準画像1c上におけるウインドウImg1と同じ位置から、基線長方向に或る範囲(0<p<max_disp)でウインドウImg2の走査を開始させて、それぞれの位置で相関演算を行う。その相関演算には、前記視差検出部22aは、先ず、下式で示すように、ウインドウの同じ対応画素の明るさの差の絶対値をそれぞれ求める。
Figure JPOXMLDOC01-appb-M000002
次に、前記視差検出部22aは、それをウインドウ内の全画素に亘って加算した値SADから、下式によって相関値(COR)を求める。
Figure JPOXMLDOC01-appb-M000003
 前記視差検出部22aは、このような作業を1画素ずつずらして行ってゆき、最も相関値の高いウインドウ位置に画像Img1と等しい画像があると判定し、そのずらした画素数を前記視差dとする。なお、この説明では、前記視差検出部22aはピクセル単位で最も相関値の高い位置から視差dを求めているが、ピーク前後の相関値を用いて、サブピクセル単位でピークを補間して求めてもよい。
 図13~図16は、この測距装置21の動作を説明するための図である。ステレオカメラ1,2の撮像画像が図13で示すような場合、前記第1の距離分布演算部3が上述のように単に速度に対応した上下ラインLu,Lbで規定した処理領域について距離分布を求めると、図14で示すようになる。これらの図13~図16の例は、中速で上り坂にさしかかる箇所を走行している例を示しており、対象物5である先行車5a,5bが存在し、先行車5aは前記追突回避距離Rである20m付近に存在するものの、上り坂の関係で、撮像画面上に映る位置が速度に相当した位置よりも上になっており、これに対して先行車5bは、同じ高さの路面の遠くを走行している。
 したがって、前記第1の距離分布演算部3が単に速度に対応した上下ラインLu,Lbで規定した処理領域について距離分布を求めると、前記上り坂の関係で、先行車5aは検知できていない。しかしながら、前記第2の距離分布演算部22が距離分布を簡易演算した結果は、図15で示すようになり、設定部23は、この図15において、参照符号β1,β2で示す前記追突回避距離R=33(m)±α(m)の領域を第1の距離分布演算部3の処理領域に加える。これによって、実際に第1の距離分布演算部3で求められた前記追突回避距離R付近の距離分布は、図16で示すようになり、該第1の距離分布演算部3は、上り坂の関係で検知できていなかった先行車5aを捉えることができる。
 このように構成することで、設定部23は、路面のアップダウンなどで前記速度情報に対応した処理領域が正しく設定できなくても、前記第2の距離分布演算部22で簡易な演算によって求めた結果から、処理領域を正しく設定することができる。前記αは、たとえば前記道路運送車両法による自動車の分類が二輪で、区分が軽のものに対応した2.5mに設定することができるが、他の値が用いられてもよい。
 また、該測距装置21を先行車までの距離を計測する測距装置として用いるにあたって、該測距装置21には、車速センサ12からの速度情報から、先行車5a,5bへの追突を回避可能な追突回避距離Rを算出する追突回避距離算出部24を設けている。そして、設定部23が前記第2の距離分布演算部22による距離分布の演算結果において、その追突回避距離算出部24で求められた追突回避距離R±αの領域だけを、前記第1の距離分布演算部3の処理領域に設定している。これによって、前記第1の距離分布演算部3は、R+α以遠の領域は以後の処理で対応し、R-αより近い領域は既に以前の処理で対応しているものとして、現在追突回避距離R付近に存在する物体だけを該第1の距離分布演算部3が高精度に距離分布を求めるので、瞬時の処理量を一層削減することができる。
<実施例3>
 図17は、本発明の実施の第3の形態に係る測距装置41の電気的構成を示すブロック図である。この測距装置41は、前述の測距装置21に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、この測距装置41では、少なくとも路面状況(舗装の有無、晴雨または雪等)、および好ましくはタイヤ状況(種類、摩耗等)に関する車両パラメータを入力する入力装置42がさらに設けられており、追突回避距離算出部44は、前記車速センサ12からの速度情報および前記車両パラメータから、前記追突回避距離を算出することである。前記入力装置42には、たとえばタッチパネルや、表示装置に、キーボード、リモコン、マウスまたはマイクロフォンの組合わせなどが用いられる。
 具体的には、ここでは、前記追突回避距離Rとして、停止距離を考える。停止距離は、ステレオカメラ1,2が搭載されている車両6が走行している途中で、運転者が危険を感じてからブレーキをかけ、ブレーキが効き始めるまでに車が走る距離(空走距離)と、ブレーキが効き始めてから実際に車両6が停止するまでの距離(制動距離)とを合わせたものである。運転者が危険を感じて急ブレーキが必要と判断した時点から、ブレーキペダルを踏み込んでブレーキが効き始める時点までの反応時間(空走時間)は、個人差はあるが、通常人の平均的な反応時間を0.75秒として、前記空走距離が計算される。したがって、車速をV(km/h)とすると、
  空走距離=0.75×V×(1000/3600)
である。
 一方、前記制動距離は、
  制動距離={V×(1000/3600)}/(2×9.8×摩擦係数)
であり、前記停止距離は、
  停止距離=0.75×V×(1000/3600)
       +{V×(1000/3600)}/(2×9.8×摩擦係数)
となる。
 たとえば、車速Vが60km/h、摩擦係数が乾燥路面の0.7の場合、
  0.75×60×(1000/3600)
  +{60×(1000/3600)}/(2×9.8×0.7)=32.7
となり、停止距離は32.7mとなる。
 また、運転者が入力装置42から路面状況、タイヤの種類や摩耗状態を入力すると、追突回避距離計算部44において、予め用意された摩擦係数テーブル(前記路面状況、タイヤの種類、摩耗状態をパラメータとして前記摩擦係数を決定するテーブル)や、補正係数の演算などによって、適宜前記摩擦係数が適切な値に補正される。
 このように前記追突回避距離計算部44が前記追突回避距離Rを求めるにあたって、速度情報だけでなく、少なくとも路面状況(舗装の有無、晴雨または雪等)、および好ましくはタイヤ状況(種類、摩耗等)に関する車両パラメータも考慮して算出することで、一層正確に算出することができる。
<実施例4>
 図18は、本発明の実施の第4の形態に係る測距装置51の電気的構成を示すブロック図である。この測距装置51は、前述の測距装置21,41に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、この測距装置51では、前記第1の距離分布演算部3に比べて、高速低精度な第2の距離分布演算部52をさらに備え、設定部53は、前記車速センサ12の検出結果に応答して、前記第1の距離分布演算部3の視差検出部3aに処理領域を設定するとともに、ステレオカメラ1,2の撮像画像の残余の領域を、前記第2の距離分布演算部52の視差検出部52aの処理領域に設定して処理を行わせることである。
 図19は、車両が中速(7km/h以上、60km/h未満)で移動している場合の例を示している。図19では、基準画像および参照画像の両方に対して、画像上部側の上ラインLuから下部側の下ラインLbまでの範囲が第1の距離分布演算部3の処理領域となり、上ラインLuより上側の範囲および下ラインLbより下側の範囲が第2の距離分布演算部52の処理領域となっている。
 したがって、現在の速度から、運転者などが衝突回避に必要な範囲(確実に止まれる距離範囲)を第1の距離分布演算部3が高精度な距離分布演算を行うだけでなく、それ以外の範囲は高速低精度な第2の距離分布演算部52が演算を行うことで、前記運転者は不用意な物体の飛び出しなどに対応することができるとともに、さらに遠方の先行車などを第1の距離分布演算部3で捉える前に、第2の距離分布演算部52が事前に捉え、運転者の注意喚起などに使用することもできる。
<実施例5>
 図20は、本発明の実施の第5の形態に係る測距装置における距離分布演算の方法を説明するための図である。この測距装置には、前述の測距装置51の構成を用いることができ、その説明を省略する。注目すべきは、この測距装置では、前記第2の距離分布演算部52が、前記第1の距離分布演算部3で処理されない領域の総てを処理するのではなく、その中でも、予め設定され、この図20で示すように、撮像画像上に分散した複数の狭小領域(図20では、縦方向にγ行おきに,横方向にδ列おきに設定される円形の領域)を処理可能領域とすることである。前記狭小領域は、前記設定部53によって、第2の距離分布演算部52による処理領域の設定の際に除外するように設定されてもよく、或いは、第2の距離分布演算部52に予め設定され、設定部53は上下のラインLu,Ldを設定するだけでもよい。
 このように構成することで、第2の距離分布演算部52での距離演算の処理を削減することができる。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 本発明の一態様に従う測距装置は、移動体に搭載され、複数の撮像部による撮像画像の視差から、第1の距離分布演算部が対象物までの距離分布を求める測距装置において、前記移動体の速度情報を取得する速度検出部と、前記速度検出部の検出結果に応答して、前記第1の距離分布演算部に、前記撮像画像における距離分布演算の処理領域を設定する設定部とを含む。
 上記の構成によれば、車両やロボットなどの移動体に搭載され、ステレオカメラなどの複数の撮像部による撮像画像の視差から、第1の距離分布演算部が対象物までの距離分布を求め、障害物や先行車の検知などに使用される測距装置において、設定部を設け、該設定部が、車速センサなどの前記移動体の速度情報を取得する速度検出部の検出結果に応答して、前記第1の距離分布演算部に、前記撮像画像における距離分布演算の処理領域を設定する。
 したがって、第1の距離分布演算部は、現在の速度から、運転者などが衝突回避に必要な範囲(確実に止まれる距離範囲)だけ距離分布の演算を行うことになり、距離分布演算の計算時間を短縮し、安全性を向上することができる。
 本発明の他の態様に従う測距装置では、前記設定部は、前記撮像画像における距離分布演算の処理領域を、前記速度情報に対応した上下のラインで規定する。
 上記の構成によれば、測距装置を車両に搭載した場合に、遠い位置に存在する路面は画像の上部に映り、近い位置に存在する路面は画像の下部に映り、画像の同じ高さのラインは同じ距離の路面である可能性が高い。そこで、前記設定部は、前記撮像画像における距離分布演算の処理領域を上下のラインで規定して、現在の速度から注視すべき処理領域を設定する。
 したがって、処理領域を容易に設定することができる。
 本発明のさらに他の態様に従う測距装置は、撮像画像全域を前記処理領域とし、前記第1の距離分布演算部に比べて、高速低精度な第2の距離分布演算部をさらに備え、前記設定部は、前記速度検出部の検出結果に加えて、前記第2の距離分布演算部による距離分布の演算結果から、前記第1の距離分布演算部に、前記撮像画像における距離分布演算の処理領域を設定する。
 上記の構成によれば、常時、撮像画像全域を該測距装置における前記処理領域とし、そのため前記第1の距離分布演算部に比べて高速低精度な第2の距離分布演算部をさらに設け、前記設定部は、前記速度検出部による速度情報だけでなく、さらにその第2の距離分布演算部による距離分布の演算結果から、第1の距離分布演算部での距離分布演算の処理領域を設定する。
 したがって、路面のアップダウンなどで前記速度情報に対応した処理領域が正しく設定できなくても、簡易な演算によって求めた結果から、処理領域を正しく設定することができる。
 本発明の他の態様に従う測距装置は、車両に搭載され、先行車や障害物までの距離を計測する測距装置として用いられ、前記速度検出部からの速度情報から、先行車への追突を回避可能な追突回避距離を算出する追突回避距離算出部をさらに備え、前記設定部は、前記第2の距離分布演算部による距離分布の演算結果において、前記追突回避距離算出部で求められた追突回避距離に該当する距離の領域を前記処理領域に設定する。
 上記の構成によれば、該測距装置が車両に搭載され、先行車までの距離を計測する測距装置として用いられる場合、前記速度検出部からの速度情報から、先行車への追突を回避可能な追突回避距離を算出する追突回避距離算出部をさらに設け、前記設定部は、前記第2の距離分布演算部による距離分布の演算結果において、その追突回避距離算出部で求められた追突回避距離に該当する距離の領域だけを前記処理領域に設定する。
 したがって、それ以遠の領域は以後の処理で対応し、近い領域は既に以前の処理で対応しているものとして、現在追突回避距離に存在する物体だけを第1の距離分布演算部によって高精度に距離分布を求めるので、瞬時の処理量を一層削減することができる。
 本発明のさらに他の態様に従う測距装置は、少なくとも路面状況、および好ましくはタイヤ状況に関する車両パラメータを入力する入力部をさらに備え、前記追突回避距離算出部は、前記速度検出部からの速度情報および前記車両パラメータから、追突回避距離を算出する。
 上記の構成によれば、前記追突回避距離算出部は、前記追突回避距離を求めるにあたって、速度情報だけでなく、少なくとも路面状況(舗装の有無、晴雨または雪等)、および好ましくはタイヤ状況(種類、摩耗等)に関する車両パラメータも考慮して算出する。
 したがって、前記追突回避距離を一層正確に算出することができる。
 本発明の他の態様に従う測距装置は、前記第1の距離分布演算部に比べて、高速低精度な第2の距離分布演算部をさらに備え、前記設定部は、前記速度検出部の検出結果に応答して、前記第1の距離分布演算部に処理領域を設定するとともに、撮像画像の残余の領域を前記第2の距離分布演算部の処理領域に設定して処理を行わせる。
 上記の構成によれば、現在の速度から、運転者などが衝突回避に必要な範囲(確実に止まれる距離範囲)を第1の距離分布演算部が距離分布演算を行うだけでなく、それ以外の範囲は高速低精度な第2の距離分布演算部が演算を行う。
 したがって、前記第2の距離分布演算部が、不用意な物体の飛び出しなどに対応することができるとともに、さらに遠方の先行車などを第1の距離分布演算部で捉える前に、事前に捉えておくこともできる。
 本発明のさらに他の態様に従う測距装置では、前記第2の距離分布演算部は、前記撮像画像上に分散した複数の狭小領域を処理可能領域として予め設定され、前記第1の距離分布演算部に設定された処理領域外の前記狭小領域を前記処理領域とする。
 上記の構成によれば、第2の距離分布演算部は、第1の距離分布演算部に設定されなかった領域全体を処理領域にするのではなく、その中で処理可能領域に予め設定される狭小領域だけを処理領域として演算を行う。
 したがって、第2の距離分布演算部での距離演算の処理量を削減することができる。
 本発明の他の態様に従う測距装置では、前記第1の距離分布演算部は、前記撮像画像上に定めたウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索する。
 上記の構成によれば、前記第1の距離分布演算部は、FFT演算などの従来からある周波数解析手法を用いてウインドウ内のパターンを周波数分解し、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うので、左右のカメラの撮影条件の差や、ノイズなどの影響を受け難く、ロバストな対応点探索を行うことができる。
 本発明のさらに他の態様に従う測距装置では、前記ウインドウ内のパターンを周波数分解する手法が、FFT、DFT、DCT、DST、ウエーブレット変換、アダマール変換のいずれかである。
 上記の構成によれば、前記の周波数分解の手法として、一般的に広く用いられ、性質が安定した手法で好適である。
 本発明の他の態様に従う測距装置では、前記対応点探索処理が、POC(位相限定相関法)である。
 上記の構成によれば、逆フーリエ変換後に得られるPOC値は、画像間(基準ウインドウと参照ウインドウ)の移動量の座標に急峻な相関ピークを持つことが知られており、画像マッチングにおけるロバスト性と移動量推定精度とが高く、好適である。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切かつ充分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、先行車の検知などに使用される測距装置において、距離分布演算の計算時間を短縮し、安全性を向上することができる測距装置を提供することができる。

Claims (10)

  1.  移動体に搭載され、複数の撮像部による撮像画像の視差から、第1の距離分布演算部が対象物までの距離分布を求める測距装置において、
     前記移動体の速度情報を取得する速度検出部と、
     前記速度検出部の検出結果に応答して、前記第1の距離分布演算部に、前記撮像画像における距離分布演算の処理領域を設定する設定部とを含むことを特徴とする測距装置。
  2.  前記設定部は、前記撮像画像における距離分布演算の処理領域を、前記速度情報に対応した上下のラインで規定することを特徴とする請求項1記載の測距装置。
  3.  撮像画像全域を前記処理領域とし、前記第1の距離分布演算部に比べて、高速低精度な第2の距離分布演算部をさらに備え、
     前記設定部は、前記速度検出部の検出結果に加えて、前記第2の距離分布演算部による距離分布の演算結果から、前記第1の距離分布演算部に、前記撮像画像における距離分布演算の処理領域を設定することを特徴とする請求項1または2記載の測距装置。
  4.  車両に搭載され、先行車までの距離を計測する測距装置として用いられ、
     前記速度検出部からの速度情報から、先行車への追突を回避可能な追突回避距離を算出する追突回避距離算出部をさらに備え、
     前記設定部は、前記第2の距離分布演算部による距離分布の演算結果において、前記追突回避距離算出部で求められた追突回避距離に該当する距離の領域を前記処理領域に設定することを特徴とする請求項3記載の測距装置。
  5.  少なくとも路面状況、および好ましくはタイヤ状況に関する車両パラメータを入力する入力部をさらに備え、
     前記追突回避距離算出部は、前記速度検出部からの速度情報および前記車両パラメータから、追突回避距離を算出することを特徴とする請求項4記載の測距装置。
  6.  前記第1の距離分布演算部に比べて、高速低精度な第2の距離分布演算部をさらに備え、
     前記設定部は、前記速度検出部の検出結果に応答して、前記第1の距離分布演算部に処理領域を設定するとともに、撮像画像の残余の領域を前記第2の距離分布演算部の処理領域に設定して処理を行わせることを特徴とする請求項1記載の測距装置。
  7.  前記第2の距離分布演算部は、前記撮像画像上に分散した複数の狭小領域を処理可能領域として予め設定され、前記第1の距離分布演算部に設定された処理領域外の前記狭小領域を前記処理領域とすることを特徴とする請求項6記載の測距装置。
  8.  前記第1の距離分布演算部は、前記撮像画像上に定めたウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索することを特徴とする請求項1~7のいずれか1項に記載の測距装置。
  9.  前記ウインドウ内のパターンを周波数分解する手法が、FFT、DFT、DCT、DST、ウエーブレット変換、アダマール変換のいずれかであることを特徴とする請求項8記載の測距装置。
  10.  前記対応点探索処理が、POC(位相限定相関法)であることを特徴とする請求項8記載の測距装置。
PCT/JP2008/052405 2008-02-14 2008-02-14 測距装置 WO2009101687A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2008/052405 WO2009101687A1 (ja) 2008-02-14 2008-02-14 測距装置
JP2009553306A JP5056861B2 (ja) 2008-02-14 2008-02-14 測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/052405 WO2009101687A1 (ja) 2008-02-14 2008-02-14 測距装置

Publications (1)

Publication Number Publication Date
WO2009101687A1 true WO2009101687A1 (ja) 2009-08-20

Family

ID=40956731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/052405 WO2009101687A1 (ja) 2008-02-14 2008-02-14 測距装置

Country Status (2)

Country Link
JP (1) JP5056861B2 (ja)
WO (1) WO2009101687A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037929A (ja) * 2010-08-03 2012-02-23 Nippon Hoso Kyokai <Nhk> 3次元形状取得装置および3次元形状取得プログラム
WO2014061446A1 (ja) * 2012-10-19 2014-04-24 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
EP2541524A4 (en) * 2010-02-22 2017-01-11 Toyota Jidosha Kabushiki Kaisha Risk degree calculation device
JP2017215525A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JPWO2017068792A1 (ja) * 2015-10-22 2018-07-26 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両および視差算出方法
WO2019193824A1 (ja) * 2018-04-06 2019-10-10 アキュートロジック株式会社 情報処理装置及び情報処理方法並びに情報処理用プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266539B2 (ja) * 2012-07-25 2013-08-21 コニカミノルタ株式会社 測距装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02232511A (ja) * 1989-03-07 1990-09-14 Mitsubishi Electric Corp 追尾式車間距離測定装置
JPH08254423A (ja) * 1995-03-17 1996-10-01 Fuji Electric Co Ltd 移動体搭載用距離検出装置
JPH0996525A (ja) * 1995-09-29 1997-04-08 Suzuki Motor Corp 車載用距離測定装置
JPH1089954A (ja) * 1996-09-12 1998-04-10 Omron Corp 距離測定装置およびその装置が用いられた車両
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02232511A (ja) * 1989-03-07 1990-09-14 Mitsubishi Electric Corp 追尾式車間距離測定装置
JPH08254423A (ja) * 1995-03-17 1996-10-01 Fuji Electric Co Ltd 移動体搭載用距離検出装置
JPH0996525A (ja) * 1995-09-29 1997-04-08 Suzuki Motor Corp 車載用距離測定装置
JPH1089954A (ja) * 1996-09-12 1998-04-10 Omron Corp 距離測定装置およびその装置が用いられた車両
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2541524A4 (en) * 2010-02-22 2017-01-11 Toyota Jidosha Kabushiki Kaisha Risk degree calculation device
JP2012037929A (ja) * 2010-08-03 2012-02-23 Nippon Hoso Kyokai <Nhk> 3次元形状取得装置および3次元形状取得プログラム
WO2014061446A1 (ja) * 2012-10-19 2014-04-24 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP2014085120A (ja) * 2012-10-19 2014-05-12 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
JPWO2017068792A1 (ja) * 2015-10-22 2018-07-26 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両および視差算出方法
EP3367058A4 (en) * 2015-10-22 2019-06-12 Kyocera Corporation PARALLAX COMPUTING DEVICE, STEREOSCOPIC CAMERA DEVICE, VEHICLE, AND PARALLAX CALCULATION METHOD
US10769804B2 (en) 2015-10-22 2020-09-08 Kyocera Corporation Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method
JP2017215525A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2019193824A1 (ja) * 2018-04-06 2019-10-10 アキュートロジック株式会社 情報処理装置及び情報処理方法並びに情報処理用プログラム
JP2019185277A (ja) * 2018-04-06 2019-10-24 アキュートロジック株式会社 情報処理装置及び情報処理方法並びに情報処理用プログラム

Also Published As

Publication number Publication date
JPWO2009101687A1 (ja) 2011-06-02
JP5056861B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
US8320628B2 (en) Method and system for assisting driver
CN108351207B (zh) 立体相机装置
JP5056861B2 (ja) 測距装置
JP4714104B2 (ja) 物体傾き検出装置
EP2741256B1 (en) Moving body detection device and method
EP3057063A1 (en) Object detection device and vehicle using same
WO2011080943A1 (ja) 路肩検出装置及び路肩検出装置を用いた車両
WO2009099022A1 (ja) 周辺監視装置及び周辺監視方法
US20110169957A1 (en) Vehicle Image Processing Method
JP6856452B2 (ja) 物標判定装置及び運転支援システム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
JP2009014445A (ja) 測距装置
US20150248594A1 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
JP2008051688A (ja) 車両自動計測装置、車両自動計測システム及び車両自動計測方法
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
KR101491305B1 (ko) 장애물 검출 장치 및 방법
JP2011174794A (ja) 路面状態検出装置及び方法
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
JP5266539B2 (ja) 測距装置
JP5163164B2 (ja) 3次元計測装置
JP5256482B2 (ja) 測距装置
JP3586938B2 (ja) 車載用距離測定装置
JP3612821B2 (ja) 車載用距離測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08711247

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009553306

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08711247

Country of ref document: EP

Kind code of ref document: A1