WO2015053100A1 - 物体検出装置及びそれを用いた車両 - Google Patents

物体検出装置及びそれを用いた車両 Download PDF

Info

Publication number
WO2015053100A1
WO2015053100A1 PCT/JP2014/075771 JP2014075771W WO2015053100A1 WO 2015053100 A1 WO2015053100 A1 WO 2015053100A1 JP 2014075771 W JP2014075771 W JP 2014075771W WO 2015053100 A1 WO2015053100 A1 WO 2015053100A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
parallax
road surface
image
unit
Prior art date
Application number
PCT/JP2014/075771
Other languages
English (en)
French (fr)
Inventor
晋司 掛川
春樹 的野
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US15/026,713 priority Critical patent/US9886649B2/en
Priority to EP14853117.1A priority patent/EP3057063B1/en
Publication of WO2015053100A1 publication Critical patent/WO2015053100A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an object detection device for detecting an object and a vehicle using the same.
  • object detection devices that detect surrounding objects by processing distance information obtained by sensing the outside world, such as stereo camera devices and laser radar devices, have been put into practical use. These object detection devices can be applied to a monitoring system that detects intrusion or abnormality of a suspicious person, an in-vehicle system that supports safe driving of a vehicle, or the like.
  • the in-vehicle system considers the object ahead as an obstacle to travel as an obstacle, and provides a function to avoid or reduce the collision by means such as warning or automatic braking when there is a danger of collision with the obstacle can do.
  • an object detected on the road is regarded as an obstacle. This is because it is possible to narrow down the area where the obstacle exists. By narrowing down the area where obstacles exist, it reduces false detections that detect obstacles in a space area where obstacles do not exist, and undetected problems that do not detect obstacles in space areas where obstacles exist. It becomes possible. For this reason, in order to accurately detect an obstacle, it is important to accurately detect the road surface.
  • Patent Document 1 As background art in this technical field.
  • this patent document 1 it is disclosed to provide a road surface shape recognition device capable of accurately detecting an actual road surface shape not only when a lane is marked on a road surface but also when a lane is not marked.
  • Non-Patent Document 1 also includes "The computation of the free space computation has two main goals: 1. Find the distances to the closest objects. 2. Find the road surface segmentation. While finding the distance to objectsvigatingtheat car or triggering safety systems, the second objective is probably of the same importance. It is crucial for the road surface estimation task described in the first part of this paper. The reason for this is, thatsmeasurescens influence the B-spline curve and the resulting curve estimation may become unstable in such scenarios.
  • Patent Document 1 describes a stereo camera device that detects a road surface by processing a distance image calculated using a stereo camera.
  • a region that is not a road surface for example, a region where an obstacle such as a vehicle, a pedestrian, or a guardrail occupies a large number on the image, the road surface is accurate. It is difficult to detect and there is room for improvement.
  • Patent Document 2 describes a method of estimating a road surface using only distance data of a road surface candidate by detecting an obstacle candidate region in advance and considering a region that is not an obstacle candidate region as a road surface candidate. The adverse effect of obstacle distance data on road surface estimation is reduced.
  • the road surface has a large gradient, the back surface of the obstacle is not perpendicular to the line of sight to measure the distance, the obstacle is far away, or the road surface
  • it is difficult to determine whether it is a road surface or an obstacle it is difficult to determine whether it is a road surface or an obstacle, and there is a problem that the road surface cannot be accurately detected because distance data of the road surface candidate cannot be extracted accurately.
  • an object of the present invention is when a non-road surface area occupies a large number on the image, and when the road surface has a large gradient, or when the back of the obstacle is not perpendicular to the line of sight to measure the distance.
  • an object detection device that can detect the road surface more accurately and detect obstacles on the road surface more accurately than before is provided. To do.
  • an object detection device of the present invention includes a parallax calculation unit that generates a parallax image based on a plurality of images, and a predetermined pixel and a pixel adjacent to the predetermined pixel for each pixel of the parallax image.
  • a parallax gradient calculation unit that calculates a parallax gradient for each pixel based on parallax
  • a detection candidate determination unit determines whether or not it is a detection candidate based on the parallax gradient for each pixel
  • a voting unit that performs histogram voting using each pixel determined to be a detection candidate and generates a histogram frequency for each pixel
  • an object detection unit that detects the presence of an object and the position of the object based on the histogram frequency; It is set as the structure which has.
  • the present invention when an obstacle such as a vehicle, a pedestrian, or a guardrail occupies a large number on the image, and when the road surface has a large gradient or the obstacle is not perpendicular to the road surface, the gradient is not vertical. Even when the vehicle has a road, the road surface can be detected accurately, and as a result, an obstacle on the road surface can be detected accurately.
  • the present invention is applied to a system that detects an object such as a road surface or an obstacle in front of the host vehicle using an image of a stereo camera device that is an object detection device mounted on the host vehicle. .
  • reference numeral 105 denotes a stereo camera device mounted on a vehicle 104.
  • Stereo camera device 105 detects the presence and position of road surface 101 in front of vehicle (own vehicle) 104 by image processing, and also detects the presence of obstacles such as preceding vehicle 102 and guardrail 103 in front of vehicle 104 and its position. Detect position.
  • the stereo camera device 105 includes a left imaging unit (left camera) 108 and a right imaging unit (right camera) 109 as a pair of imaging units that capture the front of the vehicle 104, and processes signals from the previous imaging unit.
  • the left imaging unit 108 and the right imaging unit 109 each have an image sensor such as a CCD that converts light into a charge signal, and are installed in the vehicle 104 so as to capture the front of the vehicle from positions separated from each other in the vehicle width direction. Has been.
  • the left image acquisition unit 110 inputs a charge signal from the left imaging unit 108 at regular intervals and outputs a left image 110a
  • the right image acquisition unit 111 receives the charge signal from the right imaging unit 109 at a timing synchronized with the regular cycle.
  • the right image 111a is input and output.
  • the parallax calculation unit 112 calculates the parallax for each pixel of the right image 11a by collating the left image 110a and the right image 111a, and outputs the parallax image 112a in which the parallax is stored for each pixel.
  • the parallax gradient calculation unit 113 calculates the parallax gradient of the pixel using the parallax of the pixel and the parallax of the pixels above and below the pixel.
  • the road surface candidate determination unit 114 compares, for each pixel of the parallax image 112a, the parallax gradient of the pixel and the parallax gradient threshold corresponding to the parallax of the pixel acquired from the parallax gradient threshold table 120a. It is determined whether or not the image coordinate of the pixel and the point on the three-dimensional space represented by the parallax stored by the pixel are road surface candidates.
  • the V-disparity image generation unit 115 performs a histogram voting process using data points determined to be road surface candidates among the pixels of the parallax image 112a, and a two-dimensional image having the vertical image coordinates and the parallax as coordinate axes Then, a V-disparity image 115a in which the histogram frequency indicating the total vote of data points is stored for each pixel is generated.
  • the hardware processing configuration 106 is a dedicated circuit for image processing, and executes a series of processing from the left image acquisition unit 110 and the right image acquisition unit 111 to the V-disparity image generation unit 115 in parallel for each pixel. It is supposed to be.
  • the road surface detection unit 116 detects the presence and position of the road surface 101 in front of the vehicle 104 based on the histogram frequency of the V-disparity image.
  • the obstacle candidate determination unit 117 compares the spatial position of the data point of the pixel with the road surface position detected by the road surface detection unit 116 for each pixel of the parallax image 112a, and the data point of the pixel is the obstacle. Determine whether it is a candidate.
  • the U-disparity image generation unit 118 performs a histogram voting process using data points determined to be obstacle candidates among the pixels of the parallax image 112a, and performs two-dimensional processing using the horizontal image coordinates and the parallax as coordinate axes.
  • a U-disparity image 118a which is an image and stores the histogram frequency indicating the total vote of data points for each pixel, is generated.
  • the obstacle detection unit 119 detects the presence and position of an obstacle such as the preceding vehicle 102 or the guardrail 103 in front of the vehicle 104 based on the histogram frequency of the U-disparity image.
  • the parallax gradient threshold value setting unit 120 calculates a parallax gradient threshold value that is a threshold value for determining whether or not the road surface is set for each certain range of parallax, and stores the parallax gradient threshold value table 120a in a table in the memory. .
  • the vehicle 104 controls the accelerator / brake and the like based on the road surface position detected by the road surface detection unit 116 and the obstacle position detected by the obstacle detection unit 119 in the travel control unit 121, such as a preceding vehicle or a guardrail. It performs travel control such as control to prevent the vehicle from colliding with obstacles, control to follow the preceding vehicle, and control to travel on hills and undulating roads with low fuel consumption.
  • the parallax calculation unit 112 detects a pixel with the corresponding left image 110a for each pixel of the right image 111a, and performs a process of calculating parallax (image position shift between corresponding pixels).
  • light 202 and 203 from a certain light source 201 pass through the lens 204 of the right camera and the lens 205 of the left camera, respectively, and take images corresponding to the pixel 206 of the right image 111a and the pixel 207 of the left image 110a.
  • a process for calculating the parallax of the pixel 206 by the parallax calculation process when an image is formed at a position on the element will be described.
  • the parallax calculation process compares the signal of the pixel 206 with the signal of each pixel on the epipolar line 208 of the left image 110a in order to detect the pixel 207 of the left image 110a corresponding to the pixel 206 of the right image 111a.
  • the pixel with the closest signal is detected as the corresponding pixel.
  • Various indexes can be considered for calculating the proximity of the signal. For example, if an index of AD (Absolute Difference), which is the absolute value of the difference between the signal values of the left and right pixels, is used on the epipolar line 208. The pixel with the smallest AD is determined as the corresponding pixel.
  • AD Absoluted Difference
  • the parallax corresponding to the pixel 206 is the horizontal direction of the pixel 206 and the pixel 207. It is calculated as the difference between the image coordinates.
  • the parallax calculation unit 112 generates the parallax image 112a in which the parallax corresponding to each pixel of the right image 111a is stored by performing the process of calculating the parallax as described above for all the pixels of the right image 111a. .
  • the parallax calculation processing has been described as a method of detecting correspondence by comparing the signal values of the pixels between the left and right, but the correspondence may be detected by comparing the signal values of a region composed of a plurality of pixels.
  • This is an effective method for performing matching processing more stably and correctly.
  • the signal in the region 3x3 around the pixel 206 is compared with the signal in the region 3x3 around each pixel on the epipolar line 208 of the left image 110a, and the pixel with the closest signal is detected as the corresponding pixel.
  • the proximity of the signal can be calculated using, for example, an index of SAD (Sum of Absolute Differences).
  • the parallax calculation processing unit of the present embodiment is configured to output the parallax image 112a, and thereafter, the parallax image 112a is variously processed to detect road surfaces and obstacles.
  • the processing unit outputs a distance image in which the distance is stored in each pixel instead of the parallax image, and thereafter, the distance image can be variously processed to obtain the same result. Since the parallax can be easily converted into a distance by the principle of triangulation, the parallax is regarded as information equivalent to the distance in the description of the present embodiment.
  • the subsequent processing unit detects the presence of a road surface and an obstacle and the parallax in that area is acquired, the geometric positional relationship between the vehicle 104 and the road surface and the obstacle is acquired.
  • the parallax gradient calculation unit 113 calculates the parallax gradient of the pixel using the parallax of the pixel and the parallax of the pixels above and below the pixel.
  • FIG. 3 (a) shows pixels 301, 302, and 303 that are relevant when calculating the parallax gradient of a pixel 301 on the right image 111a.
  • FIG. 3 (b) shows the data point of each pixel as the image ordinate V and A point 301i, 302i, and 303i projected on the V-disparity space with the parallax Disparity as an axis, and a straight line 304 that passes through the vicinity of the three points calculated based on the positions of the three points are shown.
  • the parallax gradient ⁇ i calculated by the parallax gradient calculation unit 113 and the parallax gradient threshold value ⁇ th corresponding to the parallax di of the pixel acquired from the parallax gradient threshold table 120a By comparing di), it is determined whether or not the data point of the pixel is a road surface candidate.
  • V-disparity image generation unit 115 Next, the processing of the V-disparity image generation unit 115 will be described in detail with reference to FIG.
  • FIG. 4 (a) shows a right image 109a.
  • the road surface 101, the preceding vehicle 102, the guardrail 103, and the tree 401 are reflected as main imaging objects.
  • the V-disparity image generation unit 115 performs a process of histogram voting data points determined to be road surface candidates by the road surface candidate determination unit 114 among the pixels of the parallax image 112a corresponding to the right image 109a to the V-disparity image.
  • the V-disparity image is a two-dimensional image having the image ordinate V and the parallax disparity as axes, and represents an image in which the histogram frequency of data points is stored for each pixel.
  • the voting process starts from an initial state in which the histogram frequencies of each pixel of the V-disparity image are all 0, and the spatial position of the data point is projected onto the V-disparity image for each target data point. By counting up the pixel histogram frequency by one.
  • FIG. 4 (b2) shows an example of the V-disparity image 115a output when the voting process is performed.
  • FIG. 4 (b1) determines whether the data point is a road surface candidate in the voting process.
  • 4 (b1) and 4 (b2) are obtained by visualizing the V-disparity image in white when the pixel histogram frequency is zero and in black when the pixel histogram frequency is high.
  • the data point on the road surface 101 is a straight line 402 in the oblique direction
  • the data point of the preceding vehicle 102 is a straight line 403 in the V direction
  • the data points of trees 401 and other distant obstacles are a set of straight lines in the V direction.
  • each is reflected on the V-disparity image. Since the road surface detection unit 116 detects the presence and position of the road surface based on the histogram frequency value of the V-disparity image, the projections other than the road surface such as 403 and 404 other than the road surface projection 402 as shown in FIG. If there are many roads, the road surface cannot be detected accurately.
  • the case in which accurate detection is impossible is described when, for example, when there are many obstacles such as the preceding vehicle 102 in the vicinity, or even if there are few obstacles in the vicinity, the image is seen on the horizontal line of the image. If the obstacle area occupies more than the road area, or if there are a few obstacles like the tree 401 in the distance, This is the case where the majority occupies the majority.
  • the V-disparity image 115a output in the present embodiment has a high histogram frequency in the projection 402i of the road surface 102, and obstacles other than the road surface such as the front vehicle 102 and the guardrail 103 Since most of the trees 401 and the like are not judged as road surface candidates, they are not voted for the V-disparity image, and the histogram frequency at the pixel position where the obstacle other than the road surface is projected is lower than before. Even the road surface can be detected accurately.
  • the left image acquisition unit 110 and the right image acquisition unit 111 start reading image signals from the left imaging unit 108 and the right imaging unit 109 at a timing synchronized with a certain period, and the luminance for each pixel constituting the image A value signal is transferred to the buffer memory 501.
  • the right image acquisition unit 111 transfers the signal for each pixel to the memory 503. As shown in FIG. 6A, the image signal is transferred in the order from left to right with reference to the lower end line of the image. When the processing for one line is completed, the image signal of the line above is transferred in the same order. It is supposed to be transferred.
  • the parallax calculation unit 112 performs the parallax calculation processing in the same order as the transfer order of the right image acquisition unit 111 and at a timing delayed by one line from the right image acquisition unit 111, and calculates for each pixel.
  • the parallax data thus transferred is transferred to the buffer memory 502 and the memory 503.
  • the parallax gradient calculation unit 113 performs the parallax calculation process in the same order as the transfer order of the parallax calculation unit 112 and at a timing delayed by one line + 1 pixel from the parallax calculation unit 112.
  • the parallax gradient data is calculated.
  • the V-disparity image generation unit 115 calculates the pixel positions projected on the V-disparity space for the data points determined to be road surface candidates as described, and the V-disparity image stored in the memory 503 The histogram frequency at the pixel position is incremented by one.
  • the CPU 504 reads out necessary data from the memory 503 as appropriate, and executes the processing shown in the processing configuration 107 by software. It is supposed to be.
  • FIG. 6B shows the processing timing of each unit by indicating the pixel positions where the right image acquisition unit 111, the parallax calculation unit 112, and the parallax gradient calculation unit 113 are performing processing at a certain timing.
  • the pixel position 601 indicates the position of the pixel processed by the right image acquisition unit 111
  • the pixel position 602 indicates the position of the pixel processed by the parallax calculation unit 112
  • the pixel position 603 is processed by the parallax gradient calculation unit 112. This indicates the position of the active pixel.
  • the reason why the parallax calculation unit 112 performs the processing at a timing delayed by one line from the right image acquisition unit 111 is that all parallaxes on the same line of the left image 110a are calculated in order to calculate the parallax at the pixel position 602 of the right image 111a. This is because the signal at the pixel position must be stored in the buffer memory 1 and the timing adjustment for this is necessary.
  • the reason why the parallax gradient calculation unit 113 performs processing at a timing delayed by one line + 1 pixel from the parallax calculation unit 112 is that the pixel position 603 and its upper and lower positions are calculated in order to calculate the parallax gradient at the pixel position 603 of the right image 111a. This is because the signal at the adjacent pixel position needs to be stored in the buffer memory 2 and timing adjustment for this is necessary.
  • the hardware processing configuration 106 is processed in real time at high speed by performing pipeline processing in which processing of each unit is parallelized.
  • the road surface detection unit can detect a road surface by detecting a straight line or a curve based on the histogram frequency of the V-disparity image shown in FIG. 4 (b2).
  • the straight line is detected by the method disclosed in Patent Document 1.
  • the detected straight line can be expressed by the following formula 1 in the V-disparity space.
  • dg ⁇ d ⁇ (vg ⁇ v0) + ⁇ d (1)
  • dg is the road surface parallax
  • vg is the road image ordinate
  • v0 is the image ordinate of the optical axis center position of the right image 111a
  • Equation 1 The detection of the road surface means that ⁇ d and ⁇ d in Equation 1 are calculated, respectively. If ⁇ d and ⁇ d are determined, the image ordinate in which the road surface at an arbitrary parallax dg distance is imaged from Equation 1 vg can be calculated. Furthermore, Equation 2 related to triangulation is shown below.
  • Y -b ⁇ (v-v0) / d (2)
  • Y is the height of the data point in the real space with the camera position as the origin
  • v is the ordinate on the image on which the data point is projected
  • d is the parallax of the data point
  • b is the baseline length, that is, between the left and right cameras Indicates the distance.
  • Equation 3 the road surface height Yg in the real space where the road surface at an arbitrary parallax distance dg is imaged can be calculated by Equation 3 below.
  • the road surface detection unit 116 outputs a road surface height table in which the road surface height Yg is calculated for each parallax at a specified interval according to Equation 3 above.
  • the obstacle candidate determination unit 117 obtains, for each pixel of the parallax image 112a, the height Y of the data point of the pixel in real space and the road surface height table output by the road surface detection unit 116.
  • the road surface height Yg in the real space corresponding to the distance between the pixel data points is compared to determine whether or not the pixel data point is an obstacle candidate.
  • Judgment criteria depend on whether the data point of the pixel is not in a position floating in the air, is not buried in the basement, and is located on a road surface that can be an obstacle. Specifically, it can be represented by a judgment formula as shown in Table 2 below.
  • ⁇ Yup is set to a value equivalent to the height from the road surface of the large truck as the maximum height from the road surface where the vehicle can exist, and ⁇ Ydown is set to 0.
  • the condition Y ⁇ Yg + ⁇ Yup means that the data point of the pixel is at a position lower than the height above the road surface by ⁇ Yup
  • the condition Yg ⁇ Ydown ⁇ Y means that the data point of the pixel is It means the condition of being higher than the road surface.
  • ⁇ Yup and ⁇ Ydown are set to the above values, but by adjusting ⁇ Yup and ⁇ Ydown, for example, an object candidate in the air such as a traffic signal or a road sign in which the data point of the pixel is in the air It is also possible to apply such a method as to determine whether or not the object is in the air and detect an airborne object by the detection unit at the subsequent stage.
  • FIG. 7A shows the right image 109a, and it is assumed that the road image 101, the preceding vehicle 102, and the guardrail 103 are reflected in the right image 109a as main imaging objects.
  • the U-disparity image generation unit 118 performs histogram voting on the data points determined as obstacle candidates by the obstacle candidate determination unit 114 among the pixels of the parallax image 112a corresponding to the right image 109a to the U-disparity image.
  • the U-disparity image is a two-dimensional image having the image abscissa U and the parallax disparity as axes, and represents an image in which the histogram frequency of data points is stored for each pixel.
  • the voting process starts from an initial state in which the histogram frequencies of all the pixels of the U-disparity image are all zero, and for each target data point, the pixel where the spatial position of the data point is projected onto the U-disparity image By counting up the histogram frequency of 1 at a time.
  • FIG. 7 (b) shows an example of the U-disparity image 115a output when the voting process is performed.
  • FIG. 7B visualizes the U-disparity image in white when the pixel histogram frequency is zero and in black when the pixel histogram frequency is high.
  • Data points of the forward vehicle 102 are reflected on the U-disparity image, such as a straight line 801 in the U direction, and data points of the guardrail 103 are reflected on the diagonal lines 802 and 803, respectively.
  • the obstacle detection unit 119 calculates an obstacle based on the histogram frequency of the U-disparity image shown in FIG. Specifically, the left end column of the U-disparity image is scanned pixel by pixel from the bottom to the top, and the peak pixel having the maximum histogram frequency and the histogram frequency greater than the threshold value Hth in the column is detected. The same processing is repeated until the right edge of the image is shifted to the right by one column.
  • the peak pixel and the peak pixel in the left column are When the length of the object candidate in the U direction is larger than the threshold value Lth, the object candidate is detected as an object, and the peak candidate pixel constituting the object candidate is regarded as an object candidate constituting the same object. Perform the process of associating the same object ID.
  • the parallax gradient threshold setting unit 120 determines whether a data point of a pixel of the parallax image 112a having a certain parallax and a parallax gradient is a road surface having a gradient that can be captured by the stereo camera device 105.
  • a parallax gradient threshold value corresponding to each parallax value that can be taken by the pixel is set and stored in the memory as a parallax gradient threshold value table 120a.
  • ⁇ d0 b / ( ⁇ 0 + h)
  • ⁇ d0 -b ⁇ fc ⁇ ⁇ 0 / ( ⁇ 0 + h)
  • b is the base line length
  • h is the camera mounting height
  • fc is the value obtained by dividing the focal length of the lens by the pixel pitch of the image sensor.
  • V coordinate position vg of the standard road surface in the parallax d of the data point of the pixel (assuming that the parallax is d and the image ordinate v is v) is calculated by the following equation 5, and the data point of the pixel is V-disparity
  • An approximate position (parallax d, image ordinate vg) of the pixel position projected in space is set.
  • parallax gradient threshold value ⁇ th when the gradient of the road surface in the real space is the maximum gradient ⁇ max at the pixel position (parallax d, image ordinate vg) can be expressed by the following Equation 6.
  • the parallax gradient threshold setting unit 120 calculates the parallax gradient threshold ⁇ th for each parallax value d that can be taken by the pixel of the parallax image 112a, and stores it in the parallax gradient threshold table 120a.
  • this table is referred to by the road surface candidate determination unit 114 to determine whether or not the data point of the target pixel is a road surface candidate, and only the data points of the road surface candidate are histograms in the V-disparity image generation unit 115. Voted, V-disparity images are generated.
  • the threshold value of the maximum slope ⁇ max of the road surface that can be regarded as a road surface, it is possible to set a clear judgment criterion as to whether the road surface is considered as a road surface candidate or a road surface candidate. Even when the road surface is not perpendicular to the road surface but has a gradient, it is possible to accurately detect the road surface by appropriately setting the value of ⁇ max.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　路面でない領域が画像上の多数を占める場合で、且つ路面の勾配が大きい場合においても、より路面を正確に検出し、路面上の障害物を従来よりも正確に検出できる物体検出装置を提供すること。　複数の画像に基づいて視差画像を生成する視差算出部と、視差画像の画素毎に、所定の画素と所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、検出候補であると判断された場合、検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する。

Description

物体検出装置及びそれを用いた車両
　本発明は、物体を検出する物体検出装置及びそれを用いた車両に関する。
　近年、ステレオカメラ装置やレーザレーダ装置など，外界をセンシングすることにより取得した距離情報を処理することにより周囲の物体を検出する物体検出装置が実用化されている。これらの物体検出装置は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。
　車載システムにおいては、走行の障害になる前方の物体を障害物であるとみなし、障害物と衝突の危険がある場合においては、警報や自動制動などの手段によって衝突を回避あるいは軽減する機能を提供することができる。
　車載システムにおいて、正確に障害物および障害物の位置を検出するためには、路面の幾何学的位置関係を推定することが重要である。車載システムの環境においては、路面が、ほぼ確実にセンシング範囲に含まれており、この路面の幾何学的位置を算出することができれば、例えば、路上に検出されている物体を障害物とみなすなど障害物が存在する領域を絞り込むことが可能であるためである。障害物が存在する領域を絞り込むことにより、障害物が存在しない空間領域において誤って障害物を検知する誤検知や、障害物が存在する空間領域において障害物を検知しない未検知の問題を低減することが可能になる。このため、障害物を正確に検出するためには、路面を正確に検出することが重要である。
　本技術分野の背景技術として、特許文献１がある。この特許文献１では、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも実際の路面形状を的確に検出することが可能な路面形状認識装置を提供することが開示されている。また、非特許文献１には、「The computation of the free space computation has two main goals: 1. Find the distances to the closest objects. 2. Find the road surface segmentation. While finding the distance to objects aims at navigating the car or triggering safety systems, the second objective is probably of the same importance. It is crucial for the road surface estimation task described in the first part of this paper. The reason for this is, that measurements on vehicles and other objects in crowded scenarios influence the B-spline curve and the resulting curve estimation may become unstable in such scenarios. Therefore, only 3D measurements in the free space are used for the spline estimation, neglecting all stereo measurements on objects.」と記載があり，「how is the correct free space boundary found? The key idea is to inspect every individual image column u. A matching score is obtained, summing up a score which evaluates the likelihood of pixels belonging to the road surface from the bottom of the image up to the free space boundary v(d,u). A second matching score evaluates the fit of pixels belonging to objects with disparity d from the free space boundary in the image on upwards. The total score for an image row u and an obstacle at disparity d becomes: SCORE(u,d) = ROAD(u,d) + OBJECT(u,d). The best boundary match is given as the maximal score」と記載がある。
特開2011-128844号公報
’ B-Spline Modeling of Road Surfaces with an Application to Free Space Estimation’, page 428, Andreas Wedel,et al., pp572,IEEE Transactions on ITS, 2009
　特許文献１には、ステレオカメラを用いて算出した距離画像を処理することにより、路面を検出するステレオカメラ装置が記載されている。しかし、特許文献１に記載のステレオカメラ装置は、路面でない領域、例えば車両や歩行者やガードレールなどの障害物が撮像されている領域、が画像上の多数を占める場合においては、正確に路面が検出されづらく、改善の余地がある。
　特許文献２には、事前に障害物候補領域を検出し、障害物候補領域でない領域を路面候補とみなすことにより、路面候補の距離データのみを用いて路面を推定する方法が記載されており、障害物の距離データが路面推定へ与える悪影響が低減されている。　
　しかし、特許文献２に記載の方法では、路面の勾配が大きい場合や、距離を計測する視線に対して障害物の背面が垂直ではなく傾いている場合や、遠方の障害物の場合や、路面が撮像されている領域の場合において、路面であるか障害物であるかの判断が困難になり、路面候補の距離データを正確に抽出できないために路面が正確に検出されないという問題がある。
　そこで、本発明の目的は、路面でない領域が画像上の多数を占める場合で、且つ路面の勾配が大きい場合や、距離を計測する視線に対して障害物の背面が垂直ではなく傾いている場合や、遠方の障害物の場合や、遠方の路面が撮像されている領域の場合においても、より路面を正確に検出し、路面上の障害物を従来よりも正確に検出できる物体検出装置を提供する。
　上記課題を解決するために本発明の物体検出装置は、複数の画像に基づいて視差画像を生成する視差算出部と、視差画像の画素毎に、所定の画素と所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、検出候補であると判断された場合、検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する構成とする。
　本発明によれば，路面でない領域、例えば車両や歩行者やガードレールなどの障害物が画像上の多数を占める場合で，かつ路面の勾配が大きい場合や障害物が路面に対して垂直ではなく勾配をもっている場合においても，路面を正確に検出し，その結果，路面上の障害物を正確に検出することができる。
本発明に係る物体検知装置の一実施形態を示すシステム概要図である。 本発明の物体検知装置の視差算出部の処理を説明する図である。 本発明の物体検知装置の視差勾配算出部の処理を説明する図である。 本発明の物体検知装置のV-disparity画像生成部の処理を説明する図である。 本発明の物体検知装置のハードウェアの処理構成を示すブロック図である。 本発明の物体検知装置のハードウェアの処理構成を説明する図である。 本発明の物体検知装置のU-disparity画像生成部、障害物検出部の処理を説明する図である。
　次に、本実施の形態について以下に図面を用いて説明する。
　本実施の形態では、本発明を自車両に搭載された物体検出装置であるステレオカメラ装置の映像を用いて自車両前方の路面や障害物などの物体を検出するシステムに適用した場合について説明する。
　まず、図１を用いて本システムの概要について説明する。図１において、105は車両104に搭載されたステレオカメラ装置である。ステレオカメラ装置105は、画像処理により車両（自車両）104の前方の路面101の存在およびその位置を検出するとともに，車両104の前方のたとえば先行車両102やガードレール103などの障害物の存在およびその位置を検出する。
　ステレオカメラ装置105は、車両104の前方を撮像する一対の撮像手段として左撮像部（左カメラ）108と右撮像部（右カメラ）109を備えており，前期撮像手段からの信号を処理するためのハードウェアによる処理構成106とソフトウェアによる処理構成107によって構成されている。
左撮像部108と右撮像部109は、光を電荷信号に変換するＣＣＤなどの撮像素子をそれぞれ有しており、互いに車幅方向に離間した位置から車両前方を撮像するように車両104に設置されている。左画像取得部110は左撮像部108から一定周期ごとに電荷信号を入力して左画像110aを出力し、右画像取得部111は上記一定周期と同期したタイミングで右撮像部109から電荷信号を入力して右画像111aを出力するようになっている。
　視差算出部112は，左画像110aと右画像111aを照合することによって右画像11aの画素毎に視差を算出し，画素毎に視差が格納された視差画像112aを出力する。
　視差勾配算出部113は，視差画像112aの画素毎に，該画素の視差と該画素の上下となりの画素の視差を用いて該画素の視差勾配を算出する。
　路面候補判断部114は，視差画像112aの画素毎に，該画素の視差勾配と視差勾配閾値テーブル120aから取得した該画素の視差に対応する視差勾配閾値を比較して，該画素のデータ点（画素の画像座標と画素が格納する視差によって表される３次元空間上の点を表す）が路面候補か否かを判断する。
　V-disparity画像生成部115は，視差画像112aの各画素のうち路面候補であると判断されたデータ点を用いてヒストグラム投票処理を行い，縦方向の画像座標と視差を座標軸とする２次元画像であって画素毎にデータ点の投票合計を示すヒストグラム度数が格納されているV-disparity画像115aを生成する。
　ハードウェアによる処理構成106は，画像処理専用回路となっており，前記左画像取得部110および右画像取得部111からV-disparity画像生成部115までの一連の処理を画素ごとに並列的に実行するようになっている。
　路面検出部116は，V-disparity画像のヒストグラム度数に基づいて，車両104の前方の路面101の存在およびその位置を検出する。
　障害物候補判断部117は，視差画像112aの各画素ごとに，該画素のデータ点の空間位置と路面検出部116によって検出された路面位置とを比較して，該画素のデータ点が障害物候補か否かを判断する。
　U-disparity画像生成部118は，視差画像112aの各画素のうち障害物候補であると判断されたデータ点を用いてヒストグラム投票処理を行い，横方向の画像座標と視差を座標軸とする２次元画像であって各画素ごとにデータ点の投票合計を示すヒストグラム度数が格納されているU-disparity画像118aを生成する。
　障害物検出部119では，U-disparity画像のヒストグラム度数に基づいて，車両104の前方のたとえば先行車両102やガードレール103などの障害物の存在およびその位置を検出する。
　視差勾配閾値設定部120では，ある一定範囲の視差ごとに，路面か否かを判断する閾値となる視差勾配閾値を計算し，これらをテーブルにまとめた視差勾配閾値テーブル120aをメモリ上に格納する。
　車両104は，走行制御部121において、路面検出部116によって検出された路面位置および障害物検出部119によって検出された障害物位置を元にアクセル・ブレーキ等を制御し，例えば先行車両やガードレールなどの障害物への衝突を防止する制御や，先行車両に追従する制御や，坂道や起伏のある道路を低燃費に走行する制御などの走行制御を行う。
　次に、図２を用いて視差算出部112の処理を詳細に説明する。視差算出部112は，右画像111aの各画素について対応する左画像110aとの画素を検出し，視差（対応する画素間の画像位置のずれ）を算出する処理を行う。
　図２において，例として，ある光源201からの光202および203がそれぞれ右カメラのレンズ204および左カメラのレンズ205を通過して右画像111aの画素206および左画像110aの画素207に対応する撮像素子上の位置に結像している場合において，視差算出処理により画素206の視差を算出する処理について説明する。
　このとき視差算出処理は，右画像111aの画素206に対応する左画像110aの画素207を検出するため，画素206の信号と左画像110aのエピポーラライン208上の各画素の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さを算出する指標は様々な指標が考えられるが，例えば，左右の画素の信号値の差分の絶対値であるＡＤ（Absolute Difference）の指標を用いると，前記エピポーラライン208上でこのＡＤが最も小さくなる画素が対応する画素と判断されるようになっている。このとき仮に対応の算出結果が正しく，右画像111aの画素206と左画像110aの画素207が対応しているとみなされた場合の画素206に対応する視差は，画素206と画素207の横方向の画像座標の差分として算出される。
　以上のようにして視差を算出する処理を右画像111aのすべての画素について行うことで，視差算出部112は，右画像111aの各画素に対応する視差が格納されている視差画像112aを生成する。
　本実施形態では，視差算出処理は左右間の画素の信号値を比較して対応を検出する方法を説明したが，複数画素からなる領域の信号値を比較して対応を検出してもよく，より安定的に正しくマッチング処理を行うために有効な方法である。この場合，たとえば画素206の周辺3x3の領域209の信号と左画像110aのエピポーラライン208上の各画素の周辺3x3の領域の信号とを比較して最も信号が近い画素を対応する画素として検出する。信号の近さはたとえばＳＡＤ(Sum of Absolute Differences)の指標を用いて計算することができる。
　なお，本実施形態の視差算出処理部は視差画像112aを出力するようになっており，以降ではこの視差画像112aを様々に処理することで路面および障害物を検出するになっているが，該処理部においては視差画像ではなく各画素に距離が格納された距離画像を出力し，以降ではこの距離画像を様々に処理して同様の結果を得ることも可能である。視差は三角測量の原理によって容易に距離に変換することできるため，本実施形態の説明においては視差は距離に等価な情報とみなす。
　したがって，以降の処理部によって路面および障害物の存在が検出されその領域における視差が取得されている場合は，車両104と該路面および障害物との間の幾何学的位置関係が取得されたものとする。
　次に、図３を用いて視差勾配算出部113の処理を詳細に説明する。
　視差勾配算出部113では，視差画像112aの各画素ごとに，該画素の視差と該画素の上下となりの画素の視差を用いて該画素の視差勾配を算出する。図３(a)は，右画像111a上のある画素301の視差勾配を算出するときに関係する画素301,302,303を示しており，図３(b)は，各画素のデータ点を画像縦座標Ｖおよび視差Disparityを軸とするV-disparity空間上にそれぞれ投影した点301i,302i,303iと，前記３点の位置を元に計算される前記３点の近傍を通過する直線304を示している。視差勾配算出部では，図３(b)に示した直線304を最小二乗法によって計算し，その勾配αｉ＝ΔDisparity / ΔVを計算し，出力するようになっている。
　次に、路面候補判断部114の処理を詳細に説明する。
　路面候補判断部114では，視差画像112aの各画素ごとに，視差勾配算出部113によって算出された視差勾配αiと視差勾配閾値テーブル120aから取得した該画素の視差ｄiに対応する視差勾配閾値αth（di）を比較することにより，該画素のデータ点が路面候補か否かを判断する。
　判断基準は、以下表1に示した通りとする。
Figure JPOXMLDOC01-appb-T000001
　次に、図４を用いてV-disparity画像生成部115の処理を詳細に説明する。
　図４(a)は右画像109aを示しており，右画像109aには，主な撮像対象として路面101と先行車両102とガードレール103と木401が映っているものとする。
　V-disparity画像生成部115は，右画像109aに対応する視差画像112aの各画素のうち路面候補判断部114において路面候補であると判断されたデータ点をV-disparity画像にヒストグラム投票する処理を行う。ここでV-disparity画像とは，画像縦座標Ｖおよび視差Disparityを軸とする２次元画像であって，画素毎にデータ点のヒストグラム度数が格納されている画像を表す。
　前記投票処理は，そのV-disparity画像の各画素のヒストグラム度数が全て０である初期状態から開始して，前記対象のデータ点ごとに，データ点の空間位置がV-disparity画像に投影される画素のヒストグラム度数を１ずつカウントアップすることによる。
　図４(b2)に，投票処理を行った場合に出力されるV-disparity画像115aの例を示し，図４(b1)に，前記投票処理においてデータ点が路面候補であるか否かを判断することなく，視差画像112aの全ての画素のデータ点を投票した場合に出力されるV-disparity画像115aの例を示す。
　なお図４(b1) および図４(b2)は，画素のヒストグラム度数がゼロである場合に白色で，画素のヒストグラム度数が高い場合に黒色でV-disparity画像を可視化したものである。
　図４(b1)において，路面101のデータ点は斜め方向の直線402，先行車両102のデータ点はＶ方向の直線403，木401およびその他遠方の障害物のデータ点はＶ方向の直線の集合404のように，V-disparity画像上にそれぞれ反映されている。路面検出部116はV-disparity画像のヒストグラム頻度値を元にして路面の存在および位置を検出するため，図４(b1)のように路面の投影402以外に403，404などの路面以外の投影が多い場合には路面が正確に検出できなくなる。
　正確に検出できなくなるケースをさらに具体的に述べると，例えば先行車両102のような障害物が近傍に多数存在するか，少数であってもごく近傍に存在することにより画像横ラインでみたときに道路領域よりも障害物領域のほうが多数を占めてしまう場合や，木401のような障害物が遠方に少数であっても存在し画像横方向に見たときに道路領域よりも障害物領域のほうが多数を占めてしまう場合である。
　しかしながら、本実施形態において出力されるV-disparity画像115aは図４(b2)に示されているように，路面102の投影402iにおいてヒストグラム度数が高く，路面でない障害物たとえば前方車両102，ガードレール103，木401等の大部分は路面候補と判断されないためにV-disparity画像に投票されず，前記路面でない障害物が投影される画素位置におけるヒストグラム度数が低くなるになっていることにより，従来よりも正確に路面が検出できるようになっている。
　次に、図５，図６を用いてハードウェアによる処理構成106の処理全体の流れを説明する。
　図５において，左画像取得部110および右画像取得部111は一定周期ごと同期したタイミングで左撮像部108および右撮像部109より画像信号の読み出しを開始して，画像を構成する画素ごとの輝度値の信号をバッファメモリ501に転送するようになっている。
　また，右画像取得部111は，前記画素ごとの信号をメモリ503にも転送するようになっている。画像信号は，図６(a)に示すように画像の下端ラインを基準に左から右方向の順序で転送され，１ライン分の処理が終わればその上のラインの画像信号が同様の順序で転送されるようになっている。
　次に図５において，視差算出部112は右画像取得部111の転送順序と同一の順序で，かつ右画像取得部111より１ライン分遅れたタイミングで視差算出処理を実施し，画素ごとに計算された視差データをバッファメモリ502およびメモリ503に転送するようになっている。
　次に図５において，視差勾配算出部113は視差算出部112の転送順序と同一の順序で，かつ視差算出部112より１ライン＋1画素分遅れたタイミングで視差算出処理を実施し，画素ごとに視差勾配データを計算するようになっている。
　V-disparity画像生成部115は，記述のとおり路面候補であると判定されたデータ点についてV-disparity空間上に投影される画素位置を計算し，メモリ503に格納されているV-disparity画像の前記画素位置におけるヒストグラム度数を１カウントアップするようになっている。
　次に図５において，前記一定周期ごとのタイミングにおいて開始された画像１フレーム分の処理が全て完了すると，ＣＰＵ504は適宜メモリ503から必要なデータを読み出し，ソフトウェアによる処理構成107に示される処理を実施するようになっている。
　図６(b)に，あるタイミングにおいて右画像取得部111および視差算出部112および視差勾配算出部113が処理を実施している画素位置を示すことにより各部の処理タイミングを示す。
　画素位置601は右画像取得部111が処理している画素の位置を示し，画素位置602は視差算出部112が処理している画素の位置を示し，画素位置603は視差勾配算出部112が処理している画素の位置を示す。視差算出部112が右画像取得部111より１ライン分遅れたタイミングで処理を実施する理由は，右画像111aの画素位置602における視差を算出するためには，左画像110aの同一ライン上のすべての画素位置の信号がバッファメモリ１に格納済みである必要があり，このためのタイミング調整が必要であるためである。
　視差勾配算出部113が視差算出部112より１ライン＋１画素分遅れたタイミングで処理を実施する理由は，右画像111aの画素位置603における視差勾配を算出するためには，画素位置603およびその上下となりの画素位置の信号がバッファメモリ２に格納済みである必要があり，このためのタイミング調整が必要であるためである。
　以上のようにしてハードウェアによる処理構成106は各部の処理を並列化したパイプライン処理を行うことによって高速にリアルタイムに処理されるようになっている。
　次に、図４(b2)を用いて路面検出部116の処理を詳細に説明する。
　路面検出部では図４(b2)によって示されるV-disparity画像のヒストグラム度数を元に，直線あるいは曲線を検出することにより路面を検出できるが，たとえば特許文献１に示される方法によって直線を検出する。検出した直線は，V-disparity空間上で以下の式１で表現できる。
　〔式１〕
　　dg　=　αd・(vg － v0 ) + βd　　　・・・（１）
ここで，dgは路面の視差、vgは路面の画像縦座標，v0は右画像111aの光軸中心位置の画像縦座標，αdとβdはそれぞれ（Ｖ＝ｖ０，Disparity＝０）を原点とするV-disparity空間上の直線の傾きと切片，を表す。
　路面を検出するということは，式１のαdとβdをそれぞれ算出することを意味しており，αdとβdが決まれば式１より任意の視差dgの距離における路面が撮像されている画像縦座標vgを計算できるようになっている。更に，以下に三角測量の関する式２を示す。
　〔式２〕
　　Y = －b・(v - v0) / d　・・・（２）
ここで、Yはカメラ位置を原点とするデータ点の実空間上の高さ，vはデータ点が投影される画像上の縦座標，dはデータ点の視差，bは基線長すなわち左右カメラ間の距離を示す。
　式１と式２を用いることにより，任意の視差dgの距離における路面が撮像されている実空間上の路面高さYgは以下式３で計算できるようになっている。
　〔式３〕
　　Yg  = －b・(dg－βd) / (αd・d)　・・・（３）
　路面検出部116は，上記式３より，指定の間隔の視差ごとに路面高さＹｇを計算した路面高さテーブルを出力する。
　次に、障害物候補判断部117の処理を詳細に説明する。
　障害物候補判断部117は，視差画像112aの画素毎に，該画素のデータ点の実空間上の高さＹと，路面検出部116によって出力された路面高さテーブルを参照して得られる該画素のデータ点の距離に対応する実空間上の路面高さYgとを比較して，該画素のデータ点が障害物候補か否かを判断する。
　判断基準は，該画素のデータ点が空中に浮いた位置になく，地下に埋まった位置にもなく，障害物となりえる範囲の路面上に位置しているか否かによる。具体的には以下表２のような判定式で表すことができる。
Figure JPOXMLDOC01-appb-T000002
　ここでΔYupは車両が存在しうる路面からの最大高さとして大型トラックの路面からの高さ相当の値を設定しており，ΔYdownは0を設定している。Y≦Yg+ΔYupという条件は該画素のデータ点が路面からΔYupだけ上の高さよりも低い位置にあるという条件を意味しており，Yg-ΔYdown≦Yという条件は，該画素のデータ点が路面よりも高い位置にあるという条件を意味している。
また，本実施形態においてはΔYupおよびΔYdownをそれぞれ上記のような値に設定したが，ΔYupおよびΔYdownを調整することにより，たとえば該画素のデータ点が空中の信号機や道路標識などの空中の物体候補であるか否かを判断し，後段の検出部によって空中の物体を検出するといった応用も可能である。
　次に、図７を用いてU-disparity画像生成部118の処理を詳細に説明する。
　図７(a)は右画像109aを示しており，右画像109aには，主な撮像対象として路面101と先行車両102とガードレール103が映っているものとする。U-disparity画像生成部118は，右画像109aに対応する視差画像112aの各画素のうち障害物候補判断部114において障害物候補であると判断されたデータ点をU-disparity画像にヒストグラム投票する処理を行う。ここでU-disparity画像とは，画像横座標Ｕおよび視差Disparityを軸とする２次元画像であって，画素毎にデータ点のヒストグラム度数が格納されている画像を表す。投票処理は，そのU-disparity画像の各画素のヒストグラム度数が全て０である初期状態から開始して，前記対象のデータ点ごとに，データ点の空間位置がU-disparity画像に投影される画素のヒストグラム度数を１ずつカウントアップすることによる。
　図７(b)に，投票処理を行った場合に出力されるU-disparity画像115aの例を示している。
　なお図７(b)は，画素のヒストグラム度数がゼロである場合に白色で，画素のヒストグラム度数が高い場合に黒色でU-disparity画像を可視化したものである。前方車両102のデータ点はＵ方向の直線801，ガードレール103のデータ点は斜め方向の直線802および803のようにU-disparity画像上にそれぞれ反映されている。
　次に、図７を用いて障害物検出部119の処理を詳細に説明する。
　障害物検出部119では図７(b)によって示されるU-disparity画像のヒストグラム度数を元に，障害物を算出する。具体的には，U-disparity画像の左端列において下から上へ１画素ずつ走査して１列の中でヒストグラム度数が最大かつヒストグラム度数が閾値Hthよりも大きいピーク画素を検出する処理を行い，右側に１列ずらせて同処理を行う，ということを画像の右端位置まで繰り返す。
　さらに，前記の画像列ごとの各ピーク画素の位置と，その左となりの列のピーク画素の位置との差分が閾値DPthより小さいときに，該ピーク画素とその左となりの列のピーク画素とは同じ物体を構成している物体候補であるとみなすものとし，前記物体候補のU方向の長さが閾値Lthより大きいときに、その物体候補を物体として検出し，物体候補を構成するピーク画素に同じ物体IDを関連付ける処理を行う。
　上記処理結果を，図７(b)によって示されるU-disparity画像を入力とした場合で説明すると，たとえば左側ガードレールの投影802は物体ID=1，前方車両の投影801は物体ID=2，右側ガードレールの投影803は物体ID=3となるように物体IDが関連付けられ，３つの物体が検出される。
　次に，視差勾配閾値設定部120の処理を詳細に説明する。
　視差勾配閾値設定部120は，ある視差と視差勾配をもつ視差画像112aの画素のデータ点がステレオカメラ装置105によって撮像されうる勾配の路面であるか否かを判断するために，視差画像112aの画素がとりうる各視差値に対応した視差勾配閾値を設定し，視差勾配閾値テーブル120aとしてメモリ上に格納する。視差勾配閾値には，ステレオカメラ装置105によって撮像されうる路面の最大勾配を実空間上でαmax[rad]（ = ΔY/ / ΔZ　：　Yは路面高さ，Zは奥行き距離）と設定した場合に，上記最大勾配αmaxの路面がV-disparity空間上に投影されている直線の視差勾配αthe（＝ΔDisparith / Δv）を計算した値を設定するようになっている。
　本実施例で適用される式を用いて具体的に説明する。
　まず，実空間上の路面座標系において任意の距離で路面高さＹ＝０であり勾配０°である路面を標準路面と定義したとき，標準路面がV-disparity空間に投影されている直線の傾きαｄ０および切片βｄ０は以下式４によって表される。
　〔式４〕
　　　αd0　＝　b / （β0 + h）　
　　　βd0　＝－ b・fc・α0  /（β0 + h）　・・・（４）
ここで，bは基線長，hはカメラ取り付け高さ，fcはレンズの焦点距離を撮像素子の画素ピッチで除した値である。α0およびβ0はそれぞれ実空間上の標準路面の勾配および切片であり，前述のように任意の距離で路面高さY=0であり勾配0°である場合は，それぞれ0が設定されている。
　次に，該画素のデータ点（視差d，画像縦座標vであるとする）の視差dにおける標準路面のV座標位置vgを以下式５により計算して，該画素のデータ点がV-disparity空間に投影される画素位置の近似位置（視差d，画像縦座標vg）を設定する。
　〔式５〕
　　vg　＝　v0 +(d－βd0) / αd0　・・・（５）
上式において近似位置を算出する理由は，単に計算式を簡略化可能であるために過ぎない。
　次に，上記画素位置（視差d，画像縦座標vg）において，実空間上での路面の勾配が最大勾配αmaxであった場合の視差勾配閾値αthを以下の式６によって表現できる。
　〔式６〕
　　αth ＝ －d  / ( v0 － vg + fc・αmax)　・・・（６）
　以上のようにして，視差勾配閾値設定部120は，上記視差勾配閾値αthを視差画像112aの画素がとりうる各視差値ｄごとに計算し視差勾配閾値テーブル120aに格納する。　
　前述のように，このテーブルは路面候補判断部114によって参照されて対象画素のデータ点が路面候補であるか否かが判断され，路面候補のデータ点のみがV-disparity画像生成部115においてヒストグラム投票され，V-disparity画像が生成されるようになっている。
　したがって，生成されたV-disparity画像は，路面候補でないと考えられるデータ点がヒストグラムに投票されていないため，V-disparity画像を元に路面検出部116において路面を検出する場合に，路面でない領域、例えば車両や歩行者やガードレールなどの障害物が画像上の多数を占める場合であっても路面を正確に検出し，その結果，路面上の障害物を正確に検出することができる。
　更に，路面とみなしうる路面の最大勾配αｍａｘの閾値を変化させることにより路面候補とみなすか路面候補でないとみなすか明らかな判断基準を設定することができるため，路面の勾配が大きい場合や障害物が路面に対して垂直ではなく勾配をもっている場合においても，適切にαmaxの値を設定することにより路面を正確に検出することができる。
　更に，一般道路を走行中であるか，高速道路を走行中であるかを認識し，路面のとりうる最大勾配αmaxを動的に調整することによって，シーンに合わせて最適に路面候補を判断し，路面をより正確に検出することも可能である。

Claims (5)

  1. 　複数の画像に基づいて視差画像を生成する視差算出部と、
    　前記視差画像の画素毎に、所定の画素と前記所定の画素の隣接する画素の視差に基づいて画素毎の視差勾配を算出する視差勾配算出部と、
    　前記画素毎の視差勾配に基づいて、検出候補か否かを判断する検出候補判断部と、
    　前記検出候補であると判断された場合、前記検出候補と判断された各画素を用いてヒストグラム投票を行い、画素毎にヒストグラム度数を生成する投票部と、
    　前記ヒストグラム度数に基づいて、物体の存在及び物体の位置を検出する物体検出部と、を有する物体検出装置。
  2. 　請求項１記載の物体検出装置において、
    　前記検出候補判断部は、前記視差画像の画素毎に、前記画素の視差勾配と取得した前記画素の視差に対応する視差勾配閾値とを比較して、各画素から検出候補か否かを判断する物体検出装置。
  3. 　請求項１記載の物体検出装置において、
    　前記物体検出部で検出される物体とは、路面、又は障害物である物体検出装置。
  4. 　請求項２記載の物体検出装置において、
    　前記検出候補判断部の検出候補は、路面候補であり、
    　前記視差勾配閾値は、ある一定範囲の視差ごとに，路面か否かを判断する閾値であって、予め視差勾配閾値テーブルに記憶された物体検出装置。
  5. 　請求項１記載の物体検出装置において、
    　前記物体検出部によって検出された前記物体の存在及び物体の位置に基づいて、制動力又は駆動力を制御する指令を生成する走行制御部を有する車両。
PCT/JP2014/075771 2013-10-07 2014-09-29 物体検出装置及びそれを用いた車両 WO2015053100A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/026,713 US9886649B2 (en) 2013-10-07 2014-09-29 Object detection device and vehicle using same
EP14853117.1A EP3057063B1 (en) 2013-10-07 2014-09-29 Object detection device and vehicle using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013209796A JP6151150B2 (ja) 2013-10-07 2013-10-07 物体検出装置及びそれを用いた車両
JP2013-209796 2013-10-07

Publications (1)

Publication Number Publication Date
WO2015053100A1 true WO2015053100A1 (ja) 2015-04-16

Family

ID=52812919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075771 WO2015053100A1 (ja) 2013-10-07 2014-09-29 物体検出装置及びそれを用いた車両

Country Status (4)

Country Link
US (1) US9886649B2 (ja)
EP (1) EP3057063B1 (ja)
JP (1) JP6151150B2 (ja)
WO (1) WO2015053100A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3082069A1 (en) * 2015-04-17 2016-10-19 Toyota Jidosha Kabushiki Kaisha Stereoscopic object detection device and stereoscopic object detection method
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
JP2017021780A (ja) * 2015-07-07 2017-01-26 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
EP3282389A1 (en) * 2016-08-09 2018-02-14 Ricoh Company, Ltd. Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN107792040A (zh) * 2016-08-30 2018-03-13 通用汽车环球科技运作有限责任公司 线控制动系统
EP3324359A4 (en) * 2015-08-21 2018-07-18 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
EP3399499A4 (en) * 2015-12-28 2019-01-09 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Machine Control System, Image Processing Method, and Image Processing Program
US11024051B2 (en) * 2016-12-19 2021-06-01 Hitachi Automotive Systems, Ltd. Object detection device
WO2021159397A1 (zh) * 2020-02-13 2021-08-19 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205369B4 (de) * 2014-04-04 2019-08-22 Ford Global Technologies, Llc Verfahren zum Betrieb eines Federungssystems
JP6430778B2 (ja) 2014-10-22 2018-11-28 株式会社デンソー 物体検知装置
JP6474228B2 (ja) 2014-10-22 2019-02-27 株式会社デンソー 物体検知装置
JP6430777B2 (ja) * 2014-10-22 2018-11-28 株式会社デンソー 物体検知装置
JP6484000B2 (ja) 2014-10-22 2019-03-13 株式会社デンソー 物体検知装置
JP6442225B2 (ja) 2014-10-22 2018-12-19 株式会社デンソー 物体検知装置
JP6462308B2 (ja) 2014-10-22 2019-01-30 株式会社デンソー 物体検知装置
JP2016080641A (ja) 2014-10-22 2016-05-16 株式会社デンソー 物体検知装置
JP6404679B2 (ja) 2014-10-22 2018-10-10 株式会社デンソー 物体検知装置
US20160180158A1 (en) * 2014-12-18 2016-06-23 Magna Electronics Inc. Vehicle vision system with pedestrian detection
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
EP3115933B1 (en) * 2015-07-07 2021-03-17 Ricoh Company, Ltd. Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
JP6597795B2 (ja) * 2015-12-14 2019-10-30 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6733225B2 (ja) 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3428902A4 (en) 2016-03-10 2019-08-14 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE DEVICE CONTROL SYSTEM, PICTURE PROCESSING PROCESS AND PROGRAM
JP6711395B2 (ja) 2016-03-17 2020-06-17 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6711128B2 (ja) 2016-05-18 2020-06-17 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6812701B2 (ja) * 2016-08-22 2021-01-13 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
DE102016216465A1 (de) * 2016-08-31 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und hindernisassistenzvorrichtung zur automatischen aktivierung einer hinderniserkennungsvorrichtung eines kraftfahrzeugs
JP7052265B2 (ja) * 2016-11-30 2022-04-12 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
GB201720360D0 (en) 2017-12-06 2018-01-17 Hgf Ltd Method of determining the boundary of a driveable space
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
JP7087499B2 (ja) 2018-03-16 2022-06-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置
JP7308115B2 (ja) * 2019-09-24 2023-07-13 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
US11314974B2 (en) * 2020-03-30 2022-04-26 Hitachi Astemo, Ltd. Detecting debris in a vehicle path

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086779A (ja) * 2002-08-28 2004-03-18 Toshiba Corp 障害物検出装置及びその方法
JP2011128844A (ja) 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
JP2013114476A (ja) * 2011-11-29 2013-06-10 Koito Electric Industries Ltd 物体判別方法
JP2013161190A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP5109691B2 (ja) * 2008-01-31 2012-12-26 コニカミノルタホールディングス株式会社 解析装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
US8917929B2 (en) * 2010-03-19 2014-12-23 Lapis Semiconductor Co., Ltd. Image processing apparatus, method, program, and recording medium
WO2012029371A1 (ja) * 2010-08-30 2012-03-08 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086779A (ja) * 2002-08-28 2004-03-18 Toshiba Corp 障害物検出装置及びその方法
JP2011128844A (ja) 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
JP2013114476A (ja) * 2011-11-29 2013-06-10 Koito Electric Industries Ltd 物体判別方法
JP2013161190A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREAS WEDEL: "B-Spline Modeling of Road Surfaces with an Application to Free Space Estimation", IEEE TRANSACTIONS ON ITS, 2009, pages 428 - 572
See also references of EP3057063A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898669B2 (en) 2015-04-17 2018-02-20 Toyota Jidosha Kabushiki Kaisha Traveling road surface detection device and traveling road surface detection method
CN106060516A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 立体物检测装置以及立体物检测方法
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
JP2016206775A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
CN106056569B (zh) * 2015-04-17 2019-03-29 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
EP3082069A1 (en) * 2015-04-17 2016-10-19 Toyota Jidosha Kabushiki Kaisha Stereoscopic object detection device and stereoscopic object detection method
JP2017021780A (ja) * 2015-07-07 2017-01-26 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
EP3324359A4 (en) * 2015-08-21 2018-07-18 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US10482615B2 (en) 2015-08-21 2019-11-19 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
EP3399499A4 (en) * 2015-12-28 2019-01-09 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Machine Control System, Image Processing Method, and Image Processing Program
US10748014B2 (en) 2015-12-28 2020-08-18 Ricoh Company, Ltd. Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
EP3282389A1 (en) * 2016-08-09 2018-02-14 Ricoh Company, Ltd. Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN107792040A (zh) * 2016-08-30 2018-03-13 通用汽车环球科技运作有限责任公司 线控制动系统
US11024051B2 (en) * 2016-12-19 2021-06-01 Hitachi Automotive Systems, Ltd. Object detection device
WO2021159397A1 (zh) * 2020-02-13 2021-08-19 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置

Also Published As

Publication number Publication date
EP3057063A4 (en) 2017-05-24
JP2015075800A (ja) 2015-04-20
EP3057063A1 (en) 2016-08-17
EP3057063B1 (en) 2021-04-21
US9886649B2 (en) 2018-02-06
US20160253575A1 (en) 2016-09-01
JP6151150B2 (ja) 2017-06-21

Similar Documents

Publication Publication Date Title
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
US7103213B2 (en) Method and apparatus for classifying an object
JP6773540B2 (ja) 車載用画像処理装置
US10140526B2 (en) Object detecting device
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
US10776635B2 (en) Monocular cued detection of three-dimensional structures from depth images
US7899211B2 (en) Object detecting system and object detecting method
US6956469B2 (en) Method and apparatus for pedestrian detection
CN107272021A (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
WO2005086079A1 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
EP3324359B1 (en) Image processing device and image processing method
JP2008304344A (ja) 物標検出装置
JP7225149B2 (ja) 処理装置
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
JP4956099B2 (ja) 壁検出装置
Romdhane et al. A generic obstacle detection method for collision avoidance
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
US11861914B2 (en) Object recognition method and object recognition device
JP3586938B2 (ja) 車載用距離測定装置
CN110488320A (zh) 一种利用立体视觉检测车辆距离的方法
JP2004098792A (ja) 車両用白線認識装置
JP2004220281A (ja) 障害物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14853117

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014853117

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014853117

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15026713

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE