WO2016031494A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2016031494A1
WO2016031494A1 PCT/JP2015/071899 JP2015071899W WO2016031494A1 WO 2016031494 A1 WO2016031494 A1 WO 2016031494A1 JP 2015071899 W JP2015071899 W JP 2015071899W WO 2016031494 A1 WO2016031494 A1 WO 2016031494A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object detection
far
region
boundary
Prior art date
Application number
PCT/JP2015/071899
Other languages
English (en)
French (fr)
Inventor
晋司 掛川
健 志磨
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US15/500,814 priority Critical patent/US10140526B2/en
Priority to EP15835840.8A priority patent/EP3188118B1/en
Publication of WO2016031494A1 publication Critical patent/WO2016031494A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/25—Road altitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an object detection device that detects an object based on an image.
  • the driving support device can provide, for example, an AEB (automatic emergency brake) function for automatically braking in an emergency, an ACC (adaptive cruise control) function for automatically adjusting the speed in accordance with the preceding vehicle, and the like.
  • AEB automatic emergency brake
  • ACC adaptive cruise control
  • a device that calculates 3D coordinate position data in a 3D coordinate system to generate a 3D distribution of pixels corresponding to a surface and a detection target object is known (for example, see Patent Document 1 below).
  • a three-dimensional object detection device determines a road surface and a three-dimensional object by generating a grid map that accumulates a three-dimensional distance data point group measured by a laser radar (see, for example, Patent Document 2 below).
  • This apparatus divides the three-dimensional distance information into three-dimensional object information, which is three-dimensional information indicating a three-dimensional object, and plane information, which is three-dimensional information indicating a plane. Based on the plane information corresponding to the predetermined area, the ground point position where the three-dimensional object contacts the plane is extracted. Then, based on the distance information and the contact point position, the search range for the three-dimensional object in the image is determined.
  • an object detection device in order to realize agile and reliable driving support, it is required to detect an object accurately and quickly from near to far. In addition, in order to quickly perform an operation of detecting an object and performing control, it is also required to shorten the processing time required for detection as much as possible.
  • the object detection device described in Patent Document 1 detects a surface based on a distance image, and from a pixel group corresponding to the surface, a detection target that is a pixel group having a predetermined height or more with reference to the surface. Since it is detected as an object, there is a possibility that erroneous detection or non-detection of a distant object with few pixels frequently occurs.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to provide an object detection device that can accurately detect an object even at a distance and can reduce the processing time.
  • an object detection device of the present invention is an object detection device that detects an object in front of a vehicle based on images of two cameras, and compares the images of the two cameras.
  • a parallax acquisition unit that calculates parallax for each pixel, and a perspective boundary setting unit that sets a boundary between a near region near the vehicle and a far region far from the vehicle in one single image of the two cameras;
  • a near object detection unit that detects an object in the vicinity region based on the parallax
  • a far object detection unit that detects an object in the far region based on the single image.
  • the distant object detection unit can detect an object in the distant region based on one image of one of the two cameras, so that the object can be accurately detected even in the distant place, and By detecting the object in the vicinity area based on the parallax between the two cameras by the near object detection unit, not only the object in the vicinity can be detected accurately, but also the processing time can be reduced by reducing the data processing amount. Can do.
  • FIG. 1 is a system outline diagram showing an object detection device according to an embodiment of the present invention.
  • the block diagram which shows schematic structure of the road surface estimation part shown in FIG. (A) And (b) is an image figure explaining the process by a road surface estimation part.
  • (A) is an image figure explaining the process by a road surface estimation part
  • (b) is a V-Disparity image.
  • (A) is an image figure explaining the process by a road surface estimation part
  • (b) is a V-Disparity image.
  • A) is an image figure explaining the process by a distant object detection part
  • (b) is a V-Disparity image.
  • A) And (b) is an image figure explaining the process by a perspective object integration part.
  • FIG. 1 is a system schematic diagram showing a schematic configuration of an object detection apparatus and its surroundings according to the present embodiment.
  • the object detection device 100 is a device that detects an object in front of the vehicle 110 based on images of two cameras, and is configured by, for example, a stereo camera device 111 mounted on the vehicle 110.
  • the stereo camera device 111 captures the front of the vehicle 110 and detects the road surface 101 in front of the vehicle 110 by image processing.
  • the device detects the guard rail 104 or the like.
  • the vehicle 110 includes a stereo camera device 111 and a travel control unit 122.
  • the stereo camera device 111 includes, for example, two cameras, a left camera 112 and a right camera 113, a left image acquisition unit 114 and a right image acquisition unit 115, a parallax image acquisition unit (parallax acquisition unit) 116, a road surface height estimation unit (road surface) An estimation unit) 117, a perspective boundary distance setting unit (perspective boundary setting unit) 118, a near object detection unit 119, a far object detection unit 120, and a perspective object integration unit 121.
  • the left camera 112 and the right camera 113 are a pair of imaging units that are installed at positions spaced apart from each other in the vehicle width direction of the vehicle 110 and that image the front of the vehicle 110, and each captures an image such as a CCD that converts light into a charge signal. It has an element.
  • the left image acquisition unit 114 acquires a charge signal from the left camera 112 at regular intervals and outputs a left image.
  • the right image acquisition unit 115 acquires a charge signal from the right camera 113 and outputs a right image at a timing synchronized with the fixed period.
  • the parallax image acquisition unit 116 acquires and collates each image of the two cameras, that is, the left image output from the left image acquisition unit 114 and the right image output from the right image acquisition unit 115, thereby matching the right image
  • the parallax is calculated for each pixel of the image, and a parallax image in which the parallax is stored for each pixel is output.
  • the parallax represents a shift between left and right images based on the distance in the vehicle width direction between the left camera 112 and the right camera 113, and is an amount that can be converted into a distance by the principle of triangulation. .
  • the parallax of each pixel stored in the parallax image is referred to as distance data.
  • the road surface height estimation unit 117 detects and estimates the position of the road surface 101 based on the parallax image output from the parallax image acquisition unit 116, and outputs the height position of the road surface 101 and the farthest distance of the road surface 101.
  • the height position of the road surface 101 is the height from the reference ground plane, and the height position of the road surface 101 corresponding to each distance in the depth direction is output.
  • the farthest distance of the road surface 101 refers to the farthest distance from the vehicle 110 among the distances of the road surface 101 detected by the road surface height estimation unit 117.
  • the perspective boundary distance setting unit 118 acquires the farthest distance of the road surface 101 output from the road surface height estimation unit 117, and uses the farthest distance as a boundary between a region near the vehicle 110 and a far region. Set as perspective distance and output. That is, the perspective boundary distance setting unit 118 sets the boundary Rb between the near region R1 close to the vehicle 110 and the far region R2 far from the vehicle 110 in one single image of the two cameras, for example, the right image of the right camera 113. Set.
  • the near object detection unit 119 detects an object in the vicinity region R1 based on the parallax calculated by the parallax image acquisition unit 116. More specifically, the neighboring object detection unit 119 uses a parallax image in which the parallax calculated for each pixel in the neighboring region R1 of the right image is stored in each pixel, and distance data that is the parallax of each pixel of the parallax image is obtained. Then, by extracting a group of distance data continuous in the depth direction and the horizontal direction from the parallax image, the object in the vicinity region R1 is detected.
  • the nearby object detection unit 119 is based on the parallax image output from the parallax image acquisition unit 116 and the perspective boundary distance output from the perspective boundary distance setting unit 118 in the vicinity region R1 of the vehicle 110.
  • the parallax image acquisition unit 116 By extracting a block of distance data continuous in the depth direction and the lateral direction from the parallax image, obstacles such as the preceding vehicle 102 and the guardrail 104 in the vicinity region R1 are detected, and the detection result is output.
  • the far object detection unit 120 detects an object in the far region R2 based on the right image of the right camera 113, for example. More specifically, the far object detection unit 120 moves away from the vehicle 110 based on the right image output from the right camera 113 and the boundary Rb that is the perspective boundary distance output from the perspective boundary distance setting unit 118. Pattern matching using an image is performed in a distant area. Thereby, the distant object detection unit 120 detects the distant preceding vehicle 103 and outputs a detection result.
  • the perspective object integration unit 121 outputs the detection result of the object ranging from the vicinity of the vehicle 110 to the distance based on the detection result output from the near object detection unit 119 and the detection result output from the far object detection unit 120. . Specifically, the perspective object integration unit 121 is based on the detection result of the preceding vehicle 102 and the obstacle in the near region R1 close to the vehicle 110 and the detection result of the preceding vehicle 103 in the far region R2 far from the vehicle 110. The detection results of the object in the near region R1 and the object in the far region R2 are integrated so that the geometric positional relationship does not contradict, and the result is output.
  • the traveling control unit 122 controls the accelerator, the brake, and the like based on the detection results of the obstacles such as the preceding vehicles 102 and 103 and the guardrail 104 output from the perspective object integration unit 121 of the stereo camera device 111. As a result, the travel control unit 122 causes the vehicle 110 to travel such that, for example, the vehicle 110 avoids a collision with the preceding vehicles 102 and 103, the guard rail 104, or the like, or causes the vehicle 110 to automatically track the preceding vehicles 102 and 103. Provide support.
  • FIG. 2 is a block diagram showing a schematic configuration of the road surface height estimation unit 117.
  • the road surface height estimation unit 117 includes, for example, a road shape setting unit 201, a virtual plane setting unit 202, a straight line detection unit 203, and a farthest distance detection unit (boundary pixel position detection unit) 204.
  • the road shape setting unit 201 sets a road shape on which the vehicle 110 is traveling, calculates and outputs an image area of a road obtained by projecting the set road shape on the image.
  • the virtual plane setting unit 202 histograms the distance data that falls within the road image area output from the road shape setting unit 201, that is, the parallax corresponding to each pixel and the coordinate position data of each pixel in a two-dimensional virtual plane. And output a V-Disparity image.
  • the virtual plane on which the virtual plane setting unit 202 projects the distance data is a two-dimensional space in which the vertical pixel coordinate position V is taken along the vertical axis and the disparity is taken along the horizontal axis.
  • the V-Disparity image is an image in which a histogram frequency indicating the total number of data points is stored for each pixel of the gridded virtual plane.
  • the straight line detection unit 203 acquires the V-Disparity image output from the virtual plane setting unit 202, detects a straight line passing through a pixel having a high histogram frequency of the V-Disparity image, and based on this straight line, the road surface height Calculate the position.
  • the farthest distance detection unit 204 detects and outputs the distance of the farthest road surface 101 whose road surface estimation result is reliable based on the road surface estimation result by the straight line detection unit 203.
  • FIG. 3A and 3B are image diagrams for explaining processing by the road shape setting unit 201.
  • FIG. 3A and 3B are image diagrams for explaining processing by the road shape setting unit 201.
  • the road shape setting unit 201 sets, for example, an area such as a trapezoidal area 302 as a road shape as an area having a high possibility of being a road in the right image 301.
  • the trapezoidal region 302 can be obtained by calculating the position at which the road surface is projected on the image, assuming a road surface having a constant width and a constant gradient that extends straight in the straight direction. As described above, when a road shape extending in a straight direction is assumed, if the road shape is actually curved, there is a problem that a deviation occurs between the set road shape and the actual road shape.
  • the road shape setting unit 201 sequentially estimates the curve direction of the road, estimates a road surface having a constant width and a constant gradient extending in the curve direction, and the estimated road surface is displayed on the image. It is preferable to calculate the position projected on the screen. Thereby, for example, a curved region such as the curved region 303 can be set as the road shape.
  • the curve direction of the road can be estimated by detecting a white line based on image information or detecting a road shoulder based on distance information.
  • FIG. 4A is a right image 301 of the right camera 113 for explaining processing by the virtual plane setting unit 202.
  • FIG. 4B is a V-Disparity image obtained by projecting each distance data of a parallax image corresponding to the right image 301 onto a virtual plane.
  • a flat road surface 400 in an area near the vehicle 110 shown in FIG. 4A and an uphill road surface 401 in an area far from the vehicle 110 are respectively shown on the V-Disparity image shown in FIG.
  • the first direction 402 and the second direction 403 there is a property of being projected in a straight line in an oblique direction with a different gradient.
  • obstacles such as the preceding vehicles 102 and 103 have a property of being projected in a straight line in the vertical direction, as in the data of regions 404 and 405 surrounded by solid lines.
  • the road surface height estimation unit 117 calculates a relational expression that expresses straight lines along the first direction 402 and the second direction 403 of the distance data of the road surface 400 without being affected by such noise.
  • FIG. 5A is a right image 301 of the right camera 113 for explaining processing by the straight line detection unit 203 and the farthest distance detection unit 204.
  • FIG. 5B is a V-Disparity image for explaining the processing of the straight line detection unit 203 and the farthest distance detection unit 204.
  • the straight line detection unit 203 first converts a V-Disparity image into a binarized image with a certain threshold, and detects a straight line by Hough transform, as shown in FIG.
  • the most dominant straight line 501 in the image is detected.
  • a straight line 501 indicates the relationship between the vertical position at which the estimated road surface is projected on the image and the parallax.
  • the straight line detection unit 203 converts the relationship between the vertical position and the parallax into the relationship between the distance in the depth direction and the road surface height position in the three-dimensional space, and outputs the road surface height position for each distance.
  • the gradient of the road surface 503 in the region far from the vehicle 110 is changed with respect to the road surface 502 in the region near the vehicle 110. Therefore, the straight line 501 detected on the V-Disparity image shown in FIG. 5B fits well with the road surface distance data in the region 504 near the vehicle 110. However, it can be seen that the straight line 501 has a deviation from the position of the actual road surface distance data in the region 505 far from the vehicle 110, and the reliability of the road surface estimation result is low.
  • the farthest distance detection unit 204 detects and outputs the farthest distance of the road surface 502 in which the road surface estimation result is reliable in an area near the vehicle 110. For this purpose, the farthest distance detection unit 204 checks the histogram frequency of each pixel through which the straight line 501 detected by the straight line detection unit 203 passes in order from the vicinity of the vehicle 110, and the pixels whose histogram frequency is below a certain level are constant. The first pixel position when the number of pixels continues is detected as the boundary pixel position 506.
  • the farthest distance detection unit 204 which is a boundary pixel position detection unit, detects the boundary pixel position 506 based on the deviation between the straight line 501 and the position of the distance data in the V-Disparity image.
  • the farthest distance detection unit 204 calculates the farthest distance of the road surface 502 in the vicinity region R1 of the vehicle 110 by converting the parallax at the boundary pixel position 506 into a distance.
  • the range of the road surface 502 that is closer to the vehicle 110 than the boundary pixel position 506 that is the farthest distance can be regarded as the road region estimation result, that is, the vicinity region R1 of the vehicle 110 with high reliability of the distance to the road surface 502. it can.
  • the range of the road surface 503 farther from the vehicle 110 than the boundary pixel position 506 which is the farthest distance can be regarded as a far region R2 of the vehicle 110 where the road surface estimation result, that is, the reliability of the distance to the road surface 503 is low.
  • the road surface height estimation unit 117 calculates the distances to the road surfaces 502 and 503 in front of the vehicle 110 based on the parallax calculated by the parallax image acquisition unit 116, and the distance to the road surface 502 is highly reliable. A boundary pixel position 506 between 504 and a region 505 with low reliability of the distance to the road surface 503 is detected. Further, the perspective boundary distance setting unit 118 sets a boundary Rb between the near region R1 and the far region R2 based on the boundary pixel position 506.
  • FIG. 6A is a right image of the right camera 113 for explaining processing by the far object detection unit 120.
  • FIG. 6B is a V-Disparity image for explaining processing by the far object detection unit 120.
  • the far object detection unit 120 includes a right image output from the right camera 113 shown in FIG. 6A, a boundary pixel position 506 indicating the perspective boundary distance output from the farthest distance detection unit 204, and a road shape setting unit.
  • a trapezoidal region 302 that is an image region of a road shape output from 201 is acquired. Then, the far object detection unit 120 sets the search range 601 for the preceding vehicle in the far region R2 on the right image.
  • the far object detection unit 120 uses the estimation error ⁇ between the vertical coordinate position of the pixel at the boundary Rb of the right image of the right camera 113 and the boundary pixel position 506 of the V-Disparity image, and uses the estimated error ⁇ in the vertical direction of the search range 601. Is set to a position that is the sum of the boundary pixel position 506 and the estimation error ⁇ . That is, in the far object detection unit 120, the lower end position of the search range 601 is the sum Ve + ⁇ of the image vertical position Ve and the estimation error ⁇ at the boundary pixel position 506 of the straight line 501 of the road surface estimation result shown in FIG. Set as follows.
  • the estimation error ⁇ is a value obtained by setting in advance an estimation error of the road image vertical position assumed at the boundary pixel position 506 of the road surface estimation result. Note that the estimation error ⁇ tends to be relatively small on a highway with a relatively flat road surface 502 and relatively large on a general road with a large gradient of the road surface 502. Therefore, the estimation error ⁇ may be sequentially calculated and changed according to the traveling state of the vehicle 110.
  • the far object detection unit 120 uses the image height H of the object having the maximum height assumed at the boundary Rb of the right image of the right camera 113, and sets the other end in the vertical direction of the search range 601 from the boundary pixel position 506 to the image height. It is set to a position obtained by subtracting the width H and the estimation error ⁇ . That is, the far object detection unit 120 sets the upper end position of the search range 601 to be Ve ⁇ H ⁇ obtained by subtracting the above-described value ⁇ and the image vertical width H from the image vertical position Ve at the boundary pixel position 506. .
  • the image height H is the image height when a vehicle having the maximum vehicle height assumed at the boundary pixel position 506 is projected on the image.
  • the far object detection unit 120 sets the positions of the left and right ends of the search range 601 to the positions of the left and right ends of the trapezoidal area 302 that is a road-shaped image area at the boundary pixel position 506. In this way, the far object detection unit 120 sets the search range 601 to an image range in which a vehicle beyond the boundary pixel position 506 may exist.
  • the far object detection unit 120 scans the template 602 in the search range 601 and performs pattern matching to detect the preceding vehicle 103 in the far region R2 away from the vehicle 110.
  • the distant object detection unit 120 learns the feature of the image of the preceding vehicle 103 in advance, and compares the learned feature value with the feature value of the image of the template 602. Then, the distant object detection unit 120 determines that the vehicle is likely if the difference between the feature amounts is equal to or less than a certain value, and detects the preceding vehicle 103 at the position of the template.
  • the distant object detection unit 120 uses a plurality of templates 602 having different sizes, and repeatedly performs the preceding vehicle detection process by the above search for the number of templates 602 having different sizes.
  • the far object detection unit 120 performs the object detection process using the camera image output from the right camera 113 only in the far region R2 away from the vehicle 110.
  • FIGS. 7A and 7B are right images of the right camera 113 for explaining processing by the perspective object integration unit 121.
  • FIG. 7A and 7B are right images of the right camera 113 for explaining processing by the perspective object integration unit 121.
  • a detection result 701 of a nearby object such as the preceding vehicle 102 is obtained by the nearby object detection unit 119, and detection results 702 and 703 of a far object such as the preceding vehicle 103 are obtained by the far object detection unit 120.
  • the perspective object integration unit 121 checks the positional relationship between the near object and the far object. Then, the distant object integration unit 121 erases the object with the farther distance from the detected objects that overlap each other on the image like the detection results 702 and 703.
  • the perspective object integration unit 121 deletes the detection result 703 having a longer distance from the detection results 702 and 703 that overlap each other on the image.
  • the perspective object integration unit 121 outputs the detection results 701 and 702 as perspective objects as shown in FIG.
  • the perspective object integration unit 121 also detects the far distance detection result even when the detection result in the area near the vehicle 110 and the detection result in the far area of the vehicle 110 overlap each other on the image. Erase. In this way, when the object regions that are the detection results overlap on the image, the reason for erasing the far object is that the far object should not be seen because it is shielded by the near object. This is because the possibility of erroneous detection is high.
  • a surface is detected based on a distance image, and a predetermined height based on this surface is detected from a pixel group corresponding to the surface. Since detection is performed as a detection target object that is the above pixel group, there is a possibility that erroneous detection or non-detection of a distant object with few pixels frequently occurs. This is because the amount of information obtained from the sensor in the far region is smaller than that in the neighboring region, and the distance data obtained from the sensor is reduced in addition to the fact that only a small number of distance data can be obtained. Because.
  • the object detection apparatus 100 matches not only the parallax image acquisition unit (parallax acquisition unit) 116 that calculates the parallax for each pixel by comparing the images of the left and right cameras 112 and 113 but also the perspective.
  • a boundary distance setting unit (perspective boundary setting unit) 118 is provided. Then, by the perspective boundary distance setting unit 118, the boundary Rb between the near region R1 near the vehicle 110 and the far region R2 far from the vehicle 110 in the right image that is a single image of the right camera 113 of the left and right cameras. Set. Then, the near object detection unit 119 detects the object in the near region R1 based on the parallax, and the far object detection unit 120 detects the object in the far region R2 based on the right image.
  • the object detection apparatus 100 can accurately detect the object in the far region R2 with few pixels, which is difficult to detect the object based on the distance data, based on the right image of the right camera 113 regardless of the distance data. Therefore, according to the object detection device 100 of the present embodiment, it is possible to suppress the erroneous detection or non-detection of an object in the far region R2 and accurately detect the object even in the distance of the vehicle 110. Further, the processing target when detecting an object from the distance data based on the parallax can be narrowed down to the vicinity region R1, and the data processing amount can be reduced and the processing time can be shortened.
  • the object detection device 100 calculates the distance to the road surface ahead of the vehicle 110 based on the parallax, and between the region where the reliability of the distance is high and the region where the reliability of the distance is low.
  • a road surface height estimation unit (road surface estimation unit) 117 that detects the boundary pixel position 506 is further provided.
  • the perspective boundary distance setting unit (perspective boundary setting unit) 118 sets the boundary Rb based on the boundary pixel position 506. Thereby, the reliability of the distance data in the neighborhood region R1 can be increased, and the object detection accuracy in the neighborhood region R1 can be improved.
  • the road surface height estimation unit 117 includes a virtual plane setting unit 202, a straight line detection unit 203, and a farthest distance detection unit (boundary pixel position detection unit) 204.
  • the virtual plane setting unit 202 outputs the aforementioned V-Disparity image
  • the straight line detection unit 203 detects the most dominant straight line 501 in the V-Disparity image.
  • the farthest distance detection unit 204 detects the boundary pixel position 506 based on the deviation between the straight line 501 and the position of the distance data in the V-Disparity image.
  • the road surface height estimation unit 117 can detect the boundary pixel position 506 between the region 504 having a high reliability of the distance to the road surface and the region 505 having a low reliability of the distance.
  • the far object detection unit 120 sets a search range 601 in the far region R2 on the right image, scans the template 602 within the search range 601, and detects an object in the far region R2 by pattern matching. Thereby, in the far field R2, an object can be accurately detected based on the right image regardless of the distance data.
  • the far object detection unit 120 uses the estimation error ⁇ between the vertical coordinate position of the pixel at the boundary Rb of the right image and the boundary pixel position 506 of the V-Disparity image, and uses the lower end of the search range 601 in the vertical direction. Is set to a position that is the sum of the boundary pixel position 506 and the estimation error ⁇ . Thereby, the search range 601 can be set in a more appropriate range in consideration of the estimation error ⁇ .
  • the far object detection unit 120 uses the image height H of the object having the maximum height assumed at the boundary Rb of the right image, and sets the upper end in the vertical direction of the search range 601 as the image height H from the boundary pixel position 506. It is set to a position where the estimation error ⁇ is reduced. Thereby, the search range 601 can be set to a more appropriate range in consideration of the estimation error ⁇ and the image vertical width H.
  • the object detection apparatus 100 of the present embodiment includes a road shape setting unit 201 that sets the road shape in front of the vehicle 110 using the right image.
  • the far object detection unit 120 sets the left and right end positions of the search range 601 as the left and right end positions of the road-shaped image region. Thereby, the search range 601 can be further narrowed down and the processing time can be shortened.
  • the far object detection unit 120 repeatedly scans the search range 601 using a plurality of templates 602 having different sizes. Thereby, it is possible to detect from the preceding vehicle close to the vehicle 110 to the preceding vehicle far from the vehicle 110 without omission in the far region R2.
  • the object detection apparatus 100 includes a perspective object integration unit that deletes the detection result 703 of the farther object among the detection results 702 and 703 of the overlapping objects displayed on the right image. 121 is provided. Thereby, the detection result 703 having a high possibility of being detected by erroneous detection can be erased, and erroneous detection can be reduced.
  • the near object detection unit 119 uses a parallax image in which the parallax calculated for each pixel in the near region R1 of the right image is stored in each pixel, and the distance data that is the parallax of each pixel in the parallax image indicates the depth direction and By extracting a group of distance data continuous in the horizontal direction from the parallax image, an object in the vicinity region R1 is detected. Thereby, the nearby object detection unit 119 can accurately detect the object in the nearby region R1 based on the parallax.
  • the object detection device of the present invention can detect pedestrians and other obstacles in addition to the detection of the preceding vehicle. It can also be applied to detection.
  • the present invention is not limited to the driving assistance device for automobiles. Further, the present invention can also be applied to a ship periphery monitoring device and a driving support device for detecting an obstacle on the sea, or an aircraft periphery monitoring device and a driving support device for detecting an obstacle on the ground plane.
  • object detection is performed using only the right image of the camera in a distant area away from the vehicle, but the object is detected using both the right image or the left image and the parallax image. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　遠方においても正確に物体を検出し、かつ処理時間を短縮可能な物体検出装置を提供する。　物体検出装置１００は、２つのカメラ１１２，１１３の各画像を照合して画素毎に視差を算出する視差取得部１１６と、２つのカメラの一方の単画像において、車両１１０から近い近傍領域Ｒ１と車両１１０から遠い遠方領域Ｒ２との間の境界Ｒｂを設定する遠近境界設定部１１８と、視差に基づいて近傍領域Ｒ１の物体１０２，１０４を検出する近傍物体検出部１１９と、単画像に基づいて遠方領域Ｒ２の物体１０３，１０４を検出する遠方物体検出部１２０と、を備える。

Description

物体検出装置
　本発明は、画像に基づいて物体を検出する物体検出装置に関する。
　各種センサを用いた車載向けの運転支援装置の開発が世界的に進められている。運転支援装置は、例えば緊急時に自動ブレーキをかけるＡＥＢ（自動緊急ブレーキ）の機能や、先行車両にあわせて自動で速度を調整するＡＣＣ（アダプティブクルーズコントロール）の機能などを提供することができる。ＡＥＢやＡＣＣなどの機能を提供するには、自車両の前方に存在する先行車両や障害物などの物体を検出することが必要である。
　このような物体の検出に用いられる物体検出装置として、距離画像の各画素毎の二次元座標位置データと、各画素毎の基準位置からの距離データとに基づき、距離画像の各画素毎に、３次元座標系における３次元座標位置データを演算して、面及び検出対象物体に対応する画素の３次元分布を生成するものが知られている（例えば、下記特許文献１参照）。
　また、レーザレーダで計測した３次元距離データ点群を蓄積したグリッドマップを生成して路面と立体物を判定する立体物検出装置が知られている（例えば、下記特許文献２参照）。この装置は、３次元距離情報を、立体物を示す３次元情報である立体物情報と、平面を示す３次元情報である平面情報とに分割し、立体物情報、及び注目する立体物周辺の所定領域に対応する平面情報に基づいて、立体物が平面に接する接地点位置を抽出する。そして、距離情報と接地点位置とに基づいて、画像内における立体物の探索範囲を決定する。
特開平１０－１４３６５９号公報 特開２０１３－１４０５１５号公報
　物体検出装置においては、機敏かつ信頼性の高い運転支援を実現するために、近傍から遠方にわたって正確かつ迅速に物体を検出することが求められる。また、物体を検出して制御を実施する動作を迅速に行うために、検出にかかる処理時間を可能な限り短縮することも求められる。
　しかしながら、特許文献１に記載された物体検出装置では、距離画像に基づいて面を検出し、面に対応する画素群から、この面を基準とする所定の高さ以上の画素群である検出対象物体として検出するため、画素の少ない遠方の物体に対する誤検出や未検出が頻発する虞がある。
　また、特許文献２に記載された立体物検出装置では、路面上に存在する立体物認識の誤検出を低減できるとされているが、路面に存在する立体物を検出するために、事前に距離データを立体物と路面に分割しておく必要がある。このような距離データの分割は、距離データが減少する遠方の領域においては困難になる。
　本発明は、前記課題に鑑みてなされたものであり、遠方においても正確に物体を検出し、かつ処理時間を短縮可能な物体検出装置を提供することを目的とする。
　前記の目的を達成するために、本発明の物体検出装置は、２つのカメラの画像に基づいて車両前方の物体を検出する物体検出装置であって、前記２つのカメラの各画像を照合して画素毎に視差を算出する視差取得部と、前記２つのカメラの一方の単画像において、前記車両から近い近傍領域と前記車両から遠い遠方領域との間の境界を設定する遠近境界設定部と、前記視差に基づいて前記近傍領域の物体を検出する近傍物体検出部と、前記単画像に基づいて前記遠方領域の物体を検出する遠方物体検出部と、を備えることを特徴とする。
　本発明の物体検出装置によれば、遠方物体検出部が２つのカメラの一方の単画像に基づいて遠方領域の物体を検出することで、遠方においても正確に物体を検出することができ、かつ近傍物体検出部が２つのカメラの視差に基づいて近傍領域の物体を検出することで、近傍の物体を正確に検出することができるだけでなく、データ処理量を減少させて処理時間を短縮することができる。
本発明の実施形態に係る物体検出装置を示すシステム概要図。 図１に示す路面推定部の概略構成を示すブロック図。 （ａ）及び（ｂ）は、路面推定部による処理を説明する画像図。 （ａ）は路面推定部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）は路面推定部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）は遠方物体検出部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）及び（ｂ）は、遠近物体統合部による処理を説明する画像図。
　以下、図面を参照して本発明の物体検出装置の実施の形態について説明する。
　図１は、本実施形態に係る物体検出装置及びその周辺の概略構成を示すシステム概要図である。
　本実施形態の物体検出装置１００は、２つのカメラの画像に基づいて車両１１０前方の物体を検出する装置であり、例えば、車両１１０に搭載されたステレオカメラ装置１１１によって構成されている。ステレオカメラ装置１１１は、車両１１０の前方を撮影し、画像処理によって車両１１０の前方の路面１０１を検出すると共に、車両１１０の近傍の先行車両１０２及び遠方の先行車両１０３、その他車両以外の障害物、例えばガードレール１０４等を検出する装置である。車両１１０は、ステレオカメラ装置１１１と、走行制御部１２２と、を備えている。
　ステレオカメラ装置１１１は、例えば、左カメラ１１２及び右カメラ１１３の２つのカメラ、左画像取得部１１４及び右画像取得部１１５、視差画像取得部（視差取得部）１１６、路面高さ推定部（路面推定部）１１７、遠近境界距離設定部（遠近境界設定部）１１８、近傍物体検出部１１９及び遠方物体検出部１２０、並びに、遠近物体統合部１２１を備えている。
　左カメラ１１２及び右カメラ１１３は、車両１１０の車幅方向に互いに離間した位置に設置され、車両１１０の前方を撮像する一対の撮像手段であり、それぞれ光を電荷信号に変換するＣＣＤ等の撮像素子を有している。左画像取得部１１４は、左カメラ１１２から一定周期ごとに電荷信号を取得して左画像を出力する。右画像取得部１１５は、上記の一定周期と同期したタイミングで右カメラ１１３から電荷信号を取得して右画像を出力する。
　視差画像取得部１１６は、２つのカメラの各画像、すなわち左画像取得部１１４から出力された左画像と、右画像取得部１１５から出力された右画像とを取得して照合することで、右画像の画素毎に視差を算出し、画素毎に視差が格納された視差画像を出力する。ここで、視差とは、左カメラ１１２と右カメラ１１３との間の車幅方向の距離に基づく左右の画像のずれを表しており、三角測量の原理によって距離に変換することのできる量である。以下では、簡単のため、視差画像に格納された各画素の視差を距離データと呼ぶ。
　路面高さ推定部１１７は、視差画像取得部１１６から出力された視差画像に基づいて、路面１０１の位置を検出および推定し、路面１０１の高さ位置および路面１０１の最遠方距離を出力する。ここで、路面１０１の高さ位置とはある基準となる地平面からの高さであり、奥行き方向の距離毎に対応する路面１０１の高さ位置が出力されるようになっている。また、路面１０１の最遠方距離とは、路面高さ推定部１１７によって検出された路面１０１の距離のうち、車両１１０から最も遠い距離を指す。
　遠近境界距離設定部１１８は、路面高さ推定部１１７から出力された路面１０１の最遠方距離を取得し、その最遠方距離を車両１１０の近傍の領域と遠方の領域との間の境界となる遠近境界距離として設定し、出力する。すなわち、遠近境界距離設定部１１８は、２つのカメラの一方の単画像、例えば右カメラ１１３の右画像において、車両１１０から近い近傍領域Ｒ１と車両１１０から遠い遠方領域Ｒ２との間の境界Ｒｂを設定する。
　近傍物体検出部１１９は、視差画像取得部１１６が算出した視差に基づいて、近傍領域Ｒ１の物体を検出する。より具体的には、近傍物体検出部１１９は、右画像の近傍領域Ｒ１の画素毎に算出した視差が各画素に格納された視差画像を用い、視差画像の各画素の視差である距離データが、奥行方向及び横方向に連続した一群の距離データを、視差画像から抽出することで、近傍領域Ｒ１の物体を検出する。
　換言すると、近傍物体検出部１１９は、視差画像取得部１１６から出力された視差画像と、遠近境界距離設定部１１８から出力された遠近境界距離と、に基づいて、車両１１０の近傍領域Ｒ１において、奥行き方向および横方向に連続した距離データのかたまりを視差画像から抽出することによって、近傍領域Ｒ１の先行車両１０２及びガードレール１０４等の障害物を検出し、検出結果を出力する。
　遠方物体検出部１２０は、例えば右カメラ１１３の右画像に基づいて、遠方領域Ｒ２の物体を検出する。より具体的には、遠方物体検出部１２０は、右カメラ１１３から出力された右画像と、遠近境界距離設定部１１８から出力された遠近境界距離である境界Ｒｂに基づいて、車両１１０から離れた遠方の領域において、画像を用いたパタンマッチングを実施する。これにより、遠方物体検出部１２０は、遠方の先行車両１０３を検出し、検出結果を出力する。
　遠近物体統合部１２１は、近傍物体検出部１１９から出力された検出結果と、遠方物体検出部１２０から出力された検出結果とに基づいて、車両１１０の近傍から遠方にわたる物体の検出結果を出力する。具体的には、遠近物体統合部１２１は、車両１１０に近い近傍領域Ｒ１の先行車両１０２及び障害物の検出結果と、車両１１０から遠い遠方領域Ｒ２の先行車両１０３の検出結果とに基づいて、幾何学的位置関係に矛盾が生じないように、近傍領域Ｒ１の物体と遠方領域Ｒ２の物体の検出結果を統合し、結果を出力する。
　走行制御部１２２は、ステレオカメラ装置１１１の遠近物体統合部１２１から出力された先行車両１０２，１０３やガードレール１０４等の障害物の検出結果に基づいて、アクセル及びブレーキ等を制御する。これにより、走行制御部１２２は、例えば、車両１１０が先行車両１０２，１０３やガードレール１０４等との衝突を回避したり、車両１１０を先行車両１０２，１０３に自動追尾させたりする、車両１１０の走行支援を行う。
　図２は、路面高さ推定部１１７の概略構成を示すブロック図である。
　路面高さ推定部１１７は、例えば、道路形状設定部２０１と、仮想平面設定部２０２と、直線検出部２０３と、最遠方距離検出部（境界画素位置検出部）２０４と、を備えている。
　道路形状設定部２０１は、車両１１０が走行中の道路形状を設定し、設定した道路形状を画像上に投影した道路の画像領域を算出し、出力する。仮想平面設定部２０２は、道路形状設定部２０１から出力された道路の画像領域内に入る距離データ、すなわち各画素に対応する視差と各画素の座標位置のデータを、２次元の仮想平面にヒストグラムとして投影し、V-Disparity画像を出力する。ここで、仮想平面設定部２０２が距離データを投影する仮想平面は、縦方向の画素の座標位置Ｖを縦軸にとり、視差（Disparity）を横軸にとった２次元空間である。また、V-Disparity画像とは、グリッド化された仮想平面の画素毎にデータ点の合計数を示すヒストグラム度数が格納されている画像である。
　直線検出部２０３は、仮想平面設定部２０２から出力されたV-Disparity画像を取得し、V-Disparity画像のヒストグラム度数が高い画素を通過する直線を検出し、この直線をもとに路面高さ位置を算出する。最遠方距離検出部２０４は、直線検出部２０３による路面推定結果をもとに路面推定結果が信頼可能である最遠方の路面１０１の距離を検出し、出力する。
　図３（ａ）及び（ｂ）は、道路形状設定部２０１による処理を説明する画像図である。
　道路形状設定部２０１は、図３（ａ）に示すように、右画像３０１において道路である可能性が高い領域として、例えば、台形領域３０２のような領域を、道路形状として設定する。台形領域３０２は、直進方向にまっすぐ伸びる一定幅で一定勾配の路面を仮定した場合に、路面が画像上に投影される位置を算出することによって得ることができる。このように、直進方向に伸びる道路形状を仮定した場合において、道路形状が実際にはカーブしていた場合には、設定した道路形状と実際の道路形状にずれが生じてしまう問題がある。
　この場合、道路形状設定部２０１は、図３（ｂ）に示すように、逐次道路のカーブ方向を推定し、カーブ方向に伸びる一定幅で一定勾配の路面を推定し、推定した路面が画像上に投影される位置を算出することが好ましい。これにより、例えば、カーブ領域３０３のようなカーブした領域を、道路形状として設定することができる。道路のカーブ方向は、画像情報をもとに白線を検知するか、又は距離情報をもとに路肩を検出すること等によって推定することが可能である。
　図４（ａ）は、仮想平面設定部２０２による処理を説明する右カメラ１１３の右画像３０１である。図４（ｂ）は、右画像３０１に対応した視差画像の各距離データを仮想平面に投影することによって得られたV-Disparity画像である。
　図４（ａ）に示す車両１１０の近傍の領域における平坦な路面４００と、車両１１０の遠方の領域における登り勾配の路面４０１とは、それぞれ、図４（ｂ）に示すV-Disparity画像上において、第１の方向４０２と第２の方向４０３のように、勾配の異なる斜め方向の直線状に投影される性質がある。また、先行車両１０２，１０３などの障害物は、それぞれ実線で囲まれた領域４０４，４０５のデータのように、垂直方向の直線状に投影される性質がある。
　路面高さ推定部１１７においては、領域４０４，４０５に示すような垂直方向の直線状の障害物の距離データはノイズとなる。したがって、路面高さ推定部１１７において、このようなノイズの影響をうけることなく、路面４００の距離データの第１の方向４０２及び第２の方向４０３に沿う直線を表現する関係式を算出する。
　図５（ａ）は、直線検出部２０３及び最遠方距離検出部２０４による処理を説明する右カメラ１１３の右画像３０１である。図５（ｂ）は、直線検出部２０３及び最遠方距離検出部２０４の処理を説明するV-Disparity画像である。
　直線検出部２０３は、例えば、まずV-Disparity画像を一定の閾値で２値化した画像に変換し、ハフ変換により直線を検出することで、図５（ｂ）に示すように、V-Disparity画像において最も支配的な直線５０１を検出する。直線５０１は、推定された路面が画像上に投影される縦位置と視差との関係を示している。直線検出部２０３は、この縦位置と視差との関係を、３次元空間中の奥行き方向の距離と路面高さ位置の関係に変換し、距離毎の路面高さ位置を出力する。
　また、図５（ａ）に示す例では、車両１１０の近傍の領域における路面５０２に対して、車両１１０の遠方の領域における路面５０３の勾配が変化している。そのため、図５（ｂ）に示すV-Disparity画像上で検出された直線５０１は、車両１１０の近傍の領域５０４では、よく路面の距離データとフィットしている。しかし、直線５０１は、車両１１０の遠方の領域５０５では、実際の路面の距離データの位置とずれを生じており、路面推定結果の信頼性が低いことがわかる。
　最遠方距離検出部２０４は、車両１１０の近傍の領域において、路面推定結果が信頼可能である路面５０２の最遠方の距離を検出して出力する。このために、最遠方距離検出部２０４は、車両１１０の近傍側から順に直線検出部２０３の検出した直線５０１が通過する各画素のヒストグラム度数を確認し、ヒストグラム度数が一定以下になる画素が一定個数以上連続するときの最初の画素位置を境界画素位置５０６として検出する。
　すなわち、境界画素位置検出部である最遠方距離検出部２０４は、V-Disparity画像における直線５０１と距離データの位置とのずれに基づいて、境界画素位置５０６を検出する。最遠方距離検出部２０４は、この境界画素位置５０６における視差を距離に変換することによって、車両１１０の近傍領域Ｒ１における路面５０２の最遠方の距離を算出する。
　このように、最遠方距離である境界画素位置５０６よりも車両１１０に近い路面５０２の範囲は、路面推定結果すなわち路面５０２までの距離の信頼性が高い、車両１１０の近傍領域Ｒ１とみなすことができる。また、最遠方距離である境界画素位置５０６よりも車両１１０から遠い路面５０３の範囲は、路面推定結果すなわち路面５０３までの距離の信頼性が低い、車両１１０の遠方領域Ｒ２とみなすことができる。
　以上により、路面高さ推定部１１７は、視差画像取得部１１６が算出した視差に基づいて、車両１１０前方の路面５０２，５０３までの距離を算出し、路面５０２までの距離の信頼性が高い領域５０４と、路面５０３までの距離の信頼性が低い領域５０５との間の境界画素位置５０６を検出する。また、遠近境界距離設定部１１８は、境界画素位置５０６に基づいて近傍領域Ｒ１と遠方領域Ｒ２との間の境界Ｒｂを設定する。
　図６（ａ）は、遠方物体検出部１２０による処理を説明する右カメラ１１３の右画像である。図６（ｂ）は、遠方物体検出部１２０による処理を説明するV-Disparity画像である。
　遠方物体検出部１２０は、右カメラ１１３から出力された図６（ａ）に示す右画像と、最遠方距離検出部２０４から出力された遠近境界距離を示す境界画素位置５０６と、道路形状設定部２０１から出力された道路形状の画像領域である台形領域３０２を取得する。そして、遠方物体検出部１２０は、右画像上の遠方領域Ｒ２に先行車両の探索範囲６０１を設定する。
　遠方物体検出部１２０は、右カメラ１１３の右画像の境界Ｒｂにおける画素の縦方向の座標位置とV-Disparity画像の境界画素位置５０６との間の推定誤差αを用い、探索範囲６０１の縦方向の一端を境界画素位置５０６と推定誤差αとの和となる位置に設定する。すなわち、遠方物体検出部１２０は、探索範囲６０１の下端位置が、図６（ｂ）に示す路面推定結果の直線５０１の境界画素位置５０６における画像縦位置Ｖｅと推定誤差αとの和Ｖｅ＋αとなるように設定する。
　ここで、推定誤差αは、路面推定結果の境界画素位置５０６において想定される路面の画像縦位置の推定誤差を事前に設定した値である。なお、推定誤差αは、路面５０２が比較的平坦な高速道路において比較的小さく、路面５０２の勾配が多い一般道で比較的大きくなる傾向がある。したがって、車両１１０の走行状況に応じて、推定誤差αを逐次計算して変更するようにしてもよい。
　遠方物体検出部１２０は、右カメラ１１３の右画像の境界Ｒｂにおいて想定される最大高さの物体の画像縦幅Ｈを用い、探索範囲６０１の縦方向の他端を境界画素位置５０６から画像縦幅Ｈと推定誤差αを減じた位置に設定する。すなわち、遠方物体検出部１２０は、探索範囲６０１の上端位置が、境界画素位置５０６における画像縦位置Ｖｅから上述の値αと画像縦幅Ｈを減じたＶｅ－Ｈ－αとなるように設定する。ここで、画像縦幅Ｈは、境界画素位置５０６において想定される最大の車高を有する車両が画像上に投影されるときの画像縦幅である。
　遠方物体検出部１２０は、探索範囲６０１の左右端の位置を、境界画素位置５０６における道路形状の画像領域である台形領域３０２の左右端の位置に設定する。このようにして、遠方物体検出部１２０は、探索範囲６０１を、境界画素位置５０６以遠の車両が存在する可能性のある画像範囲に設定する。
　次に、遠方物体検出部１２０は、テンプレート６０２を探索範囲６０１の中で走査し、パタンマッチングを実施することによって、車両１１０から離れた遠方領域Ｒ２において、先行車両１０３を検出する。遠方物体検出部１２０は、パタンマッチングにおいて、先行車両１０３の画像の特徴を事前に学習しておき、その学習した特徴量とテンプレート６０２の画像の特徴量を比較する。そして、遠方物体検出部１２０は、特徴量の差が一定以下であれば車両らしいと判定し、そのテンプレートの位置において先行車両１０３を検出する。
　対象の先行車両１０３が存在する距離によって先行車両１０３が投影される画像上のサイズは異なる。そのため、遠方物体検出部１２０は、大きさの異なる複数のテンプレート６０２を用い、大きさの異なるテンプレート６０２の数だけ上記の探索による先行車両の検出処理を繰り返し実施する。このように、遠方物体検出部１２０は、車両１１０から離れた遠方領域Ｒ２においてのみ、右カメラ１１３から出力されたカメラ画像を用いた物体検出処理を実施する。
　図７（ａ）及び（ｂ）は、遠近物体統合部１２１による処理を説明する右カメラ１１３の右画像である。
　図７（ａ）に示すように、近傍物体検出部１１９によって先行車両１０２等の近傍物体の検出結果７０１が得られ、遠方物体検出部１２０によって先行車両１０３等の遠方物体の検出結果７０２，７０３が得られた場合に、遠近物体統合部１２１は、近傍物体および遠方物体の位置関係をチェックする。そして、遠近物体統合部１２１は、検出結果７０２，７０３のように、画像上で互いに重なっている検出物体について、距離が遠い方の物体を消去する。
　図７（ａ）に示す例では、遠近物体統合部１２１は、画像上で互いに重なっている検出結果７０２，７０３のうち、距離が遠い方の検出結果７０３を消去する。その結果、遠近物体統合部１２１は、図７（ｂ）に示すように、検出結果７０１，７０２を遠近物体として出力する。なお、遠近物体統合部１２１は、車両１１０の近傍の領域における検出結果と、車両１１０の遠方の領域における検出結果とが、画像上で互いに重なっている場合にも、距離が遠い方の検出結果を消去する。このように、検出結果である物体領域が画像上で重なっている場合において、距離が遠い物体を消去する理由は、距離の遠い側の物体は距離の近い側の物体によって遮蔽されて見えないはずであり、誤検出の可能性が高いためである。
　以下、本実施形態の物体検出装置１００の作用について説明する。
　前記したように、例えば、前記特許文献１に記載された従来の物体検出装置では、距離画像に基づいて面を検出し、面に対応する画素群から、この面を基準とする所定の高さ以上の画素群である検出対象物体として検出するため、画素の少ない遠方の物体に対する誤検出や未検出が頻発する虞がある。これは、遠方の領域ではセンサから得られる情報量が、近傍の領域よりも少なくなっており、距離データの個数がわずかしか得られないことに加えて、センサから得られる距離の精度が低下するためである。
　このように、路面データの個数がわずかしか得られず、距離の精度が低下すると、遠方における物体の距離データと路面の距離データとの分離が困難となり、遠方領域において推定する路面の位置誤差が大きくなり、物体の誤検知や未検知が生じてしまう。例えば、路面の位置を実際より下側に推定することによって、路面の領域を物体として検出する（誤検出）現象や、路面の位置を実際より上側に推定することによって、路面上に物体が存在するのに検出しない（未検出）現象が生じてしまう。
　また、特許文献２に記載された従来の立体物検出装置では、路面上に存在する立体物認識の誤検出を低減できるとされているが、路面に存在する立体物を検出するために、事前に距離データを立体物と路面に分割しておく必要がある。このような距離データの分割は、距離データが減少する遠方の領域においては困難になる。遠方領域において立体物を正しく立体物として分割できなかった場合、物体の未検出を防ぐことができないことが懸念される。
　さらに、画像を探索して画像特徴量を比較評価する場合、画像サイズおよび画像の探索範囲が十分小さく絞れていない場合は、特許文献１のように距離データから物体を検出するのに比べて、処理時間が長くなってしまう傾向がある。とくに、近傍領域においては物体の画像サイズが大きくなり、画像上を探索する際の画像探索範囲も広くなるため、処理時間が特許文献１の方法に比べて大幅に長くなることが懸念される。
　これに対し、本実施形態の物体検出装置１００は、左右２つのカメラ１１２，１１３の各画像を照合して画素毎に視差を算出する視差画像取得部（視差取得部）１１６だけでなく、遠近境界距離設定部（遠近境界設定部）１１８を備えている。そして、この遠近境界距離設定部１１８によって、左右２つのカメラの一方の右カメラ１１３の単画像である右画像において車両１１０から近い近傍領域Ｒ１と車両１１０から遠い遠方領域Ｒ２との間の境界Ｒｂを設定する。そして、近傍物体検出部１１９によって視差に基づいて近傍領域Ｒ１の物体を検出するとともに、遠方物体検出部１２０によって右画像に基づいて遠方領域Ｒ２の物体を検出している。
　これにより、物体検出装置１００は、距離データによる物体の検出が困難な画素の少ない遠方領域Ｒ２の物体を、距離データによらず右カメラ１１３の右画像に基づいて正確に検出することができる。したがって、本実施形態の物体検出装置１００によれば、遠方領域Ｒ２における物体の誤検出や未検出の発生を抑制し、車両１１０の遠方においても正確に物体を検出することができる。また、視差に基づく距離データから物体を検出する際の処理対象を近傍領域Ｒ１に絞ることができ、データ処理量を減少させ、処理時間を短縮することができる。
　また、本実施形態の物体検出装置１００は、視差に基づいて車両１１０前方の路面までの距離を算出し、該距離の信頼性が高い領域と、該距離の信頼性が低い領域との間の境界画素位置５０６を検出する路面高さ推定部（路面推定部）１１７をさらに備えている。加えて、本実施形態の物体検出装置１００は、遠近境界距離設定部（遠近境界設定部）１１８が、境界画素位置５０６に基づいて境界Ｒｂを設定している。これにより、近傍領域Ｒ１における距離データの信頼性を高くし、近傍領域Ｒ１における物体の検出精度を向上させることができる。
　また、路面高さ推定部１１７は、仮想平面設定部２０２と、直線検出部２０３と、最遠方距離検出部（境界画素位置検出部）２０４とを備えている。仮想平面設定部２０２は、前記したV-Disparity画像を出力し、直線検出部２０３は、V-Disparity画像において最も支配的な直線５０１を検出する。そして、最遠方距離検出部２０４は、V-Disparity画像における直線５０１と距離データの位置とのずれに基づいて、境界画素位置５０６を検出している。これにより、路面高さ推定部１１７によって、路面までの距離の信頼性が高い領域５０４と、該距離の信頼性が低い領域５０５との間の境界画素位置５０６を検出することができる。
　また、遠方物体検出部１２０は、右画像上の遠方領域Ｒ２に探索範囲６０１を設定し、該探索範囲６０１内でテンプレート６０２を走査させ、パタンマッチングによって遠方領域Ｒ２の物体を検出する。これにより、遠方領域Ｒ２において、距離データによらず、右画像に基づいて正確に物体を検出することができる。
　また、遠方物体検出部１２０は、右画像の境界Ｒｂにおける画素の縦方向の座標位置とV-Disparity画像の境界画素位置５０６との間の推定誤差αを用い、探索範囲６０１の縦方向の下端を境界画素位置５０６と推定誤差αとの和となる位置に設定している。これにより、推定誤差αを考慮したより適切な範囲に探索範囲６０１を設定することができる。
　また、遠方物体検出部１２０は、右画像の境界Ｒｂにおいて想定される最大高さの物体の画像縦幅Ｈを用い、探索範囲６０１の縦方向の上端を境界画素位置５０６から画像縦幅Ｈと推定誤差αを減じた位置に設定している。これにより、推定誤差α及び画像縦幅Ｈを考慮したより適切な範囲に探索範囲６０１を設定することができる。
　また、本実施形態の物体検出装置１００は、右画像を用いて車両１１０前方の道路形状を設定する道路形状設定部２０１を備えている。そして、遠方物体検出部１２０は、探索範囲６０１の左右端の位置を道路形状の画像領域の左右端の位置に設定している。これにより、探索範囲６０１をさらに絞り込み、処理時間を短縮することができる。
　また、遠方物体検出部１２０は、大きさの異なる複数のテンプレート６０２を用いて繰り返し探索範囲６０１を走査している。これにより、遠方領域Ｒ２内で車両１１０に近い先行車両から、車両１１０から遠い先行車両まで、漏れなく検出することができる。
　また、本実施形態の物体検出装置１００は、右画像上に表示された互いに重なっている物体の検出結果７０２，７０３のうち、距離が遠い方の物体の検出結果７０３を消去する遠近物体統合部１２１を備えている。これにより、誤検出によって検出された可能性の高い検出結果７０３を消去し、誤検出を低減することができる。
　また、近傍物体検出部１１９は、右画像の近傍領域Ｒ１の画素毎に算出した視差が各画素に格納された視差画像を用い、視差画像の各画素の視差である距離データが、奥行方向及び横方向に連続した一群の距離データを、視差画像から抽出することで、近傍領域Ｒ１の物体を検出している。これにより、近傍物体検出部１１９は、視差に基づいて近傍領域Ｒ１の物体を正確に検出することができる。
　以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
　例えば、前述の実施形態では、物体検出装置によって遠方の先行車両を検出する例を説明したが、本発明の物体検出装置は、先行車両の検出以外にも、歩行者や、その他の障害物を検出する場合にも適用できる。
　また、前述の実施形態では、ステレオカメラ装置を使用する例を説明したが、ステレオカメラ以外にも、単眼カメラとレーザレーダ、単眼カメラとミリ波レーダ等、画像情報と距離情報がセンサ出力値として得られるセンサ構成にも適用できる。
　また、前述の実施形態では、物体検出装置によって路面上に存在する先行車両を検出して走行制御を行う自動車向け運転支援装置の例について説明したが、本発明は、自動車向け運転支援装置以外にも、海上の障害物を検出する船舶向けの周辺監視装置および運転支援装置、又は地平面上の障害物を検出する航空機向けの周辺監視装置および運転支援装置などにも適用できる。
　また、前述の実施形態では、車両から離れた遠方領域においては、カメラの右画像のみを用いて物体検出を行っているが、右画像又は左画像と視差画像を併用して物体を検出してもよい。
　　１００　物体検出装置
　　１０１　路面
　　１０２，１０３　先行車両（物体）
　　１０４　ガードレール（物体）
　　１１０　車両
　　１１２　左カメラ（カメラ）
　　１１３　右カメラ（カメラ）
　　１１６　視差画像取得部（視差取得部）
　　１１７　路面高さ推定部（路面推定部）
　　１１８　遠近境界距離設定部（遠近境界設定部）
　　１１９　近傍物体検出部
　　１２０　遠方物体検出部
　　１２１　遠近物体統合部
　　１２２　走行制御部
　　２０１　道路形状設定部
　　２０２　仮想平面設定部
　　２０３　直線検出部
　　２０４　最遠方距離検出部（境界画素位置検出部）
　　３０２　台形領域（道路形状）
　　３０３　カーブ領域（道路形状）
　　４００，４０１　路面
　　５０２，５０３　路面
　　５０４　距離の信頼性が高い領域
　　５０５　距離の信頼性が低い領域
　　５０６　境界画素位置
　　６０１　探索範囲
　　６０２　テンプレート
　　Ｈ　画像縦幅
　　Ｒ１　近傍領域
　　Ｒ２　遠方領域
　　Ｒｂ　境界
　　α　推定誤差

Claims (10)

  1. 　２つのカメラの画像に基づいて車両前方の物体を検出する物体検出装置であって、
    　前記２つのカメラの各画像を照合して画素毎に視差を算出する視差取得部と、
    　前記２つのカメラの一方の単画像において、前記車両から近い近傍領域と前記車両から遠い遠方領域との間の境界を設定する遠近境界設定部と、
    　前記視差に基づいて前記近傍領域の物体を検出する近傍物体検出部と、
    　前記単画像に基づいて前記遠方領域の物体を検出する遠方物体検出部と、
    　を備えることを特徴とする物体検出装置。
  2. 　前記視差に基づいて前記車両前方の路面までの距離を算出し、該距離の信頼性が高い領域と、該距離の信頼性が低い領域との間の境界画素位置を検出する路面推定部をさらに備え、
    　前記遠近境界設定部は、前記境界画素位置に基づいて前記境界を設定することを特徴とする請求項１に記載の物体検出装置。
  3. 　前記路面推定部は、
    　横軸を前記視差、縦軸を前記単画像の各画素の縦方向の座標位置とする仮想平面に、前記単画像の各画素に対応する前記視差及び前記座標位置のデータを投影したV-Disparity画像を出力する仮想平面設定部と、
    　前記V-Disparity画像において最も支配的な直線を検出する直線検出部と、
    　前記V-Disparity画像における前記直線と前記データの位置とのずれに基づいて、前記境界画素位置を検出する境界画素位置検出部と、
    　を備えることを特徴とする請求項２に記載の物体検出装置。
  4. 　前記遠方物体検出部は、前記単画像上の前記遠方領域に探索範囲を設定し、該探索範囲内でテンプレートを走査させ、パタンマッチングによって前記遠方領域の物体を検出することを特徴とする請求項３に記載の物体検出装置。
  5. 　前記遠方物体検出部は、前記単画像の前記境界における画素の縦方向の座標位置と前記V-Disparity画像の前記境界画素位置との間の推定誤差を用い、前記探索範囲の縦方向の一端を前記境界画素位置と前記推定誤差との和となる位置に設定することを特徴とする請求項４に記載の物体検出装置。
  6. 　前記遠方物体検出部は、前記単画像の前記境界において想定される最大高さの物体の画像縦幅を用い、前記探索範囲の縦方向の他端を前記境界画素位置から前記画像縦幅と前記推定誤差を減じた位置に設定することを特徴とする請求項５に記載の物体検出装置。
  7. 　前記単画像を用いて前記車両前方の道路形状を設定する道路形状設定部をさらに備え、
    　前記遠方物体検出部は、前記探索範囲の左右端の位置を前記道路形状の画像領域の左右端の位置に設定することを特徴とする請求項４に記載の物体検出装置。
  8. 　前記遠方物体検出部は、大きさの異なる複数の前記テンプレートを用いて繰り返し前記探索範囲を走査することを特徴とする請求項４に記載の物体検出装置。
  9. 　前記単画像上に表示された互いに重なっている前記物体の検出結果のうち、距離が遠い方の物体の検出結果を消去する遠近物体統合部をさらに備えることを特徴とする請求項１に記載の物体検出装置。
  10. 　前記近傍物体検出部は、前記単画像の前記近傍領域の画素毎に算出した視差が各画素に格納された視差画像を用い、前記視差画像の各画素の前記視差である距離データが、奥行方向及び横方向に連続した一群の前記距離データを、前記視差画像から抽出することで、前記近傍領域の前記物体を検出することを特徴とする請求項１に記載の物体検出装置。
PCT/JP2015/071899 2014-08-26 2015-08-03 物体検出装置 WO2016031494A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/500,814 US10140526B2 (en) 2014-08-26 2015-08-03 Object detecting device
EP15835840.8A EP3188118B1 (en) 2014-08-26 2015-08-03 Object detecting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-171960 2014-08-26
JP2014171960A JP6440411B2 (ja) 2014-08-26 2014-08-26 物体検出装置

Publications (1)

Publication Number Publication Date
WO2016031494A1 true WO2016031494A1 (ja) 2016-03-03

Family

ID=55399395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/071899 WO2016031494A1 (ja) 2014-08-26 2015-08-03 物体検出装置

Country Status (4)

Country Link
US (1) US10140526B2 (ja)
EP (1) EP3188118B1 (ja)
JP (1) JP6440411B2 (ja)
WO (1) WO2016031494A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3282389A1 (en) * 2016-08-09 2018-02-14 Ricoh Company, Ltd. Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JPWO2017154389A1 (ja) * 2016-03-10 2019-02-28 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6406289B2 (ja) * 2016-03-14 2018-10-17 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
US20170309181A1 (en) * 2016-04-26 2017-10-26 Hyundai Motor Company Apparatus for recognizing following vehicle and method thereof
JP6733302B2 (ja) * 2016-05-17 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6763198B2 (ja) * 2016-05-25 2020-09-30 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9928426B1 (en) * 2016-09-16 2018-03-27 Hong Kong Applied Science and Technology Research Institute Company Limited Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
JP7206583B2 (ja) * 2016-11-25 2023-01-18 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP2018136803A (ja) * 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
JP7031157B2 (ja) * 2017-07-18 2022-03-08 日産自動車株式会社 物体検出方法及び物体検出装置
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
CN107977649B (zh) * 2017-12-21 2020-02-07 海信集团有限公司 一种障碍物识别方法、装置及终端
WO2019188389A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7210906B2 (ja) * 2018-05-31 2023-01-24 株式会社デンソー 車両の自動運転制御装置及びプログラム
CN110927724B (zh) * 2019-11-11 2020-11-27 中国地质环境监测院 毫米波雷达泥石流智能监测系统与方法
US20230104858A1 (en) * 2020-03-19 2023-04-06 Nec Corporation Image generation apparatus, image generation method, and non-transitory computer-readable medium
JP7380443B2 (ja) * 2020-06-22 2023-11-15 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム
CN113506264B (zh) * 2021-07-07 2023-08-29 北京航空航天大学 道路车辆数识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229226A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 物体検出装置及び物体検出方法
JP2013134780A (ja) * 2011-12-22 2013-07-08 Ricoh Co Ltd 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置
JP2013161187A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862357A (en) * 1987-01-28 1989-08-29 Systemone Holdings, Inc. Computer reservation system with means to rank travel itineraries chosen in terms of schedule/fare data
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2013140515A (ja) 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
CN103679127B (zh) 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229226A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 物体検出装置及び物体検出方法
JP2013134780A (ja) * 2011-12-22 2013-07-08 Ricoh Co Ltd 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置
JP2013161187A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
JP2014110059A (ja) * 2012-12-04 2014-06-12 Ricoh Co Ltd 路面検知方法及び路面検知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3188118A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017154389A1 (ja) * 2016-03-10 2019-02-28 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3282389A1 (en) * 2016-08-09 2018-02-14 Ricoh Company, Ltd. Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备

Also Published As

Publication number Publication date
US20170220877A1 (en) 2017-08-03
EP3188118A4 (en) 2018-04-04
US10140526B2 (en) 2018-11-27
JP6440411B2 (ja) 2018-12-19
JP2016045891A (ja) 2016-04-04
EP3188118B1 (en) 2021-12-15
EP3188118A1 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6440411B2 (ja) 物体検出装置
US10755116B2 (en) Image processing apparatus, imaging apparatus, and device control system
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
CN108351207B (zh) 立体相机装置
JP5407898B2 (ja) 対象物検出装置及びプログラム
US20130335569A1 (en) Vehicle with improved traffic-object position detection
JP6208260B2 (ja) 物体認識装置
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
JP2018200267A (ja) 上方構造物判定装置及び運転支援システム
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JP2018060422A (ja) 物体検出装置
KR20190059894A (ko) 카메라 영상에서 대상의 감지
JP6815963B2 (ja) 車両用外界認識装置
JP7071154B2 (ja) 道路境界検出装置
US11443619B2 (en) Vehicle recognition apparatus and vehicle recognition method
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
JP7134780B2 (ja) ステレオカメラ装置
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
CN112400094A (zh) 物体探测装置
JP2013007748A (ja) 測距装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15835840

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15500814

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015835840

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015835840

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE