WO2018030010A1 - 路面推定装置、車両制御装置、路面推定方法、およびプログラム - Google Patents

路面推定装置、車両制御装置、路面推定方法、およびプログラム Download PDF

Info

Publication number
WO2018030010A1
WO2018030010A1 PCT/JP2017/023467 JP2017023467W WO2018030010A1 WO 2018030010 A1 WO2018030010 A1 WO 2018030010A1 JP 2017023467 W JP2017023467 W JP 2017023467W WO 2018030010 A1 WO2018030010 A1 WO 2018030010A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
unit
vehicle
estimated
dimensional measurement
Prior art date
Application number
PCT/JP2017/023467
Other languages
English (en)
French (fr)
Inventor
崇文 徳弘
賢 福本
山根　一郎
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201780048046.2A priority Critical patent/CN109564682A/zh
Priority to DE112017004047.7T priority patent/DE112017004047T5/de
Publication of WO2018030010A1 publication Critical patent/WO2018030010A1/ja
Priority to US16/254,876 priority patent/US20190152487A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B60G2400/821—Uneven, rough road sensing affecting vehicle body vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14—Photo or light sensitive means, e.g. Infrared
    • B60G2401/142—Visual Display Camera, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/22—Suspension systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to a road surface estimation device, a vehicle control device, a road surface estimation method, and a program.
  • Detecting road surfaces is an important theme in research on image processing technology for in-vehicle stereo cameras. This is because by detecting the road surface with high accuracy, it is possible to more efficiently perform a search for a travelable route and recognize an obstacle such as a passerby or a car.
  • This disclosure provides a road surface estimation device having improved detection accuracy.
  • the road surface estimation device includes a space measurement unit, a filter unit, and a road surface estimation unit.
  • the spatial measurement unit measures a plurality of three-dimensional measurement points on the road surface based on an image input from a stereo camera or a camera capable of three-dimensional measurement.
  • the filter unit obtains road surface candidate points by filtering a plurality of three-dimensional measurement points based on a road surface model created based on map information.
  • the road surface estimation unit estimates the road surface based on the road surface candidate points.
  • the vehicle control device includes a road surface estimation device according to the present disclosure and a control unit that controls the mounted vehicle.
  • the control unit controls the vehicle according to the estimated road surface estimated by the road surface estimation device.
  • a road surface estimation device having improved detection accuracy can be provided.
  • FIG. 1 is a block diagram of a road surface estimation apparatus according to the first embodiment.
  • FIG. 2 is an explanatory diagram of coordinate conversion between the xyz coordinate system and the uv-disparity coordinate system.
  • FIG. 3 is a projection view of a road surface model and a three-dimensional measurement point on the yz plane in the xyz coordinate system.
  • FIG. 4 is an operation flowchart of the road surface estimation apparatus according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a hardware configuration of the computer 2100.
  • FIG. 1 is a block diagram of a vehicle control device 200 according to the first embodiment.
  • the vehicle control device 200 is connected to an external photographing unit 110, and includes a road surface estimation device 100 and a vehicle control unit 160.
  • the imaging unit 110 may be included in the road surface estimation device 100 or the vehicle control unit 160.
  • the road surface estimation apparatus 100 estimates the shape of the road surface, and includes a space measurement unit 120, a road surface model creation unit 130, a filter unit 140, and a road surface estimation unit 150.
  • the imaging unit 110 captures an image in front of the host vehicle.
  • the imaging unit 110 is a stereo camera having a left camera and a right camera.
  • the imaging unit 110 is a camera capable of three-dimensional measurement, such as a TOF (Time Of Flight) camera.
  • TOF Time Of Flight
  • the space measurement unit 120 receives a left image and a right image obtained by photographing the same object from two cameras, a left camera and a right camera, from the photographing unit 110, and from these images, the three-dimensional position of the same object is obtained. Measure.
  • FIG. 2 is an explanatory diagram of coordinate conversion between the xyz coordinate system and the uv-disparity coordinate system.
  • the position P of the object is reflected in the position Q of the left image 112 and is reflected in the position R of the right image 114.
  • the y-axis and the v-axis extend in the depth direction of the page, and the u-axis and the v-axis extend in the left-right direction and the up-down direction in the left image 112 and the right image 114, respectively.
  • U-v coordinate value of the right image 114 of the position R (u r, v r) corresponds to the x-y coordinate value of the position R around the focal point O of the right camera (u r, v r).
  • Q ′ is an xy coordinate value (u l , v l centered on O). ). Focusing on the triangle OPS, the following equation (1) is derived.
  • the three-dimensional measurement point of the object is represented by using either the xyz coordinate system or the uv-disparity coordinate system.
  • the space measurement unit 120 detects the same object from the left image and the right image, and outputs a three-dimensional measurement point of the same object. For example, in order to detect the same object, disparity information such as a disparity map obtained by mapping disparity in a portion corresponding to the pixel is used for each pixel of the left image or the right image. For example, a parallax map is acquired using SGM.
  • the imaging unit 110 is a camera that can directly perform 3D measurement
  • the space measurement unit 120 outputs the result of the 3D measurement performed by the imaging unit 110 as a 3D measurement point as it is. Good.
  • FIG. 3 is a projection view of the road surface model 210 and the three-dimensional measurement points on the yz plane in the xyz coordinate system.
  • the y-axis extends in the vertical direction
  • the z-axis extends in the vehicle front direction.
  • the three-dimensional measurement points have a distribution with a width as shown in FIG.
  • the filter unit 140 before the road surface estimation unit 150 estimates the estimated road surface, the filter unit 140 applies a filter to the set of three-dimensional measurement points output from the space measurement unit 120, and the three-dimensional Road surface candidate points included in the set of measurement points are acquired.
  • the filter unit 140 is different from the information of the three-dimensional measurement point, and applies a filter described later with reference to FIG. 3 based on the information representing the road surface.
  • the road surface estimation part 150 estimates a road surface based on a more accurate road surface candidate point, the precision of the estimated said road surface is also improved.
  • the road surface estimation unit 150 can estimate the road surface at a higher speed.
  • the road surface model creation unit 130 creates a road surface model 210 that is information representing the road surface shape.
  • the road surface model creating unit 130 creates a road surface model 210 represented by a plane or a curved surface in the three-dimensional space as information representing the road surface based on the information of the three-dimensional map and the position information of the host vehicle.
  • the road surface model creating unit 130 uses the information of the three-dimensional map and the position information of the host vehicle in the crossing direction of the road of the photographing unit 110. The inclination, the inclination in the longitudinal direction of the road, and the inclination in the photographing direction are detected.
  • the road surface model creation unit 130 receives inclination information from an inclination sensor that detects the inclination of the host vehicle, and based on the input inclination information, the inclination of the photographing unit 110 in the transverse direction of the road and the longitudinal direction of the road And the tilt in the shooting direction may be detected.
  • the information on the three-dimensional map is, for example, information indicating the vertical gradient of the road, information indicating the crossing gradient of the road, information indicating the width of the road, and is generally more accurate than the map information used in a car navigation system. It is preferable that The width information of the road may include a right width that is a right width from the center line of the road and a left width that is a left width from the center line.
  • the road surface model creation unit 130 generates a road surface model 210 represented by a two-dimensional curved surface on the basis of the shooting direction of the shooting unit 110 based on the information of the three-dimensional map and the position information of the host vehicle.
  • the road surface model creation unit 130 creates the road surface model 210 within the range of the road width, but outside the range of the road width, the road surface model creation unit 130 creates the road surface model 210 by extending the cross slope of the road. Also good.
  • the filter unit 140 receives the road surface model 210 created by the road surface model creation unit 130. Next, based on the road surface model 210, the filter unit 140 determines a filter that is used to determine whether to adopt a three-dimensional measurement point as a road surface candidate point or to remove it as an outlier candidate point.
  • the filter is characterized by a range defined by the filter width, which is the normal width from the road surface model 210. For example, as shown in FIG. 3, the filter is characterized by a range defined by a filter width upper limit 220 and a filter width lower limit 230.
  • the filter unit 140 changes the filter width according to the error characteristics of the imaging unit 110.
  • the imaging unit 110 is a stereo camera
  • an error proportional to the square of the distance from the imaging unit 110 is mixed in the three-dimensional measurement point measured by the space measurement unit 120. That is, as the object is farther from the imaging unit 110, a larger error is mixed in the three-dimensional measurement point. Therefore, for example, as shown in FIG. 3, distant points are excessively excluded by changing the width according to the distance from the imaging unit 110 so that the filter width increases as the distance from the imaging unit 110 increases. Can be suppressed.
  • the change of the filter width is not limited to the change of the filter width continuously according to the distance from the photographing unit 110 as shown in FIG.
  • the filter width is set to 10 cm for distances less than 10 m, and the filter width is set to 30 cm for distances of 10 m or more, so that the filter width is increased in steps according to the distance from the imaging unit 110. May be.
  • the road surface model 210 is input from the road surface model creation unit 130, and the filter unit 140 filters the three-dimensional measurement points input from the space measurement unit 120 to acquire road surface candidate points.
  • a three-dimensional measurement point 240 inside the range defined by the filter width upper limit 220 and the filter width lower limit 230 is adopted as a road surface candidate point, and outside the range. 3D measurement points 250 are excluded as candidate points.
  • the road surface estimation unit 150 estimates the road surface based on the road surface candidate points output from the filter unit 140. As described above, the farther the object is from the imaging unit 110, the larger the error is mixed in the three-dimensional measurement point. Here, the further away the object is from the imaging unit 110, the larger the z coordinate value and the smaller the disparity coordinate value (parallax value). On the other hand, the closer the object is to the imaging unit 110, the smaller the z coordinate value and the greater the disparity coordinate value (parallax value). Therefore, as an example, the road surface estimation unit 150 estimates a road surface from a large disparity coordinate value with less error to a three-dimensional measurement point toward a small disparity coordinate value.
  • the space is divided into a plurality of sections in the direction of the disparity coordinate axis, and the following formula (5) is applied in the order of the adjacent sections starting from the section corresponding to the large disparity value.
  • the parameters a 0 to a 4 that minimize the error from the road surface candidate points included in the section can be obtained using, for example, the least square method.
  • the road surface estimation unit 150 estimates the road surface by connecting the quadric surfaces defined by these parameters.
  • the road surface estimation unit 150 In the estimated road surface that is the road surface estimated by the road surface estimation unit 150, a road surface that is not represented in the 3D map information used for the estimation is also estimated. Therefore, it is possible to obtain an estimated road surface that is more faithful to the actual road surface than in the case where the road surface is estimated based only on the map information.
  • the vehicle control unit 160 controls the vehicle based on the estimated road surface. For example, the vehicle control unit 160 avoids an obstacle based on an input from a recognition unit (not shown) that recognizes an obstacle ahead of the vehicle based on the estimated road surface and the three-dimensional measurement point output from the space measurement unit 120. Control your vehicle to take action. Further, for example, the surface of the estimated road surface may be uneven due to a reason that the road is an unpaved road, the road is under construction, or the road has a step or a depression. In such a case, the vehicle control unit 160 controls the host vehicle so as to reduce the speed of the vehicle, for example, or to adjust the suspension stiffness, for example, to absorb the shock.
  • the vehicle control unit 160 can control the host vehicle in accordance with the state of the road surface where the host vehicle will pass. Therefore, more flexible control is possible than in the case of controlling based on actual vibration of the host vehicle, and the ride comfort of the host vehicle can be improved. Further, by subtracting a point group corresponding to the road surface (for example, a road surface candidate point group output from the filter unit 140) from the three-dimensional measurement point group output by the space measurement unit 120, the above-described recognition unit is allowed to output 3 points other than the road surface. Dimensional objects can be extracted. By extracting a three-dimensional object other than the road surface, the road surface estimation apparatus 100 can also be applied to the purpose of a travelable route search and obstacle recognition.
  • FIG. 4 is an operation flowchart of the road surface estimation apparatus 100.
  • the road surface model creation unit 130 creates a road surface model 210 from the map information (step S1100).
  • the space measurement unit 120 measures the space ahead of the host vehicle based on the image captured by the imaging unit 110 (step S1200).
  • the filter unit 140 filters the three-dimensional measurement points output from the space measurement unit 120 to obtain road surface candidate points (step S1300).
  • the road surface estimation unit 150 estimates the road surface using the road surface candidate points (step S1400).
  • the vehicle control unit 160 controls the host vehicle (step S1500).
  • the road surface model creation unit 130 creates a road surface model 210 for each frame of an image photographed by the photographing unit 110, the space measurement unit 120 measures the space ahead of the host vehicle, and the filter unit 140 performs a three-dimensional measurement point.
  • the road surface estimation unit 150 estimates the road surface. In this way, even for a distant point of the image capturing unit 110 whose accuracy of estimation of the three-dimensional measurement point is low compared to a point near the image capturing unit 110, as the host vehicle travels and approaches the distant point, the 3 The accuracy of the estimation of the dimension measurement point can be increased.
  • FIG. 5 is a diagram illustrating an example of a hardware configuration of a computer 2100 that constructs the road surface estimation device 100 and the vehicle control device 200 of FIG. The function of each part in each embodiment and each modification described above is realized by a program executed by the computer 2100.
  • a computer 2100 includes an input device 2101, an output device 2102, a CPU (Central Processing Unit) 2103, a ROM (Read Only Memory) 2104, a RAM (Random Access Memory) 2105, a storage device 2106, and a reading device 2107. And a transmission / reception device 2108.
  • the input device 2101 is, for example, an input button or a touch pad.
  • the output device 2102 is, for example, a display or a speaker.
  • the storage device 2106 is, for example, a hard disk device or an SSD (Solid State Drive).
  • the reader 2107 reads information from a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory.
  • the transmission / reception device 2108 performs communication via a network. Each unit described above is connected by a bus 2109.
  • the reading device 2107 reads the program from a recording medium on which a program for realizing the functions of the above-described units is recorded, and stores the program in the storage device 2106.
  • the transmission / reception device 2108 communicates with the server device connected to the network, and causes the storage device 2106 to store a program for realizing the function of each unit downloaded from the server device.
  • the CPU 2103 copies the program stored in the storage device 2106 to the RAM 2105, and sequentially reads out and executes the instructions included in the program from the RAM 2105, thereby realizing the functions of the above-described units. Further, when executing the program, the RAM 2105 or the storage device 2106 stores information obtained by various processes described in each embodiment, and is used as appropriate.
  • the road surface estimation device is suitable for estimating a road surface from an image captured by a stereo camera or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

路面推定装置は、空間計測部と、フィルタ部と、路面推定部と、を有する。空間計測部は、ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する。フィルタ部は、地図の情報に基づいて作成された路面モデルに基づいて複数の３次元計測点にフィルタをかけて路面候補点を取得する。路面推定部は、路面候補点に基づいて路面を推定する。

Description

路面推定装置、車両制御装置、路面推定方法、およびプログラム
　本開示は、路面推定装置、車両制御装置、路面推定方法、およびプログラムに関する。
　近年、コンピュータの処理能力の向上に伴い、カメラによって撮影された画像から、コンピュータを用いて道路形状等を推定する装置が考案されている。そのような装置の一例として、単眼カメラ画像より推定した道路形状と、デジタル道路地図の道路形状とを照合することにより、走行中の道路等の概略的な形状を推定する道路形状推定装置が提案されている（特許文献１参照）。
　車載ステレオカメラに関する画像処理技術の研究において、路面の検出は重要なテーマである。路面を精度良く検出することによって、走行可能経路の探索や、通行人や自動車等の障害物認識をより効率的に行うことが出来るからである。
特開２００１－３３１７８７号公報
　本開示は、改善された検出精度を有する路面推定装置を提供する。
　本開示に係る路面推定装置は、空間計測部と、フィルタ部と、路面推定部と、を有する。空間計測部は、ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する。フィルタ部は、地図の情報に基づいて作成された路面モデルに基づいて複数の３次元計測点にフィルタをかけて路面候補点を取得する。路面推定部は、路面候補点に基づいて路面を推定する。
　本開示に係る車両制御装置は、本開示に係る路面推定装置と、搭載された車両を制御する制御部と、を有する。制御部は、路面推定装置が推定した推定路面に応じて、車両を制御する。
　本開示によれば、改善された検出精度を有する路面推定装置を提供することができる。
図１は、第１の実施の形態に係る路面推定装置のブロック図である。 図２は、ｘ－ｙ－ｚ座標系とｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。 図３は、ｘ－ｙ－ｚ座標系におけるｙ－ｚ平面への路面モデルおよび３次元計測点の射影図である。 図４は、第１の実施の形態に係る路面推定装置の動作フローチャートである。 図５は、コンピュータ２１００のハードウェア構成の一例を示す図である。
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。一般に、路面には段差や窪みがある。路面の段差や窪み等の立体的形状をレーザー光の照射等を行わない受動型３次元計測によって特定するためには、２以上のカメラ（ステレオカメラ）によって撮影された、視差を含む複数の画像を用いる必要がある。近年、大域マッチング方法であるＳｅｍｉ－Ｇｌｏｂａｌ　Ｍａｔｃｈｉｎｇ（ＳＧＭ）等の技術が開発され、ステレオカメラの画像から、路面上の白線等のエッジ情報を用いることなく路面情報を３次元空間内の点群として得ることができるようになった。しかしながら、ＳＧＭを用いて得られた点群には誤差が混入する。当該誤差のために、本来路面上に分布するはずの点群が、路面の上下方向に幅をもって分布してしまう。その結果、点群から路面の立体的形状を精度良く推定することができないという問題があった。
　以下、本開示の実施の形態について、図面を参照しながら説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。
　（第１の実施の形態）
　図１は、第１の実施の形態に係る車両制御装置２００のブロック図である。
　車両制御装置２００は、外部の撮影部１１０と接続されるとともに、路面推定装置１００及び車両制御部１６０を有する。なお、撮影部１１０は、路面推定装置１００または車両制御部１６０が有してもよい。
　路面推定装置１００は、路面の形状を推定するものであり、空間計測部１２０、路面モデル作成部１３０、フィルタ部１４０、および路面推定部１５０を有する。
　撮影部１１０は、自車両の前方の画像を撮影する。撮影部１１０は、一例において、左側カメラおよび右側カメラを有するステレオカメラである。他の例において、撮影部１１０は、例えばＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ等の３次元計測が可能なカメラである。
　空間計測部１２０は、左側カメラおよび右側カメラの２台のカメラからそれぞれ同一対象物を撮影した左側画像および右側画像を撮影部１１０より入力され、それらの画像から、当該同一対象物の３次元位置を計測する。
　図２は、ｘ－ｙ－ｚ座標系とｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。図２において、対象物の位置Ｐが、左側画像１１２の位置Ｑに映っており、右側画像１１４の位置Ｒに映っている。図２において、ｙ軸およびｖ軸は、紙面の奥行き方向に延在し、ｕ軸およびｖ軸は、左側画像１１２および右側画像１１４において、それぞれ左右方向および上下方向に延在する。
　位置Ｑの左側画像１１２におけるｕ－ｖ座標値（ｕｌ，ｖｌ）は、左側カメラの焦点Ｏ’を中心とする位置Ｑのｘ－ｙ座標値（ｕｌ，ｖｌ）に一致する。位置Ｒの右側画像１１４におけるｕ－ｖ座標値（ｕｒ，ｖｒ）は、右側カメラの焦点Ｏを中心とする位置Ｒのｘ－ｙ座標値（ｕｒ，ｖｒ）に一致する。
　まず、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ－ｙ－ｚ座標値（ｘ，ｙ，ｚ）を、対象物の位置Ｐのｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。ここで、ｄ＝ｕｌ－ｕｒは視差（ｄｉｓｐａｒｉｔｙ）値を表す。
　線分Ｏ’Ｐを、Ｏを通るように平行移動した線分ＯＳと右側画像１１４との交点をＱ’とすると、Ｑ’はＯを中心とするｘ－ｙ座標値（ｕｌ，ｖｌ）を有する。三角形ＯＰＳに着目すると、次の式（１）が導かれる。
　ｘ：ｂ＝ｕｒ：ｄ　…　（１）
　ｙ座標（図２の奥行き方向）およびｚ座標についても同様の式が成立し、これらの式より、ｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）からｘ－ｙ－ｚ座標値（ｘ，ｙ，ｚ）への変換式である次の式（２）が導かれる。
Figure JPOXMLDOC01-appb-M000001
　次に、対象物の位置Ｐのｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）を、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ－ｙ－ｚ座標値（ｘ，ｙ，ｚ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。図２より、次の式（３）が導かれる。
　ｘ：ｕｒ＝ｙ：ｖｒ＝ｚ：ｆ　…　（３）
　式（３）より、ｘ－ｙ－ｚ座標値（ｘ，ｙ，ｚ）からｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）への変換式である次の式（４）が導かれる。
Figure JPOXMLDOC01-appb-M000002
　このように、対象物の３次元計測点は、ｘ－ｙ－ｚ座標系およびｕ－ｖ－ｄｉｓｐａｒｉｔｙ座標系のいずれを用いても表されることに留意する。
　空間計測部１２０は、左側画像および右側画像から同一対象物を検出し、当該同一対象物の３次元計測点を出力する。例えば、同一対象物を検出するために、左側画像または右側画像の各ピクセルに対して、当該ピクセルに対応する部分における視差をマッピングした視差マップ等の視差情報を用いる。例えば、ＳＧＭを用いて視差マップを取得する。なお、撮影部１１０が直接３次元計測を行うことが可能なカメラである場合、空間計測部１２０は、撮影部１１０が行った３次元計測の結果を、そのまま３次元計測点として出力してもよい。
　空間計測部１２０が出力する３次元計測点には、視差情報の誤差等に起因する誤差が混入する。図３はｘ－ｙ－ｚ座標系におけるｙ－ｚ平面への路面モデル２１０および３次元計測点の射影図である。ここで、ｙ軸は鉛直方向に延在し、ｚ軸は車両前方方向に延在する。３次元計測点は、図３に示すように幅を持った分布を有する。誤差が混入した３次元計測点に基づいて路面推定部１５０が路面を推定すると、推定された当該路面にも誤差が混入してしまう。
　そこで、第１の実施の形態においては、路面推定部１５０が推定路面を推定する前に、空間計測部１２０が出力する３次元計測点の集合に、フィルタ部１４０がフィルタをかけて、３次元計測点の集合に含まれる路面候補点を取得する。フィルタ部１４０は、当該３次元計測点の情報とは異なる情報であって、路面を表す情報に基づいて図３を参照して後述されるフィルタをかける。これにより、より精度の高い路面候補点に基づいて路面推定部１５０が路面を推定するので、推定された当該路面の精度も改善される。また、路面の推定に用いられる３次元計測点の個数が減少するので、路面推定部１５０は路面をより高速に推定することができる。
　路面モデル作成部１３０は、路面形状を表す情報である路面モデル２１０を作成する。一例において、路面モデル作成部１３０は、３次元地図の情報および自車両の位置情報に基づいて、路面を表す情報として３次元空間内の平面または曲面で表される路面モデル２１０を作成する。例えば、路面モデル作成部１３０は、３次元地図の座標系と撮影部１１０の座標系とを合わせるために、３次元地図の情報および自車両の位置情報から、撮影部１１０の道路の横断方向の傾き、道路の縦断方向の傾き、および撮影方向の傾きを検知する。また、路面モデル作成部１３０は、自車両の傾きを検知する傾きセンサからの傾き情報を入力され、入力された傾き情報に基づいて、撮影部１１０の道路の横断方向の傾き、道路の縦断方向の傾き、および撮影方向の傾きを検知してもよい。
　３次元地図の情報は、例えば、道路の縦断勾配を示す情報、道路の横断勾配を示す情報、道路の幅員を示す情報であり、一般的にカーナビゲーションシステムで用いられる地図の情報よりも高精度であることが好ましい。道路の幅員情報は、道路の中心線より右部分の幅員である右幅員、中心線より左部分の幅員である左幅員を含んでもよい。路面モデル作成部１３０は、３次元地図の情報および自車両の位置情報に基づいて、撮影部１１０の撮影方向を基準として、２次元曲面で表される路面モデル２１０を生成する。一例において、路面モデル作成部１３０は、道路の幅員の範囲内で路面モデル２１０を作成するが、道路の幅員の範囲外においては、道路の横断勾配を延長することにより路面モデル２１０を作成してもよい。
　フィルタ部１４０は、路面モデル作成部１３０が作成した路面モデル２１０を入力される。次いで、フィルタ部１４０は、路面モデル２１０に基づいて、３次元計測点を路面候補点として採用するか外れ候補点として除去するかを判定するために用いられるフィルタを決定する。一例において、フィルタは、路面モデル２１０からの法線方向の幅であるフィルタ幅によって画定される範囲によって特徴付けられる。例えば、図３に示されるように、フィルタはフィルタ幅上限２２０およびフィルタ幅下限２３０によって画定される範囲によって特徴付けられる。
　一例において、フィルタ部１４０は、撮影部１１０の誤差特性に応じて、フィルタ幅を変更する。撮影部１１０がステレオカメラである場合、空間計測部１２０が計測する３次元計測点には、撮影部１１０からの距離の２乗に比例した誤差が混入する。すなわち、対象物が撮影部１１０から遠くにあるほど、より大きい誤差が３次元計測点に混入する。したがって、例えば、図３に示されるように、撮影部１１０から離れるほどフィルタ幅を広げるように、撮影部１１０からの距離に応じて幅を変更することによって、遠方の点を過度に除外することを抑制することができる。また、フィルタ幅の変更は、図３に示されるように、撮影部１１０からの距離に応じて連続的に変更するものに限られない。例えば１０ｍ未満の距離に対してはフィルタ幅を１０ｃｍにし、１０ｍ以上の距離に対してはフィルタ幅を３０ｃｍにする等、撮影部１１０からの距離に応じてフィルタ幅がステップ状に広がるように変更してもよい。
　路面モデル作成部１３０から路面モデル２１０を入力されフィルタ部１４０は、空間計測部１２０から入力された３次元計測点にフィルタをかけて、路面候補点を取得する。図３においては、入力された３次元計測点のうち、フィルタ幅上限２２０およびフィルタ幅下限２３０によって画定される範囲の内側にある３次元計測点２４０を路面候補点として採用し、当該範囲の外側にある３次元計測点２５０を外れ候補点として除外する。
　路面推定部１５０は、フィルタ部１４０から出力された路面候補点に基づいて、路面を推定する。前述したとおり、対象物が撮影部１１０から遠くにあるほど、３次元計測点により大きい誤差が混入する。ここで、対象物が撮影部１１０から遠くにあるほど、ｚ座標値は大きくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は小さくなる。反対に、対象物が撮影部１１０から近くにあるほど、ｚ座標値は小さくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は大きくなる。したがって、一例として、路面推定部１５０は、３次元計測点への誤差の混入がより少ない、大きいｄｉｓｐａｒｉｔｙ座標値から、小さいｄｉｓｐａｒｉｔｙ座標値に向かって路面を推定する。
　例えば、ｄｉｓｐａｒｉｔｙ座標軸方向に空間を複数の区分に分割し、大きいｄｉｓｐａｒｉｔｙ値に対応する区分から始めて、隣接する区分の順に、次の式（５）
Figure JPOXMLDOC01-appb-M000003
で表される２次曲面を用いて、当該区分に含まれる路面候補点との誤差を最小化するパラメータａ０～ａ４を、例えば最小二乗法を用いて求めることができる。
　複数の区分の全てのパラメータａ０～ａ４を求めた後、路面推定部１５０は、それらのパラメータにより規定される２次曲面をつなぎ合わせることにより、路面を推定する。
　路面推定部１５０が推定した路面である推定路面においては、推定に用いた３次元地図情報においては表現されていない路面も推定される。したがって、地図情報のみに基づいて路面を推定する場合と比較して、より実際の路面に忠実な推定路面を取得することができる。
　車両制御部１６０は、推定路面に基づいて車両を制御する。例えば、車両制御部１６０は、推定路面および空間計測部１２０が出力した３次元計測点に基づいて車両前方の障害物を認識する認識部（図示せず）からの入力に基づき、障害物の回避行動をとるように、自車両を制御する。また、例えば道路が未舗装道路である、道路が工事中である、道路に段差や窪みがある等の理由により、推定路面の表面が凸凹している場合がある。そのような場合には、車両制御部１６０は、例えば車両の速度を減速するように、或いはサスペンションの堅さを例えば小さく調節して衝撃を吸収するように、自車両を制御する。推定路面に基づいて自車両を制御することにより、車両制御部１６０は、自車両がこれから通過する部分の路面の状態に併せて自車両を制御することができる。したがって、実際の自車両の振動に基づいて制御する場合と比較して、より柔軟な制御が可能となり、自車両の乗り心地をより良くすることができる。さらに、空間計測部１２０が出力した３次元計測点群から路面に相当する点群（例えばフィルタ部１４０から出力された路面候補点群）を差し引くことにより、前述の認識部は、路面以外の３次元物体を抽出することができる。路面以外の３次元物体を抽出することにより、路面推定装置１００は、走行可能経路探索や障害物認識の目的にも応用することができる。
　図４は、路面推定装置１００の動作フローチャートである。まず、路面モデル作成部１３０が地図情報から路面モデル２１０を作成する（ステップＳ１１００）。次いで、空間計測部１２０は、撮影部１１０が撮影した画像に基づいて自車両前方の空間を計測する（ステップＳ１２００）。ここで、ステップＳ１１００およびステップＳ１２００の順序は逆でも構わない。次いで、路面モデル作成部１３０が作成した路面モデル２１０を用いて、空間計測部１２０からが出力した３次元計測点にフィルタ部１４０がフィルタをかけて、路面候補点を取得する（ステップＳ１３００）。次いで、路面候補点を用いて、路面推定部１５０が路面を推定する（ステップＳ１４００）。次いで、路面推定部１５０が推定した推定路面に基づいて、車両制御部１６０が自車両を制御する（ステップＳ１５００）。
　一例において、撮影部１１０が撮影する画像のフレーム毎に、路面モデル作成部１３０が路面モデル２１０を作成し、空間計測部１２０が自車両前方の空間を計測し、フィルタ部１４０が３次元計測点にフィルタをかけ、路面推定部１５０が路面を推定する。こうすると、撮影部１１０の近くの点と比較して３次元計測点の推定の精度が低い撮影部１１０の遠くの点についても、自車両が走行して当該遠くの点に近づくにつれて、その３次元計測点の推定の精度を上げることができる。
　図５は、図１の路面推定装置１００及び車両制御装置２００を構築するコンピュータ２１００のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
　図５に示すように、コンピュータ２１００は、入力装置２１０１、出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５、記憶装置２１０６、読取装置２１０７、送受信装置２１０８を有する。入力装置２１０１は、例えば、入力ボタン、タッチパッドなどである。出力装置２１０２は、例えば、ディスプレイ、スピーカなどである。記憶装置２１０６は、例えば、ハードディスク装置、ＳＳＤ（Solid State Drive）などである。読取装置２１０７は、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。送受信装置２１０８は、ネットワークを介して通信を行う。上述した各部は、バス２１０９により接続される。
　そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
　そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
　本開示に係る路面推定装置は、ステレオカメラ等が撮影した画像から、路面を推定するのに好適である。
　１００　路面推定装置
　１１０　撮影部
　１１２　左側画像
　１１４　右側画像
　１２０　空間計測部
　１３０　路面モデル作成部
　１４０　フィルタ部
　１５０　路面推定部
　１６０　車両制御部（制御部）
　２００　車両制御装置
　２１０　路面モデル
　２２０　フィルタ幅上限
　２３０　フィルタ幅下限
　２４０　３次元計測点（路面候補点）
　２５０　３次元計測点（外れ候補点）
　２１００　コンピュータ
　２１０１　入力装置
　２１０２　出力装置
　２１０３　ＣＰＵ
　２１０４　ＲＯＭ
　２１０５　ＲＡＭ
　２１０６　記憶装置
　２１０７　読取装置
　２１０８　送受信装置
　２１０９　バス

Claims (11)

  1. 　ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部と、
    　地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部と、
    　前記路面候補点に基づいて路面を推定する路面推定部と、
    　を備える路面推定装置。
  2. 　前記フィルタ部は、前記路面モデルが表す平面または曲面からの法線方向の幅であるフィルタ幅によって画定される範囲の内側にある３次元計測点を前記路面候補点として採用し、前記範囲の外側にある３次元計測点を外れ候補点として除外する、請求項１に記載の路面推定装置。
  3. 　前記フィルタ部は、前記ステレオカメラからの距離に応じて前記フィルタ幅を変更する、請求項２に記載の路面推定装置。
  4. 　請求項１に記載の路面推定装置と、
    　車両を制御する制御部と、
    　を備え、
    　前記制御部は、前記路面推定装置が推定した路面である推定路面に応じて、前記車両を制御する、車両制御装置。
  5. 　請求項２に記載の路面推定装置と、
    　車両を制御する制御部と、
    　を備え、
    　前記制御部は、前記路面推定装置が推定した路面である推定路面に応じて、前記車両を制御する、車両制御装置。
  6. 　請求項３に記載の路面推定装置と、
    　車両を制御する制御部と、
    　を備え、
    　前記制御部は、前記路面推定装置が推定した路面である推定路面に応じて、前記車両を制御する、車両制御装置。
  7. 　請求項４に記載の路面推定装置と、
    　車両を制御する制御部と、
    　を備え、
    　前記制御部は、前記路面推定装置が推定した路面である推定路面に応じて、前記車両を制御する、車両制御装置。
  8. 　前記制御部は、前記推定路面に応じて、前記車両のサスペンションの堅さを調節する、請求項４に記載の車両制御装置。
  9. 　前記制御部は、前記推定路面に応じて、前記車両の速度を調節する、請求項４に記載の車両制御装置。
  10. 　ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
    　地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
    　前記路面候補点に基づいて路面を推定するステップと、
    　を有する路面推定方法。
  11. 　コンピュータに、
    　ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
    　地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
    　前記路面候補点に基づいて路面を推定するステップと、
    　を実行させるプログラム。
PCT/JP2017/023467 2016-08-12 2017-06-27 路面推定装置、車両制御装置、路面推定方法、およびプログラム WO2018030010A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780048046.2A CN109564682A (zh) 2016-08-12 2017-06-27 路面估计装置、车辆控制装置、路面估计方法以及程序
DE112017004047.7T DE112017004047T5 (de) 2016-08-12 2017-06-27 Straßenoberflächenabschätzungsvorrichtung, Fahrzeugsteuervorrichtung, Straßenoberflächenabschätzungsverfahren und Programm
US16/254,876 US20190152487A1 (en) 2016-08-12 2019-01-23 Road surface estimation device, vehicle control device, and road surface estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016158836A JP6712775B2 (ja) 2016-08-12 2016-08-12 路面推定装置、車両制御装置、路面推定方法、およびプログラム
JP2016-158836 2016-08-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/254,876 Continuation-In-Part US20190152487A1 (en) 2016-08-12 2019-01-23 Road surface estimation device, vehicle control device, and road surface estimation method

Publications (1)

Publication Number Publication Date
WO2018030010A1 true WO2018030010A1 (ja) 2018-02-15

Family

ID=61162083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023467 WO2018030010A1 (ja) 2016-08-12 2017-06-27 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Country Status (5)

Country Link
US (1) US20190152487A1 (ja)
JP (1) JP6712775B2 (ja)
CN (1) CN109564682A (ja)
DE (1) DE112017004047T5 (ja)
WO (1) WO2018030010A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005667A1 (en) * 2017-07-24 2019-01-03 Muhammad Zain Khawaja Ground Surface Estimation
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
CN110378293B (zh) * 2019-07-22 2021-02-23 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
US11164369B2 (en) 2019-12-20 2021-11-02 Argo AI, LLC Methods and systems for constructing map data using poisson surface reconstruction
CN112092563A (zh) * 2020-09-11 2020-12-18 广州小鹏汽车科技有限公司 车辆的控制方法、控制装置、车载终端和车辆
CN114261408B (zh) * 2022-01-10 2024-05-03 武汉路特斯汽车有限公司 一种可识别路况的自动驾驶方法、系统及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2014225220A (ja) * 2013-02-18 2014-12-04 株式会社リコー 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
CN104541128B (zh) * 2012-08-02 2017-10-17 丰田自动车株式会社 路面状态取得装置及悬架系统
CN103854008B (zh) * 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
US8788146B1 (en) * 2013-01-08 2014-07-22 Ford Global Technologies, Llc Adaptive active suspension system with road preview
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2014225220A (ja) * 2013-02-18 2014-12-04 株式会社リコー 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム

Also Published As

Publication number Publication date
DE112017004047T5 (de) 2019-04-25
CN109564682A (zh) 2019-04-02
JP2018026058A (ja) 2018-02-15
US20190152487A1 (en) 2019-05-23
JP6712775B2 (ja) 2020-06-24

Similar Documents

Publication Publication Date Title
WO2018030010A1 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
CN108520536B (zh) 一种视差图的生成方法、装置及终端
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US10762643B2 (en) Method for evaluating image data of a vehicle camera
CN107980138B (zh) 一种虚警障碍物检测方法及装置
WO2021196941A1 (zh) 三维目标检测方法及装置
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6350374B2 (ja) 路面検出装置
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
EP3545464A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
EP3633619B1 (en) Position detection apparatus and position detection method
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
JP2023164425A (ja) 三次元点群データ生成方法
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JPWO2017099199A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2011175572A (ja) 車線認識装置
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
JP7058128B2 (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839084

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17839084

Country of ref document: EP

Kind code of ref document: A1