WO2022264491A1 - センシング装置及び車両制御装置 - Google Patents

センシング装置及び車両制御装置 Download PDF

Info

Publication number
WO2022264491A1
WO2022264491A1 PCT/JP2022/004980 JP2022004980W WO2022264491A1 WO 2022264491 A1 WO2022264491 A1 WO 2022264491A1 JP 2022004980 W JP2022004980 W JP 2022004980W WO 2022264491 A1 WO2022264491 A1 WO 2022264491A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
imaging area
common imaging
vehicle
sensing device
Prior art date
Application number
PCT/JP2022/004980
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
秀行 粂
健人 緒方
英弘 豊田
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112022001741.4T priority Critical patent/DE112022001741T5/de
Priority to CN202280029045.4A priority patent/CN117177891A/zh
Publication of WO2022264491A1 publication Critical patent/WO2022264491A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to sensing devices and vehicle control devices.
  • In-vehicle cameras are becoming more prevalent for the purpose of driver support and autonomous driving, and multiple monocular cameras are sometimes installed to monitor the surroundings.
  • One of the things that in-vehicle cameras are required for in driver assistance and autonomous driving is distance measurement of objects.
  • Distance measurement of an object using a monocular camera assumes that the road surface is flat, and the distance corresponding to each pixel of the vehicle-mounted camera can be calculated from the relationship between the mounting state of the vehicle-mounted camera and the road surface.
  • the road surface has a slope
  • an error increases as the distance increases. Therefore, there is a need to reduce the effects of slope errors.
  • Patent Document 1 discloses a gradient estimation device based on an image captured by a camera, which includes a camera, a road contact position calculation unit, a range sensor, and a gradient estimation unit.
  • the road surface contact position calculation unit calculates the distance L2 to the road surface contact position of the object reflected in the captured image
  • the gradient estimation device uses the distance measuring sensor to calculate the distance to the object
  • the distance L1 is calculated
  • the gradient estimating unit calculates the intersection of the vertical line drawn from the position of the camera and the horizontal plane and the object based on the depression angle ⁇ of the camera, the distance L2, and the distance L1.
  • a gradient estimator is disclosed for estimating the gradient ⁇ of a straight line passing through a given point A1 shown.
  • Patent Document 1 assumes the use of an active laser range finding sensor, and if there is no sensor capable of range finding regardless of the slope, it is difficult to correct the distance.
  • an object of the present invention is to provide a sensing device that can accurately estimate the relative posture of the road surface and the vehicle.
  • a representative example of the invention disclosed in the present application is as follows. That is, a first common imaging area observation unit that observes a first area around the own vehicle from information on the common imaging area acquired by at least a first sensor and a second sensor having a common imaging area; a second common imaging area observation unit that observes a second area different from the first area from information on the common imaging area acquired by at least a third sensor and a fourth sensor having areas; and a coordinate integration unit that integrates the coordinates of the information observed in the first region and the second region, and the point cloud information calculated from the integrated coordinates, It is characterized by comprising each sensor including pitch angle and roll angle and a road surface estimation unit for estimating the relative attitude of the road surface.
  • FIG. 1 is a block diagram showing the configuration of a vehicle equipped with a sensing device according to an embodiment of the invention
  • FIG. It is a figure which shows an example of the relationship of a camera and a common imaging area. It is a figure which shows an example of a slope and a vehicle attitude
  • 4 is a functional block diagram of a distance estimation program executed by a CPU;
  • FIG. 4 is a schematic diagram showing processing of coordinate integration and road surface model matching;
  • 4 is a flowchart of processing executed by a first common imaging area observation unit;
  • FIG. 10 is a schematic diagram showing a modification of coordinate integration and road surface model matching processing of Modification 1; 10 is a flowchart of processing executed by a first common imaging area observation unit according to Modification 1;
  • FIG. 11 is a schematic diagram showing a further modification of the coordinate integration and road surface model matching processing of Modification 2;
  • FIG. 11 is a functional block diagram of a distance estimation program executed by a CPU of modification 2;
  • FIG. 11 is a block diagram showing a configuration of a vehicle equipped with a sensing device of Modification 3;
  • FIG. 12 is a diagram showing an example of the relationship between the camera of Modification 3 and the common imaging area;
  • FIG. 11 is a functional block diagram of a distance estimation program executed by a CPU of modification 3;
  • FIG. 1 An embodiment of the sensing device 101 according to the present invention will be described below with reference to FIGS. 1 to 13.
  • FIG. 1 is a diagrammatic representation of the sensing device 101 according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of a vehicle 100 equipped with a sensing device 101 according to an embodiment of the invention.
  • the sensing device 101 has cameras 121 to 124, a vehicle speed sensor 131, a steering angle sensor 132, a display device 161, and an in-vehicle processing device .
  • the cameras 121 to 124, the vehicle speed sensor 131, the steering angle sensor 132, and the display device 161 are connected to the in-vehicle processing unit 102 via signal lines, and exchange various data with the in-vehicle processing unit 102.
  • the cameras 121 to 124 are attached around the vehicle 100 and photograph the surroundings of the vehicle 100, although the details will be described later.
  • the imaging range of the cameras 121 to 124 includes the road surface on which the vehicle 100 travels.
  • the position/attitude relationship between the cameras 121 to 124 and the vehicle 100 is stored in the ROM 111 as camera parameter initial values 141 .
  • the cameras 121 to 124 each have a lens and an image pickup device, and internal parameters such as lens distortion coefficient, optical axis center, focal length, number of pixels of the image pickup device, and size of the image pickup device are also included in the camera. It is stored in the ROM 111 as the parameter initial value 141 .
  • the vehicle speed sensor 131 and steering angle sensor 132 respectively measure the vehicle speed and steering angle of the vehicle 100 on which the in-vehicle processing device 102 is mounted, and output them to the CPU 110 .
  • the in-vehicle processing unit 102 uses the outputs of the vehicle speed sensor 131 and the steering angle sensor 132 to calculate the amount and direction of movement of the vehicle 100 on which the in-vehicle processing unit 102 is mounted by a known dead reckoning technique.
  • the in-vehicle processing unit 102 includes a CPU 110 as a central processing unit, a ROM 111, and a RAM 112. All or part of the arithmetic processing may be performed by another arithmetic processing device such as an FPGA.
  • the CPU 110 operates as an execution unit of the in-vehicle processing device 102 by reading various programs and parameters from the ROM 111 and executing them.
  • the ROM 111 is a read-only storage area and stores the camera parameter initial values 141, the road surface model 142, and the distance estimation program 150.
  • the camera parameter initial value 141 is a numerical value that indicates the relationship between the positions and orientations of the cameras 121 to 124 and the vehicle 100 .
  • the cameras 121 to 124 are attached to the vehicle 100 in positions and orientations based on design, but errors in attachment are inevitable. Therefore, for example, when the vehicle 100 is shipped from the factory, calibration is performed using a predetermined test pattern or the like in the factory, and a correctly corrected value is calculated.
  • the camera parameter initial value 141 stores the relationship between the position and orientation that has been correctly corrected after execution of this calibration. It also stores correction values after calibration of internal parameters such as lens distortion coefficient, optical axis center, focal length, number of pixels and dimensions of the image pickup device, characteristics of the lens and image pickup device. It is
  • the road surface model 142 models the road surface gradient, digitizes the model type and its parameters, and stores them.
  • the road surface model 142 is used in calculating the road surface relative attitude 153 in the road surface relative attitude estimation program 143 in the distance estimation program 150 . Details of the road surface model 142 will be described later.
  • the distance estimation program 150 includes a road surface relative attitude estimation program 143, a common visual field distance measurement program 144, and a monocular distance measurement program 145, which will be described later. These programs are read from the ROM 111 , developed in the RAM 112 and executed by the CPU 110 .
  • the RAM 112 is a readable/writable storage area and operates as a main storage device of the in-vehicle processing device 102 .
  • the RAM 112 stores a first region observed value 151, a second region observed value 152, a road surface relative attitude 153, and an external parameter 154, which will be described later.
  • the first area observation value 151 is observation data that is observed by the common visual field distance measurement program 144 and includes the road surface and three-dimensional objects in the area observed in the common visual field of the cameras 121 and 122 .
  • the first region observation value 151 is obtained from the feature points of the common object including the road surface and three-dimensional objects in the common field of view, and the known relative relationship and internal parameters of the cameras 121 and 122 recorded in the camera parameter initial values 141. It calculates the distance between points and stores the three-dimensional coordinates calculated from the distance.
  • the first area observation value 151 is used in the road surface relative attitude estimation program 143 .
  • the second area observation value 152 is observed by the common visual field distance measurement program 144, has the same processing content as the first area observation value 151, and is the road surface and three-dimensional objects in the area observed in the common visual field of the cameras 123 and 124.
  • observational data including The second area observation value 152 is obtained from the feature points of the common object including the road surface and three-dimensional objects in the common field of view, and the known relative relationships and internal parameters of the cameras 123 and 124 recorded in the camera parameter initial values 141. It calculates the distance between points and stores the three-dimensional coordinates calculated from the distance.
  • the second area observation value 152 is used in the road surface relative attitude estimation program 143 .
  • the road surface relative attitude 153 is a parameter representing the relative attitude between the vehicle 100 and the road surface, and is obtained from the road surface relative attitude estimation program 143 .
  • the road surface relative attitude 153 is used to calculate external parameters 154 .
  • the extrinsic parameters 154 are the relationships between the positions and attitudes of the cameras 121 to 124 with the vehicle 100, including the road surface gradient and the attitude changes of the vehicle 100. Based on the extrinsic parameters of the camera parameter initial values 141 , it is calculated in the road surface relative attitude estimation program 143 and used in the monocular distance measurement program 145 .
  • FIG. 2 shows the vehicle 100, the cameras 121 to 124, the optical axis 201 of the camera 121, the optical axis 202 of the camera 122, the optical axis 203 of the camera 123, the optical axis 204 of the camera 124, the first common imaging area 211, and the second FIG. 3 is a diagram showing an example of a relationship of common imaging areas 212;
  • the camera 121 is mounted, for example, under the side mirror on the left side of the vehicle 100 in the direction of travel, so as to photograph the oblique rear of the vehicle 100, that is, the direction of the optical axis 201.
  • the camera 123 is mounted, for example, under the side mirror on the right side in the traveling direction of the vehicle 100 so as to photograph the oblique rear of the vehicle 100 , that is, the direction of the optical axis 203 .
  • the camera 122 is mounted, for example, in the vicinity of the C-pillar on the left side of the vehicle 100 in the traveling direction so as to capture an image obliquely forward of the vehicle 100 , that is, in the direction of the optical axis 202 .
  • a first common imaging area 211 is an area on the left side of the traveling direction of the vehicle 100 that is imaged by both the camera 121 and the camera 122 .
  • road surfaces and three-dimensional objects are imaged.
  • a camera having the same angle of view and angle may be selected so as to function as a peripheral vision camera that displays a bird's-eye view of the surroundings of the vehicle 100 .
  • the area on the left side of the traveling direction of the vehicle 100 captured by both the camera 123 and the camera 124 is the second common imaging area 212 .
  • the second common imaging area 212 an image including a road surface and a three-dimensional object is captured. The imaging results in the first common imaging area 211 and the second common imaging area 212 are used for estimating the relative posture between the road surface and the vehicle 100 .
  • FIG. 3(a) is a diagram showing an example of a gradient
  • FIG. 3(b) is a diagram showing an example of a loading situation
  • FIGS. 3(c) and 3(d) show an example of vehicle posture variation. It is a diagram.
  • the road has a drainage slope of about 2% in the transverse direction with the center of the road as the vertex so that rainwater does not accumulate on the road.
  • a drainage gradient of about 2.5% is provided on expressways where the vehicle 100 travels at a high speed.
  • FIG. 3(a) shows an example of a drainage slope.
  • a vehicle 100 is running on a road surface 301, and the road surface 301 is provided with a drainage gradient with the center of the road as the apex.
  • FIG. 3(b) is a diagram showing an example of the loading status.
  • the posture of the vehicle 100 with respect to the road surface changes depending on the loading condition of the vehicle 100 .
  • the front of the vehicle 100 is in a floating posture as shown in FIG. 3(c).
  • the left side of the vehicle 100 is lifted as shown in FIG. 3(d).
  • the posture is still different. In this manner, the posture of the vehicle 100 varies depending on the loading condition.
  • the posture of the vehicle 100 changes in this way, the relative posture between the vehicle 100 and the road surface 301 changes as shown in FIG. , the estimated distance should be corrected based on the estimation result.
  • FIG. 4 is a functional block diagram of the distance estimation program 150 executed by the CPU 110.
  • FIG. FIG. 4 shows the processing order of each functional block of the distance estimation program 150, the flow of data between the functional blocks, and between the functional blocks and the ROM 111 and RAM 112.
  • FIG. 4 shows the processing order of each functional block of the distance estimation program 150, the flow of data between the functional blocks, and between the functional blocks and the ROM 111 and RAM 112.
  • the distance estimation program 150 includes a sensor value acquisition unit 401, a first common imaging area observation unit 402, a second common imaging area observation unit 403, a coordinate integration unit 404, a road surface model matching unit 405, and a monocular distance estimation unit 406.
  • a first common imaging area observation unit 402 and a second common imaging area observation unit 403 are functional blocks corresponding to the common visual field distance measurement program 144
  • a coordinate integration unit 404 are functional blocks corresponding to the road surface relative attitude estimation program 143.
  • a road surface model matching unit 405 and a functional block corresponding to the monocular distance measurement program 145 is a monocular distance estimation unit 406 .
  • a sensor value acquisition unit 401 acquires images output from a plurality of cameras 121-124.
  • the cameras 121-124 continuously take pictures at a predetermined frequency (for example, 30 times per second). An image obtained by the camera is transmitted to the in-vehicle processing device 102 each time it is photographed.
  • the cameras 121 and 122 and the cameras 123 and 124 are synchronized in some way, and it is desirable that they are photographed in synchronization.
  • the sensor value acquisition unit 401 outputs the images captured by the cameras 121 to 124 to the first common imaging area observation unit 402 and the second common imaging area observation unit 403 . After that, the processing from the first common imaging area observing unit 402 to the monocular distance estimating unit 406 is executed each time an image is received.
  • the first common imaging area observation unit 402 uses the images captured by the multiple cameras 121 and 122 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the first common imaging area 211. Measure. For example, the image of the camera 121 and the common object photographed by the pixels corresponding to the road surface 301 of the camera 122 (for example, a portion that is easy to find as a feature point such as the corner of the road surface paint) are extracted by image recognition, and the camera 121 and the known geometric relationship of the camera 122 (for example, the calibrated initial camera parameter values 141 stored in the ROM 111). This is calculated by the camera 121 and the camera 122 using a plurality of feature points that can be associated on the road surface.
  • Whether a certain pixel is on the road surface may be determined by a range calculated by giving a certain error range to the known relationship between the attitude angle of the camera parameter initial value 141 and the road surface gradient.
  • the road surface may be determined by distinguishing three-dimensional objects. Other known methods may be used to measure the three-dimensional coordinate values.
  • the calculated distance is calculated, for example, in a camera coordinate system having the optical axis 201 of the camera 121 as one axis.
  • the first common imaging area observation unit 402 outputs all calculated three-dimensional coordinate values of the road surface 301 to the coordinate integration unit 404 . A processing flow of the first common imaging area observation unit 402 will be described with reference to FIG.
  • the second common imaging area observation unit 403 uses the images captured by the multiple cameras 123 and 124 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the second common imaging area 212. Measure.
  • the processing of the second common imaging area observation unit 403 is the same as the processing of the first common imaging area observation unit 402, except that the camera used to capture the image is different and the second common imaging area 212 is captured. Therefore, detailed description is omitted.
  • the coordinate integration unit 404 integrates the three-dimensional coordinates of the road surface 301 output from the first common imaging area observation unit 402 and the three-dimensional coordinates of the road surface 301 output from the second common imaging area observation unit 403 into the same coordinate system. It is a functional block to be integrated.
  • the first common imaging area observation unit 402 calculates three-dimensional coordinate values in the camera coordinate system of the camera 121, for example.
  • the second common imaging area observation unit 403 calculates three-dimensional coordinate values in the camera coordinate system of the camera 123, for example.
  • the coordinate integration unit 404 uses the calibrated camera parameter initial values 141 stored in the ROM 111 to transform the coordinate values in these different coordinate systems into, for example, the vehicle coordinate system and integrates them. Transformation and integration into the vehicle coordinate system can be performed by known coordinate transformation calculations using external parameters representing the position and orientation relationships in the camera parameter initial values 141 .
  • the coordinate system in which the coordinates are integrated may be another coordinate system.
  • the three-dimensional coordinate values obtained by integrating the first common imaging area 211 and the second common imaging area 212 output from the first common imaging area observing section 402 and the second common imaging area observing section 403 are input to the road surface model matching section 405. output.
  • the road surface model matching unit 405 fits the road surface model 142 using the integrated three-dimensional coordinate values of the first common imaging region 211 and the second common imaging region 212 output from the coordinate integration unit 404, and the vehicle 100 and the road surface 301 are calculated.
  • the relative attitude relationship is calculated including the vehicle attitude changes shown in FIGS. 3(c) and 3(d).
  • the road surface model 142 is composed of two planes with a slope of about 2%, for example, considering the road structure with a drainage slope of about 2 to 2.5% in the transverse direction with the center of the road as the vertex. do. Other road surface models will be described later.
  • the road surface model 142 and the three-dimensional coordinate values obtained by integrating the first common imaging region 211 and the second common imaging region 212 output from the coordinate integrating unit 404 match the most.
  • the relative attitude of the road surface model 142 with respect to 100 is obtained.
  • the sum of the distances between the three-dimensional coordinate values obtained by integrating the first common imaging area 211 and the second common imaging area 212 output from the coordinate integration unit 404 and the road plane of the road surface model 142 is set as the objective function, Calculate the relative position and orientation parameters of the road surface model 142 with respect to the vehicle 100 so as to minimize the objective function.
  • the relative position/attitude parameters of the vehicle 100 and the road surface model 142 are one or more of three attitude angles of roll angle, pitch angle, and yaw angle, and vertical, horizontal, and height position parameters.
  • one or more parameters may be known and other parameters may be estimated.
  • known objective function minimization methods such as the steepest descent method and the Levenberg-Marquardt method can be used.
  • the relative position/posture parameters of the vehicle 100 and the road surface 301 obtained by the road surface model matching unit 405 are output to the monocular distance estimation unit 406 as the road surface relative posture 153 .
  • it is stored in the RAM 112 as the road surface relative attitude 153 so as to be used as an initial value for optimization at the next time.
  • the road surface relative attitude 153 is read from the RAM 112 and the objective function is minimized as an initial value. Then, the new road surface relative attitude obtained from the new three-dimensional coordinate values is stored in the RAM 112 as the road surface relative attitude 153 .
  • the road surface model matching unit 405 may obtain the relative position and orientation of the vehicle 100 by another method without using the road surface model.
  • the monocular distance estimation unit 406 uses the road surface relative attitude 153 and the road surface model 142 output from the road surface model matching unit 405 to calculate an accurate distance to the object.
  • the relative relationship between the cameras 121 to 124 and the road surface 301 can be calculated by a known geometric solution method.
  • the distance to the object is calculated based on the pixel corresponding to the road installation point of the object, and output as an estimated distance.
  • This object is detected by an image recognition function using AI or the like provided in the cameras 121 to 124, for example.
  • the distance to the object can also be calculated for areas other than the common imaging areas 211 and 212 of the cameras 121 to 124, and can be calculated correctly over a wide range with a plurality of cameras even if the road surface is not flat.
  • Figs. 5(a) and 5(b) are schematic diagrams showing the processing of coordinate integration and road surface model matching.
  • 5A and 5B show the relationship between the first common imaging area observation unit 402, the second common imaging area observation unit 403, the coordinate integration unit 404, and the road surface model matching unit 405, and outlines of these processes. , demonstrating these advantages.
  • a three-dimensional coordinate value 501 of the road surface 301 in the first common imaging area 211 observed by the first common imaging area observation unit 402 is represented by the camera coordinate system of the camera 121, and is expressed by the second common imaging area observation unit 403 as
  • the observed three-dimensional coordinate values 502 of the road surface 301 in the second common imaging area 212 are represented by the camera coordinate system of the camera 123 .
  • the relative relationship between the three-dimensional coordinate value 501 and the three-dimensional coordinate value 502 is unknown.
  • the coordinate integration unit 404 converts the three-dimensional coordinate values 501 of the camera coordinate system into the three-dimensional coordinate values 503 of the vehicle 100 coordinate system using the external parameters of the camera parameter initial values 141, and The three-dimensional coordinate values 502 are converted into three-dimensional coordinate values 504 in the coordinate system of the vehicle 100 .
  • a three-dimensional coordinate value 503 and a three-dimensional coordinate value 504 are expressed in the same coordinate system, and their relative relationship is clear.
  • the road surface model matching unit 405 can determine the relative relationship between the vehicle 100 and the road surface 301 by matching the three-dimensional coordinate values 503 and 504 with the road surface model 142 .
  • FIGS. 5(c), 5(d), and 5(e) are diagrams showing an example of the road surface model 142.
  • FIG. FIG. 5(c) is a model in which two planes with a gradient of 2% are connected.
  • FIG. 5(d) is a model in which the tops of two planes with a gradient of 2% are curved.
  • FIG. 5(e) is a model in which the top of the road surface and the width of the road surface are excluded in order to correspond to various shapes of the top of the road surface and the width of the road surface plane. Corresponding points close to the excluded portion can be checked flexibly by not including them in the error summation of the objective function when matching the road surface and the three-dimensional coordinate values.
  • the entire width of the three lanes on one side is flat.
  • the road surface model 142 in FIGS. 5(c) to 5(e) can also correspond to a case where the entire width is a single plane. That is, when the road surface model 142 is slid to the left or right, the entire observation range becomes a flat road surface.
  • an example of a model in which two planes are connected according to the shape of the cross slope of the road is shown, but a model in which two or more planes are connected may be used.
  • FIG. 6 is a flowchart of processing executed by the first common imaging area observation unit 402.
  • FIG. 6 each time an image is received from the sensor value acquisition unit 401, the CPU 110 executes processing of the following steps.
  • the feature point detection step 601 from each of the two images obtained from the sensor value acquisition unit 401, feature points (for example, corner points of road surface paint) that are characteristic points in the images are detected.
  • the detection range is the road surface within the common imaging area of the two images. Whether or not a certain pixel is on the road surface within the common imaging area may be determined by calculating a certain error range in the known relationship between the attitude angle of the camera parameter initial value 141 and the road surface gradient. , the determination may be made by discriminating between the three-dimensional object on the photographed image and the road surface.
  • Feature points are detected using known feature point extraction techniques such as the Harris operator. Also, information expressing feature points may be added by a known technique such as ORB and used in the next feature point corresponding step. Then proceed to step 602 .
  • points representing the same object are associated from the feature points of each of the two images obtained in the feature point detection step 601.
  • the feature points are associated using the feature point information obtained for each feature point in step 601 .
  • a feature point whose feature point information is closest to the feature point of one image is selected from the other image, and the two feature points are associated with each other. Any known technique may be used to improve feature point coordinates and feature point matching accuracy. Then proceed to step 603 .
  • the correspondence between the two images obtained in step 602 is used to calculate the three-dimensional distance of each point.
  • the three-dimensional distance can be calculated by applying the principle of triangulation to the corresponding two coordinate points using the geometric relationship between the two cameras 121 and 122 obtained from the camera parameter initial values 141 stored in the ROM 111.
  • the camera 121 is used as a reference, and the distance as viewed from the camera 121 is calculated, but the calculation may be performed using the camera 122 as a reference. In this case, there is no problem if the geometric calculation is performed according to the camera used as the reference later. Any known technique may be used for calculation to ensure accuracy. Then proceed to step 604 .
  • a three-dimensional coordinate calculation step 604 three-dimensional coordinate values are calculated from the coordinates and distance on the image of the camera 121 obtained in step 603.
  • the 3D coordinates can be calculated from the coordinates on the image and the distance by known geometric calculations.
  • the three-dimensional coordinates calculated here are camera coordinates of the camera 121 .
  • the processing executed by the first common imaging area observation unit 402 has been described above with reference to FIG. The processing is also the same.
  • FIGS. 7(a) and 7(b) are schematic diagrams showing modified examples of coordinate integration and road surface model matching processing.
  • 7(a) and 7(b) show the relationship between the first common imaging area observation unit 402, the second common imaging area observation unit 403, the coordinate integration unit 404, and the road surface model matching unit 405, and outlines of these processes. , demonstrating these advantages.
  • FIGS. 7(a) and 7(b) are modified examples of FIGS. 5(a) and 5(b), and description of common parts is omitted, and differences are described.
  • a three-dimensional coordinate value 701 is a three-dimensional coordinate value of a three-dimensional object observed in the first common imaging area 211 and represented by the camera coordinate system of the camera 121 .
  • the coordinate integration unit 404 converts the three-dimensional coordinate values 701 of the three-dimensional object into the three-dimensional coordinate values 702 of the coordinate system of the vehicle 100 using the external parameters of the camera parameter initial values 141 .
  • the three-dimensional coordinate values 503 and 504 but also the three-dimensional coordinate value 702 may be used to match the road surface model 142 .
  • the three-dimensional coordinate values 702 are considered to be aligned vertically, and the objective function of the road surface model 142 is designed so that the evaluation value increases when they are vertical.
  • FIG. 8 is a flowchart of processing executed by the first common imaging area observation unit 402, and corresponds to the modification shown in FIG. Since the flowchart of FIG. 8 is almost the same as the flowchart of FIG. 6, description of common parts is omitted and differences are described.
  • the observation points on the road surface and the three-dimensional object observation points are separated.
  • image recognition such as AI
  • points recognized as guardrails, utility poles, poles, etc. are labeled as three-dimensional objects
  • points recognized by painting the road surface are labeled as points on the road surface.
  • the observation point should be separated.
  • three-dimensional objects are grouped by attaching a different label to each three-dimensional object. Rectangular fitting is performed on the grouped points, and rectangle information is given.
  • the given rectangle information is used by the road surface model matching unit 405 in the subsequent stage to design and use an objective function that is minimized when this rectangle and the road surface model 142 are orthogonal.
  • the labeled three-dimensional coordinate points are output, and the flow chart ends.
  • the processing executed by the first common imaging area observation unit 402 has been described above with reference to FIG. The processing is also the same.
  • FIGS. 9(a) and 9(b) are schematic diagrams showing a further modified example of coordinate integration and road surface model matching processing.
  • 9(a) and 9(b) show the relationship between the first common imaging area observation unit 402, the second common imaging area observation unit 403, the coordinate integration unit 404, and the road surface model matching unit 405, and outlines of these processes. , demonstrating these advantages.
  • FIGS. 9(a) and 9(b) are modified examples of FIGS. 7(a) and 7(b), and description of common parts is omitted, and differences are described.
  • a three-dimensional coordinate value 901 is the three-dimensional coordinate value of a three-dimensional object observed in the first common imaging area 211 at the time following the three-dimensional coordinate values 501 and 701 . That is, on the premise that the attitude of the vehicle 100 does not change significantly in a short period of time, the observation points of the first common imaging area 211 are integrated in time series.
  • the three-dimensional coordinate value 902 is the three-dimensional coordinate value of the three-dimensional object observed in the second common imaging area 212 at the next time after the three-dimensional coordinate value 502, and the coordinate point of the second common imaging area 212 is It is chronologically integrated.
  • the coordinate integration unit 404 converts the three-dimensional coordinate values 901 and 902 into the coordinate system of the vehicle 100 using the external parameters of the camera parameter initial values 141 .
  • the three-dimensional coordinate values 503 and 504 but also the three-dimensional coordinate values 702, 901, and 902 are used to match the road surface model 142.
  • FIG. it is assumed that the three-dimensional coordinate values 901 and 902 are also aligned vertically, and the objective function of the road surface model 142 is designed so that the evaluation value is high when they are vertical.
  • FIG. 10 is a functional block diagram of the distance estimation program 150 executed by the CPU 110, and corresponds to the modification shown in FIG. FIG. 10 shows the processing order of each functional block of the distance estimation program 150, the flow of data between the functional blocks, and between the functional blocks and the ROM 111 and RAM 112.
  • FIG. Since the functional block diagram of FIG. 10 is almost the same as the functional block diagram of FIG. 4, description of common parts is omitted and differences are described.
  • the distance estimation program 150 includes a sensor value acquisition unit 401, a first common imaging area observation unit 402, a second common imaging area observation unit 403, a coordinate integration unit 404, a time series integration unit 1001, a road surface model matching unit 405, and a monocular distance estimation. 406 and an odometry estimation unit 1002 .
  • the time-series integration unit 1001 is one of the functional blocks corresponding to the road surface relative attitude estimation program 143, and is a tertiary image obtained by integrating the first common imaging area 211 and the second common imaging area 212 output from the coordinate integration unit 404.
  • the original coordinate values are integrated chronologically.
  • the three-dimensional coordinate values are integrated under the premise that the attitude of the vehicle 100 has not changed significantly in a short period of time.
  • the movement amount of the vehicle 100 is obtained from the previous time to the current time, and the three-dimensional coordinate values can be integrated by calculating the camera movement amount from the vehicle movement amount by a known geometric calculation.
  • the amount of vehicle movement is acquired from the odometry estimation unit 1002, which will be described later.
  • the first time the output of the coordinate integration unit 404 is written to the RAM 112 and recorded, and after the next time, the point group recorded at the previous time is read from the RAM 112, and the coordinate system of the vehicle 100 newly obtained from the coordinate integration unit 404 In addition to the point cloud at .
  • the time range to be integrated should be adjustable as a parameter.
  • the integrated three-dimensional coordinate values are output to the road surface model matching unit 405 and RAM 112 .
  • the odometry estimation unit 1002 estimates the motion of the vehicle 100 using the speed and steering angle of the vehicle 100 transmitted from the vehicle speed sensor 131 and steering angle sensor 132 .
  • known dead reckoning may be used, estimation may be performed using a known visual odometry technique using a camera, or a known Kalman filter or the like may be used together.
  • the vehicle motion estimation result is output to the time series integrating section 1001 .
  • FIG. 11 is a block diagram showing the configuration of a vehicle 100 equipped with a sensing device 101 according to a modification of the invention. Since the sensing device 101 shown in FIG. 11 is substantially the same as the sensing device 101 shown in FIG. 1, descriptions of common parts are omitted and differences are described.
  • a sensing device 101 shown in FIG. 11 has a camera 1101, a camera 1102, and a vehicle control device 1180 added to the sensing device 101 shown in FIG.
  • the cameras 1101 and 1102 are attached around the vehicle 100 in the same manner as the cameras 121 to 124 and photograph the surroundings of the vehicle 100 .
  • a method for attaching the cameras 1101 and 1102 will be described later.
  • the imaging ranges of the cameras 1101 and 1102 include the road surface on which the vehicle 100 travels.
  • the relationship between the positions and attitudes of the cameras 1101 and 1102 and the vehicle 100 is stored in the ROM 111 as camera parameter initial values 141 .
  • Cameras 1101 and 1102 have lenses and imaging elements.
  • the characteristics of the cameras 1101 and 1102 are also stored in the ROM 111 as camera parameter initial values 141 .
  • the vehicle control device 1180 uses information output from the CPU 110, such as the road surface relative attitude 153 output from the distance estimation program 1150, to control the steering device, driving device, braking device, active suspension, and the like.
  • the steering device operates steering of the vehicle 100 .
  • the driving device provides driving force to vehicle 100 .
  • the driving device increases the driving force of the vehicle 100 by increasing the target rotation speed of the engine of the vehicle 100, for example.
  • the braking device applies braking force to vehicle 100 .
  • Active suspension can change the operation of various devices while driving, such as by expanding or contracting actuators that operate with hydraulic or pneumatic pressure, or by adjusting the damping force of springs.
  • FIG. 12 shows the vehicle 100, the cameras 121 to 124, 1101 and 1102, the optical axis 201 of the camera 121, the optical axis 202 of the camera 122, the optical axis 203 of the camera 123, and the camera in the sensing device 101 of the modification shown in FIG. 124 optical axis 204, optical axis 1201 of camera 1101, optical axis 1202 of camera 1102, first common imaging area 211, second common imaging area 212, third common imaging area 1213, fourth common imaging area 1214,
  • FIG. 12 is a diagram showing an example of the relationship between a fifth common imaging area 1215 and a sixth common imaging area 1216;
  • the camera 1101 is mounted in front of the vehicle 100 by selecting a camera angle of view, etc. so as to photograph the direction of the optical axis 1201 and have a common imaging area with the cameras 122 and 124 .
  • a common imaging area of the cameras 1101 and 122 is a third common imaging area 1213
  • a common imaging area of the cameras 1101 and 124 is a fourth common imaging area 1214 .
  • the camera 1102 is mounted behind the vehicle 100 so as to capture an image in the direction of the optical axis 1202 and to have a common imaging area with the cameras 121 and 123 .
  • a common imaging area of the cameras 1102 and 121 is a fifth common imaging area 1215
  • a common imaging area of the cameras 1102 and 123 is a sixth common imaging area 1216 .
  • a road surface and a three-dimensional object are imaged.
  • a camera having the same angle of view and angle may be selected so as to function as a peripheral vision camera that displays a bird's-eye view of the surroundings of the vehicle 100 .
  • the imaging results in each of the common imaging areas 211, 212, 1213-1216 are used for estimating the relative posture between the road surface and the vehicle 100.
  • FIG. In the modified example shown in FIG.
  • FIG. 13 is a functional block diagram of the distance estimation program 150 executed by the CPU 110, and corresponds to the modification shown in FIG. FIG. 13 shows the processing order of each functional block of the distance estimation program 150, the flow of data between the functional blocks, and between the functional blocks and the ROM 111 and RAM 112.
  • FIG. Since the functional block diagram of FIG. 13 is almost the same as the functional block diagram of FIG. 10, description of common parts is omitted and differences are described.
  • the common field-of-view distance measurement program 144 shown in FIG. A common imaging area observer 1315 and a sixth common imaging area observer 1316 are included. Images from the cameras 121 to 124 and the cameras 1101 and 1102 are input to the common visual field distance measurement program 144 .
  • the third common imaging area observation unit 1313 uses the images captured by the multiple cameras 122 and 1101 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the third common imaging area 1213.
  • the fourth common imaging area observation unit 1314 uses the images captured by the multiple cameras 124 and 1101 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the fourth common imaging area 1214.
  • the fifth common imaging area observation unit 1315 uses the images captured by the multiple cameras 121 and 1102 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the fifth common imaging area 1215. Measure.
  • the sixth common imaging area observation unit 1316 uses the images captured by the multiple cameras 123 and 1102 output from the sensor value acquisition unit 401 to obtain the three-dimensional coordinate values of the road surface 301 captured in the sixth common imaging area 1216. Measure.
  • the three-dimensional coordinate values output from each common imaging area observation unit are expressed in the camera coordinate system of each camera. Convert to three-dimensional coordinate values of 100 coordinate systems.
  • the vehicle control unit 1320 receives the road surface relative attitude 153 output from the road surface model matching unit 405 and controls the vehicle 100 .
  • the active suspension is controlled so as to reduce the influence of the roll angle and pitch angle of the vehicle 100 obtained from the road surface relative attitude 153, and ride comfort is improved.
  • Vehicle 100 may be controlled based on other attitude angles of vehicle 100 .
  • the sensing device 101 uses the information of the common imaging area acquired by at least the first sensor (camera 121) and the second sensor (camera 122) having a common imaging area.
  • a common A second common imaging area observation unit 403 that observes a second common imaging area 212 different from the first common imaging area 211 based on imaging area information, a geometric relationship between each sensor, the first common imaging area 211 and the second common imaging area.
  • the coordinate integration unit 404 that integrates the coordinates of the information observed in the area 212 and the point cloud information calculated from the integrated coordinates, the relative attitude of each sensor including the pitch angle and roll angle of the vehicle and the road surface is calculated. Since the road surface estimation unit (road surface model matching unit 405) for estimating . In addition, it is possible to improve the accuracy of binocular distance measurement using a plurality of cameras.
  • the common imaging area is located at the position where the optical axes of the sensors intersect, it is possible to accurately correct the effects of road gradients and vehicle posture using images with little distortion near the optical axes.
  • the road surface estimation unit (road surface model matching unit 405) has a road surface model matching unit 405 for matching the road surface point group information with the road surface model. Since the point group information of the road surface is fitted to the road surface model 142 so that the error with 142 is small, the influence of the road gradient and vehicle attitude can be accurately corrected.
  • first common imaging area observation unit 402 and the second common imaging area observation unit 403 separate the road surface point group information and the object point group information representing objects existing on the road surface (801), and the road surface estimation unit ( The road surface model matching unit 405) reduces the error between the road surface point cloud information and the road surface, and matches the road surface model so that the object point cloud information is aligned vertically. can be accurately corrected for the effects of
  • the road surface estimation unit (road surface model matching unit 405) time-series integrates the output of the first common imaging area observation unit, and time-series integration unit 1001 integrates the output of the second common imaging area observation unit. , the influence of the road gradient and vehicle posture can be corrected accurately, and the robustness of road surface estimation is improved.
  • the road surface estimation unit (road surface model matching unit 405) integrates and calculates the coordinates of the information observed in the common imaging area by combining two of the six sensors. Based on the collected point cloud information, each sensor, including the pitch angle of the vehicle and the vehicle roll angle, and the relative attitude of the road surface can be estimated. and the effects of vehicle attitude can be accurately corrected. In addition, the accuracy of binocular distance measurement using multiple cameras can be improved, and the robustness of road surface estimation is improved.
  • the present invention is not limited to the above-described embodiments, and includes various modifications and equivalent configurations within the scope of the attached claims.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and the present invention is not necessarily limited to those having all the described configurations.
  • part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • additions, deletions, and replacements of other configurations may be made to a part of the configuration of each embodiment.
  • the sensing device 101 may have an input/output interface (not shown), and a program may be read from another device via a medium that can be used by the input/output interface and the sensing device 101 when necessary.
  • the medium refers to, for example, a storage medium that can be attached to and detached from an input/output interface, or a communication medium, that is, a wired, wireless, or optical network, or a carrier wave or digital signal that propagates through the network.
  • each configuration, function, processing unit, processing means, etc. described above may be realized by hardware, for example, by designing a part or all of them with an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing a program to execute. Also, part or all of the functions realized by the program may be realized by a hardware circuit or FPGA.
  • Information such as programs, tables, and files that implement each function can be stored in storage devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs.
  • storage devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs.
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines necessary for implementation. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備えることを特徴とする。

Description

センシング装置及び車両制御装置 参照による取り込み
　本出願は、令和３年（２０２１年）６月１７日に出願された日本出願である特願２０２１－１００６８０の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、センシング装置及び車両制御装置に関する。
　ドライバーの支援や自動運転の目的で車載カメラの普及が進んでおり、周囲監視などのために複数の単眼カメラが搭載されることもある。ドライバー支援や自動運転において、車載カメラが求められることの一つとして、対象物の距離測定がある。単眼カメラを用いた対象物の距離測定は、路面が平面であることを仮定し、車載カメラの取り付け状態と路面の関係から車載カメラの各画素に対応する距離を計算できる。ただし、路面に勾配がある場合、平面を仮定して計算すると、測定距離に誤差が生じる問題がある。特に、遠方ほど誤差が大きくなる。従って、勾配誤差の影響を低減する必要がある。
　特許文献１には、カメラが撮像した撮像画像に基づく勾配推定装置であって、カメラと、路面接地位置算出部と、測距センサと、勾配推定部とを備え、前記カメラが撮像した撮像画像に基づき、前記路面接地位置算出部が、前記撮像画像に映り込んだ対象物の路面接地位置までの距離Ｌ２を算出し、前記勾配推定装置が前記測距センサを用いて、前記対象物までの距離Ｌ１を算出し、前記勾配推定部が、前記カメラの俯角αと、前記距離Ｌ２および前記距離Ｌ１とに基づいて、前記カメラの位置から降ろした垂線と水平面との交点と、前記対象物を示す所定の点Ａ１とを通る直線の勾配βを推定する勾配推定装置、が開示されている。
　特許文献１では、アクティブレーザ方式の測距センサ使用を前提としており、勾配に関係なく測距が可能なセンサがない場合は、距離補正を行うことが困難である。
　そこで、本発明は、路面と車両の相対姿勢を高精度で推定するセンシング装置の提供を目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備えることを特徴とする。
　本発明の一態様によれば、道路勾配や車両姿勢の影響を低減して、測距離精度を向上できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
本発明の実施例にかかるセンシング装置を搭載した車両の構成を示すブロック図である。 カメラ、及び共通撮像領域の関係の一例を示す図である。 勾配及び車両姿勢変動の一例を示す図である。 ＣＰＵが実行する距離推定プログラムの機能ブロック図である。 座標統合と路面モデル照合の処理を示す模式図である。 第一共通撮像領域観測部が実行する処理のフローチャートである。 変形例１の座標統合と路面モデル照合の処理の変形例を示す模式図である。 変形例１の第一共通撮像領域観測部が実行する処理のフローチャートである。 変形例２の座標統合と路面モデル照合の処理のさらなる変形例を示す模式図である。 変形例２のＣＰＵが実行する距離推定プログラムの機能ブロック図である。 変形例３のセンシング装置を搭載した車両の構成を示すブロック図である。 変形例３のカメラ、及び共通撮像領域の関係の一例を示す図である。 変形例３のＣＰＵが実行する距離推定プログラムの機能ブロック図である。
　以下、図１～図１３を参照して、本発明にかかるセンシング装置１０１の実施例を説明する。
　図１は、本発明の実施例にかかるセンシング装置１０１を搭載した車両１００の構成を示すブロック図である。
　センシング装置１０１は、カメラ１２１～１２４、車速センサ１３１、舵角センサ１３２と、表示装置１６１と、車載処理装置１０２とを有する。カメラ１２１～１２４、車速センサ１３１、舵角センサ１３２及び表示装置１６１は、信号線で車載処理装置１０２と接続され、車載処理装置１０２と各種データを授受する。
　カメラ１２１～１２４は、詳細は後述するが、車両１００の周囲に取り付けられ、車両１００の周囲を撮影する。カメラ１２１～１２４の撮影範囲には、車両１００が走行する路面が含まれる。カメラ１２１～１２４と車両１００との位置姿勢関係は、カメラパラメータ初期値１４１として、ＲＯＭ１１１に格納される。
　カメラ１２１～１２４は、レンズ及び撮像素子を備え、これらの特性、例えばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数及び寸法などの内部パラメータもカメラパラメータ初期値１４１としてＲＯＭ１１１に格納される。
　車速センサ１３１、及び舵角センサ１３２は、それぞれ、車載処理装置１０２が搭載された車両１００の車速及び舵角を測定し、ＣＰＵ１１０に出力する。車載処理装置１０２は、車速センサ１３１及び舵角センサ１３２の出力を用いて、公知のデッドレコニング技術によって、車載処理装置１０２が搭載された車両１００の移動量及び移動方向を計算する。
　車載処理装置１０２は、中央演算装置であるＣＰＵ１１０と、ＲＯＭ１１１と、ＲＡＭ１１２を備える。ＦＰＧＡなど他の演算処理装置で全部、または一部の演算処理を実行するように構成してもよい。
　ＣＰＵ１１０は、ＲＯＭ１１１から各種プログラム、及びパラメータを読み込んで実行することによって、車載処理装置１０２の実行部として動作する。
　ＲＯＭ１１１は、読み取り専用の記憶領域であり、カメラパラメータ初期値１４１、路面モデル１４２、及び距離推定プログラム１５０を格納する。
　カメラパラメータ初期値１４１は、カメラ１２１～１２４と車両１００との位置及び姿勢の関係を示す数値である。カメラ１２１～１２４は、設計に基づいた位置及び姿勢で車両１００に取り付けられるが、取り付けに誤差が生じることが避けられない。そのため、例えば、車両１００が工場から出荷される際に、工場内にて所定のテストパターンなどを用いて、キャリブレーションが実行され、正しく補正された値が計算されている。カメラパラメータ初期値１４１には、このキャリブレーション実行後に正しく補正された位置及び姿勢の関係が格納されている。また、レンズや撮像素子の特性、例えばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数及び寸法などの内部パラメータのキャリブレーション実行後の補正値も格納されている。
　路面モデル１４２は、路面勾配をモデル化し、そのモデル種別とそのパラメータを数値化して格納している。路面モデル１４２は、距離推定プログラム１５０における路面相対姿勢推定プログラム１４３において、路面相対姿勢１５３を計算する際に利用される。路面モデル１４２の詳細は後述する。
　距離推定プログラム１５０は、後述する路面相対姿勢推定プログラム１４３、共通視野距離測定プログラム１４４、及び単眼距離測定プログラム１４５を含む。これらのプログラムは、ＲＯＭ１１１から読み出され、ＲＡＭ１１２に展開されて、ＣＰＵ１１０によって実行される。
　ＲＡＭ１１２は、読み書き可能な記憶領域であり、車載処理装置１０２の主記憶装置として動作する。ＲＡＭ１１２は、後述する第一領域観測値１５１、第二領域観測値１５２、路面相対姿勢１５３、及び外部パラメータ１５４を格納する。
　第一領域観測値１５１は、共通視野距離測定プログラム１４４によって観測され、カメラ１２１及びカメラ１２２の共通視野で観測される領域の路面や立体物を含む観測データである。第一領域観測値１５１は、共通視野内の路面や立体物を含む共通物体の特徴点と、カメラパラメータ初期値１４１に記録されたカメラ１２１とカメラ１２２の既知の相対関係及び内部パラメータから、特徴点の距離を計算し、距離から計算された三次元座標を格納したものである。第一領域観測値１５１は、路面相対姿勢推定プログラム１４３において利用される。
　第二領域観測値１５２は、共通視野距離測定プログラム１４４によって観測され、第一領域観測値１５１と処理内容が共通で、カメラ１２３及びカメラ１２４の共通視野で観測される領域の路面や立体物を含む観測データである。第二領域観測値１５２は、共通視野内の路面や立体物を含む共通物体の特徴点と、カメラパラメータ初期値１４１に記録されたカメラ１２３・カメラ１２４の既知の相対関係及び内部パラメータから、特徴点の距離を計算し、距離から計算された三次元座標を格納したものである。第二領域観測値１５２は、路面相対姿勢推定プログラム１４３において利用される。
　路面相対姿勢１５３は、車両１００と路面の相対姿勢を表すパラメータであり、路面相対姿勢推定プログラム１４３から得られる。路面相対姿勢１５３は、外部パラメータ１５４の計算に利用される。
　外部パラメータ１５４は、路面勾配、及び車両１００の姿勢変動を含めた、カメラ１２１～１２４の車両１００との位置及び姿勢の関係である。カメラパラメータ初期値１４１の外部パラメータに基づいて、路面相対姿勢推定プログラム１４３において計算され、単眼距離測定プログラム１４５において利用される。
　図２は、車両１００、カメラ１２１～１２４、カメラ１２１の光軸２０１、カメラ１２２の光軸２０２、カメラ１２３の光軸２０３、カメラ１２４の光軸２０４、第一共通撮像領域２１１、及び第二共通撮像領域２１２の関係の一例を示す図である。
　カメラ１２１は、例えば、車両１００の進行方向左側のサイドミラー下に、車両１００の斜め後方、すなわち光軸２０１の方向を撮影するように取り付けられる。同様に、カメラ１２３は、例えば、車両１００の進行方向右側のサイドミラー下に、車両１００の斜め後方、すなわち光軸２０３の方向を撮影するように取り付けられる。カメラ１２２は、例えば、車両１００の進行方向左側のＣピラー付近に、車両１００の斜め前方、すなわち光軸２０２の方向を撮影するように取り付けられる。同様に、カメラ１２４は、例えば、車両１００の進行方向右側のＣピラー付近に、車両１００の斜め前方、すなわち光軸２０４の方向を撮影するように取り付けられる。カメラ１２１とカメラ１２２の両方で撮像される車両１００の進行方向左側の領域が第一共通撮像領域２１１である。第一共通撮像領域２１１では、路面や立体物が撮像される。このようにカメラを配置することで、カメラ１２１とカメラ１２２の解像度が高く、画像の歪みが少ない光軸中心付近で共通撮像領域を生成でき、かつ、車載カメラのセンシングにおいて重要な斜め前方、斜め後方を撮像できる利点がある。さらに、車両１００の周囲の俯瞰図を表示する周辺視カメラとしても機能するように、画角や角度等が合致するカメラを選定してもよい。同様に、カメラ１２３とカメラ１２４の両方で撮影される車両１００の進行方向左側の領域が第二共通撮像領域２１２である。第二共通撮像領域２１２では、路面や立体物を含んで撮像される。第一共通撮像領域２１１、及び第二共通撮像領域２１２での撮像結果は、路面と車両１００の相対姿勢推定に使用される。
　図３（ａ）は勾配の一例を示す図であり、図３（ｂ）は積載状況の一例を示す図であり、図３（ｃ）及び図３（ｄ）は車両姿勢変動の一例を示す図である。
　道路には、道路上に雨水が滞留しないように、道路中央を頂点として横断方向に約２％の排水勾配が付されている。車両１００の速度が速い高速道路においては、路面の水膜をより薄くする必要があるため、２．５％程度の排水勾配が付されている。図３（ａ）は排水勾配の一例を示す。車両１００が路面３０１を走行中であり、路面３０１には道路中央を頂点として排水勾配が付されている。車両１００から光軸２０２の方向において、観測対象が車両１００と同一の平面上にのっているため、光軸２０２の方向では距離測定における排水勾配による誤差の影響はない。一方、車両１００から光軸２０１方向において、観測対象が車両１００と同一の平面にのっていないため、観測対象が車両１００と同一の平面上であるという仮定の下では、距離を誤って計算する。そこで車両１００と路面３０１の相対関係を推定し、推定結果に基づいて推定距離を補正する必要がある。
　図３（ｂ）は、積載状況の一例を示す図である。車両１００の路面に対する姿勢は、車両１００の積載状況によって変化する。例えば、車両１００の後部に重い荷物を積載している場合、図３（ｃ）のように、車両１００の前方が浮き上がる姿勢になる。車両１００の左前方座席に運転手だけが乗車している場合、図３（ｄ）のように車両１００の左側が浮き上がる姿勢になる。車両１００の運転席とその後方座席に乗員が乗車している場合、さらに別な姿勢となる。このように、積載状況による車両１００の姿勢は様々に変わる。このように車両１００の姿勢が変わると、図３（ａ）に示す車両１００と路面３０１の相対姿勢が変わるため、積載状況による姿勢変化も含めて車両１００と路面３０１の相対姿勢関係を推定し、推定結果に基づいて推定距離を補正する必要がある。
　図４は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図である。図４は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。
　距離推定プログラム１５０は、センサ値取得部４０１、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５、及び単眼距離推定部４０６を含む。共通視野距離測定プログラム１４４に対応する機能ブロックが第一共通撮像領域観測部４０２、及び第二共通撮像領域観測部４０３であり、路面相対姿勢推定プログラム１４３に対応する機能ブロックが座標統合部４０４、及び路面モデル照合部４０５であり、単眼距離測定プログラム１４５に対応する機能ブロックが単眼距離推定部４０６である。
　センサ値取得部４０１は、複数のカメラ１２１～１２４から出力される画像を取得する。カメラ１２１～１２４は、所定の頻度で連続して（例えば毎秒３０回）撮影する。カメラにより得られた画像は、撮影されるたびに車載処理装置１０２に送信される。この例の場合、カメラ１２１と１２２、カメラ１２３とカメラ１２４は、何らかの方法で同期しており、同期して撮影することが望ましい。センサ値取得部４０１は、カメラ１２１～１２４が撮影した画像を第一共通撮像領域観測部４０２及び第二共通撮像領域観測部４０３に出力する。以降、第一共通撮像領域観測部４０２から単眼距離推定部４０６の処理は、画像の受信毎に実行される。
　第一共通撮像領域観測部４０２は、センサ値取得部４０１から出力された複数カメラ１２１、１２２が撮影した画像を用いて、第一共通撮像領域２１１に撮影された路面３０１の三次元座標値を測定する。例えば、カメラ１２１の画像とカメラ１２２の路面３０１に該当する画素に撮影された共通の対象物（例えば、路面ペイントの角部分などの特徴点として見つけやすい部分）を画像認識によって抽出し、カメラ１２１とカメラ１２２の既知の幾何関係（例えば、ＲＯＭ１１１に格納されたキャリブレーション済みのカメラパラメータ初期値１４１）を用いた三角測量によって、路面３０１の三次元座標値を測定できる。これをカメラ１２１とカメラ１２２において、路面上の対応付け可能な複数の特徴点で計算する。ある画素が路面上であるかは、カメラパラメータ初期値１４１の姿勢角と路面勾配の既知の関係に、ある程度の誤差範囲を持たせて計算した範囲で判定してもよいし、撮影画像上の立体物を区別して路面を判定してもよい。この三次元座標値の測定は、他の公知の方法を用いてもよい。計算された距離は、例えば、カメラ１２１の光軸２０１を一つの軸とするカメラ座標系で計算される。第一共通撮像領域観測部４０２は、計算された路面３０１の全ての三次元座標値を座標統合部４０４に出力する。第一共通撮像領域観測部４０２の処理フローは図６を参照して説明する。
　第二共通撮像領域観測部４０３は、センサ値取得部４０１から出力された複数カメラ１２３、１２４が撮影した画像を用いて、第二共通撮像領域２１２に撮影された路面３０１の三次元座標値を測定する。第二共通撮像領域観測部４０３の処理は、画像を撮影したカメラが異なる点と、第二共通撮像領域２１２が撮影されている点を除いて、第一共通撮像領域観測部４０２の処理と同じであるため、詳細な説明を省略する。
　座標統合部４０４は、第一共通撮像領域観測部４０２から出力される路面３０１の三次元座標と、第二共通撮像領域観測部４０３から出力される路面３０１の三次元座標を、同一座標系に統合する機能ブロックである。
　第一共通撮像領域観測部４０２は、例えばカメラ１２１のカメラ座標系で三次元座標値を計算する。一方、第二共通撮像領域観測部４０３は、例えばカメラ１２３のカメラ座標系で三次元座標値を計算する。座標統合部４０４は、これらの異なる座標系における座標値を、ＲＯＭ１１１に格納されたキャリブレーション済みのカメラパラメータ初期値１４１を用いて、例えば車両座標系への変換し、統合する。車両座標系への変換及び統合は、カメラパラメータ初期値１４１における位置姿勢関係を表す外部パラメータを用いて、公知の座標変換計算によって可能である。座標が統合される座標系は、他の座標系でもよい。第一共通撮像領域観測部４０２と第二共通撮像領域観測部４０３から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値は、路面モデル照合部４０５に出力される。
　路面モデル照合部４０５は、座標統合部４０４から出力された、第一共通撮像領域２１１と第二共通撮像領域２１２が統合され三次元座標値を用いて、路面モデル１４２をフィッティングして、車両１００と路面３０１の相対姿勢関係を計算する。図３（ｃ）（ｄ）に示す車両姿勢変動も含めて、相対姿勢関係が計算される。
　路面モデル１４２は、道路中央を頂点として、横断方向に約２～２．５％の排水勾配が付されている道路構造を考慮して、例えば、約２％の勾配をもつ二つの平面で構成する。他の路面モデルについては後述する。
　路面モデル照合部４０５では、この路面モデル１４２と、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値が最も一致するように、車両１００に対する路面モデル１４２の相対姿勢を求める。例えば、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値と路面モデル１４２の路面平面との距離の総和を目的関数として設定し、目的関数を最小化するように車両１００に対する路面モデル１４２の相対位置姿勢パラメータを計算する。車両１００と路面モデル１４２の相対位置姿勢パラメータは、ロール角、ピッチ角、ヨー角の３姿勢角と、縦、横、高さの位置パラメータの一つ以上である。推定の安定化のために、１以上のパラメータを既知として、他のパラメータを推定してもよい。目的関数の最小化は、最急降下法やレーベンバーグ・マーカート法などの公知の目的関数最小化方法を使用できる。路面モデル照合部４０５によって得られた、車両１００と路面３０１の相対位置姿勢パラメータは、路面相対姿勢１５３として、単眼距離推定部４０６に出力される。また、次時刻での最適化の初期値として活用するために、路面相対姿勢１５３として、ＲＡＭ１１２に格納される。次時刻では、路面相対姿勢１５３をＲＡＭ１１２から読み出し、初期値として目的関数を最小化する。そして、新たな三次元座標値から得られた新たな路面相対姿勢を路面相対姿勢１５３として、ＲＡＭ１１２に格納する。なお、路面モデル照合部４０５は路面モデルを用いずに、他の方法で車両１００の相対位置姿勢を求めてもよい。
　単眼距離推定部４０６は、路面モデル照合部４０５から出力された路面相対姿勢１５３及び路面モデル１４２を用いて、対象物までの正確な距離を計算する。路面モデル１４２と路面相対姿勢１５３とカメラパラメータ初期値１４１から、カメラ１２１～１２４と路面３０１の相対関係を公知の幾何的な解法によって計算できる。計算された相対関係を用いて、対象物の路面設置点に該当する画素に基づいて、対象物までの距離を計算し、推定距離として出力する。この対象物は、例えば、カメラ１２１～１２４に設けられた、ＡＩ等を用いた画像認識機能によって検知するとい。対象物までの距離は、カメラ１２１～１２４の共通撮像領域２１１、２１２以外の部分でも計算でき、複数カメラで広い範囲に渡って、路面が平坦でない場合でも正しく計算できる。
　図５（ａ）、図５（ｂ）は、座標統合と路面モデル照合の処理を示す模式図である。図５（ａ）、図５（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。
　第一共通撮像領域観測部４０２で観測された第一共通撮像領域２１１における路面３０１の三次元座標値５０１は、カメラ１２１のカメラ座標系で表されており、第二共通撮像領域観測部４０３で観測された第二共通撮像領域２１２における路面３０１の三次元座標値５０２は、カメラ１２３のカメラ座標系で表されている。三次元座標値５０１と三次元座標値５０２は、相対関係が不明である。ここで、座標統合部４０４が、カメラパラメータ初期値１４１の外部パラメータを用いて、カメラ座標系の三次元座標値５０１を車両１００の座標系の三次元座標値５０３に変換し、カメラ座標系の三次元座標値５０２を車両１００の座標系の三次元座標値５０４に変換する。三次元座標値５０３と三次元座標値５０４は同一座標系で表わされており、相対関係が明らかである。路面モデル照合部４０５が、三次元座標値５０３と三次元座標値５０４を路面モデル１４２に照合することによって、車両１００と路面３０１の相対関係を求めることができる。車両１００の片側だけでなく、車両１００の両側の領域を活用し、さらに路面モデル１４２の当て嵌めによって、各共通撮像領域で個別に路面を推定するより、広い範囲での観測値とモデルによる制約によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度を向上できる。
　図５（ｃ）、図５（ｄ）、図５（ｅ）は、路面モデル１４２の一例を示す図である。図５（ｃ）は、勾配２％の二つの平面が接続されている形のモデルである。図５（ｄ）は、勾配２％の二つの平面の頂部が曲面となっている形のモデルである。図５（ｅ）は、路面頂部の種々の形状や、路面平面の幅に対応するために、路面頂部、及び、路面の広さを除外した形のモデルである。除外された部分に近い対応点は、路面と三次元座標値の照合時、目的関数の誤差総和に含めないことによって、柔軟な照合できる。また、片側３車線で、中央分離帯がある高速道路などでは、片側３車線の全幅にわたって平面になるケースもある。図５（ｃ）～図５（ｅ）の路面モデル１４２は全幅が一つの平面になるケースも対応可能である。すなわち、路面モデル１４２を左又は右に大きくスライドすると、観測範囲全域が平坦な路面になる。ここで示した例では、道路横断勾配の形状にあわせて２平面を接続したモデルの例を示すが、２以上の複数平面を接続した形のモデルでもよい。
　図６は、第一共通撮像領域観測部４０２が実行する処理のフローチャートである。第一共通撮像領域観測部４０２では、センサ値取得部４０１から画像を受け取るたびに、ＣＰＵ１１０が以下の各ステップの処理を実行する。
　特徴点検出ステップ６０１では、センサ値取得部４０１から得られる二つの画像それぞれから、画像の中で特徴的な点である特徴点（例えば、路面ペイントのコーナー点）を検出する。検出範囲は、二つの画像の共通撮像領域内の路面である。ある画素が共通撮像領域内で路面上であるかは、カメラパラメータ初期値１４１の姿勢角と路面勾配の既知の関係に、ある程度の誤差範囲を持たせて計算した部分で判定してもよいし、撮影された画像上の立体物と路面を弁別して判定してもよい。特徴点は、ハリスオペレータなど公知の特徴点抽出技術を使用して検出する。また、ＯＲＢなどの公知技術によって、特徴点を表現する情報を付属して、次の特徴点対応ステップで使用してもよい。次にステップ６０２に進む。
　特徴点対応ステップ６０２では、特徴点検出ステップ６０１で得られた、二つの画像それぞれの特徴点の中から、同一対象を表す点を対応付ける。例えば、ステップ６０１で特徴点ごとに得られた特徴点情報を用いて特徴点を対応付ける。具体的には、一方の画像の特徴点と特徴点情報が最も近い特徴点を他方の画像から選択し、二つの特徴点を対応付ける。特徴点座標、及び特徴点の対応付け精度を向上するため、公知のあらゆる技術を使用してよい。次にステップ６０３に進む。
　距離測定ステップ６０３では、ステップ６０２で得られた二つの画像間の対応関係を用いて、各点の三次元距離を計算する。三次元距離の計算は、ＲＯＭ１１１に格納されたカメラパラメータ初期値１４１から得られる二つのカメラ１２１と１２２の幾何関係を用いて、対応する二つの座標点に三角測量の原理を適用して計算できる。ここでは説明上、カメラ１２１を基準として、カメラ１２１から見た距離として計算するが、カメラ１２２を基準として計算してもよい。この場合、後段で基準となったカメラに応じて幾何計算をすれば問題ない。精度を担保するために、公知あらゆる技術を使用して計算してよい。次にステップ６０４に進む。
　三次元座標計算ステップ６０４では、ステップ６０３で得られたカメラ１２１の画像上の座標及び距離から、三次元座標値を計算する。カメラパラメータ初期値１４１を使用して、公知の幾何計算によって、画像上の座標及び距離から三次元座標を計算できる。ここで計算される三次元座標は、カメラ１２１のカメラ座標となっている。各点の三次元座標を出力して、フローチャートを終了する。
　以上に、図６を参照して、第一共通撮像領域観測部４０２が実行する処理を説明したが、カメラ画像とそれに伴うカメラパラメータ等が異なるだけで第二共通撮像領域観測部４０３が実行する処理も同じである。
　＜変形例１＞
　図７（ａ）、図７（ｂ）は、座標統合と路面モデル照合の処理の変形例を示す模式図である。図７（ａ）、図７（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。図７（ａ）、図７（ｂ）は、図５（ａ）、図５（ｂ）の変形例であり、共通部分の説明は省略し、差分を説明する。
　三次元座標値７０１は、第一共通撮像領域２１１で観測され、カメラ１２１のカメラ座標系で表された立体物の三次元座標値である。座標統合部４０４は、カメラパラメータ初期値１４１の外部パラメータを用いて、立体物の三次元座標値７０１を車両１００の座標系の三次元座標値７０２に変換する。三次元座標値５０３と５０４だけでなく、三次元座標値７０２を用いて路面モデル１４２と照合してもよい。この場合、三次元座標値７０２は垂直に並んでいると考え、垂直である場合に評価値が高くなるように路面モデル１４２の目的関数を設計する。
　図８は、第一共通撮像領域観測部４０２が実行する処理のフローチャートであり、図７に示す変形例に対応する。図８のフローチャートは、図６のフローチャートとほぼ同じであるため、共通部分の説明は省略し、差分を説明する。
　路面／立体物分離ステップ８０１では、共通撮像領域の観測点の中で、路面上の観測点と、立体物の観測点を分離する。例えば、ＡＩなどによる画像認識を使用して、ガードレール、電柱等、ポール等と認識された点を立体物にレベル付けし、路面ペイントして認識された点を路面上の点としてラベル付けして、観測点を分離するとよい。同様に立体物については、一つの立体物ごとに別のラベルを付してグルーピングする。このグルーピングされた点を矩形フィッティングし、矩形情報を付与する。付与された矩形情報は後段の路面モデル照合部４０５で、この矩形と路面モデル１４２が直交する場合に最小となる目的関数を設計して使用する。ここでラベルを付した三次元座標点を出力し、フローチャートを終了する。
　以上に、図８を参照して、第一共通撮像領域観測部４０２が実行する処理を説明したが、カメラ画像とそれに伴うカメラパラメータ等が異なるだけで第二共通撮像領域観測部４０３が実行する処理も同じである。
　＜変形例２＞
　図９（ａ）、図９（ｂ）は、座標統合と路面モデル照合の処理のさらなる変形例を示す模式図である。図９（ａ）、図９（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。図９（ａ）、図９（ｂ）は、図７（ａ）、図７（ｂ）の変形例であり、共通部分の説明は省略し、差分を説明する。
　三次元座標値９０１は、第一共通撮像領域２１１において、三次元座標値５０１及び７０１の次時刻に観測された立体物の三次元座標値である。すなわち、短時間では車両１００の姿勢が大きく変化していないという前提の下、第一共通撮像領域２１１の観測点を時系列的に統合する。同様に、三次元座標値９０２は、第二共通撮像領域２１２において、三次元座標値５０２の次時刻に観測された立体物の三次元座標値であり、第二共通撮像領域２１２の座標点を時系列的に統合したものである。ここで、座標統合部４０４により、カメラパラメータ初期値１４１の外部パラメータを用いて、三次元座標値９０１、９０２を車両１００の座標系に変換する。三次元座標値５０３と５０４だけでなく、三次元座標値７０２、９０１、９０２を用いて路面モデル１４２と照合する。この場合、三次元座標値９０１、９０２も垂直に並んでいると考え、垂直である場合に評価値が高くなるように路面モデル１４２の目的関数を設計する。
　この変形例によると、車両１００の両側のある時点で観測される路面点や立体物の点だけでなく、時系列的な路面点、立体物点も活用し、さらに路面モデル１４２への当て嵌めることによって、各共通撮像領域である時点の観測値で個別に推定するより、広い範囲での観測値とモデルによる制約によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度をさらに向上できる。
　図１０は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図であり、図９に示す変形例に対応する。図１０は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。図１０の機能ブロック図は、図４の機能ブロック図とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。
　距離推定プログラム１５０は、センサ値取得部４０１、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、時系列統合部１００１、路面モデル照合部４０５、単眼距離推定部４０６、及びオドメトリ推定部１００２を含む。時系列統合部１００１は、路面相対姿勢推定プログラム１４３に対応する機能ブロックの一つであり、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値について、時系列的に統合する。短時間では車両１００の姿勢が大きく変化していないという前提の下、三次元座標値を統合する。統合の際、前時刻から現時刻の間に車両１００の移動量を取得し、車両移動量からカメラの移動量を公知の幾何計算により計算することによって、三次元座標値を統合できる。車両移動量については、後述のオドメトリ推定部１００２より取得する。初回は、座標統合部４０４の出力をＲＡＭ１１２に書き出して記録し、次回以降は、前回時刻に記録された点群をＲＡＭ１１２から読み出して、座標統合部４０４から新たに得られた車両１００の座標系における点群と加えて保持する。統合する時間範囲は、パラメータとして調整できるとよい。統合された三次元座標値は、路面モデル照合部４０５及びＲＡＭ１１２に出力される。
　オドメトリ推定部１００２は、車速センサ１３１及び舵角センサ１３２から送信される車両１００の速度及び舵角を用いて、車両１００の運動を推定する。例えば、公知のデッドレコニングを用いてもよいし、カメラを用いた公知のビジュアルオドメトリ技術を用いて推定してもよいし、公知のカルマンフィルタ等を併用してもよい。車両運動推定結果を時系列統合部１００１に出力する。
　＜変形例３＞
　図１１は、本発明の変形例にかかるセンシング装置１０１を搭載した車両１００の構成を示すブロック図である。図１１に示すセンシング装置１０１は、図１に示すセンシング装置１０１とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。
　図１１に示すセンシング装置１０１は、図１に示すセンシング装置１０１に、カメラ１１０１、カメラ１１０２、及び車両制御装置１１８０が追加搭載される。カメラ１１０１とカメラ１１０２は、カメラ１２１～１２４と同様に車両１００の周囲に取り付けられ、車両１００の周囲を撮影する。カメラ１１０１、１１０２の取り付け方法は後述する。カメラ１１０１、１１０２の撮影範囲には、車両１００が走行する路面が含まれる。カメラ１１０１、１１０２と車両１００との位置及び姿勢の関係は、カメラパラメータ初期値１４１として、ＲＯＭ１１１に格納される。カメラ１１０１、１１０２は、レンズ及び撮像素子を有する。カメラ１１０１、１１０２の特性、例えばレンズの歪みを示すレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数、寸法などもカメラパラメータ初期値１４１としてＲＯＭ１１１に格納される。
　車両制御装置１１８０は、ＣＰＵ１１０から出力される情報、例えば、距離推定プログラム１１５０から出力される路面相対姿勢１５３を用いて、操舵装置、駆動装置、及び制動装置、アクティブサスペンション等を制御する。操舵装置は、車両１００のステアリングを操作する。駆動装置は、車両１００に駆動力を与える。駆動装置は、例えば車両１００のエンジンの目標回転数を増加して車両１００の駆動力を増加する。制動装置は、車両１００に制動力を与える。アクティブサスペンションは、油圧や空気圧などで動作するアクチュエータが伸縮する、又はばねのダンピング力の強弱調整など、走行中の様々な機器の動作を変更できる。
　図１２は、図１１に示す変形例のセンシング装置１０１における、車両１００、カメラ１２１～１２４、１１０１、１１０２、カメラ１２１の光軸２０１、カメラ１２２の光軸２０２、カメラ１２３の光軸２０３、カメラ１２４の光軸２０４、カメラ１１０１の光軸１２０１、カメラ１１０２の光軸１２０２、と第一共通撮像領域２１１、及び第二共通撮像領域２１２、第三共通撮像領域１２１３、第四共通撮像領域１２１４、第五共通撮像領域１２１５、第六共通撮像領域１２１６の関係の一例を示す図である。
　カメラ１１０１は、車両１００の前方に、光軸１２０１の方向を撮影するように、かつ、カメラ１２２、１２４との共通撮像領域を持つようにカメラ画角等選定し、取り付けられる。カメラ１１０１とカメラ１２２の共通撮像領域が第三共通撮像領域１２１３であり、カメラ１１０１とカメラ１２４の共通撮像領域が第四共通撮像領域１２１４である。カメラ１１０２は、車両１００の後方に、光軸１２０２の方向を撮影するように、かつ、カメラ１２１、１２３との共通撮像領域を持つようにカメラ画角等選定し、取り付けられる。カメラ１１０２とカメラ１２１の共通撮像領域が第五共通撮像領域１２１５であり、カメラ１１０２とカメラ１２３の共通撮像領域が第六共通撮像領域１２１６である。各共通撮像領域では、路面や立体物が撮像される。さらに、車両１００の周囲の俯瞰図を表示する周辺視カメラとしても機能するように、画角や角度等が合致するカメラを選定してもよい。各共通撮像領域２１１、２１２、１２１３～１２１６での撮像結果は、路面と車両１００の相対姿勢推定に使用される。図１２に示す変形例では、さらに広い範囲での観測値によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度を向上できる。
　図１３は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図であり、図１１に示す変形例に対応する。図１３は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。図１３の機能ブロック図は、図１０の機能ブロック図とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。
　図１３に示す共通視野距離測定プログラム１４４は、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、第三共通撮像領域観測部１３１３、第四共通撮像領域観測部１３１４、第五共通撮像領域観測部１３１５、及び第六共通撮像領域観測部１３１６を含む。また、共通視野距離測定プログラム１４４には、カメラ１２１～１２４、カメラ１１０１、１１０２から画像が入力される。
　第三共通撮像領域観測部１３１３は、センサ値取得部４０１から出力された複数カメラ１２２、１１０１が撮影した画像を用いて、第三共通撮像領域１２１３に撮影された路面３０１の三次元座標値を測定する。第四共通撮像領域観測部１３１４は、センサ値取得部４０１から出力された複数カメラ１２４、１１０１が撮影した画像を用いて、第四共通撮像領域１２１４に撮影された路面３０１の三次元座標値を測定する。第五共通撮像領域観測部１３１５は、センサ値取得部４０１から出力された複数カメラ１２１、１１０２が撮影した画像を用いて、第五共通撮像領域１２１５に撮影された路面３０１の三次元座標値を測定する。第六共通撮像領域観測部１３１６は、センサ値取得部４０１から出力された複数カメラ１２３、１１０２が撮影した画像を用いて、第六共通撮像領域１２１６に撮影された路面３０１の三次元座標値を測定する。各共通撮像領域観測部から出力される三次元座標値は、各カメラのカメラ座標系で表されており、カメラパラメータ初期値１４１の外部パラメータを用いて、カメラ座標系の三次元座標値を車両１００の座標系の三次元座標値に変換する。
　車両制御部１３２０は、路面モデル照合部４０５の出力である路面相対姿勢１５３を受け取り、車両１００を制御する。車両制御の一例としては、路面相対姿勢１５３から得られる車両１００のロール角やピッチ角の影響を低減するように、アクティブサスペンションを制御し、乗り心地を改善する等がある。その他の車両１００の姿勢角によって車両１００を制御してもよい。
　以上に説明したように、本発明の実施例のセンシング装置１０１は、共通撮像領域を有する少なくとも第一のセンサ（カメラ１２１）及び第二のセンサ（カメラ１２２）が取得した共通撮像領域の情報から自車両周辺の第一共通撮像領域２１１を観測する第一共通撮像領域観測部４０２と、共通撮像領域を有する少なくとも第三のセンサ（カメラ１２３）及び第四のセンサ（カメラ１２４）が取得した共通撮像領域の情報から第一共通撮像領域２１１と異なる第二共通撮像領域２１２を観測する第二共通撮像領域観測部４０３と、各センサの幾何関係と、第一共通撮像領域２１１及び第二共通撮像領域２１２で観測された情報の座標を統合する座標統合部４０４と、統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部（路面モデル照合部４０５）とを備えるので、道路勾配や車両姿勢の影響を低減して、測距離精度を向上できる。また、複数カメラによる両眼測距離時の精度を向上できる。
　また、共通撮像領域は、センサの光軸が交わる位置に配置されるので、光軸付近の歪みが少ない映像を使用して道路勾配や車両姿勢の影響を正確に補正できる。
　また、路面推定部（路面モデル照合部４０５）は、前記路面の点群情報と路面モデルを照合する路面モデル照合部４０５を有し、路面モデル照合部４０５は、路面の点群情報と路面モデル１４２との誤差が小さくなるように、路面の点群情報を路面モデル１４２に当て嵌めるので、道路勾配や車両姿勢の影響を正確に補正できる。
　また、第一共通撮像領域観測部４０２及び第二共通撮像領域観測部４０３は、路面点群情報と、路面に存在する物体を表す物体点群情報とを分離し（８０１）、路面推定部（路面モデル照合部４０５）は、路面点群情報と路面との誤差が小さくなり、物体点群情報が垂直に並ぶように路面モデルと照合するので、大きな誤りが生じることなく、道路勾配や車両姿勢の影響を正確に補正できる。
　また、路面推定部（路面モデル照合部４０５）は、第一の共通撮像領域観測部の出力を時系列統合し、第二の共通撮像領域観測部の出力を時系列統合する時系列統合部１００１を有するので、道路勾配や車両姿勢の影響を正確に補正でき、路面推定のロバスト性が向上する。
　また、六つの前記センサが取得した情報を受信し、路面推定部（路面モデル照合部４０５）は、前記六つのセンサのうち二つの組み合わせによる共通撮像領域で観測された情報の座標を統合し計算された点群情報に基づいて、自車両のピッチ角、車両ロール角を含む各センサと路面の相対姿勢を推定するので、多くのセンサを使用して、広い領域の情報を使用でき、道路勾配や車両姿勢の影響を正確に補正できる。また、複数カメラによる両眼測距離時の精度を向上でき、路面推定のロバスト性が向上する。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、センシング装置１０１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとセンシング装置１０１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号を指す。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。また、プログラムにより実現される機能の一部または全部がハードウェア回路やＦＰＧＡにより実現されてもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (11)

  1. 　共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、
    　共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、
    　前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、
    　前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備えることを特徴とするセンシング装置。
  2. 　請求項１に記載のセンシング装置であって、
    　前記共通撮像領域は、前記センサの光軸が交わる位置に配置されることを特徴とするセンシング装置。
  3. 　請求項１に記載のセンシング装置であって、
    　前記路面推定部は、前記路面の点群情報と路面モデルを照合することを特徴とするセンシング装置。
  4. 　請求項３に記載のセンシング装置であって、
    　前記路面推定部は、前記路面の点群情報と路面モデルとの誤差が小さくなるように、前記路面の点群情報を路面モデルに当て嵌めることを特徴とするセンシング装置。
  5. 　請求項１に記載のセンシング装置であって、
    　前記推定された相対姿勢から計算した補正値を参照して、測距する距離測定部を備えることを特徴とするセンシング装置。
  6. 　請求項１に記載のセンシング装置であって、
    　前記第一の共通撮像領域観測部及び前記第二の共通撮像領域観測部は、路面点群情報と、路面に存在する物体を表す物体点群情報とを分離することを特徴とするセンシング装置。
  7. 　請求項６に記載のセンシング装置であって、
    　前記路面推定部は、前記路面点群情報と路面との誤差が小さくなり、前記物体点群情報が垂直に並ぶように路面モデルと照合することを特徴とするセンシング装置。
  8. 　請求項１に記載のセンシング装置であって、
    　前記第一の共通撮像領域観測部の出力を時系列統合し、前記第二の共通撮像領域観測部の出力を時系列統合する時系列統合部を備えることを特徴とするセンシング装置。
  9. 　請求項１に記載のセンシング装置であって、
    　前記第一の共通撮像領域観測部は、前記自車両の進行方向左側の情報を取得し、
    　前記第二の共通撮像領域観測部は、前記自車両の進行方向右側の情報を取得することを特徴とするセンシング装置。
  10. 　請求項１に記載のセンシング装置であって、
    　六つのセンサが取得した情報を受信し、
    　前記路面推定部は、前記六つのセンサのうち二つの組み合わせによる共通撮像領域で観測された情報の座標を統合し計算された点群情報に基づいて、自車両のピッチ角、車両ロール角を含む各センサと路面の相対姿勢を推定することを特徴とするセンシング装置。
  11. 　共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、
    　共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、
    　前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、
    　前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備え、
    　前記推定された相対姿勢を用いて車両を制御することを特徴とする車両制御装置。
PCT/JP2022/004980 2021-06-17 2022-02-08 センシング装置及び車両制御装置 WO2022264491A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022001741.4T DE112022001741T5 (de) 2021-06-17 2022-02-08 Erfassungsvorrichtung und fahrzeugsteuervorrichtung
CN202280029045.4A CN117177891A (zh) 2021-06-17 2022-02-08 传感装置和车辆控制装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-100680 2021-06-17
JP2021100680A JP2023000076A (ja) 2021-06-17 2021-06-17 センシング装置及び車両制御装置

Publications (1)

Publication Number Publication Date
WO2022264491A1 true WO2022264491A1 (ja) 2022-12-22

Family

ID=84526968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004980 WO2022264491A1 (ja) 2021-06-17 2022-02-08 センシング装置及び車両制御装置

Country Status (4)

Country Link
JP (1) JP2023000076A (ja)
CN (1) CN117177891A (ja)
DE (1) DE112022001741T5 (ja)
WO (1) WO2022264491A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
JP2017536613A (ja) * 2014-12-04 2017-12-07 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車両カメラシステムのオンライン較正
JP2020087176A (ja) * 2018-11-29 2020-06-04 日立オートモティブシステムズ株式会社 外界認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020049109A (ja) 2018-09-28 2020-04-02 株式会社ユニバーサルエンターテインメント 遊技機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
JP2017536613A (ja) * 2014-12-04 2017-12-07 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車両カメラシステムのオンライン較正
JP2020087176A (ja) * 2018-11-29 2020-06-04 日立オートモティブシステムズ株式会社 外界認識装置

Also Published As

Publication number Publication date
JP2023000076A (ja) 2023-01-04
CN117177891A (zh) 2023-12-05
DE112022001741T5 (de) 2024-01-25

Similar Documents

Publication Publication Date Title
JP7072759B2 (ja) マルチセンサによる複合キャリブレーション装置及び方法
JP6821712B2 (ja) 自然光景中での統合センサの較正
CN107567412B (zh) 利用汽车相机使用车辆运动数据的对象位置测量
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
EP3032818B1 (en) Image processing device
CN108692719B (zh) 物体检测装置
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN110462682B (zh) 物体检测装置以及车辆
JP2020064056A (ja) 位置推定装置及び方法
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN106289250A (zh) 一种航向信息采集系统
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN106885523B (zh) 一种车辆路径跟随误差视觉测量优化方法
CN116442707B (zh) 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法
WO2022264491A1 (ja) センシング装置及び車両制御装置
JP2018136739A (ja) キャリブレーション装置
WO2020113425A1 (en) Systems and methods for constructing high-definition map
JP7456857B2 (ja) 自己位置推定装置
JP6890293B2 (ja) カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
US20220300744A1 (en) Information processing device and information processing method
WO2022153586A1 (ja) 自己地図生成装置、および自己位置推定装置
WO2021095354A1 (ja) 外界認識装置、外界認識方法、および外界認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824492

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112022001741

Country of ref document: DE