WO2020100902A1 - 白線位置推定装置及び白線位置推定方法 - Google Patents

白線位置推定装置及び白線位置推定方法 Download PDF

Info

Publication number
WO2020100902A1
WO2020100902A1 PCT/JP2019/044362 JP2019044362W WO2020100902A1 WO 2020100902 A1 WO2020100902 A1 WO 2020100902A1 JP 2019044362 W JP2019044362 W JP 2019044362W WO 2020100902 A1 WO2020100902 A1 WO 2020100902A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
lane
white line
vehicle
related state
Prior art date
Application number
PCT/JP2019/044362
Other languages
English (en)
French (fr)
Inventor
原　英之
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Publication of WO2020100902A1 publication Critical patent/WO2020100902A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a white line position estimation device and a white line position estimation method.
  • a white line is recognized based on a captured image captured by a camera that captures the front of the vehicle, and the traveling of the vehicle is controlled based on the white line (for example, see Patent Document 1).
  • the vehicle travel is controlled based on the conditions of the white line and the surrounding vehicles traveling around the host vehicle. Is required. Therefore, it is required to specify the lane position of an object around the host vehicle as information used for vehicle driving control.
  • the white line cannot be recognized due to a malfunction of the camera that images the front of the vehicle, the position of the white line cannot be specified, and the lane position of an object around the vehicle cannot be specified. Therefore, even if the white line cannot be recognized, it is required to be able to estimate the position of the white line although the reliability is reduced.
  • the present disclosure has been made in view of these points, and a white line position estimation device and a white line position estimation method that can hold the white line position information without being lost even when the white line cannot be recognized.
  • the purpose is to provide.
  • a white line position estimating device is based on information indicating the front of the host vehicle, the positional relationship between the host vehicle and the white line corresponding to the lane in which the host vehicle is traveling, and the curvature of the white line.
  • a lane-related state specifying unit that specifies a lane-related state indicating a lane width
  • a motion state detecting unit that detects a motion state of the own vehicle
  • the lane-related state is specified by the lane-related state specifying unit and
  • the position of the white line within a predetermined range from the own vehicle is estimated at predetermined intervals based on the lane-related condition and the motion condition, and the lane-related condition is estimated.
  • the lane-related state is not specified by the state specifying unit and the movement state is detected by the movement state detection unit
  • the lane-related state is estimated by estimating the positional relationship based on the movement state.
  • the white line position estimating unit that estimates the position of the white line at the predetermined time intervals based on the estimated lane-related state and the motion state.
  • the white lane position estimation unit when the lane-related state is specified by the lane-related state specifying unit, when the lane-related state is not specified, when the lane-related state is not specified, the lane-related state is not specified.
  • the position of the white line may be estimated based on the past lane-related state that is the lane-related state specified before the change, the lane-related state estimated based on the exercise state, and the exercise state.
  • the white line position estimation unit estimates the position of the white line by increasing the influence degree of the lane-related state estimated based on the motion state while reducing the influence degree of the past lane-related state as time passes. May be.
  • the white line position estimation unit if the lane-related state is not specified by the lane-related state specifying unit, and the movement state is not detected by the movement state detection unit, the movement state of the own vehicle, While estimating the motion state when the host vehicle is traveling at a constant speed on a straight line, the lane-related state is estimated and estimated as the lane-related state when the host vehicle is traveling on the center of a straight road.
  • the position of the white line may be estimated based on the lane-related state and the estimated motion state.
  • the lane line position estimating unit determines whether the lane-related state is not specified by the lane-related state specifying unit and the movement state is detected by the movement-state detecting unit, and the lane-related state specifying unit determines the lane-related state.
  • the state is not specified and the exercise state is changed to a state in which the exercise state is not detected by the exercise state detection unit, a past exercise state that is the exercise state detected before the change in the exercise state is detected.
  • the position of the white line may be estimated based on the estimated motion state and the estimated lane-related state.
  • the white line position estimation unit may estimate the position of the white line by decreasing the influence degree of the past exercise state and increasing the estimated influence degree of the exercise state over time.
  • the white line position estimating unit based on the specific situation of the lane-related state in the lane-related state identifying unit, and the detection situation of the exercise state in the exercise state detection unit, the reliability of the position of the estimated white line It may be calculated.
  • a white line position estimating method is based on a positional relationship between a white line corresponding to a lane in which the vehicle is traveling and the vehicle based on information indicating a front of the vehicle executed by a computer. , A step of identifying a lane-related state indicating the curvature and a lane width of the white line, a step of detecting a motion state of the own vehicle, and a case in which the lane-related state is specified and the motion state is detected.
  • Estimating the position of the white line within a predetermined range from the own vehicle at predetermined intervals based on the lane-related state and the exercise state, when the lane-related state is not specified and the exercise state is detected A step of estimating the lane-related state by estimating the positional relationship based on the motion state, and estimating the position of the white line at the predetermined time intervals based on the estimated lane-related state and the exercise state; , Is provided.
  • the position information of the white line can be retained without being lost.
  • FIG. 1 is a diagram illustrating an outline of the lane identification device according to the present embodiment.
  • FIG. 2 is a diagram schematically showing the internal configuration of the vehicle according to the present embodiment.
  • FIG. 3 is a diagram showing the relationship between the X axis and the Y axis in the vehicle coordinate system.
  • FIG. 4 is a diagram showing an example in which the white line position identifying unit according to the present embodiment calculates a plurality of white line coordinates in front of the vehicle.
  • FIG. 5A is a diagram showing an example in which the white line position identifying unit according to the present embodiment calculates a plurality of white line coordinates behind the vehicle.
  • FIG. 1 is a diagram illustrating an outline of the lane identification device according to the present embodiment.
  • FIG. 2 is a diagram schematically showing the internal configuration of the vehicle according to the present embodiment.
  • FIG. 3 is a diagram showing the relationship between the X axis and the Y axis in the vehicle coordinate system.
  • FIG. 4 is a diagram
  • FIG. 5B is a diagram showing an example in which the white line position identifying unit according to the present embodiment calculates a plurality of white line coordinates behind the vehicle.
  • FIG. 6 is a diagram illustrating a method of calculating a lateral displacement and an azimuth based on a vehicle motion state according to the present embodiment.
  • FIG. 7 is a flowchart showing the flow of processing in the lane identifying apparatus according to this embodiment.
  • FIG. 1 is a diagram illustrating an outline of the lane identification device 10 according to the present embodiment.
  • the lane identification device 10 is, for example, a computer mounted on the vehicle V.
  • the lane identification device 10 is a device that identifies a lane in which a peripheral vehicle OV, which is an object around the vehicle V as the host vehicle, is traveling.
  • the object around the vehicle V is described as the peripheral vehicle OV traveling around the vehicle V, but the present invention is not limited to this.
  • the object around the vehicle V may be a peripheral vehicle OV stopped around the vehicle V or an obstacle such as a person, an animal, or a falling object.
  • the vehicle V is equipped with a camera that captures an area AC in front of the traveling direction of the vehicle V.
  • the lane identification device 10 functions as a white line position identification device, and based on the image of the area AC captured by the camera, the positional relationship between the white line corresponding to the lane in which the vehicle V is traveling and the vehicle V, the curvature of the white line, and the lane width.
  • the vehicle speed and yaw rate which are the motion states of the vehicle V, are detected while the lane-related state indicating the above is specified.
  • the lane identification device 10 When the lane identification device 10 can identify the lane-related state and can detect the motion state of the vehicle V, the lane identification device 10 detects the white lines before and after the vehicle V based on the lane-related state and the motion state of the vehicle V. Estimate the position. When the lane identification device 10 cannot detect the lane-related state due to a malfunction of the camera and can detect the motion state of the vehicle V, the white lines before and after the vehicle V are detected based on the motion state of the vehicle V. Estimate the position of. By doing so, the lane identification device 10 can estimate the position of the white line even if the white line cannot be recognized due to a malfunction of the camera or the like and the lane-related state cannot be identified.
  • the vehicle V is equipped with one or more obstacle detection sensors for identifying the surrounding vehicle OV.
  • the vehicle V is provided with six obstacle sensors.
  • Each of the six obstacle sensors detects the surrounding vehicle OV as an obstacle in the areas AL1 to AL6 around the vehicle V.
  • the lane identification device 10 identifies the positions of the left and right ends of the surrounding vehicle OV based on the detection situation of the surrounding vehicle OV in the surrounding areas AL1 to AL6 by the obstacle detection sensor.
  • the lane identification device 10 identifies the lane in which the peripheral vehicle OV is traveling based on the estimated position of the white line and the positions of the vertices of the identified peripheral vehicle OV. By doing so, the lane identification device 10 can identify the situation of the surrounding vehicle OV traveling around the vehicle V and can assist the safe lane change.
  • the lane identification device 10 will be described in detail below.
  • FIG. 2 is a diagram schematically showing the internal configuration of the vehicle V according to the present embodiment.
  • the vehicle V includes a camera 1, a vehicle speed sensor 2, a yaw rate sensor 3, an obstacle detection sensor 4, and a lane identifying device 10.
  • the camera 1 is provided at the front of the vehicle V.
  • the camera 1 is provided, for example, at the center position of the vehicle V in the width direction.
  • the camera 1 photographs the front of the vehicle V.
  • the camera 1 captures the front of the vehicle V by capturing an image of the front of the vehicle V at predetermined time intervals (for example, tens to hundreds of milliseconds), and outputs an image to the lane identifying device 10.
  • the vehicle speed sensor 2 detects the speed of the vehicle V.
  • the vehicle speed sensor 2 outputs speed information indicating the detected speed of the vehicle V to the lane identifying device 10.
  • the yaw rate sensor 3 detects a yaw rate generated in the vehicle V.
  • the yaw rate generated in the vehicle V is the speed of the yaw angle of the vehicle V.
  • the yaw rate sensor 3 outputs yaw rate information indicating the detected yaw rate to the lane identifying device 10.
  • the obstacle detection sensor 4 is, for example, a LIDAR (Light Detection And Ranging), which emits an electromagnetic wave around the vehicle V and receives an electromagnetic wave reflected from the surrounding vehicle OV as an obstacle to detect the surrounding vehicle OV. To detect.
  • LIDAR Light Detection And Ranging
  • the lane identification device 10 includes a storage unit 11 and a control unit 12.
  • the storage unit 11 is, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory).
  • the storage unit 11 stores various programs for causing the control unit 12 to function.
  • the control unit 12 is a calculation resource including a processor such as a CPU (Central Processing Unit) (not shown).
  • the control unit 12 executes the programs stored in the storage unit 11 so that the lane-related state identifying unit 121, the motion state detecting unit 122, the white line position estimating unit 123, the object identifying unit 124, and the lane identifying unit 125 can be used. Function.
  • the lane identification device 10 functions as a white lane position estimation device by including the lane related state identification unit 121, the motion state detection unit 122, and the white line position estimation unit 123, and the vehicle V corresponding to the lane in which the vehicle V is traveling. Estimate the white line positions before and after.
  • the vehicle coordinate system which is the coordinate system used in this embodiment, will be described.
  • FIG. 3 is a diagram showing the relationship between the X axis and the Y axis in the vehicle coordinate system.
  • a vehicle coordinate system is defined in which the center in the width direction of the forefront portion of the vehicle V, which is the mounting position of the camera 1, is the origin, and the X axis is in the right hand direction of the vehicle and the Y axis is in the front direction of the vehicle.
  • the white line indicates a lane marker or the like in addition to a solid line or a broken line that divides the lane in which the vehicle V is traveling.
  • the lane-related state identification unit 121 based on the image captured by the camera 1 as information indicating the traveling environment in front of the vehicle V, the positional relationship between the white line corresponding to the lane in which the vehicle V is traveling and the vehicle V, the white line A lane-related state indicating a curvature, a lane width, and the like is specified.
  • the lane-related state identification unit 121 identifies the lane-related state by identifying a state variable indicating the lane-related state.
  • the lane-related state identification unit 121 makes a lateral displacement Uc from the center of the vehicle V to the center of the lane, a tangent line of the white line, and the Y-axis, as state variables indicating the positional relationship between the white line and the vehicle V.
  • the azimuth angle ⁇ of the vehicle V which is the angle, is specified.
  • the lane-related state identification unit 121 identifies the curvature ⁇ of the white line, the rate of change ⁇ of the curvature of the white line in the vehicle front direction, and the lane width W as state variables.
  • the motion state detection unit 122 detects the motion state of the vehicle V. Specifically, the motion state detection unit 122 detects the speed as the motion state of the vehicle V by acquiring speed information indicating the speed of the vehicle V from the vehicle speed sensor 2. Further, the exercise state detection unit 122 detects the yaw rate as the exercise state of the vehicle V by acquiring the yaw rate information indicating the yaw rate of the vehicle V from the yaw rate sensor 3.
  • the white line position estimation unit 123 determines the state variable and the state variable. The positions of the white lines before and after the vehicle V within a predetermined range from the vehicle V are estimated at predetermined time intervals based on the motion state.
  • the white line position estimating unit 123 uses the lateral displacement Uc, the lane width W, the azimuth angle ⁇ , the curvature ⁇ of the white line, and the rate of change ⁇ of the curvature, which are identified by the lane related state identifying unit 121.
  • the white line coordinates in front of the vehicle V are calculated. Assuming that the position in front of the vehicle is Y i , the X coordinate of the white line on the left side at the position Y i is X Li , and the X coordinate of the white line on the right side is X Ri , X Li and X Ri are, for example, a white line shape by a cubic curve. By approximating, it is shown by the following formulas (1) and (2).
  • Y Li indicating the Y coordinate of the white line on the left side
  • Y Ri indicating the Y coordinate of the white line on the right side
  • the white line shape is defined by a quadratic curve for Y Li or Y Ri without considering the term of the rate of change ⁇ of curvature shown in Expressions (1) and (2). You may approximate.
  • FIG. 4 is a diagram showing an example in which the white line position estimation unit 123 according to the present embodiment calculates a plurality of white line coordinates in front of the vehicle.
  • the white line position estimation unit 123 goes from the front of the vehicle V toward the rear, and the position coordinates P L (i) (X Li , Y Li ) of the left white line (where i is 1 to 1).
  • N F ) and the position coordinates P R (i) (X Ri , Y Ri ) of the right white line are calculated to calculate the white line coordinates in front of the vehicle.
  • N F is the number of points on the front left white line or right white line.
  • the white line position estimation unit 123 calculates the white line coordinates behind the vehicle V using the lateral position and the lane width of the lane-related states and the motion state of the vehicle V.
  • 5A and 5B are diagrams showing an example in which the white line position estimation unit 123 according to the present embodiment calculates a plurality of white line coordinates behind the vehicle.
  • each coordinate value at time step k + 1 can be expressed as in the following equations (3) and (4) by two-dimensional coordinate conversion using each coordinate value at time step k.
  • the equation (3) corresponds to the coordinate transformation of the left rear white line
  • the equation (4) corresponds to the coordinate transformation of the right rear white line.
  • ⁇ is the amount of change in the yaw angle of the vehicle V between time steps.
  • the white line position estimation unit 123 calculates, as ⁇ , a product of the yaw rate ⁇ k of the vehicle V detected by the motion state detection unit 122 and the time increment ⁇ t k between time steps.
  • the coordinates (X k D , Y k D ) are the camera position after the time increment ⁇ t k between time steps as viewed from the vehicle coordinate system at time step k, that is, the movement destination of the origin of the vehicle coordinate system. ..
  • the white line position estimation unit 123 calculates the coordinates (X k D , Y k D ) by autonomous navigation using the velocity v k of the vehicle V detected by the motion state detection unit 122 and the yaw rate ⁇ k of the vehicle V. .. Then, when the white line position estimation unit 123 calculates ⁇ and the coordinates (X k D , Y k D ), it calculates each coordinate value at the time step k + 1 based on the equations (3) and (4).
  • the white line position estimation unit 123 calculates the coordinates corresponding to each point on the back white line at time k + 1 based on the following equations (5) to (8).
  • equations (5) and (6) represent the generation of a new point just beside the front of the vehicle.
  • U Lk and U Rk are lateral displacements up to the left white line and the right white line, respectively, estimated at the time step k, and the lateral displacements at the time step k are represented by the following equations (9) and (10). It is calculated based on U Ck and lane width W k .
  • Equation (7) shows the coordinate transformation associated with the vehicle motion for the existing left rear white line point
  • Equation (8) shows the coordinate transformation associated with the vehicle motion for the existing right rear white line point.
  • N B is the number of points on the left or right white line on the rear side.
  • the distance of the lane behind which the lane determination is performed is, for example, up to about 300 m from the front of the vehicle. Therefore, when performing the above calculation, the white line position estimation unit 123 deletes points whose distance from the vehicle front surface is equal to or greater than a predetermined threshold value after updating the coordinates of the rear point at each time step. ..
  • the lane-related state identification unit 121 cannot identify the lane-related state due to a defect of the camera 1, or when the exercise state detection unit 122 cannot detect the exercise state due to a defect of the vehicle speed sensor 2 or the yaw rate sensor 3 or the like. There is.
  • the white line position estimating unit 123 sets the state variable indicating the lane-related state as a state variable.
  • the included lane width is regarded as a predetermined width, and the lane-related state is estimated by estimating the positional relationship between the white line and the vehicle V based on the motion state. Then, the white line position estimation unit 123 estimates the position of the white line at predetermined intervals based on the estimated lane-related state and motion state.
  • the white lane position estimating unit 123 does not specify the lane-related state when the lane-related state specifying unit 121 changes the state in which the lane-related state is specified to a state in which the lane-related state is not specified.
  • the state variable specified last is the past state variable.
  • the white line position estimation unit 123 estimates the position of the white line based on the past state variable, the state variable estimated based on the exercise state detected by the exercise state detection unit 122, and the exercise state.
  • the white line position estimating unit 123 estimates the position of the white line by decreasing the influence degree of the past state variable and increasing the influence degree of the state variable estimated based on the motion state as time passes.
  • FIG. 6 is a diagram illustrating a method of calculating the lateral displacement Uc and the azimuth angle ⁇ according to the present embodiment.
  • the vehicle moves from the front center of the vehicle V to the vehicle.
  • the angle formed by the line extending toward the center of gravity P of V and the tangent to the arc on the front surface of the vehicle V is the azimuth angle ⁇ .
  • a predetermined width for example, 3.5 m
  • the white line position estimation unit 123 sets the past state variable as A 3 , and the state variable estimated or regarded as a predetermined value based on the motion state as A 2, and each state variable A at time t based on the following equation (11). Calculate new .
  • w 2 and w 3 are weighting factors indicating the degree to which A 2 and A 3 are applied to the calculation of the X coordinate of the white line.
  • the white line position estimation unit 123 uses the weighting factors w 2 and w corresponding to each time based on the following equations (12) and (13) until the value of w 2 becomes 1 and the value of w 3 becomes 0. Update 3 .
  • ⁇ t is a time step
  • ⁇ is a coefficient indicating the speed at which the weighting coefficient is updated.
  • the white line position estimation unit 123 may change ⁇ based on the tendency of steering or acceleration / deceleration of the vehicle V. For example, the white line position estimation unit 123 may increase the value of ⁇ when the vehicle V tends to be steered more frequently than when the vehicle V is not steered frequently.
  • the white line position estimation unit 123 calculates Equations (1) to (10) by using the state variable A new at each time calculated based on Equations (11) to (13) and the detected motion state,
  • the lane-related state identification unit 121 does not identify the lane-related state and the movement state detection unit 122 changes to a state in which the movement state is detected
  • the X coordinate of the front and rear white line of the vehicle V at each time is calculated.
  • the state variable is specified and the motion state is detected from the state in which the lane-related state specifying unit 121 does not specify the state variable and the motion state detecting unit 122 detects the motion state.
  • the value of w 2 is set to 0 and the value of w 3 is set to 1 immediately after the change, and based on the specified state variable and the detected motion state, equations (1) to (10) Is calculated to calculate the X coordinate of the white line in front of and behind the vehicle V at each time.
  • the white line position estimating unit 123 indicates the motion state of the vehicle V as a straight line. Is estimated as the motion state when the vehicle is traveling at a constant speed, and the state variable indicated by the lane-related state is estimated as the state variable when the vehicle V is traveling in the straight lane center. Then, the white line position estimation unit 123 estimates the position of the white line based on the estimated state variable and motion state.
  • the state variable is not specified by the lane-related state specifying unit 121, and the state variable is not specified from the state in which the motion state is detected by the motion state detecting unit 122.
  • the state has changed to a state in which the motion state has not been detected
  • the motion state detected last among the motion states detected before the state has changed to the state in which the motion state has not been detected is defined as the past motion state.
  • the white line position estimation unit 123 sets the last estimated state variable among the state variables estimated before the movement state is not detected as the past estimated state variable.
  • the white line position estimation unit 123 estimates the position of the white line based on the past motion state, the past state variable, the estimated motion state, and the estimated state variable.
  • the white line position estimation unit 123 estimates the position of the white line by decreasing the influence degree of the past motion state and the past estimated state variable and increasing the estimated influence degree of the motion state and the state variable over time.
  • a predetermined speed for example, 60 km / h
  • the white line position estimating unit 123 considers the case where the vehicle V is traveling in the center of a straight lane, and estimates the curvature ⁇ to be 0 m ⁇ 1 , the azimuth ⁇ to be 0 deg, and the lateral displacement Uc to be 0 m. Estimate variables.
  • w 1 and w 2 are weighting factors indicating the degree to which B 1 and B 2 are applied to the calculation of the X coordinate of the white line.
  • the white line position estimation unit 123 uses the weighting factor w 1 corresponding to each time based on the following equations (15) and (16) until the value of w 1 becomes 1 and the value of w 2 becomes 0. , W 2 are updated.
  • ⁇ t is a time step
  • ⁇ is a coefficient indicating the speed at which the weighting coefficient is updated.
  • the white line position estimation unit 123 may change ⁇ based on the tendency of steering or acceleration / deceleration.
  • the white line position estimating unit 123 calculates the equations (1) to (10) using the motion state and the state variable B new calculated at each time based on the equations (14) to (16), thereby calculating the lane-related state.
  • the lane-related state is not identified by the identifying unit 121 and the exercising state is not detected by the exercising state detecting unit 122, the X coordinate of the front and rear white line of the vehicle V at each time is calculated.
  • the state variable is not specified by the lane-related state specifying unit 121, and the motion variable is not detected by the motion state detecting unit 122.
  • the value of w 1 is set to 0 and the value of w 2 is set to 1 immediately after the change, and based on the estimated state variable and the detected motion state, equations (1) to ( By calculating 10), the X coordinate of the white line in front of and behind the vehicle V at each time is calculated.
  • the white line position estimation unit 123 indicates the reliability of the estimation accuracy of the white line position based on the lane-related state identification situation in the lane-related state identification unit 121 and the exercise state detection situation in the exercise state detection unit 122.
  • a reliability value may be calculated as the reliability information.
  • the confidence value is set to a numerical value from 1 to 3. When the reliability value is 3, the reliability is highest and the reliability decreases as the reliability value approaches 1.
  • the white line position estimation unit 123 determines the reliability value. Set to 3. If the lane-related state identifying unit 121 has not identified the state variable indicating the lane-related state and the motion state detecting unit 122 has detected the motion state of the vehicle V, the reliability value is set to w 3 . The value obtained by adding 2 is used. If the lane-related state specifying unit 121 does not specify the state variable indicating the lane-related state and the motion state detecting unit 122 does not detect the motion state of the vehicle V, the reliability value is set to w 2 . Let 1 be the value added.
  • the white line position estimating unit 123 may output the calculated reliability value to the lane identifying unit 125. By doing so, the certainty can be added to the lane in which the peripheral vehicle OV specified by the lane specifying unit 125 of the lane specifying device 10 is located.
  • the lane identifying device 10 estimates the white line position to identify the lane in which the surrounding vehicle OV is located.
  • the reliability value is set to 0.
  • the white line position may not be estimated and the lane in which the surrounding vehicle OV is located may not be specified.
  • the object identifying unit 124 identifies the positions of the four vertices of the rectangle and the center position of the rectangle when the surrounding vehicle OV as an object around the vehicle V is regarded as a rectangle at each time step. For example, the object identifying unit 124 identifies the position of each vertex of the surrounding vehicle OV as shown below.
  • the object specifying unit 124 based on the obstacle detection state by the single or plural obstacle detection sensors 4, in the vehicle coordinate system of a plurality of point groups indicating obstacles as the surrounding vehicle OV in the vehicle coordinate system. Specify the coordinates.
  • the object identifying unit 124 identifies the vehicle width, vehicle length, and direction of the surrounding vehicle OV based on the coordinates of the identified plurality of points.
  • the object identifying unit 124 determines, based on the identified vehicle width, vehicle length, and direction of the surrounding vehicle OV, a rectangular bounding box indicating the surrounding vehicle OV at a position corresponding to the point cloud.
  • the coordinates of each vertex are specified as the coordinates indicating the surrounding vehicle OV.
  • the object identifying unit 124 identifies the center position of the bounding box when the bounding box is arranged at the position corresponding to the point group as coordinates indicating the center position of the surrounding vehicle OV.
  • the lane identifying unit 125 identifies the lane in which the peripheral vehicle OV traveling around the vehicle V is traveling at each time step.
  • the lane specifying unit 125 based on the white line position estimated by the white line position estimating unit 123 and the positions of the vertices of the peripheral vehicle OV as the object specified by the object specifying unit 124, is based on the white line position as a reference.
  • the left lane position and the right lane position of the vehicle OV are specified.
  • the lane identifying unit 125 identifies the lane in which the peripheral vehicle OV is located based on the lane position at the left end and the lane position at the right end.
  • the lane identifying unit 125 may add the reliability calculated by the white line position estimating unit 123 to the lane in which the identified peripheral vehicle OV is located and output the lane.
  • FIG. 7 is a flowchart showing the flow of processing in the lane identification device 10 according to this embodiment.
  • the lane identification device 10 shall perform the process which concerns on this flowchart in each time step.
  • the lane-related state identification unit 121 and the motion state detection unit 122 identify the state variable and the motion state of the vehicle V, and also calculate the reliability of the specific situation of the state variable and the motion state (S1). Subsequently, the white line position estimation unit 123 estimates the white line position with respect to the lane in which the vehicle V is traveling, based on the state of the state variable specified in S1 and the state of detection of the motion state (S2).
  • the object identifying unit 124 identifies the coordinates of each vertex of the peripheral vehicle OV as an object (S3).
  • the lane identifying unit 125 identifies the positions of the left and right ends of the surrounding vehicle OV based on the white line position estimated in S2 and the coordinates of each vertex of the surrounding vehicle OV identified in S3 (S4).
  • the lane specifying unit 125 specifies the position of the peripheral vehicle OV on the lane based on the positions of the left and right ends of the specified peripheral vehicle OV (S5). Subsequently, the lane identifying unit 125 outputs information indicating the position on the lane of the peripheral vehicle OV identified in S5 and reliability information indicating reliability when the white line position is estimated (S6).
  • the lane identifying device 10 identifies the positional relationship between the white line corresponding to the lane in which the vehicle V is traveling and the vehicle V, the curvature of the white line, and the state variable indicating the lane width.
  • the position of the white line within the predetermined range from the vehicle V is estimated at predetermined time intervals based on the state variable and the motion state, and the state variable is not specified.
  • the state variable is estimated by estimating the positional relationship based on the motion state, and the position of the white line is estimated at predetermined intervals based on the estimated state variable and the motion state.
  • the present disclosure has been described above using the embodiments, the technical scope of the present disclosure is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. is there.
  • the specific embodiment of the distribution / integration of the device is not limited to the above-described embodiment, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units to be configured.
  • You can Further, a new embodiment generated by an arbitrary combination of a plurality of embodiments is also included in the embodiments of the present disclosure. The effect of the new embodiment produced by the combination has the effect of the original embodiment.
  • the white line position estimation device and the white line position estimation method of the present disclosure are useful in that the white line position information can be retained without being lost even when the white line cannot be recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車線特定装置１０は、自車両の前方の走行環境を示す情報に基づいて、自車両が走行する車線に対応する白線と自車両との位置関係、白線の曲率及び車線幅等を示す車線関連状態を特定する車線関連状態特定部１２１と、自車両の運動状態である車速とヨーレート等を検出する運動状態検出部１２２と、車線関連状態が特定されるとともに運動状態が検出された場合には、当該車線関連状態及び当該運動状態に基づいて所定時間おきに自車両から前後方向の所定範囲内の白線の位置を推定し、車線関連状態が特定されず、運動状態が検出された場合には、当該運動状態に基づいて位置関係等を推定することにより車線関連状態を推定し、推定した車線関連状態及び当該運動状態に基づいて所定時間おきに白線の位置を推定する白線位置推定部１２３と、を備える。

Description

白線位置推定装置及び白線位置推定方法
　本開示は、白線位置推定装置及び白線位置推定方法に関する。
　従来、車両の前方を撮像するカメラにより撮像された撮像画像に基づいて白線を認識し、当該白線に基づいて車両の走行を制御することが行われている（例えば、特許文献１を参照）。
日本国特開２０１５－１４１６１１号公報
　ところで、車線変更等を伴う高度な自動運転を実現する際あるいは運転者が安全に車線変更を実施する際、白線及び自車両の周辺を走行する周辺車両の状況に基づいて車両の走行を制御することが求められる。このため、車両の運転制御に用いる情報として、自車両の周辺の物体の車線位置を特定することが求められている。
　これに対し、車両の前方を撮像するカメラの不具合等により白線を認識できない場合、白線の位置が特定できず、自車両の周辺の物体の車線位置を特定することができない。このため、白線を認識できない場合であっても、信頼性は低下するものの、白線の位置を推定できるようにすることが求められている。
　そこで、本開示はこれらの点に鑑みてなされたものであり、白線を認識できない場合であっても、白線の位置情報を失わずに保持することができる白線位置推定装置及び白線位置推定方法を提供することを目的とする。
　本開示の第１の態様に係る白線位置推定装置は、自車両の前方を示す情報に基づいて、前記自車両が走行する車線に対応する白線と前記自車両との位置関係、前記白線の曲率及び車線幅を示す車線関連状態を特定する車線関連状態特定部と、前記自車両の運動状態を検出する運動状態検出部と、前記車線関連状態特定部により前記車線関連状態が特定されるとともに前記運動状態検出部により前記運動状態が検出された場合には、前記車線関連状態及び前記運動状態に基づいて所定時間おきに前記自車両から所定範囲内の前記白線の位置を推定し、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出された場合には、前記運動状態に基づいて前記位置関係を推定することにより前記車線関連状態を推定し、推定した車線関連状態及び前記運動状態に基づいて前記所定時間おきに前記白線の位置を推定する白線位置推定部と、を備える。
　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されている状態から、前記車線関連状態が特定されない状態に変化した場合には、前記車線関連状態が特定されない状態に変化する前に特定された車線関連状態である過去車線関連状態と、前記運動状態に基づいて推定した車線関連状態と、前記運動状態とに基づいて前記白線の位置を推定してもよい。
　前記白線位置推定部は、時間の経過に従って、前記過去車線関連状態の影響度合いを小さくするとともに、前記運動状態に基づいて推定した車線関連状態の影響度合いを大きくして前記白線の位置を推定してもよい。
　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されなかった場合には、前記自車両の運動状態を、前記自車両が直線を定速走行している場合の運動状態と推定するとともに、前記車線関連状態を、前記自車両が直線路の中心を走行している場合の車線関連状態と推定し、推定した車線関連状態及び推定した運動状態に基づいて前記白線の位置を推定してもよい。
　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されている状態から、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されない状態に変化した場合には、前記運動状態が検出されない状態に変化する前に検出された前記運動状態である過去運動状態と、前記推定した運動状態と、前記推定した車線関連状態とに基づいて前記白線の位置を推定してもよい。
　前記白線位置推定部は、時間の経過に従って、前記過去運動状態の影響度合いを小さくするとともに、前記推定した運動状態の影響度合いを大きくして前記白線の位置を推定してもよい。
　前記白線位置推定部は、前記車線関連状態特定部における前記車線関連状態の特定状況と、前記運動状態検出部における前記運動状態の検出状況とに基づいて、推定した前記白線の位置の信頼度を算出してもよい。
　本開示の第２の態様に係る白線位置推定方法は、コンピュータが実行する、自車両の前方を示す情報に基づいて、前記自車両が走行する車線に対応する白線と前記自車両との位置関係、前記白線の曲率及び車線幅を示す車線関連状態を特定するステップと、前記自車両の運動状態を検出するステップと、前記車線関連状態が特定されるとともに前記運動状態が検出された場合には、前記車線関連状態及び前記運動状態に基づいて所定時間おきに前記自車両から所定範囲内の前記白線の位置を推定し、前記車線関連状態が特定されず、前記運動状態が検出された場合には、前記運動状態に基づいて前記位置関係を推定することにより前記車線関連状態を推定し、推定した車線関連状態及び前記運動状態に基づいて前記所定時間おきに前記白線の位置を推定するステップと、を備える。
　本開示によれば、白線を認識できない場合であっても白線の位置情報を失わずに保持することができるという効果を奏する。
図１は、本実施形態に係る車線特定装置の概要を説明する図である。 図２は、本実施形態に係る車両の内部構成を模式的に示す図である。 図３は、車両座標系におけるＸ軸とＹ軸との間の関係を示す図である。 図４は、本実施形態に係る白線位置特定部が車両前方の複数の白線座標を算出する例を示す図である。 図５Ａは、本実施形態に係る白線位置特定部が車両後方の複数の白線座標を算出する例を示す図である。 図５Ｂは、本実施形態に係る白線位置特定部が車両後方の複数の白線座標を算出する例を示す図である。 図６は、本実施形態に係る車両運動状態に基づく横変位及び方位角の算出方法を説明する図である。 図７は、本実施形態に係る車線特定装置における処理の流れを示すフローチャートである。
　図１は、本実施形態に係る車線特定装置１０の概要を説明する図である。車線特定装置１０は、例えば、車両Ｖに搭載されるコンピュータである。車線特定装置１０は、自車両としての車両Ｖの周辺の物体としての周辺車両ＯＶが走行している車線を特定する装置である。なお、本実施形態では、車両Ｖの周辺の物体が、車両Ｖの周囲を走行する周辺車両ＯＶであるものとして説明を行うが、これに限らない。車両Ｖの周辺の物体は、車両Ｖの周辺に停止している周辺車両ＯＶ、人や動物や落下物等の障害物であってもよい。
　車両Ｖには、車両Ｖの走行方向の前方の領域ＡＣを撮影するカメラが搭載されている。車線特定装置１０は、白線位置特定装置として機能し、カメラが撮影した領域ＡＣの映像に基づいて、車両Ｖが走行する車線に対応する白線と車両Ｖとの位置関係、白線の曲率及び車線幅等を示す車線関連状態を特定するとともに、車両Ｖの運動状態である車速とヨーレートを検出する。車線特定装置１０は、車線関連状態を特定できているとともに、車両Ｖの運動状態を検出できている場合には、当該車線関連状態及び車両Ｖの運動状態に基づいて車両Ｖの前後の白線の位置を推定する。車線特定装置１０は、カメラの不具合等により車線関連状態を特定できておらず、車両Ｖの運動状態を検出できている場合には、当該車両Ｖの運動状態に基づいて車両Ｖの前後の白線の位置を推定する。このようにすることで、車線特定装置１０は、カメラの不具合等により白線を認識できず、車線関連状態を特定できない場合であっても白線の位置を推定することができる。
　車両Ｖには、周辺車両ＯＶを特定するための障害物検出センサが単数又は複数搭載されている。図１に示す例では、車両Ｖには６つの障害物センサが設けられている。６つの障害物センサのそれぞれは、車両Ｖの周囲の領域ＡＬ１～ＡＬ６における障害物としての周辺車両ＯＶを検出する。車線特定装置１０は、障害物検出センサによる周囲の領域ＡＬ１～ＡＬ６における周辺車両ＯＶの検出状況に基づいて、周辺車両ＯＶの左右端の位置を特定する。
　車線特定装置１０は、推定した白線の位置と、特定した周辺車両ＯＶの各頂点の位置とに基づいて、周辺車両ＯＶが走行している車線を特定する。このようにすることで、車線特定装置１０は、車両Ｖの周辺を走行する周辺車両ＯＶの状況を特定し、安全な車線変更の支援を行うことができる。以下に、車線特定装置１０の詳細な説明を行う。
［車両Ｖの構成］
　車線特定装置１０の詳細な説明を行うにあたり、車両Ｖの内部構成について説明する。図２は、本実施形態に係る車両Ｖの内部構成を模式的に示す図である。車両Ｖは、カメラ１と、車速センサ２と、ヨーレートセンサ３と、障害物検出センサ４と、車線特定装置１０とを備える。
　カメラ１は、車両Ｖの最前部に設けられている。カメラ１は、例えば、車両Ｖの幅方向の中心位置に設けられている。カメラ１は、車両Ｖの前方を撮影する。カメラ１は、所定時間（例えば、数十ミリ秒から数百ミリ秒）おきに車両Ｖの前方を撮像することにより車両Ｖの前方を撮影し、映像を車線特定装置１０に出力する。
　車速センサ２は、車両Ｖの速度を検出する。車速センサ２は、検出した車両Ｖの速度を示す速度情報を車線特定装置１０に出力する。
　ヨーレートセンサ３は、車両Ｖに生じるヨーレートを検出する。車両Ｖに生じるヨーレートとは、車両Ｖのヨー角の速度である。ヨーレートセンサ３は、検出したヨーレートを示すヨーレート情報を車線特定装置１０に出力する。
　障害物検出センサ４は、例えば、ＬＩＤＡＲ（Light Detection And Ranging）であり、車両Ｖの周囲に電磁波を発信し、障害物としての周辺車両ＯＶから反射された電磁波を受信することにより、周辺車両ＯＶを検出する。
［車線特定装置１０の構成］
　続いて、図２を参照しながら、車線特定装置１０の構成について説明する。車線特定装置１０は、図２に示すように、記憶部１１と、制御部１２とを備える。
　記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。
　制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されているプログラムを実行することにより、車線関連状態特定部１２１、運動状態検出部１２２、白線位置推定部１２３、物体特定部１２４、及び車線特定部１２５として機能する。
　車線特定装置１０は、車線関連状態特定部１２１、運動状態検出部１２２、及び白線位置推定部１２３を備えることにより、白線位置推定装置として機能し、車両Ｖが走行する車線に対応する車両Ｖの前後の白線位置を推定する。まず、本実施形態において用いる座標系である車両座標系について説明する。図３は、車両座標系におけるＸ軸とＹ軸との間の関係を示す図である。本実施形態では、カメラ１の取り付け位置である車両Ｖの最前部の幅方向の中心を原点とし、車両右手方向にＸ軸、車両正面方向にＹ軸を設ける車両座標系を定義する。なお、本実施形態では、白線とは、車両Ｖが走行している車線を区切る実線又は破線に加え、レーンマーカー等を示すものとする。
　車線関連状態特定部１２１は、車両Ｖの前方の走行環境を示す情報としてのカメラ１が撮影した映像に基づいて、車両Ｖが走行する車線に対応する白線と車両Ｖとの位置関係、白線の曲率及び車線幅等を示す車線関連状態を特定する。車線関連状態特定部１２１は、車線関連状態を示す状態変数を特定することにより、車線関連状態を特定する。具体的には、車線関連状態特定部１２１は、白線と車両Ｖとの位置関係を示す状態変数として、車両Ｖの中心から車線の中心までの横変位Ｕｃ、白線の接線とＹ軸とがなす角度である車両Ｖの方位角θを特定する。また、車線関連状態特定部１２１は、状態変数として、白線の曲率ρ、白線の曲率の車両正面方向への変化率ε及び車線幅Ｗを特定する。
　運動状態検出部１２２は、車両Ｖの運動状態を検出する。具体的には、運動状態検出部１２２は、車速センサ２から車両Ｖの速度を示す速度情報を取得することにより、車両Ｖの運動状態としての速度を検出する。また、運動状態検出部１２２は、ヨーレートセンサ３から車両Ｖのヨーレートを示すヨーレート情報を取得することにより、車両Ｖの運動状態としてのヨーレートを検出する。
　白線位置推定部１２３は、車線関連状態特定部１２１により車線関連状態を示す状態変数が特定されるとともに運動状態検出部１２２により車両Ｖの運動状態が検出された場合には、当該状態変数及び当該運動状態に基づいて所定時間おきに車両Ｖから所定範囲内の車両Ｖの前後の白線の位置を推定する。
　具体的には、まず，白線位置推定部１２３は、車線関連状態特定部１２１により特定された横変位Ｕｃ、車線幅Ｗ、方位角θ、白線の曲率ρ、曲率の変化率εを用いて、車両Ｖの前方の白線座標を算出する。車両前方の位置をＹｉ、当該位置Ｙｉにおける左側の白線のＸ座標をＸＬｉ、右側の白線のＸ座標をＸＲｉとすると、ＸＬｉ及びＸＲｉは、例えば，白線形状を三次曲線により近似することで以下の式（１）、（２）で示される。ここで、左側の白線のＹ座標を示すＹＬｉと、右側の白線のＹ座標を示すＹＲｉとは、位置Ｙｉと等しいものとする。なお、曲率の変化率εが極めて小さいことから、式（１）、（２）に示される曲率の変化率εの項を考慮せず、ＹＬｉ又はＹＲｉについての二次曲線により白線形状を近似してもよい。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-I000002
　図４は、本実施形態に係る白線位置推定部１２３が車両前方の複数の白線座標を算出する例を示す図である。白線位置推定部１２３は、図４に示すように、車両Ｖの前方から後方に向かって、左側の白線の位置座標ＰＬ （ｉ）（ＸＬｉ，ＹＬｉ）（ただし、ｉは、１～ＮＦ）と、右側の白線の位置座標ＰＲ （ｉ）（ＸＲｉ，ＹＲｉ）とを算出することにより、車両前方の白線座標を算出する。ただし、ＮＦは前方の左白線又は右白線の点の数である。
　また、白線位置推定部１２３は、車線関連状態のうちの横位置と車線幅に加え，車両Ｖの運動状態を用いて車両Ｖの後方の白線座標を算出する。図５Ａ、５Ｂは、本実施形態に係る白線位置推定部１２３が車両後方の複数の白線座標を算出する例を示す図である。まず、図５Ａに示すように、既に車両Ｖの後方に白線位置を示す点列が存在する場合を考える。図５Ａに示す、あるタイムステップｋにおける左後方の白線上のｊ番目の点の車両座標系における座標値を（Ｘｋ Ｌｊ、Ｙｋ Ｌｊ）とする。また、図５Ｂに示す、車両Ｖが移動した後のタイムステップｋ＋１における車両座標系における、同じ点の座標値を（Ｘｋ＋１ Ｌｊ、Ｙｋ＋１ Ｌｊ）とする。同様に、右後方の白線上のｊ番目の点のタイムステップｋ、タイムステップｋ＋１における車両座標系における座標値をそれぞれ、（Ｘｋ Ｒｊ、Ｙｋ Ｒｊ）、（Ｘｋ＋１ Ｒｊ、Ｙｋ＋１ Ｒｊ）とする。このとき、タイムステップｋ＋１における各座標値は、タイムステップｋにおける各座標値を用いて二次元の座標変換により、以下の式（３）、（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-I000004
　ここで、式（３）が、左後方白線の座標変換に対応し、式（４）が、右後方白線の座標変換に対応している。また、Δψは、タイムステップ間の車両Ｖのヨー角の変化量である。例えば，白線位置推定部１２３は、運動状態検出部１２２が検出した車両Ｖのヨーレートγｋと、タイムステップ間の時間増分Δｔｋとの乗算値をΔψとして算出する。
　また、座標（Ｘｋ Ｄ、Ｙｋ Ｄ）は、タイムステップｋでの車両座標系から見たタイムステップ間の時間増分Δｔｋ後のカメラ位置、すなわち、車両座標系の原点の移動先である。白線位置推定部１２３は、運動状態検出部１２２が検出した車両Ｖの速度ｖｋと、車両Ｖのヨーレートγｋとを用いた自律航法により、座標（Ｘｋ Ｄ、Ｙｋ Ｄ）を算出する。そして、白線位置推定部１２３は、Δψと、座標（Ｘｋ Ｄ、Ｙｋ Ｄ）とを算出すると、式（３）、（４）に基づいて、タイムステップｋ＋１における各座標値を算出する。
　一方、走行開始時等、後方の座標が全く算出されていない場合、又は前回新しい後側方の座標を算出してから一定距離を走行した際には、車両Ｖの真横の白線位置の座標を新たに追加する。この場合には、白線位置推定部１２３は、以下の式（５）～（８）に基づいて、時刻ｋ＋１における後方の白線の各点に対応する座標を算出する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-I000006

Figure JPOXMLDOC01-appb-I000007

Figure JPOXMLDOC01-appb-I000008
　ここで、式（５）及び式（６）が車両前面の真横に対する新しい点の生成を表す。また、ＵＬｋ及びＵＲｋは、それぞれタイムステップｋにおいて推定されている左白線及び右白線までの横変位であり、以下の式（９）、（１０）に示すようにタイムステップｋにおける横変位ＵＣｋ及び車線幅Ｗｋに基づいて算出する。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-I000010
　また、式（７）が既存の左後方の白線の点に対する、車両運動に伴う座標変換を示し、式（８）が既存の右後方の白線の点に対する、車両運動に伴う座標変換を示している。ここで、式（７）、式（８）では、新たな白線上の点の生成に伴い、座標変換後の点の番号を一つ後ろにずらしている点で式（３）、式（４）と異なる。
　白線位置推定部１２３は、各時間において、ｊ＝（ＮＦ＋１）～（ＮＦ＋ＮＢ）に対して上述の計算を実行することで、後方の白線の座標値を更新する。ただし、ＮＢは後側方の左白線又は右白線の点の数である。なお、車線判定を実施する後方の車線の距離は、例えば車両前面から最大３００ｍ程度までである。したがって、白線位置推定部１２３は、上述の計算を行う際には、各タイムステップにおいて後方の点の座標を更新した後に、車両前面からの距離が予め定められている閾値以上の点を消去する。
　ここで、カメラ１の不具合等により車線関連状態特定部１２１が車線関連状態を特定できない場合、又は、車速センサ２又はヨーレートセンサ３の不具合等により、運動状態検出部１２２が運動状態を検出できない場合がある。
　これに対し、白線位置推定部１２３は、車線関連状態特定部１２１により車線関連状態が特定されず、運動状態検出部１２２により運動状態が検出された場合には、車線関連状態を示す状態変数に含まれる車線幅を所定幅とみなすとともに、当該運動状態に基づいて白線と車両Ｖとの位置関係を推定することにより車線関連状態を推定する。そして、白線位置推定部１２３は、推定した車線関連状態及び運動状態に基づいて所定時間おきに白線の位置を推定する。
　具体的には、白線位置推定部１２３は、車線関連状態特定部１２１により車線関連状態が特定されている状態から、車線関連状態が特定されない状態に変化した場合には、車線関連状態が特定されない状態に変化する前に特定した状態変数のうち、最後に特定された状態変数を過去状態変数とする。そして、白線位置推定部１２３は、当該過去状態変数と、運動状態検出部１２２により検出された運動状態に基づいて推定された状態変数と、当該運動状態とに基づいて白線の位置を推定する。白線位置推定部１２３は、時間の経過に従って、過去状態変数の影響度合いを小さくするとともに、運動状態に基づいて推定した状態変数の影響度合いを大きくして白線の位置を推定する。
　より具体的には、白線位置推定部１２３は、車線関連状態特定部１２１により状態変数が特定されている状態から、特定されない状態に変化した時点を時刻ｔ＝０とする。そして、白線位置推定部１２３は、運動状態検出部１２２により検出された運動状態である車両Ｖの速度ｖと、ヨーレートγとに基づいて、状態変数に含まれる曲率ρ、方位角θ、横変位Ｕｃを推定する。
　図６は、本実施形態に係る横変位Ｕｃ及び方位角θの算出方法を説明する図である。図６に示すように旋回中心位置Ｏと、車両Ｖの重心位置Ｐとの距離をＲとすると、Ｒ＝ｖ／γであるとともに、Ｒ＝１／ρであることから、白線位置推定部１２３は、ρ＝γ／ｖと算出する。また、図６に示すように、旋回中心位置Ｏから半径Ｒの円弧を描き、車両Ｖの重心位置Ｐにおいて当該円弧の接線方向と車両の長手方向が一致する場合、車両Ｖの前面中心から車両Ｖの重心位置Ｐに向かう線と、車両Ｖの前面における当該円弧の接線とがなす角度が方位角θである。
　図６に示すように、車両前面（カメラ１の位置）と、車両Ｖの重心位置Ｐとのオフセット距離をＬとする。Ｒｓｉｎθ＝Ｌであるとともに、Ｒ＝１／ρであることから、θ＝ｓｉｎ－１（ρＬ）となり、方位角が微小であるとすればθ≒ρＬと近似できる。また、車両Ｖの重心位置Ｐが車線中央に位置していると仮定した場合、車両前面における車線中心との横変位量Ｕｃは、図６に示すようにＲ－Ｒｃｏｓθとなる。上述したように、Ｒ＝１／ρであることから、Ｕｃ＝１／ρ・（１－ｃｏｓθ）となる。また、白線位置推定部１２３は、車線幅を所定幅（例えば、３．５ｍ）とみなすとともに、曲率の変化率εを０とみなす。
　白線位置推定部１２３は、過去状態変数をＡ３、運動状態に基づいて推定又は所定値とみなした状態変数をＡ２とし、以下の式（１１）に基づいて、時刻ｔにおける各状態変数Ａｎｅｗを算出する。ここで、ｗ２、ｗ３は、Ａ２及びＡ３を、白線のＸ座標の算出に適用する度合いを示す重み係数である。
Figure JPOXMLDOC01-appb-M000011
 ただし、
Figure JPOXMLDOC01-appb-I000012

Figure JPOXMLDOC01-appb-I000013

Figure JPOXMLDOC01-appb-I000014
　白線位置推定部１２３は、ｗ２の値が１となり、ｗ３の値が０となるまで、以下の式（１２）、（１３）に基づいて、各時刻に対応する重み係数ｗ２、ｗ３を更新する。Δｔはタイムステップであり、αは重み係数を更新する速度を示す係数である。なお、白線位置推定部１２３は、車両Ｖの操舵や加減速の傾向に基づいてαを変化させてもよい。例えば、白線位置推定部１２３は、車両Ｖの操舵が頻繁に行われる傾向である場合、操舵が頻繁に行われない傾向である場合に比べてαの値を大きくしてもよい。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-I000016
　白線位置推定部１２３は、式（１１）～（１３）に基づいて算出した各時刻の状態変数Ａｎｅｗ及び検出された運動状態を用いて式（１）～（１０）を計算することにより、車線関連状態特定部１２１により車線関連状態が特定されず、運動状態検出部１２２により運動状態が検出される状態に変化した場合における、各時刻の車両Ｖの前後方の白線のＸ座標を算出する。
　なお、白線位置推定部１２３は、車線関連状態特定部１２１により状態変数が特定されず、運動状態検出部１２２により運動状態が検出されている状態から、状態変数が特定され、運動状態が検出される状態に変化した場合には、変化した時点において直ちにｗ２の値を０、ｗ３の値を１とし、特定した状態変数と検出した運動状態に基づいて、式（１）～（１０）を計算することにより、各時刻の車両Ｖの前後方の白線のＸ座標を算出する。
　白線位置推定部１２３は、車線関連状態特定部１２１により車線関連状態が特定されず、運動状態検出部１２２により運動状態が検出されなかった場合には、車両Ｖの運動状態を、車両Ｖが直線を定速走行している場合の運動状態と推定するとともに、車線関連状態が示す状態変数を、車両Ｖが直線の車線中心を走行している場合の状態変数と推定する。そして、白線位置推定部１２３は、推定した状態変数及び運動状態に基づいて白線の位置を推定する。
　具体的には、白線位置推定部１２３は、車線関連状態特定部１２１により状態変数が特定されず、運動状態検出部１２２により運動状態が検出されている状態から、状態変数が特定されず、運動状態が検出されない状態に変化した場合には、運動状態が検出されない状態に変化する前に検出された運動状態のうち、最後に検出された運動状態を過去運動状態とする。また、白線位置推定部１２３は、運動状態が検出されない状態に変化する前に推定された状態変数のうち、最後に推定された状態変数を過去推定状態変数とする。
　そして、白線位置推定部１２３は、当該過去運動状態と、当該過去状態変数と、推定した運動状態と、推定した状態変数とに基づいて白線の位置を推定する。白線位置推定部１２３は、時間の経過に従って、過去運動状態及び過去推定状態変数の影響度合いを小さくするとともに、推定した運動状態及び状態変数の影響度合いを大きくして白線の位置を推定する。
　より具体的には、白線位置推定部１２３は、運動状態検出部１２２により運動状態が検出されている状態から検出されない状態に変化した時点を時刻ｔ＝０とする。そして、白線位置推定部１２３は、車両Ｖの速度ｖを所定速度（例えば、６０ｋｍ／ｈ）と推定し、ヨーレートγを直線を走行している場合の値、すなわち、０ｄｅｇ／ｓと推定することにより運動状態を推定する。また、白線位置推定部１２３は、車両Ｖが直線の車線中心を走行している場合と見なし、曲率ρを０ｍ－１、方位角θを０ｄｅｇ、横変位Ｕｃを０ｍと推定することにより、状態変数を推定する。
　白線位置推定部１２３は、過去推定状態変数及び過去運動状態をＢ２、時刻ｔ＝０において推定した運動状態及び状態変数をＢ１とし、以下の式（１４）に基づいて、時刻ｔにおける運動状態及び状態変数Ｂｎｅｗを算出する。ここで、ｗ１、ｗ２は、Ｂ１及びＢ２を、白線のＸ座標の算出に適用する度合いを示す重み係数である。
Figure JPOXMLDOC01-appb-M000017
 ただし、
Figure JPOXMLDOC01-appb-I000018

Figure JPOXMLDOC01-appb-I000019

Figure JPOXMLDOC01-appb-I000020
　また、白線位置推定部１２３は、ｗ１の値が１となり、ｗ２の値が０となるまで、以下の式（１５）、（１６）に基づいて、各時刻に対応する重み係数ｗ１、ｗ２を更新する。ここで、Δｔはタイムステップであり、βは、重み係数を更新する速度を示す係数である。なお、白線位置推定部１２３は、操舵や加減速の傾向に基づいてβを変化させてもよい。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-I000022
　白線位置推定部１２３は、式（１４）～（１６）に基づいて算出した各時刻の運動状態及び状態変数Ｂｎｅｗを用いて式（１）～（１０）を計算することにより、車線関連状態特定部１２１により車線関連状態が特定されず、運動状態検出部１２２により運動状態が検出されない状態に変化した場合における、各時刻の車両Ｖの前後方の白線のＸ座標を算出する。
　なお、白線位置推定部１２３は、車線関連状態特定部１２１により状態変数が特定されず、運動状態検出部１２２により運動状態が検出されていない状態から、状態変数が特定されず、運動状態が検出されている状態に変化した場合には、変化した時点において直ちにｗ１の値を０、ｗ２の値を１とし、推定した状態変数と検出した運動状態に基づいて、式（１）～（１０）を計算することにより、各時刻の車両Ｖの前後方の白線のＸ座標を算出する。
　なお、白線位置推定部１２３は、車線関連状態特定部１２１における車線関連状態の特定状況と、運動状態検出部１２２における前記運動状態の検出状況に基づいて、白線位置の推定精度の信頼度を示す信頼度情報として、信頼値を算出してもよい。例えば、信頼値を、１から３に示す数値とする。信頼値が３である場合、最も信頼性が高く、１に近づくにしたがって信頼性が低くなるものとする。
　例えば、白線位置推定部１２３は、車線関連状態特定部１２１により車線関連状態を示す状態変数が特定されるとともに運動状態検出部１２２により車両Ｖの運動状態が検出された場合には、信頼値を３とする。また、車線関連状態特定部１２１により車線関連状態を示す状態変数が特定されておらず、運動状態検出部１２２により車両Ｖの運動状態が検出されている場合には、信頼値を、ｗ３に２を加算した値とする。また、車線関連状態特定部１２１により車線関連状態を示す状態変数が特定されておらず、運動状態検出部１２２により車両Ｖの運動状態が検出されていない場合には、信頼値を、ｗ２に１を加算した値とする。
　白線位置推定部１２３は、算出した信頼値を車線特定部１２５に出力してもよい。このようにすることで、車線特定装置１０の車線特定部１２５が特定する周辺車両ＯＶが位置する車線に対して、確からしさを付加することができる。
　また、車線特定装置１０は、周辺車両ＯＶが位置する車線を特定するために白線位置を推定するところ、障害物検出センサ４において周辺車両ＯＶを検出できていない場合には、信頼値を０とし、白線位置を推定せず、周辺車両ＯＶが位置する車線を特定しないようにしてもよい。
　物体特定部１２４は、各タイムステップにおいて、車両Ｖの周辺の物体としての周辺車両ＯＶを矩形と見なしたときの、当該矩形の４つの頂点の位置及び当該矩形の中心位置を特定する。例えば、物体特定部１２４は、以下に示すように周辺車両ＯＶの各頂点の位置を特定する。
　まず、物体特定部１２４は、単数又は複数の障害物検出センサ４による障害物の検出状況に基づいて、車両座標系における、周辺車両ＯＶとしての障害物を示す複数の点群の車両座標系における座標を特定する。物体特定部１２４は、特定した複数の点群の座標に基づいて、周辺車両ＯＶの車幅、車両長及び向きを特定する。物体特定部１２４は、特定した周辺車両ＯＶの車幅、車両長及び向きに基づいて、周辺車両ＯＶを示す矩形形状のバウンディングボックスを点群に対応する位置に配置したときの、当該バウンディングボックスの各頂点の座標を周辺車両ＯＶを示す座標として特定する。また、物体特定部１２４は、バウンディングボックスを点群に対応する位置に配置したときの、当該バウンディングボックスの中心位置を、周辺車両ＯＶの中心位置を示す座標として特定する。
　車線特定部１２５は、各タイムステップにおいて、車両Ｖの周辺を走行する周辺車両ＯＶが走行している車線を特定する。車線特定部１２５は、白線位置推定部１２３が推定した白線位置と、物体特定部１２４が特定した物体としての周辺車両ＯＶの各頂点の位置とに基づいて、白線位置を基準としたときの周辺車両ＯＶの左端の車線位置及び右端の車線位置を特定する。そして、車線特定部１２５は、当該左端の車線位置及び当該右端の車線位置に基づいて、周辺車両ＯＶが位置する車線を特定する。また、車線特定部１２５は特定した周辺車両ＯＶが位置する車線に白線位置推定部１２３が算出した信頼度を付加して出力してもよい。
［車線特定装置１０における処理の流れ］
　続いて、車線特定装置１０における処理の流れについて説明する。図７は、本実施形態に係る車線特定装置１０における処理の流れを示すフローチャートである。なお、車線特定装置１０は、各タイムステップにおいて本フローチャートに係る処理を実行するものとする。
　まず、車線関連状態特定部１２１及び運動状態検出部１２２は、状態変数及び車両Ｖの運動状態を特定するとともに状態変数及び運動状態の特定状況の信頼度を算出する（Ｓ１）。
　続いて、白線位置推定部１２３は、Ｓ１における状態変数の特定状況及び運動状態の検出状況に基づいて、車両Ｖが走行する車線に対する白線位置を推定する（Ｓ２）。
　続いて、物体特定部１２４は、物体としての周辺車両ＯＶの各頂点の座標を特定する（Ｓ３）。
　続いて、車線特定部１２５は、Ｓ２において推定した白線位置と、Ｓ３において特定した周辺車両ＯＶの各頂点の座標とに基づいて、周辺車両ＯＶの左右端の位置を特定する（Ｓ４）。
　続いて、車線特定部１２５は、特定した周辺車両ＯＶの左右端の位置に基づいて周辺車両ＯＶの車線上の位置を特定する（Ｓ５）。
　続いて、車線特定部１２５は、Ｓ５において特定した周辺車両ＯＶの車線上の位置を示す情報及び白線位置を推定した時の信頼度を示す信頼度情報を出力する（Ｓ６）。
［本実施形態の効果］
　以上説明したように、本実施形態に係る車線特定装置１０は、車両Ｖが走行する車線に対応する白線と車両Ｖとの位置関係、当該白線の曲率及び車線幅を示す状態変数が特定されるとともに、車両Ｖの運動状態を検出した場合には、当該状態変数及び当該運動状態に基づいて所定時間おきに車両Ｖから所定範囲内の白線の位置を推定し、状態変数が特定されず、運動状態が検出された場合には、当該運動状態に基づいて位置関係を推定することにより状態変数を推定し、推定した状態変数及び運動状態に基づいて所定時間おきに白線の位置を推定する。このようにすることで、車線特定装置１０は、白線を認識できない場合であっても、信頼性は低下するものの、白線の位置を推定することができる。
　以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本開示の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
　本出願は、2018年11月15日付で出願された日本国特許出願（特願2018-214374）に基づくものであり、その内容はここに参照として取り込まれる。
　本開示の白線位置推定装置及び白線位置推定方法は、白線を認識できない場合であっても、白線の位置情報を失わずに保持することができる、という点において有用である。
１・・・カメラ
２・・・車速センサ
３・・・ヨーレートセンサ
４・・・障害物検出センサ
１０・・・車線特定装置
１１・・・記憶部
１２・・・制御部
１２１・・・車線関連状態特定部
１２２・・・運動状態検出部
１２３・・・白線位置推定部
１２４・・・物体特定部
１２５・・・車線特定部
Ｖ・・・車両
ＯＶ・・・周辺車両

Claims (8)

  1. 　自車両の前方を示す情報に基づいて、前記自車両が走行する車線に対応する白線と前記自車両との位置関係、前記白線の曲率及び車線幅を示す車線関連状態を特定する車線関連状態特定部と、
    　前記自車両の運動状態を検出する運動状態検出部と、
    　前記車線関連状態特定部により前記車線関連状態が特定されるとともに前記運動状態検出部により前記運動状態が検出された場合には、前記車線関連状態及び前記運動状態に基づいて所定時間おきに前記自車両から所定範囲内の前記白線の位置を推定し、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出された場合には、前記運動状態に基づいて前記位置関係を推定することにより前記車線関連状態を推定し、推定した車線関連状態及び前記運動状態に基づいて前記所定時間おきに前記白線の位置を推定する白線位置推定部と、
    　を備える白線位置推定装置。
  2. 　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されている状態から、前記車線関連状態が特定されない状態に変化した場合には、前記車線関連状態が特定されない状態に変化する前に特定された車線関連状態である過去車線関連状態と、前記運動状態に基づいて推定した車線関連状態と、前記運動状態とに基づいて前記白線の位置を推定する、
    　請求項１に記載の白線位置推定装置。
  3. 　前記白線位置推定部は、時間の経過に従って、前記過去車線関連状態の影響度合いを小さくするとともに、前記運動状態に基づいて推定した車線関連状態の影響度合いを大きくして前記白線の位置を推定する、
    　請求項２に記載の白線位置推定装置。
  4. 　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されなかった場合には、前記自車両の運動状態を、前記自車両が直線を定速走行している場合の運動状態と推定するとともに、前記車線関連状態を、前記自車両が直線路の中心を走行している場合の車線関連状態と推定し、推定した車線関連状態及び推定した運動状態に基づいて前記白線の位置を推定する、
    　請求項１から３のいずれか１項に記載の白線位置推定装置。
  5. 　前記白線位置推定部は、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されている状態から、前記車線関連状態特定部により前記車線関連状態が特定されず、前記運動状態検出部により前記運動状態が検出されない状態に変化した場合には、前記運動状態が検出されない状態に変化する前に検出された前記運動状態である過去運動状態と、前記推定した運動状態と、前記推定した車線関連状態とに基づいて前記白線の位置を推定する、
    　請求項４に記載の白線位置推定装置。
  6. 　前記白線位置推定部は、時間の経過に従って、前記過去運動状態の影響度合いを小さくするとともに、前記推定した運動状態の影響度合いを大きくして前記白線の位置を推定する、
    　請求項５に記載の白線位置推定装置。
  7. 　前記白線位置推定部は、前記車線関連状態特定部における前記車線関連状態の特定状況と、前記運動状態検出部における前記運動状態の検出状況とに基づいて、推定した前記白線の位置の信頼度を算出する、
    　請求項１から６のいずれか１項に記載の白線位置推定装置。
  8. 　コンピュータが実行する、
    　自車両の前方を示す情報に基づいて、前記自車両が走行する車線に対応する白線と前記自車両との位置関係、前記白線の曲率及び車線幅を示す車線関連状態を特定するステップと、
    　前記自車両の運動状態を検出するステップと、
    　前記車線関連状態が特定されるとともに前記運動状態が検出された場合には、前記車線関連状態及び前記運動状態に基づいて所定時間おきに前記自車両から所定範囲内の前記白線の位置を推定し、前記車線関連状態が特定されず、前記運動状態が検出された場合には、前記運動状態に基づいて前記位置関係を推定することにより前記車線関連状態を推定し、推定した車線関連状態及び前記運動状態に基づいて前記所定時間おきに前記白線の位置を推定するステップと、
    　を備える白線位置推定方法。
PCT/JP2019/044362 2018-11-15 2019-11-12 白線位置推定装置及び白線位置推定方法 WO2020100902A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018214374A JP2020086489A (ja) 2018-11-15 2018-11-15 白線位置推定装置及び白線位置推定方法
JP2018-214374 2018-11-15

Publications (1)

Publication Number Publication Date
WO2020100902A1 true WO2020100902A1 (ja) 2020-05-22

Family

ID=70730311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044362 WO2020100902A1 (ja) 2018-11-15 2019-11-12 白線位置推定装置及び白線位置推定方法

Country Status (2)

Country Link
JP (1) JP2020086489A (ja)
WO (1) WO2020100902A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467299B2 (ja) 2020-09-17 2024-04-15 株式会社東芝 位置管理システム、位置特定装置、および、位置特定方法
JP7197554B2 (ja) * 2020-12-28 2022-12-27 本田技研工業株式会社 車両制御システム及び区画線推定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781455A (ja) * 1993-09-20 1995-03-28 Mitsubishi Motors Corp 自動車の走行制御装置の走行車線検出機構
JPH07271952A (ja) * 1994-03-30 1995-10-20 Mazda Motor Corp 走行路認識装置
JP2016134095A (ja) * 2015-01-21 2016-07-25 株式会社デンソー 区画線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781455A (ja) * 1993-09-20 1995-03-28 Mitsubishi Motors Corp 自動車の走行制御装置の走行車線検出機構
JPH07271952A (ja) * 1994-03-30 1995-10-20 Mazda Motor Corp 走行路認識装置
JP2016134095A (ja) * 2015-01-21 2016-07-25 株式会社デンソー 区画線認識装置

Also Published As

Publication number Publication date
JP2020086489A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7346499B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3330147B1 (en) Method and apparatus for generating a driving route for an autonomous vehicle
US10569769B2 (en) Vehicle control device
JP6809531B2 (ja) 車両判定方法、走行経路補正方法、車両判定装置、及び走行経路補正装置
CN107615201A (zh) 自身位置估计装置及自身位置估计方法
JP6020729B2 (ja) 車両位置姿勢角推定装置及び車両位置姿勢角推定方法
JP2013186551A (ja) 移動物体位置姿勢推定装置及び方法
CN108844538B (zh) 一种基于视觉/惯导的无人机避障航点生成方法
WO2016117507A1 (ja) 区画線認識装置
WO2020100902A1 (ja) 白線位置推定装置及び白線位置推定方法
CN113887276A (zh) 基于图像的前向主目标检测方法
US10766490B2 (en) Driving assistance method and driving assistance apparatus
CN116529561A (zh) 基于单目的对象检测的系统和方法
US20210089791A1 (en) Vehicle lane mapping
JP6690510B2 (ja) 物体認識装置
JP7234840B2 (ja) 位置推定装置
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
JP7435513B2 (ja) 車両制御装置及び車両制御方法
JP7230373B2 (ja) 車線特定装置及び車線特定方法
US20230075425A1 (en) Systems and methods for training and using machine learning models and algorithms
US11966452B2 (en) Systems and methods for image based perception
US20240116500A1 (en) Information processing apparatus, movable apparatus, information processing method, and storage medium
US20240123976A1 (en) Vehicle controller, method, and computer program for vehicle control
US20240067168A1 (en) Vehicle controller, method, and computer program for vehicle control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885916

Country of ref document: EP

Kind code of ref document: A1