WO2011040119A1 - 車両制御装置 - Google Patents

車両制御装置 Download PDF

Info

Publication number
WO2011040119A1
WO2011040119A1 PCT/JP2010/063353 JP2010063353W WO2011040119A1 WO 2011040119 A1 WO2011040119 A1 WO 2011040119A1 JP 2010063353 W JP2010063353 W JP 2010063353W WO 2011040119 A1 WO2011040119 A1 WO 2011040119A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
vehicle
reliability
lane
vehicle control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/063353
Other languages
English (en)
French (fr)
Inventor
竹村雅幸
村松彰二
古沢勲
大辻信也
志磨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to DE112010003874.0T priority Critical patent/DE112010003874B4/de
Priority to US13/395,327 priority patent/US8630793B2/en
Priority to CN201080040218.XA priority patent/CN102481931B/zh
Publication of WO2011040119A1 publication Critical patent/WO2011040119A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level

Definitions

  • It relates to a vehicle control device that controls the lane departure of a vehicle.
  • a lane mark recognition device that recognizes a lane mark by attaching a camera or a radar to a vehicle, and estimates a relative positional relationship and inclination between the own vehicle and the lane, and a curvature indicating the degree of curvature of the road.
  • vehicle control devices that perform lane departure warning and lane departure prevention control.
  • a lane departure prevention control device that calculates the reliability for the entire lane mark recognition result and switches the lane departure control method according to the reliability result (see Patent Document 1). JP 2006-178675 A
  • An object of the present invention is to provide a lane departure prevention control device that expands the application range of lane departure prevention while suppressing erroneous control.
  • the present invention determines a vehicle control method from a vehicle-mounted camera that captures an image ahead of the host vehicle and a plurality of vehicle control methods, and controls the actuator by the determined vehicle control method.
  • a vehicle-mounted camera that shoots and divides the image into a plurality of areas based on the acquired image and the recognized lane, calculates reliability for each divided area, and provides reliability information for each area.
  • An area-specific reliability calculation unit is provided, and the processing unit is configured as a vehicle control device including a vehicle control unit that determines a vehicle control method based on the area-specific reliability information.
  • the vehicle-mounted camera further includes a vehicle speed sensor that detects vehicle speed information, a steering angle sensor that detects steering angle information, and a yaw rate sensor that detects yaw rate information, and the in-vehicle camera acquires an image in front of the host vehicle. And a lane recognition unit that recognizes the lane from the acquired image, a road curvature that indicates the degree of road curvature, a yaw angle that indicates the relative attitude between the host vehicle and the traveling lane, and a lateral position that indicates the relative position.
  • a control parameter estimator and an area-specific reliability that divides into a plurality of areas based on the acquired image and the recognized lane, calculates reliability for each divided area, and outputs area-specific reliability information
  • a vehicle control unit of the processing unit is configured to determine a vehicle control method based on at least one of road curvature, yaw angle, and lateral position, and area-specific reliability information.
  • the present invention includes an in-vehicle camera 600 that captures an image in front of the host vehicle, an ECU 610 that is a processing unit that determines one vehicle control method from a plurality of vehicle control methods, and controls an actuator using the determined vehicle control method,
  • the in-vehicle camera 600 captures the image, divides it into a plurality of areas based on the recognized lane and the recognized lane, calculates the reliability for each divided area, and outputs the reliability information for each area.
  • the ECU 610 includes a reliability calculation unit 400, and the ECU 610 includes a vehicle control unit 500 that determines a vehicle control method based on the reliability information for each area, thereby preventing lane departure while suppressing erroneous control. It is possible to provide a vehicle control device that expands the application range of the vehicle.
  • an in-vehicle camera 600 facing the front of the vehicle is mounted, and the in-vehicle camera 600 and an ECU (Engine Control Unit) 610 that controls the vehicle are connected by a CAN (Controller Area Network).
  • a vehicle control apparatus including an ECU 610, sensors (vehicle speed sensor 606, steering angle sensor 601, yaw rate sensor 607), and actuator 603 in the vehicle.
  • ECU 610 acquires information such as vehicle speed, steering angle, and yaw rate from each sensor in the vehicle through CAN communication.
  • the ECU 610 determines a vehicle control method based on the reliability information for each area calculated by the above-described sensors and cameras by CAN communication.
  • ECU 610 controls the vehicle using actuator 603 from the determined vehicle control method.
  • a display device 609 for displaying the reliability by area or the result of the current vehicle control mode is provided.
  • the in-vehicle camera 600 includes an image acquisition unit 100, a lane recognition unit 200, a control parameter estimation unit 300, and an area-specific reliability calculation unit 400. Since vehicle control is implemented by ECU 610, vehicle control unit 500 corresponding to the reliability by area is provided.
  • the lane recognition unit 200, the control parameter estimation unit 300, and the area-specific reliability calculation unit 400 may be functions of the ECU 610.
  • Fig. 1 shows a block diagram of a lane departure prevention control device with the reliability of the lane recognition result for each area.
  • Each component of the in-vehicle camera 600 will be described with reference to FIG.
  • the vehicle control device includes an image acquisition unit 100 that acquires an image from the in-vehicle camera 600, a lane recognition unit 200 that recognizes a lane using the acquired image, a road curvature that indicates the degree of road curvature, and the host vehicle.
  • a parameter estimation unit for control 300 for estimating parameters used for vehicle control, such as a yaw angle indicating a relative posture relationship with a traveling lane and a lateral position indicating a relative positional relationship, and a reliability of a lane recognition result for each area is calculated.
  • An area-specific reliability calculation unit 400 and a vehicle control unit 500 corresponding to the area-specific reliability for performing lane departure prevention control based on the area-specific reliability and the control parameter estimation result are provided.
  • the reliability is an index indicating whether or not the lane recognition result correctly recognizes the traveling lane and deserves vehicle control or warning, and is a white line feature amount aligned on the line in the image. It is shown numerically from the number of lines and the parallelism of the extracted lines.
  • the in-vehicle camera 600 is described as an example in which an in-vehicle monocular camera directed in the traveling direction of the host vehicle is assumed, but the camera may be a stereo camera or a plurality of cameras that capture the surroundings of the vehicle. Good.
  • the sensor portion for recognizing the lane may be a sensor other than a camera such as a laser radar or a millimeter wave radar.
  • the area-specific reliability calculation unit 400 includes an area determination unit 410 that divides an area according to the result of lane recognition.
  • the area is divided into the left and right lanes of the own vehicle lane, and further divided into two areas, a distance and a vicinity, according to distance, and a total of 4 in the left distance 1010, the left vicinity 1020, the right distance 1050, and the right vicinity 1060. Divided into areas.
  • an area-specific reliability calculation unit 420 that calculates reliability based on image information captured for each area divided by the area determination unit 410. Furthermore, an area-specific reliability correction unit 430 that corrects reliability using the external information unit 450 with respect to the area-specific reliability obtained by using the image information in the area-specific reliability calculation unit 420 is provided. .
  • the external information unit 450 detects a vehicle behavior unit 451 that handles travel information of the host vehicle, an obstacle, a preceding vehicle, and the like from a vehicle speed sensor, an acceleration sensor, a steering angle sensor, a yaw rate sensor, etc. for analyzing the behavior of the host vehicle.
  • a radar unit 452 including a millimeter-wave radar, a laser radar, or a stereo camera that can be used is provided.
  • a navigation information section 453 capable of analyzing the running from the vehicle position by the GPS information, the angular velocity sensor (gyro sensor), the acceleration sensor, and the direction sensor mounted on the map information and navigation of the car navigation system.
  • the external information unit 450 includes another camera unit 454 for using information from other cameras in addition to the camera for calculating the reliability by area.
  • FIG. 24 shows detailed functional blocks of the vehicle control unit 500 corresponding to the reliability by area.
  • the mode switching of the vehicle control is performed by the control mode determination unit 501 corresponding to the reliability by area using the result of reliability by area.
  • the own vehicle route prediction unit 502 uses the vehicle speed information and the rudder angle information to perform route estimation when the own vehicle advances without any lane departure avoidance control or driver intervention.
  • the control determination unit 503 determines whether or not the vehicle has a lane departure by comparing the result of the estimated host vehicle estimation route with the result of the lane recognition estimated by the control parameter estimation unit 300. To do.
  • control amount determination unit 504 selects the control amount 0, and the vehicle control execution unit 505 does not perform control, monitors the possibility of departure and performs control for avoiding departure. It becomes a waiting situation.
  • control amount determination unit 504 determines the control amount to be given to the rudder angle based on the lateral position difference between the estimated route in the vehicle front L [m] and the recognized lane.
  • the vehicle control execution unit 505 performs vehicle control for avoiding lane departure using the determined control amount.
  • the vehicle control unit 500 performs vehicle control by switching the control mode according to the reliability by area.
  • switching of the control mode based on the reliability for each area in the control mode determination unit 501 corresponding to the reliability for each area will be described with reference to each drawing.
  • the reliability calculation area is divided into a total of four areas: left far 1010, left neighborhood 1020, right far 1050, and right neighborhood 1060.
  • FIG. 3 the vehicle control method with respect to the left lane according to the reliability according to area using the far left 1010 and the left vicinity 1020 is shown.
  • the vehicle control according to the reliability by area of the far distance 1050 and the right neighborhood 1060 is the same as that for the left lane, and the details are omitted. To do.
  • the control execution determination for the left lane of the vehicle lane is performed based on the reliability for the left lane.
  • the vehicle control adaptive range can be expanded.
  • it is possible to determine whether to control the lane that is not clearly visible due to rubbing it is possible to determine the right and left separately, so that it is possible to construct a system that is safer and avoids erroneous control due to false detection. .
  • the lane-specific control determination 510 it is determined whether or not the area-specific reliability of the left vicinity 1020 is equal to or greater than a first neighborhood predetermined value that is a threshold value for determining whether control is possible.
  • the curvature use determination 520 determines whether the reliability by area of the left far side 1010 is equal to or greater than a first remote predetermined value that is a threshold value for determining whether or not the curvature use can be controlled.
  • a first remote predetermined value that is a threshold value for determining whether or not the curvature use can be controlled.
  • the curve control mode 540 (Yes) is selected in the curvature use determination 520.
  • the straight line control mode 550 (No) is selected in the curvature use determination 520.
  • FIG. 11 is a table showing a warning mode for the right lane. If the lane-specific control determination 510 is less than the vicinity first predetermined value, the answer is No. If the warning determination 530 indicates that the reliability of the left vicinity is greater than or equal to the vicinity second predetermined value, the accuracy of the lane recognition result increases as the vehicle is controlled. Is not trusted, but a warning mode 560 is selected in which a warning is displayed or an alarm is sounded.
  • lane departure prevention control is performed only when reliability is high. If the reliability is low, there is a high possibility that the lane is erroneously detected. For this reason, in order to avoid erroneous control, only false warnings that cause discomfort to the driver even if the lane departure prevention device operates during erroneous detection.
  • the system configuration is highly safe so as not to affect the safety of the vehicle.
  • the lane-specific control determination 510 is less than the neighborhood first predetermined value, the answer is No. If the warning determination 530 indicates that the reliability of the left neighborhood is less than the neighborhood second predetermined value, the reliability is too low and no warning is given. Shall.
  • control mode is shown in ⁇ Switching vehicle control method> below.
  • a curve control mode 540 by using the reliability for each area, a linear control mode 550 due to a decrease in reliability in the distance, a warning mode 560 due to a decrease in reliability, and a stop mode 570 due to a further decrease in reliability. Either action is selected.
  • the control mode with the younger number among 540 to 570 becomes more advanced vehicle control and provides more comfortable driving support for the driver.
  • the difference in control between the curve control mode 540 and the straight line control mode 550 is a difference in whether or not the road curve shape is taken into account.
  • a delay occurs in the deviation control during the curve running.
  • the departure timing can be delayed, the departure cannot be completely prevented depending on the vehicle speed and curvature.
  • Control more comfortable for the driver requires higher lane recognition reliability.
  • advanced control cannot be performed on unfavorable roads with low reliability in the distance, only the results of nearby areas that are relatively easy to recognize are used, safety-oriented, and function suppression that suppresses miscontrol. Control can be performed.
  • the vehicle control is not performed, but if the reliability in the vicinity of the own vehicle is higher than the vicinity second predetermined value in the warning determination 530, Yes. And the warning mode 560 is selected. In the warning determination 530, if it is lower than the vicinity second predetermined value, the stop mode 570 is selected. From the viewpoint of safety and driver convenience, control, warning, and stop are selected in consideration of the fact that erroneous control should be avoided rather than erroneous warning.
  • the control mode curve or straight line
  • the neighborhood less than the neighborhood first predetermined value and the neighborhood second If the value is equal to or greater than the predetermined value, the warning mode 560 is set.
  • FIG. 7 and FIG. 8 summarize the relationship between area reliability and control. Since vehicle control with respect to the left and right lanes is bilaterally symmetric and independent, vehicle control switching will be described below in consideration of the relationship between the upper and lower reliability.
  • a first remote predetermined value is determined as a threshold value for determining whether or not the curvature is used for vehicle control according to the result of the remote reliability.
  • a neighborhood first predetermined value is set as a threshold value for switching between vehicle control and warning according to a result of neighborhood reliability, and a neighborhood second predetermined value is set as a threshold value for switching between warning and stop.
  • the advanced curve control mode 540 considering the curve is performed.
  • the straight line control mode 550 that assumes a straight road is performed without considering the curve. This is because there is a concern that the accuracy of curvature is lowered due to false detection or non-detection in the distance, and a control method emphasizing safety for suppressing erroneous control is implemented, although there is a delay in the control in the curve.
  • a warning mode 560 is implemented.
  • a stop mode 570 for stopping is performed.
  • the curve control mode 540 and the linear control mode 550 are switched.
  • a method of setting an intermediate target path between the curve and the straight line according to the high reliability so that the switching always has an intermediate value may be used.
  • the strength of the steering control may change.
  • a time constant may be provided so that the controlled variable does not change at once, and the control may be gradually affected.
  • the camera area is divided into a total of four areas: a far left 1010, a left neighborhood 1020, a right far 1050, and a right neighborhood 1060.
  • the farther the distance is the recognition target the smaller the lane is imaged on the image, and the recognition is generally difficult. Further, the farther away, the higher the possibility that an object other than the road surface will be captured in the camera, and there is a strong tendency that road shoulders, preceding vehicles, obstacles, etc. become obstacles to lane recognition and recognition becomes difficult.
  • the reliability of the entire lane is reduced if the remote is misdetected or not detected, and the neighborhood can be clearly recognized on the screen.
  • measures such as stopping the vehicle control itself were taken to avoid erroneous control.
  • a distant place is erroneously detected and a nearby lane is recognized, we would like to perform control using only the nearby recognition result.
  • a faint white line, and the like assuming that a distant lane is not detected only in a distant place and a nearby lane is recognized, it is desired to perform control using only the recognition result in the vicinity.
  • the recognition status of each lane is judged for each perspective by using the reliability for each area, and the optimum control mode is selected.
  • the limited linear control mode is excluded while excluding adverse effects on control due to false detection or no detection. Successful expansion of control range.
  • the distance is divided into two in the distance direction, but the same effect can be expected even if the number of divisions is different depending on the distance to be recognized.
  • the distance direction of the area is preferably about 20 m or more (if the distance is 20 m, both the solid line and the interval fit within the area, so the white line does not disappear from the area). If it is too short, for example, about 10 m, there is a moment when all the white lines disappear from the screen instantaneously, making it difficult to determine whether to use for control.
  • the area may change dynamically in the distance direction according to the recognition state.
  • a method of dynamically changing the distance far from the area according to the reliability may be used. As shown in FIG. 22, the farthest distance when the lane recognition processing area is determined for the left and right lanes is changed according to the reliability. When the reliability decreases, the distance far from the area that is likely to be a false detection factor or a non-detection factor is shortened. On the other hand, if the reliability increases, it is determined that the correct lane position is recognized, and in the next frame, the processing area is extended further to improve the lane recognition accuracy, particularly the curvature estimation accuracy. The processing area is set so that it is easy to estimate the curve of the road.
  • the processing area It is considered that the reliability from the far distance to the neighborhood is high, the distance from the far distance to the neighborhood is long, and the distance is sufficient to estimate the curvature indicating the degree of the road bending, and the curve control mode 540 is entered. To control the vehicle.
  • linear control is performed.
  • the vehicle is controlled in mode 550.
  • warning mode 560 is set when the farthest distance in the processing area is less than the distance first predetermined value and the reliability is greater than or equal to the distance change first predetermined value.
  • the stop mode 570 is set.
  • control mode is selected based on the length in the distance direction and the reliability of the area where the reliability is equal to or higher than a predetermined value, and the operations and effects caused thereby are the same.
  • the screen was divided vertically (distance direction) and left and right.
  • there may be a large difference in the ease of recognition between the left and right lanes such as a lane that is rubbed only on the left or right side, a lane that is low contrast with the road surface, or a botsdot.
  • Such road conditions tend to be relatively sustainable.
  • the conventional method since the lane on one side is not visible, the reliability of the entire lane is lowered, and vehicle control may not be able to be applied continuously.
  • the control can be performed when the reliability is high even in only one lane, and the control adaptive range can be expanded.
  • area division is performed for each of the left and right lanes of the vehicle lane, but an area may be provided for each lane as shown in FIG.
  • a camera with a wide field of view not only the left and right lanes 1071 and 1072 for traveling on the own vehicle but also the lanes 1070 and 1073 on the adjacent lane may be recognized.
  • the adjacent lanes 1070 and 1073 as recognition targets, for example, vehicle control using the own vehicle travel lanes 1072 and 1073 immediately after the right lane change in FIG.
  • the area determination unit 410 compares the recognition results, for example, the left lane closest to the host vehicle is this It is determined that the result is a recognition result of the image processing area.
  • the reliability for each area is calculated using information such as image processing areas, recognition results, and intermediate results.
  • the area may be divided for each camera.
  • FIG. 6 shows an example in which areas are divided into fields of view for each camera. Dividing the camera into different areas can be expected to have the same effect as left and right and up and down. In addition, by dividing the camera into different areas, it is possible to estimate the control parameter while suppressing or excluding the influence of the recognition result of the area with low reliability, thereby enabling high accuracy and high reliability.
  • the area division method is determined when the system concept such as the camera viewing angle and control method is determined.
  • the lane recognizing unit 200 is different only in a portion where the front camera is the same and the far curvature is not seen.
  • the recognition method is the same for the rear camera, only the front and rear are reversed with respect to the vehicle.
  • white line feature values in the screen are extracted, and straight lines with many white line feature values arranged in a straight line are recognized as lanes.
  • the control parameter estimator 300 calculates the correct control parameter, and estimates the relative lateral position and yaw angle between the host vehicle and the lane.
  • the left and right side cameras that are camera-specific areas only associate the camera with the reliability by area in the area determination unit 410. Since the front camera and the side camera recognize the left and right lanes with respect to the own vehicle, the reliability for the left lane is calculated from the correspondence between the own vehicle position and the lane.
  • FIG. 6 when four cameras, front, rear, left side, and right side, are installed, the left front, left side, left rear, right front, right side, and right rear of the vehicle lane are displayed. Can be divided.
  • the area-specific reliability calculation unit 420 calculates area-specific reliability from the captured image information.
  • the reliability for each area from the image information three types of information including white line feature amounts, three-dimensional information, and time-series information, which will be described in detail below, are used. By calculating the reliability for each area as a numerical value of 100 to 0 based on such information, the recognition state of the lane recognition can be appropriately expressed.
  • the area-specific reliability is defined as a value obtained by multiplying the product of the score of the white line feature value, the three-dimensional information score, the time-series information score, and each score (1 to 0) by 100.
  • Each score is expressed as a numerical value from 1 to 0 at maximum, and the higher the numerical value, the higher the reliability.
  • the white line feature quantity, three-dimensional information, and time-series information used for calculating the reliability for each area will be specifically described.
  • White line feature amount For extracting a lane mark on an image, information on luminance difference from the road surface, a luminance change pattern, thickness information on the road surface of the lane mark, shape information, and the like are used.
  • the white line reliability is calculated based on the number of white line feature values obtained by using such information and the degree of aggregation of whether the white line feature values are gathered or distributed on the line.
  • the number of white line feature values reflects how much lane-like information exists on the road in the reliability, and the degree of aggregation into a line indicates whether or not the noise is such that the feature values are dispersed on the screen. This is reflected in the reliability. Considering that the use of the control is not suitable from the viewpoint of safety even though the feature quantity that seems to be a white line is small or the feature quantity is not aggregated on the line, the reliability is calculated.
  • the reliability is calculated based on the number of white line feature quantities existing in the processing region determined by the area determination unit 410 on the line.
  • the number of white line feature quantities that exist when there is an ideal straight solid white line in the area is set to 1, and it is judged as 0 when no feature quantity exists or when it cannot be determined that they are aligned on the line. To do. It is as follows when it shows with a numerical formula. Also, even when the number exceeds 1 for some reason, the white line feature amount score of 1 or more is prevented from being censored by the censoring process and does not become negative.
  • the reliability is calculated by determining whether or not the extracted white line feature is a value suitable for a three-dimensional road structure.
  • ⁇ Reliability is calculated from the parallelism of the left and right lanes, the smoothness of the curve, and the continuity of the presence of features from the vicinity to the distance.
  • it is a reliability evaluation target in consideration of the relationship for each area. For example, regarding the parallelism, if the left and right parallelism is low, the overall reliability is lowered.
  • smoothness as a curve, the reliability of the distant area of the area determined not smooth is reduced. This is because there are basically few false detections in the vicinity and many false detections in the distance.
  • the score is judged only by parallelism.
  • the 3D information scoring method varies depending on the area.
  • the recognition result of the right and left lanes in the neighboring area is ideal and the white lines on both sides are judged to be completely parallel, 0 is used, and an angular error of 6 degrees that is considered to be acceptable as an error is used as a threshold.
  • the parallelism error is a threshold value of 6 degrees
  • the three-dimensional information score is set to 0.5
  • the error is 12 degrees or more
  • the three-dimensional information score is set according to the magnitude of the parallelism error.
  • the following describes how to calculate the three-dimensional information score on the left and right of the neighborhood area. In the case of the neighborhood area, the score is determined based on the parallelism on both the left and right sides.
  • the two broken lines are a set of 20 m of a broken line and a blank for one cycle. For this reason, the amount of feature that periodically changes every 20 m while considering the vehicle speed is also evidence that the broken line is recognized.
  • a time series information score 1 is set when the amount of white line feature, the luminance difference, and the thickness are always constant as in an ideal solid white line.
  • the white line feature amount that is about 20 m long and periodically changes every time the vehicle runs a fixed length also sets the reliability high.
  • the level of the score is determined by the length of the past how many meters of traveling, which is the same as the period of comparison with the past number of meters of traveling data. If no periodicity is found, the score is 0. Compared with the past 400 [m] data, if the periodicity of the latest 20m travel data is recognized, the reliability is set to 1; in the past 100 [m], set to 0.25. And
  • the reliability of 100 to 0 calculated by the area-specific reliability calculation unit 420 it is determined from external information whether there is a false detection factor, and a correction process for reducing the reliability according to the determination result is performed. Do.
  • the vehicle behavior unit 351 is vehicle state detection means such as a vehicle sensor, and can predict the travel route of the host vehicle by using a vehicle speed sensor, a steering angle sensor, a yaw rate sensor, or the like measured by the detection means. it can.
  • the reliability is corrected by comparing the travel route and vehicle control parameters (estimated curvature, yaw angle, lateral position). For example, when the lateral position changes greatly, the reliability of the area on the lane side where the lateral position has suddenly changed is lowered in both near and far. On the other hand, if the yaw angle or curvature value changes suddenly even though the lateral position is stable, the reliability of the remote area is high because there is a high possibility that only the remote area is falsely detected. Reduce.
  • the radar unit 452 is a millimeter wave radar, a laser radar, or a stereo camera.
  • the reliability of the area on the image in which the obstacle is reflected is reduced. Since the white line cannot be seen due to the obstacle, there is a high possibility that the reliability is low in the first place, or the reliability is high despite the erroneous detection. Therefore, the reliability corresponding to the proportion of the area occupied by the obstacle is reduced.
  • 70% of the reliability calculated by the area-specific reliability calculation unit 400 is cut. In this way, it is considered that the vehicle control can be performed by preventing the propagation of the false detection factor and excluding the result of the location where the false detection factor exists by dividing by area.
  • the navigation information unit 453 is a navigation device, and compares the curvature of the map information acquired from the navigation device with the estimated curvature of the vehicle control parameter. Considering that there is a high possibility of false detection, the reliability of distant is lowered. As a result, it is possible to reflect a remote detection error in the reliability.
  • the other camera unit 454 compares the recognition result of the other camera with the lateral position, yaw angle, and curvature, and halves the reliability when consistency is not achieved.
  • the vehicle behavior unit 451, the radar unit 452, the navigation information unit 453, and the other camera unit 454 it becomes possible to perform lane recognition reliability calculation using information from other than the camera, It becomes possible to calculate the reliability more accurately. This makes it possible to select a more appropriate vehicle control mode. It is more appropriate to incorporate external information, but it is not necessary to incorporate it.
  • control parameter may be re-estimated again except for the influence of an area with a reliability lower than a predetermined value. As a result, it is possible to prevent the accuracy of the control parameter from being reduced due to erroneous detection and to prevent erroneous detection.
  • FIG. 23 shows a flowchart of a vehicle control method according to area-specific reliability implemented by vehicle control unit 500 according to area-specific reliability.
  • control mode determination unit 501 determines the control mode (S1).
  • the host vehicle route prediction unit 502 predicts the travel route of the host vehicle using the formula shown in FIG. 12 (S2).
  • the host vehicle traveling lane is estimated from the relative lateral position of the lane relative to the host vehicle, the yaw angle, and the road curvature estimated by the control parameter estimation unit.
  • the host vehicle travel lane estimated by the control determination unit 503 is compared with the host vehicle predicted travel route predicted by the host vehicle route prediction unit 502 to determine whether control is necessary (S3).
  • S3 the possibility of lane departure is determined at a distance of L [m] from the host vehicle, and the presence or absence of vehicle control is first determined.
  • the control amount determination unit 504 determines a target route in the case of the curve control mode shown in FIG. 14 from the own vehicle predicted travel route and the estimated own vehicle travel lane (S4). A target route in the lane shown in FIG. 14 is determined.
  • the above-set target route and the vehicle predicted travel route are compared, and the control amount is determined by the control amount determination unit 504 according to the difference in the distance of L [m] (S5).
  • the vehicle control is performed by the vehicle control execution unit 505 based on the control amount determined above, and the result is fed back to the own vehicle route prediction S2 in the next frame (S6).
  • the estimated route uses the equation (3) obtained by approximating the behavior of a four-wheeled vehicle with a two-wheel model with only front and rear wheels, and inputs the steering angle and vehicle speed information of the own vehicle. Predict the travel route.
  • a target route for controlling the vehicle so as not to deviate when it is likely to deviate from the lane is calculated using the lane recognition result by the camera.
  • This vehicle control method calculates two target routes, a curve control mode 540 using the curve shape of the road and a straight line control mode 550 not using the curve shape, based on the lane recognition result by the camera and the reliability for each area. The method is switched.
  • the control parameters recognized by the camera are the yaw angle indicating the relative lateral position and relative inclination of the vehicle and the lane, and the curvature indicating the degree of road curvature.
  • the own vehicle travel lane is estimated using these parameters.
  • a target route is calculated based on the own vehicle travel lane.
  • the control method is such that the vehicle is pushed back into the lane when it is likely to deviate from the lane. In this case, the control is independent for the left and right recognized lanes.
  • two target route calculation methods will be described for each control mode.
  • the vehicle lane is estimated using the curvature of the estimation result of the vehicle control parameter.
  • the target route is the inner WL [m] of the lane along the curve of the estimated own vehicle travel lane.
  • a difference ⁇ between the host vehicle predicted travel route and the target route in front of the host vehicle L [m] is calculated, and feedback control is performed so that the difference ⁇ becomes 0 [m].
  • feedback control is applied so that it becomes the travel route of the estimated WR [m] inside the right lane.
  • Linear control mode 550 In the straight line control mode 550, the vehicle traveling lane is estimated on the assumption that the straight line is used without using the curvature of the estimation result of the vehicle control parameter.
  • the inner route WL [m] of the estimated host vehicle traveling lane assuming a straight line is set as the target route.
  • a difference ⁇ between the host vehicle predicted travel route and the target route in front of the host vehicle L [m] is calculated, and feedback control is performed so that this becomes 0 [m].
  • feedback control is applied to the right side so as to be a travel route of the estimated WR [m] inside the right lane.
  • a large difference ⁇ does not appear when traveling in a straight line as compared with the curve control mode 540, but the difference ⁇ increases as the curve is steeper.
  • the far vehicle is hiding a part of the vehicle lane, or if it is difficult to detect the far white line from the vehicle due to botsdots, faint white lines, backlighting, etc., the far lane recognition reliability will be reduced. To do. If the far white line is not recognized, the curvature is estimated from only a small part of the circle and a narrower range, and a reduction in estimation accuracy is expected.
  • the accuracy may be reduced due to erroneous detection in a distant part. If the reliability in the near area is high even though the reliability in the far area is low, the accuracy of the yaw angle and lateral position can be sufficiently secured to withstand the control even if the curvature accuracy decreases. . Therefore, in this method, vehicle control is performed using the road shape as a straight line (yaw angle, lateral position), which can sufficiently cope with control of lane departure prevention on a gentle curve or a straight road.
  • the vehicle control modes in this embodiment are the following four patterns A, B, C, and D.
  • Stop mode 570 (none)
  • the mode switching between A, B, C, and D is performed based on the reliability.
  • There are two types of modes for controlling the vehicle A and B for calculating the above-mentioned estimated route.
  • For C a deviation warning is displayed on the display or by a lamp.
  • the stop mode is a state in which control and warning are not performed at all because the reliability by area is low.
  • the new method uses the reliability by area, for example, determines the decrease in curvature accuracy from the decrease in reliability by far area, and from the normal curve control mode, the viewpoint of preventing erroneous control. Switch to the linear control mode using the available yaw angle and lateral position.
  • ⁇ Display system> The status of the lane recognition result is displayed on the display device 609 and communicated to the driver according to the result of the reliability by area. If the reliability is high, the luminance is high, and if the reliability is low, the luminance is low, and the user is informed whether the lane departure prevention control based on lane recognition is operable.
  • the said function represents the change of reliability with the brightness
  • this may be a color or a shape.
  • the display device may be a display device for informing the user of the control mode switched according to the reliability for each area.
  • the control mode display device of FIG. The display changes according to the left and right control modes as shown in the control mode display format of FIG. 21, which allows the user to grasp the lane recognition status by the camera and the current control mode. it can.
  • the reliability may be calculated according to the control parameters (curvature, yaw angle, lateral position) instead of the reliability by area.
  • the parameter-specific reliability calculation unit is different first, but the reliability calculation method is the same as the area-specific reliability calculation.
  • the time series information is used for calculation.
  • the vehicle control method according to the reliability for each control parameter is also different from the control mode switching method shown in FIG. FIG. 18 shows a method for switching the control mode in accordance with the reliability for each control parameter.
  • the lateral position use determination 581 whether or not the lateral position can be used is determined according to the reliability of the lateral position.
  • the process proceeds to the yaw angle usage determination 582.
  • the yaw angle use determination 582 whether or not the yaw angle can be used is determined based on the reliability of the yaw angle. When the yaw angle use determination 582 is No, it is determined that only the horizontal position is usable, and the warning mode 560 using the horizontal position is selected. When the yaw angle use determination 582 is Yes, the process proceeds to the curvature use determination 583.
  • curvature use determination 583 it is determined whether or not the curvature can be used based on the reliability of the curvature.
  • the curvature usage determination 583 is No, it is determined that the yaw angle and the lateral position are usable, and the linear control mode 550 using the yaw angle and the lateral position is selected.
  • the curvature usage determination is Yes, it is determined that control using the curvature, yaw angle, and lateral position is possible, and the curve control mode 540 is selected.
  • this is corrected by using the information from the vehicle behavior unit 451, the radar unit 452, the navigation information unit 453, and the other camera unit 454 in the area-specific reliability correction unit 430.
  • the reliability of the curvature is lowered, and this is used to determine the availability of the vehicle control.
  • control or warning is determined from the yaw angle and the reliability of the lateral position as shown in the flow of FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

 誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供する。車両制御装置は、自車前方の画像を撮像する車載カメラ600と、複数の車両制御方法から1つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御するECU610と、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部400を有し、ECUは、エリア別信頼度情報に基づいて車両制御方法を決定する。

Description

車両制御装置
 車両の車線逸脱を制御する車両制御装置に関する。
 車両にカメラやレーダを取り付けてレーンマークを認識し、自車と車線の相対的位置関係や傾き、そして道路の曲がり具合を示す曲率を推定するレーンマーク認識装置がある。この曲率,ヨー角,横位置に応じて車線逸脱等の事故を防止するために車線逸脱警報や車線逸脱防止の制御を行う車両制御装置がある。従来の手法では、レーンマーク認識結果全体に対して信頼度を算出し、この信頼度の結果に応じて、車線逸脱制御方法を切替える車線逸脱防止制御装置があった(特許文献1参照)。
特開2006-178675号公報
 道路鋲(ボッツドッツ)や、白い路面(コンクリート)上のかすれた白線などは遠方だけが見えづらい場合がある。また太陽の方向によっては左右片側だけ見えづらいことや、片側のみレーンマークが擦れている場合やボッツドッツである場合がある。
 上記従来技術では、レーン認識結果全体に対して信頼度を算出するため、部分的に見えづらい領域があれば信頼度全体が低下し、逸脱防止制御の動作率が低下するという課題があった。
 本発明の目的は、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車線逸脱防止制御装置を提供する。
 上記課題を解決するために、本発明は、自車前方の画像を撮像する車載カメラと、複数の車両制御方法から1つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、処理ユニットは、エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置の構成とする。
 さらに、車速情報を検出する車速センサと、操舵角情報を検出する操舵角センサと、ヨーレート情報を検出するヨーレートセンサと、を有し、車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、処理ユニットの車両制御部は、道路曲率,ヨー角,横位置の少なくとも1つと、エリア別信頼度情報と、に基づいて車両制御方法を決定する構成とする。
 誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できる。本明細書は、本願の優先権の基礎である日本国特許出願2009-225887号の明細書及び/または図面に記載されている内容を包含する。
本発明に係る車両制御装置の一構成例を示す図である。 図1の車両制御装置のエリア別信頼度算出部の一構成例を示す図である。 図1の車両制御装置の車両の制御モードを判定するフローチャートを示す図である。 本発明において左右遠近にエリアを分けた場合を説明する図である。 本発明においてレーン別にエリアを分けた場合を説明する図である。 本発明においてカメラ別,レーン別にエリアを分けた場合を説明する図である。 本発明において、各エリアにおける車両制御モードの対応表を示す図である。 本発明において、車両制御モードの切替え用閾値を説明する図である。 曲率を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。 直線を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。 車線逸脱の警報もしくは警告する場合のエリア別信頼度の条件を説明する図である。 本発明の2輪モデルによる推定経路を示す図である。 曲線制御モードの場合の目標経路算出を説明する図である。 曲線制御モードの場合の目標経路との差分算出を説明する図である。 直線制御モードの場合の目標経路算出を説明する図である。 直線制御モードの場合の目標経路との差分算出を説明する図である。 本発明に係る車線逸脱防止制御装置の他の構成例を示す図である。 図17の車線逸脱防止制御装置の車両制御フローチャートを示す図である。 本発明に係る車線逸脱防止制御装置を搭載した車両の一構成例を示す図である。 本発明の車両制御モードの表示例を示す図である。 本発明の車両制御モードに応じた表示形式の一例を示す図である。 信頼度に応じて動的にエリア遠方の距離を変化させる方法を説明する図である。 本発明のエリア別信頼度に応じた車両制御方法のフローチャートを示す図である。 本発明のエリア別信頼度に応じた車両制御部を説明する図である。
100 画像取得部
200 レーン認識部
300 制御用パラメータ推定部
400,420 エリア別信頼度算出部
410 エリア判定部
430 エリア別信頼度補正部
450 外部情報部
451 車両挙動部
452 レーダ部
453 ナビ情報部
454 他カメラ部
500 車両制御部
510 レーン別制御判定
520 曲率利用判定
530 警告判定
540 曲線制御モード
550 直線制御モード
560 警告モード
570 停止モード
600 車載カメラ
601 操舵角センサ
603 アクチュエータ
606 車速センサ
607 ヨーレートセンサ
609 表示装置
610 ECU
1010 左遠方
1020 左近傍
1050 右遠方
1060 右近傍
 本発明は、自車前方の画像を撮像する車載カメラ600と、複数の車両制御方法から1つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットであるECU610と、を有し、車載カメラ600は撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部400を有し、ECU610は、そのエリア別信頼度情報に基づいて車両制御方法を決定する車両制御部500を有する構成とすることで、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できるものである。
 以下、各図面を用いて本発明の実施形態を説明する。
<車線逸脱防止制御装置の構成説明>
 図19を用いて車両制御装置を搭載した車両の構成を説明する。
 図19に示すように車両前方に向けた車載カメラ600を搭載し、車載カメラ600と車両制御をつかさどるECU(Engine Control Unit)610はCAN(Controller Area Network)により接続されている。車両には、ECU610と各センサ(車速センサ606,操舵角センサ601,ヨーレートセンサ607)とアクチュエータ603を備えた車両制御装置。ECU610はCAN通信にて車両内の各センサから車速,操舵角,ヨーレートなどの情報を取得する。ECU610はCAN通信にて上記各センサ及び、カメラで計算されたエリア別信頼度情報を基に、車両制御方法を決定する。ECU610は決定された車両制御方法からアクチュエータ603を利用し車両を制御する。また、このエリア別信頼度もしくは、現状の車両制御モードの結果を表示する表示装置609を備えている。
 車載カメラ600は図1に示すように画像取得部100,レーン認識部200,制御用パラメータ推定部300,エリア別信頼度算出部400機能を備えている。車両制御はECU610で実施されるため、エリア別信頼度に応じた車両制御部500を備えている。また、レーン認識部200,制御用パラメータ推定部300,エリア別信頼度算出部400はECU610の機能であってもよい。
 図1にレーン認識結果の信頼度をエリア別に備えた車線逸脱防止制御装置の構成図を示す。この図1を用いて車載カメラ600の各構成要素を説明する。
 車両制御装置には、車載カメラ600からの画像を取得する画像取得部100と、取得された画像を利用しレーンの認識を行うレーン認識部200、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢関係を示すヨー角、相対的位置関係を示す横位置、といった車両制御に利用するパラメータを推定する制御用パラメータ推定部300、エリア別にレーン認識結果の信頼度を算出するエリア別信頼度算出部400、更にエリア別信頼度と制御用パラメータ推定結果に基づいて車線逸脱防止制御を行うエリア別信頼度に応じた車両制御部500を備える。
 ここで、信頼度とは、レーン認識結果が誤検知することなく、正しく走行レーンを認識し、車両制御もしくは警告を行うに値するかどうかを示す指標であり、画像中に線上に並ぶ白線特徴量の多さや、抽出した線の平行性などから数値的に示す。
 信頼度が高いほど認識結果が正しく、低いほど誤検知もしくは認識精度が低いことを示し、車両制御や警告に適さないことを示す。
 本実施例では、車載カメラ600は、自車走行方向へ向けた車載単眼カメラを想定した実施例について記載するが、カメラはステレオカメラであっても、車両周囲を撮影する複数カメラであってもよい。またレーンを認識するセンサ部分は、レーザレーダや、ミリ波レーダなどカメラ以外のセンサでも良い。
 次に、図2を用いてエリア別信頼度算出部400の構成を説明する。 
 エリア別信頼度算出部400は、レーン認識した結果に応じてエリアを分割するエリア判定部410を備える。本実施例では、自車走行レーンの左右のレーンにエリアを分割し、更に距離別に遠方,近傍の二つに分割し、左遠方1010,左近傍1020,右遠方1050,右近傍1060の計4エリアに分割した。
 また、エリア判定部410によって分割された各エリアに対し撮像された画像情報を基に信頼度を算出するエリア別信頼度算出部420を備える。更に、エリア別信頼度算出部420にて画像情報を利用して得られたエリア別信頼度に対し、外部情報部450を利用して信頼度の補正を行うエリア別信頼度補正部430を備える。上記外部情報部450は、自車両の挙動を解析するための車速センサや加速度センサ,操舵角センサ,ヨーレートセンサなどから自車両の走行情報を扱う車両挙動部451、障害物や先行車などを検知することのできるミリ波レーダ、もしくはレーザレーダもしくは、ステレオカメラからなるレーダ部452を備える。
 また、カーナビゲーションシステムの地図情報やナビに搭載されたGPSや角速度センサ(ジャイロセンサ),加速度センサ,方位センサによる車両位置からの走行解析可能なナビ情報部453を備える。また、外部情報部450には、エリア別信頼度を算出するカメラ以外に、他カメラからの情報を利用するための他カメラ部454を備える。
 図24を用いてエリア別信頼度に応じた車両制御部500における処理の車両制御部を説明する。エリア別信頼度に応じた車両制御部500で、エリア別信頼度に応じた車両制御を実施する。エリア別信頼度に応じた車両制御部500の詳細な機能ブロックを図24に示す。
 エリア別信頼度の結果を利用して車両制御のモード切替えを、エリア別信頼度に応じた制御モード判定部501にて実施する。自車経路予測部502では、車速情報や、舵角情報を利用して、このまま車線逸脱回避制御やドライバーによる介入無に自車両が進んだ場合の経路推定を行う。この推定された自車推定経路の結果と、制御用パラメータ推定部300にて推定されたレーン認識の結果を比較して自車両が車線逸脱の可能性があるかどうかの判定を制御判定部503にて行う。
 車線逸脱の可能性がない場合には、制御量決定部504では制御量0を選択、車両制御実施部505では制御を実施せず、逸脱の可能性を監視し、逸脱回避のための制御を待機している状況となる。
 車線逸脱の可能性がある場合には、制御量決定部504にて自車前方L[m]における推定経路と認識した車線との横位置差分を基に舵角へ与える制御量を決定する。車両制御実施部505にて、上記決められた制御量を利用し、車線逸脱回避のための車両制御を実施する。
 エリア別信頼度に応じた車両制御部500では、エリア別信頼度に応じて制御モードを切替えることで車両制御を実施する。以下では、エリア別信頼度に応じた制御モード判定部501における、エリア別信頼度による制御モードの切替えについて、各図面を用いて説明する。
 本実施例では、図4に示す通り、信頼度算出のエリアを左遠方1010,左近傍1020,右遠方1050,右近傍1060の計4エリアに分けた。図3では、そのうち左遠方1010と左近傍1020を利用したエリア別信頼度に応じた左車線に対する車両制御方法を示す。本実施例では、左右のレーンに対して、それぞれ独立した制御を行うため、右遠方1050と右近傍1060のエリア別信頼度に応じた車両制御も左車線に対するものと同様となるため詳細は省略する。
 レーン別制御判定510において、自車両の左右直近のレーンに対し、左右別に制御の可否の判定を行う。本説明では左レーンに対する信頼度より、自車走行レーンの左車線に対する制御実施の判定を行う。左右別に独立した制御の可否判定を行うことで、左右一方でも信頼度高く検知できていれば、信頼度の高いレーンに対する車両制御を行うことが可能となり、車両制御適応範囲の拡大が可能である。また、擦れてはっきり見えていない車線に対し制御を行ってよいかの判定を左右別に判定が可能となっているため、誤検知による誤制御を避け、より安全に配慮したシステム構築が可能となる。
 レーン別制御判定510において左近傍1020のエリア別信頼度が制御の可否を判定する閾値である近傍第1所定値以上かどうかの判定を行う。
 Yesの場合は制御可能と判定し、次に、左遠方1010のエリア別信頼度が曲率利用の制御の可否を判定する閾値である遠方第1所定値以上かを曲率利用判定520にて行う。ここでは遠方の信頼度が遠方第1所定値以上であるか判定を行う。遠方を見なければ道路の曲がり具合が不明のため、左遠方のレーンは画像上で多くの白線特徴量を抽出できているか、またおおよそ画面上で線上にその特徴量が集まっているかどうかにより遠方の信頼度を算出する。左遠方の白線特徴量が多く存在し、かつ、直線状に並んでいれば信頼度が高く推定した曲率が正しい道路形状を示していると考えて道路の曲がり具合を考慮した車両制御を可能とする。
 図9に示すように、近傍だけでなく遠方の信頼度もそれぞれの第1所定値以上であることが確認された場合には、曲率利用判定520において、曲線制御モード540(Yes)を選択する。反対に、図10に示すように遠方の信頼度が遠方第1所定値より低い場合には、曲率利用判定520において直線制御モード550(No)を選択する。
 近傍の信頼度が高いにも関わらず遠方の信頼度が低い場合には、車両制御に曲率の利用を避ける。曲率を算出する場合には、近傍だけでなく遠方までのレーン認識結果が得られていなければ、曲率を精度良く算出することが困難である。また、信頼度が低い場合には誤検知による曲率精度の誤差も懸念される。このため遠方の信頼度が低い場合には、誤差のある曲率を使用したことによる誤制御を避けるために、直線制御モード550を選択する。
 更に、図11に右側レーンに対して警告モードの場合を表に示す。 
 レーン別制御判定510にて近傍第1所定値未満の場合Noとなり、警告判定530にて左近傍の信頼度が近傍第2所定値以上である場合、車両制御するほどにレーンの認識結果の精度が信用できないが、警告を表示、もしくは警報をならすことを実施する警告モード560を選択する。
 誤制御は車両の安全性に悪影響を及ぼす可能性が高いため、信頼度が高い場合にのみ車線逸脱防止の制御を行う。信頼度が低い場合はレーンを誤検知している可能性が高くなる、このため誤制御を回避するために、誤検知中に車線逸脱防止装置が動作してもドライバーにとって不快を与える誤警告のみにとどめ、車両の安全性には影響を及ぼさないような安全性の高いシステム構成とする。
 レーン別制御判定510にて近傍第1所定値未満の場合Noとなり、警告判定530にて左近傍の信頼度が近傍第2所定値未満である場合、信頼度が低すぎて警告もならせないものとする。
 なお、制御モードの詳細記載は、下方の<車両制御方法の切替え>で示す。 
 本システムの設計では、エリア別の信頼度を利用することで曲線制御モード540、遠方の信頼性低下による直線制御モード550、信頼性低下による警告モード560、更なる信頼性低下による停止モード570のいずれかの動作を選択している。540~570の中で番号の若い制御モードほど、高度な車両制御となりドライバーにとって快適な運転のサポートとなる。
 曲線制御モード540と直線制御モード550の制御の違いとは道路のカーブ形状を考慮するかどうかの違いであり、カーブ形状を考慮しない直線制御モード550では、カーブ走行時の逸脱制御に遅延が生じ逸脱タイミングを遅らせることはできるものの、車速や曲率によっては逸脱を完全に防止できない。よりドライバーにとって快適な制御は、より高いレーン認識の信頼度を必要とする。反対に言えば、遠方の信頼度が低いような悪条件な道路において高度な制御を行えないものの、認識が比較的容易な近傍の結果のみを利用し、安全重視,誤制御抑制した機能抑制の制御を実施することが可能となる。
 また、図3のレーン別制御判定510において制御不能のNoを選択した場合、車両制御を行わないこととなるが、警告判定530において自車近傍の信頼度が近傍第2所定値より高ければYesと判定し、警告モード560を選択する。警告判定530において近傍第2所定値より低ければ停止モード570を選択する。安全やドライバーの利便性の観点から、誤警告よりも誤制御の方が避けるべき事態であることを考慮した上で、制御と警告,停止の選択を行っている。近傍第1所定値よりも近傍第2所定値の方を低く設定し、近傍第1所定値以上の信頼度であれば、制御モード(曲線もしくは直線),近傍第1所定値未満かつ近傍第2所定値以上であれば、警告モード560、近傍第2所定値未満であれば停止モード570とする。
 図7,図8にエリア別信頼度と制御の関係を表にまとめる。 
 左右車線に対する車両制御は、左右対称独立であるため、下記説明では上下の信頼度の関係を考慮しながらの、車両制御切替えを説明する。
 遠方信頼度の結果に応じて車両制御に曲率の使用・不使用を判定する閾値として、遠方第1所定値を定める。近傍信頼度の結果に応じて車両制御と警告を切替える閾値として近傍第1所定値、警告と停止を切替える閾値として近傍第2所定値を定める。
 遠方の信頼度が遠方第1所定値より高く、近傍の信頼度も近傍第1所定値より高い場合、カーブをも考慮した高度な曲線制御モード540を実施する。
 また、遠方の信頼度が遠方第1所定値より低く、近傍の信頼度が近傍第1所定値より高い場合、カーブを考慮せず、直線道路と仮定した直線制御モード550を実施する。これは、遠方の誤検知、もしくは不検知による曲率精度の低下を懸念して、カーブ中の制御には遅れが生じるものの、誤制御を抑制する安全性を重視した制御方法を実施する。
 また、遠方の信頼度が遠方第1所定値より低く、近傍の信頼度が近傍第1所定値より低く近傍第2所定値より高い場合、車両誤制御を懸念しより安全性を重視した設計として警告モード560を実施する。
 また、遠方の信頼度が遠方第1所定値より低く、近傍の信頼度も近傍第2所定値より低い場合、認識状態が制御,警告を実施できる状況にないと判断し制御,警告の動作を停止する停止モード570を実施する。
 なお、遠方の信頼度が遠方第1所定値より高く、近傍の信頼度が近傍第1所定値より低い場合は、存在しないような信頼度計算方法としているため、対応する制御方法はない。
 信頼度計算方法部分で詳細を述べる。近傍の車線が存在しないにも関わらず遠方のみ車線が見えるような状況は、誤検知である可能性が高いため、信頼度は近傍の車線情報からの連続性を見る計算を行う。このため近傍の信頼度が遠方の信頼度に影響を及ぼすので、遠方の信頼度のみが高い場合は存在しない。
 本実施例では、曲線制御モード540と直線制御モード550を切替えて実施している。ただし、この切替えを常に中間値を持つように、信頼度の高さに応じて曲線と直線の中間の目標経路を設定するような手法でも良い。
 図14,図16で説明すると、遠方の信頼度が高いほど図14の曲線に近い強い操舵制御となり、遠方の信頼度が遠方第1所定値に近づくにつれて図16の直線時の弱い操舵制御となるような信頼度に応じ操舵制御の強さに変化が生じても良い。
 また、モード自体は変化しても、制御量が一気に変化しないような時定数をもたせ、制御には徐々に影響するようにしても良い。
<エリア分割方法>
 本実施例では、カメラのエリアを図4に示すように、左遠方1010,左近傍1020,右遠方1050,右近傍1060の計4エリアに分割した。
 カメラによるレーン認識では、遠方を認識対象とするほど画像上で小さくレーンが撮像されることとなり一般的に認識が困難となる。また、遠方であるほど路面以外の対象がカメラ中に撮像される可能性が高く、路肩や先行車両,障害物などがレーン認識の障害となり認識が困難となる傾向が強い。
 従来のようにレーン全体に対し信頼度を算出しているような場合には、遠方が誤検知もしくは不検知状態の場合にはレーン全体の信頼度が低下し、近傍は画面上ではっきり認識可能でありながらも、誤制御回避などのために車両制御自体を停止するなどの処置をとっていた。 遠方のみが誤検知し、近傍のレーンが認識できているような場合を想定すると、近傍の認識結果のみを利用した制御を行いたい。また、ボッツドッツや、かすれた白線などの場合には、遠方のみが不検知で近傍のレーンが認識できているような場合を想定すると、これも近傍の認識結果のみを利用した制御を行いたい。
 本実施例では、エリア別信頼度を用いることで遠近左右別にレーンの認識状況を判断し、最適な制御モードを選択する。これにより遠方のみがレーン認識困難な道路では遠方までの道路のカーブ状況を考慮できない限定的な制御となるものの、誤検知もしくは不検知による制御への悪影響を除きながらも限定的な直線制御モードを制御適応範囲の拡大に成功した。
 本実施例では、距離方向二つに分割したが、認識対象とする遠方の距離に応じて分割数が異なっても同様の効果が望める。ただし、破線などを考慮するとエリアの距離方向は20m程度以上が望ましい(20mあれば破線であっても実線と間隔の両方がエリア内に収まるため、エリアから白線が消えることがない)。短すぎる場合、例えば10m程度の場合には瞬間的に画面から白線すべてが消える瞬間があり、制御に利用するかどうかの判定が難しくなる。またエリアは、認識状態に応じて距離方向に動的に変化しても良い。
 また、図22に示すように距離方向にエリアを分割する代わりに、信頼度に応じて動的にエリア遠方の距離を変化させるような方法でも良い。レーン認識の処理領域を図22に示すように左右のレーンに対して定めた際の最遠方の距離を信頼度に応じて変化させる。信頼度が低下した場合には、誤検知要因や不検知要因となりやすいエリア遠方の距離を短くする。反対に信頼度が上昇した場合には、正しいレーン位置を認識していると判断し、次フレームでは更にレーンの認識精度、特に曲率の推定精度を向上させるために処理領域を遠方にまで伸ばすことで道路の曲がりぐらいを推定しやすい処理領域の設定とする。
 図22左レーンに示すように距離第2所定値以上(距離第2所定値より遠方)の場合、かつこの距離までのエリア別信頼度が距離変化第1所定値以上の場合には、処理領域中の遠方から近傍までの信頼度が高く、更に遠方からの近傍までの距離が長く道路の曲がり具合を示す曲率を推定するのに十分な距離を保持していると考え、曲線制御モード540にて車両制御する。
 図22右レーンに示すように、処理領域最遠方の距離が距離第1所定値未満、かつ距離第2所定値以上となり、かつ信頼度が距離変化第1所定値以上の場合には、直線制御モード550にて車両制御する。
 更に処理領域最遠方の距離が距離第1所定値未満、かつ信頼度が距離変化第1所定値以上の場合には警告モード560とする。
 処理領域最遠方の距離が距離第2所定値未満もしくは信頼度が距離変化第1所定値未満の場合には停止モード570とする。
 基本は、4分割と同じように、信頼度が所定値以上であるエリアの距離方向の長さと信頼度にて制御のモード選択を行い、それによって生じる作用や効果も同様である。
 本実施例では、画面上を上下(距離方向)に分割するとともに、左右にも分割を行った。例えば、左右片側のみ擦れたレーン、もしくは路面と低コントラストなレーン、もしくはボッツドッツのような、左右のレーンで認識し易さに大きな差異が生じる場合がある。このような道路状況は比較的持続する傾向が強い。このため従来手法では、片側レーンが見えないことからレーン全体の信頼度が低下し、車両制御が持続して適応できない場合があった。
 本実施例の様に左右で別々に信頼度を設けているような場合には、片側車線のみでも信頼度が高い場合には制御が可能となり、制御適応範囲を拡大することが可能となる。
 また、従来手法のまま車両制御適応範囲を拡大しようとすると、信頼度が多少低くとも車両制御を行うこととなる。このため、十分に見えてない側の車線に対しても車両制御や警報を実施する結果となり、車線逸脱防止制御装置の誤動作の観点からも望ましくない状況といえる。
 本実施例では、自車走行レーンの左右のレーン毎にエリア分割を行っているが、図5のようにレーンごとにエリアを設けてもよい。視野が広いカメラを利用する場合には、自車走行の左右レーン1071,1072だけではなく、隣車線のレーン1070,1073をも認識対象とすることがある。
 隣車線のレーン1070,1073をも認識対象とすることで、例えば図5の右側車線変更直後に自車両走行レーン1072,1073を利用した車両制御にも早急に対応可能となる。カメラの視野角や制御方法などシステム構想が決まる段階で4つのレーンに対してエリアを設けることを決定し、エリア判定部410では認識結果を照らし合わせて、例えば自車両にとって最も近い左レーンはこの画像処理エリアの認識結果であるということを判定する。画像処理エリアや認識結果,途中結果などの情報を利用して、エリア別信頼度を算出する。
 また、信頼度が明らかに低いような場合には、車線変更先の車線の存在を疑い、(障害物の存在,道路外)車線変更の前に警告することも可能である。
 また、エリア別の信頼度を持つことで、その後の、制御用パラメータのヨー角,曲率を推定する際に、信頼度の低いエリアの車線からヨー角,曲率に与える影響を小さく、もしくは無くすことが可能である。すべての車線が平行かつ曲率が同様であるとの仮定から、信頼度が所定値以上のエリアの白線を利用した制御用パラメータの推定が可能となる。
 また、上記と同様の考え方から信頼度の高いエリアの車線情報のみを利用して、カメラの消失点の自動更新を行うことで、より高精度なカメラ俯角の自動更新を行うことも可能とし、高精度なパラメータ推定や、その後の認識の安定性も高めることを可能とする。
 また、カメラ別にエリア分割しても良い。図6にカメラ別の視野にエリアを分割した例を示す。カメラ別のエリアに分けることでも、左右や上下と同様の効果に期待ができる。また、カメラ別のエリアに分けることで、信頼度の低いエリアの認識結果の影響を抑えた、もしくは除いた制御用パラメータ推定が可能となり高精度化と共に高信頼化を可能とする。
 カメラの視野角や制御方法などシステム構想が決まる段階でエリア分割方法を決定する。 
 レーン認識部200は、前方のカメラは同様で遠方の曲率を見ない部分のみが異なる。後方カメラも自車に対して前後が反転しただけで認識方法は同様である。側方カメラに関しても、画面内の白線特徴量を抽出し、直線状に並ぶ白線特徴量が多い直線をレーンとして認識する。ただし、自車両右側の直線を前方,右側方,後方カメラで画像処理することとなるため、それぞれのカメラで抽出した直線結果から外れ値除去、及び時間的,空間的な平滑化をし最終的な制御用パラメータを算出するのは制御用パラメータ推定部300実施し、自車両とレーンの相対的な横位置,ヨー角の推定を行う。
 カメラ別のエリアとなる左右の側方カメラはエリア判定部410ではカメラとエリア別信頼度の対応付けのみを行う。前方カメラ,側方カメラでは、それぞれ自車に対して左と右のレーンを認識するため、自車位置とレーンの対応関係から自車左のレーンに対する信頼度を算出する。
 図6では、前方,後方,左側方,右側方の4つカメラが設置された場合、自車走行車線の左前方,左側方,左後方,右前方,右側方,右後方の6つのエリアに分割することができる。
<エリア別信頼度算出部400>
 図2に記載のエリア判定部410において分割された各エリアに対して、エリア別信頼度算出部420では、撮像された画像情報よりエリア別信頼度を算出する。画像情報からのエリア別信頼度算出には、以下に詳細を示す白線特徴量,3次元情報,時系列情報の3種類の情報を利用する。これらの情報に基づいてエリア別信頼度を100~0の数値として算出することで、レーン認識の認識状態を適切に表現することを可能とする。
 エリア別信頼度は、白線特徴量のスコア,3次元情報のスコア,時系列情報のスコア、それぞれのスコア(1~0)の積に100を乗算した数値をエリア別信頼度とする。
 各スコアは最高1~最低0の数値で表現され、数値が高いほど信頼度が高くなる設計とする。以下、エリア別信頼度の算出に用いる、白線特徴量,3次元情報,時系列情報について具体的に説明する。
・白線特徴量
 画像上におけるレーンマークの抽出には、路面との輝度差情報や輝度変化パターン、レーンマークの路面における太さ情報,形状情報などを利用している。このような情報を利用して得られた白線特徴量の多さ、また、その白線特徴量が線上へ集まっているか分散しているかの集約度によって白線信頼度を算出する。白線特徴量の多さは、道路上にレーンらしき情報がどの程度多く存在するかを信頼度に反映させ、線状への集約度はその特徴量が画面上に分散するようなノイズかどうかを信頼度に反映している。白線らしき特徴量が少ないもしくは線上に特徴量が集約していないにも関わらず制御に利用することは、安全の観点からも相応しくないと考え、信頼度の計算を行う。
 車載カメラ600にて撮像された画像上のレーンの中で、エリア判定部410にて判定された処理領域内に存在する白線特徴量が画像上で線上に並ぶ多さによって信頼度を算出する。エリアの中に理想的な直線実白線がある場合に存在する白線特徴量の多さを1と設定し、まったく特徴量が存在しない場合、もしくは線上に並んでいると判定できない場合に0と判断する。数式で示すと以下になる。また、何かしらの要因で1を超えるような場合にも打ち切り処理により1以上の白線特徴量スコアとならないようにし、マイナスにもならない。
Figure JPOXMLDOC01-appb-M000001
・カメラ幾何を利用した3次元情報
 抽出された白線特徴量が3次元的な道路構造に相応しい値かどうかの判定を行うことで、信頼度を計算する。
 左右レーンの平行性,曲線としての滑らかさ,近傍から遠方まで特徴量の存在の連続性から信頼度を算出する。この場合、エリアごとに評価を行うというよりも、エリアごとの関係を考慮した信頼度の評価対象としている。例えば、平行性に関しては、左右の平行性が低ければ全体の信頼度の低下させる。曲線としての滑らかさの場合、滑らかでないと判定された領域の遠方の信頼度を低下させる。これは基本的に近傍の誤検知が少なく、遠方の誤検知が多いためである。
 画面上部と下部の連続性が滑らかでないと判定された場合にも、同様の考えから遠方の信頼度を低下させる。このように3次元の道路構造と比較し、道路構造として相応しくない場合には信頼度を低下させる計算を行うことで、車両制御に適応するに相応しいかを信頼度の数値に反映させる。
 まず、近傍エリアのみが認識可能な場合には、道路曲率を利用しないため、スコアは平行性のみで判断する。エリアによってその3次元情報スコア付け方法が変化する。近傍エリアの左右のレーンの認識結果が理想的で完全に両側白線が平行と判断した場合を0とし、ここまでであれば誤差として許容できると考える両白線の角度誤差6度を閾値として利用する。平行性誤差が6度の閾値の場合に3次元情報スコアを0.5とし、誤差12度以上の場合に0として平行性の誤差の大きさによる3次元情報スコア付けを行う。以下に近傍エリア左右の3次元情報スコアの算出方法を記す。近傍エリアの場合は、左右両側の平行性からスコア判断を行うため、左右エリは全く同じスコアとなる。
 近傍エリア(左もしくは右の3次元情報スコア算出数式)
Figure JPOXMLDOC01-appb-M000002
 ただし、角度誤差12度以上の場合は上式によらず3次元情報スコア0とする。
・時系列情報
 画面上の白線位置,画面上の白線特徴量が急変した場合には、全体的に信頼度を低下させる。急激な変化は、検知していた車線から路肩や車両などへ誤検知の恐れがあると考える。ただし、破線などのレーンマークも考慮し、周期的な画面上特徴量の変化なども考慮し、信頼度を計算することとする。
 二本の破線は破線と空白の1セット20mが1周期分となっている。このため車速を考慮しながら20m進むたびに周期的に変化する特徴量の量などは、破線を認識している証拠ともなるため、実線と比較し特徴量が少ないが信頼度を高めるように時系列情報の信頼度を高くなるように考える。理想的な実白線のように常に白線特徴量の量,輝度差,太さ、が一定の場合を時系列情報スコア1と設定する。また、20m程度の長さでかつ固定長を車両が走るたびに周期的に変化する白線特徴量も信頼度を高く設定する。過去何m走行分のデータと比較し周期の一致が見受けられるかの、過去何m走行分の長さによってスコアの高低を決める。周期性が全く見受けられない場合にはスコア0とする。過去400[m]分のデータと比較し、最近の20m走行分のデータの周期性が認められた場合信頼度1と設定し、過去100[m]の場合には0.25と設定することとする。
<エリア別信頼度補正部430(外部情報)>
 次に、外部情報部450からの情報を利用したエリア別信頼度補正部430の処理について述べる。
 ここではエリア別信頼度算出部420で算出された100~0の信頼度に対して、誤検知要因があるかどうかを外部情報より判定し、その判定結果に応じ信頼度を低下させる補正処理を行う。
 まず、外部情報を利用した信頼度補正処理を行う。以下各外部情報を用いた補正処理について説明する。
 車両挙動部351は、車両のセンサ等の車両状態検知手段であり、この検知手段によって計測された車速センサや操舵角センサ、ヨーレートセンサなどを用いることで、自車両の走行経路を予測することができる。この走行経路と車両制御用パラメータ(推定曲率,ヨー角,横位置)を比較することで、信頼度の補正を行う。例えば、横位置が大きく変化するような場合には、横位置が急変した車線側のエリアの信頼度を遠近両方低下させる。反対に、横位置が安定しているにも関わらず、ヨー角や曲率の値が急変するような場合には、遠方のみが誤検知している可能性が高いことから、遠方エリアの信頼度を低下させる。
 車線変更など急な操舵操作をせず、安定した操舵時において、カメラで認識した車両制御用パラメータの横位置,ヨー角が安定しているにも関わらず、車両挙動部351から推定される走行経路の曲率と、カメラ認識結果の曲率に所定値以上の差がある場合に、遠方の誤検知を疑って信頼度を半減させる。
 カメラ認識結果が曲率ほぼ0の直線道路である際に、操舵操作に応じたカメラ認識結果のヨー角,横位置の変化とならない場合、誤検知を疑い、遠方と近傍の信頼度を半減させる。
 また、レーダ部452は、ミリ波レーダもしくはレーザレーダ,ステレオカメラである。自車から路面の白線を撮影する際に障害となりうる他車や立体物などを発見した場合、その障害物が写りこむ画像上のエリアの信頼度を低下させる。障害物により白線が見えないことから、そもそも信頼度が低い不検知状態であるか、もしくは誤検知しているにも関わらず信頼度が高くなっている状況である可能性が高い。そこで、障害物がエリアを占める割合と同様分の信頼度を低下させる。エリアの70%を障害物が占める場合は、エリア別信頼度算出部400で算出された信頼度の70%をカットする。このようにエリア別に分けることで、誤検知要因の伝播を防ぐことや、誤検知要因が存在する箇所の結果を除いた車両制御が可能になると考える。
 また、ナビ情報部453は、ナビゲーション装置であり、ナビゲーション装置から取得した地図情報の曲率と車両制御用パラメータの推定曲率とを比較し、比較した結果、所定値以上の差分がある場合、遠方で誤検知している可能性が高いと考え、遠方の信頼度を低下させる。これにより遠方の誤検知を信頼度に反映させることができる。
 また、他カメラ部454は、他カメラの認識結果と横位置,ヨー角,曲率の比較を行い、整合性がとれない場合には信頼度を半減させる。
 このように、車両挙動部451,レーダ部452,ナビ情報部453,他カメラ部454の情報を利用することで、カメラ以外からの情報を利用したレーン認識信頼度計算を行うことが可能となり、より的確に信頼度を計算することが可能となる。これによってより的確な車両制御モードの選択を可能とする。外部情報を取り入れた方がより的確であるが、必ずしも取り入れる必要はない。
 また、信頼度が明らかに低いエリアと信頼度が高いエリアが混在する場合、信頼度が所定値より低いエリアの影響を除いて、再度制御用パラメータを推定しなおしても良い。これにより誤検知による制御パラメータへの精度低下,誤検知を防ぐことが可能となる。
<エリア別信頼度に応じた車両制御方法の切替え>
 図23にエリア別信頼度に応じた車両制御部500で実施されるエリア別信頼度に応じた車両制御方法のフローチャートを示す。
 まずエリア別信頼度に応じた制御モード判定部501にて制御モードの判定を行う(S1)。
 その後、自車両の車速情報と舵角情報より、自車経路予測部502にて図12に示す数式を利用し自車両の走行経路を予測する(S2)。
 図13に示すように制御用パラメータ推定部にて推定された自車に対するレーンの相対横位置,ヨー角と道路曲率から自車両走行レーンを推定する。制御判定部503にて推定された自車両走行レーンと自車経路予測部502にて予測された自車両予測走行経路とを比較し、制御の必要性の有無を判定する(S3)。図14に示すように自車からL[m]遠方において車線逸脱の可能性を判定し、車両制御の有無をまず判定する。
 制御を実施しないNoの場合には、再度レーン認識の結果が更新されるまで、S1の処理を待機し、認識結果が更新されるごとに制御モードの判定を実施する。
 制御を実施するYesの場合には、目標経路を決定するためのS4へ移動する。 
 制御量決定部504にて、自車両予測走行経路と推定自車両走行レーンから図14に示す曲線制御モードの場合の目標経路を決定する(S4)。図14で示す車線内の目標経路を決定する。
 上記設定された目標経路と自車両予測走行経路を比較し、L[m]遠方におけるその差分の大きさにより制御量決定部504にて制御量を決定する(S5)。
 上記にて決定した制御量を基に車両制御を、車両制御実施部505で実施し、実施した結果を次フレームにおける自車経路予測S2にフィードバックする(S6)。
・自車両予測走行経路
 以下説明は、共通に利用する制御方法の説明である。自車両から前方L[m]の距離における自車両の推定経路が目標経路へ近づくようにフィードバック制御を行う。推定経路は、図12に示すように4輪の自動車の挙動を、前後輪のみの2輪モデルで近似した式(3)を利用し、自車両の操舵角や車速情報を入力して自車両走行経路を予測する。
Figure JPOXMLDOC01-appb-M000003
[変数説明]
  ρ:円先回の半径
  m:車両質量
  lf,lr:重心~前(後)輪距離
  l=lf+lr:前~後輪距離
  Cf(Cr):前(後)輪のタイヤコーナリングパワー
  V:車速
  δ0:前輪舵角
・目標経路決定と制御量決定
 次にカメラによるレーン認識結果を利用し、車線逸脱しそうな場合に逸脱しないように車両を制御するための目標経路を算出する。本車両制御手法は、カメラによるレーン認識結果と、そのエリア別信頼度を基に、道路のカーブ形状を利用した曲線制御モード540と、カーブ形状を利用しない直線制御モード550の二つの目標経路算出手法を切替えている。
 カメラによって認識された制御用パラメータは、自車とレーンの相対的横位置と相対的傾きを示すヨー角、道路の曲がり具合を示す曲率である。これらのパラメータを利用して、自車両走行レーンを推定する。次に、この自車両走行レーンをベースに目標経路を算出する。制御方法は、車線から逸脱しそうになった場合に車線内に押し戻すような制御とする。この場合左右の認識したレーンに対して独立した制御となる。以下、制御モード別に2つの目標経路算出手法について記す。
・目標経路算出[曲線制御モード540]
 曲線制御モード540の場合には、車両制御用パラメータの推定結果の曲率を利用し自車両走行レーンを推定する。図13に示すように、この推定自車両走行レーンのカーブに沿った車線の内側WL[m]を目標経路とする。図14に示すように自車両前方L[m]における自車両予測走行経路と目標経路の差分εを算出し、これが0[m]となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側WR[m]の走行経路となるようなフィードバック制御をかける
・目標経路算出[直線制御モード550]
 直線制御モード550の場合には、車両制御用パラメータの推定結果の曲率を利用せず直線と仮定し自車両走行レーンを推定する。図15に実際の道路がカーブ時である場合に、直線仮定の推定自車両走行レーンの内側WL[m]を目標経路とする。図16に示すように自車両前方L[m]における自車両予測走行経路と目標経路の差分εを算出し、これが0[m]となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側WR[m]の走行経路となるようなフィードバック制御をかける。直線走行時には曲線制御モード540と比較し大きな差分εが現れないが、急カーブであるほど差分εが大きくなる。
 図16に示すように、直線を仮定し車線内側WL[m](or WR[m])となるようなフィードバック制御を行う。図15,図16からわかるように直線制御の場合にはカーブを曲がりきれずに車線逸脱しそうな車両に対し、車線内側に戻す制御量が不足する傾向がある。急カーブであると対応しきれずに、車線逸脱のタイミングを遅らせることしかできない可能性が高くなる。
 誤検知した曲率を利用し制御を行うと、車線逸脱する方向へ誤制御する可能性があるのに対し、直線で近似した車両制御を行う場合、制御量の不足はあってもカーブを逸脱する方向へ制御がかかる可能性が低く、より安全を重視した車両制御と言える。
 遠方車両が自車走行レーンの一部を隠している場合や、ボッツドッツ,かすれた白線,逆光などが影響し、自車両から遠方の白線の検知が困難な場合、遠方のレーン認識信頼度が低下する。遠方の白線が認識できていない場合、円のごく一部、より狭い範囲のみから曲率を推定することとなり、推定精度低下が予想される。
 また、遠方部分での誤検知による精度低下も考えられる。遠方エリアの信頼度が低いにも関わらず、近傍エリアおける信頼度が高い場合には、曲率精度は低下してもヨー角や横位置の精度は制御に耐えうる精度を十分に確保可能である。そこで、本手法では、緩いカーブや直線路における車線逸脱防止の制御に十分対応可能な、道路形状を直線と見立て(ヨー角,横位置)を利用した車両制御を行う。
・車両制御実施
 本実施例における車両制御のモードは下記A,B,C,Dの4パターンである。
 A)曲線制御モード540 (曲率,ヨー角,横位置)
 B)直線制御モード550 (ヨー角,横位置)
 C)警告モード560   (横位置)
 D)停止モード570   (なし)
 このA,B,C,Dのモード切替えを信頼度に基づいて実施する。実際に、車両を制御するモードは、前述の推定経路を算出するA,Bの2種類である、Cについては、ディスプレイ上もしくはランプによる逸脱警告を表示する。もしくは、警報や警告を意味する振動など、ドライバーに車線逸脱したことを、視覚的,聴覚的もしくは触覚的に伝えるような手法であってもよい。停止モードは、エリア別信頼度が低いため、制御や警告をまったく行わない状態である。
 従来手法のように画面全体のレーン認識結果に対する信頼度を利用している場合には、遠方のみが見えづらく、近傍が見えているような時にも、誤制御や誤警報防止の観点より全体の車両制御を停止していた。
 本実施例におけるAとDの単純切替えの状態にあった。また、車両制御適応範囲拡大のために、多少信頼度が低くとも車両制御を試みれば、誤制御を引き起こす要因となっていた。
 従来手法では、現在誤検知、もしくは不検知のエリアを特定できないため、曲率,ヨー角,横位置などから信頼できる検知結果を分類できず、安全のためには、すべての情報を利用せずに動作停止することしかできなかった。
 これと比較し新手法では、エリア別の信頼度を利用することで、例えば、遠方エリア別信頼度の低下から曲率精度の低下を判断し、通常の曲線制御モードから、誤制御防止の観点を重視し利用可能なヨー角,横位置を利用した直線制御モードへ切替える。エリア別信頼度を採用することにより、従来は動作停止していたような道路状況であっても、信頼できるパラメータのみを活用した段階的な制御モードを準備することで、安全性の高さを確保したまま、車両制御適応範囲の拡大を図る。
<表示系について>
 エリア別信頼度の結果に応じて、レーン認識結果の状況を表示装置609に表示しドライバーに伝える。信頼度が高ければ輝度が高く、信頼度が低ければ輝度が低くなり、ユーザにレーン認識による車線逸脱防止制御が動作可能状況にあるかどうかをユーザに伝える。
 エリア別に行うことでレーンの認識状況が左右別、更には遠近別に把握することが可能であり、また車線逸脱防止制御の作動状況を知ることが可能である。
 また上記機能は、信頼度の変化を輝度で表しているが、これが色であっても形状であっても良い。 
 また、上記の表示装置が、エリア別信頼度に応じて切替えられた制御モードをユーザに伝えるための表示装置であってもよい。例えば、図20の制御モード別表示装置に示すように、左右別に独立に制御モードの表示を行う。図21の制御モード別表示形式に示すような、左右別の制御モードに応じて表示が変化し、これによりユーザがカメラによるレーンの認識状況を把握するとともに、現在の制御モードを把握することができる。
 このため白線が見えにくく、車線逸脱防止機能が利用できないような状況において、レーン逸脱制御機能がついていることに過信しないように、ドライバーに対する抑制効果が期待される。
<制御パラメータ別信頼度に応じた車両制御>
 また、エリア別信頼度ではなく制御パラメータ(曲率,ヨー角,横位置)に応じて、信頼度を算出しても良い。図17に示すようにパラメータ別信頼度算出部がまず異なるが、信頼度の算出方法はエリア別信頼度の計算と同じように、画像処理結果の白線特徴量やカメラ幾何による3次元情報、またこれらの時系列情報を利用し計算する。この制御パラメータ別信頼度に応じた車両制御方法も、図18に示す制御モードの切替え方法が異なる。この制御パラメータ別信頼度に応じて制御モードを切替える方法を図18に示す。まず、横位置の信頼度に応じ横位置利用判定581において、横位置の利用の可否を判定する。横位置利用判定がNoの場合には横位置が利用できないため、曲線制御,直線制御はもちろん警告も出せないと判定し停止モード570を選択する。横位置利用判定がYesの場合には、ヨー角利用判定582へ進む。
 ヨー角利用判定582では、ヨー角の信頼度に基づいてヨー角利用の可否を判定する。ヨー角利用判定582がNoの場合には、横位置のみが利用可能と判断し、横位置を利用した警告モード560を選択する。ヨー角利用判定582がYesの場合には、曲率利用判定583へ進む。
 曲率利用判定583では、曲率の信頼度に基づいて曲率利用の可否を判定する。曲率利用判定583がNoの場合には、ヨー角,横位置が利用可能と判断し、ヨー角,横位置を利用した直線制御モード550を選択する。曲率利用判定がYesの場合には、曲率,ヨー角,横位置を利用した制御が可能と判断し、曲線制御モード540を選択する。
 また、これをエリア別信頼度補正部430おいて車両挙動部451,レーダ部452,ナビ情報部453,他カメラ部454からの情報を利用し補正する。遠方で誤検知もしくは不検知の場合には、遠方のレーン認識結果が信用できないため、曲率の信頼度を低下させることで、車両制御時の利用可否の判定に利用する。同様に、ヨー角や、横位置の信頼度から図18のフローに示すように制御か警告かの判定を行う。

Claims (8)

  1.  自車前方の画像を撮像する車載カメラと、
     複数の車両制御方法から1つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、
     前記車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、
     前記処理ユニットは、前記エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置。
  2.  請求項1記載の車両制御装置において、
     車速情報を検出する車速センサと、
     操舵角情報を検出する操舵角センサと、
     ヨーレート情報を検出するヨーレートセンサと、を有し、
     前記車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、
     前記処理ユニットの車両制御部は、前記道路曲率,前記ヨー角,前記横位置の少なくとも1つと、前記エリア別信頼度情報と、に基づいて車両制御方法を決定する車両制御装置。
  3.  請求項2記載の車両制御装置において、
     前記エリア別信頼度算出部は、
     前記レーン認識部で認識された前記レーンに基づいて複数のエリアに分割するエリア判定部と、
     前記エリア判定部で分割された各エリアに対して、取得された画像に基づいて信頼度を算出し、算出した信頼度をエリア別信頼度情報として出力するエリア信頼度算出部と、
     前記エリア別信頼度情報を、入力された外部情報に基づいて補正するエリア信頼度補正部と、を有する車両制御装置。
  4.  請求項2記載の車両制御装置において、
     前記エリア信頼度補正部で用いた前記外部情報は、検出された車速情報,加速度情報,操舵角情報,ヨーレート情報,障害物情報,地図情報,自車両位置情報の少なくとも1つである車両制御装置。
  5.  請求項2記載の車両制御装置において、
     前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍,左遠方,右近傍,右遠方との4つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値以上である場合は、認識したレーンの推定曲率を用いて目標経路算出を行い、算出した目標経路に沿った車両制御を行う曲線制御モードの車両制御方法を決定する車両制御装置。
  6.  請求項2記載の車両制御装置において、
     前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍,左遠方,右近傍,右遠方との4つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、直線を仮定した車線内目標経路算出を行い、算出した車線内目標経路に沿った車両制御を行う直線制御モードの車両制御方法を決定する車両制御装置。
  7.  請求項2記載の車両制御装置において、
     前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍,左遠方,右近傍,右遠方との4つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第1の近傍閾値未満、且つ第2の近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、逸脱警告を表示する警告モードの車両制御方法を決定する車両制御装置。
  8.  請求項2記載の車両制御装置において、
     前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍,左遠方,右近傍,右遠方との4つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第1の近傍閾値未満、且つ第2の近傍閾値未満、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、レーン認識結果を利用した車両制御又は警告を停止する信号を出力する停止モードの車両制御方法を決定する車両制御装置。
PCT/JP2010/063353 2009-09-30 2010-08-06 車両制御装置 Ceased WO2011040119A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112010003874.0T DE112010003874B4 (de) 2009-09-30 2010-08-06 Fahrzeugsteuerung
US13/395,327 US8630793B2 (en) 2009-09-30 2010-08-06 Vehicle controller
CN201080040218.XA CN102481931B (zh) 2009-09-30 2010-08-06 车辆控制装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-225887 2009-09-30
JP2009225887A JP5286214B2 (ja) 2009-09-30 2009-09-30 車両制御装置

Publications (1)

Publication Number Publication Date
WO2011040119A1 true WO2011040119A1 (ja) 2011-04-07

Family

ID=43825953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/063353 Ceased WO2011040119A1 (ja) 2009-09-30 2010-08-06 車両制御装置

Country Status (5)

Country Link
US (1) US8630793B2 (ja)
JP (1) JP5286214B2 (ja)
CN (1) CN102481931B (ja)
DE (1) DE112010003874B4 (ja)
WO (1) WO2011040119A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021235001A1 (ja) * 2020-05-22 2021-11-25

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012117505A1 (ja) * 2011-02-28 2012-09-07 トヨタ自動車株式会社 走行支援装置及び方法
WO2012137355A1 (ja) * 2011-04-08 2012-10-11 トヨタ自動車株式会社 運転支援システム
KR101240499B1 (ko) 2011-10-28 2013-03-11 인하대학교 산학협력단 실시간 차선 인식 및 차량 검출 장치 및 방법
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
EP2863374A4 (en) * 2012-06-14 2016-04-20 Toyota Motor Co Ltd DEVICE FOR DETECTING A ROAD MARKING MARKING AND FAILSAFE SYSTEM
US9308932B2 (en) 2012-08-09 2016-04-12 Steering Solutions Ip Holding Corporation System for providing steering assist torque based on a proportional gain value
US9321481B2 (en) * 2012-08-09 2016-04-26 Steering Solutions Ip Holding Corporation System for providing steering assist torque based on a lateral position command
KR20140039820A (ko) * 2012-09-25 2014-04-02 엘지이노텍 주식회사 디스플레이 룸미러 시스템
EP2907730B1 (en) 2014-01-29 2017-09-06 Steering Solutions IP Holding Corporation Hands on steering wheel detect
JP6263436B2 (ja) * 2014-04-28 2018-01-17 本田技研工業株式会社 走行路認識装置
EP2960129A1 (en) 2014-06-26 2015-12-30 Volvo Car Corporation Confidence level determination for estimated road geometries
JP6189815B2 (ja) * 2014-10-29 2017-08-30 株式会社Soken 走行区画線認識システム
KR102310281B1 (ko) * 2014-12-05 2021-10-07 현대모비스 주식회사 차선 유지를 위한 차량 조향 제어 장치 및 방법
JP6285347B2 (ja) * 2014-12-10 2018-02-28 株式会社Soken 車線境界線認識装置
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
CN112146669B (zh) * 2015-02-10 2024-08-27 御眼视觉技术有限公司 服务器系统、方法及机器可读介质
JP6082415B2 (ja) 2015-03-03 2017-02-15 富士重工業株式会社 車両の走行制御装置
US10351159B2 (en) 2015-05-01 2019-07-16 Steering Solutions Ip Holding Corporation Retractable steering column with a radially projecting attachment
US10589774B2 (en) 2015-05-01 2020-03-17 Steering Solutions Ip Holding Corporation Counter rotation steering wheel
US9919724B2 (en) 2015-05-29 2018-03-20 Steering Solutions Ip Holding Corporation Retractable steering column with manual retrieval
US11560169B2 (en) 2015-06-11 2023-01-24 Steering Solutions Ip Holding Corporation Retractable steering column system and method
US10343706B2 (en) 2015-06-11 2019-07-09 Steering Solutions Ip Holding Corporation Retractable steering column system, vehicle having the same, and method
DE102016110791A1 (de) 2015-06-15 2016-12-15 Steering Solutions Ip Holding Corporation Gestensteuerung für ein einfahrbares Lenkrad
US10577009B2 (en) 2015-06-16 2020-03-03 Steering Solutions Ip Holding Corporation Retractable steering column assembly and method
US9828016B2 (en) 2015-06-24 2017-11-28 Steering Solutions Ip Holding Corporation Retractable steering column system, vehicle having the same, and method
US20160375931A1 (en) 2015-06-25 2016-12-29 Steering Solutions Ip Holding Corporation Rotation control system for a steering wheel and method
DE102016111473A1 (de) 2015-06-25 2016-12-29 Steering Solutions Ip Holding Corporation Stationäre lenkradbaugruppe und verfahren
US10112639B2 (en) 2015-06-26 2018-10-30 Steering Solutions Ip Holding Corporation Vehicle steering arrangement and method of making same
US9840271B2 (en) 2015-06-29 2017-12-12 Steering Solutions Ip Holding Corporation Retractable steering column with rake limiter
US9849904B2 (en) 2015-07-31 2017-12-26 Steering Solutions Ip Holding Corporation Retractable steering column with dual actuators
JP2017030569A (ja) * 2015-07-31 2017-02-09 アイシン精機株式会社 駐車支援装置
CN107850444B (zh) * 2015-07-31 2019-01-25 日产自动车株式会社 行驶控制方法及行驶控制装置
JP6414524B2 (ja) * 2015-08-28 2018-10-31 株式会社デンソー 車両制御装置、及び走路信頼度判定方法
US9845106B2 (en) 2015-08-31 2017-12-19 Steering Solutions Ip Holding Corporation Overload protection for belt drive mechanism
JP6468136B2 (ja) * 2015-09-09 2019-02-13 株式会社デンソー 走行支援装置及び走行支援方法
JP6627021B2 (ja) * 2015-09-15 2020-01-08 日野自動車株式会社 車線変更操舵制御システム
JP6593695B2 (ja) * 2015-09-15 2019-10-23 日野自動車株式会社 車線変更操舵制御システム
US10160472B2 (en) 2015-10-20 2018-12-25 Steering Solutions Ip Holding Corporation Steering column with stationary hub
US9809155B2 (en) 2015-10-27 2017-11-07 Steering Solutions Ip Holding Corporation Retractable steering column assembly having lever, vehicle having retractable steering column assembly, and method
JP6485915B2 (ja) * 2015-10-28 2019-03-20 本田技研工業株式会社 道路区画線認識装置、車両制御装置、道路区画線認識方法、および道路区画線認識プログラム
KR102402359B1 (ko) * 2015-10-28 2022-05-27 주식회사 에이치엘클레무브 신뢰도 정보를 제공하는 전방 교통 상황 표시 장치 및 방법
US10029725B2 (en) 2015-12-03 2018-07-24 Steering Solutions Ip Holding Corporation Torque feedback system for a steer-by-wire vehicle, vehicle having steering column, and method of providing feedback in vehicle
KR20170071120A (ko) * 2015-12-15 2017-06-23 현대자동차주식회사 Lkas 시스템, 이를 포함하는 차량, 및 lkas 제어 방법
US10417913B2 (en) * 2016-03-15 2019-09-17 Ford Global Technologies, Llc Light impact detection for vehicle using low computation overhead
US10496102B2 (en) 2016-04-11 2019-12-03 Steering Solutions Ip Holding Corporation Steering system for autonomous vehicle
DE102017108692B4 (de) 2016-04-25 2024-09-26 Steering Solutions Ip Holding Corporation Steuerung einer elektrischen Servolenkung unter Verwendung von Systemzustandsvorhersagen
DE102016207125A1 (de) * 2016-04-27 2017-11-02 Robert Bosch Gmbh Steuern eines Kraftfahrzeugs
US10351161B2 (en) 2016-05-27 2019-07-16 Steering Solutions Ip Holding Corporation Steering column with manual retraction
JP6500844B2 (ja) * 2016-06-10 2019-04-17 株式会社デンソー 車両位置姿勢算出装置及び車両位置姿勢算出プログラム
US10421476B2 (en) 2016-06-21 2019-09-24 Steering Solutions Ip Holding Corporation Self-locking telescope actuator of a steering column assembly
US10457313B2 (en) 2016-06-28 2019-10-29 Steering Solutions Ip Holding Corporation ADAS wheel locking device
KR101816423B1 (ko) * 2016-07-12 2018-01-08 현대자동차주식회사 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법
JP6662227B2 (ja) * 2016-07-19 2020-03-11 株式会社デンソー 制御装置
US10363958B2 (en) 2016-07-26 2019-07-30 Steering Solutions Ip Holding Corporation Electric power steering mode determination and transitioning
DE102016214027A1 (de) 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Verfahren und System zum Erfassen von Landmarken in einem Verkehrsumfeld einer mobilen Einheit
JP6293213B2 (ja) 2016-08-01 2018-03-14 三菱電機株式会社 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム
US10160477B2 (en) 2016-08-01 2018-12-25 Steering Solutions Ip Holding Corporation Electric power steering column assembly
JP6788425B2 (ja) * 2016-08-10 2020-11-25 株式会社Subaru 車両の走行制御装置
US10189496B2 (en) 2016-08-22 2019-01-29 Steering Solutions Ip Holding Corporation Steering assembly having a telescope drive lock assembly
US10384708B2 (en) 2016-09-12 2019-08-20 Steering Solutions Ip Holding Corporation Intermediate shaft assembly for steer-by-wire steering system
US10160473B2 (en) 2016-09-13 2018-12-25 Steering Solutions Ip Holding Corporation Steering column decoupling system
US10399591B2 (en) 2016-10-03 2019-09-03 Steering Solutions Ip Holding Corporation Steering compensation with grip sensing
JP6663835B2 (ja) * 2016-10-12 2020-03-13 本田技研工業株式会社 車両制御装置
US10239552B2 (en) 2016-10-14 2019-03-26 Steering Solutions Ip Holding Corporation Rotation control assembly for a steering column
US10481602B2 (en) 2016-10-17 2019-11-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control
US10421475B2 (en) 2016-11-15 2019-09-24 Steering Solutions Ip Holding Corporation Electric actuator mechanism for retractable steering column assembly with manual override
US10310605B2 (en) 2016-11-15 2019-06-04 Steering Solutions Ip Holding Corporation Haptic feedback for steering system controls
JP6336010B2 (ja) 2016-11-16 2018-06-06 三菱電機株式会社 路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法
JP6544341B2 (ja) 2016-11-25 2019-07-17 トヨタ自動車株式会社 車両運転支援装置
US9862403B1 (en) 2016-11-29 2018-01-09 Steering Solutions Ip Holding Corporation Manually retractable steering column assembly for autonomous vehicle
US10351160B2 (en) 2016-11-30 2019-07-16 Steering Solutions Ip Holding Corporation Steering column assembly having a sensor assembly
US10780915B2 (en) 2016-12-07 2020-09-22 Steering Solutions Ip Holding Corporation Vehicle steering system having a user experience based automated driving to manual driving transition system and method
KR102452546B1 (ko) * 2016-12-15 2022-10-07 현대자동차주식회사 차량의 주행 경로 생성장치 및 그 방법
JP6686873B2 (ja) * 2016-12-27 2020-04-22 トヨタ自動車株式会社 運転支援装置
JP6583252B2 (ja) * 2016-12-27 2019-10-02 トヨタ自動車株式会社 運転支援装置
CN110140158A (zh) * 2017-01-10 2019-08-16 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
JP2018116369A (ja) * 2017-01-16 2018-07-26 株式会社Soken 車線認識装置
JP6741603B2 (ja) * 2017-01-16 2020-08-19 株式会社Soken 推定装置
US10370022B2 (en) 2017-02-13 2019-08-06 Steering Solutions Ip Holding Corporation Steering column assembly for autonomous vehicle
US10385930B2 (en) 2017-02-21 2019-08-20 Steering Solutions Ip Holding Corporation Ball coupling assembly for steering column assembly
JP6450413B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 車両制御装置
US10449927B2 (en) 2017-04-13 2019-10-22 Steering Solutions Ip Holding Corporation Steering system having anti-theft capabilities
WO2018212286A1 (ja) * 2017-05-19 2018-11-22 パイオニア株式会社 測定装置、測定方法およびプログラム
JPWO2018212284A1 (ja) * 2017-05-19 2020-03-12 パイオニア株式会社 測定装置、測定方法およびプログラム
JP6543828B2 (ja) * 2017-06-01 2019-07-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
KR102022402B1 (ko) * 2017-10-12 2019-09-19 현대모비스 주식회사 캘리브레이션 방법 및 장치
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
JP6780611B2 (ja) 2017-08-25 2020-11-04 トヨタ自動車株式会社 自動運転装置
CN107697155A (zh) * 2017-09-25 2018-02-16 北京新能源汽车股份有限公司 车轮转向角的控制方法、装置和车轮转向角控制器
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
US11360475B2 (en) 2017-12-05 2022-06-14 Waymo Llc Real-time lane change selection for autonomous vehicles
CN110044371B (zh) * 2018-01-16 2025-07-04 深圳引望智能技术有限公司 一种车辆定位的方法以及车辆定位装置
US10875566B2 (en) 2018-03-22 2020-12-29 Steering Solutions Ip Holding Corporation Stow release assembly for a manually adjustable steering column assembly
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
CN111971724B (zh) * 2018-04-24 2022-05-10 三菱电机株式会社 行动选择装置、计算机能读取的存储介质和行动选择方法
JP6815353B2 (ja) * 2018-05-01 2021-01-20 三菱電機株式会社 路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法
DE102018207869A1 (de) * 2018-05-18 2019-11-21 Volkswagen Aktiengesellschaft Verfahren und System zur Bereitstellung einer Automatisierungsfunktion für ein Fahrzeug
US10974756B2 (en) 2018-07-31 2021-04-13 Steering Solutions Ip Holding Corporation Clutch device latching system and method
JP7229710B2 (ja) * 2018-09-26 2023-02-28 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6697522B2 (ja) 2018-09-28 2020-05-20 株式会社Subaru 区画線認識装置
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
EP3876203A4 (en) * 2018-10-29 2021-12-29 Mitsubishi Electric Corporation Map generation system, map generation method, and map generation program
KR102125152B1 (ko) * 2018-12-24 2020-06-19 연세대학교 산학협력단 블랙박스 동영상을 이용한 도로면 파노라마 이미지 생성 장치 및 파노라마 이미지 생성 방법
EP3680877A1 (en) * 2019-01-08 2020-07-15 Visteon Global Technologies, Inc. Method for determining the location of an ego-vehicle
CN109782771B (zh) * 2019-02-26 2021-01-19 西安交通大学 一种果园移动机器人及地头转向方法
CN109733285B (zh) * 2019-02-27 2021-05-07 百度在线网络技术(北京)有限公司 车辆行驶状态显示方法、设备和系统
KR102589935B1 (ko) 2019-04-18 2023-10-18 현대모비스 주식회사 카메라 신호 모니터링 장치 및 방법
CN114008675A (zh) * 2019-06-25 2022-02-01 美国斯耐普公司 灭点立体图像校正
KR102763116B1 (ko) * 2019-07-05 2025-02-10 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
CN112528711B (zh) * 2019-09-19 2024-06-25 阿波罗智能技术(北京)有限公司 用于处理信息的方法和装置
CN110927724B (zh) * 2019-11-11 2020-11-27 中国地质环境监测院 毫米波雷达泥石流智能监测系统与方法
US20210179115A1 (en) * 2019-12-16 2021-06-17 GM Global Technology Operations LLC Method and apparatus for monitoring a yaw sensor
CN111435567B (zh) * 2020-02-05 2021-01-26 珠海大横琴科技发展有限公司 一种转关公路上道路巡逻车的控制方法和装置
JP7264086B2 (ja) * 2020-02-27 2023-04-25 トヨタ自動車株式会社 車両制御装置及び車両制御方法
JP7369078B2 (ja) * 2020-03-31 2023-10-25 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7342807B2 (ja) * 2020-06-30 2023-09-12 トヨタ自動車株式会社 走行予定経路設定装置及び走行予定経路設定方法
DE102020212562B3 (de) 2020-10-05 2021-11-11 Volkswagen Aktiengesellschaft Fahrspurbezogene visuelle Assistenzfunktion einer Head-Up-Displayeinrichtung für ein Kraftfahrzeug
CN113382384B (zh) * 2021-06-13 2022-08-02 西北工业大学 基于多源传感技术的面向车辆局域组网道路区域划分方法
JP7706350B2 (ja) * 2021-12-02 2025-07-11 本田技研工業株式会社 移動体制御装置、移動体制御方法、およびプログラム
US11760373B2 (en) * 2022-01-26 2023-09-19 GM Global Technology Operations LLC Method and system for smart road departure warning and navigation assist in inclement weather with low visibility
US12372366B2 (en) * 2022-06-27 2025-07-29 Waymo Llc Lane changes for autonomous vehicles involving traffic stacks at intersection
WO2025027779A1 (ja) * 2023-08-01 2025-02-06 株式会社Subaru 運転支援装置、運転支援処理方法及び記録媒体
KR102623726B1 (ko) * 2023-08-16 2024-01-11 오토아이티(주) 심라인 스캐닝 기능을 구비한 어라운드 뷰 모니터 영상처리 장치 및 방법
CN120353178B (zh) * 2025-06-20 2025-08-22 杭州纳众科技有限公司 一种基于fpga的电子绞边控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314396A (ja) * 1992-05-13 1993-11-26 Omron Corp 連続線追跡装置
JPH1170884A (ja) * 1997-07-04 1999-03-16 Nissan Motor Co Ltd 自動走行用自車位置検出装置
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2005165915A (ja) * 2003-12-05 2005-06-23 Mitsubishi Motors Corp レーンキープ装置
JP2006178675A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 車線逸脱防止制御装置
JP2009121845A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 走行支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和系统
CN101349562A (zh) * 2007-07-20 2009-01-21 李世雄 车辆行驶偏向的警报方法及装置
JP2009225887A (ja) 2008-03-19 2009-10-08 Toto Ltd 浴室殺菌システム
JP5070171B2 (ja) * 2008-09-19 2012-11-07 日立オートモティブシステムズ株式会社 車両制御装置
US8306269B2 (en) * 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314396A (ja) * 1992-05-13 1993-11-26 Omron Corp 連続線追跡装置
JPH1170884A (ja) * 1997-07-04 1999-03-16 Nissan Motor Co Ltd 自動走行用自車位置検出装置
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2005165915A (ja) * 2003-12-05 2005-06-23 Mitsubishi Motors Corp レーンキープ装置
JP2006178675A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 車線逸脱防止制御装置
JP2009121845A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 走行支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021235001A1 (ja) * 2020-05-22 2021-11-25
WO2021235001A1 (ja) * 2020-05-22 2021-11-25 日立Astemo株式会社 画像処理装置
JP7350168B2 (ja) 2020-05-22 2023-09-25 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
JP5286214B2 (ja) 2013-09-11
DE112010003874B4 (de) 2014-06-05
CN102481931B (zh) 2014-11-05
CN102481931A (zh) 2012-05-30
DE112010003874T5 (de) 2012-07-19
JP2011073529A (ja) 2011-04-14
US8630793B2 (en) 2014-01-14
US20120215377A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
JP5286214B2 (ja) 車両制御装置
JP5345350B2 (ja) 車両の運転支援装置
US10293690B2 (en) Vehicle information projecting system and vehicle information projecting method
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP5167051B2 (ja) 車両の運転支援装置
JP6819431B2 (ja) 注意喚起装置
EP3339124B1 (en) Autonomous driving system
CN107251127B (zh) 车辆的行驶控制装置以及行驶控制方法
EP3486132B1 (en) Vehicle control device
JP6222785B2 (ja) 操舵支援装置
US9466215B2 (en) Multi-surface model-based tracking
JP6363519B2 (ja) 車両制御装置
JP7279053B2 (ja) 車線を変更するときに、自動車両と、車両の隣の走行車線にある2次物体との間の衝突リスクを検知するためのシステムおよび方法
US20150353078A1 (en) Driving assistance apparatus
US9102329B2 (en) Tracking control apparatus
JP2017117344A (ja) 走行支援装置
JP2018067102A (ja) 車両制御装置
JP2012089114A (ja) 障害物認識装置
KR20190045308A (ko) 차량 판정 방법, 주행 경로 보정 방법, 차량 판정 장치, 및 주행 경로 보정 장치
CN116198494A (zh) 车辆切入判断及车辆制动控制方法、装置、电子设备
JP6690510B2 (ja) 物体認識装置
JP2019217846A (ja) 車両制御装置、車両制御方法およびプログラム
EP2686702B1 (en) A device and a method for estimating parameters relating to vehicles in front
JP7579394B2 (ja) 車両の制御装置、車両の制御方法及びプログラム
JP2019012322A (ja) 車両制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080040218.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820239

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120100038740

Country of ref document: DE

Ref document number: 112010003874

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 13395327

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10820239

Country of ref document: EP

Kind code of ref document: A1