WO2011114814A1 - 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム - Google Patents

車両姿勢角算出装置及びそれを用いた車線逸脱警報システム Download PDF

Info

Publication number
WO2011114814A1
WO2011114814A1 PCT/JP2011/052695 JP2011052695W WO2011114814A1 WO 2011114814 A1 WO2011114814 A1 WO 2011114814A1 JP 2011052695 W JP2011052695 W JP 2011052695W WO 2011114814 A1 WO2011114814 A1 WO 2011114814A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
lane
distance
calculated
angle
Prior art date
Application number
PCT/JP2011/052695
Other languages
English (en)
French (fr)
Inventor
今井正人
坂本博史
坂田雅男
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP11756004.5A priority Critical patent/EP2549458B1/en
Priority to US13/522,985 priority patent/US9123110B2/en
Priority to CN201180008700.XA priority patent/CN102754139B/zh
Publication of WO2011114814A1 publication Critical patent/WO2011114814A1/ja
Priority to US14/806,379 priority patent/US9393966B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a method for calculating a posture angle of a vehicle with respect to a lane in which the vehicle is traveling using an in-vehicle camera.
  • Various technologies for capturing the surroundings of a vehicle with an in-vehicle camera and recognizing objects (vehicles, pedestrians, etc.) and road markings / signs (road surface paint such as lane markings, signs such as stops) in the captured image Proposed For example, if an in-vehicle camera can recognize a marking line on the road and determine the position of the vehicle in the lane, it can alert the driver when the vehicle deviates from the lane, It is possible to suppress deviation by controlling.
  • LDWS Lane Departure Warning Systems
  • JIS D 0804 of JIS Japanese Industrial Standards
  • Patent Document 1 a road vanishing point that is a point where two road parallel lines cross and disappear in a screen imaged by an in-vehicle camera is obtained, and the two road parallel lines and the road vanishing point are obtained.
  • An apparatus for calculating a posture parameter (posture angle (yaw angle)) of a vehicle-mounted camera based on the above is disclosed.
  • Patent Document 1 it is difficult to obtain the road vanishing point unless the running road is straight and flat, and even if the road vanishing point is obtained, the change in the vehicle pitch angle (change in the number of passengers) There is a problem that an error occurs in the vehicle yaw angle with respect to the lane because the relationship between the road vanishing point and the road parallel line changes due to, for example, fuel consumption).
  • An object of the present invention is to provide a vehicle attitude angle calculation device capable of stably obtaining a yaw angle of a vehicle with respect to a lane without using road vanishing point information even in a situation where the vehicle pitch angle changes. is there.
  • the present invention provides a lane line detection unit that detects a lane line from image information obtained by imaging the outside of a vehicle captured from an in-vehicle imaging device, and a distance between the lane line and the optical axis of the in-vehicle imaging device.
  • a distance calculation unit that calculates every predetermined processing cycle, a distance between the calculated lane line and the optical axis of the in-vehicle imaging device, and a vehicle traveling distance that the vehicle has traveled during the predetermined processing cycle.
  • a vehicle angle calculation unit that calculates an angle.
  • a vehicle attitude angle calculation device that can stably obtain a yaw angle of a vehicle with respect to a lane without using road vanishing point information even under a situation where the vehicle pitch angle changes.
  • FIG. 1 is a schematic diagram of a first embodiment of a vehicle attitude angle calculation device according to the present invention. It is a figure which shows the flowchart which shows the processing content of the vehicle attitude angle calculation apparatus which concerns on this invention. It is the schematic which shows the processing content of the lane marking detection part of this invention. It is the schematic which shows the processing content of the distance calculation part to the lane marking of this invention. It is a figure which shows the flowchart which shows the processing content of the division line angle calculation process of this invention. It is a figure which shows an example of the method of calculating the angle of the division line of this invention. It is the schematic of the lane departure warning system using the vehicle attitude angle calculation apparatus which concerns on this invention. It is the schematic explaining the distance correction
  • FIG. 1 is a schematic diagram of a vehicle attitude angle calculation device 100 according to the first embodiment.
  • the vehicle attitude angle calculation device 100 includes a lane line detection unit 3, a distance calculation unit 4, a distance storage unit 5, a lane line angle calculation unit 6, an angle storage unit 7, an angle change rate calculation unit 8, and a lane line error.
  • the detection frequency measuring unit 9, the lane marking angle averaging unit 10, the vehicle yaw angle calculation unit 11, the yaw angle storage unit 12, and the yaw angle change rate calculation unit 13 are programmed into a computer (not shown) of the vehicle attitude angle calculation device 100. And repeatedly executed at a predetermined cycle.
  • the vehicle attitude angle calculation device 100 inputs an image captured by the imaging device 1, inputs a vehicle speed detected by the vehicle speed detection unit 2, and outputs the yaw angle of the vehicle with respect to the lane to the outside. It has a configuration.
  • the imaging device 1 captures the outside of the vehicle with an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and digitally processes the obtained image to convert it into image data that can be handled by a computer. To do.
  • an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor
  • the vehicle speed detection unit 2 detects the speed at which the vehicle travels.
  • the vehicle speed detection unit 2 detects the vehicle speed by averaging the values obtained by the wheel speed sensors attached to the front, rear, left, and right wheels of the vehicle. There is a method of calculating the vehicle speed by integrating the acceleration value of the own vehicle obtained by the acceleration sensor.
  • the lane line detection unit 3 is a lane line painted on the road using image data (image information) obtained by imaging the outside of the vehicle acquired by the in-vehicle imaging device 1 (a pair of left and right lines on the left and right sides of the vehicle) , Roadway outer line, etc.).
  • the distance calculation unit 4 to the lane line calculates the distance (distance to the lane line) between the lane line detected by the lane line detection unit 3 and the optical axis of the imaging device 1. This calculation is performed a plurality of times at a predetermined processing cycle.
  • the distance storage unit 5 stores a plurality of past distances to the lane line calculated by the distance calculation unit 4 to the lane line.
  • the storage medium is generally RAM (Random Access Memory) inside the computer.
  • the lane line angle calculation unit 6 includes an angle storage unit 7, an angle change rate calculation unit 8, and a lane line non-detection frequency measurement unit 9, and the distances to a plurality of past lane lines stored in the distance storage unit 5. And the detected vehicle speed (or the vehicle travel distance traveled by the vehicle during the calculation period determined from the vehicle speed) to calculate the angle of the lane marking.
  • the angle storage unit 7 is a part that stores a plurality of past lane line angles calculated by the lane line angle calculation unit 6, and as a storage medium thereof, a RAM inside the computer is generally used like the distance storage unit 5. It is.
  • the angle change rate calculation unit 8 calculates the angle change rate of the lane markings using the past lane line angles stored in the angle storage unit 7.
  • the lane line non-detection frequency measurement unit 9 measures the number of times (distance detection counter) that the distance to the lane line cannot be calculated continuously in the distance calculation unit 4 to the lane line.
  • the lane line angle calculation unit 6 When the lane line angle averaging unit 10 calculates distances to a plurality of lane lines in the lane line distance calculation unit 4, the lane line angle calculation unit 6 also calculates a plurality of lane line angles. Therefore, the angles of the plurality of lane markings are averaged. When the distance to the lane marking unit 4 calculates only the distance to one lane line per lane line, the lane line angle averaging unit 10 does not perform the averaging process, and the value is used as it is. Output.
  • the vehicle yaw angle calculation unit 11 calculates the yaw angle of the vehicle with respect to the lane line based on the calculated lane line angle. Specifically, the angle of the lane line averaged by the lane line angle averaging unit 10 is converted into the yaw angle of the vehicle with respect to the lane. Also, the yaw angle of the current vehicle is predicted using the rate of change of the yaw angle of the vehicle.
  • the yaw angle storage unit 12 is a part that stores a plurality of past vehicle yaw angles calculated by the vehicle yaw angle calculation unit 11.
  • the storage medium is a computer similar to the distance storage unit 5 and the angle storage unit 7. Internal RAM is common.
  • the yaw angle change rate calculation unit 13 calculates the change rate of the yaw angle of the vehicle using the yaw angles of a plurality of past vehicles stored in the yaw angle storage unit 12.
  • the lane line angle calculation unit 6, the lane line angle averaging unit 10, and the vehicle yaw angle calculation unit 11 are vehicle angle calculation units, and the output of the vehicle angle calculation unit is the yaw angle of the vehicle.
  • the lane line angle calculated by the lane line angle calculation unit 6 and the vehicle yaw angle calculated by the vehicle yaw angle calculation unit 11 may be the same.
  • the angle of the lane marking is output from the vehicle angle calculation unit as it is as the yaw angle of the vehicle.
  • FIG. 2 is a flowchart showing the processing contents of the vehicle attitude angle calculation device 100.
  • an image captured by the imaging apparatus 1 is digitally processed and captured as image data.
  • FIG. 3A shows the image data captured in the process 201, and there are two partition lines 301 and 302.
  • FIG. 3 As a method for detecting the lane markings, there is a method for extracting the lane markings by calculating the edge strength in the image.
  • the edge is a point where the luminance value changes abruptly in the image.
  • FIG. 3 (b) shows the result of detecting edge strength from A to B in FIG. 3 (a).
  • the peaks of 303 and 305 change from roads to lane markings (the luminance value changes suddenly from dark to bright).
  • Each of the peaks 304 and 306 is a point where the lane mark changes from a road to a road (a point where the luminance value changes suddenly from light to dark). In this manner, the division line can be detected by finding the combination of 303 and 304 and the combination of 305 and 306.
  • the distance between the lane line detected in process 202 and the optical axis of the imaging device 1 is calculated by the distance calculation unit 4 to the lane line.
  • a specific method for calculating the distance to the lane marking will be described with reference to FIG. 4A is the image data captured in the process 201 as in FIG. 3A, and FIG. 4B is a plan view seen from the top in the same situation as FIG. 4A. is there.
  • there are two lane markings 401 and 402 the arrow 403 is the optical axis of the imaging device 1
  • 405 is the imaging device 1.
  • the distance to the lane marking 402 is the distance from the optical axis 403 to the point A on the lane marking 402 as indicated by an arrow 404, and the coordinates of the point A on FIG. Then, the distance is calculated by converting to the actual coordinate system of FIG. Note that the distance to the lane line does not use the coordinates inside the lane line, but may use coordinates outside the lane line or the center of the lane line as long as they are consistently defined. Further, the distance to the lane marking may be calculated not for each lane marking in the image but for a plurality (for example, 10) for each lane marking.
  • the distance to the lane line calculated in the process 203, the detected vehicle speed, and the vehicle travel distance traveled during the calculation cycle are stored in the RAM inside the computer by the distance storage unit 5.
  • the processing results of a plurality of past times for example, the past 10 times
  • each of the plurality is stored for a plurality of past times.
  • the lane line angle calculation unit 6 calculates the angle of the lane line using the distances to the past plurality of lane lines stored in the process 204. Specific processing contents will be described with reference to the flowchart of FIG. In the case of the configuration in which the distances to a plurality of lane markings are calculated in the process 203, the angle of the lane marking is calculated for each of the plurality.
  • the process 501 determines whether the distance to the latest lane line is valid among the distances to the plurality of past lane lines stored in the process 204, that is, whether the latest distance has been calculated. If the distance to the latest lane line is valid, the process proceeds to step 502. If the distance to the latest lane line is not valid, the process proceeds to step 506. Here, the distance to the latest lane line is valid when the distance to the lane line can be calculated in the process 203. If the type of the lane line is interrupted by a broken line or a dotted line, the distance to the lane line The distance may not be calculated.
  • the process 502 whether or not the distance to the plurality of past lane lines stored in the process 204 is valid at least N out of M points (for example, 4 or more out of 8 points) counted from the latest value. That is, it is determined whether or not a plurality of distances can be calculated by a predetermined first predetermined value or more, and when N or more M points are valid (determined that a predetermined number or more can be calculated). If YES, the process proceeds to process 503. If N or more of M points are not valid, the process proceeds to process 506. M and N are determined in advance and stored in a storage device or the like.
  • the angle of the lane marking is calculated using the effective value of the distance to the lane marking determined in processing 502.
  • the regression line 601 is obtained from the past 6 points of information counted from the latest value of the distance to the lane line by the least square method, and the angle of the lane line is calculated.
  • the horizontal axis of this graph is the position (the distance traveled by the vehicle during the calculation cycle), and is obtained from the vehicle speed and the calculation cycle.
  • process 504 the angle of the lane marking calculated in process 503 is stored in the RAM inside the computer by the angle storage unit 7.
  • process 505 the non-detection counter that is incremented when the distance to the lane line could not be calculated in process 203 is reset, and in process 512, the lane line calculated in process 503 to the previous angle ⁇ z of the lane line.
  • the angle ⁇ is substituted, and a series of processing is completed.
  • a non-detection counter that is incremented when the distance to the lane marking cannot be calculated in process 203 is incremented.
  • process 507 it is determined whether or not the non-detection counter is 1. If the non-detection counter is 1, the process proceeds to process 508. If the non-detection counter is not 1, the process proceeds to process 510.
  • step 508 whether or not the points of the past plurality of plot lines stored in the process 504 are effective from the latest value to Q points of P points (for example, 3 points of 6 points or more). That is, it is determined whether or not the angle of a plurality of lane markings calculated in the past can be calculated by a predetermined number or more, and when it is effective for Q points or more out of P points (a predetermined second predetermined value or more, If it is determined that the calculation can be performed), the process proceeds to step 509, and if not more than Q points out of the P points, the process proceeds to step 511.
  • P and Q are determined in advance and stored in a storage device or the like.
  • the lane marking angle change rate (the value obtained by differentiating the lane marking angle by the distance traveled by the vehicle during the calculation cycle) is calculated using the effective value of the lane marking angle determined in processing 508. Specifically, as in the method described with reference to FIG. 6, the vertical axis is replaced with the angle of the lane marking, and a regression line is obtained by the least square method or the like to calculate the angle change rate of the lane marking.
  • the angle change rate of the lane marking is set to zero.
  • the difference between the processing 509 and the processing 511 is determined by the number of effective values of the lane marking angles determined in the processing 508, and a predetermined number or more (for example, 3 points) is calculated in calculating the lane marking angle change rate. This is because the reliability of the calculation result of the angle change rate of the lane marking is low if the angle of the lane marking of (above) is not present.
  • the angle of the lane marking is predicted using the lane marking angle change rate calculated in process 509 or 511.
  • the lane line angle ⁇ can be calculated by the following equation (1) using the lane line previous value ⁇ z described later, the lane line angle change rate ⁇ , and the calculation cycle ⁇ t.
  • processing 206 when the angles of a plurality of lane markings are calculated in processing 205, the angles of the plurality of lane markings are averaged by the lane marking angle averaging unit 10.
  • this specific method include (b) an arithmetic average, (b) a weighted average based on the distance resolution of the imaging device, and (c) a weighted average based on the freshness of information, and these may be combined. .
  • (a) to (c) will be specifically described.
  • B Weighted average based on distance resolution of imaging device
  • the distance resolution decreases as the distance from the imaging device on the image increases. For example, when four lane marking angles ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 are calculated and the horizontal distance resolution of each calculated location is 1 cm, 2 cm, 3 cm, and 4 cm, the reciprocal (1 , 1/2, 1/3, 1/4) as weights, the average value of the lane line angle ⁇ ave is calculated as in equation (3).
  • the vehicle yaw angle with respect to the lane is calculated by the vehicle yaw angle calculation unit 11 using the angle of the lane marking calculated in processing 206, and the series of processing ends.
  • the vehicle While the vehicle is traveling in the road lane, two lane lines are detected by the process 202, and the angle of the two lane lines is calculated by the process 206. Therefore, the angle of the two lane lines is used.
  • the yaw angle of the vehicle with respect to the lane Basically, the yaw angle of the vehicle is calculated by averaging the angles of the two lane markings, but the angles of the two lane markings may be weighted and averaged.
  • the angle of the lane marking is the vehicle yaw angle.
  • the past line information is used to calculate the angle of the lane marking, so that there may be a time delay in the yaw angle of the vehicle. Therefore, the yaw angle storage unit 12 stores the yaw angle of the vehicle retroactively, and the yaw angle change rate calculation unit 13 calculates the yaw angle change rate of the vehicle using the stored yaw angles of the plurality of past vehicles. There is also a method for predicting a future value by the delay time using the yaw angle change rate of the vehicle. Thereby, it becomes possible to eliminate the delay time caused by using past information.
  • the yaw angle of the vehicle with respect to the lane can be calculated from the relative distance change, so that even when the vehicle pitch angle changes, it is stable.
  • the yaw angle of the vehicle with respect to the lane can be obtained.
  • the yaw angle of the vehicle with respect to the lane can be obtained more stably.
  • FIG. 7 is a schematic diagram of a lane departure warning system when the output of the vehicle attitude angle calculation device 100 according to the first embodiment is applied to the lane departure warning device 700. Note that the imaging direction of the imaging apparatus 1 in the present embodiment is the rear of the vehicle.
  • the lane departure warning device 700 is constituted by a lane departure distance correction unit 701 and a lane departure warning generation unit 702, programmed in a computer (not shown) of the lane departure warning device 700, and repeatedly executed at a predetermined cycle.
  • the lane departure warning here is assumed to correspond to the JIS standard (JIS D 0804). That is, the lane departure warning device 700 needs to generate a lane departure warning based on the yaw angle of the vehicle input from the vehicle attitude angle calculation device 100 and the distance between the lane marking and the optical axis of the in-vehicle imaging device. Determine no.
  • the distance correction unit 701 to the lane line inputs the vehicle yaw angle calculated by the vehicle attitude angle calculation device 100 and the distance to the lane line, and corrects the distance to the lane line.
  • the distance to the lane marking detected from the image behind the vehicle captured by the imaging device 1 Needs to be corrected to the distance from the outside of the vehicle front wheel to the lane marking. Specifically, this will be described with reference to FIG.
  • FIG. 8 assumes a case where the vehicle 801 is traveling on a road where two lane markings 802 and 803 exist.
  • the lane departure warning generation unit 702 notifies the occupant when the vehicle departs from the lane (or is likely to deviate) using the distances D1 and D2 to the left and right lane lines corrected by the lane line distance correction unit 701. An alarm is generated. In other words, if either the distance from the outside of the front wheel of the vehicle to the left lane or the distance from the outside of the front wheel of the vehicle to the right lane is less than a predetermined distance, a flag for generating a lane departure warning is set. .
  • the alarm method may be a sound from a speaker or a method of displaying on a display.
  • an alarm is generated when the distance D1 or D2 to the corrected lane marking is within a predetermined range (for example, within 5 cm).
  • a predetermined range for example, within 5 cm.
  • a predetermined time for example, after 2 seconds
  • FIG. 9 assumes a case in which the vehicle 900 returns to the left lane again after the vehicle 900 is about to deviate to the right lane along the locus indicated by the dotted line 901 while traveling on the left lane on the one-lane two-lane road.
  • the road boundary lane marking is a solid line
  • the lane boundary lane marking is painted with a broken line.
  • the distance to the left lane marking of the vehicle is d1
  • the distance to the right lane marking is d2
  • the distance to the lane marking on the left side of the vehicle after correction is D1
  • the distance to the lane marking on the right side of the vehicle after correction is D2.
  • the imaging device mounted on the vehicle images the rear of the vehicle.
  • distances d1 and d2 to the lane markings are calculated as a solid line 911 and a dotted line 912, respectively.
  • the values of the distance d2 to the lane marking of the dotted line 912 is indefinite.
  • the lane line angle ⁇ 1 (the angle of the lane line on the left side of the vehicle) and ⁇ 2 (the angle of the lane line on the right side of the vehicle) are a solid line 913 and a dotted line using time series data of distances d1 and d2 to the lane line, respectively. 914 is calculated.
  • the lane line angle ⁇ 1 is calculated by using the distances d1 to a plurality of past lane lines stored in advance because the distance d1 to the lane line can be calculated continuously.
  • the distance d2 to the lane line is a discontinuous value, and thus the angle change rate of the lane line in the section where the distance to the lane line can be calculated continuously is calculated.
  • the angle of the lane marking in the section where the distance to the lane marking cannot be calculated is predicted. For this reason, an error may accumulate in the angle of the lane marking in the section where the distance to the lane marking cannot be calculated, and the value may jump in the portion surrounded by 915.
  • the yaw angle of the vehicle is calculated as indicated by a solid line 916 using the divergence line angles ⁇ 1 and ⁇ 2.
  • the vehicle yaw angle is calculated by averaging the lane line angle ⁇ 2 and the lane line angle ⁇ 2 that are reversed. Similar to the portion surrounded by 915, an error may occur in the angle of the lane line in a section where the distance to the lane line cannot be calculated. Therefore, the value may jump as in the portion surrounded by 917.
  • the corrected distances D1 and D2 to the lane line are expressed by solid lines 918 and 919 in the equations (5) and (6) using the distances d1 and d2 to the lane line and the vehicle yaw angle, respectively. calculate.
  • the lane departure warning flag is set to 1 (ON) when the distance D1 or D2 to the lane line after correction becomes a predetermined value or less.
  • the lane departure warning flag is turned ON and turned OFF (set to 0) after a predetermined time. This is because it is only necessary to turn on the lane departure warning flag for a time during which the driver recognizes the warning (for example, for 2 seconds). Even if the distance D2 to the lane line after correction is less than a predetermined value when turning off, Turns off (because the driver feels bothersome if the alarm continues).
  • a change in a series of values of the lane departure warning flag is as shown by a solid line 920.
  • a lane line is detected from an image obtained by imaging the rear of the vehicle, a vehicle yaw angle is calculated, a distance to the lane line is corrected using the calculated vehicle yaw angle, and a lane departure warning flag is set. It becomes possible.
  • an imaging device that images the front of the vehicle may be used, and the mounting angle and mounting position of the imaging device are different from the present embodiment. Also good.
  • the least square method is used as the method for calculating the angle of the lane marking.
  • a method other than the least square method may be used.
  • the distance to the lane line calculated by the imaging device is corrected to the distance from the outside of the front wheel of the vehicle to the lane line, but is corrected to the distance from the corner in front of the vehicle to the lane line.
  • the distance to the lane marking at an arbitrary place may be corrected.

Abstract

　車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供する。車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。

Description

車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
　本発明は、車載カメラを用いて車両が走行している車線に対する車両の姿勢角を算出する方法に関する。
　車載カメラにより車両の周囲を撮像し、撮像した画像中の物体（車両，歩行者など）や道路標示・標識（区画線などの路面ペイント，止まれなどの標識など）を認識するための技術が種々提案されている。例えば、車載カメラで道路上にペイントが施されている区画線を認識し、車線内の車両位置を求めることができれば、車両が車線から逸脱するときに運転者に警報を発したり、ステアリングやブレーキを制御したりして逸脱を抑制することが可能となる。
　このように車両が車線を逸脱するときに警報を発するシステムとして、ＪＩＳ（日本工業規格）のＪＩＳ　Ｄ　０８０４で規格化されている車線逸脱警報システム（ＬＤＷＳ：Lane Departure Warning Systems）がある。この規格をとくに車両の後方を撮像し、撮像した画像中の区画線を認識する車載カメラを用いて実現する場合、車両後方で認識した区画線の情報を車両前輪位置に補正する必要があるため、この補正の際に利用する情報として車線に対する車両のヨー角を正確に求める必要がある。
　例えば、特許文献１には、車載カメラにて撮像される画面内において２本の道路平行線が交わって消失する点である道路消失点を求め、この２本の道路平行線と道路消失点に基づいて車載カメラの姿勢パラメータ（姿勢角（ヨー角））を算出する装置が開示されている。
特開平７－１４７０００号公報
　しかしながら、特許文献１においては、走行中の道路が直線かつ平坦の場合でないと道路消失点を求めることは困難であり、また、道路消失点を求めても車両ピッチ角の変化（乗車人数の変化や燃料消費などによる）などにより道路消失点と道路平行線の関係が変わるため、車線に対する車両ヨー角に誤差が発生する問題がある。
　本発明の目的は、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供することにある。
　上記課題を解決するため、本発明は、車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、区画線と車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された区画線と車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する構成とする。
　本発明によれば、車両ピッチ角が変化する状況下においても、道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることのできる車両姿勢角算出装置を提供できる。
本発明に係る車両姿勢角算出装置の第１の実施形態の概略図である。 本発明に係る車両姿勢角算出装置の処理内容を示すフローチャートを示す図である。 本発明の区画線検出部の処理内容を示す概略図である。 本発明の区画線までの距離算出部の処理内容を示す概略図である。 本発明の区画線角度算出処理の処理内容を示すフローチャートを示す図である。 本発明の区画線の角度を算出する方法の一例を示す図である。 本発明に係る車両姿勢角算出装置を用いた車線逸脱警報システムの概略図である。 本発明の区画線までの距離補正部を説明する概略図である。 本発明に係る車線逸脱警報システムの処理内容の具体例を示す図である。
１００　車両姿勢角算出装置
３０１，３０２，４０１，４０２，８０２，８０３　区画線
３０３～３０６　エッジ強度のピーク
４０３　撮像装置の光軸
４０４　区画線までの距離
４０５，８０４　撮像装置
８０１，９００　車両
９０１　走行軌跡
　以下、実施形態について図面を用いて詳細に説明する。
　図１は、第１の実施形態に係る車両姿勢角算出装置１００の概略図である。
　まず、車両姿勢角算出装置１００の構成と処理内容について説明する。
　車両姿勢角算出装置１００は、区画線検出部３，区画線までの距離算出部４，距離記憶部５，区画線角度算出部６，角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９，区画線角度平均化部１０，車両ヨー角算出部１１，ヨー角記憶部１２，ヨー角変化率算出部１３によって構成され、車両姿勢角算出装置１００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。
　また、車両姿勢角算出装置１００は、撮像装置１により撮像された画像を入力し、さらに、車速検出部２により検出された車速を入力して、車線に対する車両のヨー角などを外部に出力する構成となっている。
　撮像装置１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子によって自車外を撮像し、得られた画像をデジタル処理してコンピュータで扱える画像データに変換する。
　車速検出部２は、車両が進行する速度を検出するものであり、車両の前後左右各輪に装着された車輪速センサにより得られる値を平均して車速を検出する方法や、自車に搭載する加速度センサにより得られる自車の加速度の値を積分して車速を算出する方法などがある。
　区画線検出部３は、車載用の撮像装置１により取得した車外を撮像した画像データ（画像情報）を用いて道路上にペイントされている区画線（自車の左右にある一対の左右線など，車道外側線など）を検出する。
　区画線までの距離算出部４は、区画線検出部３で検出された区画線と撮像装置１の光軸との距離（区画線までの距離）を算出する。この算出は、所定の処理周期で複数回算出する。
　距離記憶部５は、区画線までの距離算出部４で算出された区画線までの距離を過去複数個記憶する。なお、その記憶媒体としては、コンピュータ内部のＲＡＭ（Random Access Memory）が一般的である。
　区画線角度算出部６は、角度記憶部７，角度変化率算出部８，区画線不検知回数計測部９によって構成され、距離記憶部５に記憶されている過去複数個の区画線までの距離と、検出した車両速度（又は車両速度から求められた演算周期間に車両が進行した車両進行距離）と、を用いて区画線の角度を算出する。
　角度記憶部７は、区画線角度算出部６で算出された区画線の角度を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５と同様にコンピュータ内部のＲＡＭが一般的である。
　角度変化率算出部８は、角度記憶部７に記憶されている過去複数個の区画線の角度を用いて区画線の角度変化率を算出する。
　区画線不検知回数計測部９は、区画線までの距離算出部４において区画線までの距離が連続して算出できなかった回数（不検知カウンタ）を計測する。
　区画線角度平均化部１０は、区画線までの距離算出部４において複数個の区画線までの距離を算出した場合、区画線角度算出部６で算出される区画線の角度も複数個となるため、この複数個の区画線の角度を平均する。なお、区画線までの距離算出部４において１本の区画線につき１個の区画線までの距離しか算出しない場合は、区画線角度平均化部１０による平均する処理は行わずにそのままの値を出力する。
　車両ヨー角算出部１１は、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する。具体的には、区画線角度平均化部１０により平均された区画線の角度を車線に対する車両のヨー角に変換する。また、車両のヨー角の変化率を用いて現在の車両のヨー角を予測する。
　ヨー角記憶部１２は、車両ヨー角算出部１１で算出された車両のヨー角を過去複数個記憶する部分であり、その記憶媒体としては、距離記憶部５および角度記憶部７と同様にコンピュータ内部のＲＡＭが一般的である。
　ヨー角変化率算出部１３は、ヨー角記憶部１２に記憶されている過去複数個の車両のヨー角を用いて車両のヨー角の変化率を算出する。
　なお、区画線角度算出部６と、区画線角度平均化部１０と、車両ヨー角算出部１１と、を車両角度算出部とし、車両角度算出部の出力は、車両のヨー角となる。ただ条件によっては、区画線角度算出部６で算出される区画線の角度と、車両ヨー角算出部１１で算出される車両のヨー角とが同じ場合もある。そのときは、区画線の角度がそのまま車両のヨー角として車両角度算出部から出力される。
　次に、車両姿勢角算出装置全体の処理内容について説明する。
　図２は、車両姿勢角算出装置１００の処理内容を示すフローチャートである。
　まず、処理２０１において、撮像装置１により撮像した画像をデジタル処理して画像データとして取り込む。
　次に、処理２０２において、処理２０１で取り込んだ画像データから道路上にペイントされている区画線を区画線検出部３により検出する。この区画線を検出する処理について具体的な方法を図３を用いて説明する。図３（ａ）は、処理２０１で取り込んだ画像データであり、２本の区画線３０１および３０２が存在している。この区画線を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法がある。ここで、エッジとは画像中で輝度値が急激に変わる点である。図３（ｂ）は図３（ａ）のＡからＢに向かってエッジ強度を検出した結果であり、３０３および３０５のピークはそれぞれ道路から区画線に変わる点（輝度値が暗から明に急変する点）であり、３０４および３０６のピークはそれぞれ区画線から道路に変わる点（輝度値が明から暗に急変する点）である。このように、３０３と３０４の組み合わせ，３０５と３０６の組み合わせを見つけることで区画線の検出が可能である。
　次に、処理２０３において、処理２０２で検出した区画線と撮像装置１の光軸との距離（区画線までの距離）を区画線までの距離算出部４により算出する。この区画線までの距離を算出する処理について具体的な方法を図４を用いて説明する。図４（ａ）は、図３（ａ）と同様に、処理２０１で取り込んだ画像データであり、図４（ｂ）は、図４（ａ）と同じ状況時の上部から見た平面図である。ここでは、２本の区画線４０１および４０２が存在しており、矢印４０３は撮像装置１の光軸，４０５は撮像装置１である。例えば、区画線４０２までの距離は矢印４０４で示すように、光軸４０３から区画線４０２のＡ点までの距離であり、図４（ａ）上でのＡ点の座標をエッジ強度のピークから求めて図４（ｂ）の実際の座標系に変換して距離を算出する。なお、区画線までの距離は区画線内側の座標を用いるのではなく、区画線外側もしくは区画線中心の座標を用いてもよく、一貫して同じ定義であれば良い。また、区画線までの距離は画像内の各区画線に対して１つずつではなく、各区画線に対して複数個（例えば、１０個）算出する構成としても良い。
　次に、処理２０４において、処理２０３で算出した区画線までの距離や、検出した車両速度や、演算周期間に車両が進行した車両進行距離を距離記憶部５によりコンピュータ内部のＲＡＭに記憶する。ここでは、過去複数回（例えば、過去１０回分）の処理結果を記憶するものとする。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれを過去複数回分記憶するものとする。
　次に、処理２０５において、処理２０４で記憶してある過去複数個の区画線までの距離を用いて区画線の角度を区画線角度算出部６により算出する。具体的な処理内容を図５のフローチャートを用いて説明する。なお、処理２０３において複数個の区画線までの距離を算出する構成の場合は、複数個それぞれに対して区画線の角度を算出するものとする。
　まず、処理５０１において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新の区画線までの距離が有効であるか否か、つまり最新の距離が算出できているか否かを判定し、最新の区画線までの距離が有効である場合は処理５０２に進み、最新の区画線までの距離が有効でない場合は処理５０６にすすむ。ここで、最新の区画線までの距離が有効とは、処理２０３において区画線までの距離が算出できている場合であり、区画線の種別が破線や点線などで途切れる場合には区画線までの距離が算出できないこともある。
　処理５０２において、処理２０４で記憶してある過去複数個の区画線までの距離のうち、最新値から数えてＭ点中Ｎ点以上（例えば、８点中４点以上）有効であるか否か、つまり、複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、Ｍ点中Ｎ点以上有効である場合（予め定めた数以上、算出できていると判定された場合）は処理５０３に進み、Ｍ点中Ｎ点以上有効でない場合は処理５０６に進む。なお、ＭやＮは、予め定めて記憶装置等に記憶しておく。
　処理５０３において、処理５０２で判定した区画線までの距離の有効値を用いて区画線の角度を算出する。具体例としては、図６に示すように、区画線までの距離の最新値から数えて６点の過去の情報から最小二乗法により回帰直線６０１を求めて区画線の角度を算出する。なお、このグラフの横軸は位置（演算周期間に車両が進行した距離）となっており、車両速度と演算周期により求める。
　次に、処理５０４において、処理５０３で算出した区画線の角度を角度記憶部７によりコンピュータ内部のＲＡＭに記憶する。
　次に、処理５０５において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをリセットし、処理５１２において、区画線の角度前回値φｚに処理５０３で計算した区画線の角度φを代入し、一連の処理を終了する。
　処理５０６において、処理２０３で区画線までの距離が算出できなかった場合にインクリメントする不検知カウンタをインクリメントする。
　次に、処理５０７において、不検知カウンタが１であるか否かを判定し、不検知カウンタが１の場合は処理５０８に進み、不検知カウンタが１でない場合は処理５１０に進む。
　処理５０８において、処理５０４で記憶してある過去複数個の区画線の角度のうち、最新値から数えてＰ点中Ｑ点以上（例えば、６点中３点以上）有効であるか否か、つまり過去に算出された複数の区画線の角度が予め定めた数以上、算出できているか否かを判定し、Ｐ点中Ｑ点以上有効である場合（予め定めた第２の所定値以上、算出できていると判定された場合）は処理５０９に進み、Ｐ点中Ｑ点以上有効でない場合は処理５１１に進む。なお、ＰやＱは、予め定めて記憶装置等に記憶しておく。
　処理５０９において、処理５０８で判定した区画線の角度の有効値を用いて区画線の角度変化率（区画線の角度を演算周期間に車両が進行した距離で微分した値）を算出する。具体的な方法は図６で説明した方法と同様に、縦軸を区画線の角度に置き換えて最小二乗法等により回帰直線を求めて区画線の角度変化率を算出する。
　処理５１１において、区画線の角度変化率を０に設定する。
　なお、処理５０９と処理５１１の違いは、処理５０８で判定した区画線の角度の有効値の個数で決めており、区画線の角度変化率を算出するうえで所定の個数以上（例えば、３点以上）の区画線の角度がないと区画線の角度変化率の計算結果の信頼度が低くなるためである。
　次に、処理５１０において、処理５０９または処理５１１で算出した区画線の角度変化率を用いて区画線の角度を予測する。具体的には、区画線の角度φは、後述する区画線の角度前回値φｚ，区画線の角度変化率α，演算周期Δｔを用いて（１）式で計算できる。
（数１）
　　φ＝φｚ＋α×Δｔ　　　　　　　　　　　　　　　　　（１）
　最後に、処理５１２において、区画線の角度前回値φｚに処理５１０で計算した区画線の角度φを代入し、一連の処理を終了する。
　続いて、処理２０６において、処理２０５で複数個の区画線の角度を算出する場合に、これら複数の区画線の角度を区画線角度平均化部１０により平均する。この具体的な方法の例として、（イ）相加平均，（ロ）撮像装置の距離分解能に基づいた重み付け平均，（ハ）情報の鮮度に基づいた重み付け平均があり、それぞれの組み合わせとしても良い。以下、（イ）～（ハ）に関して具体的に説明する。
（イ）相加平均
　例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合は、区画線角度の平均値φａｖｅは（２）式で計算できる。
（数２）
　　φａｖｅ＝（φ１＋φ２＋φ３＋φ４）÷４　　　　　　（２）
（ロ）撮像装置の距離分解能に基づいた重み付け平均
　撮像装置の特性として、画像上で撮像装置から遠くなればなるほど距離分解能が低下する。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれが算出された場所の水平方向の距離分解能が１cm，２cm，３cm，４cmであれば、その逆数（１，１／２，１／３，１／４）を重みとして区画線角度の平均値φａｖｅを（３）式のように計算する。
（数３）
　　φａｖｅ＝（１×φ１＋１／２×φ２＋１／３×φ３＋１／４×φ４）÷（１＋１／２＋１／３＋１／４）　　　　　　　　　　 　（３）
（ハ）情報の鮮度に基づいた重み付け平均
　処理５０１および処理５０２の判定結果がＮＯの場合は区画線角度の変化率を用いて現在の区画線の角度を予測するが、処理５０６によりインクリメントされる不検知カウンタが大きくなればなるほど予測による誤差が蓄積する。つまり、不検知カウンタが大きいほど情報の鮮度が落ちることになるため、不検知カウンタの値に基づいた重み付け平均が有効である。例えば、区画線の角度がφ１，φ２，φ３，φ４の４個算出された場合、それぞれの不検知カウンタが０，１，２，３であれば、所定の値（例えば２０）から不検知カウンタの値を引いた数（２０，１９，１８，１７）を重みとして区画線角度の平均値φａｖｅを（４）式のように計算する。ただし、重みが１以下になる場合は１に置き換える。
（数４）
　　φａｖｅ＝（２０×φ１＋１９×φ２＋１８×φ３＋１７×φ４）÷（２０＋１９＋１８＋１７）　　　　　　　　　　　　　　　　　　（４）
　また、（ロ）と（ハ）を組み合わせる場合は、それぞれ求めた重みを掛け合わせて平均してもよいし、個別に求めた後に相加平均してもよい。
　最後に、処理２０７において、処理２０６で算出した区画線の角度を用いて車線に対する車両のヨー角を車両ヨー角算出部１１により算出し、一連の処理を終了する。車両が道路の車線内を走行中には、処理２０２により２本の区画線が検出され、処理２０６により２本の区画線の角度が算出されるため、この２本の区画線の角度を用いて車線に対する車両のヨー角を算出する。基本的には、２本の区画線の角度を平均することで車両のヨー角を算出するが、２本の区画線の角度を重みを付けて平均してもよい。なお、１本の区画線のみの検出の場合にはその区画線の角度を車両のヨー角とする。また、処理２０５では過去の情報を利用して区画線の角度を算出するため、車両のヨー角に時間遅れが生じる可能性がある。そこで、ヨー角記憶部１２で車両のヨー角を過去にさかのぼって記憶し、記憶した過去複数個の車両のヨー角を用いてヨー角変化率算出部１３により車両のヨー角変化率を算出して、この車両のヨー角変化率を用いて遅れ時間分だけ未来の値を予測する方法もある。これにより、過去の情報を利用することによる遅れ時間を解消することが可能となる。
　なお、処理２０２において、所定の時間（例えば、５秒間）もしくは所定の距離（例えば、２０ｍ）を走行しても区画線が検出できない場合は、以後の処理２０３以降の演算を中止して、現在車両のヨー角が演算できないことを報知する構成としてもよい。
　以上説明したように、過去複数個の区画線までの距離を用いることで、相対的な距離変化から車線に対する車両のヨー角が算出できるため、車両ピッチ角が変化する状況下においても、安定して車線に対する車両のヨー角を求めることが可能となる。また、複数個の区画線までの距離を算出し、それぞれに対して区画線の角度を算出して平均することで、より安定して車線に対する車両のヨー角を求めることが可能となる。
　次に、本発明の車両姿勢角算出装置の出力を他のシステムに適用する場合の実施形態に関して説明する。
　図７は、第１の実施形態に係る車両姿勢角算出装置１００の出力を車線逸脱警報装置７００に適用する場合の車線逸脱警報システムの概略図である。なお、本実施形態における撮像装置１の撮像方向は車両の後方とする。
　まず、車線逸脱警報装置７００の構成と処理内容について説明する。
　車線逸脱警報装置７００は、区画線までの距離補正部７０１および車線逸脱警報発生部７０２よって構成され、車線逸脱警報装置７００の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。なお、ここでの車線逸脱警報は、ＪＩＳ規格（ＪＩＳ　Ｄ　０８０４）に対応することを想定している。つまり、車線逸脱警報装置７００は車両姿勢角算出装置１００から入力された車両のヨー角と、区画線と車載用撮像装置の光軸間の距離と、に基づいて車線逸脱の警報の発生の要否を判断する。
　区画線までの距離補正部７０１は、車両姿勢角算出装置１００が算出した車両ヨー角および区画線までの距離を入力し、区画線までの距離を補正する。ここで、ＪＩＳ規格では、車両前輪の外側と区画線までの距離に基づいて警報を発生するか否かを判定するため、撮像装置１で撮像した車両後方の映像から検出した区画線までの距離を車両前輪の外側から区画線までの距離に補正する必要がある。具体的には、図８を用いて説明する。
　図８は、車両８０１が２本の区画線８０２および８０３の存在する道路を走行している場合を想定している。
　車両の後方に設置された撮像装置８０４で算出された左区画線までの距離ｄ１を車両左前輪の外側から左区画線までの距離Ｄ１（補正後の区画線までの距離）に補正するためには、左区画線までの距離ｄ１が算出された地点から車両前輪までの距離Ｌ，撮像装置８０４から車両左前輪の外側までの距離Ｃ１、および車両ヨー角θを用いると（５）式で計算できる。
（数５）
　　Ｄ１＝ｄ１－Ｌ×tanθ－Ｃ１　　　　　　　　　　　　（５）
　同様に、車両の後方に設置された撮像装置８０４で算出された右区画線までの距離ｄ２を車両右前輪の外側から右区画線までの距離Ｄ２（補正後の区画線までの距離）に補正するためには、右区画線までの距離ｄ２が算出された地点から車両前輪までの距離Ｌ、撮像装置８０４から車両右前輪の外側までの距離Ｃ２、および車両ヨー角θを用いると（６）式で計算できる。
（数６）
　　Ｄ２＝ｄ２＋Ｌ×tanθ－Ｃ２　　　　　　　　　　　　（６）
　車線逸脱警報発生部７０２は、区画線までの距離補正部７０１で補正された左右の区画線までの距離Ｄ１，Ｄ２を用いて車両が車線を逸脱する（もしくは、逸脱しそうな）場合に乗員に対して警報を発生する。つまり、車両前輪の外側から左車線までの距離と、車両前輪の外側から右車線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生するフラグを立てる。なお、警報の方法としては、スピーカーからの音声でもよいし、ディスプレイに表示する方式でもよい。具体的な一手法としては、補正後の区画線までの距離Ｄ１またはＤ２が所定の範囲内（例えば、５cm以内）になった場合に警報を発生する。なお、警報を解除するタイミングは警報を発生して所定時間経過後（例えば、２秒後）とする方法がある。
　次に、図９を用いて、車両姿勢角算出装置１００および車線逸脱警報装置７００の一連の処理内容を実際の道路状況に当てはめて説明する。
　図９は、片側２車線の道路において、車両９００が左車線を走行中に点線９０１で示す軌跡で右車線に逸脱しそうになった後に再度左車線に復帰する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線でペイントされているものとし、車両の左側の区画線までの距離をｄ１，車両の右側の区画線までの距離をｄ２，補正後の車両左側の区画線までの距離をＤ１，補正後の車両右側の区画線までの距離をＤ２とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。
　まず、区画線までの距離ｄ１およびｄ２は、それぞれ実線９１１および点線９１２のように算出される。ここで、地点Ａ～Ｂおよび地点Ｄ～Ｅは車両右側の区画線が破線のために検出できない区間のため、点線９１２の区画線までの距離ｄ２の値が不定となっている。
　次に、区画線の角度θ１（車両左側の区画線の角度）およびθ２（車両右側の区画線の角度）は、それぞれ区画線までの距離ｄ１およびｄ２の時系列データを用いて実線９１３および点線９１４のように算出される。区画線の角度θ１に関しては、区画線までの距離ｄ１が連続的に算出できているので、あらかじめ記憶してある過去複数点の区画線までの距離ｄ１を用いて算出する。一方、区画線の角度θ２に関しては、区画線までの距離ｄ２が不連続な値となるため、連続的に区画線までの距離が算出できている区間での区画線の角度変化率を算出して区画線までの距離が算出できない区間での区画線の角度を予測する。このため、区画線までの距離が算出できない区間での区画線の角度に誤差が蓄積して、９１５で囲んだ部分において値がジャンプする場合がある。
　次に、車両のヨー角は、区画線の角度θ１およびθ２を用いて実線９１６のように算出される。ここで、車両ヨー角の符号は左旋回をプラス方向と定義するため、区画線の角度θ１の符号を逆転したものと区画線の角度θ２を平均して車両ヨー角を算出する。なお、９１５で囲んだ部分と同様に、区画線までの距離が算出できない区間では区画線の角度に誤差が生じる場合があり、そのため９１７で囲んだ部分のように値がジャンプする場合がある。
　次に、補正後の区画線までの距離Ｄ１およびＤ２は、区画線までの距離ｄ１およびｄ２と車両ヨー角を用いて（５）式および（６）式でそれぞれ実線９１８および点線９１９のように算出する。
　次に、車線逸脱警報フラグは、補正後の区画線までの距離Ｄ１もしくはＤ２が所定の値以下となった場合に１（ＯＮ）を設定する。ここでは、補正後の区画線までの距離Ｄ２が地点Ｃにおいて所定値を下回ったときに車線逸脱警報フラグをＯＮして所定時間後にＯＦＦ（０に設定）している。これは、運転手が警報を認知する時間（例えば、２秒間）だけ車線逸脱警報フラグをＯＮすればよく、ＯＦＦする際に補正後の区画線までの距離Ｄ２が所定値を下回っていてもそのままＯＦＦする（警報し続けると運転手が煩わしさを感じるため）。車線逸脱警報フラグの一連の値の変化は実線９２０のようになる。
　以上説明したように、車両後方を撮像した画像から区画線を検出して車両ヨー角を算出し、算出した車両ヨー角を用いて区画線までの距離を補正して車線逸脱警報フラグを設定することが可能となる。
　なお、本実施例においては、車両後方を撮像する撮像装置を用いて説明したが、車両前方を撮像する撮像装置でもよく、また、撮像装置の取付角度や取付位置が本実施例と異なっていてもよい。
　また、本実施例においては、区画線の角度の算出方法に最小二乗法を用いたが、最小二乗法以外の方法を用いてもよい。
　さらに、本実施例においては、撮像装置で算出された区画線までの距離を車両前輪の外側から区画線までの距離に補正すると説明したが、車両前方の角から区画線までの距離に補正するなど、任意の場所における区画線までの距離に補正してもよい。
　以上のように、本発明の趣旨を逸脱しない範囲において、種々の様態で実施することができる。

Claims (17)

  1. 　車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、
    　前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、
    　算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置。
  2. 　請求項１記載の車両姿勢角算出装置において、
    　前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有する車両姿勢角算出装置。
  3. 　請求項１記載の車両姿勢角算出装置において、
    　前記距離算出部で算出された距離を記憶する距離記憶部を有し、
    　前記車両角度算出部は、前記距離記憶部から複数の距離を取り込み、前記複数の距離と前記車両進行距離に基づいて区画線の角度を算出する車両姿勢角算出装置。
  4. 　請求項２記載の車両姿勢角算出装置において、
    　前記区画線角度算出部は、
    　前記区画線角度算出部で算出された過去の区画線の角度が記憶された角度記憶部と、
    　前記角度記憶部に記憶された複数の区画線の角度に基づいて区画線の角度変化率を算出する角度変化率算出部と、を有する車両姿勢角算出装置。
  5. 　請求項１記載の車両姿勢角算出装置において、
    　前記車両角度算出部は、前記距離算出部で前記区画線と前記車載用撮像装置の光軸間の距離が連続して算出できなかった回数を計測する区画線不検知回数計測部を有する車両姿勢角算出装置。
  6. 　請求項１記載の車両姿勢角算出装置において、
    　前記車両角度算出部で算出された複数の区画線の角度を平均する区画線角度平均化部を有する車両姿勢角算出装置。
  7. 　請求項２記載の車両姿勢角算出装置において、
    　前記車両ヨー角算出部は、
    　車両ヨー角算出部で算出された過去の複数のヨー角を記憶するヨー角記憶部と、
    　前記ヨー角記憶部で記憶された複数のヨー角から車両のヨー角の変化率を算出するヨー角変化率算出部と、を有する車両姿勢角算出装置。
  8. 　請求項２記載の車両姿勢角算出装置において、
    　前記区画線角度算出部は、
    　前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できているか否かを判定し、
    　最新の距離が算出できていると判定された場合、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が予め定めた第１の所定値以上、算出できているか否かを判定し、
    　前記第１の所定値以上、算出できていると判定された場合、算出できている複数の距離から区画線の角度を算出する、車両姿勢角算出装置。
  9. 　請求項８記載の車両姿勢角算出装置において、
    　前記区画線角度算出部は、
    　前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の最新の距離が算出できていないと判定された場合、又は、前記距離算出部にて算出された前記区画線と前記車載用撮像装置の光軸間の複数の距離が前記第１の所定値以上、算出できていないと判定された場合、過去に算出された複数の区画線の角度が予め定めた第２の所定値以上、算出できているか否かを判定し、
    　過去に算出された複数の区画線の角度が前記第２の所定値以上、算出できていると判定された場合、算出できている複数の区画線の角度から区画線の角度変化率を算出し、
    　算出された区画線の角度変化率から区画線の角度を予測する、車両姿勢角算出装置。
  10. 　請求項１記載の車両姿勢角算出装置において、
    　前記区画線は、自車の左右にある一対の左右線であり、
    　前記区画線と前記車載用撮像装置の光軸間の距離は、前記左線と前記車載用撮像装置の光軸間の距離と、前記右線と前記車載用撮像装置の光軸間の距離を含む車両姿勢角算出装置。
  11. 　車載用撮像装置から取り込んだ車外を撮像した画像情報から区画線を検出する区画線検出部と、前記区画線と前記車載用撮像装置の光軸間の距離を所定の処理周期毎に算出する距離算出部と、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する車両角度算出部と、を有する車両姿勢角算出装置と、
    　前記車両姿勢角算出装置から入力された前記区画線の角度と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報装置と、を有する車線逸脱警報システム。
  12. 　請求項１１記載の車線逸脱警報システムにおいて、
    　前記車両姿勢角算出装置の前記車両角度算出部は、算出された前記区画線と前記車載用撮像装置の光軸間の距離と所定の処理周期の間に車両が進行した車両進行距離に基づいて区画線の角度を算出する区画線角度算出部と、算出された区画線の角度に基づいて区画線に対する車両のヨー角を算出する車両ヨー角算出部と、を有し、
    　前記車線逸脱警報装置は、前記車両姿勢角算出装置から入力された前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離と、に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報システム。
  13. 　請求項１２記載の車線逸脱警報システムにおいて、
    　前記車線逸脱警報装置は、
    　前記区画線と前記車載用撮像装置の光軸間の前記距離を前記車両のヨー角に基づいて、車両前輪の外側から区画線までの距離に補正する区画線までの距離補正部と、
    　補正された前記区画線までの距離に基づいて車線逸脱の警報の発生の要否を判断する車線逸脱警報発生部と、を有する車線逸脱警報システム。
  14. 　請求項１３記載の車線逸脱警報システムにおいて、
    　前記区画線までの距離補正部で補正する前記車両前輪の外側から区画線までの距離は、前記区画線と前記車載用撮像装置の光軸間の前記距離と、前記車両のヨー角と、前記区画線と前記車載用撮像装置の光軸間の前記距離が算出された地点から車両前輪までの距離と、前記車載用撮像装置から車両前輪の外側までの距離と、から算出される車線逸脱警報システム。
  15. 　請求項１３記載の車線逸脱警報システムにおいて、
    　前記区画線は、自車の左右にある一対の左右線であり、
    　前記車両前輪の外側から区画線までの距離は、左の前記車両前輪の外側から前記左線までの距離と、右の前記車両前輪の外側から前記右線までの距離を含む車線逸脱警報システム。
  16. 　請求項１５記載の車線逸脱警報システムにおいて、
    　前記車線逸脱警報発生部は、前記車両前輪の外側から前記左線までの距離と、前記車両前輪の外側から前記右線までの距離の、どちらか一方が予め定めた距離以下となった場合は、車線逸脱警報を発生する車線逸脱警報システム。
  17. 　請求項１１記載の車線逸脱警報システムにおいて、
    　前記車載用撮像装置から取り込んだ前記画像情報は、車両後方の画像情報である車線逸脱警報システム。
PCT/JP2011/052695 2010-03-17 2011-02-09 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム WO2011114814A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11756004.5A EP2549458B1 (en) 2010-03-17 2011-02-09 Vehicle orientation angle calculating device, and lane deviation warning system using same
US13/522,985 US9123110B2 (en) 2010-03-17 2011-02-09 Vehicle attitude angle calculating device, and lane departure warning system using same
CN201180008700.XA CN102754139B (zh) 2010-03-17 2011-02-09 车辆姿态角算出装置及使用了该装置的车道偏离警报系统
US14/806,379 US9393966B2 (en) 2010-03-17 2015-07-22 Vehicle attitude angle calculating device, and lane departure warning system using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010060106A JP5350297B2 (ja) 2010-03-17 2010-03-17 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP2010-060106 2010-03-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/522,985 A-371-Of-International US9123110B2 (en) 2010-03-17 2011-02-09 Vehicle attitude angle calculating device, and lane departure warning system using same
US14/806,379 Continuation US9393966B2 (en) 2010-03-17 2015-07-22 Vehicle attitude angle calculating device, and lane departure warning system using same

Publications (1)

Publication Number Publication Date
WO2011114814A1 true WO2011114814A1 (ja) 2011-09-22

Family

ID=44648921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052695 WO2011114814A1 (ja) 2010-03-17 2011-02-09 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム

Country Status (5)

Country Link
US (2) US9123110B2 (ja)
EP (1) EP2549458B1 (ja)
JP (1) JP5350297B2 (ja)
CN (1) CN102754139B (ja)
WO (1) WO2011114814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020461A (zh) * 2018-04-27 2020-12-01 图森有限公司 用于确定汽车到车道距离的系统和方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011039989A1 (ja) * 2009-09-30 2011-04-07 パナソニック株式会社 車両周囲監視装置
JP5389864B2 (ja) * 2011-06-17 2014-01-15 クラリオン株式会社 車線逸脱警報装置
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
JP6035904B2 (ja) * 2012-06-29 2016-11-30 株式会社デンソー 電子機器
JP6035064B2 (ja) * 2012-07-03 2016-11-30 クラリオン株式会社 車線逸脱判定装置，車線逸脱警報装置及びそれらを使った車両制御システム
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
JP6260233B2 (ja) * 2013-12-02 2018-01-17 富士通株式会社 情報処理装置、カメラ取付角度の推定方法、及びプログラム
JP5874770B2 (ja) * 2014-03-12 2016-03-02 トヨタ自動車株式会社 区画線検出システム
JP6421547B2 (ja) * 2014-10-22 2018-11-14 いすゞ自動車株式会社 警報装置
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Ｓｏｋｅｎ 走行区画線認識装置
FR3033912B1 (fr) * 2015-03-18 2018-06-15 Valeo Schalter Und Sensoren Gmbh Procede d'estimation de parametres geometriques representatifs de la forme d'une route, systeme d'estimation de tels parametres et vehicule automobile equipe d'un tel systeme
FR3036180B1 (fr) * 2015-05-11 2018-08-10 Valeo Schalter Und Sensoren Gmbh Procede de determination de l'assiette d'un vehicule automobile.
JP6547452B2 (ja) * 2015-06-29 2019-07-24 株式会社デンソー 車線逸脱回避装置
TWI609807B (zh) * 2016-05-17 2018-01-01 緯創資通股份有限公司 影像評估方法以及其電子裝置
JP6500844B2 (ja) 2016-06-10 2019-04-17 株式会社デンソー 車両位置姿勢算出装置及び車両位置姿勢算出プログラム
KR20180061686A (ko) 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치
JP2018116369A (ja) * 2017-01-16 2018-07-26 株式会社Ｓｏｋｅｎ 車線認識装置
JP6834657B2 (ja) * 2017-03-23 2021-02-24 いすゞ自動車株式会社 車線逸脱警報装置の制御装置、車両および車線逸脱警報制御方法
CN106910358B (zh) * 2017-04-21 2019-09-06 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
JP6663406B2 (ja) * 2017-10-05 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
KR102552490B1 (ko) * 2018-01-03 2023-07-06 현대자동차주식회사 차량용 영상 처리 장치 및 방법
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147000A (ja) 1993-11-25 1995-06-06 Sumitomo Electric Ind Ltd 車載カメラの姿勢パラメータ算出装置
JPH07198349A (ja) * 1993-12-29 1995-08-01 Nissan Motor Co Ltd 道路形状及び自車両姿勢の計測装置
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP2001266163A (ja) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd 車両用画像処理装置
JP2002117391A (ja) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd 車両用前方画像撮像装置
JP2005346383A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 境界線検出装置
JP2008033807A (ja) * 2006-07-31 2008-02-14 Nissan Motor Co Ltd 車線逸脱防止装置
JP2008087726A (ja) * 2006-10-05 2008-04-17 Xanavi Informatics Corp 車両の走行制御システム
JP2009181310A (ja) * 2008-01-30 2009-08-13 Toyota Central R&D Labs Inc 道路パラメータ推定装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US5987174A (en) * 1995-04-26 1999-11-16 Hitachi, Ltd. Image processing apparatus for vehicles
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
KR100435650B1 (ko) * 2001-05-25 2004-06-30 현대자동차주식회사 카메라가 장착된 차량의 도로정보 추출 및 차간거리 탐지방법
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP4374211B2 (ja) * 2002-08-27 2009-12-02 クラリオン株式会社 レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP3922194B2 (ja) 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
US7561032B2 (en) * 2005-09-26 2009-07-14 Gm Global Technology Operations, Inc. Selectable lane-departure warning system and method
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
KR100941271B1 (ko) * 2007-03-30 2010-02-11 현대자동차주식회사 자동차용 차선이탈 방지 방법
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
EP2195688B1 (en) * 2007-08-30 2018-10-03 Valeo Schalter und Sensoren GmbH Method and system for weather condition detection with image-based road characterization
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
JP4710981B2 (ja) * 2009-01-23 2011-06-29 トヨタ自動車株式会社 区画線認識装置、及び当該装置で用いられる区画線認識方法
DE112009005401B4 (de) * 2009-11-27 2021-01-28 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147000A (ja) 1993-11-25 1995-06-06 Sumitomo Electric Ind Ltd 車載カメラの姿勢パラメータ算出装置
JPH07198349A (ja) * 1993-12-29 1995-08-01 Nissan Motor Co Ltd 道路形状及び自車両姿勢の計測装置
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP2001266163A (ja) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd 車両用画像処理装置
JP2002117391A (ja) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd 車両用前方画像撮像装置
JP2005346383A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 境界線検出装置
JP2008033807A (ja) * 2006-07-31 2008-02-14 Nissan Motor Co Ltd 車線逸脱防止装置
JP2008087726A (ja) * 2006-10-05 2008-04-17 Xanavi Informatics Corp 車両の走行制御システム
JP2009181310A (ja) * 2008-01-30 2009-08-13 Toyota Central R&D Labs Inc 道路パラメータ推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2549458A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020461A (zh) * 2018-04-27 2020-12-01 图森有限公司 用于确定汽车到车道距离的系统和方法
US11727811B2 (en) 2018-04-27 2023-08-15 Tusimple, Inc. System and method for determining car to lane distance
CN112020461B (zh) * 2018-04-27 2024-02-27 图森有限公司 用于确定汽车到车道距离的系统和方法

Also Published As

Publication number Publication date
US20150375755A1 (en) 2015-12-31
JP5350297B2 (ja) 2013-11-27
US20120327233A1 (en) 2012-12-27
JP2011192227A (ja) 2011-09-29
CN102754139B (zh) 2014-12-31
CN102754139A (zh) 2012-10-24
US9123110B2 (en) 2015-09-01
US9393966B2 (en) 2016-07-19
EP2549458A4 (en) 2014-01-15
EP2549458B1 (en) 2016-08-10
EP2549458A1 (en) 2013-01-23

Similar Documents

Publication Publication Date Title
JP5350297B2 (ja) 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP6035064B2 (ja) 車線逸脱判定装置，車線逸脱警報装置及びそれらを使った車両制御システム
US9280824B2 (en) Vehicle-surroundings monitoring device
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
EP2682897B1 (en) Lane departure warning system
EP2492888B1 (en) Lane departure warning apparatus and system
US20140044311A1 (en) Neighboring vehicle detecting apparatus
JP6278222B2 (ja) 車両用表示装置及び車両用表示方法
US20150070158A1 (en) Alert display device and alert display method
JP4962581B2 (ja) 区画線検出装置
JP2013003913A (ja) 車線逸脱警報装置
WO2014129312A1 (ja) 車線境界線逸脱抑制装置
WO2010122639A1 (ja) 走行支援装置
JP2011118482A (ja) 車載装置および認知支援システム
WO2014033955A1 (ja) 速度算出装置及び速度算出方法並びに衝突判定装置
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
JP2018081363A (ja) 運転支援装置
JP5625094B2 (ja) 車両姿勢角算出装置
JP2015154337A (ja) 対象範囲設定装置、および対象範囲設定プログラム
JP5561469B2 (ja) ヨーレート補正装置、及びその方法
WO2019139084A1 (ja) 通知装置及び車載機
US11433810B2 (en) Image processing apparatus, camera, moveable body, and image processing method
CN116118727B (zh) 一种车道偏离预警方法、装置、设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180008700.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756004

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13522985

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011756004

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011756004

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE