WO2016013174A1 - 車線検出装置および車線検出方法 - Google Patents

車線検出装置および車線検出方法 Download PDF

Info

Publication number
WO2016013174A1
WO2016013174A1 PCT/JP2015/003481 JP2015003481W WO2016013174A1 WO 2016013174 A1 WO2016013174 A1 WO 2016013174A1 JP 2015003481 W JP2015003481 W JP 2015003481W WO 2016013174 A1 WO2016013174 A1 WO 2016013174A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
vehicle
camera
break
white line
Prior art date
Application number
PCT/JP2015/003481
Other languages
English (en)
French (fr)
Inventor
謙二 岡野
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/327,611 priority Critical patent/US10140528B2/en
Publication of WO2016013174A1 publication Critical patent/WO2016013174A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • This disclosure relates to a technique for detecting a running lane by analyzing a captured image obtained by an in-vehicle camera.
  • the road on which the vehicle travels is divided into a plurality of lanes by white lines or the like, and the vehicle is required to travel in the lane. Therefore, when a lane break (white line, curbstone, median strip, etc.) is detected from the image taken in front of the in-vehicle camera, the vehicle is likely to deviate from the lane without the driver's intention. A warning is made to the driver.
  • a lane break white line, curbstone, median strip, etc.
  • a technique for analyzing a side image taken from a vehicle and detecting a white line or the like may easily detect a white line or the like and may make it difficult to ensure sufficient reliability.
  • a photographed image in which a white line or the like has been detected is an image obtained by photographing a relatively far distance in the traveling direction (front) of the vehicle, and the detected white line or the like exists far from the vehicle.
  • a white line or the like in the side captured image exists near the vehicle. For this reason, even if the vehicle moves at a high speed in the front shot image, the position of the white line or the like does not move greatly in the shot image, but the position of the white line or the like greatly increases in the side shot image. And it can move rapidly. As a result, it may be difficult to track a white line or the like while the vehicle is running in the side captured image.
  • the shadow of the own vehicle, the joint of the road surface, and the like may appear in parallel with the white line.
  • This disclosure is intended to provide a technique capable of detecting a lane break with high reliability using an image of a side image taken from a vehicle.
  • a lane detection device that is mounted on a vehicle including a plurality of in-vehicle cameras and detects a lane in which the vehicle is traveling by analyzing images captured by the plurality of in-vehicle cameras.
  • the The lane detection device is based on an image obtained by a side in-vehicle camera that captures a peripheral region on the side of the vehicle, and a side detection unit that detects a separation of the side lane present on the side of the vehicle, Based on an image obtained by a front in-vehicle camera that captures a peripheral area in front of the vehicle, a front detection unit that detects a break in the front lane in front of the vehicle, and a travel speed detection that detects the travel speed of the vehicle Position correction unit that corrects the position of the separation of the vehicle and the front lane based on the time difference between the shooting timings of the side in-vehicle camera and the front in-vehicle camera and the traveling speed, and the position of the side lane separation When the position of the side lane is aligned with the position of the side lane that matches the position of the side lane that matches the position of the front lane, the position of the side lane Output part that outputs as a detection result , Compr
  • a lane detection method for detecting a lane in which a vehicle is traveling by analyzing images captured by a plurality of in-vehicle cameras.
  • the lane detection method is based on an image obtained by a side in-vehicle camera that captures a peripheral region on the side of the vehicle, and a side detection step for detecting a side lane separation existing on the side of the vehicle, Based on an image obtained by a front in-vehicle camera that captures a peripheral area in front of the vehicle, a front detection step for detecting a break in the front lane in front of the vehicle, and a travel speed detection for detecting the travel speed of the vehicle.
  • the position correction step for correcting the process and the position of the front lane separation based on the time difference between the shooting timing of the side in-vehicle camera and the front in-vehicle camera and the traveling speed, and the position of the side lane separation If the matching process for comparing the position of the front lane break and
  • the lane detection device and the lane detection method of the present disclosure it is possible to detect a lane separation with high reliability using an image obtained by photographing a side from a vehicle.
  • FIG. 1 is an explanatory view showing a vehicle equipped with a lane detection device
  • FIG. 2 is an explanatory diagram showing a rough internal configuration of the lane detection device
  • FIG. 3 is an explanatory diagram showing a situation in which a traveling vehicle captures an image of a peripheral area using four in-vehicle cameras.
  • FIG. 4A is a diagram illustrating a captured image obtained from the left-side camera
  • FIG. 4B is a diagram illustrating a captured image obtained from the front camera
  • FIG. 4C is a diagram illustrating a captured image obtained from the rear camera.
  • FIG. 5 is an explanatory diagram showing a state in which an image of the surrounding area of the vehicle is taken when the lane moves during high-speed driving.
  • FIG. 6A is a diagram illustrating an image captured by the front camera.
  • FIG. 6B is a diagram illustrating an image taken by the left-side camera.
  • FIG. 7 is a flowchart of the first half of the lane detection process.
  • FIG. 8 is a flowchart of the latter half of the lane detection process.
  • FIG. 9 is an explanatory diagram illustrating the difference in shooting timing of the left side camera, the right side camera, the front camera, and the rear camera
  • FIG. 10A is an explanatory diagram showing a state in which the position of the lane break is detected in the area in front of the vehicle, FIG.
  • FIG. 10B is an explanatory diagram showing a state in which the position of the lane break is detected in the area in front of the vehicle.
  • FIG. 10C is an explanatory view showing a state in which the position of the lane break is detected in the rear area of the vehicle.
  • FIG. 10D is an explanatory view showing a state in which the position of the lane break is detected in the rear area of the vehicle.
  • FIG. 10E is an explanatory diagram showing a state in which the position of the lane break is detected in the left side region of the vehicle
  • FIG. 10F is an explanatory view showing a state in which the position of the lane break is detected in the left side region of the vehicle, FIG.
  • FIG. 10G is an explanatory diagram showing a state in which the position of the lane break is detected in the area on the right side of the vehicle.
  • FIG. 10H is an explanatory diagram showing a state in which the position of the lane break is detected in the area on the right side of the vehicle.
  • FIG. 11A is an explanatory diagram showing a state before correcting the position of the lane break detected in front
  • FIG. 11B is an explanatory diagram showing a state after correcting the position of the lane break detected in front
  • FIG. 12 is an explanatory diagram illustrating a state in which the vehicle straddles the lane separator.
  • FIG. 13A is an explanatory diagram illustrating a state in which the position of the front lane break is detected in a state where the vehicle straddles the lane break.
  • FIG. 13B is an explanatory diagram illustrating a state in which the position of the front lane break is detected in a state where the vehicle straddles the lane break.
  • FIG. 13C is an explanatory diagram illustrating a state in which the position of the lane break behind is detected in a state where the vehicle straddles the lane break.
  • FIG. 13D is an explanatory diagram illustrating a state in which the position of the rear lane break is detected in a state where the vehicle straddles the lane break.
  • FIG. 14 is a flowchart of the lane segmentation estimation process, FIG.
  • FIG. 15A is an explanatory diagram showing a state before correcting the position of the lane break in the lane break estimation process
  • FIG. 15B is an explanatory diagram showing a state after correcting the position of the lane break in the lane break estimation process
  • FIG. 16 is an explanatory diagram showing a state in which the position of the lane break is estimated in a state where the vehicle straddles the lane break.
  • FIG. 1 shows a vehicle 1 on which a lane detection device 100 is mounted.
  • the vehicle 1 includes a left-side camera 10 ⁇ / b> L that captures a left-side peripheral region from the vehicle 1, a right-side camera 10 ⁇ / b> R that captures a right-side peripheral region, 1 includes a front camera 11 ⁇ / b> F that captures a front peripheral region from 1, a rear camera 11 ⁇ / b> B that captures a rear peripheral region, and a vehicle speed sensor 14 that detects the traveling speed of the vehicle 1.
  • the left side camera 10L and the right side camera 10R correspond to the side vehicle-mounted camera.
  • the front camera 11F corresponds to the front in-vehicle camera
  • the rear camera 11B corresponds to the rear in-vehicle camera.
  • left-side camera 10L, right-side camera 10R, front camera 11F, rear camera 11B, images taken by the left camera 10B, and the output of the vehicle speed sensor 14 are input to the lane detector 100, and the lane is detected by a method described later. Then, the lane detection device 100 outputs the detected lane information to the vehicle control device 200.
  • the vehicle control device 200 determines that the driver is about to depart from the lane unintentionally based on the received information, the vehicle control device 200 warns the driver or maintains the lane, for example. Driving assistance such as operating the steering wheel.
  • FIG. 2 shows a rough internal configuration of the lane detection device 100 of the present embodiment.
  • the lane detection device 100 of this embodiment includes a side detection unit 101, a front detection unit 102, a rear detection unit 103, a traveling speed detection unit 104, a front correction unit 105, and a rear correction unit.
  • 106 a time difference acquisition unit 107, a time difference storage unit 108, a collation unit 109, and an output unit 110.
  • these “parts” focus on the function of the lane detection device 100 that detects the lane by analyzing the captured images of the left side camera 10L, the right side camera 10R, the front camera 11F, and the rear camera 11B.
  • This is an abstract concept in which the inside of the detection device 100 is classified for convenience, and does not represent that the lane detection device 100 is physically divided into 10 parts. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI or a memory, and further realized by combining them. You can also.
  • the side detection unit 101 acquires an image obtained by photographing the left side of the vehicle 1 from the left side camera 10L, and obtains an image obtained by photographing the right side of the vehicle 1 from the right side camera 10R. And the image which image
  • the lane separation detected on the left side or the right side of the vehicle 1 corresponds to the side lane separation of the present disclosure.
  • the front detection unit 102 analyzes an image obtained by capturing the front of the vehicle 1 acquired from the front camera 11 ⁇ / b> F, and detects a position of a lane break that exists in front of the vehicle 1.
  • the rear detection unit 103 analyzes an image obtained by capturing the rear of the vehicle 1 acquired from the rear camera 11 ⁇ / b> B, and detects a position of a lane break that exists behind the vehicle 1.
  • the lane separation detected in front of the vehicle 1 corresponds to the front lane separation
  • the lane separation detected behind the vehicle 1 corresponds to the rear lane separation.
  • the time difference acquisition unit 107 acquires information regarding the time difference in shooting timing between these cameras when the left camera 10L, the right camera 10R, the front camera 11F, and the rear camera 11B are activated. Further, the acquired information regarding the time difference is stored in the time difference storage unit 108.
  • the traveling speed detection unit 104 acquires the traveling speed of the vehicle 1 from the vehicle speed sensor 14 when the left camera 10L, the right camera 10R, the front camera 11F, and the rear camera 11B capture images. Note that the left side camera 10L, the right side camera 10R, the front camera 11F, and the rear camera 11B capture images at strictly different timings. However, since the traveling speed of the vehicle 1 does not change greatly due to the difference in photographing timing between these cameras, the traveling speed detecting unit 104 determines the traveling speed from the vehicle speed sensor 14 at the photographing timing of any camera. Get it.
  • the forward correction unit 105 is detected by the front detection unit 102 in consideration of the difference in shooting timing of the front camera 11F with respect to the left side camera 10L or in consideration of the difference in shooting timing of the front camera 11F with respect to the right side camera 10R. Correct the position of the lane separator (white line, etc.).
  • the rear correction unit 106 is detected by the rear detection unit 103 in consideration of a difference in shooting timing of the rear camera 11B with respect to the left side camera 10L or in consideration of a difference in shooting timing of the rear camera 11B with respect to the right side camera 10R. Correct the lane separation position.
  • front correction part 105 and the back correction part 106 of a present Example respond
  • the collation unit 109 collates the position of the lane break detected by the side detection unit 101, the position of the lane break corrected by the front correction unit 105, and the position of the lane break corrected by the rear correction unit 106. It is determined whether or not the positions of the lane divisions match.
  • FIG. 3 illustrates a state in which a vehicle on which the above-described lane detection device 100 is mounted travels in a lane partitioned by lane divisions (here, white line 2).
  • the front camera 11F, the rear camera 11B, the left side camera 10L, and the right side camera 10R are equipped with wide-angle lenses such as so-called fish-eye lenses.
  • the camera 11 ⁇ / b> B captures a peripheral area behind the vehicle 1.
  • the left side camera 10L captures a left side peripheral area of the vehicle 1
  • the right side camera 10R captures a right side peripheral area.
  • FIG. 4A illustrates a captured image obtained from the left side camera 10L
  • FIG. 4B illustrates a captured image obtained from the front camera 11F
  • FIG. 4C illustrates a captured image obtained from the rear camera 11B.
  • An image is illustrated. 4A to 4C show a state in which the position of the lane break (white line 2) detected from the left camera 10L is collated with the position of the lane break (white line 2) detected by the front camera 11F and the rear camera 11B.
  • the position of the white line 2 with respect to the vehicle 1 is considered to match within the error range even when it is detected using captured images obtained from any of the left side camera 10L, the front camera 11F, and the rear camera 11B.
  • the right side camera 10R, the front camera 11F, and the rear camera 11B is the same is true for the right side camera 10R, the front camera 11F, and the rear camera 11B.
  • the validity of the detection result of the white line 2 detected on the side of the vehicle 1 based on the images taken by the left camera 10L and the right camera 10R is based on the images taken by the front camera 11F or the rear camera 11B. This can be confirmed using the detection result of the white line 2.
  • the distance from the vehicle 1 to the white line 2 on the left side is determined as L1 based on the image taken by the left side camera 10L. Further, it is assumed that the distance from the vehicle 1 to the white line 2 on the left side is obtained as Lf from the front camera 11F (see FIG. 4B) and as Lb from the rear camera 11B (see FIG. 4C).
  • the white line 2 on the left side of the vehicle 1 can be correctly detected. Can be judged. The same is true for the white line 2 on the right side of the vehicle 1.
  • the white line 2 can be detected with sufficient reliability without erroneous detection from the images taken by the left side camera 10L and the right side camera 10R. Can do.
  • the four in-vehicle cameras (the left camera 10L, the right camera 10R, the front camera 11F, and the rear camera 11B) can be regarded at the same timing (or the same timing).
  • the description has been made assuming that an image is taken (with a slight time difference).
  • the four in-vehicle cameras are not taking images at the same timing.
  • the vehicle 1 moves while the four in-vehicle cameras are capturing images.
  • the positions where the four in-vehicle cameras (the left side camera 10L, the right side camera 10R, the front camera 11F, and the rear camera 11B) take images are slightly different as shown by broken lines in FIG. ing.
  • FIG. 5 exemplifies a difference in position where each in-vehicle camera captures an image when the lane is changed while the vehicle 1 is traveling at a high speed.
  • the front camera 11F, the rear camera 11B, the left camera 10L, and the right camera Assume that images are taken in the order of the camera 10R.
  • FIG. 5 the position of the vehicle 1 when the front camera 11F captures an image is indicated by a solid line, and then the vehicle when the rear camera 11B, the left side camera 10L, and the right side camera 10R capture an image.
  • the position of 1 is indicated by a thin broken line.
  • FIG. 6A shows an image photographed by the front camera 11F (an image photographed at the position of the vehicle 1 indicated by a solid line in FIG. 5), and FIG. 6B shows an image photographed by the left-side camera 10L. It is shown.
  • FIG. 6A and FIG. 6B show the reason why the difference in shooting timing of the in-vehicle camera can be a problem when moving to a lane during high-speed traveling.
  • the vehicle 1 since the vehicle 1 is approaching obliquely toward the white line 2 at high speed, the time from when an image is captured by the front camera 11F until the image is captured by the left-side camera 10L. In addition, the vehicle 1 approaches the white line 2 greatly.
  • the position of the white line 2 on the left side of the vehicle 1 detected from the image of the front camera 11F does not match the position of the white line 2 detected from the image of the left side camera 10L.
  • the distance measured from the front end of the vehicle 1 to the left is shown as the distance from the vehicle 1 to the white line 2.
  • the left white line 2 detected in FIG. 6A is displayed as a thin broken line.
  • the lane detection device 100 of this embodiment changes the lane while the vehicle 1 is traveling at high speed by checking the validity of the detection result of the white line 2 on the side of the vehicle 1 by the following method. Even in such a case, the lane can be detected with sufficient reliability.
  • (Lane detection processing) 7 and 8 show a flowchart of the lane detection process performed by the lane detection device 100 of the present embodiment.
  • the lane detection device 100 first activates four in-vehicle cameras (left camera 10L, right camera 10R, front camera 11F, rear camera 11B), The time difference between the timings at which each vehicle-mounted camera captures an image is acquired (S100). That is, the left-side camera 10L, the right-side camera 10R, the front camera 11F, and the rear camera 11B capture images at a constant capturing period and then output the images to the lane detection device 100.
  • the imaging cycle of each in-vehicle camera is the same, it is not always activated at the same timing. Accordingly, the left side camera 10L, the right side camera 10R, the front camera 11F, and the rear camera 11B keep taking the images periodically while maintaining the mutual phase difference determined at the time of activation.
  • FIG. 9 illustrates a state in which the left camera 10L, the front camera 11F, the rear camera 11B, and the right camera 10R capture an image with the same shooting period while maintaining a constant phase difference.
  • the time difference Tlf of the shooting timing of the front camera 11F with respect to the left camera 10L and the rear with respect to the left camera 10L is acquired.
  • a time difference Trf of the shooting timing of the front camera 11F with respect to the right camera 10R and a time difference Trb of the shooting timing of the rear camera 11B with respect to the right camera 10R are acquired.
  • the time difference Tbf of the photographing timing of the front camera 11F with respect to the rear camera 11B is also acquired.
  • the various time differences acquired in this way are stored in the time difference storage unit 108 shown in FIG.
  • an image obtained by photographing the left peripheral region of the vehicle 1 from the left camera 10L, an image obtained by photographing the right peripheral region of the vehicle 1 from the right camera 10R, and a front of the vehicle 1 from the front camera 11F is acquired from the rear camera 11B (S101).
  • a lane break here, the white line 2 reflected on the left side of the vehicle 1 is detected (S102), and the captured image of the right-side camera 10R is analyzed. Then, the lane separation (white line 2) shown on the right side of the vehicle 1 is detected (S103).
  • a lane separation in front of the vehicle 1 (white line 2) is detected from the photographed image of the front camera 11F (S104), and a lane separation in the rear of the vehicle 1 (white line 2) from the photographed image of the rear camera 11B. ) Is detected (S105).
  • 10A and 10B illustrate a state in which the white line 2 in front of the vehicle 1 is detected from the captured image of the front camera 11F.
  • the position of the white line 2 is detected as an equation representing a straight line in the XY coordinates with the position of the vehicle 1 as the origin.
  • FIG. 10C and 10D show the white line 2 behind the vehicle 1 from the image taken by the rear camera 11B
  • FIGS. 10E and 10F show the image taken by the left camera 10L from the left image of the vehicle 1 on the left side.
  • FIG. 10G and FIG. 10H illustrate how the white line 2 on the right side of the vehicle 1 is detected as an expression representing a straight line in the XY coordinates, respectively, in FIGS. 10G and 10H. .
  • a lane separation in this case, the white line 2
  • the vehicle 1 is traveling in a lane, any lane break can be detected not only in the white line 2 but also in the front and rear of the vehicle 1, and thus no lane break is detected in the front and rear of the vehicle 1. It is considered that some abnormality occurred.
  • the traveling speed of the vehicle 1 is acquired from the vehicle speed sensor 14 (S107).
  • the travel speed may be acquired together with the captured image acquired from the in-vehicle camera in S101.
  • a lane separation in this case, a white line 2
  • S108 it is determined whether or not a lane separation (in this case, a white line 2) is detected on the left side and the right side of the vehicle 1 (S108).
  • the position of the lane separation (white line 2) detected in front and rear of the vehicle 1 is corrected based on the traveling speed of the vehicle 1 acquired in S107 and the time difference acquired in S109 (S111 in FIG. 8).
  • FIG. 11A and FIG. 11B show how the position of the lane break (white line 2) detected in front of the vehicle 1 is corrected.
  • the position of the lane division (white line 2) detected in front of the vehicle 1 is acquired at a timing earlier than the lane division (white line 2) detected on the left side of the vehicle 1 by a time difference Tlf.
  • the vehicle 1 moves in a direction approaching the white line 2 by a distance of (traveling speed V) ⁇ (time difference Tlf). Accordingly, the position of the front lane segmentation (white line 2) of the vehicle 1 shown in FIG. 11A is moved in the direction opposite to the traveling direction of the vehicle 1 by (travel speed V) ⁇ (time difference Tlf). It is corrected to the position shown in.
  • the position of the lane break (white line 2) detected behind the vehicle 1 can be corrected in the same manner. That is, the position of the lane break (white line 2) detected behind the vehicle 1 is acquired at a timing earlier than the lane break (white line 2) detected on the left side of the vehicle 1 by the time difference Tlb. Therefore, the position of the lane break behind the vehicle 1 (white line 2) is moved in the traveling direction of the vehicle 1 by (travel speed V) ⁇ (time difference Tlb).
  • the position of the left lane division (white line 2) of the vehicle 1 and the position of the front and rear lane divisions (white line 2) of the vehicle 1 are both linear in XY coordinates. It is detected as an expression representing. Further, the positions of the front and rear lane divisions (white line 2) of the vehicle 1 are corrected so as to shift the straight line in the X direction with the XY coordinates. Therefore, since the straight lines represented on the XY coordinates are compared, it can be determined whether or not these straight lines match (that is, whether or not they match within the error range).
  • the left side lane separator (white line 2) is replaced with the position estimated based on the position of the lane separation (white line 2) on the left side of the vehicle 1 detected in the previous process (S113).
  • the position of the lane break (white line 2) detected on the left side of the vehicle 1 is compared with the position of the lane break (white line 2) detected in front of the vehicle 1, and the vehicle 1 It is also compared with the position of the lane break (white line 2) detected at the back.
  • the position of the lane division (white line 2) on the left side of the vehicle 1 is compared with the position of the lane division (white line 2) on either the front side or the rear side of the vehicle 1 and is matched. It may be determined whether or not. In this way, the processing load on the lane detection device 100 can be reduced.
  • the same processing is started for the lane separation on the right side (white line 2). That is, the time difference Trf (see FIG. 9) of the photographing timing of the front camera 11F with respect to the right side camera 10R and the time difference Trb (see FIG. 9) of the photographing timing of the rear camera 11B with respect to the right side camera 10R are acquired (S1114).
  • the position of the lane break (white line 2) detected in front of and behind the vehicle 1 is corrected (S115).
  • the position of the lane break (white line 2) detected in front of the vehicle 1 is moved by (travel speed V) ⁇ (time difference Trf) in the direction opposite to the traveling direction of the vehicle 1.
  • the position of the lane break (white line 2) detected behind the vehicle 1 is corrected by moving it in the traveling direction of the vehicle 1 by (travel speed V) ⁇ (time difference Trb).
  • the position of the lane break (white line 2) detected on the right side of the vehicle 1 matches the position of the lane break (white line 2) corrected in front and rear of the vehicle 1 (S116).
  • the position of the lane break (white line 2) detected on the right side of the vehicle 1 is also detected as an expression representing a straight line in the XY coordinates, similarly to the position of the lane break (white line 2) detected on the left side. Therefore, it can be easily determined whether or not the positions of the lane breaks (white line 2) detected on the right side, the front side, and the rear side of the vehicle 1 are aligned.
  • the position of the lane break (white line 2) detected on the right side of the vehicle 1 is also compared with the position of the lane break (white line 2) detected on either the front or rear side of the vehicle 1. Of course, it may be judged whether or not.
  • the lane detection device 100 starts a lane segmentation estimation process (S200) described below.
  • FIG. 14 shows a flowchart of the lane segmentation estimation process.
  • a time difference Tbf of the photographing timing of the front camera 11F with respect to the rear camera 11B is acquired (S201).
  • the time difference Tbf is acquired at the time of starting the lane detection process of FIGS. 7 and 8 and is stored in advance in the time difference storage unit 108.
  • the position of the lane break (white line 2) detected in front of the vehicle 1 is corrected based on the traveling speed detected in S107 of FIG. 7 and the time difference Tbf (S202). That is, as illustrated in FIGS. 15A and 15B, the position of the lane break (white line 2) detected in front of the vehicle 1 is set in the direction opposite to the traveling direction of the vehicle 1 (travel speed V) ⁇ (time difference Tbf ) Only move. By so doing, the position of the lane break (white line 2) illustrated in FIG. 15A is corrected to the position of the lane break (white line 2) illustrated in FIG. 15B.
  • the position of the lane break (white line 2) on the lower surface of the vehicle 1 is estimated (S204).
  • the process of S204 corresponds to a lane break estimation unit. That is, since the position of the lane divider (white line 2) behind the vehicle 1 and the position of the corrected lane divider (white line 2) ahead of the vehicle 1 are represented as straight lines on the XY coordinates, An intermediate straight line can be easily obtained. Therefore, the position of the lane break (white line 2) on the lower surface of the vehicle 1 is estimated by obtaining such a straight line.
  • FIG. 16 illustrates a state in which the position of the lane break (white line 2) is estimated in this way.
  • the front camera 11F is described as taking an image at a timing before the rear camera 11B (see FIG. 9), but the front camera 11F is at a timing after the rear camera 11B.
  • the time difference Tbf is a negative value. Therefore, in this case, the moving direction of the front lane segmentation (white line 2) of the vehicle 1 is reversed, and the position of the front lane segmentation (white line 2) of the vehicle 1 is in the traveling direction of the vehicle 1 (traveling). It moves by (speed V) ⁇ (time difference Tbf).
  • the lane break (white line 2) to be corrected is described as being the lane break (white line 2) in front of the vehicle 1 detected from the image of the front camera 11F.
  • the lane separation (white line 2) is set as the traveling direction of the vehicle 1. Move in the opposite direction.
  • the lane separation (white line 2) behind the vehicle 1 (based on the image of the rear camera 11B) is changed to the vehicle 1 You may make it move to the advancing direction.
  • the position of the lane separator (2) can be estimated with reference to the image obtained at the shooting timing of the newer shooting timing of the front camera 11F or the shooting timing of the rear camera 11B. It is possible to estimate.
  • the estimated position of the lane break (white line 2) is output to the vehicle control device 200. After that (S205), the lane segmentation estimation process of FIG. 14 is terminated, and the process returns to the lane detection process of FIGS.
  • the validity of the position of the lane break (white line 2) detected on the left side and the right side of the vehicle 1 is detected in front of or behind the vehicle 1. This can be confirmed by the position of the lane separator (white line 2). Even when the lane change is made while the vehicle 1 is moving at high speed, the position of the lane separation (white line 2) detected at the front or rear of the vehicle 1 is corrected, so the lane separation detected at the left side and the right side. The validity of the position of (white line 2) can be confirmed. For this reason, it becomes possible to detect the position of the lane separation (white line 2) with sufficient reliability from the captured images of the left side camera 10L and the right side camera 10R.
  • the lane detection device and the lane detection method provide a side lane that exists on the side of the vehicle based on an image obtained by a side in-vehicle camera that captures a peripheral region on the side of the vehicle. Detect breaks in Further, based on an image obtained by a front in-vehicle camera that captures a peripheral region in front of the vehicle, a front lane segment existing in front of the vehicle is detected. Further, the position of the front lane break is corrected based on the time difference between the photographing timings of the side in-vehicle camera and the front in-vehicle camera and the traveling speed. Then, the corrected front lane break position and the side lane break position are collated, and if both match, the detection result of the side lane break position is output as the lane detection result. To do.
  • the lane detection device detects a lane in which the vehicle is traveling by analyzing images captured by a plurality of in-vehicle cameras. Based on an image obtained by a side in-vehicle camera that captures a peripheral region on the side of the vehicle, a side detection unit that detects a separation of a side lane that exists on the side of the vehicle, and a periphery in front of the vehicle Based on an image obtained by a front in-vehicle camera that captures an area, a front detection unit that detects a front lane break present in front of the vehicle, a side lane break position, and a front lane break position A collating unit that collates with each other, and an output unit that outputs the position of the side lane as a lane detection result when the position of the side lane and the position of the front lane match. Prepare.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　車線検出装置は、複数の車載カメラを備える車両に搭載され、画像を解析し、車線を検出する。車線検出装置は、側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、側方車線の区切りを検出する側方検出部（１０１）と、前方車載カメラ（１１Ｆ）で得られた画像に基づいて、前方車線の区切りを検出する前方検出部（１０２）と、走行速度検出部（１０４）と、前方車線の区切りの位置を修正する位置修正部（１０５）と、側方車線の区切りの位置と、修正した前方車線の区切りの位置とを照合する照合部（１０９）と、該側方車線の区切りの位置を車線の検出結果として出力する出力部（１１０）を備える。

Description

車線検出装置および車線検出方法 関連出願の相互参照
　本出願は、２０１４年７月２４日に出願された日本国特許出願２０１４－１５１０５２号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、車載カメラで得られた撮影画像を解析することによって、走行中の車線を検出する技術に関する。
　車両が走行する道路は、白線などによって複数の車線に区切られており、車両は車線内を走行することが求められる。そこで、車載カメラで前方を撮影した画像から車線の区切り（白線や、縁石、中央分離帯など）を検出しておき、運転者の意図によらずに車両が車線を逸脱しそうになった場合には、運転者に警告することが行われている。
　車両が車線を走行する以上、車両の前方で検出される車線の区切り（白線等）は、車両の側方を通過する。そこで、前方を撮影した画像から白線等を検出するのではなく、車両から側方を撮影した画像を解析することによって、車両の側方に存在する白線等を検出する技術も提案されている（特許文献１）。車両の側方の白線等は車両の近くに存在するので、前方の白線等よりも高い位置精度で検出することができると考えられる。
　本願発明者は下記を見出した。車両から側方を撮影した画像を解析して白線等を検出する技術は、白線等を誤検出し易く十分な信頼性を確保することが困難であるおそれがある。
　従来から白線等を検出していた撮影画像は車両の進行方向（前方）の比較的遠方を撮影した画像であり、検出された白線等は車両から遠方に存在している。これに対して、側方の撮影画像中の白線等は車両の近くに存在する。このため、前方の撮影画像中では、車両が高速で移動した場合でも撮影画像中では白線等の位置が大きく移動することはないが、側方の撮影画像中では、白線等の位置が大幅に且つ急激に移動し得る。その結果、側方の撮影画像では、車両の走行中に白線等を追跡することが困難となりうる。更に、側方の撮影画像中では、自車両の影や路面の繋ぎ目などが白線等と並行に写ることがある。白線等の追跡が難しい状況では、これらと白線等と区別することも困難となりうる。側方の撮影画像中から白線等を検出しようとしても、白線等を見失ったり、白線以外のものを白線と誤検出したりすることがあるため、十分な信頼性を確保することが困難となりうる。
日本国公開特許公報２０１０－７９５７３号
　本開示は、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能な技術の提供を目的とする。
　本開示の一態様によれば、複数の車載カメラを備える車両に搭載され、複数の車載カメラで撮影した画像を解析することによって、車両が走行している車線を検出する車線検出装置が提供される。車線検出装置は、車両の側方の周辺領域を撮影する側方車載カメラで得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出部と、車両の前方の周辺領域を撮影する前方車載カメラで得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出部と、車両の走行速度を検出する走行速度検出部と、前方車線の区切りの位置を、側方車載カメラと前方車載カメラとの撮影タイミングの時間差と、走行速度とに基づいて修正する位置修正部と、側方車線の区切りの位置と、修正した前方車線の区切りの位置とを照合する照合部と、記側方車線の区切りの位置と、修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を車線の検出結果として出力する出力部と、を備える。
　本開示の他の態様によれば、複数の車載カメラで撮影した画像を解析することによって、車両が走行している車線を検出する車線検出方法が提供される。車線検出方法は、車両の側方の周辺領域を撮影する側方車載カメラで得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出工程と、車両の前方の周辺領域を撮影する前方車載カメラで得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出工程と、車両の走行速度を検出する走行速度検出工程と、前方車線の区切りの位置を、側方車載カメラと前方車載カメラとの撮影タイミングの時間差と、走行速度とに基づいて修正する位置修正工程と、側方車線の区切りの位置と、修正した前方車線の区切りの位置とを照合する照合工程と、側方車線の区切りの位置と、修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を車線の検出結果として出力する出力工程とを備える。
　本開示の車線検出装置および車線検出方法によれば、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能となる。
　　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
図１は、車線検出装置を搭載した車両を示す説明図であり、 図２は、車線検出装置の大まかな内部構成を示す説明図であり、 図３は、走行中の車両が４つの車載カメラを用いて周辺領域の画像を撮影する様子を示す説明図であり、 図４Ａは、左側方カメラから得られた撮影画像を例示する図であり、 図４Ｂは、前方カメラから得られた撮影画像を例示する図であり、 図４Ｃは、後方カメラから得られた撮影画像を例示する図であり、 図５は、高速走行中の車線移動時に車両の周辺領域の画像を撮影する様子を示す説明図であり、 図６Ａは、前方カメラで撮影した画像を例示する図であり、 図６Ｂは、左側方カメラで撮影した画像を例示する図であり、 図７は、車線検出処理の前半部分のフローチャートであり、 図８は、車線検出処理の後半部分のフローチャートであり、 図９は、左側方カメラ、右側方カメラ、前方カメラ、後方カメラの撮影タイミングの違いを例示した説明図であり、 図１０Ａは、車両の前方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｂは、車両の前方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｃは、車両の後方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｄは、車両の後方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｅは、車両の左側方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｆは、車両の左側方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｇは、車両の右側方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１０Ｈは、車両の右側方の領域で車線区切りの位置が検出される様子を示した説明図であり、 図１１Ａは、前方で検出した車線区切りの位置を修正する前の様子を示した説明図であり、 図１１Ｂは、前方で検出した車線区切りの位置を修正した後の様子を示した説明図であり、 図１２は、車両が車線区切りを跨いでいる状態を例示した説明図であり、 図１３Ａは、車両が車線区切りを跨いでいる状態で前方での車線区切りの位置を検出する様子を例示した説明図であり、 図１３Ｂは、車両が車線区切りを跨いでいる状態で前方での車線区切りの位置を検出する様子を例示した説明図であり、 図１３Ｃは、車両が車線区切りを跨いでいる状態で後方での車線区切りの位置を検出する様子を例示した説明図であり、 図１３Ｄは、車両が車線区切りを跨いでいる状態で後方での車線区切りの位置を検出する様子を例示した説明図であり、 図１４は、車線区切り推定処理のフローチャートであり、 図１５Ａは、車線区切り推定処理で車線区切りの位置を修正する前の様子を示した説明図であり、 図１５Ｂは、車線区切り推定処理で車線区切りの位置を修正した後の様子を示した説明図であり、 図１６は、車両が車線区切りを跨いでいる状態で車線区切りの位置を推定する様子を示した説明図である。
（装置構成）
　図１には、車線検出装置１００を搭載した車両１が示されている。図示されるように車両１には、車線検出装置１００に加えて、車両１から左側方の周辺領域を撮影する左側方カメラ１０Ｌと、右側方の周辺領域を撮影する右側方カメラ１０Ｒと、車両１から前方の周辺領域を撮影する前方カメラ１１Ｆと、後方の周辺領域を撮影する後方カメラ１１Ｂと、車両１の走行速度を検出する車速センサー１４とを備えている。
　尚、本実施例では、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒが、側方車載カメラに対応する。また、前方カメラ１１Ｆが前方車載カメラに対応し、後方カメラ１１Ｂが後方車載カメラに対応する。
　これら左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂで撮影した画像や、車速センサー１４の出力は車線検出装置１００に入力されており、後述する方法によって車線が検出される。そして、車線検出装置１００は検出した車線の情報を、車両制御装置２００に出力する。
　車両制御装置２００は、受け取った情報に基づいて、運転者が意図せずに車線を逸脱しそうになっていると判断した場合には、例えば、運転者に警告したり、あるいは車線を維持する方向にハンドルを操作したりする運転支援を行う。
　図２には、本実施例の車線検出装置１００の大まかな内部構成が示されている。図示されるように本実施例の車線検出装置１００は、側方検出部１０１と、前方検出部１０２と、後方検出部１０３と、走行速度検出部１０４と、前方修正部１０５と、後方修正部１０６と、時間差取得部１０７と、時間差記憶部１０８と、照合部１０９と、出力部１１０とを備えている。
　尚、これら１０の「部」は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂの撮影画像を解析して車線を検出する車線検出装置１００の機能に着目して、車線検出装置１００の内部を便宜的に分類した抽象的な概念であり、車線検出装置１００が物理的に１０の部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
　側方検出部１０１は、左側方カメラ１０Ｌから、車両１の左側方を撮影した画像を取得し、また、右側方カメラ１０Ｒからは、車両１の右側方を撮影した画像を取得する。そして、車両１の左側方を撮影した画像を解析して、車両１の左側方に存在する白線等の車線の区切り（以下、車線区切りと称する）の位置を検出し、車両１の右側方を撮影した画像を解析して、車両１の右側方に存在する車線区切りの位置を検出する。
　尚、車両１の左側方あるいは右側方で検出した車線区切りは、本開示の側方車線の区切りに対応する。
　前方検出部１０２は、前方カメラ１１Ｆから取得した車両１の前方を撮影した画像を解析して、車両１の前方に存在する車線区切りの位置を検出する。
　後方検出部１０３は、後方カメラ１１Ｂから取得した車両１の後方を撮影した画像を解析して、車両１の後方に存在する車線区切りの位置を検出する。
　尚、車両１の前方で検出した車線区切りは、前方車線の区切りに対応し、車両１の後方で検出した車線区切りは、後方車線の区切りに対応する。
　時間差取得部１０７は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂの起動時に、これらのカメラ間での撮影タイミングの時間差に関する情報を取得する。また、取得した時間差に関する情報は、時間差記憶部１０８に記憶する。
　走行速度検出部１０４は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂで画像を撮影した時点での車両１の走行速度を、車速センサー１４から取得する。尚、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂは、厳密には異なるタイミングで画像を撮影する。しかし、車両１の走行速度は、これらカメラ間での撮影タイミングの違いで大きく変化することはないので、走行速度検出部１０４は、何れかのカメラの撮影タイミングで、車速センサー１４から走行速度を取得すればよい。
　前方修正部１０５は、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの違いを考慮して、あるいは、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの違いを考慮して、前方検出部１０２で検出した車線区切り（白線など）の位置を修正する。
　左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの違いを修正する際には、左側方カメラ１０Ｌと前方カメラ１１Ｆとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。また、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの違いを修正する際には、右側方カメラ１０Ｒと前方カメラ１１Ｆとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。
　後方修正部１０６は、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの違いを考慮して、あるいは、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの違いを考慮して、後方検出部１０３で検出した車線区切りの位置を修正する。
　左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの違いを修正する際には、左側方カメラ１０Ｌと後方カメラ１１Ｂとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。また、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの違いを修正する際には、右側方カメラ１０Ｒと後方カメラ１１Ｂとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。
　尚、本実施例の前方修正部１０５および後方修正部１０６は、位置修正部に対応する。
　照合部１０９は、側方検出部１０１で検出した車線区切りの位置と、前方修正部１０５で修正した車線区切りの位置と、後方修正部１０６で修正した車線区切りの位置とを照合して、これらの車線区切りの位置が整合するか否かを判断する。
　そして、これらの車線区切りの位置が整合すると判断した場合に、側方検出部１０１で検出した車線区切りの位置を、車線の検出結果として車両制御装置２００に向かって出力する。
（車両１の側方の車線区切りを検出する基本原理）
　図３には、上述した車線検出装置１００を搭載した車両が、車線区切り（ここでは、白線２）で区画された車線を走行する様子が例示されている。また、前方カメラ１１Ｆ、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒには、いわゆる魚眼レンズのような広角レンズが装着されており、前方カメラ１１Ｆは、車両１の前方の周辺領域を、後方カメラ１１Ｂは車両１の後方の周辺領域を撮影する。同様に、左側方カメラ１０Ｌは車両１の左側方の周辺領域を、右側方カメラ１０Ｒは右側方の周辺領域を撮影する。
　従って、これら４つの車載カメラの画像を解析することにより、車両１の前方、後方、左側方、右側方での白線２を検出することができる。
　図４Ａには、左側方カメラ１０Ｌから得られた撮影画像が例示されており、図４Ｂには、前方カメラ１１Ｆから得られた撮影画像が、図４Ｃには、後方カメラ１１Ｂから得られた撮影画像が例示されている。図４Ａから図４Ｃは、左側方カメラ１０Ｌから検出した車線区切り（白線２）の位置を、前方カメラ１１Ｆおよび後方カメラ１１Ｂで検出した車線区切り（白線２）の位置と照合する様子を示す。
　左側方カメラ１０Ｌに写った白線２は、前方部分が前方カメラ１１Ｆにも写っており、後方部分が後方カメラ１１Ｂにも写っている。従って、車両１に対する白線２の位置は、左側方カメラ１０Ｌ、前方カメラ１１Ｆ、後方カメラ１１Ｂの何れから得られた撮影画像を用いて検出した場合でも、誤差の範囲内で一致すると考えられる。また、右側方カメラ１０Ｒと前方カメラ１１Ｆ、後方カメラ１１Ｂとについても、全く同様なことが成立する。
　このことから、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像に基づいて、車両１の側方で検出した白線２の検出結果の妥当性を、前方カメラ１１Ｆあるいは後方カメラ１１Ｂの撮影画像に基づく白線２の検出結果を用いて確認することができる。
　すなわち、図４Ａに示したように、左側方カメラ１０Ｌの撮影画像に基づいて、車両１から左側の白線２までの距離がＬｌと求められたとする。また、車両１から左側の白線２までの距離は、前方カメラ１１ＦからはＬｆと求められ（図４Ｂ参照）、後方カメラ１１ＢからはＬｂと求められたとする（図４Ｃ参照）。
　前方カメラ１１Ｆあるいは後方カメラ１１Ｂから得られた距離Ｌｆあるいは距離Ｌｂが、左側方カメラ１０Ｌから得られた距離Ｌｌと誤差の範囲内で一致すれば、車両１の左側の白線２を正しく検出できていると判断できる。車両１の右側の白線２についても全く同様なことが成立する。
　従って、図２に示した本実施例の車線検出装置１００によれば、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像から、誤検出することなく、十分な信頼性で白線２を検出することができる。
　尚、上述した説明は、理想的な場合として、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）が、同じタイミングで（若しくは、同じタイミングと見なせるほどの僅かな時間差で）画像を撮影する場合を想定して説明した。しかし、４つの車載カメラは同じタイミングで画像を撮影しているわけではない。そして、車両１は、４つの車載カメラが画像を撮影している間も移動する。
　従って、実際には、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）が画像を撮影する位置は、図３中に破線で示すように、少しずつ異なっている。
　もっとも、車両１の走行速度がそれほど高くはない場合、あるいは車両１が車線に沿って走行している場合は、各車載カメラの撮影位置が、図３中の破線で示すように少しずつ違っても、大まかには、図４Ａから図４Ｃに示すような撮影画像を得ることができる。このため、各車載カメラの撮影タイミングが異なっていても、上述した説明が当て嵌まることとなり、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像から十分な信頼性で白線２を検出することができる。
　しかし、車両１が高速走行中に車線を変更する場合などには、各車載カメラで撮影タイミングが違うことによる影響は、無視できない程に大きくなることがある。
　図５には、車両１が高速走行中に車線を変更する場合に、各車載カメラが画像を撮影する位置の違いが例示されている。
　例えば、車両１に搭載された４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）のうちで、前方カメラ１１Ｆ、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒの順番で画像を撮影するものとする。図５中では、前方カメラ１１Ｆが画像を撮影した時の車両１の位置が実線で示されており、その後、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒが画像を撮影した時の車両１の位置が、細い破線で示されている。
　図６Ａには、前方カメラ１１Ｆで撮影した画像（図５中の実線で示した車両１の位置で撮影した画像）が示されており、図６Ｂには、左側方カメラ１０Ｌで撮影した画像が示されている。図６Ａと図６Ｂは、高速走行中に車線移動時には車載カメラの撮影タイミングの違いが問題になり得る理由を示す。図５を用いて前述したように、車両１は高速で白線２に向かって斜めに近付いているので、前方カメラ１１Ｆで画像を撮影してから、左側方カメラ１０Ｌで画像を撮影するまでの間に、車両１は白線２に大きく接近する。このため、前方カメラ１１Ｆの画像から検出した車両１の左側の白線２の位置と、左側方カメラ１０Ｌの画像から検出した白線２の位置とは、一致しなくなる。尚、図６Ａおよび図６Ｂでは、車両１から白線２までの距離として、車両１の先端から左方向に測った距離が示されている。また、図６Ｂ中には、図６Ａで検出された左側の白線２が、細い破線で表示されている。
　従って、図５に示したように、車両１が高速走行中に車線を変更するような場合には、車両１の側方での白線２の検出結果の妥当性を、前方あるいは後方での白線２の検出結果に基づいて確認できなくなる場合がある。
　そこで、本実施例の車線検出装置１００は、車両１の側方での白線２の検出結果の妥当性を、次のような方法で確認することにより、車両１が高速走行中に車線を変更するような場合でも、十分な信頼性で車線を検出可能としている。
（車線検出処理）
　図７および図８には、本実施例の車線検出装置１００で実施される車線検出処理のフローチャートが示されている。
　図示されるように、車線検出処理を開始すると、車線検出装置１００は先ず始めに、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）を起動した後、それぞれの車載カメラが画像を撮影するタイミングの時間差を取得する（Ｓ１００）。すなわち、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂは、起動された後は一定の撮影周期で画像を撮影して、車線検出装置１００に出力する。ここで、各車載カメラの撮影周期は同じであるが、完全に同じタイミングで起動されるわけではない。従って、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂは、起動時に決まった互いの位相差を保って、周期的に画像を撮影し続けることになる。
　図９には、左側方カメラ１０Ｌ、前方カメラ１１Ｆ、後方カメラ１１Ｂ、右側方カメラ１０Ｒが、一定の位相差を保って同じ撮影周期で画像を撮影する様子が例示されている。
　本実施例の車線検出装置１００は、図７の車線検出処理を開始して４つの車載カメラを起動すると、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｌｆと、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｌｂとを取得する。また、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｒｆと、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｒｂとを取得する。更に、後方カメラ１１Ｂに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｂｆも取得する。こうして取得された各種の時間差は、図２に示した時間差記憶部１０８に記憶される。
　続いて、左側方カメラ１０Ｌから車両１の左側方の周辺領域を撮影した画像と、右側方カメラ１０Ｒから車両１の右側方の周辺領域を撮影した画像と、前方カメラ１１Ｆから車両１の前方の周辺領域を撮影した画像と、後方カメラ１１Ｂから車両１の後方の周辺領域を撮影した画像とを取得する（Ｓ１０１）。
　そして、左側方カメラ１０Ｌの撮影画像を解析することにより、車両１の左側方に写った車線区切り（ここでは、白線２）を検出し（Ｓ１０２）、右側方カメラ１０Ｒの撮影画像を解析して、車両１の右側方に写った車線区切り（白線２）を検出する（Ｓ１０３）。
　また、同様にして、前方カメラ１１Ｆの撮影画像から車両１の前方での車線区切り（白線２）を検出し（Ｓ１０４）、後方カメラ１１Ｂの撮影画像から車両１の後方での車線区切り（白線２）を検出する（Ｓ１０５）。
　図１０Ａと図１０Ｂには、前方カメラ１１Ｆの撮影画像から、車両１の前方での白線２が検出された様子が例示されている。図示されているように白線２の位置は、車両１の位置を原点とするＸＹ座標での直線を表す式として検出される。
　また、図１０Ｃと図１０Ｄには、後方カメラ１１Ｂの撮影画像から車両１の後方での白線２が、図１０Ｅと図１０Ｆには、左側方カメラ１０Ｌの撮影画像から車両１の左側方での白線２が、図１０Ｇと図１０Ｈには、右側方カメラ１０Ｒの撮影画像から車両１の右側方での白線２が、それぞれＸＹ座標での直線を表す式として検出された様子が例示されている。
　次に、車両１の前方および後方で車線区切り（ここでは白線２）が検出されたか否かを判断する（図７のＳ１０６）。通常、車両１が車線を走行中であれば、車両１の前方および後方では、白線２に限らず何らかの車線区切りは検出することができるから、車両１の前方および後方で車線区切りが検出されない場合は、何らかの異常が発生したものと考えられる。
　そこで、車両１の前方および後方で車線区切りが検出されなかった場合は（Ｓ１０６：ｎｏ）、図示しないスピーカーから警告音を出力することにより、あるいは図示しないランプを点灯させることによって、異常の発生を報知する（Ｓ１１０）。
　これに対して、車両１の前方および後方で車線区切りが検出されていた場合は（Ｓ１０６：ｙｅｓ）、車速センサー１４から車両１の走行速度を取得する（Ｓ１０７）。尚、走行速度は、Ｓ１０１で車載カメラから撮影画像を取得する際に併せて取得するようにしても良い。
　そして、車両１の左側方および右側方で車線区切り（ここでは白線２）が検出されたか否かを判断する（Ｓ１０８）。
　その結果、車両１の左側方および右側方で車線区切りが検出されていた場合は（Ｓ１０８：ｙｅｓ）、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｌｆ（図９参照）と、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｌｂ（図９参照）とを取得する（Ｓ１０９）。これらの時間差は、車線検出処理の開始時に、Ｓ１００で予め取得されて時間差記憶部１０８（図２参照）に記憶されている。
　その後、車両１の前方および後方で検出された車線区切り（白線２）の位置を、Ｓ１０７で取得した車両１の走行速度およびＳ１０９で取得した時間差に基づいて修正する（図８のＳ１１１）。
　図１１Ａと図１１Ｂには、車両１の前方で検出された車線区切り（白線２）の位置を修正する様子が示されている。車両１の前方で検出された車線区切り（白線２）の位置は、車両１の左側方で検出された車線区切り（白線２）に比べると、時間差Ｔｌｆだけ早いタイミングで取得されており、その間に車両１は、（走行速度Ｖ）×（時間差Ｔｌｆ）の距離だけ白線２に近付く方向に移動する。従って、図１１Ａに示した車両１の前方の車線区切り（白線２）の位置は、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｌｆ）だけ移動させることによって、図１１Ｂに示した位置に修正される。
　車両１の後方で検出された車線区切り（白線２）の位置についても同様にして修正することができる。すなわち、車両１の後方で検出された車線区切り（白線２）の位置は、車両１の左側方で検出された車線区切り（白線２）に比べると、時間差Ｔｌｂだけ早いタイミングで取得されている。従って、車両１の後方の車線区切り（白線２）の位置は、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｌｂ）だけ移動させる。
　続いて、車両１の左側方で検出した車線区切り（白線２）の位置が、車両１の前方および後方で修正した車線区切り（白線２）の位置と整合するか否かを判断する（図８のＳ１１２）。
　図１０Ａから図１０Ｈを用いて前述したように、車両１の左側方の車線区切り（白線２）の位置も、車両１の前方および後方の車線区切り（白線２）の位置も、ＸＹ座標で直線を表す式として検出されている。更に、車両１の前方および後方の車線区切り（白線２）の位置は、ＸＹ座標でＸ方向に直線をシフトさせるように修正されている。従って、ＸＹ座標上で表された直線を比較することになるので、それらの直線が整合するか否か（すなわち、誤差の範囲内で一致するか否か）を判断することができる。
　その結果、車両１の左側方と、前方と、後方の３箇所で検出された車線区切り（白線２）の位置が整合すると判断した場合は（Ｓ１１２：ｙｅｓ）、左側方の車線区切り（白線２）は正しく検出されたものと考えることができるので、今度は、右側方の車線区切り（白線２）に対して同様な操作を開始する。
　これに対して、車両１の左側方、前方および後方の３箇所で検出された車線区切り（白線２）の位置が整合しないと判断した場合は（Ｓ１１２：ｎｏ）、左側方の車線区切り（白線２）は誤検出された可能性が高い。そこで、左側方の車線区切り（白線２）の位置を、前回の処理で検出された車両１の左側方での車線区切り（白線２）の位置に基づいて推定した位置に差し替える（Ｓ１１３）。
　尚、本実施例では、車両１の左側方で検出された車線区切り（白線２）の位置を、車両１の前方で検出された車線区切り（白線２）の位置と比較し、更に、車両１の後方で検出された車線区切り（白線２）の位置とも比較している。しかし、簡易には、車両１の左側方での車線区切り（白線２）の位置を、車両１の前方あるいは後方の何れか一方での車線区切り（白線２）の位置と比較して、整合するか否かを判断しても良い。こうすれば、車線検出装置１００での処理負荷を軽減することができる。
　もっとも、本実施例のように、車両１の左側方での車線区切り（白線２）の位置を、車両１の前方および後方での車線区切り（白線２）の位置と比較すれば、いわゆるダブルチェックとなるので、誤検出を確実に排除することが可能となる。
　以上のようにして、左側方での車線区切り（白線２）に対する処理が終わったら、右側方での車線区切り（白線２）に対しても同様な処理を開始する。すなわち、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｒｆ（図９参照）と、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｒｂ（図９参照）とを取得する（Ｓ１１１４）。
　続いて、車両１の前方および後方で検出された車線区切り（白線２）の位置を修正する（Ｓ１１５）。修正に際しては、車両１の前方で検出された車線区切り（白線２）の位置を、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｒｆ）だけ移動させる。また、車両１の後方で検出された車線区切り（白線２）の位置については、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｒｂ）だけ移動させることによって修正する。
　そして、車両１の右側方で検出した車線区切り（白線２）の位置が、車両１の前方および後方で修正した車線区切り（白線２）の位置と整合するか否かを判断する（Ｓ１１６）。車両１の右側方で検出した車線区切り（白線２）の位置についても、左側方で検出した車線区切り（白線２）の位置と同様に、ＸＹ座標で直線を表す式として検出されている。従って、車両１の右側方、前方および後方で検出した車線区切り（白線２）の位置が整合するか否かは容易に判断することができる。
　その結果、それらの車線区切り（白線２）の位置が整合しないと判断した場合は（Ｓ１１６：ｎｏ）、右側方の車線区切り（白線２）は誤検出された可能性が高い。そこで、その右側方の車線区切り（白線２）の位置を、前回の処理で検出された右側方の車線区切り（白線２）を元に推定した位置に差し替える（Ｓ１１７）。
　これに対して、車両１の右側方、前方および後方での車線区切り（白線２）の位置が整合する場合は（Ｓ１１６：ｙｅｓ）、右側方の車線区切り（白線２）は正しく検出されたものと考えられるので、前回の検出結果から推定した位置に差し替える処理（Ｓ１１７）は省略する。
　尚、車両１の右側方で検出された車線区切り（白線２）の位置についても、車両１の前方あるいは後方の何れか一方で検出された車線区切り（白線２）の位置と比較して、整合するか否かを判断しても良いことはもちろんである。
　その後、以上の処理によって得られた左側方での車線区切り（白線２）の位置、および右側方での車線区切り（白線２）の位置を、車線の検出結果として、車両制御装置２００に向かって出力する（Ｓ１１８）。
　そして、車線の検出を終了するか否かを判断する（Ｓ１１９）。その結果、車線の検出を終了しない場合は（Ｓ１１９：ｎｏ）、図７のＳ１０１に戻って、再び４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）から撮影画像を取得した後、上述した続く一連の処理を開始する。
　以上では、車両１の前後で車線区切り（白線２）が検出され（図７のＳ１０６：ｙｅｓ）、且つ、車両１の左右でも検出された場合（Ｓ１０８：ｙｅｓ）の処理について説明した。
　これに対して、車両１の前後では車線区切り（白線２）が検出されたが（Ｓ１０６：ｙｅｓ）、車両１の左右では検出されなかった場合は（Ｓ１０８：ｎｏ）、図１２に例示したように車両１が車線区切り（白線２）を跨いでいるものと考えられる。
　そこでこのような場合、車線検出装置１００は、以下に説明する車線区切り推定処理（Ｓ２００）を開始する。
　尚、図１０Ａから図１０Ｈを用いて前述したように、通常の場合（車両１が白線２を跨いでいない場合）は、前方カメラ１１Ｆおよび後方カメラ１１Ｂの撮影画像からは、車両１の左側と右側とに１本ずつの合計２本の車線区切り（白線２）が、それぞれ検出される。この場合は、図７のＳ１０４およびＳ１０５では、２本検出された車線区切り（白線２）の内側を、車線区切り（白線２）の位置として検出した（図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄ参照）。
　これに対して、図１２に例示したように、車両１が車線区切り（白線２）を跨ぐ場合は、前方カメラ１１Ｆおよび後方カメラ１１Ｂの何れの撮影画像からも、１本の車線区切り（白線２）が検出される。このような場合は、検出された車線区切り（白線２）の中心線の位置を、車線区切り（白線２）の位置として検出している。すなわち、図７のＳ１０４では、図１３Ａと図１３Ｂに例示したように、前方カメラ１１Ｆの撮影画像中の車線区切り（白線２）の中心線の位置が、車線区切り（白線２）の位置として検出されている。また、図７のＳ１０５では、図１３Ｃと図１３Ｄに例示したように、後方カメラ１１Ｂの撮影画像中の車線区切り（白線２）の中心線の位置が、車線区切り（白線２）の位置として検出されている。
　図１４には、車線区切り推定処理のフローチャートが示されている。
　図示されるように車線区切り推定処理では、先ず始めに、後方カメラ１１Ｂに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｂｆを取得する（Ｓ２０１）。
　図９を用いて前述したように、時間差Ｔｂｆは、図７および図８の車線検出処理の起動時に取得されて、時間差記憶部１０８に予め記憶されている。
　続いて、車両１の前方で検出された車線区切り（白線２）の位置を、図７のＳ１０７で検出した走行速度と、時間差Ｔｂｆとに基づいて修正する（Ｓ２０２）。すなわち、図１５Ａと図１５Ｂに例示したように、車両１の前方で検出された車線区切り（白線２）の位置を、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｂｆ）だけ移動させる。こうすることによって、図１５Ａに例示した車線区切り（白線２）の位置が、図１５Ｂに例示した車線区切り（白線２）の位置に修正される。
　その後、修正した前方での車線区切り（白線２）の位置が、後方での車線区切り（白線２）の位置と整合するか否か（誤差の範囲内で一致するか否か）を判断する（Ｓ２０３）。
　その結果、整合すると判断した場合は（Ｓ２０３：ｙｅｓ）、車両１の後方で検出した車線区切り（白線２）の位置と、車両１の前方の修正した車線区切り（白線２）の位置とに基づいて、車両１の下面での車線区切り（白線２）の位置を推定する（Ｓ２０４）。Ｓ２０４の処理は、車線区切り推定部に対応する。すなわち、車両１の後方の車線区切り（白線２）の位置も、車両１の前方の修正された車線区切り（白線２）の位置も、ＸＹ座標上の直線として表されているから、それらの直線の中間的な直線は容易に求めることができる。そこで、このような直線を求めることによって、車両１の下面での車線区切り（白線２）の位置を推定する。図１６には、このようにして車線区切り（白線２）の位置を推定する様子が例示されている。
　尚、本実施例では、前方カメラ１１Ｆは後方カメラ１１Ｂよりも前のタイミングで画像を撮影するものとして説明しているが（図９参照）、前方カメラ１１Ｆが後方カメラ１１Ｂよりも後のタイミングで画像を撮影する場合は、時間差Ｔｂｆが負の値となる。従って、この場合は、車両１の前方の車線区切り（白線２）の移動方向が逆方向となって、車両１の前方の車線区切り（白線２）の位置が、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｂｆ）だけ移動することになる。
　また、本実施例では、修正する車線区切り（白線２）は、前方カメラ１１Ｆの画像から検出された車両１の前方の車線区切り（白線２）であるものとして説明した。しかし、常に、前方カメラ１１Ｆの画像による車線区切り（白線２）を修正するのではなく、前方カメラ１１Ｆまたは後方カメラ１１Ｂの何れか先に撮影した方の画像による車線区切り（白線２）を修正するようにしても良い。例えば、前方カメラ１１Ｆが後方カメラ１１Ｂよりも前のタイミングで画像を撮影している場合は、（前方カメラ１１Ｆの画像による）車両１の前方の車線区切り（白線２）を、車両１の進行方向とは逆方向に移動させる。これに対して、前方カメラ１１Ｆが後方カメラ１１Ｂよりも後のタイミングで画像を撮影している場合は、（後方カメラ１１Ｂの画像による）車両１の後方の車線区切り（白線２）を、車両１の進行方向に移動させるようにしてもよい。
　こうすれば、前方カメラ１１Ｆの撮影タイミングまたは後方カメラ１１Ｂの撮影タイミングの新しい方の撮影タイミングで得られた画像を基準として、車線区切り（２）の位置を推定することができるので、より精度良く推定することが可能となる。
　以上のようにして、車両１の下面での車線区切り（白線２）の位置を推定したら（図１４のＳ２０４）、推定した車線区切り（白線２）の位置を、車両制御装置２００に向かって出力した後（Ｓ２０５）、図１４の車線区切り推定処理を終了して、図７および図８の車線検出処理に復帰する。
　これに対して、図１４のＳ２０３の判断で、修正した前方での車線区切り（白線２）の位置が、後方での車線区切り（白線２）の位置と整合しないと判断した場合は（Ｓ２０３：ｎｏ）、車両１の下面での車線区切り（白線２）が推定できない旨を、車両制御装置２００に向かって出力した後（Ｓ２０６）、図１４の車線区切り推定処理を終了して、図７および図８の車線検出処理に復帰する。
　そして、図７に示すように車線検出処理では、車線区切り推定処理（Ｓ２００）から復帰すると、車線の検出を終了するか否かを判断する（図８のＳ１１９）。
　その結果、車線の検出を終了しない場合は（Ｓ１１９：ｎｏ）、図７のＳ１０１に戻って、再び４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）から撮影画像を取得した後、上述した続く一連の処理を開始する。これに対して、車線の検出を終了する場合は（Ｓ１１９：ｙｅｓ）、図７および図８に示した車線検出処理を終了する。
　以上に説明したように、本実施例の車線検出装置１００では、車両１の左側方および右側方で検出した車線区切り（白線２）の位置の妥当性を、車両１の前方あるいは後方で検出した車線区切り（白線２）の位置によって確認することができる。また、車両１が高速で移動中に車線変更するような場合でも、車両１の前方あるいは後方で検出した車線区切り（白線２）の位置を修正するので、左側方および右側方で検出した車線区切り（白線２）の位置の妥当性を確認することができる。このため、左側方カメラ１０Ｌや右側方カメラ１０Ｒの撮影画像から、十分な信頼性で車線区切り（白線２）の位置を検出することが可能となる。
　本開示によれば、様々な態様の車線検出装置および車線検出方法を提供できる。例えば、本開示の一態様の車線検出装置および車線検出方法は、車両の側方の周辺領域を撮影する側方車載カメラで得られた画像に基づいて、車両の側方に存在する側方車線の区切りを検出する。また、車両の前方の周辺領域を撮影する前方車載カメラで得られた画像に基づいて、車両の前方に存在する前方車線の区切りを検出する。更に、前方車線の区切りの位置を、側方車載カメラと前方車載カメラとの撮影タイミングの時間差と、走行速度とに基づいて修正する。そして、修正した前方車線の区切りの位置と、側方車線の区切りの位置とを照合して、両者が整合する場合に、側方車線の区切りの位置の検出結果を、車線の検出結果として出力する。
　車両から側方を撮影した画像に基づいて側方車線の区切りを検出した場合でも、誤検出する虞がない。このため、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能となる。また、前方車線の区切りの位置を修正してから、側方車線の区切りの位置と比較しているので、車両が高速で走行している場合でも側方車線の区切りの位置を誤検出する虞がなく、車線の区切りを高い信頼性で検出することが可能となる。
　本開示の一例に係る車線検出装置は複数の車載カメラで撮影した画像を解析することによって、車両が走行している車線を検出する。車両の側方の周辺領域を撮影する側方車載カメラで得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出部と、車両の前方の周辺領域を撮影する前方車載カメラで得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出部と、側方車線の区切りの位置と、前方車線の区切りの位置とを照合する照合部と、側方車線の区切りの位置と、前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を車線の検出結果として出力する出力部とを備える。
　以上、本開示に係る車線検出装置および車線検出方法の実施の形態、構成、態様を例示したが、本開示に係わる実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係わる実施形態、構成、態様の範囲に含まれる。

 

Claims (6)

  1. 　複数の車載カメラを備える車両に搭載され、前記複数の車載カメラで撮影した画像を解析することによって、車両（１）が走行している車線を検出する車線検出装置であって、
    　前記車両の側方の周辺領域を撮影する側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出部（１０１）と、
    　前記車両の前方の周辺領域を撮影する前方車載カメラ（１１Ｆ）で得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出部（１０２）と、
    　前記車両の走行速度を検出する走行速度検出部（１０４）と、
    　前記前方車線の区切りの位置を、前記側方車載カメラと前記前方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する位置修正部（１０５）と、
    　前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とを照合する照合部（１０９）と、
    　前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力部（１１０）と
    　を備える車線検出装置。
  2. 　請求項１に記載の車線検出装置であって、
    　前記複数の車載カメラの起動時に、該複数の車載カメラ間での撮影タイミングの時間差を取得する時間差取得部（１０７）を更に備える
    　車線検出装置。
  3. 　請求項１または請求項２に記載の車線検出装置であって、
    　前記車両から後方の周辺領域を撮影する後方車載カメラで得られた画像に基づいて、該車両の後方に存在する後方車線の区切りを検出する後方検出部（１０３）を更に備え、
    　前記位置修正部は、前記後方車線の区切りの位置については、前記側方車載カメラと前記後方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正し、
    　前記照合部は、前記側方車線の区切りの位置と前記修正した前方車線の区切りの位置とを照合するとともに、該側方車線の区切りの位置と前記修正した後方車線の区切りの位置とを照合し、
    　前記検出部は、前記側方車線の区切りの位置と前記修正した前方車線の区切りの位置とが整合し、かつ、該側方車線の区切りの位置と前記修正した後方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置に基づいて前記車線を検出する
    　車線検出装置。
  4. 　請求項３に記載の車線検出装置であって、
    　前記位置修正部は、前記前方車線の区切りおよび前記後方車線の区切りは検出されているが、前記側方車線の区切りは検出されていない場合は、前記前方車線の区切りまたは前記後方車線の区切りの何れか一方の位置を、前記前方車載カメラと前記後方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正し、
    　前記照合部は、前記前方車線の区切りまたは後方車線の区切りの修正した方の位置と、前記前方車線の区切りまたは後方車線の区切りの修正しなかった方の位置とを照合し、
    　前記車線検出装置は、前記照合部が、前記修正した方の区切りの位置と、前記修正しなかった方の区切りの位置とが整合すると判断した場合に、前記車両の下面での車線の区切りの位置を推定する車線区切り推定部（Ｓ２０４）を更に備え、
    　前記出力部は、前記車線区切り推定部によって推定された前記車線の区切りの位置を、前記車線の検出結果として出力する
    　車線検出装置。
  5. 　請求項４に記載の車線検出装置であって、
    　前記位置修正部は、前記前方車載カメラが前記後方車載カメラよりも早いタイミングで画像を撮影する場合には、前記前方車線の区切りを修正し、前記後方車載カメラが前記前方車載カメラよりも早いタイミングで画像を撮影する場合には、前記後方車線の区切りを修正する
    　車線検出装置。
  6. 　複数の車載カメラで撮影した画像を解析することによって、車両（１）が走行している車線を検出する車線検出方法であって、
    　前記車両の側方の周辺領域を撮影する側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出工程（Ｓ１０２、Ｓ１０３）と、
    　前記車両の前方の周辺領域を撮影する前方車載カメラ（１１Ｆ）で得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出工程（Ｓ１０４）と、
    　前記車両の走行速度を検出する走行速度検出工程（Ｓ１０７）と、
    　前記前方車線の区切りの位置を、前記側方車載カメラと前記前方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する位置修正工程（Ｓ１１１）と、
    　前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とを照合する照合工程（Ｓ１１２、Ｓ１１６）と、
    　前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力工程（Ｓ１１８）と
    　を備える車線検出方法。

     
PCT/JP2015/003481 2014-07-24 2015-07-09 車線検出装置および車線検出方法 WO2016013174A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/327,611 US10140528B2 (en) 2014-07-24 2015-07-09 Lane detection apparatus and lane detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014151052A JP6458384B2 (ja) 2014-07-24 2014-07-24 車線検出装置および車線検出方法
JP2014-151052 2014-07-24

Publications (1)

Publication Number Publication Date
WO2016013174A1 true WO2016013174A1 (ja) 2016-01-28

Family

ID=55162720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003481 WO2016013174A1 (ja) 2014-07-24 2015-07-09 車線検出装置および車線検出方法

Country Status (3)

Country Link
US (1) US10140528B2 (ja)
JP (1) JP6458384B2 (ja)
WO (1) WO2016013174A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418937A (zh) * 2017-03-23 2019-11-05 日立汽车系统株式会社 车辆控制装置
WO2021037350A1 (en) 2019-08-28 2021-03-04 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road
US11706929B2 (en) 2015-02-17 2023-07-18 Micron Technology, Inc. Memory cells

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6593263B2 (ja) * 2016-07-08 2019-10-23 株式会社デンソー 区画線認識装置
JP6336010B2 (ja) * 2016-11-16 2018-06-06 三菱電機株式会社 路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法
JP7118836B2 (ja) * 2018-09-25 2022-08-16 フォルシアクラリオン・エレクトロニクス株式会社 区画線認識装置
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
KR20210005439A (ko) * 2019-07-05 2021-01-14 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
JP7490483B2 (ja) * 2020-07-22 2024-05-27 キヤノン株式会社 システム、情報処理方法、物品の製造方法、プログラム及び記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183432A (ja) * 2006-01-06 2007-07-19 Toyota Motor Corp 自動走行用マップ作成装置、及び自動走行装置。
JP2010079573A (ja) * 2008-09-25 2010-04-08 Toyota Motor Corp 車線逸脱防止装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP4748082B2 (ja) 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183432A (ja) * 2006-01-06 2007-07-19 Toyota Motor Corp 自動走行用マップ作成装置、及び自動走行装置。
JP2010079573A (ja) * 2008-09-25 2010-04-08 Toyota Motor Corp 車線逸脱防止装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11706929B2 (en) 2015-02-17 2023-07-18 Micron Technology, Inc. Memory cells
CN110418937A (zh) * 2017-03-23 2019-11-05 日立汽车系统株式会社 车辆控制装置
WO2021037350A1 (en) 2019-08-28 2021-03-04 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road

Also Published As

Publication number Publication date
JP6458384B2 (ja) 2019-01-30
US10140528B2 (en) 2018-11-27
JP2016024777A (ja) 2016-02-08
US20170147889A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
WO2016013174A1 (ja) 車線検出装置および車線検出方法
US9574538B2 (en) Idling stop control system for vehicle
US20170253177A1 (en) Vehicle lighting system
US9592764B2 (en) Redundant object detection for driver assistance systems
EP2093129A2 (en) Parking assist apparatus and method
JP6261832B1 (ja) 走行路認識装置及び走行路認識方法
US10996317B2 (en) Object detection apparatus and object detection method
JP2010019589A (ja) 車間距離検出装置、ドライブレコーダ装置
US20200307590A1 (en) Highway exit detection and line mirroring for vehicle trajectory determination
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JP2010225075A (ja) 運転支援装置
WO2016035252A1 (ja) 運転支援装置および運転支援方法
US10118617B2 (en) Vehicle control system
US10247551B2 (en) Vehicle image processing device for environment recognition
US20160003628A1 (en) Branching and merging determination apparatus
JP2008130059A (ja) 先行車両離脱判定装置
WO2017164017A1 (ja) 車両検知装置
JP6243319B2 (ja) 逸脱判定装置
JP2008225578A (ja) 車両用監視装置
JP5717416B2 (ja) 運転支援制御装置
JP2019133445A (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JP2015075838A (ja) 車載器
JP6263436B2 (ja) 走行路認識装置
JP2013101040A (ja) 距離推定装置
JP6048384B2 (ja) 画像判定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15824980

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15327611

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15824980

Country of ref document: EP

Kind code of ref document: A1