WO2010047226A1 - 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム - Google Patents

車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム Download PDF

Info

Publication number
WO2010047226A1
WO2010047226A1 PCT/JP2009/067471 JP2009067471W WO2010047226A1 WO 2010047226 A1 WO2010047226 A1 WO 2010047226A1 JP 2009067471 W JP2009067471 W JP 2009067471W WO 2010047226 A1 WO2010047226 A1 WO 2010047226A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lane
lane marking
original image
lane line
Prior art date
Application number
PCT/JP2009/067471
Other languages
English (en)
French (fr)
Inventor
和之 櫻井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/062,765 priority Critical patent/US8594380B2/en
Publication of WO2010047226A1 publication Critical patent/WO2010047226A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the present invention relates to a lane marking detection device, a lane marking detection method, and a lane marking detection program.
  • a lane change detection device for detecting a lane change of a vehicle is described in Patent Document 1 (Japanese Patent Laid-Open No. 2007-241468).
  • the lane change detection device includes an imaging unit that images a road surface in front of or behind the vehicle, a recognition unit that processes an image captured by the imaging unit and recognizes a lane division line on the road surface, and starts a lane change.
  • Detecting means for detecting If the detection means does not detect the start of lane change, the recognition means recognizes both lane markings located on both sides of the vehicle. After the detecting means detects the start of the lane change, the recognizing means recognizes only the lane dividing line located on the lane changing direction side among the lane dividing lines located on both sides of the vehicle at the start of the lane changing.
  • Patent Document 2 Japanese Patent Laid-Open No. 2002-293457 describes a technique that aims to provide a vehicle lane marking detection device that can quickly determine lane change. Has been.
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2006-12191 describes a technique with the object of accurately recognizing a travel lane marking.
  • noise may be included in the screen imaged by the imaging device. Such noise may cause erroneous detection of lane markings.
  • an object of the present invention is to provide a lane line detection device, a lane line detection method, and a lane line detection program capable of accurately detecting a lane line even when noise is present. is there.
  • the lane marking detection device acquires an original image obtained by capturing an image of the traveling road from a traveling body traveling on the traveling road, and the traveling based on the original image.
  • Lane lane line position detecting means for detecting a relative position of the lane line included in the road from the traveling body, a partial image extracted from the first image that is the original image at time t0, and past the time t0
  • a verification unit that verifies the detection result in the lane line position detection unit based on the partial image extracted from the past image that is the original image acquired in step (b).
  • the car navigation system includes the above-described lane marking detection device, a position grasping means for grasping the position of the traveling body based on a test result by the test means, and a position grasped by the position grasping unit. And notifying means for notifying the user.
  • a winker system includes the above-described lane change detection device and a winker control means for controlling a winker provided in the traveling body based on a test result by the test means.
  • the lane line detection method includes a step of acquiring an original image obtained by imaging the traveling road from a traveling body traveling on the traveling road, and is included in the traveling road based on the original image. Detecting a relative position of the lane line from the traveling body, a partial image of the first image that is the original image at time t0, and a partial image of the past image that is the original image before the time t0; And detecting the detection result in the lane line position detection means.
  • the lane line detection program according to the present invention is included in the travel path based on the step of acquiring an original image obtained by imaging the travel path from a traveling body traveling on the travel path, and the original image. Detecting a relative position of the lane line from the traveling body, a partial image of the first image that is the original image at time t0, and a partial image of the past image that is the original image before the time t0; And a step of verifying the detection result in the lane line position detection means based on the above.
  • a lane line detection device capable of accurately detecting a lane line even when noise is present.
  • FIG. 1 is a schematic view showing a vehicle traveling on a traveling road.
  • FIG. 2 is a block diagram showing the configuration of the lane marking device.
  • FIG. 3 is a functional configuration diagram illustrating the lane marking detection device.
  • FIG. 4 is a flowchart showing a lane marking detection method.
  • FIG. 5 is a conceptual diagram showing an original image.
  • FIG. 6 is a conceptual diagram showing a method for generating the second image.
  • FIG. 7 is a conceptual diagram showing a method for calculating the inclination.
  • FIG. 8A is a diagram illustrating an original image when raindrops exist.
  • FIG. 8B is a diagram showing a second image when raindrops are present.
  • FIG. 9 is a functional configuration diagram showing the lane marking position detector.
  • FIG. 9 is a functional configuration diagram showing the lane marking position detector.
  • FIG. 10 is a flowchart showing the operation of the lane line position detection unit.
  • FIG. 11 is a functional configuration diagram illustrating the second image generation unit.
  • FIG. 12 is a functional configuration diagram illustrating the inclination calculation unit.
  • FIG. 13 is a flowchart illustrating operations of the second image generation unit and the inclination calculation unit.
  • FIG. 14 is an explanatory diagram for explaining the operation of the second image generation unit.
  • FIG. 15 is an explanatory diagram for explaining the operation of the inclination calculation unit.
  • FIG. 16 is a functional configuration diagram illustrating the comparison unit.
  • FIG. 17 is a flowchart illustrating the operation of the comparison unit.
  • the lane line detection device 13 is a device that detects whether or not the vehicle (running body) has changed lanes, and is provided in the vehicle 10.
  • FIG. 1 is a schematic diagram illustrating a vehicle 10 that travels on a travel path 3.
  • a lane marking 2 that divides the lane is provided on the travel path 3.
  • the vehicle 10 includes a blinker 4 and a camera 1.
  • the camera 1 images the travel path 3 toward the side opposite to the traveling direction of the vehicle 10.
  • the captured image is notified to the lane line detector 13.
  • the lane line detection device 13 detects whether or not a lane change has been performed based on the captured image.
  • the detection result by the lane line detector 13 is used for the control of the blinker 4 or a car navigation system (not shown).
  • FIG. 2 is a block diagram showing the configuration of the lane marking detection device 13.
  • the lane marking detection device 13 is realized by a computer having a CPU 5, a RAM (Random access memory), a storage unit 8, and an input / output interface 9.
  • a lane marking detection program 6 is stored in the RAM.
  • the lane line detection program 6 is installed in the RAM 6 in advance from a storage medium such as a CD-ROM.
  • the lane line detection device 13 realizes its function when the lane line detection program 6 is executed by the CPU 5.
  • the input / output interface 9 is connected to the camera 1, the car navigation device 24, and the winker control device 12.
  • the lane line detection device 13 communicates with the camera 1, the car navigation device 24, and the blinker control device 12 via the input / output interface 9.
  • the storage unit 8 is exemplified by a hard disk or a ROM (Read Only Memory).
  • the storage unit 8 stores various data used by the lane marking detection program 6.
  • FIG. 3 is a functional block diagram showing a functional configuration of the lane marking detection device 13.
  • the lane line detection device 13 includes an original image acquisition unit 14, a lane line position detection unit 15, a lane change determination unit 16, and a test unit 19.
  • the test unit 19 includes a second image generation unit 18, an inclination calculation unit 21, and a comparison unit 23.
  • the storage unit 8 stores an original image group and relative position data in association with each time.
  • FIG. 4 is a flowchart showing an operation method of the lane marking detection device 13.
  • Step S ⁇ b> 10 Acquisition of Original Image
  • the original image acquisition unit 14 acquires an image obtained by capturing with the camera 1 as an original image 28.
  • FIG. 5 is a conceptual diagram showing the original image 28.
  • the original image 28 includes a far area where an area away from the vehicle 10 is imaged and a near area where an area close to the vehicle 10 is imaged.
  • the original image acquisition unit 14 acquires an original image at a predetermined time interval.
  • the original image acquisition unit 14 stores the acquired original image in the storage unit 8 in association with the acquired time.
  • the storage unit 8 stores a plurality of original images (original image groups) in association with the time.
  • Step S20 Detection of Lane Lanes Assume that an original image is acquired at the current time t0.
  • the original image at time t0 is hereinafter referred to as a first image.
  • the lane line detection unit 15 detects the relative position of the lane line 2 from the vehicle 10 based on the first image.
  • the lane line position detection unit 15 associates the detected relative position with the current time t0 and stores it in the storage unit 8 as relative position data. By performing such processing at predetermined time intervals, the storage unit 8 stores relative position data for each of a plurality of times.
  • Step S30 Determination of Lane Change
  • the lane change determination unit 16 tracks the relative position up to time t0 in time series based on the relative position data, and determines whether or not the lane change has been performed. When the lane change determination unit 16 determines that the lane change has been performed, the lane change determination unit 16 notifies the verification unit 19 as a determination result.
  • step S30 The determination process in step S30 is premised on the relative position at time t0 being correctly detected. Therefore, it is verified whether or not the relative position is correctly detected by the processing after step S40, and the determination result of the lane change is verified.
  • Step S40; Generation of Second Image The second image generation unit 18 generates a second image based on the partial image of the first image.
  • the second image is an image when the traveling road 3 is viewed from a viewpoint different from the imaging direction of the original image. Specifically, the second image is an image when the scenery photographed in the original image 28 is viewed in the vertical direction in the real world.
  • the second image is obtained based on the partial image of the first image acquired at the current time t0 and the partial image of the original image acquired in the past.
  • FIG. 6 is a conceptual diagram showing the operation in this step. The operation of this step will be described in detail below with reference to FIG.
  • the original image 28 (t0) (first image) is obtained at the current time t0. Further, it is assumed that the original image 28 (t1) is acquired at a time t1 that is past the current time t0. Further, it is assumed that the second image 27 (t1) is generated based on the original image 28 (t1) at time t1.
  • the second image generation unit 18 moves each pixel of the second image 27 (t1) generated at the previous time t1 in the far direction by an amount corresponding to the moving distance of the vehicle 10, and the image 27 (t1) * Is generated.
  • the vehicle vicinity region is blank.
  • the second image generation unit 18 converts the neighborhood area included in the first image 28 (t0) into an image (that is, a bird's-eye view image) when viewed in the vertical line of sight.
  • the converted image is added to the blank portion of the image 27 (t1) * .
  • the second image 27 (t0) at time t0 is generated.
  • the above processing is executed every time the original image 28 is acquired. That is, every time the original image 28 (t) is acquired at time t, the second image 27 (t) is generated. Accordingly, the second image 27 (t1) at time t1 is an image generated based on the partial image of the original image 28 acquired before time t1. That is, it can be said that the second image 27 (t0) is an image in which the partial image of the first image and the partial image of the original image 28 acquired before time t0 are connected as an image.
  • the second image 27 (t0) obtained in this way includes only the vicinity region in the original image 28 and does not include the far region.
  • the far region is more likely to contain noise than the neighboring region. Therefore, in the second image 27, noise due to the far region is eliminated.
  • the second image 27 a bird's-eye image that is not synthesized, a processed image that has been subjected to filter processing, or the like may be used. Further, as the second image 27, an image obtained by performing filter processing or the like on the image 27 (t0) may be used.
  • the second image generation unit 18 notifies the generated second image 27 to the test unit 19.
  • FIG. 7 is a conceptual diagram for explaining the operation in steps S50 to S70.
  • Step S50 Calculation of Inclination Assume that the vehicle 10 changes lanes from time t2 to time t0. At this time, as shown in FIG. 7A, the original image 28 (t2) at time t2, the original image 28 (t1) at time t1, and the first image 28 (t0) at time t0, respectively. Generated. When the lane change is performed, the relative position of the lane marking 2 to the vehicle 10 changes between the plurality of original images 28 (t2 to t0). As a result, if the traveling speed of the vehicle 10 is an appropriate speed, the lane marking 2 is shown to extend obliquely in the second image 27 (t0), as shown in FIG. 7B. . In step S ⁇ b> 60, the inclination calculation unit 21 calculates the inclination of the lane marking 2. The calculated inclination is notified to the comparison unit 23.
  • Step S60 Determination of whether or not there is a contradiction
  • the inclination calculated in Step S50 should correspond to the relationship between the time and the relative position of the lane marking 2. Therefore, the comparison unit 23 refers to the relative position data and determines whether or not the calculated inclination is inconsistent with the relative position data.
  • Step S70 Comparison If there is no contradiction in step S60, the detection result in the lane marking position detector 15 is considered to be correct. Therefore, the determination result in the lane change determination unit 16 is also considered to be correct. If the lane change determination unit 16 determines that the lane change has been made, the comparison unit 23 determines (verifies) that the determination result by the lane change determination unit 16 is correct. That is, the fact that the lane change has been performed is output. On the other hand, if there is a contradiction in step S60, the detection result in the lane marking position detector 15 is considered to be an error. Therefore, the comparison unit 23 verifies that the determination result in the lane change determination unit 16 is an error. The comparison unit 23 determines that the lane change is not performed even when the lane change determination unit 16 determines that the lane change has been performed.
  • the comparison unit 23 determines that the lane change has been performed, the comparison unit 23 notifies the winker control device 12 and the car navigation device 24 of that fact.
  • the winker control device 12 controls the winker 4. For example, when the lane change is started, the blinker 4 is usually blinked. In such a case, the blinker control device 12 turns off the blinker 4 in response to the notification that the lane change has been performed (finished).
  • the car navigation device 24 includes a position grasping unit 25, a notification unit 26, and a display device 11 (for example, a display).
  • the position grasping unit 25 grasps the current position of the vehicle 10.
  • the notification part 26 displays a present position on the display apparatus 11 based on the grasped present position, and notifies a present position to a driver.
  • the verification unit 19 verifies whether the relative position detected by the lane line position detection unit 15 is the correct position based on the second image 27. .
  • the second image 28 does not include a distant area that easily includes noise. Therefore, even if the detection result by the lane line position detection unit 15 is affected by the noise in the far region, the effect of the noise can be eliminated by the test unit 9. Even in the presence of noise, the relative position of the lane marking 2 can be accurately detected, and it can be accurately determined whether or not a lane change has been made.
  • the test is performed based on the second image 27 having a different viewpoint from the original image 28. Since the original image 28 and the second image 27 have different properties, erroneous detection caused by noise appearing in each image can be suppressed. This point will be described in detail below.
  • the position of the lane line 2 only needs to be detected using only the second image 27.
  • FIG. 8A it is assumed that raindrops 36 and the like are shown in the near part (near area) in the original image 28. Raindrops and the like tend to stay at the same position in the original image 28.
  • the second image 27 as shown in FIG. 8B, the raindrop 36 portion is likely to appear in a straight line like the lane marking 2.
  • the traveling path 3 by using an image (second image) when the traveling path 3 is viewed from a direction different from the imaging direction, erroneous detection derived from the original image and the second image, respectively.
  • the cause of this can be offset. As a result, it is possible to detect whether or not the lane change has been performed accurately even when noise is present.
  • the lane line detection device 13 is an apparatus that detects an event in which the lane line 2 passes the vehicle 10 relatively in the lateral direction, that is, an event in which the vehicle 10 straddles the lane line 2.
  • the configuration of the vehicle detection device 13 according to the present embodiment is roughly the same as that of the vehicle detection device 13 according to the embodiment (see FIG. 3). However, in the present embodiment, each component will be described more specifically.
  • FIG. 9 is a functional configuration diagram specifically showing the lane marking position detector 15.
  • the lane line position detection unit 15 includes an original image binarization unit 15-1, a Hough conversion unit 15-2, and a left and right own vehicle lane line selection unit 15-3.
  • FIG. 10 is a flowchart showing in detail operations in the lane line position detection unit 15 and the lane change determination unit 16. That is, it is a flowchart showing in detail the operations of step S20 and step S30.
  • Step S21 Acquisition of Original Image
  • the lane marking position detector 15 acquires the original image 28 (t).
  • Step S22 Binarization
  • the original image binarization unit 15-1 binarizes the original image 28 (t) and classifies each pixel included in the original image 28 (t) into a foreground and a background. For example, it is assumed that the number of gradations of each pixel included in the original image 28 (t) is 256. In this case, the original image binarization unit 15-1 obtains the luminance value of each pixel. Pixels having a luminance value of 200 or more are classified as the foreground, and other pixels are classified as the background.
  • Step S23 Hough Conversion Next, the Hough conversion unit 15-2 performs Hough conversion using the foreground pixels as feature points to detect a straight line group.
  • Step S24 Identification of Lane Lanes
  • the left and right lane markings selection unit 15-3 identifies the left and right lane markings 2 with respect to the vehicle 10 based on the detected straight line group.
  • the left and right own vehicle lane line selection unit 15-3 identifies, as the left and right vehicle lane lines 2, a straight line with a large vote value at the time of Hough among the detected straight line group.
  • the straight line closest to the left and right lane markings 2 at the previous time is identified as the left and right lane markings 2.
  • the identified position of the lane marking 2 is associated with time t and stored in the storage unit 8 as relative position data.
  • the lane line position detection unit 15 performs the processing from the above steps S21 to S24 every time an original image is acquired by the original image acquisition unit 14.
  • the lane line position detection part 15 should just be comprised so that the straight line which shows the left and right lane line 2 can be detected.
  • Step S30 Determination of whether or not the vehicle has crossed a lane line Pay attention to the processing at the current time t0.
  • the lane change determination unit 16 determines whether or not the vehicle 10 has straddled the left or right lane line 2. Specifically, the lane change determination unit 16 refers to the relative position data. Then, the relative positions of the left and right lane markings 2 are grasped in time series until time t0.
  • the lane change determination unit 16 has a predetermined range in which any of the left and right lane markings 2 includes the center of the vehicle 10 (for example, a range of ⁇ 70 cm centered on the center of the vehicle) by the time t0. Is exceeded, it is determined that the vehicle 10 straddles the lane line 2.
  • FIG. 11 is a functional configuration diagram specifically showing the second image generation unit 18.
  • the second image generating unit 18 includes a pixel moving unit 18-1, a bird's-eye view unit 18-2, and a region adding unit 18-3.
  • FIG. 12 is a functional configuration diagram specifically showing the inclination calculation unit 21.
  • the inclination calculation unit 21 includes a lane marking position conversion unit 21-1 and a second in-image inclination calculation unit 21-2.
  • FIG. 13 is a flowchart showing operations of the second image generation unit 18 and the inclination calculation unit 21. That is, it is a flowchart showing the operation of steps S40 to S50.
  • Step S41 Pixel Movement Attention is paid to the processing at time t0.
  • the pixel moving unit 18-1 moves each pixel of the second image 27 (t ⁇ b> 1) obtained at the past time t ⁇ b> 1 far away according to the movement amount of the vehicle 10.
  • the lowermost part (end in the vicinity direction of the vehicle) of the second image 27 (t1) corresponds to a position 1 m away from the tip of the camera 1.
  • One pixel corresponds to an area of 5 cm in length and 5 cm in width on the road surface.
  • the moving amount of the vehicle 10 from the previous time t1 is 50 cm. In such a case, the pixel moving unit 18-1 moves each pixel in the second image 27 (t1) by 10 pixels toward the far side.
  • Step S42 Bird's-eye view image
  • the bird's-eye view unit 18-2 converts the vicinity region of the first image 28 (t0) into a bird's-eye image.
  • the range of the vicinity region must be a range corresponding to the movement amount of the vehicle 10 in the real world.
  • FIG. 14 is an explanatory diagram for explaining the operation of the bird's-eye view unit 18-2.
  • the bird's-eye view unit 18-2 determines the imaging coordinate system of the camera 1.
  • the conversion from the real world to the original image at the time of imaging is a perspective conversion. Further, it is assumed that there is no other conversion factor due to distortion of the lens or the like.
  • the real-world coordinate system is represented by XYZ
  • the original image coordinate system is represented by xy.
  • the X axis and the x axis, and the Y axis and the y axis are parallel to each other.
  • the focal length in the perspective transformation is expressed as f.
  • the road surface 32 is assumed to be a plane perpendicular to the Y axis.
  • the distance from the origin of the real world coordinate system to the road surface 32 is represented as H.
  • the coordinates (xi, yi) in the original image corresponding to the point (Xi, H, Xi) on the road surface 32 are expressed by the following equation (1).
  • the bird's-eye view image is an image when the road surface 32 is viewed in the vertical direction in the vertical direction in the real world. That is, the real world coordinates on the road surface 32 are quantized with appropriate intervals (for example, 5 cm in length and 5 cm in width). Therefore, in order to convert the partial image into the converted image, the bird's-eye view unit 18-1 obtains which pixel in the first image each pixel in the converted image element corresponds to by the above equation (1). . Then, the bird's-eye view unit 18-1 sets the luminance of each pixel in the converted image element to the luminance of the corresponding pixel in the first image. In the imaging coordinate system of the camera, when there is a conversion factor other than the perspective conversion, such as lens distortion, a conversion equation that considers the conversion factor may be used instead of the equation (1).
  • Step S43 Addition to Blank Part
  • the area addition unit 18-3 adds the bird's-eye view image to the blank part of the image 27 (t1) * in which the pixels are moved. Thereby, the second image 27 (t0) at time t0 is obtained.
  • Step S51 Conversion of Lane Lane Line Position
  • the lane line position conversion unit 21-1 refers to the relative position data, and determines the position of the lane line 2 obtained based on the original image 28 (t0) (relative to the time t0). Position) is converted into a position in the second image 27 (t0) based on, for example, Expression (1).
  • Step S52 Calculation of the angle of the image of the lane line
  • the second image inclination calculation unit 21-2 calculates the inclination of the lane line 2 in the second image 27 (t0).
  • FIG. 15 is an explanatory diagram for explaining the operation of the second image inclination calculation unit 21-2.
  • the position in the second image 27 (t0) of the lane line 2 obtained in step S51 is defined as the lane line position 33 in the original image.
  • the second image inclination calculation unit 21-2 sets the lane line position 33 in the original image to the front intercept (vehicle vicinity side end) in the second image 27 (t0).
  • the second image inclination calculation unit 21-1 sets the lane marking 2 to extend from the position 33.
  • the second image inclination calculation unit 21-1 obtains an angle ⁇ formed by the center axis line (a line extending from the vehicle vicinity side to the far side) set in the second image 27 and the set lane marking 2.
  • the angle ⁇ is set within a preset angle range 35.
  • the position of the image of the lane marking 2 is expressed in the second image 27 (t0).
  • the lane line 2 is set so that, for example, the sum of the pixel values in the lane line 2 is maximized.
  • the angle range 35 is set to a range of ⁇ 30 degrees from the central axis.
  • the second image inclination calculation unit 21-1 sets a candidate for the lane marking 2 in increments of 1 degree within the angle range 35. Then, the sum of the pixel values in the lane marking 2 candidate or in the vicinity of the lane marking 2 candidate (example: 20 cm left and right range centering on the lane marking 2 candidate) is calculated.
  • the second in-image inclination calculating unit 21-1 outputs the determined angle ⁇ as an inclination at time t0.
  • the second in-image inclination calculation unit 21-1 performs the above-described processing every time the original image 28 is acquired. Note that the sum of pixel values is not necessarily used as the evaluation value used in determining the angle ⁇ . As the evaluation value, a value expressing the lane marking characteristic may be used.
  • FIG. 16 is a functional configuration diagram illustrating the configuration of the comparison unit 23 in detail.
  • the comparison unit 23 includes an inclination conversion unit 23-1 and an estimated movement amount test unit 23-2.
  • FIG. 17 is a flowchart illustrating the operation of the comparison unit 23, and is a flowchart illustrating the operation in step S70.
  • Step S61 Calculation of Estimated Travel Distance D
  • the comparator 23 calculates the estimated travel distance D in the lateral direction of the lane line 2 based on the inclination (angle ⁇ ).
  • the inclination conversion unit 23-1 acquires the travel distance of the vehicle 10 in the unit period (time t1 to t0) from the previous time t1 to the current time t0 as Rt. Then, the lateral movement amount Dt of the lane marking 2 in the unit period (time t1 to t0) is calculated by the following equation (2) using the angle ⁇ . Rt is obtained, for example, from a travel distance measuring device provided in the vehicle 10.
  • the inclination conversion unit 23-1 refers to the relative position data, and calculates a period during which the lane marking 2 is located in a predetermined range including the front center of the vehicle 10 (hereinafter referred to as a first range). , Grasp as the first period.
  • the first range is, for example, a range of ⁇ 70 cm from the front center of the vehicle 10, and is set in advance in the storage unit 8 or the like.
  • the inclination converting unit 23-1 calculates the total amount of movement Dt in the first period as the estimated movement amount D.
  • the method of calculating the estimated movement amount D is not limited to the above-described method.
  • an average value or a median value of the angles ⁇ in the first period may be used.
  • an estimated value ⁇ a of the angle ⁇ by some method may be used.
  • the inclination conversion unit 23-1 calculates the travel distance R of the vehicle 10 in the first period when the lane marking 2 passes the first range, and obtains the estimated movement amount D according to the following equation (3). May be.
  • Step S62 Determination of Estimated Travel Distance
  • the estimated travel distance tester 23-2 compares the estimated travel distance D with the length of the first range (for example, 140 cm). If the lane marking 2 is correctly detected in step S20, the estimated movement amount D should match the length of the first range. Accordingly, the estimated movement amount test unit 23-2 obtains a difference between the estimated movement amount D and the length of the first range. If the difference is within a predetermined value (for example, 20% of the length of the first range), it is determined that the lane marking 2 is correctly detected. That is, it is determined that the determination result of the lane change determination unit 16 is correct.
  • a predetermined value for example, 20% of the length of the first range
  • Step S70 Output of Test Result Thereafter, the comparison unit 23 outputs that the lane change has been performed only when it is determined that the determination in the lane change determination unit 16 is correct based on the result of step S62.
  • the embodiments and examples of the present invention have been described above. However, the above-described embodiments and examples can be variously modified without departing from the spirit of the present invention. For example, in the above-described embodiment and examples, the case has been described in which the detected relative position of the lane marking 2 is used to determine whether or not a lane change has been performed. However, the present invention is not limited to an apparatus that determines whether or not a lane change has been performed. For example, the detected relative position of the lane line 2 may be used to detect that the lane line 2 has moved relative to the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

 ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供する。走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の前記部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。

Description

車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
 本発明は、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムに関する。
 車両の車線変更を検出する車線変更検出装置が、特許文献1(特開2007-241468号公報)に記載されている。この車線変更検出装置は、車両の前方若しくは後方の路面を撮像する撮像手段と、当該撮像手段により撮像された画像を処理して路面の車線区分線を認識する認識手段と、車線変更の開始を検出する検出手段とを備える。前記検出手段が車線変更の開始を検出しない場合には、前記認識手段が、車両の両側に位置する車線区分線の双方を認識する。前記検出手段が車線変更の開始を検出した後は、前記認識手段が車線変更の開始時に車両の両側に位置する車線区分線のうち車線変更方向側に位置する車線区分線のみを認識する。
 また、関連技術として、特許文献2(特開2002-29347号公報)には、車線変更の判断を速やかに行うことができる車両用走行区分線検出装置を提供することを課題とした技術が記載されている。
 他の関連技術として、特許文献3(特開2006-12191号公報)には、走行区分線を精度良く正確に認識できることを課題とした技術が記載されている。
特開2007-241468号公報 特開2002-29347号公報 特開2006-12191号公報
 車線変更が行われたか否かは、精度良く識別されることが望まれる。しかし、撮像装置によって撮像した画面の中には、ノイズが含まれることがある。そのようなノイズにより、車線区画線が誤検出されてしまうことがある。
 そこで、本発明の目的は、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供することにある。
 本発明に係る車線区画線検出装置は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻t0における原画像である第1画像から抽出された部分画像と、前記時刻t0よりも過去に取得された前記原画像である過去画像から抽出された部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。
 本発明に係るカーナビゲーションシステムは、上述の車線区画線検出装置と、前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、前記位置把握部により把握された位置をユーザに通知する通知手段とを具備する。
 本発明に係るウィンカシステムは、上述の車線変更検出装置と、前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段とを具備する。
 本発明に係る車線区画線検出方法は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップとを具備する。
 本発明に係る車線区画線検出プログラムは、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、をコンピュータに実行させるためのプログラムである。
 本発明によれば、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムが提供される。
図1は、走行路を走行する車両を示す概略図である。 図2は、車線区画線検出装置の構成を示すブロック図である。 図3は、車線区画線検出装置を示す機能構成図である。 図4は、車線区画線検出方法を示すフローチャートである。 図5は、原画像を示す概念図である。 図6は、第2画像の生成方法を示す概念図である。 図7は、傾きの算出方法を示す概念図である。 図8Aは、雨滴が存在する場合の原画像を示す図である。 図8Bは、雨滴が存在する場合の第2画像を示す図である。 図9は、車線区画線位置検出部を示す機能構成図である。 図10は、車線区画線位置検出部の動作を示すフローチャートである。 図11は、第2画像生成部を示す機能構成図である。 図12は、傾き算出部を示す機能構成図である。 図13は、第2画像生成部及び傾き算出部の動作を示すフローチャートである。 図14は、第2画像生成部の動作を説明するための説明図である。 図15は、傾き算出部の動作を説明するための説明図である。 図16は、比較部を示す機能構成図である。 図17は、比較部の動作を示すフローチャートである。
 以下に、図面を参照しつつ、本発明の実施形態について説明する。
 本実施形態に係る車線区画線検出装置13は、車両(走行体)が車線変更を行ったか否かを検出する装置であり、車両10に備えられる。図1は、走行路3を走行する車両10を示す概略図である。走行路3には、車線を区分けする車線区分線2が設けられている。車両10は、ウィンカ4、及びカメラ1を備えている。カメラ1は、車両10の進行方向とは反対側に向かって、走行路3を撮像する。撮像された画像は、車線区画線検出装置13に通知される。車線区画線検出装置13は、撮像された画像に基づいて車線変更が行われたか否かを検出する。車線区画線検出装置13による検出結果は、ウィンカ4の制御や、図示しないカーナビゲーションシステムに用いられる。
 図2は、車線区画線検出装置13の構成を示すブロック図である。車線区画線検出装置13は、CPU5、RAM(Random access memory)、記憶部8、及び入出力インタフェース9を有するコンピュータにより実現される。RAMには、車線区画線検出プログラム6が格納されている。車線区画線検出プログラム6は、例えばCD-ROMなどの記憶メディアから、予めRAM6にインストールされている。車線区画線検出装置13は、車線区画線検出プログラム6がCPU5によって実行されることにより、その機能を実現する。入出力インタフェース9は、カメラ1、カーナビゲーション装置24、及びウィンカ制御装置12に接続されている。車線区画線検出装置13は、入出力インタフェース9を介して、カメラ1、カーナビゲーション装置24、及びウィンカ制御装置12との間の通信を行う。記憶部8は、ハードディスクやROM(Read Only Memory)に例示される。記憶部8には、車線区画線検出プログラム6により使用される各種データが格納されている。
 図3は、車線区画線検出装置13の機能構成を示す機能ブロック図である。車線区画線検出装置13は、原画像取得部14、車線区画線位置検出部15、車線変更判断部16、及び検定部19を備えている。検定部19は、第2画像生成部18、傾き算出部21、及び比較部23を備えている。
 記憶部8には、原画像群及び相対位置データが、それぞれ時刻と対応付けられて格納されている。
 図4は、車線区画線検出装置13の動作方法を示すフローチャートである。
ステップS10;原画像の取得
 原画像取得部14は、カメラ1により撮像されて得られた画像を、原画像28として取得する。図5は、原画像28を示す概念図である。原画像28中には、車両10から離れた領域が写された遠方領域と、車両10に近い領域が写された近傍領域とが含まれている。原画像取得部14は、所定の時間間隔で、原画像を取得する。原画像取得部14は、取得した原画像を、取得した時刻と対応付けて、記憶部8に格納する。これにより、記憶部8には、複数の原画像(原画像群)が、時刻と対応付けられて格納される。
ステップS20;車線区画線の検出
 現在時刻t0において原画像が取得されたとする。時刻t0における原画像が、以下、第1画像と記載される。車線区画線位置検出部15は、第1画像に基づいて、車線区画線2の車両10からの相対位置を検出する。車線区画線位置検出部15は、検出した相対位置に現在時刻t0を対応付け、相対位置データとして記憶部8に格納する。このような処理が所定の時間間隔で行われることにより、記憶部8には、複数の時刻のそれぞれについて、相対位置データが格納されることになる。
ステップS30;車線変更の判断
 車線変更判断部16は、相対位置データに基づいて、時刻t0までの相対位置を時系列的に追跡し、車線変更が行われたか否かを判断する。車線変更判断部16は、車線変更が行われたと判断した場合、その旨を判断結果として検定部19に通知する。
 ステップS30における判断処理は、時刻t0における相対位置が正しく検出されていることが前提となる。そこで、以下のステップS40以降の処理により、相対位置が正しく検出されているか否かが検定され、車線変更の判断結果が検定される。
ステップS40;第2画像の生成
 第2画像生成部18が、第1画像の部分画像に基づいて、第2画像を生成する。第2画像は、原画像の撮像方向とは異なる視点で走行路3を見たときの画像である。具体的には、第2画像は、原画像28に撮影されている風景を、実世界における鉛直方向下向きの視線で見た場合の画像である。第2画像は、現在時刻t0に取得された第1画像の部分画像と、過去に取得された原画像の部分画像とに基づいて得られる。図6は、本ステップにおける動作を示す概念図である。図6を参照して、本ステップの動作について以下に詳述する。
 図6に示されるように、現在時刻t0において原画像28(t0)(第1画像)が得られたものとする。また、現在時刻t0よりも過去の時刻t1に、原画像28(t1)が取得されたとする。また、時刻t1において、原画像28(t1)に基づいて、第2画像27(t1)が生成されていたとする。
 第2画像生成部18は、前時刻t1で生成された第2画像27(t1)の各画素を、車両10の移動距離に対応する量だけ、遠方方向に移動させ、画像27(t1)を生成する。画像27(t1)において、車両近傍領域は、ブランクになる。
 次に、第2画像生成部18は、第1画像28(t0)に含まれる近傍領域を、鉛直方向下向きの視線で見た場合の画像(すなわち鳥瞰画像)に変換する。変換後の画像は、画像27(t1)のブランク部分に付加される。これにより、時刻t0における第2画像27(t0)が生成される。
 上述の処理は、原画像28が取得されるたびに実行される。すなわち、時刻tにて原画像28(t)が取得されるたびに、第2画像27(t)が生成されることになる。従って、時刻t1における第2画像27(t1)は、時刻t1よりも前に取得された原画像28の部分画像に基づいて生成された画像である。すなわち、第2画像27(t0)は、第1画像の部分画像と、時刻t0よりも前に取得された原画像28の部分画像とが、画像として接続されたものであるといえる。
 このようにして得られた第2画像27(t0)には、原画像28における近傍領域だけを含まれ、遠方領域が含まれていない。原画像28中において、遠方領域は、近傍領域よりも、ノイズが含まれている可能性が高い。従って、第2画像27では、遠方領域に起因するノイズが排除されている。
 尚、第2画像27としては、合成ではない鳥瞰画像、及び、フィルタ処理等が施された処理画像などが用いられてもよい。また、第2画像27としては、画像27(t0)に対して更にフィルタ処理などが施された画像が用いられてもよい。
 第2画像生成部18は、生成した第2画像27を検定部19へ通知する。
 続いて、ステップS50以降の処理について説明する。図7は、ステップS50~70における動作を説明する為の概念図である。
ステップS50;傾きの算出
 時刻t2から時刻t0にかけて、車両10が車線変更を行ったとする。このとき、図7の(a)に示されるように、時刻t2において原画像28(t2)が、時刻t1において原画像28(t1)が、時刻t0において第1画像28(t0)が、それぞれ生成される。車線変更が行われている場合、複数の原画像28(t2~t0)の間で、車線区画線2の車両10に対する相対位置が変化する。その結果、車両10の走行速度が適当な速度であれば、図7の(b)に示されるように、第2画像27(t0)内では、車線区画線2が斜めに延びるように示される。ステップS60では、傾き算出部21が、この車線区画線2の傾きを算出する。算出された傾きは、比較部23に通知される。
ステップS60;矛盾があるか否かの判断
 ステップS50で算出された傾きは、時刻と車線区画線2の相対位置との関係に対応するはずである。従って、比較部23は、相対位置データを参照して、算出された傾きが相対位置データと矛盾しているか否かを判定する。
ステップS70;比較
 ステップS60にて、矛盾がなければ、車線区画線位置検出部15における検出結果は、正しいと考えられる。従って、車線変更判断部16における判断結果も、正しいと考えられる。車線変更判断部16において車線変更が行われたと判断された場合であれば、比較部23は、車線変更判断部16による判断結果が正しいものであると判断(検定)する。すなわち、車線変更が行われた旨が出力される。一方、ステップS60にて矛盾があった場合には、車線区画線位置検出部15における検出結果は、誤りであると考えられる。そのため、比較部23は、車線変更判断部16における判断結果を、誤りであると検定する。比較部23は、車線変更判断部16において車線変更が行われたと判断した場合であっても、車線変更は行われていないと判断する。
 比較部23は、車線変更が行われたと判断した場合には、その旨をウィンカ制御装置12、及びカーナビゲーション装置24に通知する。
 ウィンカ制御装置12は、ウィンカ4を制御する。例えば、車線変更開始時には、通常、ウィンカ4が点滅させられる。このような場合に、ウィンカ制御装置12は、車線変更が行われた(終了した)旨の通知に応じて、ウィンカ4を消灯する。
 図3に示されるように、カーナビゲーション装置24は、位置把握部25と、通知部26と、表示装置11(例えばディスプレイ)とを備えている。カーナビゲーション装置24では、車線変更が行われた旨が通知されると、位置把握部25が車両10の現在位置を把握する。そして、通知部26が、把握した現在位置に基づいて、表示装置11に現在位置を表示させ、ドライバーに現在位置を通知する。
 以上説明したように、本実施形態によれば、検定部19が、第2画像27に基づいて、車線区画線位置検出部15で検出された相対位置が正しい位置であるか否かを検定する。第2画像28は、ノイズが含まれ易い遠方領域を含んでいない。従って、車線区画線位置検出部15による検出結果が遠方領域のノイズによって影響を受けていたとしても、検定部9によってそのノイズの影響を排除することができる。ノイズが存在する場合でも、正確に車線区画線2の相対位置を検出することができ、車線変更が行われたか否かを正確に判断することができる。
 また、本実施形態では、原画像28とは視点が異なる第2画像27に基づいて、検定が行われる。原画像28と第2画像27とでは、その性質が異なっているため、それぞれの画像において出現するノイズに起因した誤検出を抑制することができる。この点について、以下に詳述する。
 遠方領域に起因するノイズを削除する観点からは、第2画像27だけを利用して、車線区画線2の位置を検出すればよいと考えられる。しかし、第2画像27だけを利用した場合には、別の観点からノイズの影響を受けてしまい易くなることがある。例えば、図8Aに示されるように、原画像28中における手前部分(近傍領域)に、雨滴36等が写っていたとする。雨滴等は、原画像28の同一位置に留まりやすい。その結果、第2画像27中においては、図8Bに示されるように、雨滴36部分が、車線区画線2のように直線状に写ってしまいやすい。そのため、第2画像27だけを利用して車線区画線2の位置を検出した場合には、このような雨滴36等がノイズとなり、誤検出が発生しやすい。これに対して、雨滴36等によるノイズは、原画像28中では部分的なノイズであり、車線区画線2とは容易に区別される。
 すなわち、本実施形態によれば、撮像方向とは異なる方向から走行路3を見たときの画像(第2画像)を用いることにより、原画像及び第2画像のそれぞれの画像に由来する誤検出の原因を相殺することができる。その結果、ノイズが存在する場合でも、正確に車線変更が行われたか否かを検出することができる。
(実施例)
 次に、本発明をより詳細に説明する為に、実施例について説明する。
 実施の形態にて説明したように、本実施例に係る車両10には、後部に、進行方向とは逆方向を向いたカメラ1が備えられているものとする(図1参照)。本実施例に係る車線区画線検出装置13は、車線区画線2が車両10を相対的に横方向に通過する事象、すなわち、車両10が車線区画線2を跨ぐ事象を検出する装置である。
 本実施例に係る車両検出装置13の構成は、概略的には、実施形態に係る車両検出装置13(図3参照)と同様である。但し、本実施例では、各構成要素を、より具体的に説明する。
 まず、車線区画線位置検出部15及び車線変更部16の構成及び動作について詳述する。
 図9は、車線区画線位置検出部15を具体的に示す機能構成図である。車線区画線位置検出部15は、原画像2値化部15-1、Hough変換部15-2、及び左右自車車線区画線選択部15-3を含んでいる。
 図10は、車線区画線位置検出部15及び車線変更判断部16における動作を詳細に示すフローチャートである。すなわち、ステップS20及びステップS30の動作を詳細に示すフローチャートである。
ステップS21;原画像の取得
 時刻tにおいて、車線区画線位置検出部15が、原画像28(t)を取得する。
ステップS22;2値化
 原画像2値化部15-1が、原画像28(t)を2値化し、原画像28(t)に含まれる各画素を、前景と背景とに分類する。例えば、原画像28(t)に含まれる各画素の階調数が256であったとする。この場合、原画像2値化部15-1は、各画素の輝度値を求める。輝度値が200以上である画素は前景に分類され、それ以外の画素は背景に分類される。
ステップS23;Hough変換
 次に、Hough変換部15-2が、前景の画素を特徴点としてHough変換を行い、直線群を検出する。
ステップS24;車線区画線の識別
 次に、左右車線区画線選択部15-3が、検出された直線群に基づいて、車両10に対して左右の車線区画線2を識別する。例えば、左右自車車線区画線選択部15-3は、検出された直線群のうち、Hough時における投票値が多い直線を、左右の車両区画線2として識別する。又は、前時刻の左右の車線区画線2に最も近い直線が、左右の車両区画線2として識別される。そして、識別した車両区画線2の位置は、時刻tと対応付けられ、相対位置データとして記憶部8に格納される。
 車線区画線位置検出部15は、以上のステップS21~24までの処理を、原画像取得部14によって原画像が取得されるたびに行う。
 尚、車線区画線位置検出部15の具体的構成は、上述の構成に限定されるものではない。車線区画線位置検出部15は、左右の車線区画線2を示す直線を検出することができるように構成されていればよい。
ステップS30;車線区画線を跨いだか否かの判断
 現在時刻t0における処理に着目する。現在時刻t0において、車線変更判断部16は、車両10が左右どちらかの車線区画線2を跨いだか否かを判断する。具体的には、車線変更判断部16は、相対位置データを参照する。そして、左右それぞれの車線区画線2の相対位置を、時刻t0に至るまで時系列的に把握する。車線変更判断部16は、時刻t0に至るまでに、左右の車線区画線2のうちのいずれかが車両10の中央を含む所定の範囲(例えば、車両の中央を中心とした±70cmの範囲)を超えた場合に、車両10が車線区画線2を跨いだと判断する。
 続いて、第2画像生成部18及び傾き算出部21の構成及び動作を詳述する。
 図11は、第2画像生成部18を具体的に示す機能構成図である。第2画像生成部18は、画素移動部18-1、鳥瞰化部18-2、及び領域付加部18-3を含んでいる。
 図12は、傾き算出部21を具体的に示す機能構成図である。傾き算出部21は、区画線位置変換部21-1、及び第2画像内傾き算出部21-2を含んでいる。
 図13は、第2画像生成部18及び傾き算出部21の動作を示すフローチャートである。すなわち、ステップS40~ステップS50の動作を示すフローチャートである。
ステップS41;画素の移動
 時刻t0における処理に着目する。画素移動部18-1は、図6で示したように、過去時刻t1に得られた第2画像27(t1)の各画素を、車両10の移動量に応じて、遠方に移動させる。例えば、第2画像27(t1)の最下部(車両の近傍方向端部)が、カメラ1の先端から1m離れた位置に対応するものとする。また、一つの画素が、道路面の縦5cm及び横5cmの領域に対応するものとする。また、車両10の前時刻t1からの移動量が、50cmであったとする。このような場合には、画素移動部18-1は、第2画像27(t1)中の各画素を、遠方方向側に10pixel移動させる。
ステップS42;鳥瞰画像化
 鳥瞰化部18-2は、第1画像28(t0)の近傍領域を鳥瞰画像化する。この際、その近傍領域の範囲は、実世界における車両10の移動量に対応する範囲でなければならない。
 以下に、鳥瞰画像化について詳述する。図14は、鳥瞰化部18-2の動作を説明する為の説明図である。
 図14に示されるように、鳥瞰化部18-2は、カメラ1の撮像座標系を定める。本実施例においては、撮像の際の実世界から原画像への変換は、透視変換であるものとする。また、レンズ等の歪み等による他の変換の要因はないものとする。図14において、実世界の座標系がXYZで表され、原画像座標系がxyと表される。ここで、X軸とx軸、Y軸とy軸はそれぞれ平行である。また、透視変換における焦点距離が、fとして表される。また、道路面32は、Y軸に対して垂直な平面をなすものとする。実世界座標系の原点から道路面32までの距離が、Hとして表される。この場合、道路面32上の点(Xi、H、Xi)に対応する原画像内の座標(xi、yi)は、次式(1)により表現される。
  (数1)
Figure JPOXMLDOC01-appb-I000001
 鳥瞰画像は、道路面32を実世界で鉛直方向下向きの視線で見た場合の画像である。すなわち、道路面32上の実世界座標を、適当な間隔(例えば縦5cm、横5cm)により、量子化したものである。従って、部分画像を変換画像へ変換するために、鳥瞰化部18-1は、上式(1)により、変換画像要素内の各画素が第1画像内のどの画素に対応しているかを求める。そして、鳥瞰化部18-1は、変換画像要素内の各画素の輝度を、対応する第1画像内の画素の輝度に設定する。なお、カメラの撮像座標系において、透視変換以外の変換要因、例えばレンズの歪み等が存在する場合は、式(1)の代わりに、変換要因を考慮した変換式を用いればよい。
ステップS43;ブランク部分に付加
 領域付加部18-3は、鳥瞰画像を、画素が移動された画像27(t1)のブランク部分に、付加する。これにより、時刻t0における第2画像27(t0)が得られる。
 続いて、傾き算出部21の動作について説明する。
ステップS51;車線区画線の位置の変換
 区画線位置変換部21-1は、相対位置データを参照し、原画像28(t0)に基づいて得られた車線区画線2の位置(時刻t0の相対位置)を、例えば式(1)に基づき、第2画像27(t0)内における位置に変換する。
ステップS52;車線区画線の像の角度の算出
 第2画像内傾き算出部21-2は、第2画像27(t0)内での車線区画線2の傾きを算出する。以下に、第2画像内傾き算出部21-2の動作について詳述する。図15は、第2画像内傾き算出部21-2の動作を説明するための説明図である。
 ステップS51で得られた車線区画線2の第2画像27(t0)内における位置が、原画像内車線区画線位置33と定義される。第2画像内傾き算出部21-2は、原画像内車線区画線位置33を、第2画像27(t0)における手前切片(車両近傍側端部)に設定する。第2画像内傾き算出部21-1は、車線区画線2を、位置33から延びるように設定する。第2画像内傾き算出部21-1は、第2画像27内に設定される中心軸線(車両近傍側から遠方側へ延びる線)と、設定した車線区画線2とが成す角度θを求める。ここで、角度θは、予め設定される角度範囲35内で設定される。このようにして、第2画像27(t0)内において、車線区画線2の像の位置が表現される。車線区画線2は、例えば、車線区画線2における画素値の和が最大となるように、設定される。具体的な例を挙げれば、角度範囲35が、中心軸線から±30度の範囲に設定されたとする。第2画像内傾き算出部21-1は、その角度範囲35内で、1度刻みで、車線区画線2の候補を設定する。そして、車線区画線2の候補又は車線区画線2の候補の周辺(例示;車線区画線2の候補を中心とした左右20cmの範囲)における画素値の和を、計算する。そして、設定した車線区画線2の候補のうちで、画素値の和が最大となるような線を、車線区画線2として決定し、角度θを決定する。第2画像内傾き算出部21-1は、決定した角度θを、時刻t0における傾きとして出力する。
 第2画像内傾き算出部21-1は、上述の処理を、原画像28が取得されるたびに行う。尚、角度θの決定にあたって用いられる評価値としては、必ずしも画素値の和が用いられる必要はない。その評価値としては、車線区画線らしさが表現された値が用いられればよい。
 続いて、比較部23の構成及び動作を詳述する。図16は、比較部23の構成を詳細に示す機能構成図である。比較部23は、傾き変換部23-1、及び推定移動量検定部23-2を備えている。また、図17は、比較部23の動作を示すフローチャートであり、ステップS70における動作を示すフローチャートである。
ステップS61;推定移動量Dの計算
 比較部23は、傾き(角度θ)に基づいて、車線区画線2の横方向への推定移動量Dを計算する。
 現在時刻t0における処理について着目する。傾き変換部23-1は、前時間t1から現時刻t0までの単位期間(時刻t1~t0)における車両10の走行距離を、Rtとして取得する。そして、単位期間(時刻t1~t0)における車線区画線2の横方向への移動量Dtが、角度θを用いて、下記式(2)により計算される。Rtは、例えば、車両10に備えられた走行距離測定器から得られる。
  (数2)
Figure JPOXMLDOC01-appb-I000002
 また、傾き変換部23-1は、相対位置データを参照し、車両区画線2が、車両10の正面中央を含む所定の範囲(以下、第1範囲と記載する)に位置している期間を、第1期間として把握する。第1範囲は、例えば、車両10の正面中央から±70cmの範囲であり、予め記憶部8などに設定されている。次に、傾き変換部23-1は、第1期間における移動量Dtの総和を、推定移動量Dとして計算する。
 なお、推定移動量Dの計算方法は上述の方法に限定されるものではない。例えば、角度θに代えて、第1期間における角度θの平均値又は中央値が用いられてもよい。また、角度θに代えて、何らかの方法による角度θの推定値θaが用いられてもよい。また、傾き変換部23-1は、車線区画線2が第1範囲を通過した段階で、第1期間における車両10の走行距離Rを計算し、下記式(3)に従って推定移動量Dを求めてもよい。
  (数3)
Figure JPOXMLDOC01-appb-I000003
ステップS62;推定移動量の判定
 推定移動量検定部23-2は、推定移動量Dを第1範囲の長さ(例えば140cm)と比較する。ステップS20にて車線区画線2が正しく検出されていれば、推定移動量Dは第1範囲の長さに一致するはずである。従って、推定移動量検定部23-2は、推定移動量Dと第1範囲の長さとの差を求める。その差が所定の値(例えば、第1範囲の長さの20%)以内である場合には、車線区画線2が正しく検出されていると判断される。すなわち、車線変更判断部16の判断結果が正しいと判断される。一方、推定移動量Dと第1範囲の長さとの差が所定の値よりも大きい場合には、車線区画線2が誤って検出されたと判断される。この場合には、車線変更判断部16の判断結果が間違っていると判断される。
ステップS70;検定結果の出力
 その後、比較部23は、ステップS62の結果に基づいて、車線変更判断部16における判断が正しいと判断した場合にだけ、車線変更が行われた旨を出力する。
 以上、本発明の実施の形態、及び実施例について説明した。ただし、上述の実施の形態及び実施例は、本発明の趣旨を逸脱しない範囲内において、様々に変更可能である。例えば、上述の実施形態、及び実施例では、検出された車線区画線2の相対位置が、車線変更が行われたか否かの判断に用いられる場合について説明した。但し、本発明は、車線変更が行われたか否かの判断を行う装置に限定されるものではない。たとえば、検出された車線区画線2の相対位置が、車線区画線2が車両から相対的に移動したことを検出するために用いられてもよい。
なお、本出願は、日本出願番号2008-271813に基づく優先権を主張するものであり、日本出願番号2008-271813における開示内容は引用により本出願に組み込まれる。

Claims (10)

  1.  走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、
     前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、
     時刻t0に取得された前記原画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、前記時刻t0における前記車線区画線位置検出手段の検出結果を検定する、検定手段と、
    を具備する
    車線区画線検出装置。
  2.  請求の範囲1に記載された車線区画線検出装置であって、
    更に、
     前記車線区画線位置検出手段により検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断する、車線変更判断手段、
    を具備し、
     前記検定手段は、前記車線区画線位置検出手段の検出結果を検定することにより、前記車線変更判断手段の判断結果を検定する
    車線区画線検出装置。
  3.  請求の範囲1又は2に記載された車線区画線検出装置であって、
     前記検定手段は、前記第1画像の部分画像と前記過去画像の部分画像とに基づいて第2画像を生成する第2画像生成手段を備え、前記第2画像に基づいて検定を行う
    車線区画線検出装置。
  4.  請求の範囲3に記載された車線区画線検出装置であって、
     前記第2画像生成手段は、前記第2画像として、前記走行路を前記原画像における撮像方向とは異なる第1方向から見たときの画像を生成する、
    車線区画線検出装置。
  5.  請求の範囲4に記載された車線区画線検出装置であって、
     前記第1方向は、前記走行路を鉛直上方向から鉛直下方向に見たときの方向である
    車線区画線検出装置。
  6.  請求の範囲4又は5に記載された車線区画線検出装置であって、
     前記検定手段は、
      前記第2画像内に示される前記車線区画線の傾きを算出する傾き算出手段と、
      前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出する、推定移動量算出手段と、
      前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定する、比較手段とを備える
    車線区画線検出装置。
  7.  請求の範囲1乃至6のいずれかに記載された車線区画線検出装置と、
     前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、
     前記位置把握部により把握された位置をユーザに通知する通知手段と、
    を具備する
    カーナビゲーションシステム。
  8.  請求の範囲1乃至6のいずれかに記載された車線区画線検出装置と、
     前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段と、
    を具備する
    ウィンカシステム。
  9.  走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得し、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出し、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、車線区画線検出方法。
  10.  走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、
     前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、
     時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、をコンピュータに実行させるための、車線区画線検出プログラム。
PCT/JP2009/067471 2008-10-22 2009-10-07 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム WO2010047226A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/062,765 US8594380B2 (en) 2008-10-22 2009-10-07 Lane marking detection apparatus, lane marking detection method, and lane marking detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-271813 2008-10-22
JP2008271813A JP4656456B2 (ja) 2008-10-22 2008-10-22 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム

Publications (1)

Publication Number Publication Date
WO2010047226A1 true WO2010047226A1 (ja) 2010-04-29

Family

ID=42119268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/067471 WO2010047226A1 (ja) 2008-10-22 2009-10-07 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム

Country Status (3)

Country Link
US (1) US8594380B2 (ja)
JP (1) JP4656456B2 (ja)
WO (1) WO2010047226A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027803A1 (ja) * 2011-08-25 2013-02-28 日産自動車株式会社 車両用自律走行制御システム
JP6214995B2 (ja) * 2013-10-11 2017-10-18 株式会社東芝 駐車車両検出装置、車両管理システム、制御方法及び制御プログラム
KR102255432B1 (ko) * 2014-06-17 2021-05-24 팅크웨어(주) 전자 장치 및 그의 제어 방법
US9677898B2 (en) 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
EP3098753A1 (en) 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
JP6421391B2 (ja) * 2015-07-15 2018-11-14 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
FR3047589B1 (fr) * 2016-02-10 2018-02-02 Peugeot Citroen Automobiles Sa Procede et dispositif d'estimation de la position laterale d'un vehicule dans une voie de circulation
CA3018663C (en) 2016-03-24 2019-04-30 Nissan Motor Co., Ltd. Travel lane detection method and travel lane detection device
CN112258841B (zh) * 2020-10-26 2022-08-02 大连大学 一种基于它车辆轨迹预测的智能车辆风险评估方法
CN114299461A (zh) * 2021-12-06 2022-04-08 江苏航天大为科技股份有限公司 一种基于两阶段的车辆违规变道识别方法
JP7233627B1 (ja) * 2022-05-31 2023-03-06 三菱電機株式会社 物体検知装置、物体検知方法、及び物体検知プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JPH097099A (ja) * 1995-06-16 1997-01-10 Fuji Heavy Ind Ltd 警報装置
JP2000011298A (ja) * 1998-06-22 2000-01-14 Yazaki Corp 車両用後側方監視装置
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP2006069323A (ja) * 2004-09-01 2006-03-16 Mazda Motor Corp 車両の車線逸脱警報装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2665738B2 (ja) * 1986-07-11 1997-10-22 株式会社小松製作所 地点追従方式による無人移動機械の誘導方法
JP2798349B2 (ja) * 1993-11-08 1998-09-17 松下電器産業株式会社 車両位置検出装置
US5835028A (en) * 1997-05-05 1998-11-10 Bender; Lee Lane marker position sensor and alarm
JP2001289654A (ja) * 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP2002029347A (ja) 2000-07-17 2002-01-29 Honda Motor Co Ltd 車両用走行区分線検出装置
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
JP3736346B2 (ja) * 2000-12-26 2006-01-18 日産自動車株式会社 車線検出装置
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
KR20020094545A (ko) * 2001-06-12 2002-12-18 현대자동차주식회사 자동차의 차선 이탈 방지시스템 및 그 제어방법
JP2003044978A (ja) * 2001-07-27 2003-02-14 Mitsubishi Motors Corp 走行レーン認識装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
GB0305304D0 (en) * 2003-03-07 2003-04-09 Qinetiq Ltd Scanning apparatus and method
JP4066869B2 (ja) * 2003-04-08 2008-03-26 トヨタ自動車株式会社 車両用画像処理装置
JP3979339B2 (ja) * 2003-05-12 2007-09-19 日産自動車株式会社 車線逸脱防止装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP2006069322A (ja) * 2004-09-01 2006-03-16 Mazda Motor Corp 車両の車線逸脱警報装置
JP4229051B2 (ja) * 2004-11-26 2009-02-25 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7050908B1 (en) * 2005-03-22 2006-05-23 Delphi Technologies, Inc. Lane marker projection method for a motor vehicle vision system
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP2006012191A (ja) 2005-09-01 2006-01-12 Honda Motor Co Ltd 車両用走行区分線認識装置
JP2007114020A (ja) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd 車両の移動距離検出方法、車両の移動距離検出装置、車両の現在位置検出方法及び車両の現在位置検出装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JPH097099A (ja) * 1995-06-16 1997-01-10 Fuji Heavy Ind Ltd 警報装置
JP2000011298A (ja) * 1998-06-22 2000-01-14 Yazaki Corp 車両用後側方監視装置
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP2006069323A (ja) * 2004-09-01 2006-03-16 Mazda Motor Corp 車両の車線逸脱警報装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN109543493B (zh) * 2017-09-22 2020-11-20 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备

Also Published As

Publication number Publication date
US8594380B2 (en) 2013-11-26
JP4656456B2 (ja) 2011-03-23
JP2010102427A (ja) 2010-05-06
US20110164790A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
WO2010047226A1 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
US9047518B2 (en) Method for the detection and tracking of lane markings
JP5014237B2 (ja) レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP4793324B2 (ja) 車両監視装置および車両監視方法
WO2009088035A1 (ja) 車線認識装置、車線認識方法および車線認識プログラム
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JP5401257B2 (ja) 遠赤外線歩行者検知装置
WO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2014002692A1 (ja) ステレオカメラ
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
US9508000B2 (en) Object recognition apparatus
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
KR101637535B1 (ko) 탑뷰 영상 왜곡 보정 장치 및 방법
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP5062316B2 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
WO2009119070A1 (ja) 車両用画像処理装置及び画像処理プログラム
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2010041322A (ja) 移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法
JP5012522B2 (ja) 路側境界面検出装置
JP2007018451A (ja) 道路区画線検出装置
JP2009193130A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2004326559A (ja) 車線区分線検出装置
EP3227827A1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
JP4956841B2 (ja) 車両用画像処理装置、車両、及び車両用画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09821924

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13062765

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09821924

Country of ref document: EP

Kind code of ref document: A1