WO2005029440A1 - 路面走行レーン検出装置 - Google Patents

路面走行レーン検出装置 Download PDF

Info

Publication number
WO2005029440A1
WO2005029440A1 PCT/JP2004/013802 JP2004013802W WO2005029440A1 WO 2005029440 A1 WO2005029440 A1 WO 2005029440A1 JP 2004013802 W JP2004013802 W JP 2004013802W WO 2005029440 A1 WO2005029440 A1 WO 2005029440A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
line
curve
group
segment
Prior art date
Application number
PCT/JP2004/013802
Other languages
English (en)
French (fr)
Inventor
Toshiaki Kakinami
Takashi Hiramaki
Tokihiko Akita
Original Assignee
Aisin Seiki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Kabushiki Kaisha filed Critical Aisin Seiki Kabushiki Kaisha
Priority to US10/572,956 priority Critical patent/US20070084655A1/en
Priority to EP04787985A priority patent/EP1667085A4/en
Publication of WO2005029440A1 publication Critical patent/WO2005029440A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a traveling lane detecting device on a road surface, and more particularly to a traveling lane detecting device for detecting a traveling lane from an image of a road surface in front of a vehicle continuously imaged.
  • marking lines are painted on the road surface for various purposes, including lane boundaries that identify the boundaries of driving lanes (lanes), and marking lines in different forms such as solid lines, broken lines, or blocks. Also, there is a mixture of marking lines of different colors such as white or yellow, and a combination of these marking lines also exists.
  • FIG. 3 is an example of an image DS including a marking line on a two-lane road surface near a tunnel entrance.
  • a lane boundary line LB indicating a left boundary of the driving lane DL
  • a white or yellow solid line is used as the driving guide line LG.
  • a white or yellow dashed marking line is used as the lane boundary line RB indicating the right boundary of the driving lane DL
  • a white block-shaped marking line painted on the inside thereof is used as the driving guide line RG. Used.
  • the width of these marking lines is set to 20 cm, and the length of the dashed marking line is set to 8 m, and the length of the blank space between the painting parts is set to 12 m.
  • the width of the block-shaped marking line is set to 30cm, the length of the painted part is set to 2-3m, and the length of the blank part between the painted parts is set to 2-3m.
  • a lane boundary line or a driving guidance line means a sign indicating the function, and a white line or a yellow line on the road surface is referred to as a lane mark.
  • Patent Document 1 discloses the device.
  • the vehicle is configured as follows. That is, the image captured by the camera also detects the marking lines drawn on the road surface of the road, and extracts the marking lines that should be a pair of white lines separating the driving lane from the detection lines. Then, an interval between a pair of marking lines extracted as a white line is detected.
  • Patent Document 2 proposes a lane boundary detection device configured as described below for the purpose of stably detecting a lane boundary. That is, the sensitivity to the spatial density change of the image data is set to be relatively high, the first contour information detecting means for extracting the first contour information from the image data, and the first contour information detecting means for the spatial density change of the image data.
  • the second contour information detecting means for setting the sensitivity to be relatively low and extracting the second contour information from the image data, and extracting the outermost contour information of the white line group from the first and second contour information.
  • a contour extracting means is provided, and a lane boundary position is set based on the outermost contour information.
  • Patent Document 3 proposes a lane boundary detection device configured as follows for the same purpose as described above.
  • the outermost contour extraction unit (reference numeral 15 in Patent Document 3; the same applies hereinafter) converts the original image data stored in the frame buffer unit (13) and the position information of the edge detected by the edge detection unit (14).
  • the outermost contour information of the white line group is extracted based on the contour data including.
  • the outermost contour extraction unit (15) determines whether or not the edge corresponds to a gap generated between the white lines constituting the white line group based on the outline data including the position information of the extracted edge of the original image data. Is described, and the edge corresponding to the gap is also deleted from the contour data force.
  • Patent Document 4 also discloses a lane boundary constructed as follows for the same purpose as described above. Detection devices have been proposed. That is, the traveling lane of the moving object including the lane in the predetermined area is imaged by the imaging means to obtain image data. A density histogram is created based on the obtained image data, and a group of histograms is detected to perform grouping. Then, a first center position, which is the center of each histogram, is detected from the grouped histograms, and based on the first center position, the center is set in the group of histograms grouped together. Detect the second center position.
  • the center of the lane mark or the lane mark group having a plurality of lane marks is detected, and the lane mark boundary position is determined.
  • the document states that the creation of a histogram enables stable detection of lane mark boundary positions.
  • Hough transform is widely known as a straight line detection method, and is described, for example, in Non-Patent Document 1 below.
  • Such a Hough transform is known as a method of detecting a line that is robust to noise.
  • ⁇ the curve on the coordinate system is characterized by crossing at one point.
  • RANSAC Random Sample Consensus
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-168198
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2003-187227
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2003-187252
  • Patent Document 4 JP 2003-178399 A
  • Non-Patent Document 1 Hideyuki Tamura, ⁇ Introduction to Computer Image Processing '', Soken Shuppan, March 10, 1985, 1st edition, 1st edition, p. 127 and p. 128
  • Non-Patent Document 2 Random Sample by Martin A. Fischero and Robert C. Bolles
  • Consensus A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Graphics and Image Processing, vol. 24 (6), pages 381—395. Published in 1981 Non-Patent Document 3: "Multiple View Geometry in Computer Vision” by Richard Hartley and Andrew Zisserman, Cambridge University Press. August 2000, pp. 101-107.
  • Patent Document 1 discloses that when a plurality of sign lines adjacent to each other on at least one side are detected as lane boundary lines of a road, the distance between a pair of sign lines detected at that time is determined. It is stated that a pair of marking lines that best match the interval will be extracted as a white line based on, and it is assumed that the interval between the lane boundary lines on both sides is constant. Further, it is not easy to specify a reference line from a plurality of marking lines, and further improvement is desired.
  • the outermost contour position is specified by lowering the sensitivity in the gap between a plurality of marking lines by using two types of contour detection methods having different sensitivities to spatial density changes. Therefore, even if the contrast between the marking line and the gap is insufficient due to lighting conditions, etc., or if the image is saturated and saturated, the position of the outermost contour can be specified stably. It is extremely difficult to detect the marking line at the position of the lane boundary line.
  • the edge interval is narrow, and the density difference force at both edge positions is regarded as a gap between a plurality of marking lines, and the data is not adopted.
  • the position of the outermost contour can be stably specified in the same way as described above, but this also involves detecting the marking line at the original lane boundary position. Is difficult.
  • the lane width (lane Width) is slightly smaller than the actual lane width by lm, and in some cases, smooth running control becomes difficult. Therefore, it is necessary to be able to reliably distinguish the block-shaped marking line from the boundary of the driving lane.
  • the present invention can stably identify the position of the boundary of the traveling lane in a road traveling lane detection device that detects a traveling lane from an image of a road surface in front of a vehicle that is continuously imaged. It is an object to provide a road surface traveling lane detecting device.
  • the present invention provides a road surface traveling lane detection device that detects a traveling lane from an image captured continuously of a road surface by an imaging unit.
  • Edge point detecting means for detecting the edge points of the plurality of edge points, and a plurality of edge points detected by the edge point detecting means, wherein a line segment is created based on the continuity of the distance and azimuth between each of the edge points.
  • Segment group creating means for creating a group of segments by grouping a plurality of line segments having a predetermined relationship
  • curve detecting means for detecting a curve that matches the segment group created by the segment group creating means.
  • a plurality of curves distributed near the left and right lane boundaries among the curves detected by the curve detecting means are compared with the segment group created by the segment group creating means, and the curve closest to the center of the traveling lane is compared.
  • the segment group constituting the curved line has a predetermined length and a repetition period, it is specified as the innermost marking line, and the position of the curve adjacent to the center of the traveling lane outside the innermost marking line is determined.
  • a lane boundary line position specifying means for specifying the position of the boundary line of the traveling lane.
  • the plurality of line segments having a predetermined relationship refers to a line segment that can be sequentially selected, for example, within a predetermined distance and azimuth range with respect to a predetermined line segment.
  • the segment group creation means exists within a range of a predetermined distance and an azimuth with respect to a predetermined line segment among the plurality of line segments.
  • the line group may be configured to create another line segment as one group.
  • the segment group creating means may include an edge point group based on a plurality of edge points detected by the edge point detecting means, The line segment may be created based on the continuity of the distance and the azimuth.
  • the segment group creating means may include, within a line segment group based on the plurality of line segments, another line segment within a range of a predetermined distance and a direction set for the predetermined line segment. In such a case, a configuration may be adopted in which it is determined that the above-mentioned relationship is established, and processing is performed as belonging to the same group.
  • the present invention relates to a road surface traveling lane detecting device that detects a traveling lane from an image of a road surface continuously imaged by an imaging means, and an edge inspection for detecting a plurality of edge points in an image.
  • Output means a curve detection means for detecting a curve of an edge point group that matches the plurality of edge points detected by the edge point detection means, and an edge point group contributing to the configuration of the curve detected by the curve detection means.
  • a segment group creating means for creating a segment group by making a match, and comparing a plurality of curves distributed near the left and right lane boundaries among the curves detected by the curve detecting means with the segment group created by the segment group creating means.
  • the vehicle may further include a lane boundary position specifying unit that specifies a position of a curve adjacent to the center of the row lane outside the innermost marking line as a position of a boundary line of the traveling lane.
  • the segment group creating unit creates an edge histogram for the edge point group contributing to the configuration of the curve detected by the curve detecting unit, and groups the edge point group contributing to the histogram peak.
  • the edge histogram is a horizontal edge histogram created in the horizontal direction with respect to the vertical component of the edge point group.
  • the edge point detecting means detects the plurality of edge points on the image picked up by the image pick-up means, and then projects the coordinate values of the plurality of edge points back to three-dimensional road surface coordinates to perform the projection. It may be configured to output as a plurality of edge points.
  • the present invention has the following effects because it is configured as described above. That is, when the segment group forming the curve closest to the center of the traveling lane has a predetermined length and a repetition period, it is specified as the innermost marking line, and the innermost marking line is determined with respect to the center of the traveling lane. Positional force of the curve adjacent to the outside of the line Since it is specified as the position of the boundary of the driving lane, the block-shaped marking line in which the segment group has a predetermined length and repetition period is the boundary of the driving lane. Are clearly distinguished and excluded. Therefore, the position of the boundary of the traveling lane can be specified stably.
  • the segment group creating means can appropriately create a segment group by configuring as described above. Further, the edge point detection means can appropriately detect and process a plurality of edge points by having the above configuration.
  • FIG. 1 is a block diagram showing a main configuration of a road lane device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a hardware configuration of a road surface traveling lane device according to one embodiment of the present invention.
  • FIG. 3 is a front view showing an example of an image captured in one embodiment of the present invention.
  • FIG. 4 is a plan view showing a plurality of edge points projected on road surface coordinates in one embodiment of the present invention.
  • FIG. 5 is a plan view showing a line segment projected on road surface coordinates in one embodiment of the present invention.
  • FIG. 6 is a plan view showing an example of grouping of line segments in one embodiment of the present invention.
  • FIG. 7 is a plan view of a lane mark projected on road surface coordinates in another embodiment of the present invention, and a graph showing a corresponding horizontal histogram.
  • FIG. 1 shows an embodiment of a road surface traveling lane detecting device, which is configured to continuously capture an image of a road surface by an imaging means VD and detect the captured image traveling lane.
  • an edge point detecting means ED for detecting a plurality of edge points from a contour line in an image, and a distance and an azimuth between each edge point with respect to the plurality of edge points detected by the edge point detecting means ED.
  • a segment group creating means SD for creating a line segment based on the continuity of a plurality of segments and grouping a plurality of line segments having a predetermined relationship to create a segment group, and a segment group created by the segment group creating means SD.
  • a curve detecting means CD for detecting a curve that fits the client group. Then, the lane boundary position identifying means LD compares the plurality of curves distributed near the left and right lane boundaries among the curves detected by the curve detecting means CD with the segment groups created by the segment group creating means SD, and travels. When the segment group that forms the curve closest to the center of the lane has a predetermined length and repetition period, it is specified as the innermost marking line. It is configured to identify the position as the position of the boundary of the traveling lane.
  • the road surface traveling lane detecting device of FIG. 1 has the hardware configuration shown in FIG. That is, for example, a CCD camera (hereinafter simply referred to as a camera) CM is mounted as an image pickup means VD in front of a vehicle (not shown), and a field of view in front of the vehicle including a road surface is continuously imaged. camera The video signal of CM is converted to AZD via video input buffer circuit VB and sync separation circuit SY and stored in frame memory FM. The image data stored in the frame memory FM is processed by the image processing unit VC.
  • a CCD camera hereinafter simply referred to as a camera
  • the image processing unit VC includes an image data control unit VP, an edge point detection unit EP, a segment group creation unit SP, a curve detection unit CP, and a lane boundary position identification unit LP.
  • the edge point detection unit EP, segment group creation unit SP, curve detection unit CP, and lane boundary line position identification unit LP are respectively the edge point detection unit ED, segment group creation unit SD, curve detection unit CD, Corresponds to lane boundary position identification means LD.
  • the data addressed by the image data control unit VP is called from the image data in the frame memory FM and sent to the edge point detection unit EP, where a plurality of edge points are detected. Is detected.
  • a line segment is created based on the continuity of the distance and azimuth between the edge points in the present embodiment with respect to the edge point data detected in this manner, and a plurality of segments having a predetermined relationship are created. Are segmented to form a segment group. Further, a curve that matches the segment group created by the segment group creating means SD is detected by the curve detecting means CD.
  • the lane boundary line position identification unit LP selects a plurality of curves distributed near the left and right lane boundaries from the curve data detected by the curve detection unit CP as described above.
  • a plurality of curves are compared with the segment group created by the segment group creation unit SP, and when the segment group that forms the curve closest to the center of the running lane has a predetermined length and repetition period, it is used as the innermost marking line. Specified.
  • the position force of the curve adjacent to the center of the traveling lane outside the innermost marking line is specified as the position of the boundary of the traveling lane.
  • the position of the boundary line of the driving lane specified in this way is further determined by the system control, if necessary, together with the detection results of the driving lane width, the curvature of the road, the position with the own vehicle, the attitude angle, and the like. It is supplied to the SC (computer) and output to external system equipment (not shown) via the output interface circuit OU.
  • SC computer
  • CL, PW, and IN in FIG. 2 are a clock circuit, a power supply circuit, and an input interface circuit, respectively.
  • the edge point detection unit EP As shown in FIG. 3, a plurality of edge points are detected from an image DS captured by the camera CM, and a three-dimensional road surface is obtained from an image plane (not shown) of the plurality of edge points. Back projection to coordinates is performed. That is, based on the plurality of edge points detected on the image plane and the parameters of the camera CM, the coordinate values of the plurality of edge points are projected back as a point group of three-dimensional road surface coordinates as shown in FIG. (The line segments in Fig. 4 represent the edge points).
  • the white lines (LB, LG, RB, RG in Fig. 3) as lane marks are thinned or stained, or the white lines on the image are connected at adjacent parts due to the performance of the power CM.
  • the edge point group may be different from that of the lower part as shown in the upper part of FIG. 4, but it is appropriately determined without causing an error by the processing described later.
  • a curve including a plurality of straight lines is applied to a plurality of edge points (represented by EGP in FIG. 4) projected back onto the road surface, for example, by the above-described RANSAC.
  • Curve fitting is performed.
  • the above-described Hough transform may be used, or for example, the least square method may be applied.
  • the edge point group EGP may be grouped based on predetermined attributes, and may be subjected to curve fitting! /.
  • a line segment LS is created in the segment group creation unit SP based on the distance between the edge points and the continuity of the orientation with respect to the edge point group EGP. You.
  • the group of line segments if other line segments LS exist within the range of the distance and orientation set for a certain line segment LS, those line segments LS, LS belong to the same group.
  • a group is created as shown in Fig. 6 by repeating this process (the group inside the lane center is SGI and the group outside is lane SGO).
  • the plus edge the left side of the white line, shown as LS (+) in FIG. 5
  • the minus edge the right side of the white line, LS (—) in FIG. 5 is selected.
  • the plus edge the left side of the white line, shown as LS (+) in FIG. 5
  • the minus edge the right side of the white line, LS (—) in FIG. 5
  • curve fitting curve fitting
  • the data may be grouped based on a predetermined attribute and the curve fitting may be performed.
  • this line segment it is detected by the curve detection unit CP. It is verified what attribute the curved line is made up of. For example, if the curve of the group SGI in Fig. 6 is composed of multiple periodic short segments, it can be determined that the curve is applied to a relatively short marking line such as a block. it can.
  • the line segment has a predetermined length and period in the vertical direction or the horizontal direction, and is determined by the lane boundary line position specifying unit LP to be a block-shaped mark line.
  • the curve (eg, RG in Fig. 3) is removed from the candidate lane boundary, and the curve (RB in Fig. 3) outside the block-shaped marking line (RG in Fig. 3) with respect to the center of the lane is changed to It is determined as a boundary line.
  • the line segment LS is first determined, and the line segment LS is grouped and curve fitting is performed.
  • the line segment LS is configured as shown by the dashed arrow in FIG.
  • the embodiment may be such that a curve that fits a plurality of edge points is detected, and a group of segments is created by grouping edge points that contribute to the configuration of the curve. That is, in the image processing unit VC in FIG. 2, a curve that matches a plurality of edge points is detected by the curve detection unit CP, and the segment group creation unit SP determines the perpendicularity of the edge point group that contributes to the configuration of this curve. A horizontal edge histogram is created for the components, and a group of segments is created by grouping the edge points that contribute to the histogram peak.
  • a horizontal edge histogram is created for a plurality of edge points back-projected on the road surface of the three-dimensional road surface coordinates, as indicated by HG in FIG.
  • a plurality of peaks PK appear in each of the peak positions, each of which contains a large amount of vertical line components, so that an edge group contributing to each histogram peak is regarded as one group. can do.
  • the lane boundary line position identification unit LP determines that the histogram peak is a block-shaped marking line
  • the marking line (RG) is excluded from the lane boundary candidate, and the marking line (RB) outside the block-shaped marking line (RG) with respect to the center of the lane is regarded as the lane boundary line.
  • the marking line indicating the lane boundary provided on the traveling road surface is not only a simple solid line or a broken line, but also a plurality of lines formed by a combination of the simple marking line and the block-shaped marking line.
  • the position of the lane boundary line can be stably specified. As a result, it is possible to recognize the boundary line that satisfies the high reliability expected from the alarm system and the control system.
  • the road surface traveling lane detecting device can stably specify the position of the boundary line of the traveling lane as described above, and thus can be applied to, for example, various warning systems and control systems in vehicles and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

走行レーンの境界線の位置を安定的に特定し得る路面走行レーン検出装置を提供する。 エッジ点検出手段ＥＤにて画像中の輪郭線から複数のエッジ点を検出し、セグメント群作成手段ＳＤにて、各エッジ点間の距離と方位の連続性に基づいて線セグメントを作成し、所定の関係にある複数の線セグメントをグループ化してセグメント群を作成する。更に、曲線検出手段ＣＤにて、このセグメント群に適合する曲線を検出する。そして、レーン境界線位置特定手段ＬＤにて、走行レーン中心に最も近接した曲線を構成するセグメント群が所定の長さ及び繰り返し周期を有するときに最内側標示線として特定し、その外側に隣接する曲線の位置を、走行レーンの境界線の位置として特定する。

Description

明 細 書
路面走行レーン検出装置
技術分野
[0001] 本発明は、路面上の走行レーン検出装置に関し、特に車両前方の路面を連続して 撮像した画像カゝら走行レーンを検出する路面走行レーン検出装置に係る。
背景技術
[0002] 自動車の自動制御や運転者の運転支援等にお!ヽては、カメラで撮像した画像から 路面上の走行レーンを適切且つ安定的に検出することが重要となる。通常、路面上 には、走行レーン (車線)の境界を識別するレーン境界線をはじめ種々の目的に応じ て標示線が塗装されており、実線又は破線もしくはブロック状というように異なる形態 の標示線や、白色あるいは黄色というように異なる色彩の標示線が混在し、更には、 これらの標示線が複合されたものも存在する。
[0003] 例えば、図 3はトンネルの入口近傍の 2車線の路面における標示線を含む画像 DS の一例であるが、走行レーン DLの左側の境界を示すレーン境界線 LBとして、白色 又は黄色で実線の標示線が用いられ、その内側に塗装された白色でブロック状の標 示線が走行誘導線 LGとして用いられている。また、走行レーン DLの右側の境界を 示すレーン境界線 RBとしては、白色又は黄色で破線の標示線が用いられ、その内 側に塗装された白色でブロック状の標示線が走行誘導線 RGとして用いられて 、る。 通常、これらの標示線の幅は 20cmに設定され、破線の標示線は塗装部の長さが 8 m、塗装部間の空白部分の長さが 12mに設定されている。また、ブロック状の標示線 の幅は 30cmに設定され、塗装部の長さが 2— 3mで、塗装部間の空白部分の長さが 2— 3mに設定されている。尚、本願においては、レーン境界線あるいは走行誘導線 は機能力 みた標示線を意味し、路面上の白線又は黄線そのものを指すときはレー ンマークという。
[0004] 上記のように種々の標示線によって識別された路面上の走行レーンを検出する装 置については、従来力も種々提案されており、例えば特許文献 1に開示されている。 同公報においては、車両用走路判定装置および車両制御装置に関し、検出された 互いに隣接する複数の標示線力 車両における所定の基準線を適切に設定するこ とを目的として、次のように構成されている。即ち、カメラによる撮像画像力も道路の 路面上に描かれた標示線を検出し、その中から走行レーンを区切る一対の白線とな るべき標示線を抽出する。そして、白線として抽出された一対の標示線の間隔を検出 する。白線として抽出された一対の標示線の間隔が検出されて 、る状況下において 、カメラによる撮像画像力 道路の少なくとも一方側にお 、て互 、に隣接する複数の 標示線が検出された場合、その時点で検出されている白線としての一対の標示線の 間隔に基づいて、その間隔に最も合致する一対の標示線を白線として抽出する旨記 載されている。
[0005] また、特許文献 2には、車線境界を安定に検出することを目的とし、以下のように構 成された車線境界検出装置が提案されている。即ち、画像データの空間的な濃度変 化に対する感度が比較的高く設定され、画像データから第一の輪郭線情報を抽出 する第一の輪郭情報検出手段と、画像データの空間的な濃度変化に対する感度が 比較的低く設定され、画像データから第二の輪郭線情報を抽出する第二の輪郭情 報検出手段と、第一及び第二の輪郭線情報から白線群の最外輪郭情報を抽出する 輪郭抽出手段が備えられ、該最外輪郭情報に基づ ヽて車線境界位置が設定される 。従って、濃度変化に対する感度が高く設定されることで一方には白線間の隙間に 対応するエッジの情報が含まれ、他方にはそれが含まれないので、その隙間に対応 するエッジの情報の削除が容易になる旨記載されて 、る。
[0006] 更に、特許文献 3にも、上記と同様の目的で、以下のように構成された車線境界検 出装置が提案されている。即ち、最外輪郭抽出部 (特許文献 3における符号 15。以 下同様）は、フレームバッファ部（13)に記憶された原画像データとエッジ検出部（14 )にて検出されたエッジの位置情報を含む輪郭データに基づいて白線群の最外輪郭 情報を抽出する。最外輪郭抽出部（15)は、原画像データ力 抽出されたエッジの位 置情報を含む輪郭データに基づいて、該エッジが白線群を構成する白線の間に生じ た隙間に対応する力否かを判定し、該隙間に対応するエッジを輪郭データ力も削除 する旨記載されている。
[0007] そして、特許文献 4にも、上記と同様の目的で、以下のように構成された車線境界 検出装置が提案されている。即ち、撮像手段により所定領域の車線を含む移動体の 走行レーンを撮像して、画像データを得る。この得られた画像データに基づき、濃度 ヒストグラムを作成し、ヒストグラムの集まりを検出してグループィ匕を行う。そして、ダル ープ化されたヒストグラムの中で、個々のヒストグラムの中央となる第 1中央位置を検 出し、第 1中央位置に基づき、グループィ匕されたヒストグラムの集まりの中で中央とな る第 2中央位置を検出する。更に、異なるグループのヒストグラム間どうしの第 2中央 位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中 央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒス トグラムの作成により、安定したレーンマーク境界位置の検出が行える旨記載されて いる。
[0008] 一方、画像処理技術に関し、直線検出方法として Hough変換が広く知られており、 例えば、下記の非特許文献 1に解説されている。このような Hough変換はノイズにロバ ストな直線検出方法として知られ、（X, y)座標系の点を ， Θ )極座標系上の曲線 に変換する過程で、（X, y)座標系で同一の直線上にあった特徴点による ， Θ )座 標系上の曲線は 1点で交差することを特徴としている。更に、近年コンピュータビジョ ンにおいて、ロバスト法の一種である RANSAC (Random Sample Consensus)が注目さ れており、下記の非特許文献 2に詳細に解説されている。また、下記の非特許文献 3 にも、 RANSACが解説されている
[0009] 特許文献 1：特開 2003—168198号公報
特許文献 2：特開 2003— 187227号公報
特許文献 3：特開 2003— 187252号公報
特許文献 4 :特開 2003— 178399号公報
非特許文献 1 :田村秀行監修「コンピュータ画像処理入門」、総研出版、昭和 60年 3 月 10日第 1版第 1刷発行、 127頁及び 128頁
非特許文献 2 : Martin A. Fischero及び Robert C. Bolles著「Random Sample
Consensus : A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography」、 Graphics and Image Processing, vol.24(6)の page 381— 395。 1981年発行 非特許文献 3： Richard Hartley及び Andrew Zisserman著「Multiple View Geometry in Computer Vision] , Cambridge University Press. 2000年 8月発行、 101頁乃至 107 頁
発明の開示
発明が解決しょうとする課題
[0010] 前掲の特許文献 1には、道路のレーン境界線として少なくとも一方側において互い に隣接する複数の標示線が検出されたときに、その時点で検出されている一対の標 示線の間隔に基づ 、て、その間隔に最も合致する一対の標示線を白線として抽出 すると記載されており、両側のレーン境界線の間隔が一定であることを前提としてい る。また、複数の標示線の中から基準線を特定することは容易ではなぐ更なる改良 が望まれる。
[0011] また、前掲の特許文献 2においては、空間的な濃度変化に対する感度の異なる 2 種類の輪郭検出方法により、複数標示線の隙間には感度を低くして最外輪郭位置を 特定することとされており、照明条件等に起因して標示線と隙間のコントラストが不十 分であったり、飽和して画像がつぶれても安定的に最外輪郭の位置を特定すること はできる力 本来のレーン境界線の位置にある標示線を検出することは至難である。
[0012] 更に、特許文献 3に記載の装置においては、エッジの間隔が狭くまた両エッジ位置 の濃度差力 、さい場合には複数の標示線の隙間と捉え、そのデータを採用しないよ うにして最外輪郭位置を抽出することとしており、上記と同様、安定的に最外輪郭の 位置を特定することはできるが、これも、本来のレーン境界線の位置にある標示線を 検出することは至難である。
[0013] そして、特許文献 4に記載の装置にぉ ヽては、画像を微分して得られるエッジのヒス トグラムを作成してグループ化し、個々の標示線の中央位置やグループとしての中央 位置を検出し、標示線の数等によって、中央位置や最も内側の位置を基準線として 採用するようにして 、るが、レーン境界線の位置を安定的に特定すると 、う要請に充 分応えているとは言い難い。特に、図 3に示すブロック状の標示線は幅が 30cmと広 V、ので、仮にこのブロック状の標示線が走行レーンの両側でレーン境界線として認識 されると、ブロック状の標示線と実際のレーン境界線との間隔も含め、レーン幅（車線 幅）が実際のレーン幅に比し lm弱狭くなることになり、場合によっては円滑な走行制 御等が困難となる。従って、ブロック状の標示線を、走行レーンの境界線に対し確実 に峻別し得ることが必要である。
[0014] そこで、本発明は、車両前方の路面を連続して撮像した画像カゝら走行レーンを検 出する路面走行レーン検出装置において、走行レーンの境界線の位置を安定的に 特定し得る路面走行レーン検出装置を提供することを課題とする。
課題を解決するための手段
[0015] 上記の課題を達成するため、本発明は、撮像手段によって路面を連続して撮像し た画像カゝら走行レーンを検出する路面走行レーン検出装置において、画像中の輪 郭線力 複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検 出した複数のエッジ点に対して、各エッジ点間の距離と方位の連続性に基づ 、て線 セグメントを作成し、所定の関係にある複数の線セグメントをグループィ匕してセグメン ト群を作成するセグメント群作成手段と、該セグメント群作成手段が作成したセグメン ト群に適合する曲線を検出する曲線検出手段と、該曲線検出手段で検出した曲線の うち左右のレーン境界近傍に分布する複数の曲線と前記セグメント群作成手段が作 成したセグメント群を照合し、前記走行レーンの中心に最も近接した曲線を構成する セグメント群が所定の長さ及び繰り返し周期を有するときに最内側標示線として特定 し、前記走行レーンの中心に対して前記最内側標示線の外側に隣接する曲線の位 置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段と を備えることとしたものである。尚、上記の曲線には複数の直線によって実質的に曲 線となるものを含む。所定の関係にある複数の線セグメントとしては、所定の線セグメ ントに対して例えば所定の距離と方位の範囲内に存在する線セグメントを順次選択し 得るものをいう。
[0016] 而して、上記路面走行レーン検出装置において、前記セグメント群作成手段は、前 記複数の線セグメントの中で、所定の線セグメントに対して所定の距離と方位の範囲 内に存在する他の線セグメントを一つのグループとして前記セグメント群を作成する ように構成することができる。あるいは、前記セグメント群作成手段は、前記エッジ点 検出手段で検出した複数のエッジ点に基づくエッジ点群に対して、各エッジ点間の 距離と方位の連続性に基づ ヽて前記線セグメントを作成するように構成することもで きる。また、前記セグメント群作成手段は、前記複数の線セグメントに基づく線セグメ ント群の中で、所定の線セグメントに対して設定された所定の距離と方位の範囲内に 他の線セグメントが存在する場合に前記所定の関係にあると判定し、同一のグルー プに属するとして処理するように構成してもよ ヽ。
[0017] また、本発明は、撮像手段によって路面を連続して撮像した画像カゝら走行レーンを 検出する路面走行レーン検出装置において、画像中の輪郭線力 複数のエッジ点 を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点に 適合するエッジ点群の曲線を検出する曲線検出手段と、該曲線検出手段で検出した 曲線の構成に寄与するエッジ点群をグループィ匕してセグメント群を作成するセグメン ト群作成手段と、前記曲線検出手段で検出した曲線のうち左右のレーン境界近傍に 分布する複数の曲線と前記セグメント群作成手段が作成したセグメント群を照合し、 前記走行レーンの中心に最も近接した曲線を構成するセグメント群が所定の長さ及 び繰り返し周期を有するときに最内側標示線として特定し、前記走行レーンの中心に 対して前記最内側標示線の外側に隣接する曲線の位置を、前記走行レーンの境界 線の位置として特定するレーン境界線位置特定手段とを備えたものとしてもよい。
[0018] そして、前記セグメント群作成手段は、前記曲線検出手段で検出した曲線の構成 に寄与するエッジ点群に対してエッジヒストグラムを作成し、ヒストグラムピークに寄与 するエッジ点群をグループィ匕して前記セグメント群を作成するように構成するとよ 、。 尚、上記のエッジヒストグラムは、上記エッジ点群の垂直成分に対して、水平方向に 作成する水平方向エッジヒストグラムとすることが望ましい。
[0019] 尚、前記エッジ点検出手段は、前記撮像手段によって撮像した画像上で前記複数 のエッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影 して前記複数のエッジ点として出力するように構成するとよ 、。
発明の効果
[0020] 本発明は上述のように構成されているので以下の効果を奏する。即ち、走行レーン の中心に最も近接した曲線を構成するセグメント群が所定の長さ及び繰り返し周期を 有するときに最内側標示線として特定され、走行レーンの中心に対して最内側標示 線の外側に隣接する曲線の位置力 走行レーンの境界線の位置として特定されるの で、セグメント群が所定の長さ及び繰り返し周期を有するブロック状の標示線は、走 行レーンの境界線とは峻別され、確実に除外される。従って、走行レーンの境界線の 位置を安定的に特定することができる。
[0021] 前記セグメント群作成手段は、上記のように構成することにより、適切にセグメント群 を作成することができる。また、前記エッジ点検出手段は、上記のように構成すること により、複数のエッジ点の検出及び処理を適切に行うことができる。
図面の簡単な説明
[0022] [図 1]本発明の一実施形態に係る路面走行レーン装置の主要構成を示すブロック図 である。
[図 2]本発明の一実施形態に係る路面走行レーン装置のハード構成を示すブロック 図である。
[図 3]本発明の一実施形態において撮像された画像の一例を示す正面図である。
[図 4]本発明の一実施形態において路面座標に投影された複数のエッジ点を示す平 面図である。
[図 5]本発明の一実施形態において路面座標に投影された線セグメントを示す平面 図である。
[図 6]本発明の一実施形態において線セグメントのグループィ匕の一例を示す平面図 である。
[図 7]本発明の他の実施形態において路面座標に投影されたレーンマークの平面図 と、これに対応する水平方向ヒストグラムを示すグラフである。
符号の説明
[0023] VD 撮像手段
ED エッジ点検出手段
SD セグメント群作成手段
CD 曲線検出手段
LD レーン境界線位置特定手段
CM カメラ VB ビデオ入力バッファ回路
SY 同期分離回路
FM フレームメモリ
VC 画像処理部
VP 画像データ制御部
EP エッジ点検出部
CP 曲線検出部
SP セグメント群作成部
LP レーン境界線位置特定部
発明を実施するための最良の形態
[0024] 上記の構成になる本発明の路面走行レーン検出装置の具体的一態様について、 以下に図面を参照して説明する。図 1は路面走行レーン検出装置の一実施形態を 示すもので、撮像手段 VDによって路面を連続して撮像し、撮像した画像力 走行レ ーンを検出するように構成されている。本実施形態では、画像中の輪郭線から複数 のエッジ点を検出するエッジ点検出手段 EDと、このエッジ点検出手段 EDで検出し た複数のエッジ点に対して各エッジ点間の距離と方位の連続性に基づいて線セグメ ントを作成し、所定の関係にある複数の線セグメントをグループィ匕してセグメント群を 作成するセグメント群作成手段 SDと、このセグメント群作成手段 SDが作成したセグメ ント群に適合する曲線を検出する曲線検出手段 CDとを備えている。そして、レーン 境界線位置特定手段 LDにて、曲線検出手段 CDで検出した曲線のうち左右のレー ン境界近傍に分布する複数の曲線とセグメント群作成手段 SDが作成したセグメント 群を照合し、走行レーン中心に最も近接した曲線を構成するセグメント群が所定の長 さ及び繰り返し周期を有するときに最内側標示線として特定し、この走行レーン中心 に対して最内側標示線の外側に隣接する曲線の位置を、走行レーンの境界線の位 置として特定するように構成されて ヽる。
[0025] 上記図 1の路面走行レーン検出装置は、図 2に示すハード構成を有する。即ち、図 示しない車両の前方に、撮像手段 VDとして例えば CCDカメラ（以下、単にカメラとい う） CMが装着されており、路面を含む車両前方の視界が連続して撮像される。カメラ CMの映像信号は、ビデオ入力バッファ回路 VB、同期分離回路 SYを経て AZD変 換されフレームメモリ FMに格納される。このフレームメモリ FMに格納された画像デ ータは、画像処理部 VCで処理される。画像処理部 VCは、画像データ制御部 VP、 エッジ点検出部 EP、セグメント群作成部 SP、曲線検出部 CP及びレーン境界線位置 特定部 LPで構成されている。尚、エッジ点検出部 EP、セグメント群作成部 SP、曲線 検出部 CP及びレーン境界線位置特定部 LPは、夫々、図 1のエッジ点検出手段 ED 、セグメント群作成手段 SD、曲線検手段 CD及びレーン境界線位置特定手段 LDに 対応している。
[0026] 画像処理部 VCにおいては、フレームメモリ FM内の画像データから、画像データ 制御部 VPでアドレス指定されたデータが呼び出されてエッジ点検出部 EPに送られ 、ここで複数のエッジ点が検出される。このように検出されたエッジ点データに対し、 本実施形態では、セグメント群作成手段 SDにおいて、各エッジ点間の距離と方位の 連続性に基づいて線セグメントが作成され、所定の関係にある複数の線セグメントが グループィ匕されてセグメント群が作成される。更に、このセグメント群作成手段 SDで 作成されたセグメント群に適合する曲線が、曲線検出手段 CDにて検出される。そし て、レーン境界線位置特定部 LPでは、前述のように曲線検出部 CPにて検出された 曲線データの中から、左右のレーン境界近傍に分布する複数の曲線が選択され、こ れらの複数の曲線とセグメント群作成部 SPで作成されたセグメント群が照合され、走 行レーン中心に最も近接した曲線を構成するセグメント群が所定の長さ及び繰り返し 周期を有するときに最内側標示線として特定される。而して、この走行レーン中心に 対して最内側標示線の外側に隣接する曲線の位置力 走行レーンの境界線の位置 として特定される。
[0027] このように特定された走行レーンの境界線の位置は、更に必要に応じて、走行レー ンの幅、道路の曲率、自車との位置、姿勢角等の検出結果と共に、システム制御部 S C (コンピュータ）に供給され、出力インターフェース回路 OUを介して外部のシステム 機器（図示せず）〖こ出力される。尚、図 2における CL、 PW、 INは夫々クロック回路、 電源回路及び入力インターフェース回路である。
[0028] 以下、上記エッジ点検出部 EP、セグメント群作成部 SP、曲線検出部 CP及びレー ン境界線位置特定部 LPの各部における処理を説明する。先ず、エッジ点検出部 EP においては、図 3に示すようにカメラ CMによって撮像された画像 DSから複数のエツ ジ点が検出され、複数のエッジ点の画像面（図示せず)から 3次元路面座標への逆 投影が行われる。即ち、画像面上で検出された複数のエッジ点及びカメラ CMのパラ メータに基づいて、これら複数のエッジ点の座標値力 図 4に示すように 3次元路面 座標の点群として逆投影される（図 4の線分はエッジ点群を表している）。尚、レーン マークとしての白線（図 3の LB, LG, RB, RG)が薄くなつたり汚れたりし、あるいは力 メラ CMの性能等に起因して、画像上の白線が隣接する部分で連結されたものとなる ことがあるので、図 4の上方に示すように、下方部分と異なるエッジ点群となることがあ り得るが、後述の処理によって誤差を惹起することなぐ適切に判定される。
[0029] 曲線検出部 CPにおいては、路面上に逆投影された複数のエッジ点（図 4に代表し て EGPで示す）に対して、例えば前述の RANSACによって複数の直線を含む曲線が あてはめられ、曲線フィッティングが行われる。この曲線のあてはめ（曲線フイツティン グ）に関しては、前述の Hough変換を用いてもよいし、例えば最小自乗法を適用する こともできる。また、エッジ点群 EGPに対して所定の属性に基づいてグループィ匕して お!、て曲線フィッティングを行なうこととしてもよ！/、。
[0030] 更に、図 5に示すように、セグメント群作成部 SPにて、上記エッジ点群 EGPに対し て各エッジ点間の距離と方位の連続性に基づ ヽて線セグメント LSが作成される。次 に、線セグメント群の中で、ある線セグメント LSに対して設定された距離と方位の範 囲内に他の線セグメント LSが存在すれば、それらの線セグメント LS, LSは同一のグ ループに属するとして処理され、この処理が繰り返されることによって図 6に示すよう に複数のグループが作成される（レーン中心に対して内側のグループを SGI、外側 のグループを SGOとする）。尚、図 6ではプラスエッジ（白線の左側で、図 5に LS ( + ) として示す）が選択されてグループ化されて ヽるが、マイナスエッジ（白線の右側で、 図 5に LS (—)として示す）に対しても同様にグループィ匕される。
[0031] そして、グループィ匕された線セグメント LSに対して曲線フィッティング（曲線当ては め）が行われる。このときにも所定の属性に基づいてグループ化しておいて曲線フィ ッティングを行なってもよい。この線セグメントを用いて、曲線検出部 CPにて検出され た曲線がどのような属性のエッジ点によって構成されているのかが検証される。例え ば図 6のグループ SGIの曲線が複数の周期的な短い線分によって構成されておれ ば、その曲線はブロック状等の比較的短い標示線に当てはめられたものであると判 定することができる。而して、このように、線セグメントが縦方向または横方向に所定の 長さ及び周期を有しており、レーン境界線位置特定部 LPにおいて、ブロック状の標 示線であると判断されたときには、その曲線 (例えば図 3の RG)はレーン境界線候補 から外され、レーン中心に対してブロック状の標示線（図 3の RG)の外側の曲線（図 3 の RB)が走行レーンの境界線と判定される。
[0032] 上記の実施形態にお!、ては、先ず線セグメント LSを求め、それをグループィ匕して 曲線フィッティングを行なうこととして 、るが、図 1に破線の矢印で示すように構成し、 複数のエッジ点に適合する曲線を検出し、この曲線の構成に寄与するエッジ点群を グループィ匕してセグメント群を作成する実施形態としてもよい。即ち、図 2の画像処理 部 VCにおいては、曲線検出部 CPにて複数のエッジ点に適合する曲線が検出され、 セグメント群作成部 SPにて、この曲線の構成に寄与するエッジ点群の垂直成分に対 して水平方向エッジヒストグラムが作成され、ヒストグラムピークに寄与するエッジ点群 がグループィ匕されてセグメント群が作成される。
[0033] 具体的には、 3次元路面座標の路面上に逆投影された複数のエッジ点に対して、 図 7に HGで示すように、水平方向のエッジヒストグラムが作成される。この実施形態 によれば、図 7に示すように複数のピーク PKが出現する力 夫々のピーク位置には 垂直線成分が多く含まれるので、各ヒストグラムピークに寄与するエッジ群を一つのグ ループとすることができる。而して、ヒストグラムピークが縦方向（または横方向）に所 定の長さ及び周期を有しており、レーン境界線位置特定部 LPにおいて、ブロック状 の標示線であると判断されたときには、その標示線 (RG)はレーン境界線候補力 外 され、レーン中心に対しブロック状の標示線 (RG)の外側の標示線 (RB)がレーン境 界線とされる。
[0034] 以上のように、走行路面上に設けられた車線境界を示す標示線には、単純な実線 や破線の他に、その単純な標示線とブロック状の標示線との組合せによる複数線が 存在するので、従来装置においては、レーン境界として検出したい標示線 (レーン境 界線)の位置を安定的に特定することが困難であった力 本願の上記何れの実施形 態においても、レーン境界線の位置を安定的に特定することができる。而して、警報 システムや制御システム力 期待される高い信頼性を充足する境界線認識が可能と なる。
産業上の利用可能性
本発明に係る路面走行レーン検出装置は、上記のように走行レーンの境界線の位 置を安定的に特定し得るので、例えば、車両等における種々の警報システムや制御 システムに適用することができる。

Claims

請求の範囲
[1] 撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走 行レーン検出装置において、画像中の輪郭線力 複数のエッジ点を検出するエッジ 点検出手段と、該エッジ点検出手段で検出した複数のエッジ点に対して、各エッジ 点間の距離と方位の連続性に基づ ヽて線セグメントを作成し、所定の関係にある複 数の線セグメントをグループィ匕してセグメント群を作成するセグメント群作成手段と、 該セグメント群作成手段が作成したセグメント群に適合する曲線を検出する曲線検出 手段と、該曲線検出手段で検出した曲線のうち左右のレーン境界近傍に分布する複 数の曲線と前記セグメント群作成手段が作成したセグメント群を照合し、前記走行レ ーンの中心に最も近接した曲線を構成するセグメント群が所定の長さ及び繰り返し周 期を有するときに最内側標示線として特定し、前記走行レーンの中心に対して前記 最内側標示線の外側に隣接する曲線の位置を、前記走行レーンの境界線の位置と して特定するレーン境界線位置特定手段とを備えたことを特徴とする路面走行レー ン検出装置。
[2] 前記セグメント群作成手段は、前記複数の線セグメントの中で、所定の線セグメント に対して所定の距離と方位の範囲内に存在する他の線セグメントを一つのグループ として前記セグメント群を作成するように構成したことを特徴とする請求項 1記載の路 面走行レーン検出装置。
[3] 前記セグメント群作成手段は、前記エッジ点検出手段で検出した複数のエッジ点で 構成されるエッジ点群に対して、各エッジ点間の距離と方位の連続性に基づ 、て前 記線セグメントを作成するように構成したことを特徴とする請求項 1記載の路面走行レ ーン検出装置。
[4] 前記セグメント群作成手段は、前記複数の線セグメントに基づく線セグメント群の中 で、所定の線セグメントに対して設定された所定の距離と方位の範囲内に他の線セ グメントが存在する場合に前記所定の関係にあると判定し、同一のグループに属する として処理するように構成したことを特徴とする請求項 1記載の路面走行レーン検出 装置。
[5] 前記曲線検出手段は、グループ化された線セグメントに対して曲線フィッティングを 行い、前記曲線を検出するように構成したことを特徴とする請求項 1記載の路面走行 レーン検出装置。
[6] 前記レーン境界線位置特定手段は、前記線セグメントが縦方向または横方向に所 定の長さ及び周期を有し、ブロック状の標示線であると判断したときには、該ブロック 状の標示線をレーン境界線候補から外し、前記走行レーンの中心に対して前記プロ ック状の標示線の外側の曲線を前記走行レーンの境界線と判定するように構成した ことを特徴とする請求項 1記載の路面走行レーン検出装置。
[7] 前記エッジ点検出手段が、前記撮像手段によって撮像した画像上で前記複数のェ ッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して 前記複数のエッジ点として出力するように構成したことを特徴とする請求項 1記載の 路面走行レーン検出装置。
[8] 撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走 行レーン検出装置において、画像中の輪郭線力 複数のエッジ点を検出するエッジ 点検出手段と、該エッジ点検出手段で検出した複数のエッジ点に適合するエッジ点 群の曲線を検出する曲線検出手段と、該曲線検出手段で検出した曲線の構成に寄 与するエッジ点群をグループ化してセグメント群を作成するセグメント群作成手段と、 前記曲線検出手段で検出した曲線のうち左右のレーン境界近傍に分布する複数の 曲線と前記セグメント群作成手段が作成したセグメント群を照合し、前記走行レーン の中心に最も近接した曲線を構成するセグメント群が所定の長さ及び繰り返し周期を 有するときに最内側標示線として特定し、前記走行レーンの中心に対して前記最内 側標示線の外側に隣接する曲線の位置を、前記走行レーンの境界線の位置として 特定するレーン境界線位置特定手段とを備えたことを特徴とする路面走行レーン検 出装置。
[9] 前記セグメント群作成手段は、前記曲線検出手段で検出した曲線の構成に寄与す るエッジ点群に対してエッジヒストグラムを作成し、ヒストグラムピークに寄与するエッジ 点群をグループ化して前記セグメント群を作成するように構成したことを特徴とする請 求項 8記載の路面走行レーン検出装置。
[10] 前記レーン境界線位置特定手段は、前記ヒストグラムピークが縦方向または横方向 に所定の長さ及び周期を有し、ブロック状の標示線であると判断したときには、該ブロ ック状の標示線をレーン境界線候補力 外し、前記走行レーンの中心に対して前記 ブロック状の標示線の外側の曲線を前記走行レーンの境界線と判定するように構成 したことを特徴とする請求項 9記載の路面走行レーン検出装置。
前記エッジ点検出手段が、前記撮像手段によって撮像した画像上で前記複数のェ ッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して 前記複数のエッジ点として出力するように構成したことを特徴とする請求項 8記載の 路面走行レーン検出装置。
PCT/JP2004/013802 2003-09-24 2004-09-22 路面走行レーン検出装置 WO2005029440A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/572,956 US20070084655A1 (en) 2003-09-24 2004-09-22 Device for detecting a road traveling lane
EP04787985A EP1667085A4 (en) 2003-09-24 2004-09-22 DEVICE FOR DETECTING A ROAD TRAFFIC PATH

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-331356 2003-09-24
JP2003331356A JP3956926B2 (ja) 2003-09-24 2003-09-24 路面走行レーン検出装置

Publications (1)

Publication Number Publication Date
WO2005029440A1 true WO2005029440A1 (ja) 2005-03-31

Family

ID=34373039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/013802 WO2005029440A1 (ja) 2003-09-24 2004-09-22 路面走行レーン検出装置

Country Status (6)

Country Link
US (1) US20070084655A1 (ja)
EP (1) EP1667085A4 (ja)
JP (1) JP3956926B2 (ja)
KR (1) KR100784307B1 (ja)
CN (1) CN100452093C (ja)
WO (1) WO2005029440A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150905A (zh) * 2013-02-06 2013-06-12 广州畅通智能交通科技有限公司 路侧安装波频检测器检测交通流的方法
CN103630122A (zh) * 2013-10-15 2014-03-12 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4365352B2 (ja) 2005-07-06 2009-11-18 本田技研工業株式会社 車両及びレーンマーク認識装置
JP4905648B2 (ja) * 2006-02-21 2012-03-28 学校法人東京理科大学 車両用刺激提示装置及び刺激提示方法
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
US8384776B2 (en) * 2009-04-22 2013-02-26 Toyota Motor Engineering And Manufacturing North America, Inc. Detection of topological structure from sensor data with application to autonomous driving in semi-structured environments
CN101567086B (zh) * 2009-06-03 2014-01-08 北京中星微电子有限公司 一种车道线检测方法及其设备
JP5363921B2 (ja) * 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
JP4968412B2 (ja) * 2010-01-29 2012-07-04 トヨタ自動車株式会社 道路情報検出装置、および車両走行制御装置
JP5469509B2 (ja) * 2010-03-31 2014-04-16 パナソニック株式会社 車線位置検出装置および車線位置検出方法
WO2012089261A1 (en) * 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
JP5452518B2 (ja) * 2011-02-09 2014-03-26 富士重工業株式会社 車両用白線認識装置
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
KR101295077B1 (ko) * 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
CN102968770A (zh) * 2012-11-30 2013-03-13 华为技术有限公司 噪声消除方法及装置
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
CN104648397B (zh) * 2013-11-19 2017-05-17 沙漠科技股份有限公司 车道偏移警示系统及方法
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
FR3019508B1 (fr) * 2014-04-08 2017-12-08 Alstom Transp Tech Procede de detection de rails sur lesquels circule un vehicule ferroviaire
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
JP6451858B2 (ja) * 2015-08-04 2019-01-16 日産自動車株式会社 段差検出装置及び段差検出方法
KR101694347B1 (ko) * 2015-08-31 2017-01-09 현대자동차주식회사 차량 및 차선인지방법
JP6530685B2 (ja) * 2015-09-15 2019-06-12 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム
US10614321B2 (en) 2016-03-24 2020-04-07 Nissan Motor Co., Ltd. Travel lane detection method and travel lane detection device
EP3435353B1 (en) * 2016-03-24 2022-03-02 Nissan Motor Co., Ltd. Travel path detection method and travel path detection device
JP7024176B2 (ja) * 2016-09-27 2022-02-24 日産自動車株式会社 走路検出方法及び走路検出装置
KR101910256B1 (ko) * 2016-12-20 2018-10-22 전자부품연구원 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
CN108335404B (zh) * 2018-02-07 2020-09-15 深圳怡化电脑股份有限公司 边缘拟合方法及验钞设备
US10860868B2 (en) 2018-04-18 2020-12-08 Baidu Usa Llc Lane post-processing in an autonomous driving vehicle
US11869251B2 (en) * 2018-07-02 2024-01-09 Nissan Motor Co., Ltd. Driving support method and driving support device
JP2020085788A (ja) * 2018-11-29 2020-06-04 太陽誘電株式会社 鉄損の算出方法及び算出装置
CN112950740A (zh) * 2019-12-10 2021-06-11 中交宇科（北京）空间信息技术有限公司 高精地图道路中心线的生成方法、装置、设备及存储介质
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN111611862B (zh) * 2020-04-22 2022-09-09 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
KR102499334B1 (ko) * 2021-06-28 2023-02-14 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249597A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 道路形状検出装置
JPH1185999A (ja) * 1997-09-13 1999-03-30 Honda Motor Co Ltd 車両用白線検出装置
JP2003030626A (ja) * 2001-07-18 2003-01-31 Toshiba Corp 画像処理装置及びその方法
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
DE69635569T2 (de) * 1995-04-25 2006-08-10 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
JP3993259B2 (ja) * 1996-07-31 2007-10-17 アイシン精機株式会社 画像処理装置
US5991427A (en) * 1996-07-31 1999-11-23 Aisin Seiki Kabushiki Kaisha Method and apparatus for detecting a lane on a road
JPH1067252A (ja) * 1996-08-29 1998-03-10 Aisin Seiki Co Ltd 車両走行状態検出装置
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
CN1351317A (zh) * 2000-10-27 2002-05-29 新鼎系统股份有限公司 图像检测系统与方法
JP3635244B2 (ja) * 2001-05-16 2005-04-06 富士通テン株式会社 カーブｒ補正方法及びその装置
JP3662218B2 (ja) * 2001-12-18 2005-06-22 アイシン精機株式会社 車線境界検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249597A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 道路形状検出装置
JPH1185999A (ja) * 1997-09-13 1999-03-30 Honda Motor Co Ltd 車両用白線検出装置
JP2003030626A (ja) * 2001-07-18 2003-01-31 Toshiba Corp 画像処理装置及びその方法
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1667085A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150905A (zh) * 2013-02-06 2013-06-12 广州畅通智能交通科技有限公司 路侧安装波频检测器检测交通流的方法
CN103630122A (zh) * 2013-10-15 2014-03-12 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
CN103630122B (zh) * 2013-10-15 2015-07-15 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法

Also Published As

Publication number Publication date
EP1667085A4 (en) 2007-02-07
CN100452093C (zh) 2009-01-14
JP2005100000A (ja) 2005-04-14
CN1836266A (zh) 2006-09-20
KR100784307B1 (ko) 2007-12-13
EP1667085A1 (en) 2006-06-07
JP3956926B2 (ja) 2007-08-08
KR20060057004A (ko) 2006-05-25
US20070084655A1 (en) 2007-04-19

Similar Documents

Publication Publication Date Title
WO2005029440A1 (ja) 路面走行レーン検出装置
KR100741739B1 (ko) 노면주행레인 검출장치
JP4650079B2 (ja) 物体検出装置、および方法
JP2000357233A (ja) 物体認識装置
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP2005215985A (ja) 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
KR102491527B1 (ko) 카메라 영상에서 대상의 감지
KR20200087354A (ko) 자율주행용 데이터 라벨링 장치 및 방법
JP2004038624A (ja) 車両認識方法、車両認識装置及び車両認識用プログラム
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP3879874B2 (ja) 物流計測装置
JP3586938B2 (ja) 車載用距離測定装置
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP2022074331A (ja) 状態判定装置、状態判定システム及び状態判定方法
JP2005148784A (ja) 路面走行レーン検出装置
CN118103881A (zh) 用于确定车辆自身位置的方法及装置
JP2009187181A (ja) 車両用画像処理装置及び車両用画像処理方法
JP2006113738A (ja) 物体検出装置および物体検出方法
JP2003317105A (ja) 走行路認識装置
JPH01242916A (ja) 車上距離検出装置
JP2000182184A (ja) 車載空中線検出方法および装置
JPH11167624A (ja) 道路の白線認識方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480023582.X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NA NI NO NZ OM PG PL PT RO RU SC SD SE SG SK SL SY TM TN TR TT TZ UA UG US UZ VC YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IT MC NL PL PT RO SE SI SK TR BF CF CG CI CM GA GN GQ GW ML MR SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004787985

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067004529

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007084655

Country of ref document: US

Ref document number: 10572956

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020067004529

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004787985

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10572956

Country of ref document: US