WO2014168083A1 - 境界線認識装置 - Google Patents

境界線認識装置 Download PDF

Info

Publication number
WO2014168083A1
WO2014168083A1 PCT/JP2014/059967 JP2014059967W WO2014168083A1 WO 2014168083 A1 WO2014168083 A1 WO 2014168083A1 JP 2014059967 W JP2014059967 W JP 2014059967W WO 2014168083 A1 WO2014168083 A1 WO 2014168083A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
boundary line
candidate
probability
frequency
Prior art date
Application number
PCT/JP2014/059967
Other languages
English (en)
French (fr)
Inventor
和寿 石丸
俊輔 鈴木
哲哉 高藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/783,060 priority Critical patent/US9672429B2/en
Publication of WO2014168083A1 publication Critical patent/WO2014168083A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a boundary line recognition apparatus for recognizing a boundary line that divides a running path on which a vehicle travels based on an image taken by a camera mounted on the vehicle.
  • a boundary line recognition device that processes an image photographed by a camera mounted on a vehicle and recognizes a boundary line that delimits a traveling path on which the vehicle travels has been proposed for the purpose of preventing deviation from the traveling path of the vehicle and automatic steering control.
  • a boundary line recognition apparatus in particular, a boundary line recognition apparatus for identifying an appropriate boundary line as a vehicle control target from multiple division lines has been proposed.
  • each lane line candidate detected in the multiple lane line detection area is determined, and each lane line candidate whose type has been determined is positioned in order to configure a multiple lane line. It is determined whether they are arranged in a relative relationship. Further, the boundary line detected before the host vehicle enters the section provided with the multiple section lines and the boundary line candidate having the highest continuity are discriminated to determine the boundary line.
  • the multiple lane marking is composed of an outer solid lane marking line and an inner dashed lane marking line, and the distance between the solid lane marking line and the dashed lane marking line is short.
  • the edge between the solid line and the broken line may not be detected.
  • the main object of the present invention is to provide a boundary line recognition device capable of recognizing an appropriate boundary line regardless of the type of lane markings, particularly, multiple lane marking lines.
  • the invention according to claim 1 is a boundary line recognition device, which is mounted on a vehicle and captures an edge based on a brightness of an image photographed by the camera and a camera.
  • An edge point extraction unit that extracts points, a candidate line extraction unit that extracts candidate lines of boundary lines that divide the running path based on a series of extracted edge points, and a candidate line extracted by the candidate line extraction unit
  • a frequency calculating unit that calculates a frequency distribution of the edge point for a parameter that specifies a width of the boundary line based on the edge point to which the parameter belongs, and the parameter based on the frequency distribution calculated by the frequency calculating unit
  • a probability generation unit that generates a probability distribution in which the candidate line is the boundary line, and a boundary that recognizes the boundary line based on the probability distribution generated by the probability generation unit It includes a recognition unit, the.
  • the edge point of the boundary line that divides the runway is extracted from the luminance of the image taken by the camera mounted on the vehicle, and the candidate line of the boundary line is extracted from the series of the extracted edge points. . Furthermore, based on the edge points belonging to the extracted candidate lines, the frequency distribution of the edge points for the parameter for specifying the boundary line width is calculated. That is, the frequency distribution of the edge points corresponding to the boundary line width is calculated.
  • a probability distribution is generated in which the candidate line for the parameter specifying the boundary line width is a boundary line. Then, the boundary line is recognized from the candidate line based on the generated probability distribution. That is, a probability that the width of each candidate line is effective as the boundary line width is calculated based on the frequency of the edge points, and a candidate line that is effective as the boundary line is recognized based on the probability. Therefore, even when the multiple boundary line is a saw line, a candidate line having an effective width can be selected as the boundary line, and an appropriate boundary line can be recognized.
  • the block diagram which shows the structure of a boundary line recognition apparatus.
  • the figure which shows the probability distribution whose candidate line about a candidate line width is a boundary line.
  • the figure which shows before and after applying the probability distribution that the candidate line about a candidate line width is a boundary line.
  • the figure which shows probability distribution that the candidate line about the position of an outer edge line and an inner edge line is a boundary line.
  • the boundary line recognition device 50 includes a camera 10, a vehicle information acquisition device 20, and an image processing device 30.
  • the camera 10 is a CCD camera, for example, and is fixed facing the front of the vehicle, for example, on the back side of the rear-view mirror so as to be able to photograph the road ahead.
  • the camera 10 captures the road ahead of the vehicle and outputs the captured image information to the image processing device 30.
  • the vehicle information acquisition device 20 includes a yaw rate sensor 21 and a vehicle speed sensor 22.
  • the vehicle information acquisition device 20 calculates the curvature at the center of the road from the angular velocity (yaw rate) in the turning direction of the host vehicle detected by the yaw rate sensor 21 and the vehicle speed detected by the vehicle speed sensor 22, and calculates the curvature of the calculated road.
  • the curvature is output to the image processing device 30.
  • the image processing device 30 uses the calculated curvature of the road for prediction of the position of the boundary line.
  • the image processing apparatus 30 is configured as a microcomputer including a CPU, a ROM, a RAM, an I / O, and a bus line connecting these.
  • the CPU executes a program stored in the ROM, the luminance information acquisition unit 31, the edge point extraction unit 32, the candidate line extraction unit 33, the frequency calculation unit 34, the probability generation unit 35, and the boundary line feature
  • the functions of the calculation unit 36 and the boundary line recognition unit 37 are realized.
  • the luminance information acquisition unit 31 converts luminance information of a predetermined range necessary for detecting the lane boundary line of the image acquired by the camera 10 into luminance, and acquires luminance information.
  • the edge point extraction unit 32 includes an up-edge point in which the luminance increases sharply and a down-edge in which the luminance decreases sharply in the horizontal direction H of the image (see FIG. 5) and in the direction away from the vehicle in the predetermined range after the luminance conversion Search for points and extract multiple edge points.
  • the candidate line extraction unit 33 performs a conversion such as a Hough transform on a series of the extracted up-edge points and down-edge points, and extracts a plurality of boundary line candidate lines that divide the left and right sides of the road on which the host vehicle is traveling.
  • the extracted candidate line is composed of a pair of an outer edge line and an inner edge line.
  • the outer edge line includes a down edge point that changes from high luminance to low luminance
  • the inner edge line includes an up edge point that changes from low luminance to high luminance.
  • the frequency calculation unit 34 calculates the frequency distribution of the edge points for the parameter that specifies the width of the boundary line based on the edge points belonging to the candidate line extracted by the candidate line extraction unit 33 every time the vehicle travels a predetermined distance. calculate. That is, the frequency calculation unit 34 calculates a frequency distribution of edge points for a parameter that specifies the boundary line width, based on an image taken by the camera 10 while the vehicle travels a predetermined distance. In this embodiment, a parameter for specifying the width of the boundary line is set as the width of the candidate line. The frequency calculation unit 34 calculates the frequency distribution of the edge points belonging to the candidate line with respect to the extracted candidate line width. The frequency distribution calculated by the frequency calculation unit 34 will be described in detail later.
  • the probability generation unit 35 generates a probability distribution in which the candidate line for the parameter for specifying the boundary line width is a boundary line based on the frequency distribution calculated by the frequency calculation unit 34. In the present embodiment, a probability distribution in which the candidate line for the candidate line width is a boundary line is generated. The probability distribution generated by the probability generator 35 will be described in detail later.
  • the boundary line feature calculation unit 36 calculates the probability that the candidate line is a boundary line based on the degree to which the candidate line extracted by the candidate line extraction unit 33 has a plurality of features of the boundary line. Specifically, the degree of having a feature is calculated for each of a plurality of features of the boundary line, and the probability that the candidate line is a boundary line is calculated higher as the degree of having the feature is larger.
  • the characteristics of the boundary line include that the number of edge points included in the candidate line is larger than a predetermined number, the length of the candidate line is longer than a predetermined value, and the edge strength of the edge point is larger than a predetermined value. It is done.
  • the boundary line recognition unit 37 has a probability that is a boundary line calculated from the probability distribution generated by the candidate line width and the probability generation unit 35 for each of the plurality of candidate lines extracted by the candidate line extraction unit 33, and the boundary line
  • the probability calculation unit 36 integrates the probabilities of boundary lines calculated for each of the plurality of features of the boundary line.
  • the boundary line recognition unit 37 selects a candidate line that seems to be a boundary line based on the probability that the integrated candidate line is a boundary line, and recognizes the selected candidate line as a boundary line. Specifically, among candidate lines whose integrated probability is higher than a determination value that can be determined as a boundary line, a candidate line that is paired on the right side and the left side of the vehicle and that has the highest probability is selected. .
  • the inner edge line of the candidate line recognized as the boundary line by the boundary line recognition unit 37 is set as a control target, and various controls on the vehicle are executed.
  • the vehicle steering amount is set based on the shape of the inner edge line of the candidate line recognized as the boundary line. Further, when the vehicle is maintained in the traveling road, an alarm sound is output when the vehicle protrudes outside the inner edge line of the candidate line recognized as the boundary line.
  • the saw line is a multiple lane line composed of an outer solid line lane line and an inner broken line lane line, and the distance between the solid line line and the broken line line is short or not. The interval between them is longer than the length of the broken line. Therefore, depending on the resolution of the image, the edge between the solid line and the broken line may not be detected. Here, it is assumed that the edge between the solid line and the broken line is not detected.
  • an outer edge line corresponding to the outer contour of the solid lane marking, an inner edge line corresponding to the inner contour of the solid lane marking, and an inner edge line corresponding to the inner contour of the broken lane marking are extracted. That is, a plurality of candidate lines along the lane direction (the vertical direction of the image), a candidate line consisting of a pair of outer edge lines and inner edge lines corresponding to the solid line dividing lines, and outer edge lines and broken lines corresponding to the solid line dividing lines.
  • Candidate lines consisting of pairs of inner edge lines corresponding to the partition lines are extracted.
  • the number of edge points belonging to the candidate line consisting of the outer edge line and the inner edge line corresponding to the solid line dividing line is equal to the candidate line consisting of the outer edge line corresponding to the solid line dividing line and the inner edge line corresponding to the broken line dividing line. More than the number of edge points belonging to.
  • the width of the solid line marking line is a
  • the width of the solid line marking line and the broken line marking line is b.
  • the width of the candidate line consisting of is close to a.
  • the distance between the edge point included in the outer edge line corresponding to the solid line dividing line and the edge point included in the inner edge line corresponding to the broken line dividing line that is, the outer edge line and broken line dividing line corresponding to the solid line dividing line.
  • the width of the candidate line consisting of the inner edge line corresponding to is close to b. Therefore, as shown in FIG. 3, the frequency distribution calculated when the lane marking is a saw line indicates the maximum frequency at which the frequency of the edge point corresponding to the candidate line width a is maximum, that is, the maximum frequency.
  • the distribution is such that the frequency of the edge point corresponding to b shows a maximum frequency smaller than the maximum frequency.
  • the probability distribution generated by the probability generation unit 35 based on the frequency distribution of FIG. 3 will be described.
  • What is desired to be recognized as the boundary line is a candidate line having the maximum maximum frequency width, that is, a candidate line corresponding to the solid line.
  • a candidate line having a width indicating the second or third largest maximum frequency should not be recognized as a boundary line.
  • the probability distribution for the candidate line width is not made the same distribution shape as the frequency distribution, and the candidate for the frequency is included in the first predetermined range including the candidate line width b showing the maximum frequency different from the maximum maximum frequency in the frequency distribution. Reduces the probability that a line is a boundary line.
  • the first predetermined range is a range of candidate line widths in which the frequency is high with the candidate line width b as the center in the frequency distribution.
  • the candidate line with the candidate line width a indicating the maximum local frequency is desired to be easily recognized as a boundary line
  • the candidate line is displayed in the second predetermined range including the candidate line width a indicating the maximum local maximum frequency in the frequency distribution. Maximize the probability of being a borderline. Further, in order to make the candidate line less likely to be recognized as a boundary line as the candidate line width is further away from a, the probability that the candidate line is a boundary line decreases as the distance from the candidate line width a indicating the maximum maximum frequency in the frequency distribution increases.
  • the second predetermined range is a range of candidate line widths indicating frequencies close to the maximum frequency around the candidate line width a in the frequency distribution.
  • the probability distribution generated by the probability generator 35 as described above shows the maximum probability in the second predetermined range centered on the candidate line width a, and becomes lower as the distance from the candidate line width a increases. The probability is shown, and the lowest probability is shown in the first predetermined range centered on the candidate line width b.
  • FIGS. 5A and 5B show examples of boundary lines recognized by the boundary line recognition unit 37 when the right boundary line of the vehicle is a saw line.
  • FIG. 5A shows a recognized boundary line when the probability that is a boundary line calculated from the probability distribution generated by the candidate line width and the probability generation unit 35 is not reflected in the probability that it is an integrated boundary line.
  • FIG. 5B shows the recognized boundary line when the probability that is the boundary line calculated from the probability distribution generated by the candidate line width and the probability generation unit 35 is reflected in the probability that it is the integrated boundary line.
  • solid lines indicate inner edge lines of candidate lines recognized as boundary lines, and square points are edge points recognized as boundary edge points in the upper region of the image. Is shown.
  • the inner edge point of the solid line is not recognized.
  • the inner edge line of the candidate line recognized as the boundary line extends from the inner side of the broken line dividing line toward the inner side of the solid line dividing line.
  • the candidate line having the width of the solid line marking line and the broken line marking line is recognized as the boundary line, and the broken line marking line overlaps the solid line marking line.
  • the candidate line corresponding to the solid line dividing line is recognized as the boundary line. Therefore, since the width of the recognized runway changes, if the recognized candidate line is set as a control target, the vehicle control may become unstable.
  • the inner edge point of the solid line dividing line is recognized.
  • the inner edge line of the candidate line recognized as the boundary line extends along the inner side of the solid line dividing line. That is, the candidate line corresponding to the solid line dividing line (the line having the width that is continuous or extended) is recognized as the boundary line even in the part where the broken line dividing line overlaps with the solid line dividing line (the part having different candidate lines).
  • a candidate line having a width obtained by combining the widths of the solid line and the broken line is not recognized as a boundary line. Accordingly, since the recognized width of the road is constant, stable vehicle control can be executed using the recognized candidate line as a control target.
  • the effective probability that the width of each candidate line is effective as the boundary line width is calculated based on the frequency of the edge points belonging to the candidate line, and the effective candidate line is recognized as the boundary line based on the probability. Therefore, even when the multi-partition line is a saw line, a candidate line having an effective width can be selected as the boundary line, and an appropriate boundary line can be recognized.
  • the second or third largest maximum is reduced by reducing the probability that the candidate line is a boundary line.
  • a candidate line having a width indicating the frequency is not easily recognized as a boundary line. Therefore, when the multi-partition line is a saw line, a candidate line having a predetermined range width including the width of the broken line lane line or the combined width of the solid line and the dashed line is recognized as a boundary line. It becomes difficult to be done. Therefore, even when the multi-partition line is a saw line, it is possible to suppress erroneous recognition of the boundary line. As a result, the vehicle can be stably maintained in the road.
  • the second predetermined range including the parameter value indicating the maximum frequency in the frequency distribution by maximizing the probability that the candidate line is a boundary line, a candidate line having a width close to the candidate line width indicating the maximum frequency is It becomes easy to be recognized as a boundary line. Therefore, when the multi-partition line is a saw line, a candidate line having a predetermined range of width including the width of the solid line part line is easily recognized as a boundary line. Therefore, an appropriate boundary line can be recognized even when the multi-partition line is a saw line.
  • the probability that the candidate line is a boundary line is the highest, and the candidate line is less likely to be recognized as the boundary line as the distance from the value increases. Therefore, even when the multi-partition line is a saw line, the boundary line can be recognized more appropriately.
  • the frequency distribution of the edge points with respect to the candidate line width can be calculated, and as a result, a probability distribution in which the candidate line for the candidate line width is the boundary line can be generated.
  • the frequency distribution is calculated based on the images accumulated while traveling for a predetermined distance, the frequency distribution can be calculated when a certain degree of frequency is secured. For this reason, the reliability of the frequency distribution can be improved, and a highly accurate probability distribution can be generated.
  • the parameters that specify the width of the boundary line are the position of the outer edge line and the position of the inner edge line in the horizontal direction of the image.
  • the frequency calculation unit 34 calculates a frequency distribution of edge points for the position of the outer edge line and the position of the inner edge line in the horizontal direction of the image every time the vehicle travels a predetermined distance.
  • the probability generation unit 35 is based on the frequency distribution generated by the frequency calculation unit 34, and the probability distribution that the candidate line for the position of the outer edge line and the position of the inner edge line in the horizontal direction of the image is a boundary line. Is generated.
  • the frequency distribution calculated when the boundary line is a saw line will be described.
  • the edge between the solid line and the broken line is not detected.
  • the outer contour of the solid line dividing line is at a position c from the outer edge
  • the inner contour of the solid line dividing line is at a position d from the outer edge.
  • the inner contour of the broken line in the horizontal direction of the image is located at a distance e from the outer edge.
  • the outer edge refers to the left and right ends of the edge point search range or the left and right ends of the image.
  • the edge points belonging to the outer edge line will be described.
  • the position in the horizontal direction of the edge point belonging to the outer edge line corresponding to the solid line is in the vicinity of the distance c from the outer edge. Therefore, the frequency distribution of the edge points with respect to the position of the outer edge line calculated by the frequency calculation unit 34 is a distribution indicating the maximum local frequency at the distance c, as indicated by a solid line in FIG.
  • the edge point belonging to the outer edge line corresponding to the broken lane marking is not detected.
  • the frequency distribution about the position of the outer edge line shows the maximum frequency at the distance c and is different from the maximum local frequency at the distance d.
  • the distribution shows the maximum frequency (not shown). Since the number of edge points belonging to the outer edge line corresponding to the solid line dividing line is larger than the number of edge points belonging to the outer edge line between the solid line dividing line and the broken line dividing line (the outer edge line of the broken line dividing line) , Distance c indicates the maximum frequency, and distance d indicates the second largest local frequency.
  • the edge points belonging to the inner edge line will be described.
  • the position in the horizontal direction of the edge point belonging to the inner edge line corresponding to the solid line dividing line is near the distance d from the outer edge, and the position in the horizontal direction of the edge point belonging to the inner edge line corresponding to the broken line dividing line is the outer edge.
  • the frequency distribution of the edge points with respect to the position of the inner edge line calculated by the frequency calculation unit 34 shows the maximum maximum frequency at the distance d and the maximum maximum at the distance e, as shown by a one-dot chain line in FIG.
  • the distribution shows a maximum frequency different from the frequency.
  • the maximum frequency is indicated by the distance d, and the second is indicated by the distance e. Indicates a large maximum frequency.
  • the distance between the distance c indicating the maximum frequency in the frequency distribution for the position of the outer edge line and the distance d indicating the maximum frequency in the frequency distribution for the position of the inner edge line is the maximum frequency in the frequency distribution of FIG. It becomes the candidate line width a shown, that is, the width of the solid line dividing line. Further, the distance between the distance c and the distance e is a candidate line width b indicating a maximum frequency different from the maximum frequency in the frequency distribution of FIG. 3, that is, a width obtained by combining the width of the solid line and the broken line.
  • Candidate lines with the maximum maximal frequency width that is, candidate lines corresponding to solid line lines, are easily recognized as boundary lines, and candidate lines with a width different from the maximum frequency are not recognized as boundary lines. Want to.
  • the frequency distribution of the edge points belonging to the outer edge line shown in FIG. 6 has only the maximum maximum frequency at the distance c, and does not have a maximum frequency different from the maximum maximum frequency. Therefore, the probability distribution regarding the position of the outer edge line is the probability that the candidate line is a boundary line in the second predetermined range including the distance c indicating the maximum maximum frequency in the frequency distribution, as shown by the solid line in FIG. The probability is that the candidate line is a boundary line as the position of the outer edge line is further away from the distance c.
  • the first predetermined range is a range between a solid lane line and a broken line lane line having a high frequency around the distance d in the frequency distribution
  • the second predetermined range is a distance in the frequency distribution. This is the range of the position of the outer edge line indicating the frequency close to the maximum frequency with c as the center. In this case, the first predetermined range overlaps a second predetermined range in the frequency distribution of the inner edge line described later.
  • the probability distribution regarding the position of the inner edge line is a candidate line for the frequency in the first predetermined range including the distance e indicating the maximum frequency different from the maximum frequency in the frequency distribution, as indicated by a one-dot chain line in FIG. Reduces the probability that is a boundary. Further, in the second predetermined range including the distance d indicating the maximum frequency in the frequency distribution, the probability that the candidate line is the boundary line is maximized, and the candidate line is the boundary line as the position of the inner edge line is further away from the distance d. Reduce the probability.
  • the first predetermined range is a range of the position of the inner edge line where the frequency is high around the distance e
  • the second predetermined range is the maximum frequency around the distance d in the frequency distribution. This is the range of the position of the inner edge line indicating the frequency close to.
  • a candidate line consisting of an outer edge line at a distance c and an inner edge line at a distance d, that is, a solid segment line among the saw lines is recognized as a boundary line. It becomes easy to be done. Also, a candidate line composed of the outer edge line at the position of the distance c and the inner edge line at the position of the distance e is difficult to be recognized as a boundary line.
  • the candidate line width can be specified using the positions of the outer edge line and the inner edge line in the horizontal direction of the image as parameters. Therefore, the frequency distribution of edge points corresponding to the candidate line width can be calculated, and as a result, a probability distribution in which the candidate line for the candidate line width is a boundary line can be generated.
  • the frequency calculation unit 34 may calculate a frequency distribution based on an image taken by the camera 10 under the condition that the vehicle travels for a predetermined time. Even in this case, since the frequency distribution can be calculated when a certain degree of frequency is secured, the reliability of the frequency distribution can be improved.
  • the candidate line extraction unit 33 selects candidate lines based on the series of edge points extracted by the edge point extraction unit 32 and the probability distribution generated by the probability generation unit 35. May be extracted.
  • the generated probability distribution in addition to the series of edge points, it is possible to suppress noise extraction and extract boundary line candidate lines more accurately. As a result, the accuracy of recognizing the boundary line can be improved.
  • generation part 35 specifies a candidate line width from the position of an outer edge line, and the position of an inner edge line, and the candidate line about a candidate line width as shown in FIG. 4 is a boundary line. A probability distribution may be generated. Furthermore, if the boundary line feature calculation unit 36 is set so that the larger the number of edge points included in the candidate line, the easier it is to select the lane boundary line, the boundary line can be selected with higher accuracy in the saw line. .
  • the probability generation unit 35 may set the probability that the candidate line is a boundary line as the maximum in the second predetermined range including the parameter value indicating the maximum maximum frequency in the frequency distribution, and may be the minimum other than the second predetermined range. That is, the probability distribution may be set to a discontinuous binary value.
  • the probability generation unit 35 has the candidate line width a indicating the maximum frequency in the frequency distribution. A probability distribution that facilitates recognition of the inner edge lines of the candidate lines may be generated. In the second embodiment, the probability generation unit 35 may generate only the probability distribution for the position of the inner edge line without generating the probability distribution for the position of the outer edge line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　走路を撮影するカメラ１０と、カメラ１０により撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部３２と、抽出したエッジ点の連なりに基づいて、走路を区切る境界線の候補線を抽出する候補線抽出部３３と、候補線抽出部３３により抽出された候補線に属するエッジ点に基づいて、境界線の幅を特定するパラメータについてのエッジ点の度数分布を算出する度数算出部３４と、度数算出部３４により算出された度数分布に基づいて、パラメータについての候補線が境界線である確率分布を算出する確率生成部３５と、確率生成部３５により算出された確率分布に基づいて、境界線を認識する境界線認識部３７と、を備える。

Description

境界線認識装置
　本発明は、車両に搭載されたカメラにより撮影された画像に基づいて、車両が走行する走路を区切る境界線を認識する境界線認識装置に関する。
　車両の走行路逸脱防止やステアリング自動制御を目的として、車両に搭載したカメラにより撮影した画像を処理して、車両が走行する走路を区切る境界線を認識する境界線認識装置が提案されている。このような境界線認識装置として、特に、多重区画線から車両の制御目標となる適切な境界線を識別する境界線認識装置が提案されている。
　例えば、特許文献１では、多重区画線検出領域において検出した各区画線候補の種類を判定し、種類が判定された各区画線候補が、多重区画線を構成するために位置的にどのような相対関係で並んでいるかを決定している。さらに、多重区画線が設けられた区画に自車両が進入する前に検出していた境界線と、最も連続性の高い境界線候補を判別し、境界線を確定している。
特開２０１０－２０５１７５号公報
　しかしながら、区画線の種類によっては、例えば、多重区画線が外側の実線区画線と内側の破線区画線とから構成され、実線区画線と破線区画線の間の距離が短く、破線区画線の線部同士の間隔が広い、いわゆるのこぎり線の場合、画像の解像度が低いと実線区画線と破線区画線の間のエッジが検出されないことがある。
　このような場合の処理について特許文献１には記載がなく、多重区画線がのこぎり線の場合に境界線を確定できないおそれがある。あるいは、境界線を確定できたとしても、のこぎり線の形状に合わせて、破線区画線の線部とギャップ部とで横方向の位置が変化する境界線を確定するおそれがある。それゆえ、境界線を確定できたとしても、確定した境界線に基づいて車両を自動制御した場合に、車両がふらつくおそれがある。
　本発明は、上記実情に鑑み、区画線、特に多重区画線の種類にかかわらず、適切な境界線を認識することが可能な、境界線認識装置を提供することを主たる目的とする。
　上記課題を解決するため、請求項１に記載の発明は、境界線認識装置であって、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部と、抽出したエッジ点の連なりに基づいて、前記走路を区切る境界線の候補線を抽出する候補線抽出部と、前記候補線抽出部により抽出された候補線に属する前記エッジ点に基づいて、前記境界線の幅を特定するパラメータについての前記エッジ点の度数分布を算出する度数算出部と、前記度数算出部により算出された前記度数分布に基づいて、前記パラメータについての前記候補線が前記境界線である確率分布を生成する確率生成部と、前記確率生成部により生成された前記確率分布に基づいて、前記境界線を認識する境界線認識部と、を備える。
　この構成によれば、車両に搭載されたカメラにより撮影された画像の輝度から、走路を区切る境界線のエッジ点が抽出され、抽出されたエッジ点の連なりから境界線の候補線が抽出される。さらに、抽出された候補線に属するエッジ点に基づいて、境界線幅を特定するパラメータについてのエッジ点の度数分布が算出される。すなわち、境界線幅に対応するエッジ点の度数分布が算出される。
　また、算出された度数分布に基づいて、境界線幅を特定するパラメータについての候補線が境界線である確率分布が生成される。そして、生成された確率分布に基づいて、前記候補線から前記境界線が認識される。すなわち、エッジ点の度数に基づいて各候補線の幅が境界線幅として有効な確率が算出され、その確率に基づいて境界線として有効な候補線が認識される。したがって、多重境界線がのこぎり線の場合でも、その中から境界線として有効な幅の候補線を選択し、適切な境界線を認識することができる。
境界線認識装置の構成を示すブロック図。 のこぎり線を示す図。 候補線幅についてのエッジ点の度数分布を示す図。 候補線幅についての候補線が境界線である確率分布を示す図。 候補線幅ついての候補線が境界線である確率分布を適用する前と適用した後を示す図。 外側エッジ線及び内側エッジ線の位置についてのエッジ点の度数分布を示す図。 外側エッジ線及び内側エッジ線の位置についての候補線が境界線である確率分布を示す図。
　以下、境界線認識装置を車両に搭載した各実施形態について、図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
　（第１実施形態）
　図１を参照して、本実施形態に係る境界線認識装置５０の構成を説明する。境界線認識装置５０は、カメラ１０と、車両情報取得装置２０と、画像処理装置３０と、を備える。
　カメラ１０は、例えばＣＣＤカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ１０は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置３０に出力する。
　車両情報取得装置２０は、ヨーレートセンサ２１及び車速センサ２２を備える。車両情報取得装置２０は、ヨーレートセンサ２１により検出される自車両の旋回方向への角速度（ヨーレート）と、車速センサ２２により検出される車速とから、走路中央の曲率を算出し、算出した走路の曲率を画像処理装置３０に出力する。画像処理装置３０は、算出された走路の曲率を境界線の位置の予測に用いる。
　画像処理装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、輝度情報取得部３１、エッジ点抽出部３２、候補線抽出部３３、度数算出部３４、確率生成部３５、境界線特徴算出部３６、境界線認識部３７の機能を実現している。
　輝度情報取得部３１は、カメラ１０が取得した画像の車線境界線を検出するために必要な所定範囲の色情報を輝度に変換して、輝度情報を取得する。エッジ点抽出部３２は、輝度変換された所定範囲において、画像の水平方向Ｈ（図５参照）且つ車両から離れる方向に、輝度が急激に増加するアップエッジ点及び輝度が急激に減少するダウンエッジ点を探索し、複数のエッジ点を抽出する。
　候補線抽出部３３は、抽出したアップエッジ点及びダウンエッジ点の連なりにハフ変換等の変換を行い、自車両が走行する走路の左右両側を区切る境界線の候補線を複数抽出する。抽出される候補線は、外側エッジ線と内側エッジ線とのペアから構成される。外側エッジ線には、高輝度から低輝度に変化するダウンエッジ点が含まれ、内側エッジ線には、低輝度から高輝度に変化するアップエッジ点が含まれる。
　度数算出部３４は、車両が所定距離走行するごとに、候補線抽出部３３により抽出された候補線に属するエッジ点に基づいて、境界線の幅を特定するパラメータについてのエッジ点の度数分布を算出する。すなわち、度数算出部３４は、車両が所定距離走行する間にカメラ１０により撮影された画像に基づいて、境界線幅を特定するパラメータについてのエッジ点の度数分布を算出する。本実施形態では、境界線の幅を特定するパラメータを候補線の幅とする。度数算出部３４は、抽出された候補線の幅に対する候補線に属するエッジ点の度数の分布を算出する。度数算出部３４により算出される度数分布については、後で詳しく述べる。
　確率生成部３５は、度数算出部３４により算出された度数分布に基づいて、境界線幅を特定するパラメータについての候補線が境界線である確率分布を生成する。本実施形態では、候補線幅についての候補線が境界線である確率分布を生成する。確率生成部３５により生成される確率分布については、後で詳しく述べる。
　境界線特徴算出部３６は、候補線抽出部３３により抽出された候補線が境界線の複数の特徴をそれぞれ備えている度合いに基づいて、候補線が境界線である確率を算出する。詳しくは、境界線の複数の特徴のそれぞれについて、特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が境界線である確率を高く算出する。境界線の特徴としては、候補線に含まれるエッジ点数が所定数よりも多いこと、候補線の長さが所定値よりも長いこと、エッジ点のエッジ強度が所定値よりも大きいこと等が挙げられる。
　境界線認識部３７は、候補線抽出部３３により抽出された複数の候補線のそれぞれについて、候補線幅及び確率生成部３５により生成された確率分布から算出した境界線である確率と、境界線特徴算出部３６により境界線の複数の特徴のそれぞれについて算出された境界線である確率と、を統合する。境界線認識部３７は、統合した候補線が境界線である確率に基づいて、尤も境界線らしい候補線を選択して、選択した候補線を境界線として認識する。詳しくは、統合された確率が境界線として判定できる判定値よりも高い候補線のうち、車両の右側と左側とで対になっている候補線であり、且つ最も確率が高い候補線を選択する。
　境界線認識部３７により境界線として認識された候補線の内側エッジ線は、制御目標に設定され、車両についての種々の制御が実行される。車両を自動制御する場合は、境界線として認識された候補線の内側エッジ線の形状に基づいて、車両の操舵量の設定が行われる。また、車両を走行路内に維持させる場合は、境界線として認識された候補線の内側エッジ線の外へ車両がはみ出したときに、警報音が出力される。
　次に、区画線がのこぎり線の場合に算出される度数分布について説明する。図２に示すように、のこぎり線は、外側の実線区画線、内側の破線区画線から構成される多重区画線であり、実線区画線と破線区画線との間の距離が短い又はなく、破線同士の間隔が破線の長さと比較して長くなっている。それゆえ、画像の解像度によっては、実線区画線と破線区画線との間のエッジは検出されないことがある。ここでは、実線区画線と破線区画線との間のエッジが検出されていないとする。
　この場合、実線区画線の外側輪郭に対応する外側エッジ線と、実線区画線の内側輪郭に対応する内側エッジ線と、破線区画線の内側輪郭に対応する内側エッジ線とが抽出される。すなわち、車線方向（画像の垂直方向）に沿って複数の候補線、実線区画線に対応する外側エッジ線及び内側エッジ線のペアからなる候補線と、実線区画線に対応する外側エッジ線及び破線区画線に対応する内側エッジ線のペアからなる候補線と、が抽出される。そして、実線区画線に対応する外側エッジ線及び内側エッジ線からなる候補線に属するエッジ点の数は、実線区画線に対応する外側エッジ線及び破線区画線に対応する内側エッジ線からなる候補線に属するエッジ点の数よりも多くなる。
　また、実線区画線の幅をａ、実線区画線の幅と破線区画線の幅とを合わせた幅をｂとする。実線区画線に対応する外側エッジ線に含まれるエッジ点と、実線区画線に対応する内側エッジ線に含まれるエッジ点との間隔、すなわち、実線区画線に対応する外側エッジ線と内側エッジ線とからなる候補線の幅は、ａに近い幅になる。一方、実線区画線に対応する外側エッジ線に含まれるエッジ点と、破線区画線に対応する内側エッジ線に含まれるエッジ点との間隔、すなわち実線区画線に対応する外側エッジ線と破線区画線に対応する内側エッジ線とからなる候補線の幅は、ｂに近い幅になる。したがって、区画線がのこぎり線の場合に算出される度数分布は、図３に示すように、候補線幅ａに対応するエッジ点の度数が最大の極大度数、すなわち最大度数を示し、候補線幅ｂに対応するエッジ点の度数が最大度数よりも小さい極大度数を示す分布になる。
　なお、実線区画線と破線区画線との間のエッジが検出された場合、実線区画線と破線区画線との間のエッジ線は外側エッジ線となる。よって、この場合、ａ、ｂの幅の候補線以外に、破線区画線の幅に近い幅の候補線が抽出され、度数分布は、候補線幅ｂ、及び破線区画線の幅において、最大の極大度数とは異なる極大度数を示す分布になる。
　次に、確率生成部３５により、図３の度数分布に基づいて生成される確率分布について説明する。境界線として認識したいのは、最大の極大度数示す幅の候補線、すなわち実線区画線に対応する候補線である。これに対し、２番目や３番目に大きい極大度数を示す幅の候補線は、境界線として認識されないようにしたい。そこで、候補線幅についての確率分布を度数分布と同じ分布形状にはしないで、度数分布において最大の極大度数とは異なる極大度数を示す候補線幅ｂを含む第１所定範囲において、度数に対する候補線が境界線である確率を低下させる。なお、第１所定範囲は、度数分布において、候補線幅ｂを中心として度数が高くなっている候補線幅の範囲である。
　一方、最大の極大度数を示す候補線幅ａの候補線は、境界線として認識されやすくしたいので、度数分布において最大の極大度数を示す候補線幅ａを含む第２所定範囲において、候補線が境界線である確率を最大にする。さらに、候補線幅がａから離れるほど候補線が境界線として認識されにくくするために、度数分布において最大の極大度数を示す候補線幅ａから離れるほど、候補線が境界線である確率を低くする。なお、第２所定範囲は、度数分布において、候補線幅ａを中心として最大度数に近い度数を示す候補線幅の範囲である。
　上記のようにして確率生成部３５により生成された確率分布は、図４に示すように、候補線幅ａを中心とした第２所定範囲において最大確率を示し、候補線幅ａから離れるほど低い確率を示し、候補線幅ｂを中心とした第１所定範囲において最低確率を示す。この確率分布を用いることにより、のこぎり線のうち実線区画線に対応する候補線が境界線として認識されやすくなり、それ以外の候補線が境界線として認識されにくくなる。
　図５（ａ）（ｂ）に、車両の右側の境界線がのこぎり線の場合に、境界線認識部３７により認識した境界線の一例を示す。図５（ａ）は、候補線幅及び確率生成部３５により生成された確率分布から算出した境界線である確率を、統合した境界線である確率に反映していない場合に、認識した境界線を示す図である。一方、図５（ｂ）は、候補線幅及び確率生成部３５により生成された確率分布から算出した境界線である確率を、統合した境界線である確率に反映した場合に、認識した境界線を示す図である。図５（ａ）（ｂ）において、実線は、境界線として認識した候補線の内側エッジ線を示しており、四角点は、画像の上部領域において境界線のエッジ点として認識されているエッジ点を示している。
　図５（ａ）では、画像の上部領域において右側境界線に四角点がないことから、実線区画線の内側エッジ点が認識されていない。境界線として認識した候補線の内側エッジ線は、破線区画線の内側から実線区画線の内側に向かって延びている。すなわち、実線区画線に破線区画線が重なっている部分では、実線区画線の幅と破線区画線の幅を合わせた幅の候補線を境界線として認識し、実線区画線に破線区画線が重なっていない部分では、実線区画線に対応する候補線を境界線として認識している。よって、認識される走路の幅が変化するので、認識した候補線を制御目標とすると、車両の制御が不安定になるおそれがある。
　これに対して、図５（ｂ）では、画像の上部領域において右側境界線に四角点があることから、実線区画線の内側エッジ点が認識されている。境界線として認識した候補線の内側エッジ線は、実線区画線の内側に沿って延びている。すなわち、実線区画線に破線区画線が重なっている部分（候補線が異なる部分）でも、実線区画線に対応する候補線（を連続又は延長させた当該幅を有する線）を境界線として認識しており、実線区画線の幅と破線区画線の幅を合わせた幅の候補線を境界線として認識していない。よって、認識される走路の幅は一定となるので、認識した候補線を制御目標として、安定した車両の制御を実行できる。
　以上説明した第１実施形態によれば、以下の効果を奏する。
　・候補線に属するエッジ点の度数に基づいて各候補線の幅が境界線幅として有効な確率が算出され、その確率に基づいて境界線として有効な候補線が認識される。したがって、多重区画線がのこぎり線の場合でも、その中から境界線として有効な幅の候補線を選択し、適切な境界線を認識することができる。
　・度数分布において最大の極大度数とは異なる極大度数を示す候補線幅の値を含む第１所定範囲において、候補線が境界線である確率を低下させることにより、２番目や３番目に大きい極大度数を示す幅の候補線が、境界線として認識されにくくなる。よって、多重区画線がのこぎり線の場合には、破線区画線の幅、又は実線区画線の幅と破線区画線の幅を合わせた幅を含む所定範囲の幅の候補線が、境界線として認識されにくくなる。したがって、多重区画線がのこぎり線の場合でも、境界線を誤認識することを抑制できる。ひいては、車両を走路内に安定して維持することができる。
　・度数分布において最大度数を示すパラメータの値を含む第２所定範囲において、候補線が境界線である確率を最大にすることにより、最大度数を示す候補線幅に近い幅を有する候補線が、境界線として認識されやすくなる。よって、多重区画線がのこぎり線の場合には、実線区画線の幅を含む所定範囲の幅の候補線が境界線として認識されやすくなる。したがって、多重区画線がのこぎり線の場合でも、適切な境界線を認識することができる。
　・最大の極大度数を示す候補線幅の値において、候補線が境界線である確率が最も高くなり、その値から離れるほど、候補線が境界線として認識されにくくなる。したがって、多重区画線がのこぎり線の場合でも、より適切に境界線を認識することができる。
　・境界線幅を特定するパラメータを候補線幅とすることで、候補線幅に対するエッジ点の度数分布を算出でき、ひいては候補線幅に対する候補線が境界線である確率分布を生成できる。
　・所定距離走行する間に蓄積された画像に基づいて度数分布が算出されるので、ある程度の度数が確保された時点で度数分布を算出することができる。このため、度数分布の信頼性を向上させることができ、精度の高い確率分布を生成することができる。
　・候補線の幅に基づいた確率と、境界線の複数の特徴のそれぞれを備えている度合いに基づいた確率とが統合されて、境界線が認識される。したがって、多重区画線がのこぎり線の場合でも、高精度に適切な境界線を認識することができる。
　（第２実施形態）
　次に、第２実施形態について第１実施形態と異なる点について説明する。第２実施形態では、境界線の幅を特定するパラメータを、画像の水平方向における外側エッジ線の位置、及び内側エッジ線の位置とする。度数算出部３４は、車両が所定距離走行するごとに、画像の水平方向における外側エッジ線の位置及び内側エッジ線の位置についてのエッジ点の度数分布を算出する。また、確率生成部３５は、度数算出部３４により生成された度数分布に基づいて、画像の水平方向における外側エッジ線の位置及び内側エッジ線の位置についていの候補線が境界線である確率分布を生成する。
　次に、境界線がのこぎり線の場合に、算出される度数分布について説明する。ここでは、実線区画線と破線区画線との間のエッジが検出されていないとする。また、画像の水平方向において、実線区画線の外側輪郭が、外縁からの距離ｃの位置にあるとし、実線区画線の内側輪郭が、外縁から距離ｄの位置にあるとする。さらに、画像の水平方向において、破線区画線の内側輪郭が、外縁から距離ｅの位置にあるとする。なお、外縁とは、エッジ点探索範囲の左右の端、又は画像の左右の端をいう。
　まず、外側エッジ線に属するエッジ点について説明する。この場合、実線区画線に対応する外側エッジ線に属するエッジ点の水平方向における位置は、外縁からの距離ｃの付近になる。よって、度数算出部３４により算出される外側エッジ線の位置についてのエッジ点の度数分布は、図６において実線で示すように、距離ｃで最大の極大度数を示す分布になる。一方、実線区画線と破線区画線との間のエッジが検出されていないため、破線区画線に対応する外側エッジ線に属するエッジ点は検出されていない。
　なお、実線区画線と破線区画線との間のエッジ点が検出された場合、外側エッジ線の位置についての度数分布は、距離ｃで最大度数を示し、距離ｄで最大の極大度数とは異なる極大度数を示す分布になる（図示なし）。実線区画線に対応する外側エッジ線に属するエッジ点の数は、実線区画線と破線区画線との間の外側エッジ線（破線区画線の外側エッジ線）に属するエッジ点の数よりも多いので、距離ｃで最大度数を示し、距離ｄで２番目に大きい極大度数を示す。
　続いて、内側エッジ線に属するエッジ点について説明する。実線区画線に対応する内側エッジ線に属するエッジ点の水平方向における位置は、外縁から距離ｄの付近になり、破線区画線に対応する内側エッジ線に属するエッジ点の水平方向における位置は、外縁から距離ｅの付近になる。よって、度数算出部３４により算出される内側エッジ線の位置についてのエッジ点の度数分布は、図６において一点鎖線で示すように、距離ｄで最大の極大度数を示し、距離ｅで最大の極大度数とは異なる極大度数を示す分布になる。実線区画線に対応する内側エッジ線に属するエッジ点の数は、破線区画線に対応する内側エッジ線に属するエッジ点の数よりも多いので、距離ｄで最大度数を示し、距離ｅで２番目に大きい極大度数を示す。
　そして、外側エッジ線の位置についての度数分布において最大度数を示す距離ｃと、内側エッジ線の位置についての度数分布において最大度数を示す距離ｄとの間隔が、図３の度数分布において最大度数を示した候補線幅ａ、すなわち実線区画線の幅になる。また、距離ｃと距離ｅとの間隔が、図３の度数分布において最大度数とは異なる極大度数を示す候補線幅ｂ、すなわち実線区画線の幅と破線区画線幅を合わせた幅になる。
　次に、確率生成部３５により、図６の度数分布に基づいて生成される確率分布について説明する。最大の極大度数を示す幅の候補線、すなわち実線区画線に対応する候補線を境界線として認識されやすくし、最大度数と異なる極大度数を示す幅の候補線は、境界線として認識されないようにしたい。
　図６で示す外側エッジ線に属するエッジ点の度数分布は、距離ｃにおける最大の極大度数のみを有し、最大の極大度数とは異なる極大度数は有さない。そこで、外側エッジ線の位置についての確率分布は、図７において実線で示すように、度数分布において最大の極大度数を示す距離ｃを含む第２所定範囲において、候補線が境界線である確率を最大にし、外側エッジ線の位置が距離ｃから離れるほど、候補線が境界線である確率を低くする。
　なお、実線区画線と破線区画線との間に外側エッジ線が抽出された場合は、距離ｄで最大度数とは異なる極大度数を示すので、距離ｄを含む第１所定範囲（図示なし）において、度数に対する候補線が境界線である確率を低下させる。この場合の第１所定範囲は、度数分布において、距離ｄを中心として度数が高くなっている実線区画線と破線区画線との間の範囲であり、第２所定範囲は、度数分布において、距離ｃを中心として最大度数に近い度数を示す外側エッジ線の位置の範囲である。この場合の第１所定範囲は、後述する内側エッジ線の度数分布における第２所定範囲に重なる。
　同様にして、内側エッジ線の位置についての確率分布は、図７において一点鎖線で示すように、度数分布において最大度数と異なる極大度数を示す距離ｅを含む第１所定範囲において、度数に対する候補線が境界線である確率を低下させる。また、度数分布において最大度数を示す距離ｄを含む第２所定範囲において、候補線が境界線である確率を最大にし、内側エッジ線の位置が距離ｄから離れるほど、候補線が境界線である確率を低くする。なお、第１所定範囲は、度数分布において、距離ｅを中心として度数が高くなっている内側エッジ線の位置の範囲であり、第２所定範囲は、度数分布において、距離ｄを中心として最大度数に近い度数を示す内側エッジ線の位置の範囲である。
　図７に示す確率分布を用いることにより、距離ｃの位置にある外側エッジ線と距離ｄの位置にある内側エッジ線とからなる候補線、すなわち、のこぎり線のうち実線区画線が境界線として認識されやすくなる。また、距離ｃの位置にある外側エッジ線と距離ｅの位置にある内側エッジ線とからなる候補線は、境界線として認識されにくくなる。
　以上説明した第２実施形態によれば、画像の水平方向における外側エッジ線及び内側エッジ線の位置をパラメータとして、候補線幅を特定することができる。よって、候補線幅に対応するエッジ点の度数分布を算出でき、ひいては、候補線幅に対する候補線が境界線である確率分布を生成できる。
　（他の実施形態）
　本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
　・度数算出部３４は、車両が所定時間走行する条件を加えてカメラ１０により撮影された画像に基づいて、度数分布を算出してもよい。このようにしても、ある程度の度数が確保された時点で度数分布を算出することができるので、度数分布の信頼性を向上させることができる。
　・図１において破線の矢印で示すように、候補線抽出部３３は、エッジ点抽出部３２により抽出されたエッジ点の連なり、及び確率生成部３５により生成された確率分布に基づいて、候補線を抽出するようにしてもよい。エッジ点の連なりに加えて、生成された確率分布を用いることにより、ノイズの抽出を抑制し、境界線の候補線をより正確に抽出することができる。その結果、境界線を認識する精度を向上させることができる。
　・第２実施形態において、確率生成部３５は、外側エッジ線の位置及び内側エッジ線の位置から候補線幅を特定し、図４に示すような候補線幅についての候補線が境界線である確率分布を生成してもよい。さらに、境界線特徴算出部３６にて、候補線に含まれているエッジ点数が多いほど車線境界線として選択しやすくなるように設定しておけば、のこぎり線においてより精度よく境界線を選択できる。
　・確率生成部３５は、候補線が境界線である確率を、度数分布において最大の極大度数を示すパラメータの値を含む第２所定範囲において最大とし、第２所定範囲以外において最小としてもよい。すなわち、確率分布を不連続な二値に設定してもよい。
　・一般に車両の制御目標とするのは、境界線として認識した候補線の内側エッジ線であるので、第１実施形態において、確率生成部３５は、度数分布において最大度数を示す候補線幅ａの候補線の内側エッジ線が認識されやすくなる確率分布を、生成してもよい。また、第２実施形態において、確率生成部３５は、外側エッジ線の位置についての確率分布を生成せず、内側エッジ線の位置についての確率分布だけを生成してもよい。
　１０…カメラ、３０…画像処理装置、３２…エッジ点抽出部、３３…候補線抽出部、３４…度数算出部、３５…確率生成部、３７…境界線認識部。

Claims (10)

  1. 　車両に搭載されて走路を撮影するカメラ（１０）と、
    　前記カメラにより撮影された画像の輝度に基づいて、エッジ点を抽出するエッジ点抽出部（３２）と、
    　抽出したエッジ点の連なりに基づいて、前記走路を区切る境界線の候補線を抽出する候補線抽出部(３３)と、
    　前記候補線抽出部により抽出された候補線に属する前記エッジ点に基づいて、前記境界線の幅を特定するパラメータについての前記エッジ点の度数分布を算出する度数算出部（３４）と、
    　前記度数算出部により算出された前記度数分布に基づいて、前記パラメータについての前記候補線が前記境界線である確率分布を生成する確率生成部（３５）と、
    　前記確率生成部により生成された前記確率分布に基づいて、前記境界線を認識する境界線認識部（３７）と、を備える境界線認識装置（５０）。
  2. 　前記確率生成部は、前記度数分布において最大の極大度数とは異なる極大度数を示す前記パラメータの値を含む第１所定範囲において、前記度数に対する前記候補線が前記境界線である確率を低下させる請求項１に記載の境界線認識装置。
  3. 　前記確率生成部は、前記度数分布において最大の極大度数を示す前記パラメータの値を含む第２所定範囲において、前記候補線が前記境界線である確率を最大とする請求項１又は２に記載の境界線認識装置。
  4. 　前記確率生成部は、前記度数分布において最大の極大度数を示す前記パラメータの値から離れるほど、前記候補線が前記境界線である確率を低くする請求項１～３のいずれかに記載の境界線認識装置。
  5. 　前記候補線抽出部は、前記エッジ点の連なり及び前記確率生成部により生成された前記確率分布に基づいて、前記候補線を抽出する請求項１～４のいずれかに記載の境界線認識装置。
  6. 　前記パラメータは、前記候補線の幅である請求項１～５のいずれかに記載の境界線認識装置。
  7. 　前記パラメータは、前記画像の水平方向における前記候補線の外側エッジ線及び内側エッジ線の位置である請求項１～５のいずれかに記載の境界線認識装置。
  8. 　前記度数算出部は、前記車両が所定距離走行する間に前記カメラにより撮影された画像に基づいて、前記度数分布を算出する請求項１～７のいずれかに記載の境界線認識装置。
  9. 　前記度数算出部は、前記車両が所定時間走行する間に前記カメラにより撮影された画像に基づいて、前記度数分布を算出する請求項１～７のいずれかに記載の境界線認識装置。
  10. 　前記境界線認識部は、前記確率分布から算出される確率と、前記候補線が境界線の複数の特徴をそれぞれ備えている度合いに基づいて算出される確率とを統合して、前記境界線を認識する請求項１～９のいずれかに記載の境界線認識装置。
PCT/JP2014/059967 2013-04-08 2014-04-04 境界線認識装置 WO2014168083A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/783,060 US9672429B2 (en) 2013-04-08 2014-04-04 Boundary line recognizer device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-080477 2013-04-08
JP2013080477A JP5986949B2 (ja) 2013-04-08 2013-04-08 境界線認識装置

Publications (1)

Publication Number Publication Date
WO2014168083A1 true WO2014168083A1 (ja) 2014-10-16

Family

ID=51689492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/059967 WO2014168083A1 (ja) 2013-04-08 2014-04-04 境界線認識装置

Country Status (3)

Country Link
US (1) US9672429B2 (ja)
JP (1) JP5986949B2 (ja)
WO (1) WO2014168083A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227726A (zh) * 2016-06-30 2016-12-14 北京航空航天大学 一种基于车辆轨迹数据的路径提取方法
US9672429B2 (en) 2013-04-08 2017-06-06 Denso Corporation Boundary line recognizer device
EP3227874A4 (en) * 2014-12-04 2018-03-14 Ricoh Company, Ltd. Driving determination device and detection device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6435781B2 (ja) * 2014-10-31 2018-12-12 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
JP6426512B2 (ja) * 2015-03-17 2018-11-21 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US20180165525A1 (en) * 2015-06-15 2018-06-14 Mitsubishi Electric Corporation Traveling lane determining device and traveling lane determining method
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
DE102019134320A1 (de) * 2019-12-13 2021-06-17 Connaught Electronics Ltd. Verfahren und System zum Erfassen von Fahrspurbegrenzungen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264955A (ja) * 2006-03-28 2007-10-11 Fuji Heavy Ind Ltd 車線位置検出装置
JP2007316767A (ja) * 2006-05-23 2007-12-06 Denso Corp 車両用レーンマーク認識装置
JP2011095846A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP5577608B2 (ja) 2009-03-05 2014-08-27 日産自動車株式会社 車線認識装置及び方法
JP5986949B2 (ja) 2013-04-08 2016-09-06 株式会社日本自動車部品総合研究所 境界線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264955A (ja) * 2006-03-28 2007-10-11 Fuji Heavy Ind Ltd 車線位置検出装置
JP2007316767A (ja) * 2006-05-23 2007-12-06 Denso Corp 車両用レーンマーク認識装置
JP2011095846A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672429B2 (en) 2013-04-08 2017-06-06 Denso Corporation Boundary line recognizer device
EP3227874A4 (en) * 2014-12-04 2018-03-14 Ricoh Company, Ltd. Driving determination device and detection device
US10515546B2 (en) 2014-12-04 2019-12-24 Ricoh Company, Ltd. Driving determination device and detection device
CN106227726A (zh) * 2016-06-30 2016-12-14 北京航空航天大学 一种基于车辆轨迹数据的路径提取方法
CN106227726B (zh) * 2016-06-30 2020-01-21 北京航空航天大学 一种基于车辆轨迹数据的路径提取方法

Also Published As

Publication number Publication date
JP5986949B2 (ja) 2016-09-06
JP2014203344A (ja) 2014-10-27
US20160042236A1 (en) 2016-02-11
US9672429B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
WO2014168083A1 (ja) 境界線認識装置
JP6536064B2 (ja) 走行軌跡選定装置、走行軌跡選定方法
EP3258214B1 (en) Object detection device
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP6096723B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
WO2013141226A1 (ja) 走行区画線を認識する装置および方法
US20150269445A1 (en) Travel division line recognition apparatus and travel division line recognition program
JP6468136B2 (ja) 走行支援装置及び走行支援方法
US10539418B2 (en) Target detection apparatus and method
WO2016159364A1 (ja) 歩行者判定装置
US20150235090A1 (en) Lane-line recognition apparatus
US20150248763A1 (en) Turnoff recognition apparatus
JP5977275B2 (ja) 分岐路認識装置
JP6165120B2 (ja) 走行区画線認識装置
JP5805619B2 (ja) 境界線認識装置
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6483360B2 (ja) 対象物認識装置
JP2016012304A (ja) 対象物認識装置
JP5304804B2 (ja) 境界検出装置、および境界検出プログラム
US10442430B2 (en) Collision avoidance assistance device
JP2017123009A (ja) 区画線認識装置
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
JP5472137B2 (ja) 境界検出装置、および境界検出プログラム
JP6087687B2 (ja) 走行支援装置
JP2015215235A (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14782079

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14783060

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14782079

Country of ref document: EP

Kind code of ref document: A1