WO2014104183A1 - 境界線認識装置及び分岐路判定装置 - Google Patents

境界線認識装置及び分岐路判定装置 Download PDF

Info

Publication number
WO2014104183A1
WO2014104183A1 PCT/JP2013/084866 JP2013084866W WO2014104183A1 WO 2014104183 A1 WO2014104183 A1 WO 2014104183A1 JP 2013084866 W JP2013084866 W JP 2013084866W WO 2014104183 A1 WO2014104183 A1 WO 2014104183A1
Authority
WO
WIPO (PCT)
Prior art keywords
candidate
boundary line
line
probability
boundary
Prior art date
Application number
PCT/JP2013/084866
Other languages
English (en)
French (fr)
Inventor
俊也 熊野
直輝 川嵜
俊輔 鈴木
哲哉 高藤
一馬 橋本
Original Assignee
株式会社日本自動車部品総合研究所
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012283290A external-priority patent/JP6105279B2/ja
Priority claimed from JP2012283291A external-priority patent/JP5805619B2/ja
Application filed by 株式会社日本自動車部品総合研究所, 株式会社デンソー filed Critical 株式会社日本自動車部品総合研究所
Priority to US14/655,698 priority Critical patent/US10002433B2/en
Publication of WO2014104183A1 publication Critical patent/WO2014104183A1/ja
Priority to US15/974,287 priority patent/US10891738B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Definitions

  • the present invention has as its main object to improve the detection accuracy of the boundary line of the traveling road. Specifically, it is an object of the present invention to provide a boundary line recognition apparatus that can suppress erroneous recognition of a boundary line at a distance from a vehicle. Also provided are a branch path determination apparatus capable of suppressing erroneous detection of a branch path branching from the main line, and a boundary line recognition apparatus using the branch path determination apparatus.
  • the feature as the plurality of branch roads includes that both the extracted candidate line is a solid line and the curvature of the runway is smaller than a predetermined value. It differs from the configuration of the road judgment device. Therefore, since two features that improve the reliability are added and whether or not the branch path is determined, it is possible to determine the branch path more accurately.
  • the width calculation unit 31 calculates the apparent width of the candidate line at each edge candidate point. Then, when the ratio of the calculated apparent width to the image blur is smaller than a predetermined value, the probability that the candidate line is the boundary of the main track is minimized, and the candidate line is recognized as the boundary of the main track. It suppresses that.
  • the boundary line recognition unit 60 includes a boundary line feature integration unit 40 and a boundary line selection unit 50, and integrates the probabilities calculated by the boundary line feature calculation unit 30 with respect to features as a plurality of boundary lines. Recognize
  • the probability X calculated by the width calculator 31 and the probability calculated by the vote count calculator 32 as B, and the probability calculated by the width calculator 31 and the vote count calculator 32 are integrated as a probability X. Is calculated. Further, the probability X obtained by integrating the probabilities calculated by the width calculation unit 31 and the vote number calculation unit 32 is A, and the probability calculated by the edge strength calculation unit 33 is B, the width calculation unit 31, the vote number calculation unit 32, And the probability X which integrated the probability calculated by the edge strength calculation part 33 is calculated. In this way, the probabilities are sequentially integrated, and the probabilities calculated by the boundary line feature calculating unit 30 are integrated for the features as a plurality of boundary lines. Note that the characteristics of the boundary line are not limited to the above four characteristics. For other features as the boundary line, the probability that the candidate line is the boundary line of the main road may be calculated, and the calculated probabilities may be integrated.
  • the luminance distribution of the boundary line in the horizontal direction of the image is a distribution having sharp peaks that suddenly rise from the minimum luminance to the maximum luminance at the left and right edge portions of the boundary line.
  • the brightness distribution spreads dullly at the left and right edge portions of the boundary line, which is less than the ideal situation from the minimum brightness to the maximum brightness.
  • the distribution rises gently.
  • the width in which the luminance from the first predetermined value to the second predetermined value is distributed well represents the extent of the edge portion of the boundary line. Therefore, the range in which the luminance from the first predetermined value to the second predetermined value is distributed with respect to the maximum luminance is defined as the unclearness of the image.
  • the approximate blur level can be calculated by either of the above two blur level calculation methods. Moreover, even if it calculates with either of the said 2 unsharpness calculation methods, the unsharpness of an image will be a comparable value, and a unit will be a pixel.
  • step S15 the ratio of the apparent width of the candidate line to the unclearness of the image is calculated from the unclearness of the image calculated in step S14 and the apparent width of the candidate line calculated in step S13. Specifically, the ratio is calculated by dividing the apparent width of the candidate line by the unclearness of the image.
  • the apparent width of the boundary line on the image is narrower than when it is near the vehicle.
  • the apparent width of the boundary line on the image becomes very narrow and the edge of the boundary line is far away from the vehicle.
  • the part is easily blurred.
  • the apparent width of the boundary line is narrower on the image relative to the unclearness of the image at a distance from the vehicle than at the vicinity of the vehicle, and it is difficult to distinguish the edge portion from the other portions.
  • the extraction accuracy of candidate points and candidate lines is lowered.
  • FIG. 7A and 7B show an example of the result of recognizing the boundary line by the image processing apparatus 70.
  • FIG. White squares indicate edge candidate points selected by the boundary line selection unit 50, and black squares indicate excluded edge candidate points.
  • FIG. 7A is a diagram in the case where the probability calculated by the width calculation unit 31 is not reflected in the probability obtained by integrating the probabilities of the boundary lines calculated for the features as a plurality of boundary lines.
  • FIG. 7B is a diagram in the case where the probability calculated by the width calculation unit 31 is reflected on the probability obtained by integrating the probabilities of the boundary lines calculated for the features as a plurality of boundary lines. is there.
  • the track is curved far away from the vehicle, and poles are installed at regular intervals along the left side of the track near the curve. Near the curve, pole edges are extracted as edge candidate points.
  • the blur can be made to reflect the specification and situation of the lens.
  • the image blur is higher than the lens blur due to rain or fog. Therefore, it may be corrected to increase the lens blur during rain or fog.
  • a rain sensor 11 rainfall detection means
  • a fog sensor 12 fog detection means for detecting fog are mounted on the vehicle. Then, when rain or fog is detected by the rain sensor 11 and the fog sensor 12, correction is performed so that the conversion value of the specification value of the lens blur amount is increased as compared with the case where rain and fog are not detected. The corrected value is used as the image blur.
  • the rain may be detected by turning on the wiper switch, and the fog may be detected by turning on the fog lamp switch instead of the fog sensor 12.
  • the rain sensor 11 or fog sensor 12 detects the amount of rainfall or the amount of fog, and corrects the conversion value of the lens blur amount specification value to increase as the amount of rainfall or the amount of fog increases. Also good. In this way, it is possible to further improve the accuracy of the unclearness of the image during rain or fog.
  • the branch path determination apparatus includes a camera 111, a vehicle information acquisition device 112 (curvature calculation unit), and an image processing device 70.
  • the boundary line of the main track for example, the number of votes by the Hough transform is larger than a predetermined number, the edge strength represented by the luminance differential value in the horizontal direction is larger than the predetermined value, and the boundary line is divided
  • the runway is not a branch road.
  • step S111 the probability that the runway is a branch road is calculated based on whether the candidate line is a solid line or a broken line. It is determined whether the candidate line is a solid line or a broken line. As shown in the table of FIG. 10, when the candidate line is a solid line, the probability that the runway is a branch road is set to a predetermined high probability, and the candidate line is a broken line. In this case, the probability that the runway is a branch road is set to a predetermined low probability.
  • the predetermined high probability is a value that does not increase or decrease the integrated probability when the probabilities calculated for a plurality of features are integrated.
  • the predetermined low probability is a value that lowers the integrated probability when the probabilities calculated for a plurality of features are integrated, but is a value that does not set the probability of determining a runway as a branch road to zero. That is, even if the candidate line is a broken line, the runway may be determined as a branch road if the probability calculated for other features is sufficiently high.
  • the probability that the candidate line is a boundary line of the main road may be calculated as a probability other than 0, for example, 0.1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

 境界線認識装置は、車両の走路を撮影するカメラ(10)と、撮影された画像の輝度に基づいて、走路を区切る境界線のエッジ候補点を抽出するし、抽出したエッジ候補点の連なりから境界線の候補線を抽出する境界線候補抽出部(20)を備える。この装置はさらに、幅算出部(31)、境界線特徴算出部(30)、及び境界線認識部(60)を備える。幅算出部は、抽出された境界線の候補線において、画像の水平方向における候補線の幅、及び画像の垂直方向に対する候補線の角度から、候補線の画像上での見かけの幅を算出する。境界線特徴算出部は、候補線が境界線としての特徴を備えている度合いが大きいほど、候補線が境界線である確率を高く算出する。境界線認識部は、複数の特徴について境界線特徴算出部により算出された確率を統合して、境界線を認識する。複数の境界線としての特徴は、画像の不鮮明度に対する幅算出部により算出された見かけの幅の比率が所定値よりも大きいことを含む。

Description

境界線認識装置及び分岐路判定装置
 本発明は、車両に搭載されたカメラにより撮影された画像情報に基づいて、走路を区分する路面上の境界線や本線走路から分岐する分岐路を認識する境界線認識装置、及び、その境界線認識装置に用いる分岐路判定装置に関する。
 近年、車両の自動制御や走行安全性の向上を目的として、車両に搭載したカメラにより撮影した画像情報に基づいて、白線等の走路の境界線を認識する認識装置の開発が進められている。
 車両の自動制御や走行安全性の向上を実現するためには、上記認識装置による境界線の誤認識を抑制し、境界線を適切に認識する必要がある。
 このような観点から、特許文献1に示すシステムが提案されている。このシステムでは、車両に搭載した撮影装置で車両前方の路面を含むシーンを撮影し、撮影した画像データから車両が走行中のレーンの左,右端白線を表す二直線を検出して、検出した二直線の交点から自車両までの二直線間の3角領域で、路面上の物体を検出することが行われている。
 この特許文献1では、自車レーンが車両の前方でカーブしている場合に、3角領域から遠方の路面が外れないようにするために、車両前方の路面が存在する画像上の領域を、車両の進行方向で複数個に分割している。そして、車両に近い分割領域から順次に、分割領域における走行中のレーンの左,右端白線の検出を行い、検出した左,右端白線の間の走行レーン領域において物体検出を行っている。
 一方、前述した境界線を的確に検出するために、本線走路から分岐する分岐路がある場合に、本線走路と分岐路を正確に判別し、分岐路の誤検出を抑制する必要がある。
 この観点から、特許文献2のシステムでは、検出された車線境界位置に基づいて、道路曲率、及び車両のピッチ角を算出し、算出した道路曲率やピッチ角と過去の平均値との差の絶対値が閾値より大きい場合に、検出した車線境界位置を分岐路の車線境界位置と認定している。
特開平6-215290号公報 特開2005-346383号公報
 前述した特許文献1に記載のシステムでは、左,右端白線を表す直線を基準にした所定領域で物体検出を行う場合、物体の検出精度を向上させるためには、左,右端白線を表す直線の誤認識を抑制する必要がある。
 しかしながら、車両から遠方にある白線の場合、画像上における境界線の見かけの幅は非常に狭くなる。そのため、カメラレンズのぼけにより境界線と路面とのコントラスト(エッジ強度)が低下すると、車両の遠方において、境界線に沿って並んだ路側物等を境界線と誤認識するおそれがある。特に、白線等の境界線が画像上で水平方向に傾いていると、こうした傾向が顕著となる。
 一方、前述した特許文献2に記載のシステムでは、画像情報から境界線を表すエッジ成分を抽出して、境界線を認識している。そのため、エッジ成分に外乱が加わると、境界線を誤認識し、境界線に基づいて算出した曲率やピッチ角が大きく変動することがある。したがって、特許文献1の分岐路判定方法のように境界線の変動に基づいて分岐を判定する場合、本線走路を分岐路として誤検出するおそれがある。
 本発明は、上記実情に鑑み、走行路の境界線の検出精度を向上させることを主目的とする。
 具体的には、車両の遠方における境界線の誤認識を抑制可能な境界線認識装置を提供すること一つの目的とする。
 また、本線から分岐する分岐路の誤検出を抑制することが可能な分岐路判定装置、及びその分岐路判定装置を利用した境界線認識装置を提供する
 上記課題を解決するため、一つの態様によれば、境界線認識装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像の輝度に基づいて、前記走路を区切る境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから前記境界線の候補線を抽出する境界線候補抽出部と、前記境界線候補抽出部により抽出された前記境界線の候補線において、前記画像の水平方向における前記候補線の幅、及び前記画像の垂直方向に対する前記候補線の角度から、前記候補線の前記画像上での見かけの幅を算出する幅算出部と、前記候補線が境界線としての特徴を備えている度合いが大きいほど、前記候補線が前記境界線である確率を高く算出する境界線特徴算出部と、複数の前記特徴について前記境界線特徴算出部により算出された前記確率を統合して、前記境界線を認識する境界線認識部と、を備え、複数の前記境界線としての特徴は、前記画像の不鮮明度に対する前記幅算出部により算出された前記見かけの幅の比率が所定値よりも大きいことを含む。
 上記境界線認識装置によれば、車両に搭載されたカメラにより撮影された画像の輝度から、走路を区切る境界線のエッジ候補点、及び境界線の候補線が抽出される。抽出された候補線の画像上での見かけの幅が算出される。また、候補線が境界線の特徴を備えている度合いが大きいほど、候補線が境界線である確率が高く算出される。そして、複数の境界線の特徴について算出された確率が統合されて、境界線が認識される。
 本願発明者は、車両の遠方において、画像の不鮮明度に対して境界線の見かけの幅が狭くなると、エッジ候補点の抽出精度が低下し、境界線に沿って設置された路側物等を境界線と誤認識するおそれが高くなることに注目した。境界線の見かけの幅が狭い所では、境界線に沿って設置された路側物等のエッジを抽出した候補線のみかけの幅も狭くなることが多い。そこで、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを、複数の境界線としての特徴の一つに含めた。このため、境界線である確率の統合において、この特徴から算出された確率を反映させることにより、車両の遠方における境界線の誤認識を抑制することができる。
 上記課題を解決するため、別の態様によれば、分岐路判定装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、前記走路の曲率を算出する曲率算出部と、前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部と、を備え、複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの少なくともいずれかを含む。
 上記分岐路判定装置によれば、車両に搭載されたカメラにより撮影された画像情報から、走路を区切る左右一対の境界線の候補線が抽出される。また、走路の曲率が算出される。さらに、走路が分岐路としての特徴を備えている度合いが大きいほど、走路が分岐路である確率が高く算出される。そして、抽出された候補線が実線であること、及び走路の曲率が所定値よりも小さいこと、の少なくともいずれかを含む複数の分岐路の特徴について算出された確率が統合され、走路が分岐路か否か判定される。
 ここで、本願発明者は、分岐路の境界線は破線ではなく実線であることが多いこと、及び曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ないことに着目した。また、候補線が実線か破線かの判定、及び走路が急カーブでないことの判定は、境界線のエッジ成分に加わる外乱の影響を受けにくい。それゆえ、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかを分岐路の特徴として、走路が分岐路か否かを判定することにより、分岐路を誤検出することを抑制できる。
 好適には、分岐路判定装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、前記走路の曲率を算出する曲率算出部と、前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部と、を備え、複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの双方を含む。
 この構成によれば、複数の分岐路としての特徴に、抽出された候補線が実線であること、及び走路の曲率が所定値よりも小さいこと、の双方が含まれている点が、上記分岐路判定装置の構成と異なっている。したがって、信頼性を向上させる2つの特徴が追加された上で、分岐路か否か判定されるため、より正確に分岐路を判定することができる。
 添付図において:
第1の実施形態に係る境界線認識装置の構成を示すブロック図。 候補線の見かけの幅に基づいて境界線である確率を算出する処理手順を示すフローチャート。 候補線の見かけの幅及び水平方向の幅を示す図。 候補線の輝度を水平方向に微分した一次微分分布を示す図。 水平方向における候補線の輝度分布を示す図。 不鮮明度に対する見かけの幅の比率と境界線である確率との対応を示す図。 候補線の見かけの幅に基づいて算出した境界線である確率を反映させる前と反映させた後において認識した境界線を示す図。 第2の実施形態に係る分岐路判定装置の構成を示すブロック図。 分岐路を判定する処理手順を示すフローチャート。 実線及び破線に対する分岐路である確率を示す表。 走路の曲率に対する分岐路である確率を示す図。 分岐路の判定結果の一例を示す図。
 以下、本発明に係る実施例を添付図面を参照して説明する。
 [第1の実施形態]
 まず、図1~図7を参照して、第1の実施形態を説明する。この実施形態は境界線認識装置に関する。
 図1を参照して、この実施形態に係る境界線認識装置の構成について説明する。本実施形態に係る境界線認識装置は、カメラ10、及び画像処理装置70を備える。
 カメラ10は、例えばCCDカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ10は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置70に出力する。
 画像処理装置70は、CPU、ROM、RAM、I/O、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、CPUがROMに記憶されたプログラムを実行することで、境界線候補抽出部20、境界線特徴算出部30、境界線認識部60の機能を実現している。
 境界線候補抽出部20は、カメラ10により撮影された画像の輝度に基づいて、走路を区切る白線等の境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから境界線の候補線を抽出する。画像上で車両走行方向に交差する水平方向において、画像の輝度は、1本の境界線の左右の輪郭(エッジ)部分で大きく変化する。境界線候補抽出部20は、カメラ10から取得した画像情報を所定のサンプリング周期で連続的に処理しており、画像の水平方向において、急激に輝度が変化する複数の点をエッジ候補点として抽出する。そして、抽出した複数のエッジ候補点にハフ変換を施してエッジ候補点の連なりを取得し、取得したエッジ候補点の連なりを左右の輪郭とする候補線を複数抽出する。
 境界線特徴算出部30は、幅算出部31、投票数算出部32、エッジ強度算出部33、分岐路判定部34を備える。境界線特徴算出部30は、境界線候補抽出部20により抽出された複数の候補線のそれぞれについて、各エッジ候補点において、本線走路の境界線としての特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が本線走路の境界線である確率を高く算出する。
 本願発明者は、車両の遠方において、画像の不鮮明度に対して境界線の見かけの幅が狭くなると、境界線に沿って設置された路側物等のエッジをエッジ候補点として抽出し、路側物等を境界線と誤認識するおそれが高くなることに注目した。すなわち、画像の不鮮明度に対して境界線の幅が所定よりも広くない場合には、境界線でないものを境界線と誤認識したり、境界線を境界線でないと誤認識したりする可能性が高くなる。そこで、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを、本線走路の境界線としての特徴とした。
 また、その他に、ハフ変換による投票数が所定数よりも多いこと、水平方向の輝度微分値で表されるエッジ強度が所定値よりも大きいこと、境界線により区切られた走路が分岐路でないことを、本線走路の境界線としての特徴とした。
 幅算出部31は、各エッジ候補点において、候補線の見かけの幅を算出する。そして、画像の不鮮明度に対する算出した見かけの幅の比率が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。
 投票数算出部32は、ハフ変換による投票数が所定数よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。エッジ強度算出部33は、候補線のエッジ強度が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。分岐路判定部34は、候補線により区切られた走路が分岐路か否か判定し、分岐路と判定された場合は、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。
 境界線認識部60は、境界線特徴統合部40及び境界線選択部50を備え、複数の境界線としての特徴について、境界線特徴算出部30によりそれぞれ算出された確率を統合して、境界線を認識する。
 境界線特徴統合部40は、下記(1)式で表される演算式を用いて、幅算出部31、投票数算出部32、エッジ強度算出部33、分岐路判定部34によりそれぞれ算出された確率を統合して統合確率を算出する。
 いま、確率Aと確率Bの統合確率をXで表すものとすると、この両確率A,Bは
   X=(A・B)/{A・B+(1-A)・(1-B)}
                           … (1)
の式に基づいて統合確率Xとして統合される。
 そこで、まず、幅算出部31により算出された確率をA、投票数算出部32により算出された確率をBとして、幅算出部31及び投票数算出部32により算出された確率を統合した確率Xを算出する。さらに、幅算出部31及び投票数算出部32により算出された確率を統合した確率XをA、エッジ強度算出部33により算出された確率をBとして、幅算出部31、投票数算出部32、及びエッジ強度算出部33により算出された確率を統合した確率Xを算出する。このように順次確率を統合して、複数の境界線としての特徴について、境界線特徴算出部30によりそれぞれ算出された確率を統合する。なお、境界線の特徴は上記4つの特徴に限らない。その他の境界線としての特徴についても候補線が本線走路の境界線である確率を算出し、算出した確率を統合してもよい。
 境界線選択部50は、境界線特徴統合部40により統合された確率に基づいて、候補線が境界線であるか否か判定し、本線走路の境界線として認識する候補線及びその候補線に含まれるエッジ候補点を選択する。詳しくは、統合された確率が境界線として判定できる判定値よりも高い候補線のうち、車両の左側と右側で対になっている候補線であり、且つ最も車両に近い候補線の車両側の輪郭を表すエッジ候補点を選択する。
 なお、車両を自動制御する場合は、境界線選択部50により選択された候補線の形状に基づいて、車両の操舵量の設定や路面上の物体の検出が行われる。また、車両が選択された候補線の外にはみ出した場合には、警報音が出力される。すなわち、本線走路の境界線として選択された候補線を制御目標の境界線に設定し、車両についての種々の自動制御を実行する。
 次に、図2を参照して、境界線である確率を算出する処理手順について詳細に説明する。本処理手順は、幅算出部31が実行する。
 まず、ステップS11では、画像の水平方向における候補線の幅wを算出する。続いてステップS12では、垂直方向(車両走行方向)に対する候補線の角度θを算出する。続いてステップS13では、画像上での候補線の見かけの幅を算出する。画像上での候補線の見かけの幅は、図3に示すように、候補線の延伸方向に垂直な方向における候補線の幅である。候補線の見かけの幅は、ステップS11で算出した水平方向における候補線の幅w、及びステップS12で算出した垂直方向に対する候補線の角度θから、wcosθと算出される。画像上での候補線の見かけの幅の単位はピクセルになる。
 続いてステップS14では、画像の不鮮明度を算出する。詳しくは、図4に示すように、画像の水平方向にエッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度とする。
 画像がぼけていない理想的な状況では、画像の水平方向における輝度の一次微分分布は、境界線の左右のエッジ部分で鋭いピークとなり、広がりを持たない。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、一次微分分布は、左右のエッジ部分で広がりを持つ分布になる。それゆえ、一次微分分布の広がりの程度を表す所定幅を、画像の不鮮明度とする。
 あるいは、図5に示すように、画像の水平方向に分布したエッジ候補点を含む周辺の輝度分布において、第1所定値から第1所定値よりも大きい第2所定値までの輝度が分布する幅を画像の不鮮明度とする。
 画像がぼけていない理想的な状況では、画像の水平方向における境界線の輝度分布は、境界線の左右のエッジ部分において、最小輝度から最高輝度に急に立ち上がる鋭いピークをもつ分布になる。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、輝度分布は、境界線の左右のエッジ部分で鈍って広がり、最小輝度から最高輝度まで理想的な状況よりも緩やかに立ち上がる分布になる。この輝度分布において、第1所定値から第2所定値までの輝度が分布する幅は、境界線のエッジ部分の広がりの程度をよく表している。それゆえ、最高輝度に対して第1所定値から第2所定値までの輝度が分布する幅を、画像の不鮮明度とする。
 なお、画像上での候補線の見かけの幅方向と、一次微分分布の微分方向及び輝度分布の分布方向とは異なるが、上記2つの不鮮明度算出方法のいずれでも、おおよその不鮮明度を算出できる。また、上記2つの不鮮明度算出方法のいずれで算出しても、画像の不鮮明度は同程度の値となり、単位はピクセルになる。
 続いてステップS15では、ステップS14で算出した画像の不鮮明度とステップS13で算出した候補線の見かけの幅とから、画像の不鮮明度に対する候補線の見かけの幅の比率を算出する。詳しくは、候補線の見かけの幅を画像の不鮮明度で割って、この比率を算出する。
 続いてステップS16では、図6に示す確率マップを用いて、ステップS15で算出した画像の不鮮明度に対する候補線の見かけの幅の比率から、候補線が境界線である確率を算出する。
 境界線が車両の遠方にある場合、画像上での境界線の見かけの幅は、車両近辺にある場合よりも狭くなる。特に、図6に示すように、境界線が画像上で水平方向にカーブしていると、車両の遠方において、画像上での境界線の見かけの幅は非常に狭くなるとともに、境界線のエッジ部分がぼやけ易くなる。このため、車両の遠方では車両近辺よりも、画像の不鮮明度に対して、画像上で境界線の見かけの幅が狭くなるとともに、エッジ部分とそれ以外の部分との見分けが付きにくくなり、エッジ候補点及び候補線の抽出精度が低くなる。
 画像の不鮮明度に対する画像上での候補線の見かけの幅の比率が所定値よりも小さい場合は、画像の不鮮明度と比較して、画像上での候補線の見かけの幅が狭くなり、境界線のエッジ部分とそれ以外の部分とを区別することが困難となる。それゆえ、上記比率が所定値よりも小さい場合は、境界線である確率を所定の最低確率にし、境界線が誤認識されることを抑制する。一方、上記比率が所定の最大値よりも大きい場合、すなわち画像の不鮮明度と比較して、画像上での候補線の見かけの幅が広い場合には、候補線が境界線であるか否かの判定の信頼性が十分に高くなる。それゆえ、上記比率が所定の最大値よりも大きい場合は、境界線である確率を所定の最高確率にする。また、上記比率が所定値から所定の最大値の間の場合は、画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、候補線が境界線である確率を小さくする。
 ここで、所定の最低確率は、境界線特徴統合部40により、複数の境界線としての特徴について算出した確率を統合したときに、統合した確率を非常に低くする値であり、候補線が境界線として認識されることを抑制する値である。
 以上で本処理を終了し、幅算出部31は、ステップS16で算出した境界線である確率を、境界線特徴統合部40に出力する。
 図7(a),(b)に、画像処理装置70により境界線を認識した結果の一例を示す。白四角は境界線選択部50により選択されたエッジ候補点を示し、黒四角は除外されたエッジ候補点を示す。図7(a)は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部31により算出された確率を反映していない場合の図である。これに対して、図7(b)は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部31により算出された確率を反映した場合の図である。
 図7(a),(b)では、走路が車両の遠方でカーブしており、カーブ付近において、走路の左側に沿って定間隔でポールが設置されている。カーブ付近では、ポールのエッジがエッジ候補点として抽出されている。
 ポールを表すエッジ候補点は、境界線として選択するエッジ候補点から除外すべきであるが、図7(a)では、ポールを表すエッジ候補点のうち境界線との連続性が高い一部が、本線走路の境界線として選択されている。すなわち、カーブ付近で、ポールを表すエッジ候補点の連なりを境界線と誤認識している。これに対して図7(b)では、図7(a)で境界線と誤認識されたエッジ候補点の連なりが、本線走路の境界線として選択されていない。画像の不鮮明度に対して、ポールを表すエッジ候補点の連なりからなる候補線の見かけの幅は狭い。そのため、ステップS11~ステップS16の処理を実行して算出した確率が小さくなり、境界線特徴統合部40により統合された確率を低くする。その結果、図7(b)では、ポールを表すエッジ候補点が、本線走路の境界線として選択されていない。
 以上説明した本実施形態によれば、以下の効果を奏する。
 ・候補線が境界線である確率の統合において、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを特徴として算出した確率を反映させることにより、車両の遠方における境界線の誤認識を抑制することができる。
 ・画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、抽出された候補線が境界線である確率を小さくすることにより、境界線を誤認識することを抑制できる。
 ・画像の不鮮明度を、輝度の微分値分布における所定幅、又は最高輝度に対する所定輝度の分布幅に基づき算出するため、レンズの仕様及び状況を反映した不鮮明度とすることができる。
 (他の実施形態)
 本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
 ・画像の水平方向に対して角度θの方向、すなわち画像上の候補線の見かけの幅方向に、エッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。
 ・画像の水平方向に対して角度θの方向に分布したエッジ候補点を含む周辺の輝度分布において、第1所定値から第2所定値までの輝度が分布する幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。
 ・カメラ10が備えるレンズのぼけ量の仕様値を画像上での長さに換算し、その換算値を画像の不鮮明度としてもよい。このようにすれば、容易に画像の不鮮明度に対する画像上での候補線の見かけの幅の比率を算出することができる。また、降雨時や降霧時以外では、精度の高い不鮮明度を取得できる。
 ・降雨時や降霧時は、雨や霧によりレンズのぼけ量よりも画像の不鮮明度が高くなるので、降雨時や降霧時には、レンズのぼけ量を増加させるように補正してもよい。具体的には、図1に破線で示すように、降雨を検出するレインセンサ11(降雨検出手段)、及び降霧を検出する霧センサ12(降霧検出手段)を車両に搭載する。そして、レインセンサ11及び霧センサ12により降雨又は降霧が検出された場合に、降雨及び降霧が検出されていない場合よりも、レンズのぼけ量の仕様値の換算値を増加させるように補正し、補正した値を画像の不鮮明度とする。
 このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度を向上させることができ、ひいては境界線の誤検出をより抑制することができる。なお、レインセンサ11の代わりに、ワイパスイッチのオンにより降雨を検出し、霧センサ12の代わりにフォグランプスイッチのオンにより降霧を検出してもよい。
 ・さらに、レインセンサ11及び霧センサ12により、降雨量又は降霧量を検出し、降雨量又は降霧量が多いほど、レンズのボケ量の仕様値の換算値を大きくするように補正してもよい。このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度をさらに向上させることができる。
 ・画像の不鮮明度に対する画像上での候補線の見かけの幅の比率について、上記実施形態で設定した所定値から所定の最大値の間に基準値を設定する。上記比率が基準値よりも大きい場合は、境界線である確率を例えば所定の高確率と算出し、小さい場合は境界線である確率を例えば所定の低確率と算出するようにしてもよい。すなわち、境界線である確率を不連続な二値に設定してもよい。
 [第2の実施形態]
 次に、図8~図12を参照して、第2の実施形態としての分岐路判定装置を説明する。
 この実施形態では、分岐路判定装置(境界線認識装置の一形態)の構成について説明する。なお、この実施形態において、前述した実施形態に記載の構成要素と同一又は同等の構成要素については同一符号を付して、その説明を省略又は簡略化する。
 本実施形態に係る分岐路判定装置は、図8に示すように、カメラ111、車両情報取得装置112(曲率算出部)、及び画像処理装置70を備える。
 カメラ111は、前述した実施例に記載のカメラと同様に構成・配置されている。このカメラ111は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置70に出力する。
 車両情報取得装置112は、ヨーレートセンサ112a及び車速センサ112bを備える。車両情報取得装置112は、ヨーレートセンサ112aにより検出される自車両の旋回方向への角速度(ヨーレート)と、車速センサ112bにより検出される車速とから、走路中央の曲率を算出し、算出した走路の曲率を画像処理装置70に出力する。
 画像処理装置70は、前述した第1実施例と同様に、CPU、ROM、RAM、I/O、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、CPUがROMに記憶されたプログラムを実行することで、境界線候補抽出部20、境界線特徴算出部30、境界線特徴統合部40、境界線選択部50の機能を実現している。
 境界線候補抽出部20は、走路を区切る左右一対の白線等の境界線の候補線を抽出する。境界線候補抽出部20は、前述の実施形態におけるカメラと同様に構成されるカメラ111から取得した画像情報を所定のサンプリング周期で連続的に処理しており、画像上で車両走行方向に交差する水平方向において、急激に輝度が変化する複数の点をエッジ点として抽出する。そして、抽出した複数のエッジ点にハフ変換を施して、自車両が走行する走路の左右両側を区切る境界線の候補線を複数抽出する。
 境界線特徴算出部30は、ハードウェアとしては前述した実施形態のそれと同様に構成され、投票数算出部131、エッジ強度算出部132、分岐路判定部133を備える。境界線特徴算出部30は、境界線候補抽出部20により抽出された複数の候補線のそれぞれについて、本線走路の境界線としての特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が本線走路の境界線である確率を高く算出する。
 本線走路の境界線の特徴として、例えば、ハフ変換による投票数が所定数よりも多いこと、水平方向の輝度微分値で表されるエッジ強度が所定値よりも大きいこと、境界線により区切られた走路が分岐路でないことが挙げられる。
 投票数算出部131は、ハフ変換による投票数が所定数よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。エッジ強度算出部132は、候補線に含まれるエッジ点におけるエッジ強度が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が境界線として認識されることを抑制する。分岐路判定部133は、候補線により区切られた走路が分岐路か否か判定し、分岐路と判定された場合は、候補線が本線走路の境界線である確率を0にして、候補線が本線走路の境界線として認識されないようにする。
 境界線特徴統合部40は、複数の走路の境界線の特徴について、境界線特徴算出部30により算出された確率を掛け合わせ、候補線が本線走路の境界線である確率を統合する。なお、境界線の特徴は上記3つの特徴に限らない。その他の境界線の特徴についても候補線が本線走路の境界線である確率を算出し、算出した確率を統合してもよい。
 境界線選択部50は、境界線特徴統合部40により統合された確率に基づいて、本線走路の境界線として認識する候補線を選択する。詳しくは、統合された確率が高い候補線のうち、車両の左側と右側で対になっている候補線であり、且つ最も車両に近い候補線を選択する。
 なお、車両を自動制御する場合は、境界線選択部50により選択された候補線の形状に基づいて、車両の操舵量が設定される。また、車両が選択された候補線の外にはみ出した場合には、警報音が出力される。すなわち、本線走路の境界線として選択された候補線を制御目標の境界線に設定し、車両についての種々の自動制御を実行する。
 次に、図9のステップS111~ステップS122を参照して、分岐路判定部133が実行する分岐路判定の処理手順について詳細に説明する。本分岐路判定では、候補線により区切られた走路が分岐路としての特徴を備えている度合いが大きいほど、走路が分岐路である確率を高く算出する。そして、複数の特徴について算出した分岐路である確率を統合して、統合した確率に基づき走路が分岐路か否か判定する。本分岐路判定は、走路の左側の候補線について左に分岐しているか否か、及び右側の候補線について右に分岐しているか否を判定する。
 本願発明者は、分岐路の境界線は破線ではなく実線であることが多いこと、及び曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ないことに着目した。そこで、ステップS111及びステップS112では、境界線候補抽出部20により抽出された候補線が実線であること、及び車両情報取得装置112により算出された走路の曲率が所定値よりも小さいことを、それぞれ分岐路としての特徴として、走路が分岐路である確率をそれぞれ算出する。
 まず、ステップS111では、候補線が実線か破線かに基づいて、走路が分岐路である確率を算出する。候補線が実線か破線かを判定し、図10の表に示すように、候補線が実線である場合には、走路が分岐路である確率を所定の高確率にし、候補線が破線である場合には、走路が分岐路である確率を所定の低確率にする。所定の高確率は、複数の特徴について算出した確率を統合したときに、統合した確率を高くも低くもしない値である。すなわち、候補線が実線である場合には、分岐路である確率を低くはしないが、積極的に分岐路と判定するように高くもしない。一方、所定の低確率は、複数の特徴について算出した確率を統合したときに、統合した確率を低くする値であるが、走路を分岐路と判定する確率を0にはしない値である。すなわち、候補線が破線であっても、他の特徴について算出された確率が十分に高いときには、走路を分岐路と判定することがある。
 候補線が実線か破線かの判定は、候補線上でエッジ点が連続して含まれており、エッジ点が存在しない欠落部分がない場合には候補線を実線と判定し、候補線上でエッジ点が存在しない欠落部分がある場合には候補線を破線と判定する。
 次に、ステップS112では、車両情報取得装置112により算出された走路の曲率から、走路が分岐路である確率を算出する。図11に示すように、走路の曲率が大きいほど、走路が分岐路である確率を低く算出する。詳しくは、走路の曲率が所定値よりも大きい場合には、走路が非常に急なカーブになっており分岐路が設置されることは少ないので、分岐路である確率を所定の最低確率にして分岐路と判定されることを抑制する。走路の曲率が所定の最小曲率よりも小さい場合、すなわち走路が緩いカーブ又は直線になっている場合は、通常の確率で走路に分岐路が設置されていると予想されるので、分岐路である確率を所定の最高確率にし、走路が分岐路と判定されることを抑制しない。走路の曲率が、所定の最小曲率から所定値の間では、走路の曲率が大きいほど、分岐路である確率を低くする。なお、ステップS112では、左候補線と右候補線とで共通の分岐路である確率が算出される。
 次に、ステップS113~ステップS117では、他の分岐路としての特徴について、走路が分岐路である確率をそれぞれ算出する。ステップS113では、左右の候補線の平行度が所定値よりも低いことを分岐路の特徴として、走路の左側の候補線と右側の候補線の平行度が高いほど、分岐路である確率を低く算出する。平行度は、左候補線の形状から算出された曲率と右候補線の形状から算出された曲率との差が大きいほど低くなる。平行度が最も高い直線走路の場合に、分岐路である確率を最低にする。なお、ステップS113では、左候補線と右候補線とで共通の分岐路である確率が算出される。
 次に、ステップS114では、候補線の曲率の乖離量が所定量よりも大きいことを分岐路の特徴として、曲率の乖離量が大きいほど、分岐路の確率を高く算出する。曲率の乖離量は、車両情報取得装置112により算出された走路中央の曲率に対する左及び右候補線の形状から算出された曲率の乖離量である。
 次に、ステップS115では、走路の幅が分岐パターンであることを分岐路の特徴として、走路の幅が広がっている場合は広がっていない場合よりも、走路が分岐路である確率を高く算出する。走路が左に広がっている場合は、左分岐路である確率を高くし、走路が右に広がっている場合は、右分岐路である確率を高くする。
 次に、ステップS116では、路面表示による分岐情報の表示があることを分岐路の特徴として、路面表示による分岐情報の表示がない場合に表示がある場合よりも、走路が分岐路である確率を低く算出する。本線走路から分岐路が分岐している地点では、一般に、路面に矢印等の分岐情報が表示されていることが多い。そこで、画像情報から路面表示を取得し、取得した路面表示とデータベースに登録されている矢印等の分岐情報とを比較する。路面表示に含まれている分岐情報が少ないほど、走路が分岐路である確率を低くする。
 次に、ステップS117では、道路標識による分岐情報の表示があることを分岐路の特徴として、道路標識による分岐情報の表示がない場合に表示がある場合よりも、走路が分岐路である確率を低く算出する。本線走路から分岐路が分岐している地点では、一般に、道路標識に矢印等の分岐情報が表示されていることが多い。そこで、画像情報から道路標識を取得し、取得した道路標識とデータベースに登録されている矢印等の分岐情報とを比較する。道路標識に含まれている分岐情報が少ないほど、走路が分岐路である確率を低くする。
 続いて、ステップS118で、ステップS111~ステップS117において複数の分岐路としての特徴について算出した分岐路である確率を統合して、統合確率を前述した演算式(1)を用いて統合確率を算出する。
 まず、ステップS111で算出された確率をA、ステップS112で算出された確率をBとして、ステップS111及びステップS112で算出された確率を統合した確率Xを演算式(1)から算出する。
 さらに、ステップS111及びステップS112で算出された確率を統合した確率XをA、ステップS113で算出された確率をBとして、ステップS111~ステップS113で算出された確率を統合した確率Xを算出する。このように順次確率を統合して、ステップS111~ステップS117で算出された確率を統合した統合確率を演算式(1)に基づいて算出する。
 続いて、ステップS119で、ステップS118において算出した統合確率が50%以上か否か判定する。統合確率が50%以上でない場合は(NO)、ステップS120で走路は分岐路でないと判定する。統合確率が50%以上の場合は(YES)、ステップS121で走路は分岐路であると判定する。
 続いて、ステップS122で、ステップS120及びステップS121における分岐路の判定結果を境界線特徴統合部40に出力する。分岐路判定部133により走路が分岐路と判定された場合は、候補線が本線走路の境界線である確率は0になる。それゆえ、境界線選択部50は、境界線候補抽出部20により抽出された候補線のうち、分岐路と判定された走路の境界線を除いた候補線から、本線走路の境界線として認識する候補線を選択する。
 図12に、上記分岐路判定の一例として、車両のピッチングの影響により、左候補線の形状から算出した曲率推定精度が低下している場合に、ステップS111~ステップS114で算出された分岐路である確率を統合して、分岐路か否か判定した結果を示す。すなわち、候補線が実線であること、走路の曲率が所定値よりも小さいこと、左右の候補線の平行度が所定値よりも低いこと、候補線の曲率の乖離量が所定量よりも大きいこと、を分岐路の特徴として、分岐路の判定を行った結果の一例を示す。
 ピッチングの影響のため、ステップS114の処理により左候補線の乖離量から算出した左分岐路である確率が高くなるが、ステップS111の処理により左候補線が破線と判定されることが、走路が左分岐路である統合確率を下げる。その結果、統合された左分岐路である確率は0.3348(33.48%)、統合された右分岐路である確率は0.3260(32.60%)となり、どちらも50%未満のため、本線走路が分岐路と誤判定されることがない。
 以上説明した本実施形態によれば、以下の効果を奏する。
 ・分岐路の境界線は破線ではなく実線であることが多く、曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ない。また、候補線が実線か破線かの判定、及び走路が急カーブでないことの判定は、境界線のエッジ成分に加わる外乱の影響を受けにくい。それゆえ、候補線が実線であること、及び車両情報取得装置112により算出された走路の曲率が所定値より小さいことの双方を分岐路の特徴として、走路が分岐路か否かを判定することにより、分岐路を誤検出することを抑制できる。
 ・候補線が実線でない場合は、候補線で区切られた走路が分岐路である確率は低い。よって、候補線が実線でない場合は、走路が分岐路である確率を、実線である場合の確率よりも低い確率にすることにより、正確に分岐路を判定することができる。
 ・走路の曲率が大きい走路ほど、分岐路が設置される確率は低い。よって、走路の曲率が大きいほど、走路が分岐路である確率を低くすることにより、分岐路を誤検出することを抑制できる。
 ・走路の曲率が所定値よりも大きい場合は、走路が分岐路である確率を所定の最低確率にするため、他の分岐路の特徴について算出された確率が十分に高くなければ、走路が分岐路と判定されない。よって、分岐路を誤検出することを抑制できる。
 ・走路の曲率が所定の最小曲率よりも小さい場合は、通常の確率で走路に分岐路が設置されていると予想される。よって、走路の曲率が所定の最小曲率よりも小さい場合は、走路が分岐路である確率を所定の最高確率にすることにより、走路が分岐路と判定されることを抑制しない。
 ・車両情報取得装置112により算出される走路の曲率を用いることにより、外乱の影響を受けにくい走路の曲率を用いて、分岐路を判定できる。したがって、分岐路の誤検出をさらに抑制できる。
 ・路面表示による分岐情報の表示がない場合は、候補線が分岐路である確率を表示がある場合よりも低くすることにより、分岐路の誤検出をさらに抑制できる。
 ・道路標識による分岐情報の表示がない場合は、候補線が分岐路である確率を表示がある場合よりも低くすることにより、分岐路の誤検出をさらに抑制できる。
 (他の実施形態)
 本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
 ・分岐路判定では、ステップS111~ステップS117の処理を全て実行しなくても、ステップS111及びステップS112の少なくともいずれかの処理と、ステップS113~ステップS117の処理の少なくともいずれかを実行すればよい。すなわち、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかを含む分岐路の複数の特徴について、走路が分岐路である確率を算出すればよい。また、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかの特徴について、分岐路である確率を算出するとともに、ステップS111~ステップS117の特徴以外の特徴について分岐路である確率を算出してもよい。
 ・車両情報取得装置112により算出された曲率が無限大のときに、分岐路である確率が所定の最低確率となるように、算出された曲率が大きいほど分岐路である確率が小さく算出されるようにしてもよい。すなわち、算出された曲率について所定値を設定しなくてもよい。
 ・車両情報取得装置112により算出された曲率が0のときに、分岐路である確率が所定の最高確率に算出されるように、算出された曲率が小さいほど分岐路である確率が高く算出されるようにしてもよい。すなわち、算出された曲率について所定の最小曲率を設定しなくてもよい。
 ・車両情報取得装置112により算出された曲率が、所定値と所定の最小曲率との間に設定された中間曲率よりも大きい場合は、分岐路である確率を例えば所定の低確率と算出し、小さい場合は分岐路である確率を例えば所定の高確率と算出するようにしてもよい。すなわち、確率を不連続な二値に設定してもよい。
 ・分岐路判定部133により走路が分岐路であると判定された場合に、候補線が本線走路の境界線である確率を0以外の確率、例えば0.1に算出するようにしてもよい。
 ・走路の曲率は、左候補線の形状から算出した曲率と右候補線の形状から算出した曲率とを平均した曲率としてもよい。
 10、111…カメラ、20…境界線候補抽出部、30…境界線特徴算出部、31…幅算出部、32、131…投票数算出部、33、132…エッジ強度算出部、34、133…分岐路判定部、40…境界線特徴統合部、50…境界線選択部、60…境界線認識部、70…画像処理装置、112…車両情報取得装置、112a…ヨーレートセンサ、112b…車速センサ。

Claims (18)

  1.  車両に搭載されて走路を撮影するカメラ(10)と、
     前記カメラにより撮影された画像の輝度に基づいて、前記走路を区切る境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから前記境界線の候補線を抽出する境界線候補抽出部(20)と、
     前記境界線候補抽出部により抽出された前記境界線の候補線において、前記画像の水平方向における前記候補線の幅、及び前記画像の垂直方向に対する前記候補線の角度から、前記候補線の前記画像上での見かけの幅を算出する幅算出部(31)と、
     前記候補線が境界線としての特徴を備えている度合いが大きいほど、前記候補線が前記境界線である確率を高く算出する境界線特徴算出部(30)と、
     複数の前記特徴について前記境界線特徴算出部により算出された前記確率を統合して、前記境界線を認識する境界線認識部(60)と、を備え、
     複数の前記境界線としての特徴は、前記画像の不鮮明度に対する前記幅算出部により算出された前記見かけの幅の比率が所定値よりも大きいことを含む境界線認識装置。
  2.  前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が小さいほど、前記確率を低く算出する請求項1に記載の境界線認識装置。
  3.  前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が前記所定値よりも小さい場合に、前記確率を所定の最低確率に算出する請求項1又は2に記載の境界線認識装置。
  4.  前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が、前記所定値よりも大きく設定された所定の最大値よりも大きい場合に、前記確率を所定の最高確率に算出する請求項1~3のいずれかに記載の境界線認識装置。
  5.  前記画像の不鮮明度は、前記画像の水平方向において前記エッジ候補点を含む周辺の輝度を微分して算出した一次微分分布の所定幅である請求項1~4のいずれかに記載の境界線認識装置。
  6.  前記画像の不鮮明度は、前記画像の水平方向に分布した前記エッジ候補点を含む周辺の輝度分布において、第1所定値から前記第1所定値よりも大きい第2所定値までの輝度が分布する幅である請求項1~4のいずれかに記載の境界線認識装置。
  7.  前記画像の不鮮明度は、前記カメラが備えるレンズのぼけ量の仕様値を前記画像上での長さに換算した換算値である請求項1~4のいずれかに記載の境界線認識装置。
  8.  前記車両は降雨検出手段(11)及び降霧検出手段(12)を備え、
     前記降雨検出手段及び前記降霧検出手段により降雨又は降霧が検出された場合に、前記降雨及び前記降霧が検出されていない場合よりも、前記ぼけ量の仕様値の前記換算値を増加させるように補正した値にする請求項7に記載の境界線認識装置。
  9.  車両に搭載されて走路を撮影するカメラ(11)と、
     前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部(20)と、
     前記走路の曲率を算出する曲率算出部(12)と、
     前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部(133)と、を備え、
     複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの少なくともいずれかを含むことを特徴とする分岐路判定装置。
  10.  車両に搭載されて走路を撮影するカメラと、
     前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、
     前記走路の曲率を算出する曲率算出部と、
     前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部と、を備え、
     複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの双方を含むことを特徴とする分岐路判定装置。
  11.  前記分岐路判定部は、前記候補線が実線でない場合に実線である場合よりも、前記確率を低く算出する請求項9又は10に記載の分岐路判定装置。
  12.  前記分岐路判定部は、前記曲率算出部により算出された前記曲率が大きいほど、前記確率を低く算出する請求項9~11のいずれかに記載の分岐路判定装置。
  13.  前記分岐路判定部は、前記曲率算出部により算出された前記曲率が前記所定値よりも大きい場合に、前記確率を所定の最低確率に算出する請求項9~12のいずれかに記載の分岐路判定装置。
  14.  前記分岐路判定部は、前記曲率算出部により算出された前記曲率が、前記所定値よりも小さく設定された所定の最小曲率よりも小さい場合に、前記確率を所定の最高確率に算出する請求項9~13のいずれかに記載の分岐路判定装置。
  15.  前記曲率は、前記車両に搭載されたヨーレートセンサ(112a)により検出されたヨーレートから算出される請求項9~14のいずれかに記載の分岐路判定装置。
  16.  複数の前記特徴は、前記画像情報から取得された路面表示による分岐情報の表示があることを含み、
     前記分岐路判定部は、前記路面表示による分岐情報の表示がない場合に表示がある場合よりも、前記走路が分岐路である確率を低く算出する請求項9~15のいずれかに記載の分岐路判定装置。
  17.  複数の前記特徴は、前記画像情報から取得された道路標識による分岐情報の表示があることを含み、
     前記分岐路判定部は、前記道路標識による分岐情報の表示がない場合に表示がある場合よりも、前記走路が分岐路である確率を低く算出する請求項9~16のいずれかに記載の分岐路判定装置。
  18.  請求項9~17のいずれかに記載の分岐路判定装置を備え、
     前記境界線候補抽出部により抽出された候補線のうち、前記分岐路判定装置により分岐路と判定された走路の境界線を除いた候補線から、本線走路の前記境界線として認識する前記候補線を選択する境界線認識装置。
PCT/JP2013/084866 2012-12-26 2013-12-26 境界線認識装置及び分岐路判定装置 WO2014104183A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/655,698 US10002433B2 (en) 2012-12-26 2013-12-26 Boundary line recognition apparatus and branch road determination apparatus
US15/974,287 US10891738B2 (en) 2012-12-26 2018-05-08 Boundary line recognition apparatus and branch road determination apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012283290A JP6105279B2 (ja) 2012-12-26 2012-12-26 分岐路判定装置、境界線認識装置
JP2012-283291 2012-12-26
JP2012-283290 2012-12-26
JP2012283291A JP5805619B2 (ja) 2012-12-26 2012-12-26 境界線認識装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/655,698 A-371-Of-International US10002433B2 (en) 2012-12-26 2013-12-26 Boundary line recognition apparatus and branch road determination apparatus
US15/974,287 Division US10891738B2 (en) 2012-12-26 2018-05-08 Boundary line recognition apparatus and branch road determination apparatus

Publications (1)

Publication Number Publication Date
WO2014104183A1 true WO2014104183A1 (ja) 2014-07-03

Family

ID=51021257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/084866 WO2014104183A1 (ja) 2012-12-26 2013-12-26 境界線認識装置及び分岐路判定装置

Country Status (2)

Country Link
US (2) US10002433B2 (ja)
WO (1) WO2014104183A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002433B2 (en) 2012-12-26 2018-06-19 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6344275B2 (ja) * 2015-03-18 2018-06-20 トヨタ自動車株式会社 車両制御装置
JP6466811B2 (ja) * 2015-09-30 2019-02-06 株式会社Soken 走行区画線認識装置
JP6293213B2 (ja) * 2016-08-01 2018-03-14 三菱電機株式会社 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
EP3336748B1 (en) * 2016-12-13 2023-02-08 Continental Autonomous Mobility Germany GmbH Detection of heavy rain by temporally measuring blur from edges
JP6693893B2 (ja) 2017-01-16 2020-05-13 株式会社Soken 走路認識装置
JP6741603B2 (ja) 2017-01-16 2020-08-19 株式会社Soken 推定装置
US11068735B2 (en) * 2017-12-05 2021-07-20 Denso Corporation Reliability calculation apparatus
CN108776727B (zh) * 2018-05-29 2021-10-29 福州大学 一种基于出租车轨迹数据的道路几何特征提取方法
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2003337950A (ja) * 2002-05-20 2003-11-28 Aisin Seiki Co Ltd 車線境界検出装置
JP2005346383A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 境界線検出装置
JP2006349492A (ja) * 2005-06-15 2006-12-28 Denso Corp 車載霧判定装置
JP2007003286A (ja) * 2005-06-22 2007-01-11 Nissan Motor Co Ltd 自車位置検出装置、ナビゲーション装置、減速制御装置及び自車位置検出方法
JP2007164636A (ja) * 2005-12-15 2007-06-28 Toyota Motor Corp 道路区画線検出装置
JP2012058983A (ja) * 2010-09-08 2012-03-22 Fuji Heavy Ind Ltd 車線推定装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215290A (ja) 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 車両前方の物体検出方法
US6577334B1 (en) 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
JP4329088B2 (ja) 1998-02-18 2009-09-09 株式会社エクォス・リサーチ 車両制御装置
JP3417381B2 (ja) * 2000-05-25 2003-06-16 株式会社デンソー 道路形状認識装置、先行車両特定装置、及び記録媒体
US7260465B2 (en) * 2002-04-30 2007-08-21 Ford Global Technology, Llc Ramp identification in adaptive cruise control
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP2006172225A (ja) 2004-12-16 2006-06-29 Toyota Motor Corp 画像認識装置及び画像認識方法
JP4659631B2 (ja) 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US20110098922A1 (en) * 2009-10-27 2011-04-28 Visteon Global Technologies, Inc. Path Predictive System And Method For Vehicles
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
JP5202741B2 (ja) 2012-01-04 2013-06-05 富士重工業株式会社 分岐路進入判定装置
WO2014104183A1 (ja) 2012-12-26 2014-07-03 株式会社日本自動車部品総合研究所 境界線認識装置及び分岐路判定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2003337950A (ja) * 2002-05-20 2003-11-28 Aisin Seiki Co Ltd 車線境界検出装置
JP2005346383A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 境界線検出装置
JP2006349492A (ja) * 2005-06-15 2006-12-28 Denso Corp 車載霧判定装置
JP2007003286A (ja) * 2005-06-22 2007-01-11 Nissan Motor Co Ltd 自車位置検出装置、ナビゲーション装置、減速制御装置及び自車位置検出方法
JP2007164636A (ja) * 2005-12-15 2007-06-28 Toyota Motor Corp 道路区画線検出装置
JP2012058983A (ja) * 2010-09-08 2012-03-22 Fuji Heavy Ind Ltd 車線推定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002433B2 (en) 2012-12-26 2018-06-19 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus
US10891738B2 (en) 2012-12-26 2021-01-12 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus

Also Published As

Publication number Publication date
US20180253853A1 (en) 2018-09-06
US10002433B2 (en) 2018-06-19
US10891738B2 (en) 2021-01-12
US20150348275A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
WO2014104183A1 (ja) 境界線認識装置及び分岐路判定装置
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US9536155B2 (en) Marking line detection system and marking line detection method of a distant road surface area
US9245188B2 (en) Lane detection system and method
US9626573B2 (en) Traffic lane marking recognition apparatus and traffic lane marking recognition program
JP4988786B2 (ja) 境界線認識装置
US10691959B2 (en) Estimating apparatus
JP5805619B2 (ja) 境界線認識装置
US9842265B2 (en) Marking line detection system
US20180005073A1 (en) Road recognition apparatus
JP6426512B2 (ja) 走行区画線認識装置
JP6408935B2 (ja) 走行区画線認識装置
JP6483360B2 (ja) 対象物認識装置
US11010618B2 (en) Apparatus for identifying line marking on road surface
JP2017123009A (ja) 区画線認識装置
JP6105279B2 (ja) 分岐路判定装置、境界線認識装置
JP5760523B2 (ja) 走路推定装置及びプログラム
JP5742676B2 (ja) 車線境界線認識装置
US20180096210A1 (en) Driving area recognition device and method thereof
JPH10261065A (ja) 車線認識装置
JP2019020957A (ja) 検出装置
JP2017156965A (ja) 道路領域検出装置
JP2004098792A (ja) 車両用白線認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13869814

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14655698

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13869814

Country of ref document: EP

Kind code of ref document: A1