JP7548813B2 - 車線を認識するための方法及び装置並びに運転支援システム及び車両 - Google Patents

車線を認識するための方法及び装置並びに運転支援システム及び車両 Download PDF

Info

Publication number
JP7548813B2
JP7548813B2 JP2020514970A JP2020514970A JP7548813B2 JP 7548813 B2 JP7548813 B2 JP 7548813B2 JP 2020514970 A JP2020514970 A JP 2020514970A JP 2020514970 A JP2020514970 A JP 2020514970A JP 7548813 B2 JP7548813 B2 JP 7548813B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
feature points
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514970A
Other languages
English (en)
Other versions
JP2020534600A (ja
JP2020534600A5 (ja
Inventor
バイヤー・クリストファー
ヘラー・クラウディオ
ローイ・クラウディア
アブラモフ・アレクセイ
Original Assignee
コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト filed Critical コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト
Publication of JP2020534600A publication Critical patent/JP2020534600A/ja
Publication of JP2020534600A5 publication Critical patent/JP2020534600A5/ja
Application granted granted Critical
Publication of JP7548813B2 publication Critical patent/JP7548813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車線を認識するための方法及び装置並びに運転支援システム及び車両に関する。
運転支援システムは、大量のセンサデータに基づいて車両周辺のモデルを生成する。障害物そしてさらなる交通参加者の検出とともに、車線の認識は特に重要である。車線内での車両の移動を判定することで、意図せず車線から外れた場合に運転者を適時に警告することができる。また、運転支援システムは、運転者を車線維持に関して支援することができ、又は車両を自律的に車線に沿って制御することができる。
一般に、車線認識は、特に車線標識と縁石を含む、車線境界の判定により行われる。特許文献1は、いくつかのセンサに基づいて互いに独立して決定される特徴ベクトルを用いた車線評価方法を開示している。
多くの場合白色又は黄色である車線標識を暗色の車道と分離するため、明るい領域と暗い領域との間の遷移を検知する、車線標識を決定するためのエッジ検出方法を用いることができる。おもに2つの隣り合う領域の輝度差が演算される、ソーベルフィルタの使用が普及している。一定の輝度の場合この差はゼロと数値化される一方、エッジの場合ゼロとは異なる値が得られる。
物体認識、特に車線標識を認識するためにますますニューラルネットワークが用いられている。そのような方法は、異なる環境条件、例えば輝度の時刻又は天候による変化を、これが静的ソーベルフィルタの場合よりも良好に考慮することができるという有利な点を有する。
しかし、認識画像の評価はニューラルネットワークを用いて通常は画素毎に行われるため、演算コストが比較的高く、これによりエネルギー消費が増加し、評価速度が低下する。
ドイツ特許出願公開第102015209467A1号公報
したがって、本発明の課題は、車線を迅速かつ精確に認識することを可能にすることである。
この課題は、請求項1の特徴を有する車線を認識するための方法と、請求項10の特徴を有する車線を認識するための装置と、請求項14の特徴を有する運転支援システムと、請求項15の特徴を有する車両とによって解決される。
さらなる好ましい実施形態が従属請求項の対象である。
第1態様によると、本発明は、車両のカメラ装置を用いて車両の車両周辺のカメラ画像が撮影される車線認識方法を提供する。車線境界の可能性がある領域に対応するカメラ画像内の特徴点が認識される。それぞれの特徴点の周囲の撮影されたカメラ画像の切り出し画像が生成される。切り出し画像は、特徴点を分類するニューラルネットワークを用いて分析される。最後には、分類された特徴点を考慮して車両周辺の車線が認識される。
第2態様によると、本発明は、車両のカメラ装置を用いて撮影される、車両の車両周辺のカメラ画像を受信するインタフェースを備える車線認識装置を提供する。本装置は、インタフェースを用いて受信されるカメラ画像内の特徴点を認識し、特徴点が車線境界の可能性がある領域に対応する、演算装置をさらに備える。演算装置は、それぞれの特徴点の周囲の撮影されたカメラ画像の切り出し画像を生成し、特徴点を分類するニューラルネットワークを用いて切り出し画像を分析し、分類された特徴点を考慮して車両周辺の車線を認識する。
第3態様によると、本発明は、車両用運転支援システムにおいて、車両の車両周辺のカメラ画像を撮影するカメラ装置と、カメラ装置により撮影されたカメラ画像に基づいて車線を認識する装置と、を備える車両用運転支援システムに関する。
第4態様によると、本発明は、運転支援システムを備える車両に関する。
本発明は、車線の2段階認識を提供する。第1段階において、好ましくは一般的な特徴認識方法を用いてカメラ画像が分析され、車線境界の可能性がある領域に対応する特徴点が認識される。この第1段階では、大まかな評価においてすでにあまり関連性が高くない領域、つまり高い蓋然性で車線境界が予期されないような領域が除外される。これにより、さらなるデータ処理における演算コストが低減される。
次の第2段階において、検出された特徴点の詳細な分析が実行される。ここで、特徴点の周囲に関する切り出し画像がニューラルネットワークを用いて評価される。これにより、特徴点の分類、つまり特徴点が車線境界に対応するか否かの分類を実行できる。車線は、車線境界に対応する特徴点として分類されたその特徴点に基づいて認識される。
ソーベルフィルタに対するニューラルネットワークのさらなる有利な点は、より大きな切り出し画像を考慮に入れることにある。ソーベルフィルタは、一般に、3×3画素の撮影領域を有する一方、ニューラルネットワークの切り出し画像は、例えば128×128画素の撮影領域を有することができる。このより大きな切り出し画像により、ニューラルネットワークは、周辺のコンテキストを撮影して特徴点を分類することが可能である。この場合、例えば切り出し画像内の灌木が、ガードレール、したがって誤識別又は外れ値を示唆する場合がある。そのため、切り出し画像の周辺領域も評価されることは有利である。
このように好ましくは、本発明は、一般的な方法をニューラルネットワークの使用と組み合わせる。その一方、プレフィルタリングに基づいて、カメラ画像の特定領域のみをニューラルネットワークを用いて分析する必要があるだけであり、全ての画素の全体評価を省略することができる。これにより、車線認識を迅速かつ効率的に実施することができる。それと同時に、ニューラルネットワークの高い認識精度が十分に活用される。
車線境界が認識されないことを防止するため、特徴点として画素を検出するために超えられるべき閾値は、好ましくは比較的低く設定される。これにより発生する誤認識は、その後、ニューラルネットワークを用いて再度フィルタリング除去される。ソーベルフィルタのみを用いる場合、閾値は、一般に、誤認識の発生が可能な限り少なくなるように選択される。しかし、これにより、低コントラストの車線境界が認識されない場合がある。本発明の2段階方法によれば、そのような中間のものが入り込むことはなく、認識精度はより高い。
本方法の1つの好ましい発展形態によると、特徴点はエッジ検出用アルゴリズムを用いて認識される。したがって、エッジ検出は一般的な方法を用いて、好ましくはソーベルフィルタを用いて実行される。
本方法の1つの好ましい発展形態によると、可能な車線境界は、車線標識から成る。特に、車線標識のみを車線境界の可能性として認識してよい。車線標識又は道路標示には、個々の車線を区分するか又は境界を定める車道路面上のカラー標示が含まれてよい。その一方、さらなる実施形態によると、車線境界には、特に道路標示がない場合、縁石、ガードレール又は草木も含まれてよい。
本方法の1つの好ましい発展形態によると、ニューラルネットワークは畳み込みニューラルネットワークである。
本方法の1つの好ましい発展形態によると、ニューラルネットワークはデータベースの所定のトレーニングデータを用いて学習する。
1つの発展形態によると、トレーニングデータは車線境界の画像を含む。トレーニングデータは道路標示を示さない構造体の画像をさらに含んでよい。好ましくはこれらの画像は、通常、一般的なエッジ検出を用いて道路標示と誤認識される可能性がある構造体と物体を映すように選択される。例えば、車線境界を示さない、車両又はガードレールの画像であってよい。これにより、ニューラルネットワークは、車線境界の画像が車線境界を示さない画像から区別されるように学習する。
分析のためにニューラルネットワークを用いて使用される切り出し画像は、好ましくは所定の画素数又は所定のサイズを有する。トレーニングデータとして選択される画像は、好ましくは車両のカメラ装置により撮影される、これらの所定の画素数又はサイズの一般的な画像に対応する。
好ましくは、画像は少なくとも一部が異なる輝度において生成される。例えば、画像は異なる時刻において生成されてよい。また、画像は、異なる照明条件、例えば照明不良の道路又は照明良好の道路上で生成されてよい。さらに、画像は、異なる天候条件、例えば、晴れ、霧、降雨又は降雪の条件下で撮影されてよい。
本方法の1つの好ましい発展形態によると、車線境界に属するとして分類された隣り合う特徴点が補間され、車線境界の延在状態が認識される。車線境界の延在状態に基づいて車両が走行可能な車線が決定される。
本装置の1つの好ましい発展形態によると、演算装置は特徴点を、エッジ検出用アルゴリズムを用いて認識する。
本装置の1つの好ましい発展形態によると、演算装置はエッジ検出用にソーベルフィルタを用いる。
1つの好ましい発展形態によると、本装置の演算装置は、車線境界に対応するとして分類された隣り合う特徴点の補間により車線境界の延在状態が認識される。演算装置は、車線境界の延在状態に基づいて車両が走行可能な車線を決定する。
以下、本発明を図面の概略図に示される実施形態例に基づいてさらに詳細に説明する。
図1は、本発明の1つの実施形態による車線認識装置の概略ブロック図である。 図2は、カメラ装置により撮影された概略的なカメラ画像を示す図である。 図3は、ニューラルネットワーク用トレーニングデータとしての図を示す図である。 図4は、カメラ画像において認識された車線境界を示す図である。 図5は、運転支援システムの概略ブロック図である。 図6は、車両の概略ブロック図である。 図7は、車線認識方法のフロー図である。
本発明のさらなる可能な実施形態、発展形態及び実装には、上記又は以下に実施形態例に関して記載される本発明の特徴の明示されていない組み合わせも含まれる。
添付の図面は、本発明の実施形態のさらなる理解に資するものである。添付の図面は、実施形態と、本発明の原理及び概念の説明の記載に関連する形態とを示している。他の実施形態及び多くの記載される有利な点は、図面に照らして得られる。この場合、同一の参照符号は、同一又は類似して機能する構成要素を示す。
図1は、車線認識装置1の概略ブロック図を示す。
装置1は、無線又は有線接続を介してデータを受信及び送信するように構成されるインタフェース11を有する。インタフェース11は、特に、カメラデータを受信し、これを装置1の演算装置12に送信する。カメラデータは、少なくとも、車両のカメラ装置2により生成されたカメラ画像を含む。また、カメラ画像は、カメラ装置2の1つの車両カメラの複数の単一画像に基づいて、又はカメラ装置2の複数の車両カメラの複数の画像に基づいて組み合わされてもよい。
演算装置12は画像認識方法を用いてカメラ画像を分析し、車両周辺の車線境界を有する領域に対応する特徴点を抽出する。演算装置12は演算ステップを実行する少なくとも1つのマイクロプロセッサを含む。
演算装置12はそれぞれの特徴点の周囲に関してそれぞれの切り出し画像を生成する。この切り出し画像は、切り出し画像を評価するニューラルネットワークの入力変数としての役割を果たす。ニューラルネットワークとは、好ましくは畳み込みニューラルネットワークに関する。ニューラルネットワークを用いて、切り出し画像が車線境界を映す蓋然性が演算される。蓋然性が所定の閾値を超える場合、演算装置12は切り出し画像の特徴点が車線境界に対応することを認識する。
そのように分類された特徴点は演算装置12によりさらに評価され、車両の車両周辺の車線を認識する。このように、車線境界に対応する互いに隣り合う特徴点の補間によりカメラ画像における車線境界の延在状態が認識されてよい。車線境界間に延在する領域は車道として識別されてよく、演算装置12は周辺モデルを生成してよい。
以下、装置1のいくつかの態様を図2~4に基づいてさらに詳細に説明する。
図2はカメラ装置2により撮影されるカメラ画像Kを示す。映される物体は、右側道路標示51、中央道路標示52、右側路側にあるガードレール53及び並行する車道を走行する車両54を含む。
演算装置12は一般的なエッジ検出方法を用いてカメラ画像Kの画素を分析する。特に、演算装置12は、画素又は画素周辺のエッジを検出するためにそれぞれの画素にソーベルフィルタを適用してよい。ソーベルフィルタは検討すべき画素周辺の3×3画素を考慮してよい一方、さらに大きい画素周辺領域を算入してもよい。
演算装置12はそれぞれの画素について、画素がエッジ近傍に接するか又は近傍内に位置するか否かを決定してよい。特に、演算装置12は、ソーベルフィルタを用いて演算される値を所定の閾値と比較してよい。閾値が超えられる場合、演算装置12は、画素が車線境界の可能性に対応する特徴点に関するものであると決定する。
図2に示されるカメラ画像Kにおいて、演算装置12は特徴点P1~P15全体を認識する。このことは例示に過ぎないものと理解されるべきである。一般にはさらに多数の特徴点が生成される。
それぞれの特徴点P1~P15について、演算装置12は、図2においては明瞭化を目的として最初の3つの特徴点P1~P3についてのみ示されている、切り出し画像B1~B3を生成する。切り出し画像B1~B3は、所定のサイズ、例えば128×128画素を有してよい。特徴点P1~P15は、好ましくはそれぞれの切り出し画像B1~B3の中心部にそれぞれ配置される。
図3は、切り出し画像B1~B3をさらに分析するために用いられるニューラルネットワークの作成についてより詳細に説明するものである。この場合、最初に、トレーニングデータを有するデータベースDBが生成される。トレーニングデータは、車両カメラを用いて撮影された画像を含む。画像は好ましくは手動で2つのグループに分類される。第1グループTa1~Ta4は車線境界を示す画像を含む。画像は道路標示の画像のみを含んでよい。その一方、画像は、さらなる実施形態においては縁石又はさらなる車線境界も映してよい。この場合、画像は異なる輝度又は天候条件下で生成されてよい。第2グループTb1~Tb4は、エッジを有する一方で車線境界ではない物体を示す画像を含む。この場合、車両Tb1、Tb3、ガードレールTb2又は橋Tb4の画像に関するものであってよい。
ここで、ニューラルネットワークは、第1グループTa1~Ta4の画像が車線境界の画像として分類される一方、第2グループTb1~Tb4の画像は車線境界ではない画像として分類されるように訓練される。訓練フェーズ後、演算装置12はニューラルネットワークを用いて任意の切り出し画像B1~B3を分類してよい。この場合、まず、ニューラルネットワークを用いて、切り出し画像B1~B3が車線境界に関する蓋然性が出力される。演算される蓋然性が所定の閾値、例えば0.5を超える場合、演算装置12は切り出し画像B1~B3を車線境界に対応するとして分類する。
カメラ画像Kの特徴点P1~P15について、演算装置12は、例えば、中央道路標示52の特徴点P2、P5~P8と右側道路標示51の特徴点P1、P9~P13が車線境界に対応する特徴点に関するものであると認識する。反対に、ガードレール53及び車両54の測定点P4、P3、P14、P15は誤識別として却下されるのは、映される物体が車線境界に関するものでないからである。
車線を認識するため、演算装置12は好ましくは車線境界に対応するとして認識されたその特徴点P1~P15のみを含める。
ここで、演算装置12は、隣り合う残りの特徴点P1~P15又は画素の補間により対応する車線境界を認識してよい。
図4に示されるように、演算装置12は図2で映されているカメラ画像Kについて、例えば第1車線境界M1と第2車線境界M2を認識する。それに対応して演算装置12は、第1車線境界M1、M2間に車道Fが延在することを認識する。
好ましくは、記載の車道認識は反復して実行されることにより、すでに認識されている車線境界及び車道が更新される。
図5において、本発明の1つの実施形態による車両用運転支援システム4のブロック図が示される。運転支援システム4は、車両に設置されるか又は車両に設置可能な1つ又は複数の車両カメラを有するカメラ装置2を含む。
運転支援システム4は、上記車線認識装置1をさらに含む。装置は、カメラ装置2により撮影されるカメラ画像を受信する上記インタフェース12と、カメラ画像に基づいて車道Fを認識する演算装置12とを含む。
運転支援システム4は、車両の特定の走行機能を制御してよい制御装置3を含んでよい。このようにして、制御装置3は認識される車両の車線に応じて、車両を加速、減速又は操舵するように制御してよい。これにより、運転支援システム4は半自律又は自律制御を可能にできる。制御装置3は、車両が認識されている車道Fから離脱する場合、車道Fから意図せず逸脱していることを運転者に警告するために信号を出力するようにさらに構成されてよい。
図6において、本発明の1つの実施形態による車両5のブロック図が示される。車両5とは例えば乗用車、トラック又は自動二輪車に関してよい。車両5は、車両5の車両周辺の車線認識装置1を有する上記運転支援システム4を含む。
図7は、本発明の1つの実施形態による車線F認識方法のフロー図を示す。
方法ステップS1において、車両周辺のカメラ画像がカメラ装置2を用いて撮影される。また、複数の単一画像が組み合わされてもよい。
さらなる方法ステップS2において、カメラ画像の個々の画素がエッジ検出方法を用いて評価され、特徴点P1~P15を認識する。ここで、例えばエッジ検出用ソーベルフィルタが用いられてよい。ソーベルフィルタを用いて演算される値が所定の閾値を超える場合、画素は車線境界に対応する可能性がある特徴点P1~P15として識別される。
それぞれの特徴点P1~P15の周囲に関して、方法ステップS3において切り出し画像B1~B3が生成される。特徴点P1~P15は、好ましくは四角形の切り出し画像B1~B3の中心部にそれぞれ位置してよい。切り出し画像のサイズは、例えば128×128画素であってよい。しかしこれに本発明は限定されない。このように、切り出し画像は必ずしも四角形又は矩形に構成される必要はない。切り出し画像の形状は、例えばカメラ装置2の視野に応じて選択されてよい。
方法ステップS4において、切り出し画像はニューラルネットワークを用いて分析される。また、ニューラルネットワークはデータベースのトレーニングデータに基づいて作成されるか又は学習する。トレーニングデータは、図3を参照して説明された車線境界又は車線境界を含まない車道周辺の画像を含む。訓練フェーズ後、ニューラルネットワークは、任意の切り出し画像を分析して、分類するように構成される。それぞれの切り出し画像に関して、映されている車両周辺領域が車線境界を映している否かが認識される。それに応じて特徴点が分類される。ニューラルネットワークを用いて車線境界に対応すると分類されるその特徴点はさらに評価される一方、残りの特徴点は却下される。
残っている特徴点に基づいて、方法ステップS5において、車線境界M1、M2の延在状態が認識される。車線境界M1、M2の延在状態に基づいて、車両5が走行可能な車道Fが認識される。
さらに認識車道Fに基づいて警告信号が出力されてよく、又は車両5の半自律もしくは自律制御を実行してよい。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の態様として以下の構成も包含し得る:
1.
車線(F)を認識するための方法であって、
車両(5)のカメラ装置(2)を用いて車両周辺の1つのカメラ画像(K)を撮影するステップ(S1)と、
当該撮影されたカメラ画像(K)内の、可能な車線境界(M1、M2)の領域に対応する複数の特徴点(P1~P15)を認識するステップ(S2)と、
それぞれの特徴点(P1~P15)の周囲の当該撮影されたカメラ画像(K)の複数の切り出し画像を生成するステップ(S3)と、
前記複数の特徴点(P1~P15)を分類するため、ニューラルネットワークを用いて前記複数の切り出し画像を分析するステップ(S4)と、
当該分類された複数の特徴点(P1~P15)を考慮して、前記車両周辺内の車線を認識するステップ(S5)とを含む当該方法。
2.
前記特徴点(P1~P15)は、エッジ検出用アルゴリズムを用いて認識される上記1に記載の方法。
3.
前記エッジ検出は、ソーベルフィルタの使用を含む上記2に記載の方法。
4.
前記可能な車線境界(M1、M2)は、車線標識(51、52)から成る上記1~3のいずれか1項に記載の方法。
5.
前記ニューラルネットワークは、畳み込みニューラルネットワークである上記1~4のいずれか1項に記載の方法。
6.
前記ニューラルネットワークは、データベースからの所定のトレーニングデータを用いて学習される上記1~5のいずれか1項に記載の方法。
7.
前記トレーニングデータは、車線境界(M1、M2)の画像と、車線境界(M1、M2)でない構造体の画像とを含む上記6に記載の方法。
8.
前記画像の少なくとも一部が、異なる輝度及び/又は時刻及び/又は天候条件で生成されたものである上記7に記載の方法。
9.
車線境界に対応するとして分類された隣り合う複数の特徴点(P1~P15)を補間することによって、車線境界(M1、M2)の推移が認識され、
前記車両(5)にとって走行可能な前記車線(F)が、前記車線境界(M1、M2)の前記推移に基づいて決定される上記1~8のいずれか1項に記載の方法。
10.
車両(5)のカメラ装置(2)を用いて撮影されたこの車両(5)の車両周辺のカメラ画像(K)を受信するインタフェース(11)と、演算装置(12)とを有する、車線(F)を認識するための装置(1)であって、
‐前記インタフェース(11)を用いて受信された前記カメラ画像(K)内の、可能な車線境界(M1、M2)の領域に対応する複数の特徴点(P1~P15)を認識し、
‐それぞれの特徴点(P1~P15)の周囲の当該撮影されたカメラ画像(K)の複数の切り出し画像を生成し、
‐前記複数の特徴点(P1~P15)を分類するため、ニューラルネットワークを用いて前記複数の切り出し画像を分析し、
‐当該分類された複数の特徴点(P1~P15)を考慮して、前記車両周辺内の車線(F)を認識するように、前記演算装置(12)は構成されている当該装置(1)。
11.
前記演算装置(12)は、エッジ検出用アルゴリズムを用いて前記複数の特徴点(P1~P15)を認識する上記10に記載の装置(1)。
12.
前記演算装置(12)は、当該エッジ検出のためにソーベルフィルタ使用する上記10又は11に記載の装置(1)。
13.
車線境界(M1、M2)に対応するとして分類された隣り合う複数の特徴点(P1~P15)を補間することによって、車線境界(M1、M2)の推移を認識し、前記車線境界(M1、M2)の前記推移に基づいて、前記車両(5)にとって走行可能な前記車線(F)を決定するように、前記演算装置は構成されている上記10~12のいずれか1項に記載の装置(1)。
14.
車両(5)の車両周辺のカメラ画像(K)を撮影するように構成されているカメラ装置(2)と、前記カメラ装置(2)によって当該撮影されたカメラ画像(K)に基づいて車線(F)を認識するための上記10~13のいずれか1項に記載の装置(1)とを有する車両(5)用の運転支援システム(4)。
15.
上記14に記載の運転支援システム(4)を有する車両(5)。
1 車線認識装置
2 カメラ装置
3 制御装置
4 運転支援システム
5 車両
11 インタフェース
12 演算装置
51 右側車線標識
52 中央車線標識
53 ガードレール
54 車両
F 車道
M1、M2 車線境界
P1~P15 特徴点
B1~B3 切り出し画像
Ta1~Ta4車線境界の画像
Tb1~Tb4車線境界ではない物体の画像

Claims (15)

  1. 車線(F)を認識するための方法であって、
    車両(5)のカメラ装置(2)を用いて車両周辺の1つのカメラ画像(K)を撮影するステップ(S1)と、
    当該撮影されたカメラ画像(K)内の、可能な車線境界(M1、M2)の領域だけに対応する複数の特徴点(P1~P15)を、車道路面上の2つの隣り合う画素の輝度差によって認識することによって、前記車線境界が予期されない領域を除外するステップ(S2)と、
    当該認識されたそれぞれの特徴点(P1~P15)の周囲の当該撮影されたカメラ画像(K)の切り出し画像を生成するステップ(S3)と、
    前記複数の特徴点(P1~P15)を分類するため、ニューラルネットワークを用いて前記切り出し画像を分析し、このときに、前記切り出し画像が前記車線境界(M1,M2)を表示している蓋然性が出力され、演算された前記蓋然性が、前記車線境界が予期されない領域に対応する所定の閾値を超える場合に、前記切り出し画像が、前記車線境界(M1,M2)に対応するとして分類されるステップ(S4)と、
    当該分類された複数の特徴点(P1~P15)を考慮して、前記車両周辺内の車線を認識するステップ(S5)とを含む当該方法。
  2. 前記特徴点(P1~P15)は、エッジ検出用アルゴリズムを用いて認識される請求項1に記載の方法。
  3. 前記エッジ検出は、ソーベルフィルタの使用を含む請求項2に記載の方法。
  4. 前記可能な車線境界(M1、M2)は、車線標識(51、52)から成る請求項1~3のいずれか1項に記載の方法。
  5. 前記ニューラルネットワークは、畳み込みニューラルネットワークである請求項1~4のいずれか1項に記載の方法。
  6. 前記ニューラルネットワークは、データベースからの所定のトレーニングデータを用いて学習される請求項1~5のいずれか1項に記載の方法。
  7. 前記トレーニングデータは、車線境界(M1、M2)の画像と、車線境界(M1、M2)でない構造体の画像とを含む請求項6に記載の方法。
  8. 前記画像の少なくとも一部が、異なる輝度及び/又は時刻及び/又は天候条件で生成されたものである請求項7に記載の方法。
  9. 車線境界に対応するとして分類された隣り合う複数の特徴点(P1~P15)を補間することによって、車線境界(M1、M2)の推移が認識され、
    前記車両(5)にとって走行可能な前記車線(F)が、前記車線境界(M1、M2)の前記推移に基づいて決定される請求項1~8のいずれか1項に記載の方法。
  10. 車両(5)のカメラ装置(2)を用いて撮影されたこの車両(5)の車両周辺のカメラ画像(K)を受信するインタフェース(11)と、演算装置(12)とを有する、車線(F)を認識するための装置(1)であって、
    ‐前記インタフェース(11)を用いて受信された前記カメラ画像(K)内の、可能な車線境界(M1、M2)の領域だけに対応する複数の特徴点(P1~P15)を、車道路面上の2つの隣り合う画素の輝度差によって認識することによって、前記車線境界が予期されない領域を除外し、
    ‐当該認識されたそれぞれの特徴点(P1~P15)の周囲の当該撮影されたカメラ画像(K)の切り出し画像を生成し、
    ‐前記複数の特徴点(P1~P15)を分類するため、ニューラルネットワークを用いて前記切り出し画像を分析し、このときに、前記切り出し画像が前記車線境界(M1,M2)を表示している蓋然性が出力され、演算された前記蓋然性が、前記車線境界が予期されない領域に対応する所定の閾値を超える場合に、前記切り出し画像が、前記車線境界(M1,M2)に対応するとして分類され、
    ‐当該分類された複数の特徴点(P1~P15)を考慮して、前記車両周辺内の車線(F)を認識するように、前記演算装置(12)は構成されている当該装置(1)。
  11. 前記演算装置(12)は、エッジ検出用アルゴリズムを用いて前記複数の特徴点(P1~P15)を認識する請求項10に記載の装置(1)。
  12. 前記演算装置(12)は、当該エッジ検出のためにソーベルフィルタ使用する請求項10又は11に記載の装置(1)。
  13. 車線境界(M1、M2)に対応するとして分類された隣り合う複数の特徴点(P1~P15)を補間することによって、車線境界(M1、M2)の推移を認識し、前記車線境界(M1、M2)の前記推移に基づいて、前記車両(5)にとって走行可能な前記車線(F)を決定するように、前記演算装置は構成されている請求項10~12のいずれか1項に記載の装置(1)。
  14. 車両(5)の車両周辺のカメラ画像(K)を撮影するように構成されているカメラ装置(2)と、前記カメラ装置(2)によって当該撮影されたカメラ画像(K)に基づいて車線(F)を認識するための請求項10~13のいずれか1項に記載の装置(1)とを有する車両(5)用の運転支援システム(4)。
  15. 請求項14に記載の運転支援システム(4)を有する車両(5)。
JP2020514970A 2017-09-22 2018-08-31 車線を認識するための方法及び装置並びに運転支援システム及び車両 Active JP7548813B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017216802.1 2017-09-22
DE102017216802.1A DE102017216802A1 (de) 2017-09-22 2017-09-22 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
PCT/DE2018/200078 WO2019057252A1 (de) 2017-09-22 2018-08-31 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug

Publications (3)

Publication Number Publication Date
JP2020534600A JP2020534600A (ja) 2020-11-26
JP2020534600A5 JP2020534600A5 (ja) 2022-09-13
JP7548813B2 true JP7548813B2 (ja) 2024-09-10

Family

ID=63637607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514970A Active JP7548813B2 (ja) 2017-09-22 2018-08-31 車線を認識するための方法及び装置並びに運転支援システム及び車両

Country Status (5)

Country Link
US (1) US11417117B2 (ja)
JP (1) JP7548813B2 (ja)
CN (1) CN111066024B (ja)
DE (2) DE102017216802A1 (ja)
WO (1) WO2019057252A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020178881A1 (ja) * 2019-03-01 2020-09-10 日本電気株式会社 制御方法、学習装置、識別装置及びプログラム
CN113392682B (zh) * 2020-03-13 2024-08-02 富士通株式会社 车道线识别装置及方法、电子设备
CN112164228A (zh) * 2020-09-15 2021-01-01 深圳市点创科技有限公司 驾驶电动车未佩戴头盔行为检测方法、电子设备、存储介质
DE102020214327A1 (de) * 2020-11-13 2022-05-19 Continental Automotive Gmbh Verfahren und System zum Bestimmen einer Position einer Fahrspur
JP7738510B2 (ja) * 2022-03-29 2025-09-12 本田技研工業株式会社 白線認識装置、移動体の制御システム、白線認識方法、およびプログラム
CN118973885A (zh) * 2022-03-30 2024-11-15 本田技研工业株式会社 移动体的控制装置、移动体的控制方法及存储介质
TWI838187B (zh) * 2023-03-24 2024-04-01 神達數位股份有限公司 感趣區域的校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046235A (zh) 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
JP2015203992A (ja) 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) * 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE10127034A1 (de) * 2001-06-02 2002-12-05 Opel Adam Ag Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn
JP2007003298A (ja) * 2005-06-22 2007-01-11 Toyota Motor Corp 道路モデル生成装置
US8452053B2 (en) 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8773535B2 (en) 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
EP2549408A1 (de) * 2011-07-20 2013-01-23 Delphi Technologies, Inc. Verfahren zur Detektion und Klassifikation von Objekten
DE102011111856B4 (de) * 2011-08-27 2019-01-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102011122310A1 (de) 2011-12-23 2015-06-18 Daimler Ag Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务(中国)有限公司 一种车道线追踪方法及系统
CN104967885B (zh) * 2015-03-27 2019-01-11 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
DE102015209467A1 (de) 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
US10124730B2 (en) 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
US10634317B2 (en) * 2017-08-03 2020-04-28 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic control of vehicle lamps during maneuvers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203992A (ja) 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置
CN105046235A (zh) 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置

Also Published As

Publication number Publication date
US20200410256A1 (en) 2020-12-31
DE102017216802A1 (de) 2019-03-28
CN111066024A (zh) 2020-04-24
US11417117B2 (en) 2022-08-16
WO2019057252A1 (de) 2019-03-28
DE112018003499A5 (de) 2020-04-30
JP2020534600A (ja) 2020-11-26
CN111066024B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
US20250388207A1 (en) Vehicular automated parking system
US8750567B2 (en) Road structure detection and tracking
US8670592B2 (en) Clear path detection using segmentation-based method
US11417117B2 (en) Method and device for detecting lanes, driver assistance system and vehicle
Berriel et al. Ego-lane analysis system (elas): Dataset and algorithms
CN101950350B (zh) 使用分级方法的畅通路径检测
US8634593B2 (en) Pixel-based texture-less clear path detection
CN110555361B (zh) 车道分类的图像处理方法
US10147002B2 (en) Method and apparatus for determining a road condition
US8452053B2 (en) Pixel-based texture-rich clear path detection
EP1930863B1 (en) Detecting and recognizing traffic signs
US8890951B2 (en) Clear path detection with patch smoothing approach
JP2020534600A5 (ja)
US8611585B2 (en) Clear path detection using patch approach
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN110188606B (zh) 基于高光谱成像的车道识别方法、装置及电子设备
US12412363B2 (en) Method and device for sensing the environment of a vehicle driving with at least semi-automation
Panda et al. Recent developments in lane departure warning system: An analysis
Alvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
Tyagi et al. Night time road boundary detection using adaptive averaging likelihood map over spatio-temporal gradient correspondence—STGC
Nine et al. Towards Vision Based Bi-Cycles Detection and An Autonomous Decision Making System for Driving Situation Awareness
KR101608359B1 (ko) 그림자 영상 영역 처리 장치 및 그 방법
Jagtap et al. ADVANCED LANE AND VEHICLE DETECTION FOR SELF-DRIVING CARS
HK1165594A (en) Method and device for determining a valid lane marking

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230906

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240829

R150 Certificate of patent or registration of utility model

Ref document number: 7548813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350