JP6739517B2 - 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器 - Google Patents

車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器 Download PDF

Info

Publication number
JP6739517B2
JP6739517B2 JP2018505645A JP2018505645A JP6739517B2 JP 6739517 B2 JP6739517 B2 JP 6739517B2 JP 2018505645 A JP2018505645 A JP 2018505645A JP 2018505645 A JP2018505645 A JP 2018505645A JP 6739517 B2 JP6739517 B2 JP 6739517B2
Authority
JP
Japan
Prior art keywords
image
lane
area
recognized
recognizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018505645A
Other languages
English (en)
Other versions
JP2018523875A (ja
Inventor
ベイ ヘー
ベイ ヘー
ヂフイ ハオ
ヂフイ ハオ
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Publication of JP2018523875A publication Critical patent/JP2018523875A/ja
Application granted granted Critical
Publication of JP6739517B2 publication Critical patent/JP6739517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

関連出願の相互参照
本特許出願は２０１５年８月３日に提出された、出願番号が２０１５１０４８２９９０．１で、出願人が百度オンラインネットワーク技術（北京）有限公司で、発明名称が「車線認識のモデリング方法及び装置、車線の認識方法及び装置」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本願に組み込む。
本開示の実施形態は位置情報サービス（location-based service）の技術分野に関し、特に車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器に関する。
様々な位置情報サービスの技術では、車線の位置、タイプ、幅、色及び数の検出は、自動／補助運転、地図ナビゲーション及び地理的な基本データの生成に重要な意義がある。
従来の車線の検出は、ほとんど、原画像に対してエッジ検出を行い、エッジ検出の結果に対して二値化処理を行い、二値化処理結果にＨｏｕｇｈ変換、ランダムＨｏｕｇｈ変換又はｒａｎｓａｃアルゴリズムを行って車線を抽出し、最後、抽出された車線を微細化処理するという手順によって行われる。上記方法は画像が明瞭で、車線が他の物体に遮られていない場合、車線に対する認識正確率が高い。しかしながら、画像における車線のエッジが明瞭ではなく、又は車線が他の物体に遮られる場合、従来の検出方法の検出の正確さが低い。
上記技術的問題に対して、本開示の実施形態は車線認識のモデリング方法、装置、記憶媒体及び機器、並びに認識方法、装置、記憶媒体及び機器を提供し、それにより車線を検出する検出の正確さを向上させる。
第１態様では、本開示の実施形態は車線認識のモデリング方法を提供し、この方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
第２態様では、本開示の実施形態は車線認識のモデリング装置をさらに提供し、この装置は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する認識モジュールと、
認識された画像領域によってモデル訓練データを構築する構築モジュールと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する訓練モジュールと、を備える
第３態様では、本開示の実施形態は車線の認識方法をさらに提供し、この方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む。
第４態様では、本開示の実施形態は車線の認識装置をさらに提供し、この装置は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する領域認識モジュールと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する確率計算モジュールと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するモデル再構築モジュールと、を備える。
第５態様では、本開示の実施形態はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線認識のモデリング方法を実行し、当該方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
第６態様では、本開示の実施形態は機器を提供し、この機器は
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備えており、
前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
認識された画像領域によってモデル訓練データを構築する操作と、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する操作と、を実行する。
第７態様では、本開示の実施形態はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、当該方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む。
第８態様では、本開示の実施形態は機器を提供し、この機器は、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備えており、
前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する操作と、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する操作と、を実行する。
本開示の実施形態に係る技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識して、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得して、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することで、画像における車線画像領域に発生可能な各種の異常状況を統合的に考慮し、車線検出の正確さを向上させる。
本発明の実施例における技術案をより明確的に説明するために、以下、実施例の記述に使用される添付図面について簡単に紹介し、無論、下記の説明される添付図面は、ただ本発明のいくつかの実施例であり、当業者にとって、創造的労働なしに、これらの添付図面を修正したり、置き換えたりしてもよい。
本開示の第１実施例に係る車線認識のモデリング方法のフローチャートである。 本開示の第２実施例に係る車線認識のモデリング方法のフローチャートである。 本開示の第３実施例に係る車線認識のモデリング方法の認識ステップのフローチャートである。 本開示の第４実施例に係る車線認識のモデリング方法の構築ステップのフローチャートである。 本開示の第４実施例に係る関心領域の概略図である。 本開示の第５実施例に係る車線の認識方法のフローチャートである。 本開示の第５実施例に係る障害物が多く存在するシーンでの車線認識の認識結果図である。 本開示の第５実施例に係る影のあるシーンでの車線認識の認識結果図である。 本開示の第５実施例に係る照明変化シーンでの車線認識の認識結果図である。 本開示の第５実施例に係る地上標識の妨害があるシーンでの車線認識の認識結果図である。 本開示の第６実施例に係る車線の認識方法のフローチャートである。 本開示の第７実施例に係る車線認識のモデリング装置の構造図である。 本開示の第８実施例に係る車線の認識装置の構造図である。 本開示の第１０実施例に係る車線認識のモデリング方法を実行する機器のハードウェア構造の概略図である。 本開示の第１２実施例に係る車線の認識方法を実行する機器のハードウェア構造の概略図である。
以下、図面と実施例を参照しながら、本発明についてさらに詳細に説明する。なお、ここで説明する具体的な実施例が本発明を解釈するものにすぎず、本発明を限定するものでない。なお、説明の便宜上、図面は本発明に関連する全部構造ではなく、一部の構造のみを示す。
第１実施例
本実施例は車線認識のモデリング方法の技術案を提供する。前記車線認識のモデリング方法は車線認識のモデリング装置により実行される。且つ、前記車線認識のモデリング装置はパソコン、ワークステーション又はサーバ等のコンピューティング装置に集積されることができる。
図１に示されるように、前記車線認識のモデリング方法は、Ｓ１１と、Ｓ１２と、Ｓ１３とを含む。
Ｓ１１：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
前記画像は走行車線において実際に収集された、車線を含む画像データである。従来の車線認識方法は適応性が低く、認識の正確さが低いという問題が多い。具体的には、画像の収集環境が変化する（例えば、画像における車線の大部分が他の物体により遮られたり、画像に大量の影領域が出現したりする）と、画像における車線の認識結果には誤警報又は誤判定が発生する。
本実施例は車線認識の適応性と正確さを向上させるために、車線の認識モデルの訓練方法、つまり車線認識のモデリング方法を提供する。前記車線認識のモデリング方法により、画像における車線を正確に認識するための畳み込みニューラルネットワークを訓練することができる。且つ、前記畳み込みニューラルネットワークが画像のシーン変化に適応することができ、適応範囲がより広い。
具体的には、画像をフィルタリングすることにより、車線の画像領域を強調することができ、強調した後に、前記車線の画像領域を取得する。より具体的には、前記画像をフィルタリングするためのｈａｔ-ｌｉｋｅフィルタカーネルを構築し、前記ｈａｔ-ｌｉｋｅフィルタカーネルで画像をフィルタリングすることにより車線の画像領域を強調し、強調した画像領域に基づいて前記車線に対応する連結領域を取得し、最後に、前記連結領域の境界に直線フィッティングを行い、それにより車線の画像領域に対する認識を完了する。
Ｓ１２：認識された画像領域によってモデル訓練データを構築する。
前記車線の画像領域に対する認識が完了した後に、前記車線の画像領域に基づいて、車線認識モデルを訓練するためのモデル訓練データを構築する。
具体的には、前記車線の画像領域を外向きに拡大し、且つ拡大した後の画像領域を関心領域とする。前記関心領域は前記車線認識モデルを訓練するための訓練データである。
Ｓ１３：前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する。
本発明では、前記車線認識モデルは畳み込みニューラルネットワークに基づく車線認識モデルである。前記畳み込みニューラルネットワークはいくつかの畳み込み層とサブサンプリング層を含む。前記畳み込み層の数が前記サブサンプリング層の数と同じである。前記畳み込みニューラルネットワークはいくつかの完全接続層をさらに含む。前記畳み込みニューラルネットワークに入力された画像を取得した後に、前記畳み込みニューラルネットワークは前記画像の実車線に属する確率
の値、つまり、前記車線認識モデルの出力確率の値を与えることができる。
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識し、認識された画像領域によってモデル訓練データを構築し、前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練することにより、画像における車線画像領域に発生する可能性がある各種の異常場合を統合的に考慮することを実現し、車線検出の正確さを向上させる。
第２実施例
本実施例は本開示の上記実施例をもとにして、さらに車線認識のモデリング方法の技術案を提供する。当該技術案では、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
図２に示されるように、前記車線認識のモデリング方法は、Ｓ２１と、Ｓ２２と、Ｓ２３と、Ｓ２４とを含む。
Ｓ２１：原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する。
一般的には、道路の路面画像を収集する時に、画像を収集するためのカメラの光軸が路面にほぼ平行する方向において画像を収集することを理解することができる。畳み込みニューラルネットワークに入力された車線画像の特徴をより統一させ、車線認識の正確さを向上させるために、画像を収集する時に光軸が路面に垂直ではない画像に逆射影変換を行う必要がある。
前記逆射影変換は逆透視マッピングとも呼ばれ、カメラにより取得された２次元画像におけるピクセルを３次元空間にマッピングすることに用いられる。より具体的には、画像を収集する時にカメラのピッチ角、ヨー角及びロール角はそれぞれα、β及びγであり、カメラの垂直と水平方向の焦点距離はそれぞれｆｕ、ｆｖであり、カメラの光学中心の座標点の横座標及び縦座標はそれぞれｃｕ、ｃｖであり、正規化パラメータはｓであると仮定すれば、式（１）で逆射影変換を行って、

ここで、（ｕ，ｖ）はピクセルの２次元画像における位置座標であり、（ｘｗ，ｙｗ，ｚｗ）はピクセルの変換後の三次元空間における位置座標である。
Ｓ２２：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
Ｓ２３：認識された画像領域によってモデル訓練データを構築する。
Ｓ２４：前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する。
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することにより、前記畳み込みニューラルネットワークに入力された画像が畳み込みニューラルネットワークに入力される前に光軸方向の統一を行い、画像における車線の認識の正確さを向上させる。
第３実施例
本実施例は本開示の上記実施例をもとにして、車線認識のモデリング方法の認識ステップの技術案をさらに提供する。当該技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップもは、異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む。
図３に示されるように、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、Ｓ３１と、Ｓ３２と、Ｓ３３とを含む。
Ｓ３１：異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択する。
前記ｈａｔ-ｌｉｋｅフィルタカーネルによるフィルタリング操作は下式で表示され、
ここで、Ｉ（ｘ，ｙ）はフィルタリングしたピクセルのグレースケール値であり、Ｉ（ｕ，ｖ）はフィルタリングする前のピクセルのグレースケール値であり、ｗはフィルタリング過程の幅パラメータであり、ｈはフィルタリング過程の高さパラメータである。理想的な場合、パラメータｗは車線自体の幅と同じであり、パラメータｈは車線自体の高さと同じである。
カメラの撮影パラメータの変化、車線自体の寸法ばらつきにより、異なる車線に対して、異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルを応用すべきである。従って、本実施例では、異なる幅パラメータ及び高さパラメータを有するる一組のｈａｔ-ｌｉｋｅフィルタカーネルによって画像をそれぞれフィルタリングして、フィルタリング結果から画像強調効果が最も明らかな１枚の画像を選択し、当該画像をフィルタリング結果画像とする。
Ｓ３２：前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成する。
ｈａｔ-ｌｉｋｅフィルタカーネルの画像強調処理を行ったので、前記フィルタリング結果画像における車線に対応する領域と画像の他の領域とは顕著な相違がある。この時、前記フィルタリング結果画像を二値化して、二値化した結果がより信頼できる。
前記フィルタリング結果画像を二値化処理する操作については、具体的には、グレースケール値が所定グレースケール閾値より高い画素を前記連結領域内の画素として、且つグレースケール値が所定グレースケール閾値以下の画素を前記連結領域外の画素とする。上記操作に応じて、前記フィルタリング結果画像内には少なくとも１つの連結領域を形成する。一般的には、前記連結領域は画像における車線の大体な位置領域を示す。
Ｓ３３：改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行う。
フィルタリングと二値化処理を行った後に、前記車線認識モデルを訓練するための画像内部にいくつかの連結領域を形成する。画像には照度ムラが発生したり、車線が他の物体に遮られたりする可能性があるため、取得した連結領域の実際境界が直線ではない可能性がある。従って、本実施例では、改良したｒａｎｓａｃアルゴリズムによって連結領域の境界に直線フィッティングを行う。
Ｒａｎｓａｃ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ、ランダムサンプルコンセンサス）アルゴリズムは異常データを含む一組のサンプルデータセットに基づいて、データの数学モデルパラメータを算出して、有効なサンプルデータを取得するアルゴリズムである。従来のｒａｎｓａｃアルゴリズムは直線フィッティングを行う時に、直線フィッティング用のサンプル点の応答強度を配慮しない。言い換えれば、従来のｒａｎｓａｃアルゴリズムでは、あらゆるサンプル点は同一地位を有する。通常のｒａｎｓａｃアルゴリズムに比べて、本実施例に係るｒａｎｓａｃアルゴリズムは異なるサンプル点の応答強度を当該サンプル点の加重パラメータとして、各サンプル点を加重して、加重後の数値に基づいて直線フィッティングを行う。
具体的には、前記連結領域の境界箇所にいくつかのサンプル点を選択し、これらのサンプルのグレースケール値をそれら自体の加重パラメータとして、現在モデルがカバーした内点の数を計算する。このように、複数回の繰り返し計算によれば、本実施例に係る改良したｒａｎｓａｃアルゴリズムによってフィッティングして得られた直線を取得することができる。
本実施例は異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択し、前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成し、改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うことにより、車線の画像領域に対する正確な認識を実現する。
第４実施例
本実施例は本開示の上記実施例をもとにして、車線認識のモデリング方法の構築ステップのフローチャートをさらに提供する。当該技術案では、認識された画像領域によってモデル訓練データを構築するステップには、前記連結領域を拡大して、画像上の関心領域を形成するステップと、前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む。
図４に示されるように、認識された画像領域によってモデル訓練データを構築するステップには、Ｓ４１と、Ｓ４２とを含む。
Ｓ４１：前記連結領域を拡大して、画像上の関心領域を形成する。
境界の直線フィッティングを行った連結領域に対して、境界を拡大する。具体的には、幅方向において、前記連結領域を所定数のピクセルで拡大し、次に高さ方向において、前記連結領域を所定数のピクセルで拡大する。このように、拡大した関心領域を形成する。
Ｓ４２：前記関心領域を含む画像を前記モデル訓練データとする。
図５は前記関心領域の一実施例を示す。図５に示されるように、当該実施例では、実線５１により限定される領域は前記関心領域である。
前記車線に対応する連結領域を拡大して、拡大して得られた関心領域をモデル訓練の訓練データとする原因として、訓練データに認識されるべきターゲット画像を含ませるだけでなく、いくつかの背景画像情報をさらに含ませ、これらの背景画像情報を前記車線のコンテキストとして、それにより訓練して得られた車線認識モデルの認識の正確さを向上させることに寄与する。
本実施例は前記連結領域を拡大して、画像上の関心領域を形成し、前記関心領域を含む画像を前記モデル訓練データとすることにより、モデル訓練データの構築を実現し、構築した訓練データに基づいて車線認識モデルをモデリングすることができる。
第５実施例
本実施例は車線の認識方法の技術案を提供する。本開示の上記実施例に記載の車線認識のモデリング方法との相違点として、前記車線認識のモデリング方法は車線認識モデルをモデリングすることに用いられ、本実施例に係る車線の認識方法は上記実施例で作成した車線認識モデルによって画像から車線を認識することである。
図６に示されるように、前記車線認識方法は、Ｓ６１と、Ｓ６２と、Ｓ６３とを含む。
Ｓ６１：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
本実施例では、本発明の第３実施例に記載の方式を用いて画像から車線の画像領域を認識する。すなわち、まずｈａｔ-ｌｉｋｅフィルタカーネルによって画像をフィルタリングして、フィルタリングした画像を二値化処理して、最後に、改良したｒａｎｓａｃアルゴリズムによって、二値化した連結領域の境界に直線フィッティングを行い、それにより車線の画像領域に対する認識を実現する。
Ｓ６２：車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する。
車線の画像領域が認識された画像を前記畳み込みニューラルネットワークに入力し、入力した画像を取得した後に、前記畳み込みニューラルネットワークは前記画像を計算し、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率
を出力する。
Ｓ６３：前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。
本実施例では、深さ探索（depth search）技術に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。具体的には、用可能な車線をｋ組に分け、各組の車線における各本の車線の長さ重み、車線間の角度ばらつきの重みと距離ばらつきの重みを計算する。ここで、車線の長さ重み
が式（３）に示され、
（３）
ここで、Ｈとｌｉはそれぞれ車線の高さと幅を示す。
第ｉ本の車線と第ｊ本の車線との間の角度ばらつきの重み
は式（４）に示され、
（４）
ここで、
は第ｉ本の車線の角度を示し、
は第ｊ本の車線の角度を示し、
は角度ばらつきの閾値を示す。
第ｉ本の車線と第ｊ本の車線との間の距離ばらつきの重み
は式（５）に示され、
（５）
ここで、
は距離の最大閾値を示し、
は距離の最小閾値を示す。
続いて、上記３種のパラメータ及びモデルの出力確率、つまり実車線に属する確率は、モデル再構築の目的関数を共に形成し、
（６）
式（６）に示される目的関数の値が最も大きい一組の車線は、実車線と認定されることができる。
上記車線の認識方法によれば、サンプル画像の異なる撮影シーンの変化に適応することができる。図７はいくつかの特殊シーンにおいて撮影したサンプル画像を示す。図７Ａは障害物が多く存在するシーンでのサンプル画像を示す。図７Ｂは影のあるシーンでのサンプル画像を示す。図７Ｃは照明変化シーンでのサンプル画像を示す。図７Ｄは地上標識の妨害があるシーンでのサンプル画像を示す。本実施例に係る車線の認識方法を利用してこれらのサンプル画像の車線を認識して、サンプル画像における車線を正確に認識することができる。図７Ａ〜図７Ｄにおける実線７１、実線７２、実線７３、実線７４により限定される領域は認識した車線である。
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識し、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得して、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することにより、入力画像の異なる変化に適応することができ、車線認識の正確さを向上させる。
第６実施例
本実施例は本開示の第５実施例をもとにして、車線の認識方法の技術案をさらに提供する。当該技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
図８に示されるように、前記車線の認識方法は、Ｓ８１と、Ｓ８２と、Ｓ８３と、Ｓ８４とを含む。
Ｓ８１：原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する。
モデルの訓練過程と類似し、車線を認識する必要があるサンプル画像に、撮影する時に光軸が地面に垂直ではない画像が含まれる可能性もある。このような場合、原画像に逆射影変換を行う必要もある。具体的には逆射影変換過程は本発明の第２実施例における説明を参照すればよい。
Ｓ８２：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
Ｓ８３：車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する。
Ｓ８４：前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整して、車線を認識する必要がある画像が畳み込みニューラルネットワークに入力される前に光軸方向の統一を行い、画像における車線の認識の正確さを向上させる。
第７実施例
本実施例は車線認識のモデリング装置の技術案を提供する。図９に示されるように、前記車線認識のモデリング装置は、認識モジュール９２と、構築モジュール９３と、訓練モジュール９４と、を備える。
前記認識モジュール９２は、２次元フィルタリングに基づいて、画像から車線の画像領域を認識することに用いられる。
前記構築モジュール９３は、認識された画像領域によってモデル訓練データを構築することに用いられる。
前記訓練モジュール９４は、前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練することに用いられる。
さらに、前記車線認識のモデリング装置は、変換モジュール９１をさらに備える。
前記変換モジュール９１は、２次元フィルタリングに基づいて背景画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することに用いられる。
さらに、前記変換モジュール９１は、具体的には、下式で前記原画像を逆射影変換することに用いられ、

ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
さらに、前記認識モジュール９２は、フィルタリングユニットと、二値化ユニットと、フィッティングユニットと、を備える。
前記フィルタリングユニットは異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択することに用いられる。
前記二値化ユニットは前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成することに用いられる。
前記フィッティングユニットは改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うことに用いられる。
さらに、前記構築モジュール９３は、拡大ユニットと、データ取得ユニットと、を備える。
前記拡大ユニットは、前記連結領域を拡大して、画像上の関心領域を形成することに用いられる。
前記データ取得ユニットは、前記関心領域を含む画像を前記モデル訓練データとすることに用いられる。
第８実施例
本実施例は車線の認識装置の技術案を提供する。図１０に示されるように、前記車線の認識装置は、領域認識モジュール１０２、確率計算モジュール１０３及びモデル再構築モジュール１０４を備える。
前記領域認識モジュール１０２は、２次元フィルタリングに基づいて、画像から車線の画像領域を認識することに用いられる。
前記確率計算モジュール１０３は、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得することに用いられる。
前記モデル再構築モジュール１０４は、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することに用いられる。
さらに、前記車線の認識装置は、逆射影変換モジュール１０１をさらに備える。
前記逆射影変換モジュール１０１は、２次元フィルタリングに基づいて画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することに用いられる。
さらに、前記モデル再構築モジュール１０４は、具体的には、
下式でモデルの再構築を行うことに用いられ、
ここで、
と
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
と
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
第９実施例
本開示の実施例はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線認識のモデリング方法を実行し、前記方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
上記記憶媒体は前記方法を実行する時に、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
上記記憶媒体が前記方法を実行する時に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
下式で前記原画像を逆射影変換するステップを含み、
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
上記記憶媒体が前記方法を実行する時に、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む。
上記記憶媒体が前記方法を実行する時に、認識された画像領域によってモデル訓練データを構築するステップには、
前記連結領域を拡大して、画像上の関心領域を形成するステップと、
前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む。
第１０実施例
図１１は本開示の第１０実施例に係る車線認識のモデリング方法を実行する機器ハードウェアの構造概略図である。図１１で示されるように、当該機器は、
１つ以上のプロセッサ１１１０（図１１において、一つのプロセッサ１１１０を例にする）と、
メモリと１１２０、
１つ以上のモジュールと、を備える。
前記機器はさらに、入力装置１１３０と出力装置１１４０と、を備えてもよい。前記装置のプロセッサ１１１０、メモリ１１２０、入力装置１１３０及び出力装置１１４０はバス又はその他の方式によって接続されることができ、図１１において、バス接続を例にする。
メモリ１１２０はコンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施形態における車線認識のモデリング方法に対応するプログラム命令／モジュール（例えば、図９に示される車線認識のモデリング装置における変換モジュール９１、認識モジュール９２、構築モジュール９３、及び訓練モジュール９４）を記憶することに用いられてもよい。プロセッサ１１１０はメモリ１１２０に記憶されるソフトウェアプログラム、命令及びモジュールを実行して、それによりサーバの各種の機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施形態における車線認識のモデリング方法を実現する。
メモリ１１２０はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域、及び端末装置の使用に応じて作成されるデータ等を記憶できる記憶データ領域を備える。また、メモリ１１２０は高速ランダムアクセスメモリを備えてもよく、さらに不揮発性メモリ、例えば少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを備えてもよい。いくつかの例では、メモリ１１２０は、プロセッサ１１１０に対して遠隔に設置されるメモリを備えてもよく、これらの遠隔メモリはネットワークで端末装置に接続されてもよい。上記ネットワークの例はインターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びその組合せを含むが、それらに限定されない。
入力装置１１３０は入力されたデジタル又は文字情報を受信し、及び端末のユーザ設定及び機能制御に関連するキー信号入力を生成することに用いられてもよい。出力装置１１４０はディスプレイスクリーン等の表示装置を備えてもよい。
前記１つ以上のモジュールが前記メモリ１１２０に記憶され、前記１つ以上のプロセッサ１１１０により実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
認識された画像領域によってモデル訓練データを構築する操作と、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する操作と、を実行する
さらに、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行って、前記原画像の光軸方向を地面に垂直な方向に調整するステップを含む。
さらに、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
下式で前記原画像に逆射影変換を行うステップを含み、
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
さらに、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む
さらに、認識された画像領域によってモデル訓練データを構築するステップには、
前記連結領域を拡大して、画像上の関心領域を形成するステップと、
前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む
第１１実施例
本開示の実施例はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、前記方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む
上記記憶媒体は前記方法を実行する時に、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
上記記憶媒体は前記方法を実行する時に、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップには、
下式でモデルの再構築を行うステップを含み、

ここで、
と
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
と
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
第１２実施例
図１２は本開示の第１２実施例に係る車線認識のモデリング方法を実行する機器ハードウェアの構造概略図である。図１２で示されるように、当該機器は、
１つ以上のプロセッサ１２１０（図１２において、一つのプロセッサ１２１０を例にする）と、
メモリと１２２０、
１つ以上のモジュールと、を備える。
前記機器はさらに、入力装置１２３０と出力装置１２４０と、を備えてもよい。前記装置のプロセッサ１２１０、メモリ１２２０、入力装置１２３０及び出力装置１２４０はバス又はその他の方式によって接続されることができ、図１２において、バス接続を例にする。
メモリ１２２０はコンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施形態における車線の認識方法に対応するプログラム命令／モジュール（例えば、図１０に示される車線の認識装置における逆射影変換モジュール１０１、領域認識モジュール１０２、確率計算モジュール１０３及びモデル再構築モジュール１０４）を記憶することに用いられてもよい。プロセッサ１２１０はメモリ１２２０に記憶されるソフトウェアプログラム、命令及びモジュールを実行して、それによりサーバの各種の機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施形態における車線の認識方法を実現する。
メモリ１２２０はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域、及び端末装置の使用に応じて作成されるデータ等を記憶できる記憶データ領域を備える。また、メモリ１２２０は高速ランダムアクセスメモリを備えてもよく、さらに不揮発性メモリ、例えば少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを備えてもよい。いくつかの例では、メモリ１２２０は、プロセッサ１２１０に対して遠隔に設置されるメモリを備えてもよく、これらの遠隔メモリはネットワークで端末装置に接続されてもよい。上記ネットワークの例はインターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びその組合せを含むが、それらに限定されない。
入力装置１２３０は入力されたデジタル又は文字情報を受信し、及び端末のユーザ設定及び機能制御に関連するキー信号入力を生成することに用いられてもよい。出力装置１２４０はディスプレイスクリーン等の表示装置を備えてもよい。
前記１つ以上のモジュールが前記メモリ１２２０に記憶され、前記１つ以上のプロセッサ１２１０により実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する操作と、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する操作と、を実行する。
さらに、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
さらに、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップには、
下式でモデルの再構築を行うステップを含み、

ここで、
と
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
と
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
上記実施形態の説明によれば、当業者は、本発明がソフトウェア、および必要な汎用ハードウェアにより実現されてもよく、勿論ハードウェアにより実現されてもよいが、多くの場合、前者が好ましい実施形態であると理解すべきである。このような理解に基づいて、本発明の技術案は、実質的な部分、または従来技術を改良する部分をソフトウェア製品の形態で実現してもよい。当該コンピュータソフトウェア製品は、コンピュータ読み取り可能な記録媒体、例えばコンピュータのフロッピーディスク、光ディスク、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）などに記憶されてもよく、且つコンピュータ機器（パソコン、サーバ、またはネットワーク機器などであってもよく）に本発明の各実施例に係る方法を実行させる複数の命令を含む。
注意すべきのは、上記車線認識のモデリング装置及び車線の認識装置の実施形態に含まれる各ユニットとモジュールが、機能ロジックのみに応じて区画されるが、上記区画に限定されない。対応する機能を実現することができればよい。また、各機能ユニットの具体的な名称は、単に区別を容易にするためのものであり、本発明の保護範囲を限定するものではない。
以上で説明したのは、本発明の具体的な実施形態だけであり、本発明の保護範囲は、これらに限定されるものではない。いかなる当業者が本発明に開示された技術範囲内に容易に想到できる変更または置換の全ては、本発明の保護範囲内に入るべきである。従って、本発明の保護範囲は、添付される特許請求の範囲を基準としているものである。

Claims (12)

  1. 原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップと、
    ２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識するステップと、
    車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得するステップと、
    前記出力確率に基づいて、入力画像における車線を認識するステップと、を含む
    ことを特徴とする車線の認識方法。
  2. 前記出力確率に基づいて、入力画像における車線を認識するステップには、
    下式でモデルの再構築を行うステップを含み、
    ここで、
    と
    はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
    と
    はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す
    ことを特徴とする請求項１に記載の方法。
  3. 原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
    下式で前記原画像に逆射影変換を行うステップを含み、
    ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである
    ことを特徴とする請求項１に記載の方法。
  4. ２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
    異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
    前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
    改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む
    ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  5. 認識された画像領域によってモデル訓練データを構築するステップには、
    前記連結領域を拡大して、画像上の関心領域を形成するステップと、
    前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む
    ことを特徴とする請求項４に記載の方法。
  6. 原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する逆射影変換モジュールと、
    ２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識する領域認識モジュールと、
    車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得する確率計算モジュールと、
    前記出力確率に基づいて、入力画像における車線を認識するモデル再構築モジュールと、を備える
    ことを特徴とする車線の認識装置。
  7. 前記モデル再構築モジュールは、具体的には、
    下式でモデルの再構築を行うことに用いられ、
    ここで、
    と
    はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
    と
    はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す
    ことを特徴とする請求項６に記載の装置。
  8. 前記変換モジュールは、具体的には、
    下式で前記原画像を逆射影変換することに用いられ、
    ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータであることを特徴とする請求項６に記載の装置。
  9. 前記認識モジュールは、
    異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するフィルタリングユニットと、
    前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成する二値化ユニットと、
    改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うフィッティングユニットと、を備える
    ことを特徴とする請求項６〜８のいずれか１項に記載の装置。
  10. 前記構築モジュールは、
    前記連結領域を拡大して、画像上の関心領域を形成する拡大ユニットと、
    前記関心領域を含む画像を前記モデル訓練データとするデータ取得ユニットと、を備える
    ことを特徴とする請求項９に記載の装置。
  11. コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、前記方法は、
    原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップと、
    ２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識するステップと、
    車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得するステップと、
    前記出力確率に基づいて、入力画像における車線を認識するステップと、を含む
    ことを特徴とする記憶媒体。
  12. １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムと、を備えており、
    前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
    原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する操作と、
    ２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識する操作と、
    車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得する操作と、
    前記出力確率に基づいて、入力画像における車線を認識する操作と、を実行する
    ことを特徴とする機器。
JP2018505645A 2015-08-03 2015-12-31 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器 Active JP6739517B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510482990.1 2015-08-03
CN201510482990.1A CN105046235B (zh) 2015-08-03 2015-08-03 车道线的识别建模方法和装置、识别方法和装置
PCT/CN2015/100175 WO2017020528A1 (zh) 2015-08-03 2015-12-31 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备

Publications (2)

Publication Number Publication Date
JP2018523875A JP2018523875A (ja) 2018-08-23
JP6739517B2 true JP6739517B2 (ja) 2020-08-12

Family

ID=54452764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505645A Active JP6739517B2 (ja) 2015-08-03 2015-12-31 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器

Country Status (6)

Country Link
US (1) US10699134B2 (ja)
EP (1) EP3321842B1 (ja)
JP (1) JP6739517B2 (ja)
KR (1) KR102143108B1 (ja)
CN (1) CN105046235B (ja)
WO (1) WO2017020528A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046235B (zh) 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105426861B (zh) * 2015-12-02 2019-05-21 百度在线网络技术（北京）有限公司 车道线确定方法及装置
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
CN105654064A (zh) * 2016-01-25 2016-06-08 北京中科慧眼科技有限公司 车道线检测方法和装置及高级驾驶辅助系统
CN107220580B (zh) * 2016-03-22 2022-08-09 敦泰电子有限公司 基于投票决策和最小二乘法的图像识别随机取样一致算法
CN106415602B (zh) * 2016-08-25 2019-12-03 深圳市锐明技术股份有限公司 一种成对车道线的检测方法和装置
CN106529505A (zh) * 2016-12-05 2017-03-22 惠州华阳通用电子有限公司 一种基于图像视觉的车道线检测方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108268813B (zh) * 2016-12-30 2021-05-07 北京文安智能技术股份有限公司 一种车道偏离预警方法、装置及电子设备
CN106845424B (zh) * 2017-01-24 2020-05-05 南京大学 基于深度卷积网络的路面遗留物检测方法
CN108509826B (zh) * 2017-02-27 2022-03-01 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
KR102499398B1 (ko) 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
CN109426824B (zh) * 2017-08-28 2021-05-25 阿里巴巴（中国）有限公司 道路交通标线的识别方法和装置
DE102017216802A1 (de) * 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
CN109726615A (zh) * 2017-10-30 2019-05-07 北京京东尚科信息技术有限公司 一种道路边界的识别方法和装置
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN108491811A (zh) * 2018-03-28 2018-09-04 中山大学 一种基于fpga的超低功耗实时车道线检测的方法
CN110348273B (zh) * 2018-04-04 2022-05-24 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN108694386B (zh) * 2018-05-15 2021-08-10 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN110795961B (zh) * 2018-08-01 2023-07-18 新疆万兴信息科技有限公司 一种车道线检测方法、装置、电子设备及介质
CN110796606B (zh) * 2018-08-01 2023-07-07 新疆万兴信息科技有限公司 一种确定IPM matrix参数的方法、装置、电子设备及介质
DE102018214697A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Fahrbahnkartierungsvorrichtung
CN109117825B (zh) * 2018-09-04 2020-01-17 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN111860295B (zh) * 2018-09-07 2023-08-25 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109389046B (zh) * 2018-09-11 2022-03-29 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
DE102018216413A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109345547B (zh) * 2018-10-19 2021-08-24 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN109598268B (zh) * 2018-11-23 2021-08-17 安徽大学 一种基于单流深度网络的rgb-d显著目标检测方法
CN111368605B (zh) * 2018-12-26 2023-08-25 易图通科技（北京）有限公司 车道线提取方法及装置
US10990815B2 (en) 2018-12-27 2021-04-27 Beijing Didi Infinity Technology And Development Co., Ltd. Image pre-processing in a lane marking determination system
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
WO2020139357A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
US11023745B2 (en) * 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
WO2020139355A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
CN109685850A (zh) * 2018-12-29 2019-04-26 百度在线网络技术（北京）有限公司 一种横向定位方法及车载设备
CN109740554A (zh) * 2019-01-09 2019-05-10 宽凳（北京）科技有限公司 一种道路边缘线识别方法及系统
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置
CN110163109B (zh) * 2019-04-23 2021-09-17 浙江大华技术股份有限公司 一种车道线标注方法及装置
CN110413942B (zh) * 2019-06-04 2023-08-08 上海汽车工业(集团)总公司 车道线方程筛选方法及其筛选模块
CN110569730B (zh) * 2019-08-06 2022-11-15 福建农林大学 一种基于U-net神经网络模型的路面裂缝自动识别方法
CN112446230B (zh) * 2019-08-27 2024-04-09 中车株洲电力机车研究所有限公司 车道线图像的识别方法及装置
CN110525436A (zh) * 2019-08-27 2019-12-03 中国第一汽车股份有限公司 车辆换道控制方法、装置、车辆和存储介质
CN112686080A (zh) * 2019-10-17 2021-04-20 北京京东乾石科技有限公司 进行车道线检测的方法和装置
CN112926354A (zh) * 2019-12-05 2021-06-08 北京超星未来科技有限公司 一种基于深度学习的车道线检测方法及装置
CN111126209A (zh) * 2019-12-09 2020-05-08 上海博泰悦臻电子设备制造有限公司 车道线检测方法及相关设备
CN111192216B (zh) * 2019-12-31 2023-04-21 武汉中海庭数据技术有限公司 一种车道线平滑处理方法及系统
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN111310737B (zh) * 2020-03-26 2023-10-13 山东极视角科技股份有限公司 一种车道线检测方法及装置
EP4130668A4 (en) * 2020-04-18 2023-05-31 Huawei Technologies Co., Ltd. METHOD FOR DETERMINING AN ABNORMAL LANE LINE RECOGNITION EVENT, AND LANE LINE RECOGNITION APPARATUS AND SYSTEM
CN111539401B (zh) * 2020-07-13 2020-10-23 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112434585A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线的虚实识别方法、系统、电子设备及存储介质
CN112902987B (zh) * 2021-02-02 2022-07-15 北京三快在线科技有限公司 一种位姿修正的方法及装置
CN113011293B (zh) * 2021-03-05 2022-09-30 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN113537002B (zh) * 2021-07-02 2023-01-24 安阳工学院 一种基于双模神经网络模型的驾驶环境评估方法及装置
CN113298050B (zh) * 2021-07-21 2021-11-19 智道网联科技(北京)有限公司 车道线识别模型训练方法、装置及车道线识别方法、装置
CN113344929B (zh) * 2021-08-09 2021-11-05 深圳智检慧通科技有限公司 一种焊点视觉检测识别方法、可读存储介质及设备
CN114758310B (zh) * 2022-06-13 2022-10-28 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN116580373B (zh) * 2023-07-11 2023-09-26 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置、电子设备和存储介质
CN117114141B (zh) * 2023-10-20 2024-02-27 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) * 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
GB9804112D0 (en) * 1998-02-27 1998-04-22 Lucas Ind Plc Road profile prediction
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US7774113B2 (en) * 2002-04-10 2010-08-10 Trw Limited Cameras to determine vehicle heading
US7139411B2 (en) * 2002-06-14 2006-11-21 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8855917B2 (en) * 2008-10-16 2014-10-07 Csr Technology Inc. System and method for use of a vehicle back-up camera as a dead-reckoning sensor
CN102201167B (zh) * 2010-04-07 2013-03-06 宫宁生 基于视频的汽车车道自动识别方法
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
KR101295077B1 (ko) * 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
US9053372B2 (en) * 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
US20150276400A1 (en) * 2013-03-13 2015-10-01 Electronic Scripting Products, Inc. Reduced homography for ascertaining conditioned motion of an optical apparatus
US9821813B2 (en) * 2014-11-13 2017-11-21 Nec Corporation Continuous occlusion models for road scene understanding
CN104598892B (zh) * 2015-01-30 2018-05-04 广东威创视讯科技股份有限公司 一种危险驾驶行为预警方法及系统
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN104809449B (zh) 2015-05-14 2018-09-21 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
CN105046235B (zh) 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置

Also Published As

Publication number Publication date
US20180225527A1 (en) 2018-08-09
EP3321842B1 (en) 2020-04-29
KR20180034529A (ko) 2018-04-04
EP3321842A1 (en) 2018-05-16
US10699134B2 (en) 2020-06-30
CN105046235A (zh) 2015-11-11
WO2017020528A1 (zh) 2017-02-09
EP3321842A4 (en) 2018-08-15
KR102143108B1 (ko) 2020-08-10
JP2018523875A (ja) 2018-08-23
CN105046235B (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
JP6739517B2 (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
Liu et al. Deep depthwise separable convolutional network for change detection in optical aerial images
US9934591B2 (en) Remote determination of quantity stored in containers in geographical region
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
AU2016315938A1 (en) Systems and methods for analyzing remote sensing imagery
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
AU2019349986A1 (en) Apparatus and method for three-dimensional object recognition
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
CN110636248B (zh) 目标跟踪方法与装置
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
Kumar Solar potential analysis of rooftops using satellite imagery
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
CN116188587A (zh) 定位方法、装置及车辆
CN110910496B (zh) 基于大数据和ai的vr自然环境自动构成方法
CN112200698A (zh) 一种基于人工智能的校园社交关系大数据分析系统
Widyaningrum et al. Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
US11651511B2 (en) Computer vision systems and methods for determining roof shapes from imagery using segmentation networks
He et al. An approach to edge detection on a virtual hexagonal structure
US20230066119A1 (en) Automated imaging system for object footprint detection and a method thereof
Yuan et al. Fusion Network for Building Extraction Using High-Resolution Aerial Images and LiDAR Data. Remote Sens. 2021, 13, 2473

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6739517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250