JP2023517055A - 車線マーカー検出 - Google Patents

車線マーカー検出 Download PDF

Info

Publication number
JP2023517055A
JP2023517055A JP2022553656A JP2022553656A JP2023517055A JP 2023517055 A JP2023517055 A JP 2023517055A JP 2022553656 A JP2022553656 A JP 2022553656A JP 2022553656 A JP2022553656 A JP 2022553656A JP 2023517055 A JP2023517055 A JP 2023517055A
Authority
JP
Japan
Prior art keywords
lane marker
lane
detection model
marker detection
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022553656A
Other languages
English (en)
Other versions
JPWO2021183974A5 (ja
Inventor
スンウ・ヨー
ヒス・ミョン
ヒ－ソク・イ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2023517055A publication Critical patent/JP2023517055A/ja
Publication of JPWO2021183974A5 publication Critical patent/JPWO2021183974A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示のいくつかの態様は、入力画像を受信することと、入力画像を車線マーカー検出モデルに提供することと、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することと、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することと、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを含む、車線マーカー検出のための方法を提供する。

Description

関連出願の相互参照
本出願は、2020年3月12日に出願された仮特許出願第62/988,795号の利益および優先権を主張する、2021年3月12日に出願された米国特許出願第17/200,592号の優先権を主張し、それらの各々の内容全体が参照により本明細書に組み込まれる。
本開示の態様は、高速かつロバストな車線検出のためのシステムおよび方法に関する。
現代の車両は、ますます高度ドライバ支援システムが装備され、高度ドライバ支援システムは、特に、支援型自律運転機能のための車線検出を含むことがある。車線検出のための既存の技法は動きが鈍く、著しい手作業の構成を必要とし、多くの運転シナリオにわたるロバストネスが欠如している。したがって、車線検出のための既存のシステムは、現代の車両に適していない。
したがって、必要とされるものは高速かつロバストな車線検出を提供するシステムおよび方法である。
いくつかの態様は、入力画像を受信することと、入力画像を車線マーカー検出モデルに提供することと、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することと、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することと、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを含む、車線マーカー検出のための方法を提供する。
他の態様は、上述の方法および本明細書で説明する方法を実行するように構成された処理システム、処理システムの1つまたは複数のプロセッサによって実行されたとき、上述の方法および本明細書で説明する方法を処理システムに実行させる命令を備える非一時的コンピュータ可読媒体、上述の方法および本明細書でさらに説明する方法を実行するためのコードを備えるコンピュータ可読記憶媒体上に具現されたコンピュータプログラム製品、ならびに上述の方法および本明細書でさらに説明する方法を実行するための手段を備える処理システムを提供する。
添付の図は、1つまたは複数の態様のうちのいくつかの態様を示し、したがって、本開示の範囲の限定と見なされるべきでない。
道路上の車線マーカーの一例を示す図である。 例示的な高度ドライバ支援システムまたは自動運転システムの態様を示す図である。 例示的な車線マーカー検出モデルアーキテクチャの態様を示す図である。 車線マーカー検出モデルの中で層を圧縮する(または、「圧搾する」)ために使用され得る例示的な水平縮小モジュールを示す図である。 車線マーカーを検出するための例示的な方法を示す図である。 本明細書で説明するような、車線マーカーを検出するように構成され得る例示的な処理システムを示す図である。
理解を容易にするために、可能な場合、図面に共通の同一の要素を指定するために同一の参照番号が使用されている。1つの態様の要素および特徴がさらなる記載なく他の態様の中に有益に組み込まれ得ることが企図される。
本明細書で開示するシステムおよび方法は、様々な適用例において高速かつロバストな車線検出を可能にする。たとえば、本明細書で開示するシステムおよび方法は、支援型自律運転機能を有する車両において、車線マーカーの正確かつロバストな位置特定をリアルタイムで可能にし得る。
一般に、車線マーカーは、道路上のどこに車線が存在するのかなどの情報を伝達する、路面上のデバイスまたは材料である。車線マーカーの例は、いくつかの例を挙げれば、ペイントされた交通ライン、ペイントされた横断歩道、ペイントされた駐車スペース、身障者駐車スペース、反射型マーカー、縁石、側溝、ボッツのドット(Botts' dot)、および減速舗装を含む。
自律車両ナビゲーションでは車線マーカーが使用され得る。たとえば、車両は、高度ドライバ支援システム(ADAS:advanced driver assistance system)または高レベルの自動運転システム(SDS:self-driving system)を含んでよい。そのようなシステムは、大部分はコンピュータビジョン技術における併発の改善に基づいて広く採用されつつある。
車線マーカー検出、車両検出追跡、障害検出、シーン理解、およびセマンティックセグメント化などの、ADASおよびSDSシステムに関係するいくつかの構成要素があるが、カメラ知覚および測位にとって車線検出は重要な構成要素である。たとえば、自己車線(ホスト車線と呼ばれることもある、車両がその中に位置する車線)内に車両を保つために、かつ自己車線の左または右に車線を変更する際に車両を支援するために、車線検出が必要である。
ほとんどの従来の車線マーカー検出方法は、2ステージセマンティックセグメント化手法に基づく。そのような手法の第1のステージでは、画像の中の各ピクセルをバイナリなラベル、すなわち、車線または非車線に割り当てる、ピクセルレベルの分類を実行するように、ネットワークが設計される。しかしながら、各ピクセル分類において、ピクセル間の依存関係または構造は考慮されず、したがって、検出されるラインの一意性または真直度などの制約を明示的に課するために、追加の後処理が第2のステージにおいて実行される。後処理は、たとえば、条件付き確率場、追加のネットワーク、または無作為標本合意(RANSAC:random sample consensus)のような精巧なコンピュータビジョン技法を使用して適用され得るが、これらの後処理技法は、多くの計算量を必要とし、一般に、車線マーカー検出システムの中への慎重な手作業の統合を必要とする。したがって、2ステージセマンティックセグメント化手法は、様々な適用例を展開するのに困難である。
現在の車線マーカー検出方法を伴う別の問題は電力消費である。画像のストリームの中の各画像を処理することは、自動車のコンテキストにおいて常に利用可能または実際的であるとは限らない大量の計算能力を必要とすることがある。特に、電気車両にとって、搭載システムの電力消費は重要な検討事項である。
対照的に、本明細書で説明する態様は、コストがかかるいかなる後処理ステップも伴わずに車線マーカー頂点を直接予測する、効率的なエンドツーエンドアーキテクチャに関する。より詳細には、本明細書で説明する態様では、車線マーカー検出問題は、画像の中で左から右に広がる車線マーカーの構造的形状が単一のモデルの中の層の2つのサブセットの中でモデル化される、列ごとの分類タスクと見なされる。モデル層の第1のサブセットは、すべての車線の共有される描写に対して水平成分を圧縮およびモデル化するように構成され、モデル層の第2のサブセットは、車線マーカー頂点を直接出力するために、共有される描写に基づいて各車線をモデル化するように構成される。いくつかの態様では、ターゲット車線マーカー位置は、実行時においてargmax関数によって効率的に取得される。
したがって、本明細書で説明する態様は、複雑な後処理を伴わずに車線検出のための従来の手法を有益に改善し、そのことは、使用しているときの計算能力、計算時間、および電力使用量を低減する。したがって、本明細書で説明する態様は、より多くの適用例およびコンテキストにおいて有益に展開され得る。
道路上の例示的な車線マーカー
図1は、道路104上の車線マーカー102の一例を示す。この例では、車線マーカー102は、道路104上のペイントされたストライプであるが、他の例では、車線マーカーは、車線の任意の種類の認識可能な分割であってよい。車線マーカー102は、車線マーカー検出システムによって検出されてよく、車両の中の高度ドライバ支援システムならびに半自律自動運転システムおよび自律自動運転システムのために車線を決定するために使用されてよい。
例示的な電子車線マーカー検出システム
図2は、例示的な高度ドライバ支援システムまたは自動運転システム200の態様を示す。システム200は、ローカルセンサー、およびマッピングアルゴリズム218によって提供されるようなエッジ処理能力とともに動作するように構成され得る。
この態様では、システム200は、1つまたは複数のカメラ202、全地球測位システム(GPS)204、慣性測定ユニット(IMU:inertial measurement unit)206、センサー同期基板208、および1つまたは複数のプロセッサ220を含む。この例では、プロセッサ220は、センサードライバモジュール210、測位エンジン212、知覚エンジン214、ならびにデータ集約および接続性モジュール216を含む。プロセッサ220は、一般に、ワイヤレスまたは有線のネットワークを介して1つまたは複数のデバイスと通信し得る。
いくつかの態様では、カメラ202、GPS受信機204、およびIMU206などの、フロントエンドセンサーは、消費者等級のセンサーであってよい。センサー同期基板208は、すべてのセンサーのタイムスタンプを制御する組込みマイクロコントローラを含んでよい。いくつかの態様では、センサー同期基板208は、タイミング誤差が10マイクロ秒よりも小さいタイムスタンプを生成し得る。
カメラ202、GPS204、およびIMU206の出力は、測位エンジン212と知覚エンジン214の両方の中に供給され得る。知覚エンジン214は、入ってくるビデオストリームの中の重要なランドマーク(たとえば、車線マーカー)を検出し、それらを画像フレームの中で正確に位置特定するように構成される。測位エンジン212は、GPS信号、慣性センサー読取り値、およびカメラビデオ入力を関係付けることによって、たとえば、6つの自由度で、カメラ姿勢の正確な推定値を提供するように構成される。
測位エンジン212および知覚エンジン214の出力は集約されてよく、データ集約および接続性モジュール216を介してクラウド処理システムなどのエッジ処理サービスへ送られてよい。いくつかの態様では、マッピングアルゴリズム218は、グローバルフレームの中のランドマークのロケーション推定値を生成してよく、ここで、グローバルフレームは、マップ全体またはマップの大部分を含む。
車線マーカー検出モデルアーキテクチャ
従来のセグメント化ベースの車線検出技法とは異なり、本明細書で説明する態様は、画像入力データの中の車線マーカー位置を直接認識する。より詳細には、hが(たとえば、ピクセル単位での)画像データの高さであり、wが(たとえば、ピクセル単位での)画像データの幅であり、cが画像の中のチャネルの数であって、入力画像X∈Rh×w×cが与えられると、目標は車線マーカーli(i=1,...,Nlane)の頂点のセット{vlij}={(xij,yij)}(j=1,...,K)を見つけることであり、ただし、Nlaneは、一般に事前定義される、画像の中の車線の数であり、Kは頂点の総数である。
本明細書で説明する方法は、画像の中の車線マーカーの水平ロケーションのセットを見つけることによって、上述の目標の複雑度を低減する。詳細には、画像を列に分割すること、および畳み込みニューラルネットワークを使用して、列ごとの位置分類問題、または選択される損失関数に応じて回帰問題として、車線マーカー検出タスクを解決することによって、車線マーカーに対する列ごとの描写が決定される。列ごとの描写を用いると、頂点Kの可能な総数が画像高さhに限定されることに留意されたい。いくつかの態様では、ネットワークは、以下でより詳細に説明するように、車線のロケーションを識別するために列ごとの回帰を実行し得る。
本明細書で説明する車線マーカー検出モデル(たとえば、畳み込みニューラルネットワークモデル)は、3つの予測、すなわち、(1)車線頂点の水平ロケーションxij、(2)頂点ごとの存在信頼性vcij、および(3)車線マーカーごとの存在信頼性lciを出力する。これらのモデル出力から、以下の式、すなわち、
Figure 2023517055000002
によって各車線マーカーliが取得され得、ただし、vlijは、車線マーカーに関連する頂点のセット{(xij,yij)}であり、TvcおよびTlcは、それぞれ、頂点ごとの存在信頼性および車線ごとの存在信頼性のしきい値である。
図3は、図2の中の知覚エンジン214によって実装され得るような例示的な車線マーカー検出モデルアーキテクチャの態様を示す。車線マーカー検出モデルは、入力画像データ(たとえば、画像301)の中の車線マーカーのロケーションを予測するようにトレーニングされた深層ニューラルネットワークとして構成されてよく、入力画像データは、次いで、車線描写(たとえば、出力画像321の中の322)を予測するために使用され得る。
以下の説明では、車線描写は、概して、道路上の運転している車線の境界を指してよい。たとえば、車両がその中で運転している現在の車線すなわち自己車線は、左側および右側において車線を画定する2つの描写境界を含んでよい。同様に、現在の車線の左側の車線は、場合によっては共有境界描写を含むことがある、それ自体の2つの描写境界を含んでよい。たとえば、現在の車線の左の境界描写は、現在の車線の左側の車線の右の境界描写を表してよい。
この例では、モデルアーキテクチャ300は、3つのモデル内ステージ302A～Cからなる。第1のステージ302Aは、画像の中の車線マーカーの情報を符号化するように構成された、エンコーダデコーダ型のセグメント化ネットワーク304を含む。従来の画像セグメント化とは異なり、この例では、エンコーダデコーダ型のセグメント化ネットワーク304は、計算量を有益に低減するために、入力画像301の半分の空間解像度を復元するように構成される。言い換えれば、この例では、入力画像301は、高さ128×幅512×3チャネル(たとえば、赤色、緑色、青色)という入力解像度を含み、エンコーダデコーダ型のセグメント化ネットワーク304の出力は、高さ128×幅256×3チャネルである。特に、これらの解像度および図3に示す他の解像度は例にすぎず、他の解像度が可能である。さらに、他の態様は、他の種類のニューラルネットワークブロックを含む他の画像データ圧縮技法に有利なようにエンコーダデコーダネットワークを省略してよい。
第2のステージ302Bは、潜在的な車線マーカー描写のすべてによって共有される層を含み、共有縮小層と呼ばれることがあり、共有縮小層は、この例では3つの層306、308、および310を含む。第2のステージ302Bでは、共有車線マーカー描写の水平(h)寸法は、垂直寸法を変更することなく水平縮小モジュール(HRM:horizontal reduction module)を使用して、連続する各層の中で次第に圧縮される(または、「圧搾される」)。例示的なHRMが図4に関して説明される。空間的な幅成分をHRMが連続的に圧搾するので、この形態の圧縮動作は自然に列ごとの描写に至り、その結果、たとえば、各車線の最終の特徴において各列(幅)の中に1つの車線頂点しか存在しない。
第3のステージ302Cは、この例では層314、316、318、および320を含む、車線固有の縮小層を含む。第3のステージ302Cでは、車線固有の縮小層は、316などの単一ベクトル車線マーカー描写を生成するために、車線固有のHRMを使用して車線マーカー描写をさらに圧縮する。
特に、ステージ302Bにおける共有描写およびステージ302Cにおける車線固有の描写は、モデル全体の性能を調整することを可能にする。計算効率のために、縮小層の第1のサブセットは、ステージ302Bにおいて車線にわたって共有され、ステージ302Cにおいて車線ごとの縮小層の第2のサブセットが後続する。各車線マーカー描写が、先天的な異なる空間特性および形状特性を有するので、ステージ302Cにおいて車線マーカー描写ごとに専用の縮小層を使用することはモデル全体の性能を改善する。より多くの共有層を伴うと、追加の計算コストが節約され得るが、各車線の確度が劣化する場合がある。したがって、性能は適用例に対して調整され得る。
ステージ302Cは、車線固有の描写li(そのうちの6個が一例として図3の中に表される)ごとに2つの分岐、すなわち、最終の圧縮された層316に対して分類および信頼性回帰を実行するように構成される、列ごとの頂点ロケーション分岐320および頂点ごとの信頼性分岐318を含む。この態様では、最終の(かつ完全に)圧縮された層316は、垂直次元のみにおいて空間解像度を、かつターゲット水平解像度h'(たとえば、h'=h/2)に従っていくつかのチャネルを有する。分類分岐320は、予測された頂点を(xij,yij)、yij∈h'として設定できる、車線マーカーliの水平位置xijを予測する。信頼性分岐318は、車線マーカーの各頂点vlijが存在するか否かに関係する頂点信頼性vcijを予測する。
最後に、車線マーカー存在信頼性層312が、共有されたHRMの後の信頼性lciを生み出す。車線マーカー存在は、画像データの中でセマンティック車線マーカー(たとえば、現在の車線の左マーカー、現在の車線の右マーカー、1つ左の車線の左マーカー、1つ左の車線の右マーカー、1つ右の車線の左マーカー、1つ右の車線の右マーカーなど)が検出されるかどうかに関係する。
図4は、図3において説明したように層を圧縮する(または、「圧搾する」)ために使用され得る例示的な水平縮小モジュール400を示す。
水平車線マーカー描写を効果的に圧縮するために、水平縮小モジュール400の中で残差層が利用される。詳細には、1×1畳み込みを伴う水平平均プーリング層が、ダウンサンプル水平成分へのスキップ接続402に追加される。プール動作は、(分類を改善するために)より深い層により多くの空間コンテキストを集めさせ、計算量を低減するが、やはりピクセル精度を下げるという欠点を有する。したがって、C×H×Wの要素の水平描写を効果的に保持および拡張するために、入力テンソル(X)は、残差分岐404において形状rC×H×W/rのテンソルに再配置される。この動作は、水平ピクセル非シャッフル層と呼ばれることがある。入力テンソルの描写を再配置することによって、空間情報が効率的にチャネル次元に移動され得る。
入力テンソルを再配置した後、増大したチャネル次元数rCを元のチャネル次元数Cに戻して低減するために、ブロック406における畳み込み動作が適用されてよく、そのことは、計算負担を小さくするだけでなく、ピクセル非シャッフル層からの車線マーカー空間情報を効果的に圧縮する助けにもなる。
残差分岐404の出力は、次いで、410においてスキップ接続402と合成され、ここで、合成された結果が、次いで、この例ではReLU(412)などの、活性化関数に提供される。
車線マーカー間の区別をさらに改善するために、圧搾および励起(SE:Squeeze and Excitation)ブロック408によって注意機構(attention mechanism)が追加されてよい。SEブロックは、全体的な受容野の中に情報を集約することによって決定プロセスの中にグローバル情報を含める助けとなり、ピクセル非シャッフル層によって符号化された空間情報を有する、チャネルごとの特徴応答を再較正する。
したがって、水平縮小モジュール400は、圧縮された水平描写出力
Figure 2023517055000003
を生成するために、空間車線マーカー情報を有益に圧縮する。
車線マーカー検出モデルのための例示的なトレーニング方法
一例では、トレーニング目標は、
L=Lvl+λ1Lvc+λ2Llc
によって与えられる全損失Lを最適化することであり、ただし、Lvl、Lvc、およびLlcは、それぞれ、車線マーカー頂点ロケーション、車線マーカー頂点信頼性、および車線マーカーごとの信頼性に対する損失であり、λ1およびλ2は、トレーニングの微調整を可能にする、最後の2つの損失に対する重みである。
車線マーカー頂点ロケーション損失(Lvl)に関して、車線マーカー検出が車線マーカーの水平位置上での列ごとの分類として公式化されるので、いくつかの例を挙げれば、クロスエントロピー損失、カルバック-ライブラー(KL)ダイバージェンス損失、および区分的線形確率(PL)損失を含む、分類のための任意の損失関数が、車線マーカー頂点分岐をトレーニングするために使用され得る。
垂直位置yijにおける車線マーカーliに対するクロスエントロピー損失
Figure 2023517055000004
が、グラウンドトゥルースロケーション(ground truth location)
Figure 2023517055000005
、およびW=2チャネルを有する予測ロジット(predicted logit)fijを使用して計算され得る。
KLダイバージェンス損失
Figure 2023517055000006
を使用して車線マーカー頂点ロケーション分岐をトレーニングするために、車線マーカー位置の、ピークが鋭いターゲット分布が、
Figure 2023517055000007
およびb=1を伴うラプラス分布Laplacegt(μ,b)として作成され得、次いで、
Figure 2023517055000008
および
Figure 2023517055000009
を伴う推定された分布Laplacepred(μ,b)と比較され得る。
PL損失の場合には、車線マーカー位置確率は区分的線形確率分布としてモデル化されてよい。入力画像に対して、全部の車線マーカー頂点ロケーション損失が、
Figure 2023517055000010
によって与えられ、ただし、eijは、yijにおいて頂点を有する車線マーカーliがある場合には1を、そうでない場合には0を設定することによって、グラウンドトゥルースが存在するか否かを示す。
車線マーカー頂点信頼性損失に対して、車線マーカー頂点存在はバイナリ分類問題であり、したがって、車線マーカーliの各yijロケーションにおける単一スカラー値予測とグラウンドトゥルース存在eijとの間のバイナリクロスエントロピー損失
Figure 2023517055000011
を使用してトレーニングされる。全体的な画像に対する損失が、次いで、
Figure 2023517055000012
として計算される。
車線マーカーラベル損失に対して、車線マーカーレベル存在予測をトレーニングするために、バイナリクロスエントロピー損失
Figure 2023517055000013
が追加されてよい。その損失は、予測されたNlane次元のベクトル、およびグラウンドトゥルースにおける各車線liの存在を使用して計算される。全損失が、次いで、
Figure 2023517055000014
として計算される。
車線マーカー検出モデルを用いた推論
推論時間において、推定される頂点位置は、(たとえば、上記で説明した損失関数からのような)選択された損失関数に基づいて予測され得る。詳細には、クロスエントロピー損失またはPL損失が使用される場合、車線マーカー頂点はargmax関数を使用することによって選択されてよい。代わりにKLダイバージェンス損失が使用される場合、推定される頂点は、softargmaxを使用することによって抽出されてよい。各車線マーカー頂点の存在を考慮するために、頂点のシグモイド出力および車線ごとの存在分岐が、上の式1に従って低い信頼性位置を拒絶するために使用され得る。
車線マーカーを検出するための例示的な方法
図5は、車線マーカーを検出するための例示的な方法500を示す。
方法500は、入力画像を受信することを伴うステップ502において開始する。いくつかの例では、入力画像は、たとえば、図3に関して説明したような、h個の垂直ピクセル、w個の水平ピクセル、およびc個のチャネルを備える。入力画像は、一般に、静止画像、ビデオストリームの中の画像のストリームの画像またはフレームなどであってよい。
方法500は、次いで、図3に関して上記で説明したモデルのような、入力画像を車線マーカー検出モデルに提供することを伴うステップ504に進む。
方法500は、次いで、図3の中の302Bに関して上記で説明したような、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することを伴うステップ506に進む。場合によっては、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することは、車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて入力画像を処理することを備える。
方法500は、次いで、図3の中の302Cに関して上記で説明したような、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することを伴うステップ508に進む。いくつかの態様では、各車線マーカー固有描写層は、複数の車線マーカー描写のうちの1つの車線マーカー描写に関連し、各車線マーカー描写は、複数の車線マーカー固有描写層のサブセットに関連し得る。
方法500は、次いで、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することを伴うステップ510に進む。
方法500のいくつかの態様では、複数の車線マーカー(たとえば、li)を出力することは、複数の車線マーカーのうちの各車線マーカーに対して、車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーション(たとえば、xij)を予測することと、車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性(たとえば、vcij)を予測することと、車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性(たとえば、lci)を予測することとを備える。
方法500のいくつかの態様では、複数の車線マーカーを出力することは、以下の式、すなわち、
Figure 2023517055000015
を使用して各車線マーカーliを予測することをさらに備え、ただし、vlijは、各車線マーカーliに関連する頂点のセット{(xij,yij)}である。
いくつかの態様では、方法500は、エンコーダデコーダセグメント化ネットワークを使用して入力画像を圧縮することをさらに備える。
方法500のいくつかの態様では、各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層は、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える。
いくつかの態様では、方法500は、図3および図4に関して上記で説明したような、車線マーカー検出モデルの共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用することをさらに備える。
いくつかの態様では、方法500は、図3および図4に関して上記で説明したような、車線マーカー検出モデルの複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用することをさらに備える。
いくつかの態様では、方法500は、図3(たとえば、322)に示すような、出力画像の上に複数の車線描写を表示することをさらに備える。
方法500が例示的な1つの方法であり他の方法が可能であることに留意されたい。具体的には、他の例は、本明細書で説明する様々な態様と一致する、方法500と比較してもっと少数の、追加の、および/または代替のステップを含んでよい。
例示的な処理システム
図6は、たとえば、図5の方法500に関して本明細書で説明するように、車線マーカーを検出するように構成され得る例示的な処理システム600を示す。
処理システム600は、いくつかの例ではマルチコアCPUであってよい、中央処理ユニット(CPU)602を含む。CPU602において実行される命令は、たとえば、CPU602に関連するプログラムメモリからロードされてよく、またはメモリパーティション624からロードされてもよい。
処理システム600はまた、グラフィックス処理ユニット(GPU)604、デジタル信号プロセッサ(DSP)606、ニューラル処理ユニット(NPU)608、マルチメディア処理ユニット610、およびワイヤレス接続性構成要素612などの、特定の機能に編整された追加の処理構成要素を含む。いくつかの例では、CPU602、GPU604、DSP606、およびNPU608のうちの1つまたは複数は、図2のプロセッサ220として働いてよい。
608などのNPUは、一般に、人工ニューラルネットワーク(ANN)、深層ニューラルネットワーク(DNN)、ランダムフォレスト(RF)などを処理するためのアルゴリズムなどの機械学習アルゴリズムを実行するためのすべての必要な制御および演算論理を実施するように構成された特殊回路である。NPUは、代替として、ニューラル信号プロセッサ(NSP)、テンソル処理ユニット(TPU)、ニューラルネットワークプロセッサ(NNP)、インテリジェンス処理ユニット(IPU)、ビジョン処理ユニット(VPU)、またはグラフ処理ユニットと呼ばれることもある。
608などのNPUは、画像分類、機械翻訳、物体検出、および様々な他の予測モデルなどの、一般的な機械学習タスクの実行を加速するように構成される。いくつかの例では、複数のNPUは、システムオンチップ(SoC)などの単一のチップ上でインスタンス化されてよく、他の例では、専用ニューラルネットワークアクセラレータの一部であってよい。
NPUは、トレーニングもしくは推論のために最適化されてよく、または場合によっては、その両方の間で性能のバランスを取るように構成されてよい。トレーニングと推論の両方を実行することが可能なNPUの場合、やはり2つのタスクが概して独立して実行され得る。
トレーニングを加速するように設計されたNPUは、一般に、新たなモデルの最適化を加速するように構成され、そうした最適化は、(しばしば、ラベル付けまたはタグ付けされた)既存のデータセットを入力することと、データセットを反復することと、次いで、モデル性能を向上させるために重みおよびバイアスなどのモデルパラメータを調整することとを伴う、極めて計算集約的な動作である。一般に、誤った予測に基づく最適化は、モデルの層を通じて後方に伝搬すること、および予測誤差を小さくするための勾配を決定することを伴う。いくつかの実施形態では、NPU608は、図3のモデルアーキテクチャ300の様々な態様をトレーニングするように構成され得る。
推論を加速するように設計されたNPUは、一般に、完全なモデル上で動作するように構成される。したがって、そのようなNPUは、新たなデータを入力し、モデル出力(たとえば、推論)を生成するようにすでにトレーニングされたモデルを通じてデータを高速に処理するように、構成され得る。いくつかの実施形態では、NPU608は、図3のモデルアーキテクチャ300の様々な態様を処理するように構成され得る。
一実装形態では、NPU608は、CPU602、GPU604、および/またはDSP606のうちの1つまたは複数の一部である。
いくつかの例では、ワイヤレス接続性構成要素612は、たとえば、第3世代(3G)接続性、第4世代(4G)接続性(たとえば、4G LTE)、第5世代接続性(たとえば、5GまたはNR)、Wi-Fi接続性、Bluetooth接続性、および他のワイヤレスデータ伝送規格のための、下位構成要素を含んでよい。ワイヤレス接続性処理構成要素612は、1つまたは複数のアンテナ614にさらに接続される。
処理システム600はまた、センサーの任意の方式に関連する1つもしくは複数のセンサー処理ユニット616、イメージセンサーの任意の方式に関連する1つもしくは複数の画像信号プロセッサ(ISP)618、および/または衛星ベースの測位システム構成要素(たとえば、GPSまたはGLONASS)を含むことがあるナビゲーションプロセッサ620、ならびに慣性測位システム構成要素を含んでよい。いくつかの例では、センサー616は図2のカメラ202およびIMU206を含んでよい。いくつかの例では、ナビゲーションプロセッサ620は図2のGPS204を含んでよい。
処理システム600はまた、スクリーン、タッチ敏感表面(タッチ敏感ディスプレイを含む)、物理ボタン、スピーカー、マイクロフォンなどの、1つまたは複数の入力および/または出力デバイス622を含んでよい。
いくつかの例では、処理システム600のプロセッサのうちの1つまたは複数は、ARMまたはRISC-V命令セットに基づいてよい。
処理システム600はまた、ダイナミックランダムアクセスメモリ、フラッシュベースのスタティックメモリなどの、1つまたは複数のスタティックメモリおよび/またはダイナミックメモリを表すメモリ624を含む。この例では、メモリ624は、処理システム600の上述のプロセッサのうちの1つまたは複数によって実行され得るコンピュータ実行可能コンポーネントを含む。
この例では、メモリ624は、(たとえば、車線マーカー検出モデルによって処理されるべき入力データを受信するための)受信コンポーネント624A、(たとえば、本明細書で説明する車線マーカー検出モデルの様々な態様を処理するための)処理コンポーネント624B、(たとえば、水平縮小モジュールによるなどしてデータを圧縮するための)圧縮コンポーネント624C、(たとえば、本明細書で説明する車線マーカー検出モデルの様々な出力などの)予測(または出力)コンポーネント624D、(たとえば、車線マーカー検出モデルをトレーニングするための)トレーニングコンポーネント624E、推論コンポーネント624F、(たとえば、入力データを符号化するための)符号化コンポーネント624G、(たとえば、符号化データを復号するための)復号コンポーネント624H、(たとえば、車線マーカーおよび他の情報を表示するための)表示コンポーネント624I、および(たとえば、本明細書で説明するような車線マーカー検出モデルのためのパラメータを備える)モデルパラメータ624Jを含む。図示したコンポーネントおよび図示されない他のコンポーネントが、本明細書で説明する方法の様々な態様を実行するように構成され得る。
たとえば、受信コンポーネント624Aは、入力画像データなどの入力データを受信するように構成されてよい。
特に、他の実施形態では、処理システム600の態様は、処理システム600がサーバコンピュータなどである場合などには省略されてよい。たとえば、マルチメディア構成要素610、ワイヤレス接続性612、センサー616、ISP618、および/またはナビゲーション構成要素620は、他の実施形態では省略されてよい。さらに、処理システム600の態様は分散されてよい。
図6が一例にすぎず、他の例では、もっと少数の、追加の、および/または代替の構成要素を有する代替の処理システムが使用され得ることに、留意されたい。
例示的な条項
以下の番号付き条項の中で実装例が説明される。
条項1: 入力画像を受信することと、入力画像を車線マーカー検出モデルに提供することと、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することと、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することと、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを備える方法。
条項2: 条項1の方法であって、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することは、車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて入力画像を処理することを備える。
条項3: 条項1～2のうちのいずれか1つの方法であって、複数の車線マーカーを出力することは、複数の車線マーカーのうちの各車線マーカーに対して、車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測することと、車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測することと、車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測することとを備える。
条項4: 条項3の方法であって、複数の車線マーカーliを予測することは、
Figure 2023517055000016
に従って各車線マーカーliを予測することをさらに備え、vlijは、各車線マーカーliに関連する頂点のセット{(xij,yij)}であり、Tvcは、頂点ごとの存在信頼性しきい値であり、Tlcは、車線ごとの存在信頼性しきい値である。
条項5: 条項1～4のうちのいずれか1つの方法であって、エンコーダデコーダセグメント化ネットワークを使用して入力画像を圧縮することをさらに備える。
条項6: 条項1～5のうちのいずれか1つの方法であって、各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層は、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える。
条項7: 条項1～6のうちのいずれか1つの方法であって、車線マーカー検出モデルの共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用することをさらに備える。
条項8: 条項7の方法であって、車線マーカー検出モデルの複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用することをさらに備える。
条項9: 条項1～7のうちのいずれか1つの方法であって、出力画像の上に複数の車線描写を表示することをさらに備える。
条項10: L=Lvl+λ1Lvc+λ2Llcによって与えられる全損失Lを最小化することを備える、車線マーカー検出モデルをトレーニングする方法であって、Lvlは、車線マーカー頂点ロケーション損失成分であり、Lvcは、車線マーカー頂点信頼性損失成分であり、Llcは、車線マーカーごとの信頼性損失成分であり、λ1は、第1の損失調整パラメータであり、λ2は、第2の損失調整パラメータである。
条項11: コンピュータ実行可能命令を備えるメモリと、コンピュータ実行可能命令を実行し、条項1～10のうちのいずれか1つによる方法を処理システムに実行させるように構成された、1つまたは複数のプロセッサとを備える処理システム。
条項12: 条項1～10のうちのいずれか1つによる方法を実行するための手段を備える処理システム。
条項13: 処理システムの1つまたは複数のプロセッサによって実行されたとき、条項1～10のうちのいずれか1つによる方法を処理システムに実行させるコンピュータ実行可能命令を備える非一時的コンピュータ可読媒体。
条項14: 条項1～10のうちのいずれか1つによる方法を実行するためのコードを備えるコンピュータ可読記憶媒体上に具現されたコンピュータプログラム製品。
追加の考慮事項
先行する説明は、いかなる当業者も、本明細書で説明した様々な態様を実践することを可能にするように提供される。本明細書で説明した例は、特許請求の範囲に記載された範囲、適用可能性、または態様を限定するものではない。これらの態様の様々な修正は、当業者に容易に明らかになり、本明細書で定義される一般原理は、他の態様に適用され得る。たとえば、本開示の範囲から逸脱することなく、説明した要素の機能および構成において変更が加えられてよい。様々な例は、適宜に、様々な手順または構成要素を省略、置換、または追加してよい。たとえば、説明した方法は、説明した順序とは異なる順序で実行されてよく、様々なステップが追加されてよく、省略されてよく、または組み合わせられてよい。また、いくつかの例に関して説明した特徴が、いくつかの他の例において組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して、装置が実装されてよく、または方法が実践されてよい。加えて、本開示の範囲は、本明細書に記載する開示の様々な態様に加えて、またはそうした態様以外の、他の構造、機能性、または構造および機能性を使用して実践されるような装置または方法をカバーするものである。本明細書で開示する本開示のいずれの態様も、特許請求の範囲の1つまたは複数の要素によって具現され得ることを理解されたい。
本明細書で使用する「例示的」という語は、「例、事例、または例示として働くこと」を意味する。「例示的」として本明細書で説明したいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
本明細書で使用する項目の列挙「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-c、ならびに複数の同じ要素を有する任意の組合せ(たとえば、a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、およびc-c-c、またはa、b、およびcの任意の他の順序)をカバーするものとする。
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造の中でルックアップすること)、確認することなどを含んでよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含んでよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含んでよい。
本明細書で開示する方法は、本方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲の範囲から逸脱することなく修正されてよい。さらに、上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行されてよい。手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含んでよい。一般に、図に示される動作がある場合、それらの動作は、類似の番号付けを伴う対応する相対物のミーンズプラスファンクション構成要素を有してよい。
以下の請求項は、本明細書で示される態様に限定されるものではなく、請求項の文言と一致する全範囲を与えられるべきである。請求項内では、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、「1つまたは複数の」を意味するものとする。別段に明記されていない限り、「いくつかの」という用語は、1つまたは複数を指す。請求項のいかなる要素も、「のための手段」という句を使用して要素が明確に列挙されていない限り、または方法クレームの場合には、「のためのステップ」という句を使用して要素が列挙されていない限り、米国特許法第112条(f)の規定の下で解釈されるべきではない。当業者に知られているか、または後で知られることになる、本開示全体にわたって説明した様々な態様の要素のすべての構造的および機能的な均等物は、参照により本明細書に明確に組み込まれ、特許請求の範囲によって包含されるものとする。その上、本明細書に開示するものはいずれも、そのような開示が特許請求の範囲において明示的に列挙されているかどうかにかかわらず、公に供されるものではない。
102 車線マーカー
104 道路
200 高度ドライバ支援システムまたは自動運転システム
202 カメラ
204 全地球測位システム(GPS)、GPS受信機
206 慣性測定ユニット(IMU)
208 センサー同期基板
210 センサードライバモジュール
212 測位エンジン
214 知覚エンジン
216 データ集約および接続性モジュール
218 マッピングアルゴリズム
220 プロセッサ
301 入力画像
302 ステージ
304 エンコーダデコーダ型のセグメント化ネットワーク
312 車線マーカー存在信頼性層
316 最終の圧縮された層
318 頂点ごとの信頼性分岐
320 列ごとの頂点ロケーション分岐、分類分岐
321 出力画像
322 車線描写
400 水平縮小モジュール
402 スキップ接続
404 残差分岐
408 圧搾および励起(SE)ブロック
412 ReLU
600 処理システム
602 中央処理ユニット(CPU)
604 グラフィックス処理ユニット(GPU)
606 デジタル信号プロセッサ(DSP)
608 ニューラル処理ユニット(NPU)
610 マルチメディア処理ユニット、マルチメディア構成要素
612 ワイヤレス接続性構成要素、ワイヤレス接続性処理構成要素
614 アンテナ
616 センサー処理ユニット、センサー
618 画像信号プロセッサ(ISP)
620 ナビゲーションプロセッサ、ナビゲーション構成要素
622 入力および/または出力デバイス
624 メモリパーティション、メモリ
624A 受信コンポーネント
624B 処理コンポーネント
624C 圧縮コンポーネント
624D 予測コンポーネント
624E トレーニングコンポーネント
624F 推論コンポーネント
624G 符号化コンポーネント
624H 復号コンポーネント
624I 表示コンポーネント
624J モデルパラメータ

Claims (28)

  1. 入力画像を受信するステップと、
    前記入力画像を車線マーカー検出モデルに提供するステップと、
    前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理するステップと、
    複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理するステップと、
    前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力するステップと
    を備える方法。
  2. 前記車線マーカー検出モデルの前記共有車線マーカー部分を用いて前記入力画像を処理するステップが、前記車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて前記入力画像を処理するステップを備える、請求項1に記載の方法。
  3. 前記複数の車線マーカーを出力するステップが、前記複数の車線マーカーのうちの各車線マーカーに対して、
    前記車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測するステップと、
    前記車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測するステップと、
    前記車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測するステップとを備える、
    請求項1に記載の方法。
  4. 前記複数の車線マーカーを出力するステップが、
    Figure 2023517055000017
     に従って各車線マーカーliを予測するステップをさらに備え、vlijが、各車線マーカーliに関連する頂点のセット{(xij,yij)}であり、Tvcが、頂点ごとの存在信頼性しきい値であり、Tlcが、車線ごとの存在信頼性しきい値である、請求項3に記載の方法。
  5. エンコーダデコーダセグメント化ネットワークを使用して前記入力画像を圧縮するステップをさらに備える、請求項1に記載の方法。
  6. 各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層が、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える、請求項1に記載の方法。
  7. 前記車線マーカー検出モデルの前記共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用するステップをさらに備える、請求項1に記載の方法。
  8. 前記車線マーカー検出モデルの前記複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用するステップをさらに備える、請求項7に記載の方法。
  9. 出力画像の上に複数の車線描写を表示するステップをさらに備える、請求項1に記載の方法。
  10. 処理システムであって、
    コンピュータ実行可能命令を備えるメモリと、
    前記コンピュータ実行可能命令を実行し、前記処理システムに、
    入力画像を受信することと、
    前記入力画像を車線マーカー検出モデルに提供することと、
    前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理することと、
    複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理することと、
    前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとをさせるように構成された、
    1つまたは複数のプロセッサと
    を備える処理システム。
  11. 前記車線マーカー検出モデルの前記共有車線マーカー部分を用いて前記入力画像を処理するために、前記1つまたは複数のプロセッサが、前記処理システムに、前記車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて前記入力画像を処理させるようにさらに構成される、請求項10に記載の処理システム。
  12. 前記複数の車線マーカーを出力するために、前記1つまたは複数のプロセッサが、前記処理システムに、前記複数の車線マーカーのうちの各車線マーカーに対して、
    前記車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測することと、
    前記車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測することと、
    前記車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測することとをさせるようにさらに構成される、
    請求項10に記載の処理システム。
  13. 前記複数の車線マーカーを出力することが、
    Figure 2023517055000018
     に従って各車線マーカーliを予測することをさらに備え、vlijが、各車線マーカーliに関連する頂点のセット{(xij,yij)}であり、Tvcが、頂点ごとの存在信頼性しきい値であり、Tlcが、車線ごとの存在信頼性しきい値である、請求項12に記載の処理システム。
  14. 前記1つまたは複数のプロセッサが、前記処理システムに、エンコーダデコーダセグメント化ネットワークを使用して前記入力画像を圧縮させるようにさらに構成される、請求項10に記載の処理システム。
  15. 各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層が、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える、請求項10に記載の処理システム。
  16. 前記1つまたは複数のプロセッサが、前記処理システムに、前記車線マーカー検出モデルの前記共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用させるようにさらに構成される、請求項10に記載の処理システム。
  17. 前記1つまたは複数のプロセッサが、前記処理システムに、前記車線マーカー検出モデルの前記複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用させるようにさらに構成される、請求項16に記載の処理システム。
  18. 前記1つまたは複数のプロセッサが、前記処理システムに、出力画像の上に複数の車線描写を表示させるようにさらに構成される、請求項10に記載の処理システム。
  19. 処理システムの1つまたは複数のプロセッサによって実行されたとき、前記処理システムに方法を実行させる命令を備える非一時的コンピュータ可読媒体であって、前記方法が、
    入力画像を受信することと、
    前記入力画像を車線マーカー検出モデルに提供することと、
    前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理することと、
    複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理することと、
    前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを備える、
    非一時的コンピュータ可読媒体。
  20. 前記車線マーカー検出モデルの前記共有車線マーカー部分を用いて前記入力画像を処理することが、前記車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて前記入力画像を処理することを備える、請求項19に記載の非一時的コンピュータ可読媒体。
  21. 前記複数の車線マーカーを出力することが、前記複数の車線マーカーのうちの各車線マーカーに対して、
    前記車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測することと、
    前記車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測することと、
    前記車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測することとを備える、
    請求項19に記載の非一時的コンピュータ可読媒体。
  22. 前記複数の車線マーカーを出力することが、
    Figure 2023517055000019
     に従って各車線マーカーliを予測することをさらに備え、vlijが、各車線マーカーliに関連する頂点のセット{(xij,yij)}であり、Tvcが、頂点ごとの存在信頼性しきい値であり、Tlcが、車線ごとの存在信頼性しきい値である、請求項21に記載の非一時的コンピュータ可読媒体。
  23. 前記方法が、エンコーダデコーダセグメント化ネットワークを使用して前記入力画像を圧縮することをさらに備える、請求項19に記載の非一時的コンピュータ可読媒体。
  24. 各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層が、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える、請求項19に記載の非一時的コンピュータ可読媒体。
  25. 前記方法が、前記車線マーカー検出モデルの前記共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用することをさらに備える、請求項19に記載の非一時的コンピュータ可読媒体。
  26. 前記方法が、前記車線マーカー検出モデルの前記複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用することをさらに備える、請求項25に記載の非一時的コンピュータ可読媒体。
  27. 前記方法が、出力画像の上に複数の車線描写を表示することをさらに備える、請求項19に記載の非一時的コンピュータ可読媒体。
  28. 入力画像を受信するための手段と、
    前記入力画像を車線マーカー検出モデルに提供するための手段と、
    前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理するための手段と、
    複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理するための手段と、
    前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力するための手段と
    を備える処理システム。
JP2022553656A 2020-03-12 2021-03-12 車線マーカー検出 Pending JP2023517055A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062988795P 2020-03-12 2020-03-12
US62/988,795 2020-03-12
PCT/US2021/022245 WO2021183974A1 (en) 2020-03-12 2021-03-12 Lane marker detection
US17/200,592 2021-03-12
US17/200,592 US11600080B2 (en) 2020-03-12 2021-03-12 Lane marker detection

Publications (2)

Publication Number Publication Date
JP2023517055A true JP2023517055A (ja) 2023-04-21
JPWO2021183974A5 JPWO2021183974A5 (ja) 2024-03-06

Family

ID=77665531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553656A Pending JP2023517055A (ja) 2020-03-12 2021-03-12 車線マーカー検出

Country Status (7)

Country Link
US (1) US11600080B2 (ja)
EP (1) EP4118568A1 (ja)
JP (1) JP2023517055A (ja)
KR (1) KR20220150899A (ja)
CN (1) CN115210777A (ja)
BR (1) BR112022017554A2 (ja)
WO (1) WO2021183974A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11600017B2 (en) * 2020-04-29 2023-03-07 Naver Corporation Adversarial scene adaptation for camera pose regression
US20210110170A1 (en) * 2020-12-22 2021-04-15 Florian Geissler Validation and training service for dynamic environment perception based on local high confidence information
US20230298360A1 (en) * 2022-03-18 2023-09-21 Qualcomm Incorporated Lane marker recognition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034877A1 (en) * 2004-12-07 2009-02-05 Koninklijke Philips Electronics N.V. Method and device for modifying the size of an image
KR101744761B1 (ko) * 2012-11-30 2017-06-09 한화테크윈 주식회사 영상처리장치 및 방법
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
US10853671B2 (en) * 2019-03-06 2020-12-01 Dura Operating, Llc Convolutional neural network system for object detection and lane detection in a motor vehicle

Also Published As

Publication number Publication date
WO2021183974A1 (en) 2021-09-16
CN115210777A (zh) 2022-10-18
US11600080B2 (en) 2023-03-07
KR20220150899A (ko) 2022-11-11
EP4118568A1 (en) 2023-01-18
US20210287018A1 (en) 2021-09-16
BR112022017554A2 (pt) 2022-10-18

Similar Documents

Publication Publication Date Title
KR102529574B1 (ko) 소프트 교차-엔트로피 손실을 갖는 시맨틱 분할
US10769744B2 (en) Computer vision system and method
JP2023517055A (ja) 車線マーカー検出
US11315253B2 (en) Computer vision system and method
CN110490205B (zh) 基于全残差空洞卷积神经网络的道路场景语义分割方法
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
US11113561B2 (en) Method, artificial neural network, device, computer program and machine-readable memory medium for the semantic segmentation of image data
CN114742996A (zh) 图像语义分割方法、装置、电子设备及存储介质
CN117314968A (zh) 运动信息估计方法、装置、设备、存储介质和程序产品
CN115565148B (zh) 道路图像的检测方法、装置、存储介质和电子装置
US20230154005A1 (en) Panoptic segmentation with panoptic, instance, and semantic relations
US20230090941A1 (en) Processing video content using gated transformer neural networks
CN116724315A (zh) 确定神经网络的编码器架构的方法
US20220180646A1 (en) Lane detection system and method for a vehicle
Naik et al. Image segmentation using encoder-decoder architecture and region consistency activation
CN117036895B (zh) 基于相机与激光雷达点云融合的多任务环境感知方法
US20230298360A1 (en) Lane marker recognition
US20230298142A1 (en) Image deblurring via self-supervised machine learning
US20230377202A1 (en) Image compression apparatus, image compression method, computer program, image compression system, and image processing system
CN114596580B (zh) 一种多人体目标识别方法、系统、设备及介质
KR20240047701A (ko) 실시간 단일 이미지 깊이 추정 네트워크 시스템
CN117011779A (zh) 确定人群数量的方法和相关装置
WO2023091925A1 (en) Panoptic segmentation with panoptic, instance, and semantic relations
CN114612516A (zh) 目标追踪方法以及目标追踪装置
CN117292345A (zh) 目标对象的检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240227