JP7635252B2

JP7635252B2 - 車線マーカー検出

Info

Publication number: JP7635252B2
Application number: JP2022553656A
Authority: JP
Inventors: スンウ・ヨー; ヒス・ミョン; ヒ－ソク・イ
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2020-03-12
Filing date: 2021-03-12
Publication date: 2025-02-25
Anticipated expiration: 2041-03-12
Also published as: EP4118568A1; US20210287018A1; WO2021183974A1; EP4118568B1; JP2023517055A; BR112022017554A2; KR20220150899A; PH12022551872A1; US11600080B2; CN115210777A; EP4118568C0

Description

関連出願の相互参照
本出願は、2020年3月12日に出願された仮特許出願第62/988,795号の利益および優先権を主張する、2021年3月12日に出願された米国特許出願第17/200,592号の優先権を主張し、それらの各々の内容全体が参照により本明細書に組み込まれる。

本開示の態様は、高速かつロバストな車線検出のためのシステムおよび方法に関する。

現代の車両は、ますます高度ドライバ支援システムが装備され、高度ドライバ支援システムは、特に、支援型自律運転機能のための車線検出を含むことがある。車線検出のための既存の技法は動きが鈍く、著しい手作業の構成を必要とし、多くの運転シナリオにわたるロバストネスが欠如している。したがって、車線検出のための既存のシステムは、現代の車両に適していない。

したがって、必要とされるものは高速かつロバストな車線検出を提供するシステムおよび方法である。

いくつかの態様は、入力画像を受信することと、入力画像を車線マーカー検出モデルに提供することと、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することと、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することと、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを含む、車線マーカー検出のための方法を提供する。

他の態様は、上述の方法および本明細書で説明する方法を実行するように構成された処理システム、処理システムの1つまたは複数のプロセッサによって実行されたとき、上述の方法および本明細書で説明する方法を処理システムに実行させる命令を備える非一時的コンピュータ可読媒体、上述の方法および本明細書でさらに説明する方法を実行するためのコードを備えるコンピュータ可読記憶媒体上に具現されたコンピュータプログラム製品、ならびに上述の方法および本明細書でさらに説明する方法を実行するための手段を備える処理システムを提供する。

添付の図は、1つまたは複数の態様のうちのいくつかの態様を示し、したがって、本開示の範囲の限定と見なされるべきでない。

道路上の車線マーカーの一例を示す図である。例示的な高度ドライバ支援システムまたは自動運転システムの態様を示す図である。例示的な車線マーカー検出モデルアーキテクチャの態様を示す図である。車線マーカー検出モデルの中で層を圧縮する(または、「圧搾する」)ために使用され得る例示的な水平縮小モジュールを示す図である。車線マーカーを検出するための例示的な方法を示す図である。本明細書で説明するような、車線マーカーを検出するように構成され得る例示的な処理システムを示す図である。

理解を容易にするために、可能な場合、図面に共通の同一の要素を指定するために同一の参照番号が使用されている。1つの態様の要素および特徴がさらなる記載なく他の態様の中に有益に組み込まれ得ることが企図される。

本明細書で開示するシステムおよび方法は、様々な適用例において高速かつロバストな車線検出を可能にする。たとえば、本明細書で開示するシステムおよび方法は、支援型自律運転機能を有する車両において、車線マーカーの正確かつロバストな位置特定をリアルタイムで可能にし得る。

一般に、車線マーカーは、道路上のどこに車線が存在するのかなどの情報を伝達する、路面上のデバイスまたは材料である。車線マーカーの例は、いくつかの例を挙げれば、ペイントされた交通ライン、ペイントされた横断歩道、ペイントされた駐車スペース、身障者駐車スペース、反射型マーカー、縁石、側溝、ボッツのドット(Botts' dot)、および減速舗装を含む。

自律車両ナビゲーションでは車線マーカーが使用され得る。たとえば、車両は、高度ドライバ支援システム(ADAS:advanced driver assistance system)または高レベルの自動運転システム(SDS:self-driving system)を含んでよい。そのようなシステムは、大部分はコンピュータビジョン技術における併発の改善に基づいて広く採用されつつある。

車線マーカー検出、車両検出追跡、障害検出、シーン理解、およびセマンティックセグメント化などの、ADASおよびSDSシステムに関係するいくつかの構成要素があるが、カメラ知覚および測位にとって車線検出は重要な構成要素である。たとえば、自己車線(ホスト車線と呼ばれることもある、車両がその中に位置する車線)内に車両を保つために、かつ自己車線の左または右に車線を変更する際に車両を支援するために、車線検出が必要である。

ほとんどの従来の車線マーカー検出方法は、2ステージセマンティックセグメント化手法に基づく。そのような手法の第1のステージでは、画像の中の各ピクセルをバイナリなラベル、すなわち、車線または非車線に割り当てる、ピクセルレベルの分類を実行するように、ネットワークが設計される。しかしながら、各ピクセル分類において、ピクセル間の依存関係または構造は考慮されず、したがって、検出されるラインの一意性または真直度などの制約を明示的に課するために、追加の後処理が第2のステージにおいて実行される。後処理は、たとえば、条件付き確率場、追加のネットワーク、または無作為標本合意(RANSAC:random sample consensus)のような精巧なコンピュータビジョン技法を使用して適用され得るが、これらの後処理技法は、多くの計算量を必要とし、一般に、車線マーカー検出システムの中への慎重な手作業の統合を必要とする。したがって、2ステージセマンティックセグメント化手法は、様々な適用例を展開するのに困難である。

現在の車線マーカー検出方法を伴う別の問題は電力消費である。画像のストリームの中の各画像を処理することは、自動車のコンテキストにおいて常に利用可能または実際的であるとは限らない大量の計算能力を必要とすることがある。特に、電気車両にとって、搭載システムの電力消費は重要な検討事項である。

対照的に、本明細書で説明する態様は、コストがかかるいかなる後処理ステップも伴わずに車線マーカー頂点を直接予測する、効率的なエンドツーエンドアーキテクチャに関する。より詳細には、本明細書で説明する態様では、車線マーカー検出問題は、画像の中で左から右に広がる車線マーカーの構造的形状が単一のモデルの中の層の2つのサブセットの中でモデル化される、列ごとの分類タスクと見なされる。モデル層の第1のサブセットは、すべての車線の共有される描写に対して水平成分を圧縮およびモデル化するように構成され、モデル層の第2のサブセットは、車線マーカー頂点を直接出力するために、共有される描写に基づいて各車線をモデル化するように構成される。いくつかの態様では、ターゲット車線マーカー位置は、実行時においてargmax関数によって効率的に取得される。

したがって、本明細書で説明する態様は、複雑な後処理を伴わずに車線検出のための従来の手法を有益に改善し、そのことは、使用しているときの計算能力、計算時間、および電力使用量を低減する。したがって、本明細書で説明する態様は、より多くの適用例およびコンテキストにおいて有益に展開され得る。

道路上の例示的な車線マーカー
図1は、道路104上の車線マーカー102の一例を示す。この例では、車線マーカー102は、道路104上のペイントされたストライプであるが、他の例では、車線マーカーは、車線の任意の種類の認識可能な分割であってよい。車線マーカー102は、車線マーカー検出システムによって検出されてよく、車両の中の高度ドライバ支援システムならびに半自律自動運転システムおよび自律自動運転システムのために車線を決定するために使用されてよい。

例示的な電子車線マーカー検出システム
図2は、例示的な高度ドライバ支援システムまたは自動運転システム200の態様を示す。システム200は、ローカルセンサー、およびマッピングアルゴリズム218によって提供されるようなエッジ処理能力とともに動作するように構成され得る。

この態様では、システム200は、1つまたは複数のカメラ202、全地球測位システム(GPS)204、慣性測定ユニット(IMU:inertial measurement unit)206、センサー同期基板208、および1つまたは複数のプロセッサ220を含む。この例では、プロセッサ220は、センサードライバモジュール210、測位エンジン212、知覚エンジン214、ならびにデータ集約および接続性モジュール216を含む。プロセッサ220は、一般に、ワイヤレスまたは有線のネットワークを介して1つまたは複数のデバイスと通信し得る。

いくつかの態様では、カメラ202、GPS受信機204、およびIMU206などの、フロントエンドセンサーは、消費者等級のセンサーであってよい。センサー同期基板208は、すべてのセンサーのタイムスタンプを制御する組込みマイクロコントローラを含んでよい。いくつかの態様では、センサー同期基板208は、タイミング誤差が10マイクロ秒よりも小さいタイムスタンプを生成し得る。

カメラ202、GPS204、およびIMU206の出力は、測位エンジン212と知覚エンジン214の両方の中に供給され得る。知覚エンジン214は、入ってくるビデオストリームの中の重要なランドマーク(たとえば、車線マーカー)を検出し、それらを画像フレームの中で正確に位置特定するように構成される。測位エンジン212は、GPS信号、慣性センサー読取り値、およびカメラビデオ入力を関係付けることによって、たとえば、6つの自由度で、カメラ姿勢の正確な推定値を提供するように構成される。

測位エンジン212および知覚エンジン214の出力は集約されてよく、データ集約および接続性モジュール216を介してクラウド処理システムなどのエッジ処理サービスへ送られてよい。いくつかの態様では、マッピングアルゴリズム218は、グローバルフレームの中のランドマークのロケーション推定値を生成してよく、ここで、グローバルフレームは、マップ全体またはマップの大部分を含む。

車線マーカー検出モデルアーキテクチャ
従来のセグメント化ベースの車線検出技法とは異なり、本明細書で説明する態様は、画像入力データの中の車線マーカー位置を直接認識する。より詳細には、hが(たとえば、ピクセル単位での)画像データの高さであり、wが(たとえば、ピクセル単位での)画像データの幅であり、cが画像の中のチャネルの数であって、入力画像X∈R^h×w×cが与えられると、目標は車線マーカーl_i(i=1,...,N_lane)の頂点のセット{vl_ij}={(x_ij,y_ij)}(j=1,...,K)を見つけることであり、ただし、N_laneは、一般に事前定義される、画像の中の車線の数であり、Kは頂点の総数である。

本明細書で説明する方法は、画像の中の車線マーカーの水平ロケーションのセットを見つけることによって、上述の目標の複雑度を低減する。詳細には、画像を列に分割すること、および畳み込みニューラルネットワークを使用して、列ごとの位置分類問題、または選択される損失関数に応じて回帰問題として、車線マーカー検出タスクを解決することによって、車線マーカーに対する列ごとの描写が決定される。列ごとの描写を用いると、頂点Kの可能な総数が画像高さhに限定されることに留意されたい。いくつかの態様では、ネットワークは、以下でより詳細に説明するように、車線のロケーションを識別するために列ごとの回帰を実行し得る。

本明細書で説明する車線マーカー検出モデル(たとえば、畳み込みニューラルネットワークモデル)は、3つの予測、すなわち、(1)車線頂点の水平ロケーションx_ij、(2)頂点ごとの存在信頼性vc_ij、および(3)車線マーカーごとの存在信頼性l_ciを出力する。これらのモデル出力から、以下の式、すなわち、

によって各車線マーカーl_iが取得され得、ただし、vl_ijは、車線マーカーに関連する頂点のセット{(x_ij,y_ij)}であり、T_vcおよびT_lcは、それぞれ、頂点ごとの存在信頼性および車線ごとの存在信頼性のしきい値である。

図3は、図2の中の知覚エンジン214によって実装され得るような例示的な車線マーカー検出モデルアーキテクチャの態様を示す。車線マーカー検出モデルは、入力画像データ(たとえば、画像301)の中の車線マーカーのロケーションを予測するようにトレーニングされた深層ニューラルネットワークとして構成されてよく、入力画像データは、次いで、車線描写(たとえば、出力画像321の中の322)を予測するために使用され得る。

以下の説明では、車線描写は、概して、道路上の運転している車線の境界を指してよい。たとえば、車両がその中で運転している現在の車線すなわち自己車線は、左側および右側において車線を画定する2つの描写境界を含んでよい。同様に、現在の車線の左側の車線は、場合によっては共有境界描写を含むことがある、それ自体の2つの描写境界を含んでよい。たとえば、現在の車線の左の境界描写は、現在の車線の左側の車線の右の境界描写を表してよい。

この例では、モデルアーキテクチャ300は、3つのモデル内ステージ302A～Cからなる。第1のステージ302Aは、画像の中の車線マーカーの情報を符号化するように構成された、エンコーダデコーダ型のセグメント化ネットワーク304を含む。従来の画像セグメント化とは異なり、この例では、エンコーダデコーダ型のセグメント化ネットワーク304は、計算量を有益に低減するために、入力画像301の半分の空間解像度を復元するように構成される。言い換えれば、この例では、入力画像301は、高さ128×幅512×3チャネル(たとえば、赤色、緑色、青色)という入力解像度を含み、エンコーダデコーダ型のセグメント化ネットワーク304の出力は、高さ128×幅256×3チャネルである。特に、これらの解像度および図3に示す他の解像度は例にすぎず、他の解像度が可能である。さらに、他の態様は、他の種類のニューラルネットワークブロックを含む他の画像データ圧縮技法に有利なようにエンコーダデコーダネットワークを省略してよい。

第2のステージ302Bは、潜在的な車線マーカー描写のすべてによって共有される層を含み、共有縮小層と呼ばれることがあり、共有縮小層は、この例では3つの層306、308、および310を含む。第2のステージ302Bでは、共有車線マーカー描写の水平(h)寸法は、垂直寸法を変更することなく水平縮小モジュール(HRM:horizontal reduction module)を使用して、連続する各層の中で次第に圧縮される(または、「圧搾される」)。例示的なHRMが図4に関して説明される。空間的な幅成分をHRMが連続的に圧搾するので、この形態の圧縮動作は自然に列ごとの描写に至り、その結果、たとえば、各車線の最終の特徴において各列(幅)の中に1つの車線頂点しか存在しない。

第3のステージ302Cは、この例では層314、316、318、および320を含む、車線固有の縮小層を含む。第3のステージ302Cでは、車線固有の縮小層は、316などの単一ベクトル車線マーカー描写を生成するために、車線固有のHRMを使用して車線マーカー描写をさらに圧縮する。

特に、ステージ302Bにおける共有描写およびステージ302Cにおける車線固有の描写は、モデル全体の性能を調整することを可能にする。計算効率のために、縮小層の第1のサブセットは、ステージ302Bにおいて車線にわたって共有され、ステージ302Cにおいて車線ごとの縮小層の第2のサブセットが後続する。各車線マーカー描写が、先天的な異なる空間特性および形状特性を有するので、ステージ302Cにおいて車線マーカー描写ごとに専用の縮小層を使用することはモデル全体の性能を改善する。より多くの共有層を伴うと、追加の計算コストが節約され得るが、各車線の確度が劣化する場合がある。したがって、性能は適用例に対して調整され得る。

ステージ302Cは、車線固有の描写l_i(そのうちの6個が一例として図3の中に表される)ごとに2つの分岐、すなわち、最終の圧縮された層316に対して分類および信頼性回帰を実行するように構成される、列ごとの頂点ロケーション分岐320および頂点ごとの信頼性分岐318を含む。この態様では、最終の(かつ完全に)圧縮された層316は、垂直次元のみにおいて空間解像度を、かつターゲット水平解像度h'(たとえば、h'=h/2)に従っていくつかのチャネルを有する。分類分岐320は、予測された頂点を(x_ij,y_ij)、y_ij∈h'として設定できる、車線マーカーl_iの水平位置x_ijを予測する。信頼性分岐318は、車線マーカーの各頂点vl_ijが存在するか否かに関係する頂点信頼性vc_ijを予測する。

最後に、車線マーカー存在信頼性層312が、共有されたHRMの後の信頼性l_ciを生み出す。車線マーカー存在は、画像データの中でセマンティック車線マーカー(たとえば、現在の車線の左マーカー、現在の車線の右マーカー、1つ左の車線の左マーカー、1つ左の車線の右マーカー、1つ右の車線の左マーカー、1つ右の車線の右マーカーなど)が検出されるかどうかに関係する。

図4は、図3において説明したように層を圧縮する(または、「圧搾する」)ために使用され得る例示的な水平縮小モジュール400を示す。

水平車線マーカー描写を効果的に圧縮するために、水平縮小モジュール400の中で残差層が利用される。詳細には、1×1畳み込みを伴う水平平均プーリング層が、ダウンサンプル水平成分へのスキップ接続402に追加される。プール動作は、(分類を改善するために)より深い層により多くの空間コンテキストを集めさせ、計算量を低減するが、やはりピクセル精度を下げるという欠点を有する。したがって、C×H×Wの要素の水平描写を効果的に保持および拡張するために、入力テンソル(X)は、残差分岐404において形状rC×H×W/rのテンソルに再配置される。この動作は、水平ピクセル非シャッフル層と呼ばれることがある。入力テンソルの描写を再配置することによって、空間情報が効率的にチャネル次元に移動され得る。

入力テンソルを再配置した後、増大したチャネル次元数rCを元のチャネル次元数Cに戻して低減するために、ブロック406における畳み込み動作が適用されてよく、そのことは、計算負担を小さくするだけでなく、ピクセル非シャッフル層からの車線マーカー空間情報を効果的に圧縮する助けにもなる。

残差分岐404の出力は、次いで、410においてスキップ接続402と合成され、ここで、合成された結果が、次いで、この例ではReLU(412)などの、活性化関数に提供される。

車線マーカー間の区別をさらに改善するために、圧搾および励起(SE:Squeeze and Excitation)ブロック408によって注意機構(attention mechanism)が追加されてよい。SEブロックは、全体的な受容野の中に情報を集約することによって決定プロセスの中にグローバル情報を含める助けとなり、ピクセル非シャッフル層によって符号化された空間情報を有する、チャネルごとの特徴応答を再較正する。

したがって、水平縮小モジュール400は、圧縮された水平描写出力

を生成するために、空間車線マーカー情報を有益に圧縮する。

車線マーカー検出モデルのための例示的なトレーニング方法
一例では、トレーニング目標は、
L=L_vl+λ₁L_vc+λ₂L_lc
によって与えられる全損失Lを最適化することであり、ただし、L_vl、L_vc、およびL_lcは、それぞれ、車線マーカー頂点ロケーション、車線マーカー頂点信頼性、および車線マーカーごとの信頼性に対する損失であり、λ₁およびλ₂は、トレーニングの微調整を可能にする、最後の2つの損失に対する重みである。

車線マーカー頂点ロケーション損失(L_vl)に関して、車線マーカー検出が車線マーカーの水平位置上での列ごとの分類として公式化されるので、いくつかの例を挙げれば、クロスエントロピー損失、カルバック-ライブラー(KL)ダイバージェンス損失、および区分的線形確率(PL)損失を含む、分類のための任意の損失関数が、車線マーカー頂点分岐をトレーニングするために使用され得る。

垂直位置y_ijにおける車線マーカーl_iに対するクロスエントロピー損失

が、グラウンドトゥルースロケーション(ground truth location)

、およびW=2チャネルを有する予測ロジット(predicted logit)f_ijを使用して計算され得る。

KLダイバージェンス損失

を使用して車線マーカー頂点ロケーション分岐をトレーニングするために、車線マーカー位置の、ピークが鋭いターゲット分布が、

およびb=1を伴うラプラス分布Laplace_gt(μ,b)として作成され得、次いで、

および

を伴う推定された分布Laplace_pred(μ,b)と比較され得る。

PL損失の場合には、車線マーカー位置確率は区分的線形確率分布としてモデル化されてよい。入力画像に対して、全部の車線マーカー頂点ロケーション損失が、

によって与えられ、ただし、e_ijは、y_ijにおいて頂点を有する車線マーカーl_iがある場合には1を、そうでない場合には0を設定することによって、グラウンドトゥルースが存在するか否かを示す。

車線マーカー頂点信頼性損失に対して、車線マーカー頂点存在はバイナリ分類問題であり、したがって、車線マーカーl_iの各y_ijロケーションにおける単一スカラー値予測とグラウンドトゥルース存在e_ijとの間のバイナリクロスエントロピー損失

を使用してトレーニングされる。全体的な画像に対する損失が、次いで、

として計算される。

車線マーカーラベル損失に対して、車線マーカーレベル存在予測をトレーニングするために、バイナリクロスエントロピー損失

が追加されてよい。その損失は、予測されたN_lane次元のベクトル、およびグラウンドトゥルースにおける各車線l_iの存在を使用して計算される。全損失が、次いで、

として計算される。

車線マーカー検出モデルを用いた推論
推論時間において、推定される頂点位置は、(たとえば、上記で説明した損失関数からのような)選択された損失関数に基づいて予測され得る。詳細には、クロスエントロピー損失またはPL損失が使用される場合、車線マーカー頂点はargmax関数を使用することによって選択されてよい。代わりにKLダイバージェンス損失が使用される場合、推定される頂点は、softargmaxを使用することによって抽出されてよい。各車線マーカー頂点の存在を考慮するために、頂点のシグモイド出力および車線ごとの存在分岐が、上の式1に従って低い信頼性位置を拒絶するために使用され得る。

車線マーカーを検出するための例示的な方法
図5は、車線マーカーを検出するための例示的な方法500を示す。

方法500は、入力画像を受信することを伴うステップ502において開始する。いくつかの例では、入力画像は、たとえば、図3に関して説明したような、h個の垂直ピクセル、w個の水平ピクセル、およびc個のチャネルを備える。入力画像は、一般に、静止画像、ビデオストリームの中の画像のストリームの画像またはフレームなどであってよい。

方法500は、次いで、図3に関して上記で説明したモデルのような、入力画像を車線マーカー検出モデルに提供することを伴うステップ504に進む。

方法500は、次いで、図3の中の302Bに関して上記で説明したような、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することを伴うステップ506に進む。場合によっては、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することは、車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて入力画像を処理することを備える。

方法500は、次いで、図3の中の302Cに関して上記で説明したような、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することを伴うステップ508に進む。いくつかの態様では、各車線マーカー固有描写層は、複数の車線マーカー描写のうちの1つの車線マーカー描写に関連し、各車線マーカー描写は、複数の車線マーカー固有描写層のサブセットに関連し得る。

方法500は、次いで、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することを伴うステップ510に進む。

方法500のいくつかの態様では、複数の車線マーカー(たとえば、l_i)を出力することは、複数の車線マーカーのうちの各車線マーカーに対して、車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーション(たとえば、x_ij)を予測することと、車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性(たとえば、vc_ij)を予測することと、車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性(たとえば、l_ci)を予測することとを備える。

方法500のいくつかの態様では、複数の車線マーカーを出力することは、以下の式、すなわち、

を使用して各車線マーカーl_iを予測することをさらに備え、ただし、vl_ijは、各車線マーカーl_iに関連する頂点のセット{(x_ij,y_ij)}である。

いくつかの態様では、方法500は、エンコーダデコーダセグメント化ネットワークを使用して入力画像を圧縮することをさらに備える。

方法500のいくつかの態様では、各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層は、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える。

いくつかの態様では、方法500は、図3および図4に関して上記で説明したような、車線マーカー検出モデルの共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用することをさらに備える。

いくつかの態様では、方法500は、図3および図4に関して上記で説明したような、車線マーカー検出モデルの複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用することをさらに備える。

いくつかの態様では、方法500は、図3(たとえば、322)に示すような、出力画像の上に複数の車線描写を表示することをさらに備える。

方法500が例示的な1つの方法であり他の方法が可能であることに留意されたい。具体的には、他の例は、本明細書で説明する様々な態様と一致する、方法500と比較してもっと少数の、追加の、および/または代替のステップを含んでよい。

例示的な処理システム
図6は、たとえば、図5の方法500に関して本明細書で説明するように、車線マーカーを検出するように構成され得る例示的な処理システム600を示す。

処理システム600は、いくつかの例ではマルチコアCPUであってよい、中央処理ユニット(CPU)602を含む。CPU602において実行される命令は、たとえば、CPU602に関連するプログラムメモリからロードされてよく、またはメモリパーティション624からロードされてもよい。

処理システム600はまた、グラフィックス処理ユニット(GPU)604、デジタル信号プロセッサ(DSP)606、ニューラル処理ユニット(NPU)608、マルチメディア処理ユニット610、およびワイヤレス接続性構成要素612などの、特定の機能に編整された追加の処理構成要素を含む。いくつかの例では、CPU602、GPU604、DSP606、およびNPU608のうちの1つまたは複数は、図2のプロセッサ220として働いてよい。

608などのNPUは、一般に、人工ニューラルネットワーク(ANN)、深層ニューラルネットワーク(DNN)、ランダムフォレスト(RF)などを処理するためのアルゴリズムなどの機械学習アルゴリズムを実行するためのすべての必要な制御および演算論理を実施するように構成された特殊回路である。NPUは、代替として、ニューラル信号プロセッサ(NSP)、テンソル処理ユニット(TPU)、ニューラルネットワークプロセッサ(NNP)、インテリジェンス処理ユニット(IPU)、ビジョン処理ユニット(VPU)、またはグラフ処理ユニットと呼ばれることもある。

608などのNPUは、画像分類、機械翻訳、物体検出、および様々な他の予測モデルなどの、一般的な機械学習タスクの実行を加速するように構成される。いくつかの例では、複数のNPUは、システムオンチップ(SoC)などの単一のチップ上でインスタンス化されてよく、他の例では、専用ニューラルネットワークアクセラレータの一部であってよい。

NPUは、トレーニングもしくは推論のために最適化されてよく、または場合によっては、その両方の間で性能のバランスを取るように構成されてよい。トレーニングと推論の両方を実行することが可能なNPUの場合、やはり2つのタスクが概して独立して実行され得る。

トレーニングを加速するように設計されたNPUは、一般に、新たなモデルの最適化を加速するように構成され、そうした最適化は、(しばしば、ラベル付けまたはタグ付けされた)既存のデータセットを入力することと、データセットを反復することと、次いで、モデル性能を向上させるために重みおよびバイアスなどのモデルパラメータを調整することとを伴う、極めて計算集約的な動作である。一般に、誤った予測に基づく最適化は、モデルの層を通じて後方に伝搬すること、および予測誤差を小さくするための勾配を決定することを伴う。いくつかの実施形態では、NPU608は、図3のモデルアーキテクチャ300の様々な態様をトレーニングするように構成され得る。

推論を加速するように設計されたNPUは、一般に、完全なモデル上で動作するように構成される。したがって、そのようなNPUは、新たなデータを入力し、モデル出力(たとえば、推論)を生成するようにすでにトレーニングされたモデルを通じてデータを高速に処理するように、構成され得る。いくつかの実施形態では、NPU608は、図3のモデルアーキテクチャ300の様々な態様を処理するように構成され得る。

一実装形態では、NPU608は、CPU602、GPU604、および/またはDSP606のうちの1つまたは複数の一部である。

いくつかの例では、ワイヤレス接続性構成要素612は、たとえば、第3世代(3G)接続性、第4世代(4G)接続性(たとえば、4G LTE)、第5世代接続性(たとえば、5GまたはNR)、Wi-Fi接続性、Bluetooth接続性、および他のワイヤレスデータ伝送規格のための、下位構成要素を含んでよい。ワイヤレス接続性処理構成要素612は、1つまたは複数のアンテナ614にさらに接続される。

処理システム600はまた、センサーの任意の方式に関連する1つもしくは複数のセンサー処理ユニット616、イメージセンサーの任意の方式に関連する1つもしくは複数の画像信号プロセッサ(ISP)618、および/または衛星ベースの測位システム構成要素(たとえば、GPSまたはGLONASS)を含むことがあるナビゲーションプロセッサ620、ならびに慣性測位システム構成要素を含んでよい。いくつかの例では、センサー616は図2のカメラ202およびIMU206を含んでよい。いくつかの例では、ナビゲーションプロセッサ620は図2のGPS204を含んでよい。

処理システム600はまた、スクリーン、タッチ敏感表面(タッチ敏感ディスプレイを含む)、物理ボタン、スピーカー、マイクロフォンなどの、1つまたは複数の入力および/または出力デバイス622を含んでよい。

いくつかの例では、処理システム600のプロセッサのうちの1つまたは複数は、ARMまたはRISC-V命令セットに基づいてよい。

処理システム600はまた、ダイナミックランダムアクセスメモリ、フラッシュベースのスタティックメモリなどの、1つまたは複数のスタティックメモリおよび/またはダイナミックメモリを表すメモリ624を含む。この例では、メモリ624は、処理システム600の上述のプロセッサのうちの1つまたは複数によって実行され得るコンピュータ実行可能コンポーネントを含む。

この例では、メモリ624は、(たとえば、車線マーカー検出モデルによって処理されるべき入力データを受信するための)受信コンポーネント624A、(たとえば、本明細書で説明する車線マーカー検出モデルの様々な態様を処理するための)処理コンポーネント624B、(たとえば、水平縮小モジュールによるなどしてデータを圧縮するための)圧縮コンポーネント624C、(たとえば、本明細書で説明する車線マーカー検出モデルの様々な出力などの)予測(または出力)コンポーネント624D、(たとえば、車線マーカー検出モデルをトレーニングするための)トレーニングコンポーネント624E、推論コンポーネント624F、(たとえば、入力データを符号化するための)符号化コンポーネント624G、(たとえば、符号化データを復号するための)復号コンポーネント624H、(たとえば、車線マーカーおよび他の情報を表示するための)表示コンポーネント624I、および(たとえば、本明細書で説明するような車線マーカー検出モデルのためのパラメータを備える)モデルパラメータ624Jを含む。図示したコンポーネントおよび図示されない他のコンポーネントが、本明細書で説明する方法の様々な態様を実行するように構成され得る。

たとえば、受信コンポーネント624Aは、入力画像データなどの入力データを受信するように構成されてよい。

特に、他の実施形態では、処理システム600の態様は、処理システム600がサーバコンピュータなどである場合などには省略されてよい。たとえば、マルチメディア構成要素610、ワイヤレス接続性612、センサー616、ISP618、および/またはナビゲーション構成要素620は、他の実施形態では省略されてよい。さらに、処理システム600の態様は分散されてよい。

図6が一例にすぎず、他の例では、もっと少数の、追加の、および/または代替の構成要素を有する代替の処理システムが使用され得ることに、留意されたい。

例示的な条項
以下の番号付き条項の中で実装例が説明される。

条項1: 入力画像を受信することと、入力画像を車線マーカー検出モデルに提供することと、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することと、複数の車線マーカー描写を生成するために車線マーカー検出モデルの複数の車線マーカー固有描写層を用いて車線マーカー検出モデルの共有車線マーカー部分の出力を処理することと、複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとを備える方法。

条項2: 条項1の方法であって、車線マーカー検出モデルの共有車線マーカー部分を用いて入力画像を処理することは、車線マーカー検出モデルの複数の共有車線マーカー描写層を通じて入力画像を処理することを備える。

条項3: 条項1～2のうちのいずれか1つの方法であって、複数の車線マーカーを出力することは、複数の車線マーカーのうちの各車線マーカーに対して、車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測することと、車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測することと、車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測することとを備える。

条項4: 条項3の方法であって、複数の車線マーカーl_iを予測することは、

に従って各車線マーカーl_iを予測することをさらに備え、vl_ijは、各車線マーカーl_iに関連する頂点のセット{(x_ij,y_ij)}であり、T_vcは、頂点ごとの存在信頼性しきい値であり、T_lcは、車線ごとの存在信頼性しきい値である。

条項5: 条項1～4のうちのいずれか1つの方法であって、エンコーダデコーダセグメント化ネットワークを使用して入力画像を圧縮することをさらに備える。

条項6: 条項1～5のうちのいずれか1つの方法であって、各それぞれの車線マーカー固有描写のための最後の車線マーカー固有描写層は、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える。

条項7: 条項1～6のうちのいずれか1つの方法であって、車線マーカー検出モデルの共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用することをさらに備える。

条項8: 条項7の方法であって、車線マーカー検出モデルの複数の車線マーカー固有描写層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用することをさらに備える。

条項9: 条項1～7のうちのいずれか1つの方法であって、出力画像の上に複数の車線描写を表示することをさらに備える。

条項10: L=L_vl+λ₁L_vc+λ₂L_lcによって与えられる全損失Lを最小化することを備える、車線マーカー検出モデルをトレーニングする方法であって、L_vlは、車線マーカー頂点ロケーション損失成分であり、L_vcは、車線マーカー頂点信頼性損失成分であり、L_lcは、車線マーカーごとの信頼性損失成分であり、λ₁は、第1の損失調整パラメータであり、λ₂は、第2の損失調整パラメータである。

条項11: コンピュータ実行可能命令を備えるメモリと、コンピュータ実行可能命令を実行し、条項1～10のうちのいずれか1つによる方法を処理システムに実行させるように構成された、1つまたは複数のプロセッサとを備える処理システム。

条項12: 条項1～10のうちのいずれか1つによる方法を実行するための手段を備える処理システム。

条項13: 処理システムの1つまたは複数のプロセッサによって実行されたとき、条項1～10のうちのいずれか1つによる方法を処理システムに実行させるコンピュータ実行可能命令を備える非一時的コンピュータ可読媒体。

条項14: 条項1～10のうちのいずれか1つによる方法を実行するためのコードを備えるコンピュータ可読記憶媒体上に具現されたコンピュータプログラム製品。

追加の考慮事項
先行する説明は、いかなる当業者も、本明細書で説明した様々な態様を実践することを可能にするように提供される。本明細書で説明した例は、特許請求の範囲に記載された範囲、適用可能性、または態様を限定するものではない。これらの態様の様々な修正は、当業者に容易に明らかになり、本明細書で定義される一般原理は、他の態様に適用され得る。たとえば、本開示の範囲から逸脱することなく、説明した要素の機能および構成において変更が加えられてよい。様々な例は、適宜に、様々な手順または構成要素を省略、置換、または追加してよい。たとえば、説明した方法は、説明した順序とは異なる順序で実行されてよく、様々なステップが追加されてよく、省略されてよく、または組み合わせられてよい。また、いくつかの例に関して説明した特徴が、いくつかの他の例において組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して、装置が実装されてよく、または方法が実践されてよい。加えて、本開示の範囲は、本明細書に記載する開示の様々な態様に加えて、またはそうした態様以外の、他の構造、機能性、または構造および機能性を使用して実践されるような装置または方法をカバーするものである。本明細書で開示する本開示のいずれの態様も、特許請求の範囲の1つまたは複数の要素によって具現され得ることを理解されたい。

本明細書で使用する「例示的」という語は、「例、事例、または例示として働くこと」を意味する。「例示的」として本明細書で説明したいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。

本明細書で使用する項目の列挙「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-c、ならびに複数の同じ要素を有する任意の組合せ(たとえば、a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、およびc-c-c、またはa、b、およびcの任意の他の順序)をカバーするものとする。

本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造の中でルックアップすること)、確認することなどを含んでよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含んでよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含んでよい。

本明細書で開示する方法は、本方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲の範囲から逸脱することなく修正されてよい。さらに、上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行されてよい。手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含んでよい。一般に、図に示される動作がある場合、それらの動作は、類似の番号付けを伴う対応する相対物のミーンズプラスファンクション構成要素を有してよい。

以下の請求項は、本明細書で示される態様に限定されるものではなく、請求項の文言と一致する全範囲を与えられるべきである。請求項内では、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、「1つまたは複数の」を意味するものとする。別段に明記されていない限り、「いくつかの」という用語は、1つまたは複数を指す。請求項のいかなる要素も、「のための手段」という句を使用して要素が明確に列挙されていない限り、または方法クレームの場合には、「のためのステップ」という句を使用して要素が列挙されていない限り、米国特許法第112条(f)の規定の下で解釈されるべきではない。当業者に知られているか、または後で知られることになる、本開示全体にわたって説明した様々な態様の要素のすべての構造的および機能的な均等物は、参照により本明細書に明確に組み込まれ、特許請求の範囲によって包含されるものとする。その上、本明細書に開示するものはいずれも、そのような開示が特許請求の範囲において明示的に列挙されているかどうかにかかわらず、公に供されるものではない。

102 車線マーカー
104 道路
200 高度ドライバ支援システムまたは自動運転システム
202 カメラ
204 全地球測位システム(GPS)、GPS受信機
206 慣性測定ユニット(IMU)
208 センサー同期基板
210 センサードライバモジュール
212 測位エンジン
214 知覚エンジン
216 データ集約および接続性モジュール
218 マッピングアルゴリズム
220 プロセッサ
301 入力画像
302 ステージ
304 エンコーダデコーダ型のセグメント化ネットワーク
312 車線マーカー存在信頼性層
316 最終の圧縮された層
318 頂点ごとの信頼性分岐
320 列ごとの頂点ロケーション分岐、分類分岐
321 出力画像
322 車線描写
400 水平縮小モジュール
402 スキップ接続
404 残差分岐
408 圧搾および励起(SE)ブロック
412 ReLU
600 処理システム
602 中央処理ユニット(CPU)
604 グラフィックス処理ユニット(GPU)
606 デジタル信号プロセッサ(DSP)
608 ニューラル処理ユニット(NPU)
610 マルチメディア処理ユニット、マルチメディア構成要素
612 ワイヤレス接続性構成要素、ワイヤレス接続性処理構成要素
614 アンテナ
616 センサー処理ユニット、センサー
618 画像信号プロセッサ(ISP)
620 ナビゲーションプロセッサ、ナビゲーション構成要素
622 入力および/または出力デバイス
624 メモリパーティション、メモリ
624A 受信コンポーネント
624B 処理コンポーネント
624C 圧縮コンポーネント
624D 予測コンポーネント
624E トレーニングコンポーネント
624F 推論コンポーネント
624G 符号化コンポーネント
624H 復号コンポーネント
624I 表示コンポーネント
624J モデルパラメータ

Claims

入力画像を受信するステップと、
前記入力画像を車線マーカー検出モデルに提供するステップと、
前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理するステップと、
複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有縮小層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理するステップと、
前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力するステップと
を備える方法であって、
前記複数の車線マーカーを出力するステップが、前記複数の車線マーカーのうちの各車線マーカーに対して、
前記車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測するステップと、
前記車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測するステップと、
前記車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測するステップとを備える、
方法。
前記車線マーカー検出モデルの前記共有車線マーカー部分を用いて前記入力画像を処理するステップが、前記車線マーカー検出モデルの複数の共有車線マーカー縮小層を通じて前記入力画像を処理するステップを備える、請求項1に記載の方法。
前記複数の車線マーカーを出力するステップが、
に従って各車線マーカーl_iを予測するステップをさらに備え、vl_ijが、各車線マーカーl_iに関連する頂点のセット{(x_ij,y_ij)}であり、T_vcが、頂点ごとの存在信頼性しきい値であり、T_lcが、車線ごとの存在信頼性しきい値である、請求項1に記載の方法。
エンコーダデコーダセグメント化ネットワークを使用して前記入力画像を圧縮するステップをさらに備える、請求項1に記載の方法。
各それぞれの車線マーカー固有描写のための最後の車線マーカー固有縮小層が、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える、請求項1に記載の方法。
前記車線マーカー検出モデルの前記共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用するステップと、
前記車線マーカー検出モデルの前記複数の車線マーカー固有縮小層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用するステップをさらに備える、
請求項1に記載の方法。
出力画像の上に複数の車線描写を表示するステップをさらに備える、請求項1に記載の方法。
処理システムであって、
コンピュータ実行可能命令を備えるメモリと、
前記コンピュータ実行可能命令を実行し、前記処理システムに、
入力画像を受信することと、
前記入力画像を車線マーカー検出モデルに提供することと、
前記車線マーカー検出モデルの共有車線マーカー部分を用いて前記入力画像を処理することと、
複数の車線マーカー描写を生成するために前記車線マーカー検出モデルの複数の車線マーカー固有縮小層を用いて前記車線マーカー検出モデルの前記共有車線マーカー部分の出力を処理することと、
前記複数の車線マーカー描写に基づいて複数の車線マーカーを出力することとをさせるように構成された、
1つまたは複数のプロセッサと
を備え、
前記複数の車線マーカーを出力するために、前記1つまたは複数のプロセッサが、前記処理システムに、前記複数の車線マーカーのうちの各車線マーカーに対して、
前記車線マーカー検出モデルの第1の出力層を使用して車線頂点の水平ロケーションを予測することと、
前記車線マーカー検出モデルの第2の出力層を使用して頂点ごとの存在信頼性を予測することと、
前記車線マーカー検出モデルの第3の出力層を使用して車線マーカーごとの存在信頼性を予測することとをさせるようにさらに構成される、
処理システム。
前記車線マーカー検出モデルの前記共有車線マーカー部分を用いて前記入力画像を処理するために、前記1つまたは複数のプロセッサが、前記処理システムに、前記車線マーカー検出モデルの複数の共有車線マーカー縮小層を通じて前記入力画像を処理させるようにさらに構成される、請求項8に記載の処理システム。
前記複数の車線マーカーを出力することが、
に従って各車線マーカーl_iを予測することをさらに備え、vl_ijが、各車線マーカーl_iに関連する頂点のセット{(x_ij,y_ij)}であり、T_vcが、頂点ごとの存在信頼性しきい値であり、T_lcが、車線ごとの存在信頼性しきい値である、請求項8に記載の処理システム。
前記1つまたは複数のプロセッサが、前記処理システムに、エンコーダデコーダセグメント化ネットワークを使用して前記入力画像を圧縮させるようにさらに構成される、請求項8に記載の処理システム。
各それぞれの車線マーカー固有描写のための最後の車線マーカー固有縮小層が、h個の垂直ピクセル、1個の水平ピクセル、およびc個のチャネルというサイズを備える、請求項8に記載の処理システム。
前記1つまたは複数のプロセッサが、前記処理システムに、
前記車線マーカー検出モデルの前記共有車線マーカー部分の中で入力データを圧縮するために1つまたは複数の水平縮小モジュールを使用させ、
前記車線マーカー検出モデルの前記複数の車線マーカー固有縮小層の中で入力データを圧縮するために1つまたは複数の追加の水平縮小モジュールを使用させるように、
さらに構成される、請求項10に記載の処理システム。
前記1つまたは複数のプロセッサが、前記処理システムに、出力画像の上に複数の車線描写を表示させるようにさらに構成される、請求項8に記載の処理システム。
処理システムの1つまたは複数のプロセッサによって実行されたとき、前記処理システムに請求項１乃至７のいずれか一項に記載の方法を実行させる命令を備える非一時的コンピュータ可読媒体。