JP7192935B2 - Ｌｉｄａｒの出力を強化するためのシステム及び方法 - Google Patents

Description

本明細書に記載される主題は、概して、ＬｉＤＡＲの出力を強化するためのシステム及び方法、より具体的には、ＬｉＤＡＲによって出力される周囲の画像及び点群を強化する処理パイプラインの実装に関する。

環境の認識は、自動車両支援システム、セキュリティ監視など、多くの様々なコンピュータを使用する機能にとって重要な要素になる可能性がある。しかしながら、環境を正確に認識することは、センサのコストとそのセンサに関連する精度とをバランスさせる複雑なタスクになる可能性がある。例えば、一部の光検出・測距（ＬｉＤＡＲ）センサは非常に正確ではあるが、非常に高価でかさばる場合もある。対照的に、他のＬｉＤＡＲセンサは、より安価でコンパクトであるが、自動運転機能などの特定の機能を十分にサポートするには、精度、解像度、又は他の特性が不足する場合がある。一例では、単一光子アバランシェダイオード（ＳＰＡＤ）ベースのＬｉＤＡＲは、周囲光画像を生成する能力も提供し、それによって２つのセンサの仕事を１つで行う、より安価なオプションとして実装され得る。しかし、そのようなセンサはさまざまな問題に直面する可能性がある。問題には、低解像度の画像、より長い距離でのまばらな点群、太陽光による飽和などが含まれる。従って、ＳＰＡＤベースのＬｉＤＡＲは多機能性を提供するとしても、ＳＰＡＤベースのＬｉＤＡＲが提供する情報は、通常、多くの目的に対して十分ではない。

一実施形態において、ＬｉＤＡＲセンサの出力を強化することに関連する例示的なシステム及び方法が開示される。前述のように、センサが選択されるとき、コストと出力データの特性の間でトレードオフが発生し得る。かくして、センサは高解像度のデータや高密度の深度出力を提供しない場合がある。そのため、単独で用いると、センサの出力は、様々な計算の基礎として役立つには十分でない場合がある。

しかしながら、一実施形態において、開示されるアプローチは、様々な計算結果が正確な決定を提供できるように、出力の品質を改善するためにセンサの出力を強化する。例えば、少なくとも１つの態様では、開示されるシステムは、センサデータの品質を改善するために複数の異なる段階を含む後処理パイプラインを実装する。つまり、ＳＰＡＤベースのＬｉＤＡＲの例では、ＬｉＤＡＲは、周囲環境の観測領域の深度データを示す点群と、観測領域の周囲光画像も出力する。すなわち、ＬｉＤＡＲセンサは一般的に点群データのみを提供することで知られているが、ＳＰＡＤベースのセンサは周囲光画像も提供することができる。このように、この特定のタイプのＬｉＤＡＲセンサは追加機能を提供する。

そのため、開示されるシステムは、周囲画像及び点群を強化するように機能するエンハンサパイプラインを実装する。少なくとも1つのアプローチでは、エンハンサパイプラインは、様々な強化機能を実行するための機械学習アルゴリズムで構成され得る別個のモジュールを含む。別個のモジュールは、周囲画像を高解像度画像に超解像処理するモジュール、画像の欠落部分を補完するモジュール、画像を色付けするモジュールなどを含み得る。そして、１つ以上の構成では、強化された周囲画像は、点群も強化するために、元の点群と組み合わせて使用され得る。例えば、エンハンサパイプラインは、点群を高密度化（つまり、補助的な深度点を追加）するモジュールを含むことができる。エンハンサパイプラインの様々なモジュールは、機械学習アルゴリズム又は記載された効果を実現するための他のコンピュータを使用するアプローチを実装することができる。いずれの場合も、エンハンサパイプラインは元のセンサデータを改善し、それによって元のセンサの出力が、上記の計算をサポートするのに十分であることを確保する。このように、開示されるアプローチは、より費用対効果の高いセンサの使用を提供すると同時に、自動運転機能及びより正確な情報を必要とする他の機能をサポートする高品質のセンサデータを提供する。

一実施形態において、ＬｉＤＡＲセンサの出力を強化するためのリファインメントシステムが開示される。リファインメントシステムは、１つ以上のプロセッサと、１つ以上のプロセッサに通信可能に結合されるメモリとを含む。メモリは、1つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得させる命令を含むセンサモジュールを格納する。メモリは、1つ以上のプロセッサによる実行時に、1つ以上のプロセッサに、点群及び周囲画像を処理させ、一連の処理ルーチンを含むエンハンサパイプラインに従って強化データを生成する命令を含むパイプラインモジュールを格納する。パイプラインモジュールは、強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも1つのモジュールに提供するための命令を含む。

一実施形態において、非一時的なコンピュータ可読媒体が開示される。コンピュータ可読媒体は、1つ以上のプロセッサによる実行時に、１つ以上のプロセッサに開示される機能を実行させる命令であって、ＬｉＤＡＲセンサの出力を強化するための命令を格納する。命令には、ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得する命令が含まれる。命令には、点群及び周囲画像を処理し、一連の処理ルーチンを含むエンハンサパイプラインに従って強化データを生成する命令が含まれる。命令には、強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも1つのモジュールに提供するための命令が含まれる。

一実施形態において、ＬｉＤＡＲセンサの出力を強化する方法が開示される。一実施形態では、方法は、ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得することを含む。方法は、一連の処理ルーチンを含むエンハンサパイプラインに従って強化データを生成するため、点群及び周囲画像を処理することを含む。方法は、強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも１つのモジュールに提供することを含む。

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の様々なシステム、方法、及び他の実施形態を示す。図中の図示された要素の境界（例えば、ボックス、ボックスのグループ、又は他の形状）は、境界の一実施形態を表すことが理解されよう。いくつかの実施形態では、１つの要素が複数の要素として設計されても良いし、又は複数の要素が１つの要素として設計されても良い。いくつかの実施形態では、別の要素の内部コンポーネントとして示される要素は、外部コンポーネントとして実装されても良く、逆もまた同様である。さらに、要素は縮尺通りに描かれない場合がある。
本明細書に開示される例示的なシステム及び方法が動作し得る車両の構成の一実施形態を示す。 センサ出力の強化に関連するリファインメントシステムの一実施形態を示す。 エンハンサパイプラインの１つの構成の図を示す。 複数のＬｉＤＡＲの出力を組み合わせて強化するためのバッチプロセスアーキテクチャを示す。 ＬｉＤＡＲセンサの出力を強化することに関連する方法の一実施形態を示す。 エンハンサパイプラインの実行に関連する方法の一実施形態を示す。 画像の超解像及び画像の補完の例を示す。 画像の色付けの例を示す。 点群を強化する例を示す。

ＬｉＤＡＲセンサの出力を強化することに関連するシステム、方法、及び他の実施形態が開示される。前述のように、センサが選択されるとき、コストと出力データの特性の間でトレードオフが発生し得る。かくして、センサは高解像度のデータや高密度の深度出力を提供しない場合があり、正確な出力を提供する一部のコンピュータを使用する機能に支障をきたす可能性がある。しかしながら、一実施形態において、開示されるアプローチは、様々な計算結果が正確な決定を提供できるように、出力の品質を改善するためにセンサデータを強化する。

例えば、少なくとも１つの態様では、開示されるシステムは、センサデータの品質を改善するために複数の異なる処理段階を含む後処理パイプラインを実装する。つまり、ＳＰＡＤベースのＬｉＤＡＲの例では、ＬｉＤＡＲは、周囲環境の観測領域の深度データを示す点群と、観測領域の周囲光画像も出力する。すなわち、ＬｉＤＡＲセンサは一般的に点群データのみを提供することで知られているが、ＳＰＡＤベースのセンサは周囲光画像も提供することができる。このように、この特定のタイプのＬｉＤＡＲセンサは、追加の利点として、追加機能を提供する。しかしながら、前述のように、周囲画像の品質が、過飽和、低解像度などで悪化する場合がある。さらに、点群データは、より遠い距離でまばらになる可能性がある。

そのため、開示されるシステムは、周囲画像及び点群を強化するように機能するエンハンサパイプラインを実装する。少なくとも1つのアプローチでは、エンハンサパイプラインは、様々な強化機能を実行するための機械学習アルゴリズムで構成され得る別個のモジュールを含む。別個のモジュールは、周囲画像を高解像度画像に超解像処理するモジュール、画像の欠落部分（例えば、遮蔽又は過飽和セグメント）を補完するモジュール、画像を色付けするモジュールなどを含み得る。１つ以上の構成では、強化された周囲画像は、点群も強化するために、元の点群と組み合わせて使用され得る。例えば、エンハンサパイプラインは、点群を高密度化（つまり、補助的な深度点を追加）するモジュールを含むことができる。エンハンサパイプラインの様々なモジュールは、機械学習アルゴリズム又は記載された結果を実現するための他のコンピュータを使用したアプローチを実装することができる。いずれの場合も、エンハンサパイプラインは元のセンサデータを改善し、それによって出力が、上記の計算をサポートするのに十分であることを確保する。このように、開示されるアプローチは、より費用対効果の高いセンサの使用を提供すると同時に、自動運転機能及びより正確な情報を必要とする他の機能をサポートする高品質のセンサデータを提供する。

図１を参照すると、車両１００の一例が示されている。本明細書で使用される場合、「車両」とは、動力で動くあらゆる形態の輸送手段のことである。１つの又は複数の実装形態において、車両１００は自動車である。本明細書において、自動車に関する構成が説明されるが、実施形態は自動車に限定されないことが理解されよう。いくつかの実装形態では、車両１００は、例えば、周囲環境の観測値を取得するための前述のセンサを含み、本明細書で説明される機能から利益を得る、任意の電子デバイス又は任意の形態の輸送手段であり得る。

車両１００は、様々な要素も含む。様々な実施形態において、車両１００は、図１に示されるすべての要素を有さなくても良いことが理解されよう。車両１００は、図１に示される様々な要素の異なる組み合わせを有することができる。さらに、車両１００は、図１に示される要素への追加の要素を有することができる。いくつかの構成では、車両１００は、図１に示される１つ以上の要素なしで実現されても良い。様々な要素が図１の車両１００内に配置されているように示されているが、これらの要素のうちの１つ以上を、車両１００の外部に配置することができることが理解されよう。さらに、示されている要素は、大きな距離によって物理的に隔てられ、リモートサービス（例えば、クラウドコンピューティングサービス）として提供されても良い。

車両１００の考えられる要素のいくつかが図１に示されており、以降の図とともに説明される。図１の多くの要素の説明は、説明を簡潔にする目的のため、図２－９の説明の後でなされる。さらに、図を簡単かつ明確にするため、必要に応じて、対応する、類似の、又は同様の要素を示すために、異なる図の間で参照番号が繰り返されていることが理解されよう。さらに、本明細書に記載の実施形態は、記載された要素の様々な組み合わせを使用して実施できることを理解されたい。

いずれの場合も、車両１００は、ＬｉＤＡＲセンサ１２３からのセンサデータの品質を改善するように機能するリファインメントシステム１７０を含む。さらに、スタンドアロンコンポーネントとして示されているが、１つ以上の実施形態において、リファインメントシステム１７０は、他のシステム／モジュールの機能を容易にするために、車両１００の支援システム１６０、又は別の同様のシステムと統合される。記載される機能及び方法は、図のさらなる説明にてより明らかとなる。

図２を参照すると、リファインメントシステム１７０の一実施形態がさらに示されている。示されるように、リファインメントシステム１７０は、プロセッサ１１０を含む。それに合うように、プロセッサ１１０は、リファインメントシステム１７０の一部であっても良いし、又はリファインメントシステム１７０は、データバス又は別の通信経路を介してプロセッサ１１０にアクセスしても良い。１つ以上の実施形態において、プロセッサ１１０は、センサモジュール２２０及びパイプラインモジュール２３０に関連する機能を実現するように構成された特定用途向け集積回路である。より一般的には、１つ以上の態様において、プロセッサ１１０は、リファインメントシステム１７０に関連するコード化された機能を実行するときに、本明細書に記載の様々な機能を実行することができるマイクロプロセッサなどの電子プロセッサである。

一実施形態において、リファインメントシステム１７０は、センサモジュール２２０及びパイプラインモジュール２３０を格納するメモリ２１０を含む。メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ、又はモジュール２２０、２３０を格納するのに適した他のメモリである。モジュール２２０、２３０は、例えば、プロセッサ１１０による実行時に、プロセッサ１１０に本明細書に開示される様々な機能を実行させるコンピュータ可読命令である。１つ以上の実施形態において、モジュール２２０、２３０は、メモリ２１０内に具現化された命令であるが、さらなる態様では、モジュール２２０、２３０は、記載される機能の１つ以上を独立して実行するための、処理コンポーネント（例えば、コントローラ）、回路などのハードウェアを含む。

さらに、一実施形態において、リファインメントシステム１７０は、データストア２４０を含む。データストア２４０は、一実施形態において、情報を格納するための電子ベースのデータ構造である。例えば、１つのアプローチでは、データストア２４０は、メモリ２１０又は別の適切な媒体に格納され、格納されたデータを分析し、格納されたデータを提供し、格納されたデータを整理するなどのため、プロセッサ１１０によって実行され得るルーチンで構成されるデータベースである。いずれにせよ、一実施形態では、データストア２４０は、様々な機能を実行する際にモジュール２２０、２３０によって使用されるデータを格納する。一実施形態では、データストア２４０は、例えば、モジュール２２０、２３０によって使用される他の情報とともに、センサデータ２５０及びシステムパラメータ２６０（例えば、センサ設定、パイプライン設定、タイミング閾値、起動ゾーン、走査ゾーン、アラートオプションなど）を含む。

従って、センサモジュール２２０は、一般的に、プロセッサ１１０を制御して、センサデータ２５０を形成する車両１００の１つ以上のセンサ（例えば、ＬｉＤＡＲセンサ１２３）からのデータ入力を取得するように機能する命令を含む。概して、センサデータ２５０は、車両１００の周囲環境の観測結果を具体化する情報を含む。様々な実施形態における周囲環境の観測結果は、車両１００が走行している又は駐車されている、車線内、車道に近接して、駐車場内、ガレージ構造内、私道内、又は別の領域内に存在する可能性がある、周囲の車線、車両、オブジェクト、障害物などを含むことができる。

センサモジュール２２０は、センサデータ２５０を提供するように様々なセンサを制御するものとして説明されるが、１つ以上の実施形態では、センサモジュール２２０は、能動的又は受動的のいずれかである、センサデータ２５０を取得するための他の技術を使用することができる。例えば、センサモジュール２２０は、様々なセンサによって車両１００内のさらなるコンポーネントに提供される電子情報のストリームからセンサデータ２５０を受動的にスニッフィングしても良い。さらに、センサモジュール２２０は、センサデータ２５０を提供するときに、複数のセンサからのデータを融合するための様々なアプローチを担うことができる。このように、一実施形態では、センサデータ２５０は、複数のセンサから取得された認知の組み合わせを表す。

このように、センサデータ２５０が単一のセンサから得られるか、複数のセンサから得られるかに係わらず、センサデータ２５０は、少なくとも２つの別個の形式のデータから構成される。１つ以上の構成では、センサデータ２５０は、点群及び周囲画像から構成される。さらに別の構成では、センサデータ２５０は、強度画像である第３の要素を含んでも良い。いずれの場合でも、ＬｉＤＡＲセンサ１２３は、単一光子アバランシェダイオード（ＳＰＡＤ）ベースのＬｉＤＡＲであっても良い。この特定のタイプのＬｉＤＡＲセンサは、記載されたデータ要素を並行して取得することができる。すなわち、ＬｉＤＡＲセンサ１２３が周囲環境をスキャンしている間、ＬｉＤＡＲセンサは、深度データ及び画像データを並行して取得している。深度データは点群の形式をとり、画像データは周囲画像の形式をとることができ、いくつかの構成では、強度画像の形式をとることができる。

前述のように、ＬｉＤＡＲセンサ１２３は高解像度データを提供しない場合がある。つまり、点群と周囲画像は、比較的低い解像度である可能性がある。さらに、周囲画像はグレースケールであり、また、画像内の要素に入射する太陽光による画像内の領域の過飽和などの様々な異常も含み得る。強度画像は、少なくとも１つの態様において、センサ１２３の視野内に存在するオブジェクト／表面の反射レベルを含む。従って、強度画像は、一般的に、点群内の各個別の点の反射強度に対応する。

さらに、一実施形態では、センサモジュール２２０は、周囲環境の包括的な評価を提供するために、車両１００の周りの３６０度を含む領域についてセンサデータ２５０を取得するようにセンサを制御する。もちろん、特定の実施形態に応じて、対象のセンサは、車両１００の後ろの後方領域、車両１００の側方の領域、又は車両１００の周りの別の領域に焦点を合わせた視野を有しても良い。さらに、複数のセンサからのビューをつなぎ合わせて、より広い視野を形成しても良い。

いずれの場合も、センサモジュール２２０がセンサデータ２５０を取得すると、リファインメントシステム１７０は、パイプラインモジュール２３０を利用して、ＬｉＤＡＲセンサ１２３から出力されるセンサデータ２５０を強化することができる。パイプラインモジュール２３０は、エンハンサパイプラインを実装し、センサデータ２５０に対して複数の異なる後処理ステップを実行し、それによって、例えば、解像度を高め、欠落領域を補完し、色付けし、さらなる深度情報を生成することによって、元のセンサデータの品質を改善する。

パイプラインモジュール２３０によって実装されるエンハンサパイプラインの一例として、図３を検討する。図３は、処理モジュールの複数のステージを含むエンハンサパイプライン３００の一実施形態を示す。図３に示すように、エンハンサパイプライン３００は、画像超解像３１０、画像補完３２０、画像着色３３０、及び深度補完３４０のためのモジュールを含む。エンハンサパイプライン３００は、さらなる構成において、深度推定３５０のためのモジュールも含んでも良い。いずれにせよ、さまざまなモジュールは、概して、ディープニューラルネットワーク又は他の機械学習アルゴリズムで構成される。例として、モジュールは、敵対的生成ネットワーク（ＧＡＮ）、畳み込みニューラルネットワーク、オートエンコーダなどを含むことができる。１つ以上のアプローチにおいて、モジュールは、ネットワークの一部（例えば、デコーダ）を共有することができる。さらに別のアプローチでは、モジュールは、モジュールの対応するタスクに固有のネットワークの別個の例を含むことができる。

モジュール自体の一般的な機能を参照すると、画像超解像モジュール３１０は、ＬｉＤＡＲセンサ１２３からの周囲画像を受け入れる。次に、画像超解像モジュール３１０は、センサデータ２５０の周囲画像を処理して、元の周囲画像と比較して高解像度である強化された画像を生成する。さらなるアプローチでは、超解像モジュール３１０は、周囲画像に加えて強度画像をさらに使用して、高解像度画像へ超解像することができる。強度画像には、周囲画像によって表されるシーン内のオブジェクト／表面の反射率に関する情報が含まれているため、超解像を実行するための追加情報が提供される。

一例として、画像超解像モジュール３１０は、元の周囲画像の解像度を上げるためにＧＡＮを実装することを含む深層学習を使用して、単一画像超解像を実行することができる。このように、ＧＡＮは超解像ニューラルネットワークとして機能し、超解像された高解像度画像の形式で強化データを生成する。別のアプローチでは、モジュール３１０は、画像を超解像するために、例えばスキップ接続を含む畳み込みニューラルネットワークを実装しても良いし、又は別のネットワークアーキテクチャを実装しても良い。一般的に、画像を超解像するプロセスは、コンピュータのリソースの利用可能性及びモジュール３１０が実装する特定の機械学習アプローチに応じて、元の周囲画像の解像度を２倍にするか、又は解像度を大幅に増加することができる。

画像補完用モジュール３２０を参照して、ＬｉＤＡＲセンサ１２３内の光検出器の性質のために、周囲画像が様々な異常を含み得ることを検討する。異常には、過飽和の領域、暗すぎる領域などが含まれ得る。これは、通常、ＬｉＤＡＲセンサ１２３が、特定の波長を持つ走査レーザーから反射光を検出する光検出器を最適化するために発生する。そして、記載された周囲画像の領域は、ほとんど又はまったく情報を持たない可能性がある。このため、画像補完モジュール３２０は、周囲画像の高解像度バージョンを使用して、記載された異常のために、欠落しているか、又は十分に表現されていない周囲画像の部分を予測する。これには、シーン内で太陽光が入射している部分や、周囲画像の別の領域に太陽光が入射しているために薄暗くなっている部分を埋めることが含まれる。いずれの場合も、画像補完モジュール３２０は、画像補完を実行するように訓練されたＧＡＮ又は別の生成ネットワークアーキテクチャなどの機械学習アルゴリズムに従って、周囲画像から導出された高解像度画像を処理する。このように、強化データは、向上した解像度の、画像の以前に劣化した領域の情報を含む、さらに強化された画像からなる。

エンハンサパイプライン３００を引き続き参照すると、画像着色器モジュール３３０は、元の周囲画像に比較して、補完され（すなわち、異常を修正するように埋められ）、高解像度の強化画像である、画像補完モジュール３２０の出力を処理する。しかしながら、元の周囲画像とこの時点までの周囲画像の強化された形式は、グレースケール画像である。従って、画像着色器モジュール３３０は、強化された画像を完全な赤－緑－青（ＲＧＢ）の画像に色付けし、強化画像３６０として出力する。１つのアプローチでは、画像着色器モジュール３３０は、画像を色付けするために完全な畳み込みニューラルネットワーク（ＣＮＮ）を実装する。このようにして、エンハンサパイプライン３００は、低解像度及び他の障害を持つ可能性があるＬｉＤＡＲセンサ１２３からの周囲画像を受け入れ、後処理の複数の段階を通じて周囲画像を強化画像３６０に変換する。

加えて、エンハンサパイプライン３００は、少なくとも１つのアプローチにおいて、深度補完モジュール３４０をさらに含む。深度補完モジュール３４０は、ＬｉＤＡＲセンサ１２３がセンサデータ２５０の一部として最初に取得する点群を強化するように機能する。１つの構成では、深度補完モジュール３４０は、入力として、強化画像３６０と点群を受け入れる。深度補完モジュール３４０は、元の点群を高密度化し、強化画像３６０からの情報を元の点群と組み合わせて追加の点を生成する結果として生じる、高解像度、広範囲、及び高品質を含む強化された点群を生成する。一実施形態では、深度補完モジュール３４０は、ディープニューラルネットワーク（ＤＮＮ）又は別の機械学習アーキテクチャなどの機械学習アルゴリズムを実装し、強化点群３７０を生成するときに追加の点を生成する。このようにして、エンハンサパイプライン３００は、点群及び周囲画像を処理して、少なくとも周囲画像の異常を修正し、可視光画像とともに強化データを生成するように機能する（例えば、少なくとも周囲画像と元の点群から導出される強化画像３６０と強化点群３７０）。このように、リファインメントシステム１７０は、より費用対効果の高いセンサを活用し、それでもそこから高品質のセンサデータを提供することができる。

追加の態様として、１つ以上の実施形態において、エンハンサパイプライン３００は、深度推定モジュール３５０である追加の分岐を持って構成される。深度推定モジュール３５０は、強化画像３６０などの単眼画像から深度データを予測する単眼深度推定モデルなどの機械学習モデルを実装する。予測された深度データは、疑似点群３８０として出力される。もちろん、リファインメントシステム１７０がＬｉＤＡＲセンサ１２３から元の点群を受信する場合、深度推定モジュール３５０は動作しないように保たれ得る。しかしながら、点群が信頼できないか利用できない場合、リファインメントシステム１７０は、深度推定モジュール３５０を動作させ、強化点群３７０の代わりに、又は強化点群３７０を検証するためのメカニズムとして、疑似点群３８０を生成することができる。いずれの場合でも、エンハンサパイプライン３００は、深度データを生成するための複数の処理パスを含む。

図４に目を向けると、複数のＬｉＤＡＲのデータを一括して処理することに関連するエンハンサパイプライン３００の追加の実装が示されている。図４に示されるように、リファインメントシステム１７０は、バッチ処理アーキテクチャ４００を実装することができる。すなわち、パイプラインモジュール２３０内の複数の別々の反復でエンハンサパイプライン３００を繰り返す代わりに、リファインメントシステム１７０は、複数のＬｉＤＡＲ１２３ａ、１２３ｂから１２３ｎからの周囲画像及び点群のバッチの処理を容易にする追加のコンポーネントを実装する。例えば、バッチ処理アーキテクチャ４００は、シンクロナイザ４１０を含むことができる。１つのアプローチでは、シンクロナイザ４１０は、個々のセンサが、提供されるセンサデータ２５０上でわずかに異なるタイムスタンプを有する可能性があるため、ＬｉＤＡＲ１２３ａ～ｎからの出力データを同期させる。このようにして、シンクロナイザはバッチ処理のために同様のタイムフレームからのデータを相互に関連付ける。

アーキテクチャ４００は、異なるＬｉＤＡＲセンサ１２３ａ～ｎからのデータを連結して、周囲画像、点群、及び１つ以上の構成では、強度画像も含めた時間的に同期したバッチテンソルを出力する入力バッチャ４２０をさらに含む。次に、このバッチ処理されたセンサデータ２５０は、エンハンサパイプライン３００に供給される。エンハンサパイプラインは、図３に関連して説明した同様の要素と概ね相関する、バッチ処理された強化画像４３０、バッチ処理された強化点群４４０、及びバッチ処理された疑似点群４５０を生成する。そして、バッチ処理された出力４３０～４５０は、点群スティッチャ４６０に提供され、点群スティッチャ４６０は、バッチ処理された強化データを３６０度の点群にまとめる。このようにして、バッチ処理アーキテクチャ４００は、リファインメントシステム１７０が複数のＬｉＤＡＲからの入力を処理する際に、センサデータ２５０の処理を簡素化することができる。このように、パイプラインモジュール２３０は、単一のＬｉＤＡＲ又はバッチからに係わらず、車両の制御、環境の特徴の認識、又は他の機能を容易にする自動運転モジュールなどの少なくとも１つのモジュールに、強化データを提供することができる。従って、リファインメントシステム１７０は、強化データを生成して、費用対効果の高いセンサから有用な情報を提供することができ、それによって、関連するモジュール及びデバイスの機能を改善する。

センサデータを強化する追加の態様が、図５に関連して説明される。図５は、ＬｉＤＡＲセンサの出力を強化することに関連する方法５００を示す。方法５００は、図１のリファインメントシステム１７０の観点から説明される。方法５００は、リファインメントシステム１７０と組み合わせて説明されるが、方法５００は、リファインメントシステム１７０内で実行されることに限定されず、むしろ、方法５００を実行することができるシステムの一例であることを理解されたい。

５１０において、センサモジュール２２０は、車両１００の少なくとも１つのセンサからセンサデータ２５０を取得する。一実施形態では、センサモジュール２２０は、車両１００の周囲環境に関するセンサデータ２５０を取得する。前述のように、センサモジュール２２０は、１つ以上の実装形態において、センサシステム１２０の１つ以上のセンサからセンサデータ２５０を繰り返し取得する。センサデータ２５０は、支援システム１６０（例えば、起動ゾーン、走査ゾーンなど）、自動運転モジュール（例えば、自動運転、半自動運転など）などのような車両１００のシステムによって実行される機能に関連する特定の領域を含む、対象車両１００の周囲環境の観測値を含む。さらに、センサモジュール２２０は、少なくとも１つの実施形態において、ＳＰＡＤベースのＬｉＤＡＲからセンサデータ２５０を取得する。かくして、センサデータ２５０は、点群、周囲画像、及び強度画像を含む、複数の別個のデータ要素を含み得る。

５２０で、パイプラインモジュール２３０は、センサデータ２５０に対してエンハンサパイプラインを実行して、強化データを生成する。上記のように、エンハンサパイプラインは、品質を改善するためにセンサデータ２５０に対して異なる機能を実行する一連の強化処理ルーチンを含む。エンハンサパイプラインは通常、周囲画像の異常を修正し、点群内に追加のデータ点を提供するように機能する。エンハンサパイプラインの特定のブロックは、方法６００に関連してさらに説明される。

５３０で、パイプラインモジュール２３０は、強化データを少なくとも１つのモジュールに提供して、強化データからＬｉＤＡＲセンサの周囲環境についての決定を生成することを容易にする。パイプラインモジュール２３０は、車両の制御を容易にするため、自動運転モジュールなどの車両１００のローカルな部分に強化データを提供することができる。さらなる態様では、パイプラインモジュール２３０は、リモートクラウドベースのリソースとして機能して、ＬｉＤＡＲセンサ１２３を含む様々なデバイスの強化データを導出することができる。

エンハンサパイプラインに従ってセンサデータを処理する追加の態様が、図６に関連して説明される。図６は、センサデータを強化するためにセンサデータに対して処理パイプラインを実行することに関連する方法６００を示す。方法６００は、図１のリファインメントシステム１７０の観点から説明される。方法６００は、リファインメントシステム１７０と組み合わせて説明されるが、方法６００は、リファインメントシステム１７０内で実行されることに限定されず、むしろ、方法６００を実行することができるシステムの一例であることを理解されたい。

６１０で、パイプラインモジュール２３０は、センサデータ２５０を受信し、センサデータ２５０をエンハンサパイプラインに提供する。上記のように、センサデータ２５０は、通常、少なくとも点群と周囲画像を含み、これらは両方とも低解像度を有し、さらなる異常を含み得る。さらに、上記のように、パイプラインモジュール２３０は、センサデータ２５０が複数のＬｉＤＡＲに対してバッチ処理されるときに、さらなる処理を実行することができる。いずれの場合も、センサデータ２５０は、６１０でエンハンサパイプラインに供給される。

６２０で、パイプラインモジュール２３０は、エンハンサパイプラインを使用して、超解像ニューラルネットワークに従って、周囲画像を低解像度画像から高解像度画像に超解像する。超解像ニューラルネットワークは、ＧＡＮ、ＣＮＮ、又は別の形式のニューラルネットワークであり得る。結果として得られる高解像度画像は、例えば、画像に描かれているオブジェクトをより適切に識別するために、元の周囲画像に比べて改善された解像度を提供するように強化される。

６３０で、パイプラインモジュール２３０は、エンハンサパイプラインを使用して、周囲画像の一部分を予測する。パイプラインモジュール２３０は、ＧＡＮなどのエンハンサパイプライン内の画像補完ネットワークを使用して、強化画像の利用可能な領域から欠落領域を推測する。欠落している領域は、ＬｉＤＡＲセンサからの過飽和又はその他の知覚アーティファクトを含む異常の影響を受けている可能性がある。いずれの場合も、欠落領域を予測するための画像補完を実行すると、強化画像によって提供される情報が改善される。

６４０で、パイプラインモジュール２３０は、エンハンサパイプラインから画像着色プロセスを実行して、強化画像を色付けする。１つのアプローチでは、エンハンサパイプラインは、グレースケール画像をＲＧＢ画像に変換することによってグレースケール画像を色付けするように訓練されたＣＮＮをさらに含む。画像に色を追加すると、オブジェクトに関する追加の手がかりが得られ、さまざまな計算で使用する画像の全体的な品質が向上する。

６５０で、パイプラインモジュール２３０は、エンハンサパイプラインを使用して点群内に追加の深度データを生成する。１つのアプローチでは、パイプラインモジュールは、周囲画像から導出され色付けされた高解像度画像（つまり、前のステップからの強化画像）を使用して、点群を高密度化する。様々なアプローチにおいて、パイプラインモジュール２３０は、異なる形態のディープニューラルネットワーク（ＤＮＮ）を使用して、追加の深度データを生成することができる。いずれの場合も、パイプラインモジュール２３０は、周囲画像を高解像度画像に超解像すること、欠落部分を埋めるように高解像度画像を補完すること、高解像度画像を色付けすること、及び元のセンサデータ２５０から強化データを生成するため点群を高密度化することを含む、元のセンサデータ２５０に複数の異なる機能を実行する。

本開示のシステム及び方法がどのように機能するかのさらなる説明として、図７－９を検討する。図７は、ＬｉＤＡＲセンサ１２３が生成することができる元の周囲画像７１０の例を示す。エンハンサパイプラインは、画像超解像（例えば、単一画像超解像（ＳＩＳＲ））を使用して周囲画像７１０を処理し、元の画像７１０よりも高い解像度で強化画像７２０を生成する。しかしながら、強化画像７２０に示されるように、画像７１０に見られる、直射日光が元々存在することに起因する異常７３０が存在する。そのため、パイプラインモジュール２３０は、エンハンサパイプラインの画像補完ブロックを使用して、異常７３０に対応する欠落領域に何が存在するべきかを推測する。強化され補完された画像７４０に見られるように、以前に存在した異常７３０はもはや存在しない。

続く図８に、別の強化画像８１０が示されている。強化画像８１０は、グレースケール画像である。そのため、パイプラインモジュール２３０は、エンハンサパイプラインの画像着色ブロックを使用して、画像８２０で見られるように、グレースケールをＲＧＢフルカラーに変換する。画像８２０はグレースケールで再現されているが、それは色付けされた画像を表すことが意図されていることを理解されたい。最後に、図９は、点群９１０の深度補完を示している。前述のように、パイプラインモジュール２３０は、入力として、点群９１０と、超解像され、補完され、色付けされた強化画像８２０を受け入れる。次いで、パイプラインモジュール２３０は、エンハンサパイプラインの対応するブロックを使用して深度補完を実行することができる。結果として得られる超点群９２０は、追加の深度情報を含み、また、強化画像８２０と組み合わされて、画像品質表現を提供することができる。このようにして、リファインメントシステム１７０は、ＬｉＤＡＲセンサ１２３からの元のセンサデータ２５０を改善して、ＬｉＤＡＲセンサ１２３からの情報の有用性を向上するとともに、高品質のセンサデータを生成するための費用対効果の高いソリューションを提供する。

加えて、図１のリファインメントシステム１７０は、別個の集積回路及び／又は電子チップを用いて、様々な配置で構成することができることを理解されたい。そのような実施形態において、センサモジュール２２０は、別個の集積回路として具現化される。さらに、パイプラインモジュール２３０は、個々の集積回路上に具現化される。回路は、別個の回路間で信号の通信を提供するため、接続パスを介して接続される。もちろん、別個の集積回路が説明されているが、様々な実施形態では、回路は、共通の集積回路及び／又は集積回路基板に統合されても良い。さらに、集積回路は、より少ない集積回路に結合されるか、又はより多くの集積回路に分割されても良い。別の実施形態では、モジュール２２０及び２３０は、別個の特定用途向け集積回路に組み合わせても良い。さらなる実施形態では、モジュール２２０及び２３０に関連する機能の一部が、プロセッサによって実行可能なファームウェアとして具現化され、非一時的メモリに格納されても良い。さらに別の実施形態では、モジュール２２０及び２３０は、プロセッサ１１０のハードウェアコンポーネントとして統合される。

別の実施形態では、説明された方法及び／又はそれらの等価物は、コンピュータ実行可能命令で実装することができる。従って、一実施形態では、非一時的なコンピュータ可読媒体は、マシン（例えば、プロセッサ、コンピュータなど）による実行時に、マシン（及び／又は関連するコンポーネント）にその方法を実行させる、格納されたコンピュータ実行可能命令を備えるように構成される。

説明を簡単にするために、図に示されている方法は一連のブロックとして示され、説明されているが、いくつかのブロックは、示され説明されたものとは異なる順序で、及び／又は、他のブロックと同時に起こり得るので、方法はブロックの順序によって制限されないことを理解されたい。さらに、図示されたすべてのブロックよりも少ないブロックを使用して、例示的な方法を実行しても良い。ブロックは、結合され、又は複数のコンポーネントに分離され得る。さらに、追加の及び／又は代替の方法は、図示されていない追加のブロックを使用することができる。

次に、本明細書に開示されるシステム及び方法が動作することができる例示的な環境として、図１が詳細に説明される。場合によっては、車両１００は、自動運転モード、１つ以上の半自動運転動作モード、及び／又は手動モードの間で選択的に切り替えるように構成される。このような切り替えは、適切な方法で実行することができる。「手動モード」は、車両のナビゲート及び／又は操縦のすべて又は大部分が、ユーザ（例えば、人間の運転手）から受け取った入力に従って実行されることを意味する。

１つ以上の実施形態において、車両１００は自動運転車両である。本明細書で使用されるように、「自動運転車両」は、自動運転モードで動作する車両を指す。「自動運転モード」は、人間の運転者からの最小限の入力又は入力なしで、車両１００を制御するための１つ以上のコンピューティングシステムを使用して、走行ルートに沿って車両１００をナビゲートする及び／又は操縦することを指す。１つ以上の実施形態において、車両１００は完全に自動化される。一実施形態では、車両１００は、１つ以上のコンピューティングシステムが、走行ルートに沿って車両１００のナビゲート及び／又は操縦の一部を実行し、車両のオペレータ（すなわち、運転者）が、走行ルートに沿って車両１００のナビゲート及び／又は操縦の一部を実行するように車両に入力を与える、１つ以上の半自動運転モードを備えるように構成される。そのような半自動運転動作は、車両１００が定義された状態制約内に留まることを確実にするために、リファインメントシステム１７０によって実行される監視制御を含むことができる。

車両１００は、１つ以上のプロセッサ１１０を含むことができる。１つ以上の構成では、プロセッサ１１０は、車両１００のメインプロセッサであり得る。例えば、プロセッサ１１０は、電子制御ユニット（ＥＣＵ）とすることができる。車両１００は、１つ以上のタイプのデータを格納するための１つ以上のデータストア１１５（例えば、データストア２４０）を含むことができる。データストア１１５は、揮発性及び／又は不揮発性メモリを含むことができる。適切なデータストア１１５の例は、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（リードオンリーメモリ）、ＰＲＯＭ（プログラマブルリードオンリーメモリ）、ＥＰＲＯＭ（消去可能プログラマブルリードオンリーメモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルリードオンリーメモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、又は任意の他の適切な記憶媒体、あるいはそれらの任意の組み合わせを含むことができる。データストア１１５は、プロセッサ１１０の構成要素であり得るか、又はデータストア１１５は、プロセッサ１１０による使用のためにプロセッサ１１０に動作可能に接続され得る。この説明全体で使用される「動作可能に接続される」という用語は、直接的な物理的接触のない接続を含む、直接的又は間接的な接続を含むことができる。

１つ以上の構成において、１つ以上のデータストア１１５は、地図データを含むことができる。地図データには、1つ以上の地理的領域のマップを含めることができる。いくつかの例では、地図データは、１つ以上の地理的領域における道路、交通管制装置、道路標示、構造、特徴、及び／又はランドマークに関する情報（例えば、メタデータ、ラベルなど）を含むことができる。いくつかの例では、地図データは航空写真／衛星写真を含むことができる。いくつかの例では、地図データは、３６０度の地上ビューを含む、領域の地上ビューを含むことができる。地図データは、地図データに含まれる１つ以上のアイテムの、及び／又は地図データに含まれる他のアイテムとの相対的な測定値、寸法、距離、及び／又は情報を含むことができる。地図データは、道路の形状に関する情報を有するデジタル地図を含むことができる。さらに、地図データは、建物、縁石、柱などの相対的な位置に関する情報など、特徴ベースの地図データを含むことができる。１つ以上の構成において、地図データは、１つ以上の地形図を含むことができる。１つ以上の構成において、地図データは、１つ以上の静的な障害物マップを含むことができる。静的障害物マップは、１つ以上の地理的領域内に位置する１つ以上の静的障害物に関する情報を含むことができる。「静的障害物」は、その位置が一定期間にわたって変化しないか又は実質的に変化しない、及び／又はそのサイズが一定期間にわたって変化しないか又は実質的に変化しない物理的物体である。静的障害物の例には、樹木、建物、縁石、柵、手すり、中央分離帯、電柱、彫像、記念碑、看板、ベンチ、家具、郵便受け、大きな岩、丘などが含まれる。静的障害物は、地面の上に伸びる物体であり得る。

１つ以上のデータストア１１５は、センサデータ（例えば、センサデータ２５０）を含むことができる。この場合、「センサデータ」は、車両１００に装備されているセンサからの任意の情報を意味し、そのようなセンサの能力やその他の情報を含む。

上記のように、車両１００は、センサシステム１２０を含むことができる。センサシステム１２０は、１つ以上のセンサを含むことができる。「センサ」とは、何かを検出、認識、及び／又は感知できるデバイス、コンポーネント、及び／又はシステムを意味する。１つ以上のセンサは、リアルタイムで動作するように構成することができる。本明細書で使用される場合、「リアルタイム」という用語は、ユーザ又はシステムが特定のプロセス又は判断を行うのに十分な即時性があると感じる、又はプロセッサが何らかの外部プロセスに追従することを可能にする処理応答性のレベルを意味する。

センサシステム１２０が複数のセンサを含む構成では、センサは互いに独立して動作することができる。あるいは、２つ以上のセンサが互いに組み合わされて動作することもできる。このような場合、２つ以上のセンサはセンサネットワークを形成することができる。センサシステム１２０及び／又は１つ以上のセンサは、プロセッサ１１０、データストア１１５、及び／又は車両１００の別の要素（図１に示される要素のいずれかを含む）に動作可能に接続することができる。センサシステム１２０は、車両１００の外部環境の少なくとも一部のデータを取得することができる。

センサシステム１２０は、任意の適切なタイプのセンサを含むことができる。本明細書では、異なるタイプのセンサの様々な例が説明される。しかしながら、実施形態は、説明される特定のセンサに限定されないことが理解されよう。センサシステム１２０は、１つ以上の車両センサ１２１を含むことができる。車両センサ１２１は、車両１００自体又は車両１００の内部コンパートメントに関する情報を検出、判断、及び／又は感知することができる。１つ以上の構成では、車両センサ１２１は、例えば、慣性加速度に基づくなどして、車両１００の位置及び向きの変化を検出及び／又は感知するように構成することができる。１つ以上の構成では、車両センサ１２１は、１つ以上の加速度計、１つ以上のジャイロスコープ、慣性測定ユニット（ＩＭＵ）、推測航法システム、全地球航法衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム、及び／又は他の適切なセンサを含むことができる。車両センサ１２１は、車両１００の１つ以上の特性を検出及び／又は感知するように構成することができる。１つ以上の構成では、車両センサ１２１は、車両１００の現在の速度を決定するための速度計を含むことができる。さらに、車両センサシステム１２１は、座席内の圧力／重量センサ、シートベルトセンサ、カメラなどのような、乗員室にわたるセンサを含むことができる。

代わりに、あるいは加えて、センサシステム１２０は、運転環境データを取得及び／又は感知するように構成された１つ以上の環境センサ１２２を含むことができる。「運転環境データ」には、自動運転車が置かれている外部環境又はその1つ以上の部分に関するデータ又は情報が含まれる。例えば、１つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物及び／又はそのような障害物に関する情報／データを検出及び／又は感知するように構成することができる。そのような障害物は、静止物体及び／又は動的物体であり得る。１つ以上の環境センサ１２２は、例えば、車線マーカー、標識、交通信号機、交通標識、車線、横断歩道、車両１００に近接する縁石、道路外の物体などのような、車両１００の外部環境内の他のものを検出及び／又は感知するように構成することができる。

本明細書では、センサシステム１２０のセンサの様々な例が説明される。例示的なセンサは、１つ以上の環境センサ１２２及び／又は１つ以上の車両センサ１２１の一部であり得る。しかしながら、実施形態は、説明される特定のセンサに限定されないことが理解されよう。一例として、１つ以上の構成において、センサシステム１２０は、１つ以上のレーダーセンサ、１つ以上のＬＩＤＡＲセンサ、１つ以上のソナーセンサ、及び／又は１つ以上のカメラを含むことができる。１つ以上の構成において、１つ以上のカメラは、ハイダイナミックレンジ（ＨＤＲ）カメラ又は赤外線（ＩＲ）カメラであり得る。

車両１００は、入力システム１３０を含むことができる。「入力システム」は、限定されないが、情報／データをマシンに入力することを可能にするデバイス、コンポーネント、システム、要素又は構成もしくはそれらのグループを含む。入力システム１３０は、車両の乗員（例えば、運転者又は乗客）からの入力を受け取ることができる。車両１００は、出力システム１４０を含むことができる。「出力システム」は、情報／データを車両の乗員（例えば、人、車両の乗客など）に提示することを可能にする任意のデバイス、コンポーネント、又は構成もしくはそれらのグループを含む。

車両１００は、１つ以上の車両システム１５０を含むことができる。１つ以上の車両システム１５０の様々な例が図１に示されているが、車両１００は、提供された例に示されているものとは異なるシステムの組み合わせを含むことができる。一例において、車両１００は、推進システム、ブレーキシステム、ステアリングシステム、スロットルシステム、トランスミッションシステム、シグナリングシステム、ナビゲーションシステムなどを含むことができる。記載されたシステムは、別個に又は組み合わせて、１つ以上のデバイス、コンポーネント、及び／又はそれらの組み合わせを含むことができる。

例として、ナビゲーションシステムは、車両１００の地理的位置を決定するように、及び／又は車両１００の走行ルートを決定するように構成された、１つ以上のデバイス、アプリケーション、及び／又はそれらの組み合わせを含むことができる。ナビゲーションシステムは、車両１００の走行ルートを決定するための１つ以上のマッピングアプリケーションを含むことができる。ナビゲーションシステムは、全地球測位システム、ローカル測位システム、又は地理的位置システムを含むことができる。

プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、様々な車両システム１５０及び／又はそれらの個々のコンポーネントと通信するように、動作可能に接続することができる。例えば、図１に戻ると、プロセッサ１１０及び／又は支援システム１６０は、車両１００の動き、速度、操縦、進行方向、向きなどを制御するために、様々な車両システム１５０と情報を送受信するように通信することができる。プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、これらの車両システム１５０の一部又はすべてを制御することができ、従って、部分的又は完全な自動運転とすることができる。

プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、様々な車両システム１５０及び／又はそれらの個々のコンポーネントと通信するように、動作可能に接続することができる。例えば、図１に戻ると、プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、車両１００の動き、速度、操縦、進行方向、向きなどを制御するために、様々な車両システム１５０と情報を送受信するように通信することができる。プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、これらの車両システム１５０の一部又はすべてを制御することができる。

プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、１つ以上の車両システム１５０及び／又はそのコンポーネントを制御することによって、車両１００のナビゲート及び／又は操縦を制御するように動作可能であり得る。例えば、自動運転モードで動作するとき、プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、車両１００の方向及び／又は速度を制御することができる。プロセッサ１１０、リファインメントシステム１７０、及び／又は支援システム１６０は、車両１００を加速させ（例えば、エンジンに提供されるエネルギーの供給を増加させることによって）、減速させ（例えば、エンジンへのエネルギーの供給を減少させることによって、及び／又はブレーキをかけることによって）、及び／又は方向を変化させる（例えば、２つの前輪の向きを変えることによって）ことができる。

さらに、リファインメントシステム１７０及び／又は支援システム１６０は、様々な運転関連タスクを実行するように機能することができる。車両１００は、１つ以上のアクチュエータを含むことができる。アクチュエータは、プロセッサ１１０及び／又は支援システム１６０からの信号又は他の入力の受信に応答して、車両システム又はそれらのコンポーネントの１つ以上を修正、調整、及び／又は変更するように動作可能な任意の要素又は要素の組み合わせであり得る。任意の適切なアクチュエータが使用可能である。例えば、１つ以上のアクチュエータは、いくつかの可能性を挙げれば、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、及び／又は圧電アクチュエータを含むことができる。

車両１００は、１つ以上のモジュールを含むことができ、その少なくともいくつかは本明細書で説明される。モジュールは、プロセッサ１１０による実行時に、本明細書で説明される様々なプロセスのうちの１つ以上を実行するコンピュータ可読プログラムコードとして実現され得る。１つ以上のモジュールは、プロセッサ１１０のコンポーネントであり得るか、又は１つ以上のモジュールは、プロセッサ１１０が動作可能に接続される他の処理システムで実行され得る、及び／又は分散され得る。モジュールは、１つ以上のプロセッサ１１０によって実行可能な命令（例えば、プログラムロジック）を含むことができる。代わりに又は加えて、１つ以上のデータストア１１５が、そのような命令を含んでも良い。

１つ以上の構成において、本明細書に記載の１つ以上のモジュールは、人工又は計算知能要素、例えば、ニューラルネットワーク、ファジー論理又は他の機械学習アルゴリズムを含むことができる。さらに、１つ以上の構成では、１つ以上のモジュールを、本明細書に記載の複数のモジュールに分散させることができる。１つ以上の構成では、本明細書に記載の２つ以上のモジュールを組み合わせて単一のモジュールにすることができる。

車両１００は、１つ以上の支援システム１６０を含むことができる。支援システム１６０は、センサシステム１２０、及び／又は、車両１００及び／又は車両１００の外部環境に関連する情報を取得することができる任意の他のタイプのシステムからデータを受信するように構成することができる。１つ以上の構成において、支援システム１６０は、そのようなデータを使用して、１つ以上の運転シーンモデルを生成することができる。支援システム１６０は、車両１００の位置及び速度を決定することができる。支援システム１６０は、障害物の位置、又は交通標識、樹木、低木、隣接車両、歩行者などを含む他の環境的特徴を決定することができる。

支援システム１６０は、プロセッサ１１０、及び／又は、車両１００の位置及び向きを推定する本明細書に記載された１つ以上のモジュールによる使用のための車両１００の外部環境内の障害物の位置情報、複数の衛星からの信号に基づくグローバル座標における車両位置、又は、車両１００の現在の状態を決定するため、もしくは、地図を作成するか、地図データに対する車両１００の位置を決定するかのいずれかで使用するように環境に対する車両１００の位置を決定するために使用され得る任意の他のデータ及び／又は信号を受信し、及び／又は、決定するように構成され得る。

支援システム１６０は、独立して、又はリファインメントシステム１７０と組み合わせて、センサシステム１２０によって取得されたデータ、運転シーンモデル、及び／又はモジュール２３０によって実行されるセンサデータ２５０からの決定などの任意の他の適切なソースからのデータに基づいて、走行経路、車両１００の現在の自動運転操作、将来の自動運転操作、及び／又は現在の自動運転操作の修正を決定するように構成され得る。「運転操作」とは、車両の動きに影響を与える1つ以上のアクションを意味する。運転操作の例には、いくつかの可能性を挙げれば、加速、減速、ブレーキ、旋回、車両１００の横方向への移動、走行車線の変更、走行車線への合流、及び／又は後退が含まれる。支援システム１６０は、決定された運転操作を実施するように構成することができる。支援システム１６０は、直接的又は間接的に、そのような自動運転操作を実施させることができる。本明細書で使用される場合、「させる」又は「させている」とは、直接的又は間接的な方法で、イベントやアクションが起こるようにさせる、命令する、指示する、及び／又は可能にする、もしくは、少なくともそのようなイベントやアクションが起こりうる状態にすることを意味する。支援システム１６０は、様々な車両機能を実行するように、及び／又は車両１００又はその１つ以上のシステム（例えば、車両システム１５０の１つ以上）にデータを送信し、そこからデータを受信し、それと相互作用し、及び／又はそれを制御するように構成することができる。

詳細な実施形態が本明細書に開示される。しかし、開示された実施形態は例としてのみ意図されていることを理解されたい。従って、本明細書で開示される特定の構造及び機能の詳細は、限定として解釈されるべきではなく、単に特許請求の範囲の基礎として、及び、実質的に任意の適切な詳細構造において本明細書の態様を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。さらに、本明細書で使用される用語及び語句は、限定することを意図するものではなく、可能な実施例の理解可能な説明を提供することを意図している。種々の実施形態が図１から図９に示されているが、実施形態は、図示された構造又は用途に限定されない。

図中のフローチャート及びブロック図は、様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施例のアーキテクチャ、機能、及び動作を示している。これに関して、フローチャート又はブロック図の各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含むモジュール、セグメント、又はコードの一部を表すことができる。いくつかの代替の実施例では、ブロックに示された機能が、図に記載されている順序以外で発生する可能性があることにも注意されたい。例えば、連続して示された２つのブロックが、実際には、実質的に同時に実行されても良く、又はそれらのブロックが、関連する機能に応じて、ときには逆の順序で実行されても良い。

上述したシステム、コンポーネント、及び／又はプロセスは、ハードウェア又はハードウェアとソフトウェアの組み合わせで実現でき、１つの処理システムにおいて中央集権方式で、又は相互接続された複数の処理システムに異なる要素が分散された分散方式で実現することができる。本明細書に記載の方法を実行するように適合されたあらゆる種類の処理システム又は別の装置が適している。ハードウェア及びソフトウェアの組み合わせは、ロードされ、実行されるときに、本明細書に記載の方法を実行するように処理システムを制御するコンピュータで使用可能なプログラムコードを備えた処理システムであり得る。システム、コンポーネント、及び／又はプロセスは、本明細書に記載された方法及びプロセスを実行するためにマシンによって実行可能な命令のプログラムを目に見える方法で具体化した、マシンによって読み取り可能な、コンピュータプログラム製品又は他のデータプログラムストレージデバイスなどのコンピュータ読み取り可能なストレージに埋め込むこともできる。これらの要素は、本明細書で説明した方法の実行を可能にするすべての特徴を備えた、処理システムにロードされたときにこれらの方法を実行することができるアプリケーション製品に組み込むこともできる。

さらに、本明細書で説明された構成は、例えば記憶されるなどして、具体化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されるコンピュータプログラム製品の形態をとることができる。１つ以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。「コンピュータ可読記憶媒体」という語句は、非一時的な記憶媒体を意味する。コンピュータ可読媒体は、限定されるものではないが、不揮発性媒体及び揮発性媒体を含む、形態をとることができる。不揮発性媒体には、例えば、光ディスク、磁気ディスクなどが含まれる。揮発性媒体には、例えば、半導体メモリ、ダイナミックメモリなどが含まれる。そのようなコンピュータ可読媒体の例には、限定されるものではないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＡＳＩＣ、ＣＤ、他の光学媒体、ＲＡＭ、ＲＯＭ、メモリチップ又はカード、メモリスティック、及び、コンピュータ、プロセッサ、又は他の電子デバイスが読み取ることが可能な他の媒体が含まれる。この明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって、もしくはそれに関連して使用するためのプログラムを含む、又は格納できる任意の有形の媒体であってもよい。

以下は、本明細書で使用される選択された用語の定義を含む。定義には、用語の範囲内にあり、様々な実施例に使用できるコンポーネントの様々な例、及び／又は形式が含まれる。これらの例は限定することを意図していない。用語の単数形と複数形の両方が定義内に含まれる場合がある。

「一実施形態」、「実施形態」、「一例」、「例」などへの言及は、そのように記載された実施形態又は例が、特定の特徴、構造、特性、特質、要素、又は限定を含むかもしれないが、すべての実施形態又は例が、必ずしも、その特定の特徴、構造、特性、特質、要素、又は限定を含むわけではない。さらに、「一実施形態において」という語句の繰り返しの使用は、同じ実施形態を指す場合もあるが、必ずしもそうとは限らない。

本明細書で使用される「モジュール」には、機能又はアクションを実行するように構成された、及び／又は、別のロジック、方法、及び／又はシステムから機能又はアクションを引き起こすように構成された、コンピュータ又は電気ハードウェアコンポーネント、ファームウェア、命令を保存する非一時的なコンピュータ可読媒体、及び／又は、これらのコンポーネントの組み合わせが含まれる。モジュールには、アルゴリズムによって制御されるマイクロプロセッサ、ディスクリートロジック回路（ＡＳＩＣなど）、アナログ回路、デジタル回路、プログラムされたロジックデバイス、実行時にアルゴリズムを実行する命令を含むメモリデバイスなどが含まれてもよい。モジュールは、１つ以上の実施形態において、１つ以上のＣＭＯＳゲート、ゲートの組み合わせ、又は他の回路部品を含む。複数のモジュールが説明されている場合、１つ以上の実施形態は、複数のモジュールを１つの物理的なモジュールコンポーネントに組み込むことを含む。同様に、単一のモジュールが説明されている場合、１つ以上の実施形態は、単一のモジュールを複数の物理的コンポーネントに分散してもよい。

さらに、本明細書で使用されるモジュールには、特定のタスクを実行したり、特定のデータタイプを実現したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。さらなる態様において、メモリは一般に、言及されたモジュールを格納する。モジュールに関連付けられるメモリは、プロセッサ内に埋め込まれたバッファ又はキャッシュ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、又は別の適切な電子記憶媒体であってもよい。さらに別の態様では、本開示によって想定されるモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェアコンポーネント、プログラマブルロジックアレイ（ＰＬＡ）、又は開示された機能を実行するための定義された設定セット（例えば、命令）が埋め込まれた別の適切なハードウェアコンポーネントとして実現される。

１つ以上の構成において、本明細書に記載のモジュールの１つ以上は、人工又はコンピュータ知能要素、例えばニューラルネットワーク、ファジー論理、又は他の機械学習アルゴリズムを含むことができる。さらに、１つ以上の構成において、モジュールの１つ以上を、本明細書に記載の複数のモジュールに分散させることができる。１つ以上の構成では、本明細書に記載のモジュールの２つ以上が、単一のモジュールに組み合わせることができる。

コンピュータ可読媒体に具現化されるプログラムコードは、限定されるものではないが、無線、有線、光ファイバー、ケーブル、ＲＦなど、又はこれらの任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信されてもよい。本構成の態様の動作を実行するためのコンピュータプログラムコードは、ｊａｖａ（登録商標）、スモールトーク、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、あるいは、一部をユーザのコンピュータ上でかつ一部を遠隔コンピュータ上で、もしくは、完全に遠隔コンピュータ又はサーバ上で実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、又は、その接続は、外部コンピュータになされてもよい（例えば、インターネットサービスプロバイダを使用したインターネット経由）。

本明細書で使用される「ａ」及び「ａｎ」という用語は、１つではなく、１つ以上として定義される。本明細書で使用される「複数」という用語は、２つではなく、２つ以上として定義される。本明細書で使用される「別の」という用語は、少なくとも２番目又はそれ以上として定義される。本明細書で使用される「含む」及び／又は「有する」という用語は、包含する（すなわち、オープン言語）と定義される。本明細書で使用される「...及び...の少なくとも１つ」というフレーズは、関連する列挙されたアイテムの１つ以上の任意の及び全ての可能な組み合わせを指し、包含する。例として、「Ａ、Ｂ、及びＣの少なくとも１つ」というフレーズは、Ａのみ、Ｂのみ、Ｃのみ、又はそれらの任意の組み合わせ（たとえば、ＡＢ、ＡＣ、ＢＣ又はＡＢＣ）を含む。

本明細書の態様は、その主旨又は本質的な特質から逸脱することなく、他の形態で具現化することができる。従って、本明細書の範囲を示すものとして、前述の明細書ではなく、以下の特許請求の範囲を参照すべきである。

１００：車両、１１０：プロセッサ、１１５：データストア、１２０：センサシステム、１２１：車両センサ、１２２：環境センサ、１２３：ＬｉＤＡＲセンサ、１３０：入力システム、１４０：出力システム、１５０：車両システム、１６０：支援システム、１７０：リファインメントシステム、２１０：メモリ、２２０：センサモジュール、２３０：パイプラインモジュール、２４０：データストア、２５０：センサデータ、２６０：システムパラメータ、３００：エンハンサパイプライン、３１０：画像超解像モジュール、３２０：画像補完モジュール、３３０：画像着色器モジュール、３４０：深度補完モジュール、３５０：深度推定モジュール、３６０：強化画像、３７０：強化点群、３８０：疑似点群、４００：バッチ処理アーキテクチャ：４１０：シンクロナイザ、４２０：入力バッチャ、４３０：強化画像、４４０：強化点群、４５０：疑似点群、４６０：点群スティッチャ

Claims (20)

1. １つ以上のプロセッサと、
   １つ以上のプロセッサに通信可能に結合されるメモリと、を備え、
   メモリは、
   １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得させる命令を含むセンサモジュールと、
   １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、点群及び周囲画像を処理させ、一連の処理ルーチンを含むエンハンサパイプラインに従って、少なくとも周囲画像の欠落部分を補完した強化データを生成する命令を含むパイプラインモジュールと、を格納し、
   パイプラインモジュールは、強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも1つのモジュールに提供するための命令を含む、ＬｉＤＡＲセンサの出力を強化するリファインメントシステム。
2. パイプラインモジュールは、車両の制御を容易にするために、強化データを自動運転モジュールに提供するための命令を含む、強化データを少なくとも1つのモジュールに提供するための命令を含み、
   パイプラインモジュールは、周囲画像における異常を少なくとも修正するための命令を含むエンハンサパイプラインに従って、点群及び周囲画像を処理して、少なくとも周囲画像から導出される可視光画像とともに強化データを生成する命令を含む、請求項１に記載のリファインメントシステム。
3. パイプラインモジュールは、超解像ニューラルネットワークに従って周囲画像を低解像度画像から高解像度画像に超解像する命令を含む、点群及び周囲画像を処理する命令を含む、請求項１に記載のリファインメントシステム。
4. パイプラインモジュールは、周囲画像から導出される高解像度画像と敵対的生成ネットワーク（generative adversarial network : ＧＡＮ）を使用して、異常の影響を受けている周囲画像の部分を予測する命令を含む、点群及び周囲画像を処理する命令を含み、そして、
   パイプラインモジュールは、異常の結果として欠落している周囲画像のセクションを予測する命令を含む、周囲画像の部分を予測する命令を含む、請求項１に記載のリファインメントシステム。
5. パイプラインモジュールは、畳込みニューラルネットワーク（convolutional neural network : CNN）を使用して、周囲画像から導出される高解像度画像をＲＧＢ画像に変換することにより周囲画像を色付けする命令を含む、点群及び周囲画像を処理する命令を含む、請求項１に記載のリファインメントシステム。
6. パイプラインモジュールは、周囲画像から導出され色付けされた高解像度画像を使用して、深層ニューラルネットワーク（deep neural network : DNN）に従って点群を高密度化する命令を含む、点群及び周囲画像を処理する命令を含む、請求項１に記載のリファインメントシステム。
7. センサモジュールは、複数のセンサから点群及び周囲画像のバッチを取得し、そのバッチに対する強化データをまとめて生成するために、そのバッチをバッチ処理する命令を含む、点群及び周囲画像を取得して処理する命令を含む、請求項１に記載のリファインメントシステム。
8. パイプラインモジュールは、周囲画像を高解像度画像に超解像し、高解像度画像を色付けし、高解像度画像を欠落部分を埋めるように補完し、そして、点群を高密度化する命令を含むエンハンサパイプラインに従って点群及び周囲画像を処理する命令を含み、
   センサモジュールは、点群及び周囲画像を一緒に取得するようにＬｉＤＡＲセンサを制御する命令を含む、点群及び周囲画像を取得する命令を含み、ＬｉＤＡＲセンサは、単一光子アバランシェダイオード（ＳＰＡＤ）ＬｉＤＡＲである、請求項１に記載のリファインメントシステム。
9. １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、
   ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得させ、
   一連の処理ルーチンを含むエンハンサパイプラインに従って、少なくとも周囲画像の欠落部分を補完した強化データを生成するように点群及び周囲画像を処理させ、そして、
   強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも1つのモジュールに提供させる、
   ＬｉＤＡＲセンサの出力を強化するための命令を格納する非一時的コンピュータ可読媒体。
10. 強化データを少なくとも１つのモジュールに提供するための命令は、車両の制御を容易にするために、強化データを自動運転モジュールに提供する命令を含み、及び、
    エンハンサパイプラインに従って点群及び周囲画像を処理する命令は、周囲画像における異常を少なくとも修正して、少なくとも周囲画像から導出される可視光画像とともに強化データを生成する命令を含む、請求項９に記載の非一時的コンピュータ可読媒体。
11. 命令は、周囲画像を高解像度画像に超解像し、高解像度画像を色付けし、高解像度画像を欠落部分を埋めるように補完し、そして、点群を高密度化する命令を含むエンハンサパイプラインに従って点群及び周囲画像を処理する命令を含む、請求項９に記載の非一時的コンピュータ可読媒体。
12. 点群及び周囲画像を取得する命令は、点群及び周囲画像を一緒に取得するようにＬｉＤＡＲセンサを制御する命令を含み、ＬｉＤＡＲセンサは、単一光子アバランシェダイオード（ＳＰＡＤ）ＬｉＤＡＲである、請求項９に記載の非一時的コンピュータ可読媒体。
13. ＬｉＤＡＲセンサを使用して、点群及び周囲画像を取得すること、
    点群及び周囲画像を処理して、一連の処理ルーチンを含むエンハンサパイプラインに従って、少なくとも周囲画像の欠落部分を補完した強化データを生成すること、
    強化データからＬｉＤＡＲセンサの周囲環境に関する決定を生成することを容易にするために、強化データを少なくとも１つのモジュールに提供すること、を備えるＬｉＤＡＲセンサの出力を強化する方法。
14. 強化データを少なくとも1つのモジュールに提供することは、車両の制御を容易にするために、強化データを自動運転モジュールに提供することを含み、そして、
    エンハンサパイプラインに従って点群及び周囲画像を処理することは、周囲画像における異常を少なくとも修正して、少なくとも周囲画像から導出される可視光画像とともに強化データを生成することを含む、請求項１３に記載の方法。
15. 点群及び周囲画像を処理することは、超解像ニューラルネットワークに従って周囲画像を低解像度画像から高解像度画像に超解像することを含む、請求項１３に記載の方法。
16. 点群及び周囲画像を処理することは、周囲画像から導出される高解像度画像と敵対的生成ネットワーク（generative adversarial network : ＧＡＮ）を使用して、異常の影響を受けている周囲画像の部分を予測することを含み、そして、周囲画像の部分を予測することは、異常の結果として欠落している周囲画像のセクションを予測することを含む、請求項１３に記載の方法。
17. 点群及び周囲画像を処理することは、畳込みニューラルネットワーク（convolutional neural network : CNN）を使用して、周囲画像から導出される高解像度画像をＲＧＢ画像に変換することにより周囲画像を色付けすることを含む、請求項１３に記載の方法。
18. 点群及び周囲画像を処理することは、周囲画像から導出され色付けされた高解像度画像を使用して、深層ニューラルネットワーク（deep neural network : DNN）に従って点群を高密度化することを含む、請求項１３に記載の方法。
19. 点群及び周囲画像を取得して処理することは、複数のセンサから点群及び周囲画像のバッチを取得し、そのバッチに対する強化データをまとめて生成するために、そのバッチをバッチ処理することを含む、請求項１３に記載の方法。
20. エンハンサパイプラインに従って点群及び周囲画像を処理することは、周囲画像を高解像度画像に超解像し、高解像度画像を色付けし、高解像度画像を欠落部分を埋めるように補完し、そして、点群を高密度化することを含み、
    点群及び周囲画像を取得することは、点群及び周囲画像を一緒に取得するようにＬｉＤＡＲセンサを制御することを含み、ＬｉＤＡＲセンサは、単一光子アバランシェダイオード（ＳＰＡＤ）ＬｉＤＡＲである、請求項１３に記載の方法。

Images