JP7422747B2 - 画像スキャンラインのタイムスタンプ - Google Patents

Description

本発明は、画像スキャンラインのタイムスタンプに関する。

［関連出願の相互参照］
このＰＣＴ国際出願は、２０１８年９月２６日に出願された「画像スキャンラインのタイムスタンプ」と題された米国特許出願第１６／１４２，８６５号、および２０１８年９月２６日に出願された「マルチセンサデータキャプチャ同期」と題された米国特許出願第１６／１４２，９６６号の優先権を主張し、これらは両方とも参照により本明細書に組み込まれる。

様々な方法、装置、およびシステムが画像センサからの画像データを利用する。例えば、ロボットプラットフォーム（例えば、自律車両）は、画像データおよび／または他のセンサデータを使用して、他の車両、建物、歩行者などのような障害物を含む環境を通り走行し得る。いくつかの例では、時間情報（例えば、タイムスタンプ）は画像フレーム全体に関連付けられ得、これは、画像フレームの特定の部分のキャプチャと他のセンサからのデータの特定の部分との間の時間的差異に起因する画像フレームの特定の部分のキャプチャを他のセンサからのデータの特定の部分に不正確に関連付けるといった、様々な課題を提示することがある。

詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は参照番号が最初に現れる図を特定している。異なる図面における同一の参照番号の使用は、類似、または同一のコンポーネント、または特徴を示す。
図１は、本開示の例による、画像フレーム（例えば、ローリングシャッター画像キャプチャの）のスキャンラインに時間データを追加するための１つまたは複数のタイムスタンプコンポーネントを有する車両を含む例示的な環境を示す。 図２は、本開示の例による、画像フレームのスキャンラインに（例えば、タイムスタンプコンポーネントを介して）追加される時間データの例を示す概略図である。 図３は、本開示の例による、スキャンラインへの時間データの追加、およびスキャンラインに関連付けられたラインデータの端部の遅延および／またはシフトを含む、例示的なプロセスフローを実施するための例示的なコンポーネントを示すブロック図である。 図４は、本開示の例による、スキャンラインと関連付けるための時間データを取得することを含む、例示的なプロセスフローを実施するための例示的なコンポーネントを示すブロック図である。 図５Ａは、本開示の例による、画像センサ視野のローリングシャッター画像キャプチャをＬＩＤＡＲセンサ視野のＬＩＤＡＲデータキャプチャと同期させる例を示す概略図である。 図５Ｂは、本開示の例による、複数の画像センサ視野のローリングシャッター画像キャプチャをＬＩＤＡＲセンサ視野のＬＩＤＡＲデータキャプチャと同期させる例を示す概略図である。 図６は、本開示の例による、スキャンライン時間データを使用し、歪んだ画像を是正する画像処理コンポーネントの例を示す概略ブロック図である。 図７は、本開示の例による、画像フレームの１つまたは複数のスキャンラインに時間データを追加するための例示的なプロセスを示すフロー図である。 図８は、本開示の例による、画像フレームのスキャンラインに追加された時間データに少なくとも部分的に基づいて、複数のセンサからのデータ間の関連付けを決定するための例示的なプロセスを示すフロー図である。 図９は、本開示の例による、歪曲効果を是正または補正するために、画像フレームのスキャンラインに追加された時間データに少なくとも部分的に基づいて、画像を修正するための例示的なプロセスを示すフロー図である。 図１０は、本開示の例による、第１の視野（第１のセンサに関連付けられている）のローリングシャッター画像キャプチャを第２の視野（第２のセンサに関連付けられている）のデータキャプチャと同期させるための例示的なプロセスを示すフロー図である。 図１１は、本開示の例に従って、本明細書に記載の技術を実装するための例示的なシステムのブロック図である。

一部のシステムでは、時間情報（タイムスタンプなど）が画像フレーム全体に関連付けられ得る。そのような時間情報は、画像フレームの特定の部分のキャプチャを他のセンサからのデータの特定の部分と正確に関連付けるシステムの能力を、例えば、画像フレームの特定の部分のキャプチャと他のセンサからのデータの特定の部分との間の時間的差異により、制限し得る。さらに、いくつかの例では、単一のタイムスタンプが画像全体に関連付けられているため、追加のプロセスは（例えば、カメラ較正、３Ｄ再構成、追跡、特徴抽出など）不正確に実行されるか、そうでなければ実行不可能である。本開示は、キャプチャ時に画像の一部（例えば、ローリングシャッター画像キャプチャ中の画像フレームのスキャンライン）に時間データを追加するための技術を対象とする。さらに、本開示は、複数のセンサによるデータキャプチャを同期させるための技術を対象とする。特に、本明細書で論じられる技術は、画像フレームの特定の部分を別のセンサ（例えば、ＬＩＤＡＲなどの別のセンサモダリティ、および／または他の画像ベースのセンサシステム）からのデータの特定の部分と正確に位置合わせすることを可能にし得る。

いくつかの例では、車両（例えば、自律車両）の画像センサは画像センサの第１の視野内のシーンの画像をキャプチャし得る。いくつかの例では、画像キャプチャはシーンを横切って（例えば、垂直または水平に）スキャンすることによって実行され、ローリングシャッター画像キャプチャなど、シーンの別の部分（例えば、第２のスキャンライン）をキャプチャする前に、シーンの一部（例えば、第１のスキャンライン）をキャプチャし得る。ローリングシャッター画像キャプチャは画像フレームのスキャンラインを生成し得る。スキャンラインはスキャンラインデータ（例えば、ピクセルデータ）およびラインデータの端部を含み得る。ラインデータの端部はスキャンラインの端部を示し得る。

様々な例において、車両のコンピューティングシステムはスキャンラインを受信し、それぞれの時間データ（例えば、タイムスタンプ）を１つまたは複数のスキャンラインに追加し得る。例えば、コンピューティングシステムは各スキャンラインに時間データを追加し得る。いくつかの例では、時間データがスキャンラインデータとラインデータの端部との間にあるように、時間データがスキャンラインに追加され得る。いくつかの例によれば、スキャンラインに関連付けられたラインデータの端部は、例えば、時間データの追加に対応するために、第１の位置から第２の位置にシフトされ得る。

いくつかの例では、車両のＬＩＤＡＲセンサは画像センサの第１の視野と少なくとも部分的に重なり得るＬＩＤＡＲセンサの第２の視野内のＬＩＤＡＲデータ（例えば、ＬＩＤＡＲポイント）をキャプチャし得る。いくつかの実装形態によれば、コンピューティングシステムは、スキャンラインに追加された時間データに、およびＬＩＤＡＲデータの収集に関連付けられたタイムスタンプに少なくとも部分的に基づいて（および／またはＬＩＤＡＲデータの一部に関連付けられた時間データ少なくとも部分的に基づいて）、ＬＩＤＡＲデータの少なくとも一部をスキャンラインの少なくとも一部に関連付け得る。さらに、コンピューティングシステムは、ＬＩＤＡＲデータの一部とスキャンラインの一部との関連付けに少なくとも部分的に基づいて、画像データをＬＩＤＡＲデータと関連付け（例えば、融合）、関連データを生成し得る。関連データを、いくつかの例では、車両の動きを制御するための入力として使用し得る。

いくつかの実装形態では、コンピューティングシステムは、是正された画像を生成するために、１つまたは複数のスキャンラインに追加された時間データを使用し歪んだ画像を修正し得る。例えば、歪んだ画像はローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされる１つまたは複数の歪曲効果を含み得る。非限定的な例として、歪曲効果は、ぐらつき、スキュー、空間的エイリアシング、および／または時間的エイリアシングなどを含み得る。歪んだ画像を修正することは歪曲効果を是正または補正することを含み得る。

いくつかの例によれば、ＬＩＤＡＲセンサに関連付けられた第２の視野は画像センサに関連付けられた第１の視野に対して移動可能であり得る。いくつかの例では、第２の視野は回転可能であり得る（例えば、１つまたは複数の軸に対して）。

いくつかの例では、コンピューティングシステムは画像データキャプチャ（画像センサによる）をＬＩＤＡＲデータキャプチャ（ＬＩＤＡＲセンサによる）と同期させ得る。例えば、コンピューティングシステムは、ＬＩＤＡＲセンサが画像センサの視野に対応するシーンの少なくとも一部のＬＩＤＡＲデータをキャプチャしている期間中に画像センサをトリガーし、シーンのローリングシャッター画像キャプチャを実行し得る。様々な例において、コンピューティングシステムは１つまたは複数の同期条件に従って同期を実施し得る。非限定的な例として、同期条件は、第１の視野（画像センサに関連付けられた）と第２の視野（ＬＩＤＡＲセンサに関連付けられた）との間の重なりの量、および／または第１の視野の第１の特定の部分と第２の視野の第２の特定の部分との間の重なりなどを含み得る。非限定的な例として、画像の中心が画像センサの視野に位置合わせされている回転ＬＩＤＡＲセンサと実質的に同時にキャプチャされるように、画像データのキャプチャはトリガーされ得る。

いくつかの例では、コンピューティングシステムは画像センサに関連付けられた第１の視野の第１の方向および／または第１のポーズ（位置および方向）を決定し得る。さらに、コンピューティングシステムはＬＩＤＡＲセンサに関連付けられた第２の視野の第２の方向および／または第２のポーズを決定し得る。いくつかの例では、画像センサおよび／またはＬＩＤＡＲセンサに関連付けられたそれぞれの方向および／またはそれぞれのポーズを追跡し得る。いくつかの例によれば、方向および／またはポーズは互いに対して追跡し得る。例えば、同期条件に従って、第１の視野の少なくとも第１の部分（画像センサに関連付けられた）が第２の視野の少なくとも第２の部分（ＬＩＤＡＲセンサに関連付けられた）と重なるように、コンピューティングシステムは、第１の視野のローリングシャッター画像キャプチャを画像センサに開始させるための入力として、視野方向情報および／またはポーズ情報を使用し得る。少なくともいくつかの例では、そのような初期化はそれぞれの視野の重なりを最適化する（例えば、最大化する）ようにタイミングを合わせ得る。様々な例において、ＬＩＤＡＲセンサに関連付けられた第２の視野はローリングシャッター画像キャプチャ中に、画像センサに関連付けられた第１の視野に対して移動し得る。非限定的な例として、回転ＬＩＤＡＲセンサは画像センサに関連付けられた視野に対して移動する視野に関連付けられ得る。

本明細書で論じられる技術はいくつかの手段でコンピューティングデバイスの機能を改善することができる。例えば、本明細書で論じられる技術は画像フレームの個々のスキャンラインに時間データを追加することを含み得、これはコンピューティングデバイスに画像フレームのピクセルをＬＩＤＡＲポイントと正確に位置合わせする（またはそうでなければ関連付ける）ことを、例えば、マルチモーダルセンサフュージョン、センサ較正、３Ｄ再構成、マルチモーダル較正などを正確に達成することを、可能にさせ得る。車両のコンピューティングシステムは、例えば、画像フレーム全体に関連付けられた時間データを使用する場合と比較して、個々のスキャンラインに関連付けられた時間データを使用してそのような関連付けを行うことによって、車両の環境のより正確な表現を生成し得る。その結果、車両のコンピューティングシステムは、物体（例えば、障害物）の検出、ならびに、例えば、障害物との衝突を回避するために車両の動きを制御する軌道および／または経路計画を改善する、ことを可能にし得る。

別の例として、本明細書に記載の技術を使用してセンサデータキャプチャを同期させることにより、車両のコンピューティングシステムは画像データをＬＩＤＡＲデータと正確に（例えば、時間的および／または空間的に）関連付けることを可能にし得る。いくつかの実装形態では、同期は、データが受信された際に画像センサおよびＬＩＤＡＲセンサによってキャプチャされたデータが互いに関連付けられていると決定することを可能にし得、これは、データが車両のコンピューティングシステムによって受信された後、データ間の関連付けを決定するために要求される処理の量を削減し得る。コンピューティングシステムの機能に対するこれらおよび他の改善は本明細書で説明される。

本明細書で説明される技法はいくつかの手段で実施することができる。例示的な実装は、以下の図面を参照することで以下に提供される。自律車両のコンテキストで論じているが、本明細書に記載の方法、装置、およびシステムは、様々なシステム（例えば、ロボットプラットフォーム、手動運転車両など）に適用することができ、自律車両に限定されない。別の例では、技術は、航空または航海のコンテキストで、またはマシンビジョンを使用する任意のシステムで利用することができる。さらに、本明細書で説明される技術は、実データ（例えば、センサを用いてキャプチャされた）、模擬データ（例えば、シミュレーターによって生成された）、またはその２つの任意の組合せで使用することができる。

図１は、本開示の例による、画像フレームのスキャンライン（例えば、ローリングシャッター画像キャプチャの）に時間データを追加するための１つまたは複数のタイムスタンプコンポーネントを有する車両１０２を含む例示的な環境１００を示す。いくつかの例では、環境１００は図２から図１１を参照して本明細書で説明される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、車両１０２は、例えば、人および／または貨物を第１の場所から第２の場所に輸送するために、表面１０４（例えば、路面）を横切って走行するように構成され得る。例示の目的で、車両１０２は米国国家高速道路交通安全局が２０１３年に発行したレベル５分類に従って作動するように構成された自律車両であり得、これは、ドライバー（または乗員）が車両を常に制御することを期待することなく、全体行程のすべての安全上重要な機能を実行可能な車両について説明している。その場合、車両は、すべての駐車機能を含む、開始から終了までのすべての機能を制御するように構成され得るので、無人の場合がある（得る）。これは単なる例であり、本明細書で説明するシステムおよび方法は、常にドライバーが手動で制御する必要のある車両から、例えばアクセス制限されている高速道路上での操作中のような特定の運転状況内でドライバーの注意または支援なしで自律制御できるような、それだけでなく、例えば都市部の市街での操作中、または少なくとも一部の駐車機能中のような他の運転状況内でドライバーの注意および／または支援を要求するような、部分的に自律制御されている車両までを含む任意の車両および／またはロボットに組み込み得る。

いくつかの例では、車両１０２は４つの車輪および各車輪にそれぞれのタイヤを有する自動車であり得る。例えば、バン、スポーツユーティリティ車両、クロスオーバー車両、トラック、バス、農業用車両、および建設用車両などの他のタイプおよび構成の車両が企図される。車両１０２は、１つまたは複数の内燃エンジン、１つまたは複数の電気モーター、水素動力、またはそれらの任意の組み合わせによって動力を供給され得る。さらに、例示的な車両１０２は４つの車輪を有し得るが、本明細書に記載されるシステムおよび方法は、より少ないまたはより多い数の車輪、タイヤ、および／または軌道を有する車両に組み込み得る。例示的な車両１０２は四輪ステアリングを有し得、例えば、第１の向きに走行する場合、車両１０２の第１の端部が車両１０２の前端部であり得るような、および反対側の第２の向きに走行する場合、第１の端部が車両１０２の後端部になり得るような、すべての向きにおいて、概して等しい性能特性で作動し得る。同様に、第２の向きに走行する場合、車両１０２の第２の端部は車両１０２の前端部であり得、および反対の第１の向きに走行する場合、第２の端部は車両１０２の後端部となり得る。これらの例示の特徴は、例えば駐車場および市街地などの小規模空間または混雑環境での操縦性をより向上し得る。

様々な例によれば、車両１０２はセンサ１０６を含み得る。さらに、様々な例において、車両１０２は車両コンピューティングシステム１０８を含み得る。車両コンピューティングシステム１０８は、車両コンピューティングシステム１０８および／または車両１０２に様々な操作を実行させる１つまたは複数のコンポーネントを含み得る。様々な例において、車両コンピューティングシステム１０８は、タイムスタンプコンポーネント１１０および／または時間データ１１２を含み得る。本明細書でさらに詳細に説明するように、車両コンピューティングシステム１０８はタイムスタンプコンポーネント１１０を使用して、画像フレームの１つまたは複数のスキャンラインに時間データ１１２を追加し得る。

いくつかの実施形態によれば、車両１０２のセンサ１０６（例えば、ローリングシャッター画像キャプチャデバイスなどの画像センサ）はセンサ１０６に関連付けられた視野内のシーンの画像をキャプチャし得る。いくつかの例では、画像キャプチャはシーンを横切って（例えば、垂直または水平に）スキャンすることによって実行され、ローリングシャッター画像キャプチャなど、シーンの別の部分（例えば、第２のスキャンライン）をキャプチャする前に、シーンの一部（例えば、第１のスキャンライン）をキャプチャし得る。図１は、車両１０２のセンサ１０６の視野内にあるシーンのローリングシャッター画像キャプチャ１１４の例示的な表現を含む。この非限定的な例に示されるように、ローリングシャッター画像キャプチャ１１４はシーンを横切って水平にスキャンすることによって実行され得る。ローリングシャッター画像キャプチャは画像フレーム１１６のスキャンライン（例えば、スキャンライン１、スキャンライン２、…スキャンラインｎ）を生成し得る。スキャンラインはスキャンラインデータ（例えば、ピクセルデータ１１８）を含み得る。さらに、いくつかの例では、スキャンラインはラインデータの端部に関連付けられ得る、および／または含まれ得る（例えば、図２に示されるように）。場合によっては、特定のスキャンラインに関連付けられたラインデータの端部がそのスキャンラインの端部を示し得る。様々な例において、車両コンピューティングシステム１０８は、例えば、図２から図４および図７から図９を参照して本明細書で論じられるように、タイムスタンプコンポーネント１１０を使用して、時間データ１１２を１つまたは複数のスキャンラインに追加し得る。いくつかの非限定的な例では、タイムスタンプコンポーネント１１０は画像フレーム１１６の各スキャンラインに時間データ１１２を追加するように機能し得る。

いくつかの例では、センサ１０６は、光検出および測距（ＬＩＤＡＲ）センサ、無線検出および測距（ＲＡＤＡＲ）センサ、超音波トランスデューサー、音波航法および測距（ＳＯＮＡＲ）センサ、位置センサ（例えば、全地球測位システム（ＧＰＳ）、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁気計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、ホイールエンコーダ、マイク、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）などを含み得る。センサ１０６は、車両１０２に関連付けられた車両コンピューティングシステム１０８によって利用できる、センサデータを生成することができる。

図２は、本開示の例に従って、画像フレームのスキャンラインに（例えば、タイムスタンプコンポーネント１１０を介して）追加される時間データの例２００を示す概略図である。いくつかの例では、例２００は図１および図３から図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、画像フレーム（例えば、図１に関連する上記の画像フレーム１１６）のスキャンライン（例えば、スキャンライン１、スキャンライン２、…スキャンラインｎ）は、ローリングシャッター画像キャプチャ１１４によって生成され得る。例えば、ローリングシャッター画像キャプチャ１１４は画像センサ（例えば、図１に関連する上記の車両１０２の画像センサ１０６）によって実行され得る。

図２に示されるように、スキャンラインは、スキャンラインデータ２０２（例えば、ピクセルデータ１１８を含む）および／またはラインデータの端部２０４（例えば、スキャンラインの端部を示す信号）を含む、および／または関連付けられ得る。例えば、スキャンライン１は第１のスキャンラインデータおよび第１のラインデータの端部を含み得、スキャンライン２は第２のスキャンラインデータおよび第２のラインデータの端部を含み得る。図２はスキャンラインの異なる構成要素としてスキャンラインデータ２０２およびラインデータの端部２０４を示しているが、様々な例においては、ラインデータの端部２０４をスキャンラインデータ２０２の一部と見做し得る。

いくつかの例によれば、タイムスタンプコンポーネント１１０は、入力として１つまたは複数のスキャンラインを受信し得る。さらに、タイムスタンプコンポーネント１１０は、図２に示されるように、時間データ１１２（例えば、タイムスタンプ）をスキャンラインに追加し、時間データ１１２を含む修正されたスキャンラインを出力し得る。例えば、タイムスタンプコンポーネント１１０は、第１の時間データをスキャンライン１に追加し得、第２の時間データをスキャンライン２に追加し得る。第１の時間データは第２の時間データと異なり得る。例えば、第１の時間データは、スキャンライン１が生成および／または受信された際の（例えば、タイムスタンプコンポーネント１１０によって）第１のタイムスタンプであり得るか、そうでなければ第１の時間（および／または第１の期間）を示し得る。第２の時間データはスキャンライン２が生成および／または受信された際の第２のタイムスタンプであり得るか、そうでなければ第２の時間（および／または第２の期間）を示し得る。場合によっては、タイムスタンプコンポーネント１１０は画像フレームの各スキャンラインに時間データ１１２を追加し得る。様々な例によれば、時間データ１１２がスキャンラインデータ２０２とスキャンラインに関連付けられたラインデータの端部２０４との間にあるように、タイムスタンプコンポーネント１１０は時間データ１１２をスキャンラインに追加し得る。いくつかの実装形態では、ラインデータの端部２０４は、例えば、時間データ１１２に対応するためにシフトされ得る。例えば、ラインデータの端部２０４は、時間データ１１２が追加される前に、スキャンライン内の（またはスキャンラインに呼応する）第１の位置にあり得る。タイムスタンプコンポーネント１１０はラインデータの端部２０４を第１の位置から第２の位置にシフトし得る。第２の位置では、時間データ１１２はスキャンラインデータ２０２とラインデータの端部２０４の間にあり得る。さらに、第２の位置では、ラインデータの端部２０４はスキャンラインの端部の一部に配置され得る、および／またはそうでなければスキャンラインの端部を示し得る。

いくつかの例では、各スキャンラインの端部に追加される追加データとして説明されているが、そのようなラインデータの端部２０４は各ラインの端部に格納されない場合がある。そのような非限定的な例として、「幅」が各スキャンラインのデータ量に関連付けられ得る。そのような幅は、例えば、画像フレームのヘッダ内において利用可能であり得る。そのような例では、各スキャンラインの端部にラインデータの端部２０４を追加することとして説明されているが、データを書き込まなくてもよく、代わりに関連付けられた時間データの追加データを占めるように関連付けられた幅を増やし得る、と理解される。

いくつかの例では、画像フレームの各スキャンラインは同じ露光時間を有し得る。他の例では、画像フレームの１つまたは複数のスキャンラインは画像フレームの１つまたは複数の他のスキャンラインとは異なる露光時間を有し得る。例えば、スキャンライン１は第１の露光時間を有し得、スキャンライン２は第１の露光時間とは異なる第２の露光時間を有し得る。

図３は、本開示の例による、スキャンラインへの時間データの追加、およびスキャンラインに関連付けられたラインデータの端部のシフトを含む、例示的なプロセスフローを実施するための例示的なコンポーネント３００を示すブロック図である。いくつかの例では、コンポーネント３００は、図１、図２および図４から図１１を参照して本明細書で説明される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例によれば、コンポーネント３００は、タイムスタンプコンポーネント１１０、センサ３０２（例えば、画像センサ）、および／またはメモリ３０４を含み得る。いくつかの例では、タイムスタンプコンポーネント１１０はセンサ３０２からスキャンラインを受信し得る。非限定的な例では、１つまたは複数のインターフェース（例えば、Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ））および／またはセンサ３０２とタイムスタンプコンポーネント１１０との間でデータ（例えば、画像データ、スキャンラインなど）を送信するように構成された１つまたは複数の他のコンポーネントを介して、タイムスタンプコンポーネント１１０はセンサ３０２からスキャンラインのストリームまたはシーケンスを受信し得る。

タイムスタンプコンポーネント１１０は、例えば、図２を参照して本明細書で論じられるように、時間データ１１２を個々のスキャンラインに追加し得る。いくつかの例では、時間データ１１２をスキャンラインに追加することは時間データ１１２をスキャンラインのスキャンラインデータ２０２に追加することを含み得る。さらに、タイムスタンプコンポーネント１１０は、例えば、図２を参照して本明細書で論じられるように、スキャンラインに関連付けられたラインデータの端部２０４を第１の位置から第２の位置にシフト（３０６）し得る。いくつかの例では、ラインデータの端部２０４のシフトはラインデータの端部２０４を時間データ１１２に追加することを含み得る。様々な例によれば、タイムスタンプコンポーネント１１０は、例えば、図３に示されるように時間データ１１２を含む修正されたスキャンラインを出力し得る。いくつかの非限定的な例では、修正されたスキャンラインは、例えば、ダイレクトメモリアクセス（ＤＭＡ）を介してメモリ３０４に送信され得る。

様々な例において、センサ３０２から受信された（例えば、タイムスタンプコンポーネント１１０によって）各スキャンラインの間に遅延があり得る。例えば、第１のスキャンラインデータと第２のスキャンラインデータの受信の間の遅延は第２のスキャンラインデータの露光時間に関連付けられ得る。遅延は時間データの追加（例えば、タイムスタンプコンポーネント１１０による）がメモリオーバーヘッドを導入し得ないように十分な大きさにし得る。

図４は、本開示の例による、スキャンラインと関連付けるための時間データを取得することを含む例示的なプロセスフローを実施するための例示的なコンポーネント４００を示すブロック図である。いくつかの例では、コンポーネント４００は図１から図３および図５Ａから図１１を参照して本明細書で説明される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、コンポーネント４００は、タイムスタンプコンポーネント１１０、画像センサ４０２、ＬＩＤＡＲセンサ４０４、システムプロセッサクロック４０６、カウンタ４０８、および／または高精度時間プロトコル（ＰＴＰ）クロック４１０を含み得る。タイムスタンプコンポーネント１１０は、画像データ（例えば、スキャンライン４１２）を受信し得る。さらに、いくつかの実装形態では、タイムスタンプコンポーネント１１０は各スキャンライン４１２に時間データ（例えば、図１から図３を参照して本明細書で説明される時間データ１１２）を追加し、時間データ４１４を備えたスキャンラインを含む画像データを出力し得る。

様々な例において、タイムスタンプコンポーネント１１０はスキャンラインに関連付けられた時間データを決定し得る。いくつかの非限定的な例によれば、タイムスタンプコンポーネント１１０はカウンタ４０８からのデータを使用して、スキャンラインに関連付けられた時間データを決定し得る。例えば、カウンタ４０８はシステムプロセッサクロック４０６に従属し得る。いくつかの例では、システムプロセッサクロック４０６はシステムプロセッサ（不図示）によって提供されるクロックであり得る。画像センサ４０２はシステムプロセッサクロック４０６からデータを受信し得る、および／または、いくつかの例では、システムプロセッサによって制御され得る。いくつかの例では、システムプロセッサクロックはＰＴＰクロック４１０からデータを受信し得る。さらに、ＬＩＤＡＲセンサ４０４は、いくつかの例では、ＰＴＰクロック４１０からデータを受信し得る。

いくつかの例によれば、ＬＩＤＡＲセンサ４０４はＬＩＤＡＲデータ（例えば、ＬＩＤＡＲポイント４１６）を出力し得る。いくつかの例では、時間データ４１４を伴うスキャンラインを生成するためにスキャンライン４１２に追加された時間データの少なくとも一部を使用して、画像データの少なくとも一部とＬＩＤＡＲデータの少なくとも一部との間の関連付けを決定し得る。例えば、いくつかの例では、コンポーネント４００は画像データ（タイムスタンプコンポーネント１１０から出力される）およびＬＩＤＡＲデータ（ＬＩＤＡＲセンサ４０４から出力される）を受信するセンサアソシエーションコンポーネントを含み得る。いくつかの実装形態では、センサアソシエーションコンポーネント４１８は、スキャンラインに関連付けられた時間データを使用して、スキャンラインの少なくとも一部とＬＩＤＡＲデータの少なくとも一部との間の関連付けを決定し得る。さらに、いくつかの例では、ＬＩＤＡＲデータはタイムスタンプに関連付けられ得（例えば、ＬＩＤＡＲを回転させるために、列は同じタイムスタンプに関連付けられ得る）、センサアソシエーションコンポーネント４１８はスキャンラインに関連付けられた時間データおよびＬＩＤＡＲデータに関連付けられたタイムスタンプを使用して、スキャンラインの一部とＬＩＤＡＲデータの一部の間の関連付けを決定し得る。

非限定的な例として、センサアソシエーションコンポーネント４１８は、スキャンラインの時間データに少なくとも部分的に基づいて、スキャンラインのピクセルデータの少なくとも一部をＬＩＤＡＲデータの１つまたは複数のＬＩＤＡＲポイント４１６と関連付け得る。場合によっては、関連付けはピクセルデータの一部およびＬＩＤＡＲポイントが実質的に同時に（たとえば、時間閾値を満たす期間中に）キャプチャされたことを示し得る。いくつかの例では、センサアソシエーションコンポーネント４１８は画像データの一部をＬＩＤＡＲデータの一部と関連付け（例えば、融合）して、関連データ４２０を生成し得る。例えば、関連付けはピクセルデータの一部とＬＩＤＡＲポイントとの間の関連付けに少なくとも部分的に基づき得る。いくつかの例では、関連データ４２０を使用して、車両（例えば、図１を参照して説明された車両１０２）の動きを制御し得る。

図５Ａは、本開示の例による、画像センサ視野のローリングシャッター画像キャプチャをＬＩＤＡＲセンサ視野のＬＩＤＡＲデータキャプチャと同期させる例を示す概略図５００ａである。いくつかの例では、例５００ａは図１から図４および図５Ｂから図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、例５００ａは、画像センサ５０２、ＬＩＤＡＲセンサ５０４、および／またはコンピューティングシステム５０６（例えば、図１を参照して説明された車両コンピューティングシステム１０８）を含み得る。画像センサ５０２は第１の視野５０８を有し得る。ＬＩＤＡＲセンサ５０４は第２の視野５１０を有し得る。様々な例において、視野は所与の時間にセンサによって感知される環境の一部に関連付けられ得る。いくつかの例では、コンピューティングシステム５０６は、センサ同期コンポーネント５１２、同期条件５１４、タイムスタンプコンポーネント１１０、および／または時間データ１１２を含み得る。

いくつかの例によれば、ＬＩＤＡＲセンサ５０４の第２の視野５１０は画像センサ５０２の第１の視野５０８に対して移動し得る。いくつかの例では、第２の視野５１０は回転可能であり得る（例えば、１つまたは複数の軸に対して）。いくつかの非限定的な例では、第２の視野５１０は３６０度回転可能であり得る。いくつかの例では、回転量は３６０度未満であり得る。図５Ａに示されるように、第２の視野５１０の回転５１６は時計回りの向きである。しかしながら、回転５１６は、いくつかの例では、反時計回りの向きでもよく、および／または向きが変化し得ることを理解されたい。

様々な例において、センサ同期コンポーネント５１２は画像データキャプチャ（例えば、画像センサ５０２による）とＬＩＤＡＲデータキャプチャ（例えば、ＬＩＤＡＲセンサ５０４による）との同期を容易にし得る。例えば、センサ同期コンポーネント５１２は、ＬＩＤＡＲセンサ５０４がシーンの少なくとも一部のＬＩＤＡＲデータをキャプチャしている期間中に、画像センサ５０２をトリガーして、シーンのローリングシャッター画像キャプチャ５１８を実行し得る。このようにセンサデータキャプチャを同期させることにより、コンピューティングシステム５０６は画像データをＬＩＤＡＲデータと正確に（例えば、時間的および／または空間的に）関連付けることが可能であり得る。様々な例において、センサ同期コンポーネント５１２は同期条件５１４に従って同期を実施し得る。非限定的な例として、同期条件５１４は第１の視野５０８と第２の視野５１０との間の重なり、および／または第１の視野５０８の第１の特定の部分と第２の視野５１０の第２の特定の部分との間の重なりの量などを含み得る。少なくともいくつかの例では、同期は画像内の中心スキャンラインをキャプチャすることが画像センサの視野に実質的に向けられたＬＩＤＡＲデータキャプチャに対応するようなものとし得る。このような例では、画像データに関連付けられた環境の同じ領域に関連付けられているＬＩＤＡＲデータの量が最適化（例えば、最大化）される。

いくつかの例では、センサ同期コンポーネント５１２は画像センサ５０２の第１の視野５０８の第１の方向を決定し得る。さらに、センサ同期コンポーネント５１２はＬＩＤＡＲセンサ５０４の第２の視野５１０の第２の方向を決定し得る。いくつかの例では、画像センサ５０２および／またはＬＩＤＡＲセンサ５０４のそれぞれの方向を追跡し得る。いくつかの例によれば、第１の方向および第２の方向は互いに対して追跡され得る。例えば、同期条件５１４に従って、第１の視野５０８の少なくとも第１の部分が第２の視野５１０の少なくとも第２の部分と重なるように、センサ同期コンポーネント５１２は、第１の視野５０８のローリングシャッター画像キャプチャ５１８を画像センサ５０２に開始させるための入力として視野方向情報（例えば、第１の方向、第２の方向など）を使用し得る。様々な例において、第２の視野５１０は、ローリングシャッター画像キャプチャ５１８の間に第１の視野５０８に対して移動し得る。

いくつかの実装形態によれば、ＬＩＤＡＲセンサ５０４がシーンの少なくとも一部（例えば、シーンの少なくとも一部がＬＩＤＡＲセンサ５０４の第２の視野５１０内にある）に関連付けられたＬＩＤＡＲデータをキャプチャしている間に、シーンに関連付けられた画像フレームのスキャンライン（例えば、スキャンライン１、スキャンライン２、…スキャンラインｎ）の少なくとも一部がキャプチャされるように、センサ同期コンポーネント５１２はローリングシャッター画像キャプチャ５１８の時間を調整し得る。いくつかの例では、例えば、図５Ａに示されるように、シーンの少なくとも一部の第２の視野５１０をキャプチャするＬＩＤＡＲセンサ５０４に関連付けられた期間中に、画像フレームのスキャンラインの大部分がキャプチャされるように、センサ同期コンポーネント５１２はローリングシャッター画像キャプチャ５１８の時間を調整し得る。いくつかの例では、特定のスキャンライン（またはスキャンラインのセット）が第２の視野５１０の特定の部分に伴ってキャプチャされるように、センサ同期コンポーネント５１２はローリングシャッター画像キャプチャ５１８の時間を調整し得る。非限定的な例として、中央スキャンライン（例えば、最中央のスキャンライン、スキャンラインの中央のセットなど）が第２の視野５１０の中央部分にてキャプチャされたＬＩＤＡＲデータに伴ってキャプチャされ得るように、センサ同期コンポーネント５１２はローリングシャッター画像キャプチャ５１８の時間を調整し得る。

いくつかの例では、センサ同期コンポーネント５１２は画像センサ５０２の第１のポーズを決定し得る。第１のポーズは画像センサ５０２に関連付けられた第１の位置および／または第１の方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。さらに、センサ同期コンポーネント５１２はＬＩＤＡＲセンサ５０４の第２のポーズを決定し得る。第２のポーズはＬＩＤＡＲセンサ５０４に関連付けられた第２の位置および／または第２の方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。いくつかの例では、画像センサ５０２および／またはＬＩＤＡＲセンサ５０４のそれぞれのポーズを追跡し得る。いくつかの例によれば、第１のポーズおよび第２のポーズは互いに対して追跡され得る。例えば、同期条件５１４に従って、第１の視野５０８の少なくとも第１の部分が第２の視野５１０の少なくとも第２の部分と重なるように、センサ同期コンポーネント５１２は、第１の視野５０８のローリングシャッター画像キャプチャ５１８を画像センサ５０２に開始させるための入力として、ポーズ情報（例えば、第１のポーズ、第２のポーズなど）を使用し得る。

いくつかの例では、センサ同期コンポーネント５１２は、ローリングシャッター画像キャプチャ５１８の画像フレームの露光時間を推定し得る。例えば、露光時間は、ローリングシャッター画像キャプチャ５１８が実行される前に推定され得る。いくつかの例では、センサ同期コンポーネント５１２は先のローリングシャッター画像キャプチャに関連付けられた露光時間データを受信し得る。ローリングシャッター画像キャプチャ５１８の画像フレームの露光時間は、先のローリングシャッター画像キャプチャに関連付けられた露光時間データに少なくとも部分的に基づいて（例えば、第１のスキャンラインと最後のスキャンラインに関連付けられたタイムスタンプ間の時間内の差を計算することによって）、推定され得る。様々な例によれば、例えば、同期条件５１４に従って、第１の視野５０８の少なくとも第１の部分が第２の視野５１０の少なくとも第２の部分と重なるように、センサ同期コンポーネント５１２は、第１の視野５０８のローリングシャッター画像キャプチャ５１８を画像センサ５０２に開始させるための入力として推定露光時間を使用し得る。

いくつかの例によれば、例えば、同期条件５１４に従って、第１の視野５０８の少なくとも第１の部分が第２の視野５１０の少なくとも第２の部分と重なるように、センサ同期コンポーネント５１２は、第１の視野５０８のローリングシャッター画像キャプチャ５１８を画像センサ５０２に開始させる入力として１つまたは複数のスキャンラインに関連付けられた時間データを使用し得る。いくつかの例では、センサ同期コンポーネント５１２は、先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、ローリングシャッター画像キャプチャ５１８を画像センサ５０２に開始させ得る。さらに、または代わりに、センサ同期コンポーネント５１２は、例えば、ローリングシャッター画像キャプチャ５１８の１つまたは複数のスキャンラインに関連付けられた時間データ、および／または先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、画像センサ５０２にローリングシャッター画像キャプチャ５１８の少なくとも１つのスキャンラインの露光時間を調整させ得る。

図５Ｂは、本開示の例による、複数の画像センサ視野のローリングシャッター画像キャプチャをＬＩＤＡＲセンサ視野のＬＩＤＡＲデータキャプチャと同期させる例５００ｂを示す概略図である。いくつかの例では、例５００ｂは図１から図５Ａおよび図６から図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、例５００ｂは、図５Ａを参照して本明細書に記載される画像センサ５０２（本明細書では「第１の画像センサ５０２」とも呼ばれる）、ＬＩＤＡＲセンサ５０４、および／またはコンピューティングシステム５０６（図５Ｂでは不図示）を含み得る。さらに、例５００ｂは第３の視野５２２を有する第２の画像センサ５２０を含み得る。

いくつかの例によれば、ＬＩＤＡＲセンサ５０４の第２の視野５１０は第１の視野５０８（第１の画像センサ５０２の）および／または第３の視野５２２（第２の画像センサ５２０の）に対して移動し得る。いくつかの例では、第２の視野５１０は回転可能であり得る（例えば、１つまたは複数の軸に対して）。いくつかの非限定的な例では、第２の視野５１０は３６０度回転可能であり得る。いくつかの例では、回転量は３６０度未満であり得る。

図５Ｂに示されるように、ＬＩＤＡＲセンサ５０４の第２の視野５１０は第１の期間中に、第１の画像センサ５０２の第１の視野５０８と少なくとも部分的に重なり得る。さらに、ＬＩＤＡＲセンサ５０４の第２の視野５１０は第２の期間５２６中に第２の画像センサ５２０の第３の視野と少なくとも部分的に重なり得る。例えば、ＬＩＤＡＲセンサ５０４の第２の視野５１０は第１の期間５２４および第２の期間５２６の間の特定の量（例えば、第２の視野５１０の回転速度に少なくとも部分的に基づく）を移動し得る（例えば、回転５１６を介して）。

いくつかの例では、センサ同期コンポーネント５１２（図５Ａに示される）は画像データキャプチャ（例えば、第１の画像センサ５０２および／または第２の画像センサ５２０などによる）のＬＩＤＡＲデータキャプチャ（例えば、ＬＩＤＡＲセンサ５０４による）との同期を容易にし得る。図５Ａを参照して本明細書で論じたように、ＬＩＤＡＲセンサ５０４が第１のシーンの少なくとも一部のＬＩＤＡＲデータをキャプチャしている期間中に、例えば第１の期間５２４中に、センサ同期コンポーネント５１２は第１の画像センサ５０２をトリガーして、第１のシーンのローリングシャッター画像キャプチャ５１８（本明細書では「第１のローリングシャッター画像キャプチャ５１８」とも呼ばれる）を実行し得る。さらに、または代わりに、ＬＩＤＡＲセンサ５０４が第２のシーンの少なくとも一部のＬＩＤＡＲデータをキャプチャしている期間中に、例えば第２の期間５２６中に、センサ同期コンポーネント５１２は第２の画像センサ５２０をトリガーして、第２のシーンの第２のローリングシャッター画像キャプチャ５２８を実行し得る。様々な例において、センサ同期コンポーネント５１２は同期条件５１４（図５Ａに示される）に従って同期を実施し得る。非限定的な例として、同期条件５１４は、第２の視野５１０（ＬＩＤＡＲセンサ５０４の）の第２の中央部分と実質的に位置合わせされた画像フレーム（第２のローリングシャッター画像キャプチャ５２８によって生成される）の第１の中央部分、および／または第２の視野５１０（ＬＩＤＡＲセンサ５０４の）に関連付けられた第２の期間５２６中にキャプチャされるスキャンラインの大部分（例えば、第２のローリングシャッター画像キャプチャ５２８によって生成される画像フレームの）、等含み得る。

いくつかの例では、センサ同期コンポーネント５１２は第２の画像センサ５２０の第３の視野５２２の方向を決定し得る。さらに、センサ同期コンポーネント５１２はＬＩＤＡＲセンサ５０４の第２の視野５１０の方向を決定し得る。いくつかの例では、第２の画像センサ５２０および／またはＬＩＤＡＲセンサ５０４のそれぞれの方向を追跡し得る。いくつかの例によれば、方向は互いに対して追跡され得る。例えば、センサ同期コンポーネント５１２は第２の視野に対する第１の視野の方向を決定し得る。例えば、同期条件５１４に従って、第３の視野５２２（第２の画像センサ５２０の）の少なくとも一部が第２の視野５１０（ＬＩＤＡＲセンサ５０４の）の少なくとも一部と重なるように、センサ同期コンポーネント５１２は、第３の視野５２２の第２のローリングシャッター画像キャプチャ５２８を第２の画像センサ５２０に開始させるための入力として視野方向情報を使用し得る。様々な例において、第２の視野５１０（ＬＩＤＡＲセンサ５０４の）は、第２のローリングシャッター画像キャプチャ５２８の間に、第３の視野５２２（第２の画像センサ５２０の）に対して移動し得る。

いくつかの実装形態によれば、ＬＩＤＡＲセンサ５０４が第２のシーンの少なくとも一部（例えば、第２のシーンの少なくとも一部がＬＩＤＡＲセンサ５０４の第２の視野５１０内にある）に関連付けられたＬＩＤＡＲデータをキャプチャしている間に、第２のシーンに関連付けられた画像フレームのスキャンの少なくとも一部がキャプチャされるように、センサ同期コンポーネント５１２は第２のローリングシャッター画像キャプチャ５２８の時間を調整し得る。いくつかの例では、例えば、第２の期間５２６中に、第２のシーンの少なくとも一部の第２の視野５１０をキャプチャするＬＩＤＡＲセンサ５０４に関連付けられた期間中に、画像フレームのスキャンラインの大部分がキャプチャされるように、センサ同期コンポーネント５１２は第２のローリングシャッター画像キャプチャ５２８の時間を調整し得る。いくつかの例では、特定のスキャンライン（またはスキャンラインのセット）がＬＩＤＡＲセンサ５０４の第２の視野５１０の特定の部分に伴ってキャプチャされるように、センサ同期コンポーネント５１２は第２のローリングシャッター画像キャプチャ５２８の時間を調整し得る。非限定的な例として、スキャンラインの中央部分（例えば、中央のスキャンライン、スキャンラインの中央のセットなど）がＬＩＤＡＲセンサ５０４の第２の視野５１０の中間部分にてキャプチャされたＬＩＤＡＲデータに伴ってキャプチャされ得るように、センサ同期コンポーネント５１２は第２のローリングシャッター画像キャプチャ５２８の時間を調整し得る。

いくつかの例では、センサ同期コンポーネント５１２は第２の画像センサ５２０のポーズを決定し得る。第２の画像センサ５２０のポーズは第２の画像センサ５２０に関連付けられた位置および／または方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。さらに、センサ同期コンポーネント５１２はＬＩＤＡＲセンサ５０４のポーズを決定し得る。ＬＩＤＡＲセンサ５０４のポーズはＬＩＤＡＲセンサ５０４に関連付けられた位置および／または方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。いくつかの例では、第２の画像センサ５２０および／またはＬＩＤＡＲセンサ５０４のそれぞれのポーズを追跡し得る。例えば、同期条件５１４に従って、第３の視野５２２（第２の画像センサ５２０の）の少なくとも一部が第２の視野５１０（ＬＩＤＡＲセンサ５０４の）の少なくとも一部と重なるように、センサ同期コンポーネント５１２は、第３の視野５２２の第２のローリングシャッター画像キャプチャ５２８を第２の画像センサ５２０に開始させるための入力としてポーズ情報を使用し得る。

いくつかの例では、センサ同期コンポーネント５１２は第２のローリングシャッター画像キャプチャ５２８の画像フレームの露光時間を推定し得る。例えば、露光時間は第２のローリングシャッター画像キャプチャ５２８が実行される前に推定され得る。いくつかの例では、センサ同期コンポーネント５１２は第２の画像センサ５２０の先のローリングシャッター画像キャプチャに関連付けられた露光時間データを受信し得る。第２のローリングシャッター画像キャプチャ５２８の画像フレームの露光時間は先のローリングシャッター画像キャプチャに関連付けられた露光時間データに少なくとも部分的に基づいて、推定され得る。様々な例によれば、例えば、同期条件５１４に従って、第３の視野５２２（第２の画像センサ５２０の）の少なくとも一部が第２の視野５１０（ＬＩＤＡＲセンサ５０４の）の少なくとも一部と重なるように、センサ同期コンポーネント５１２は、第３の視野５２２の第２のローリングシャッター画像キャプチャ５２８を第２の画像センサ５２０に開始させるための入力として推定された露光時間を使用し得る。

いくつかの例によれば、例えば、同期条件５１４に従って、第３の視野５２２（第２の画像センサ５２０の）の少なくとも一部が第２の視野５１０（ＬＩＤＡＲセンサ５０４の）の少なくとも一部と重なるように、センサ同期コンポーネント５１２は、第３の視野５２２の第２のローリングシャッター画像キャプチャ５２８を第２の画像センサ５２０に開始させるための入力として１つまたは複数のスキャンラインに関連付けられた時間データを使用し得る。いくつかの例では、センサ同期コンポーネント５１２は第２の画像センサ５２０の先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、第２のローリングシャッター画像キャプチャ５２８を第２の画像センサ５２０に開始させ得る。さらに、または代わりに、例えば、第２のローリングシャッター画像キャプチャ５２８の１つまたは複数のスキャンラインに関連付けられた時間データおよび／または第２の画像センサ５２０の先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、センサ同期コンポーネント５１２は第２の画像センサ５２０に第２のローリングシャッター画像キャプチャ５２８の少なくとも１つのスキャンラインの露光時間を調整させ得る。

いくつかの例では、１つまたは複数のスキャンライン（例えば、第１のローリングシャッター画像キャプチャ５１８または第２のローリングシャッター画像キャプチャ５２８などのローリングシャッター画像キャプチャによって生成された画像フレームの）に関連付けられた第１の時間データ（例えば、第１のタイムスタンプ）は、例えば、図４を参照して本明細書で説明されるように、高精度時間プロトコル（ＰＴＰ）クロックと同期されるシステムプロセッサクロックからの時間データに少なくとも部分的に基づいて決定され得る。さらに、または代わりに、ＬＩＤＡＲセンサ５０４によってキャプチャされた測定値に関連付けられた第２の時間データ（例えば、第２のタイムスタンプ）はＰＴＰクロックからの時間データに少なくとも部分的に基づいて決定され得る。いくつかの例では、第１の画像センサ５０２および／または第２の画像センサ５２０は、第１のタイムスタンプおよび／または第２のタイムスタンプに少なくとも部分的に基づいて、ローリングシャッター画像キャプチャを開始し得る。

図６は、本開示の例による、スキャンライン時間データを使用し歪んだ画像を是正する画像処理コンポーネントの例を示す概略ブロック図６００である。いくつかの例では、例６００は図１から図５Ｂおよび図７から図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例によれば、例６００は１つまたは複数の画像処理コンポーネント６０２を含み得る。いくつかの例では、画像処理コンポーネント６０２は、車両コンピューティングシステム１０８（図１を参照して本明細書に説明される）、コンピューティングシステム５０６（図５Ａを参照して本明細書に説明される）、車両コンピューティングデバイス１１０４（図１１を参照して本明細書に説明される）、および／またはコンピューティングデバイス１１４０（図１１を参照して本明細書に説明される）に属し得る。

いくつかの例では、画像処理コンポーネント６０２は画像に対して画像処理を実行するように構成され得る。例６００では、画像処理コンポーネント６０２は入力として歪んだ画像６０４（例えば、歪んだ画像に関連付けられた画像データ）を受信する。いくつかの例では、歪んだ画像６０４は、例えば、タイムスタンプコンポーネント１１０によって、個々のスキャンラインに関連付けられた時間データを有する画像フレームに関連付けられてもよく、これはまた、画像調整、センサ較正、交差モーダル較正、３Ｄ再構成、トラッキング、特徴抽出、マルチモーダルセンサフュージョンなどを実行するのに有用であり得る。様々な例において、歪んだ画像６０４は１つまたは複数の歪曲効果を、例えば、ローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされる歪曲効果を含み得る。非限定的な例として、歪曲効果は、ぐらつき、スキュー、空間的エイリアシング、および／または時間的エイリアシングを含み得る。歪んだ画像６０４は、物体のローリングシャッター画像キャプチャを介して画像データを取得し得る、およびローリングシャッター画像キャプチャを動画像センサによって実行し得るので、歪曲効果を含み得る。すなわち、スキャンラインのそれぞれは、１つまたは複数のそれぞれの距離で（例えば、画像センサと物体との間の相対運動を考慮して）、画像化されている物体のそれぞれの部分に関連付けられ得る。

いくつかの例によれば、画像処理コンポーネント６０２は入力としてローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた距離データ６０６を受信し得る。非限定的な例として、距離データ６０６はＬＩＤＡＲセンサによってキャプチャされたＬＩＤＡＲデータに関連付けられ得る。ＬＩＤＡＲセンサは物体に関連付けられたＬＩＤＡＲデータをキャプチャし得、ＬＩＤＡＲデータは所与の時間におけるＬＩＤＡＲセンサと物体との間の距離を表す距離データ６０６を含み得る。距離データ６０６を使用して、所与の時間における画像センサと物体との間の距離を決定し得る。画像処理コンポーネント６０２は、歪んだ画像６０４の歪曲効果を是正および／または補正するために、歪んだ画像６０４に関連付けられた画像フレームの１つまたは複数のスキャンラインに追加された距離データ６０６および／または時間データに少なくとも部分的に基づいて、歪んだ画像６０４を修正し得る。画像処理コンポーネント６０２は是正された画像６０８（例えば、是正された画像に関連付けられた画像データ）を出力し得る。いくつかの例では、是正された画像６０８は、画像処理コンポーネント６０２が歪んだ画像６０４の歪曲効果を是正および／または補正したので、歪んだ画像６０４よりも歪みが少なくなり得る。

図７は、本開示の例による、画像フレームの１つまたは複数のスキャンラインに時間データを追加するための例示的なプロセス７００を示すフロー図である。いくつかの例では、プロセス７００は図１から図６および図８から図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

７０２にて、プロセス７００は画像フレームのスキャンライン（例えば、第１のスキャンライン）に関連付けられたスキャンラインデータ（例えば、第１のスキャンラインデータ）をキャプチャおよび／または受信することを含み得る。例えば、第１のスキャンラインに関連付けられた第１のスキャンラインデータは画像センサによってキャプチャされ得る。いくつかの例では、画像センサは第１のスキャンラインおよび１つまたは複数の追加のスキャンラインを含むスキャンラインを生成するローリングシャッター画像キャプチャを実行し得る。

７０４にて、プロセス７００はスキャンラインデータへ時間データを追加することを含み得る。いくつかの例では、第１の時間データは、例えば、図２および図３に示されるように、第１のスキャンラインデータに追加され得る。７０６にて、プロセス７００は第１のスキャンラインデータに関連付けられた第１のラインデータの端部を遅延させることを含み得る。いくつかの例では、第１のラインデータの端部は、例えば、図２および図３に示されるように、第１の時間データを追加することに少なくとも部分的に基づいて遅延され得る。第１のラインデータの端部は第１のスキャンラインの端部を示し得る。

７０８にて、プロセス７００は画像フレームが追加のスキャンラインを含むかどうかを決定することを含み得る。７０８にて、画像フレームが追加のスキャンラインを含むと決定された場合、プロセス７００は追加のスキャンラインのスキャンラインデータへ時間データを追加すること（７０４にて）、および追加のスキャンラインのスキャンラインデータに関連付けられたラインデータの端部を遅延すこと（７０６にて）を含み得る。例えば、画像フレームは第２のスキャンラインデータに関連付けられた第２のスキャンラインを含むと決定され得る。第２の時間データは第２のスキャンラインデータに追加され得る。さらに、第２のスキャンラインデータに関連付けられ得る第２のラインデータの端部は、第２の時間データを第２のスキャンラインデータに追加することに少なくとも部分的に基づいて、遅延され得る。第２のラインデータの端部は第２のラインの端部を示し得る。本明細書に記載されている例のいずれにおいても、ラインデータの端部を追加し得ない。そのような非限定的な例として、スキャンライン幅はデータの量が各スキャンラインに関連付けられるように定義され得る。そのような例では、データに関連付けられたおよび画像インタプリンタに対して利用可能にされた幅は追加された時間データを示す各スキャンラインの端部にて追加データを占めるために増加され得る。

いくつかの例では、第１のスキャンラインデータは第１の露光時間に関連付けられ得、第２のスキャンラインデータは第１の露光時間とは異なる第２の露光時間に関連付けられ得る。他の例では、第１の露光時間と第２の露光時間を同一とする場合がある。

７０８にて、画像フレームが追加のスキャンラインを含まないと決定された場合、プロセス７００は画像フレーム時間データを画像フレームに追加すること（７１０にて）を含み得る。７１２にて、プロセス７００はフレームデータの端部を画像フレームに追加することを含み得る。フレームデータの端部は画像フレームの端部を示し得る。

図８は、本開示の例による、画像フレームのスキャンラインに追加された時間データに少なくとも部分的に基づいて、複数のセンサからのデータ間の関連付けを決定するための例示的なプロセス８００を示すフロー図である。いくつかの例では、プロセス８００は図１から図７および図９から図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

８０２にて、プロセス８００はセンサデータを受信することを含み得る。例えば、８０４にて、プロセス８００は第１のセンサ（例えば、画像センサ）から第１のデータを受信することを含み得る。８０６にて、プロセス８００は第２のセンサ（例えば、ＬＩＤＡＲセンサ）から第２のデータを受信することを含み得る。いくつかの例では、第１のセンサは第１のセンサモダリティを有し得、第２のセンサは第１のセンサモダリティとは異なる第２のセンサモダリティを有し得る。いくつかの非限定的な例では、第２のセンサは、別の画像センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、飛行時間（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）センサなどを含み得る。いくつかの例では、センサデータは、定期的に、継続的に（例えば、ほぼリアルタイムで）、および／またはトリガーイベントの発生時に（例えば、動きの検出時、特定の速度でなど）、キャプチャおよび／または受信され得る。

８０８にて、プロセス８００はスキャンラインに関連付けられた第１の時間データを決定することを含み得る。いくつかの例では、第１の時間データはカウンタおよび／または時計から取得されたデータに少なくとも部分的に基づいて決定され得る。例えば、データはカウンタ（例えば、図４を参照して本明細書に記載されているカウンタ４０８）から取得され得る。カウンタはシステムプロセッサのクロック（例えば、図４を参照して本明細書で説明されるシステムプロセッサクロック４０６）に従属し得る。いくつかの例では、システムプロセッサのクロックはＰＴＰクロック（例えば、図４を参照して本明細書で説明されるＰＴＰクロック４１０）からデータを受信し得る。

８１０にて、プロセス８００は第１の時間データをスキャンラインに追加することを含み得る。例えば、図２および図３に示されるように、第１の時間データがスキャンラインデータとスキャンラインに関連付けられたラインデータの端部の間にあるように、例えば、第１の時間データはスキャンラインに追加され得る。いくつかの例では、ラインデータの端部を第１の位置から第２の位置にシフトし、例えば、ラインデータの端部とスキャンラインデータ間の第１の時間データに対応し得る。スキャンラインデータはスキャンラインのローリングシャッター画像キャプチャ中に露光されたピクセルに関連付けられたピクセルデータを含み得る。

８１２にて、プロセス８００は、測定値に関連付けられた第２の時間データを決定することを含み得る。例えば、測定値は第２のセンサによってキャプチャされたデータを含み得る。いくつかの例では、測定値はＬＩＤＡＲセンサによってキャプチャされたＬＩＤＡＲポイントであり得る。非限定的な例では、第２の時間データは測定値がキャプチャおよび／または受信された時間（および／または期間）を含み得る。

８１４にて、プロセス８００は、測定値とスキャンラインの少なくとも一部との間の関連付けを決定することを含み得る。例えば、関連付けは第１の時間データおよび／または第２の時間データに少なくとも部分的に基づいて決定され得る。いくつかの例では、測定値とスキャンラインの一部は第１の時間データと第２の時間データとの間の時間差が時間差閾値を満たすという決定に少なくとも部分的に基づいて関連付けられ得る。例えば、時間差閾値は、測定値とスキャンラインの一部が実質的に同時にキャプチャされた場合、互いに関連付けられるように低い値に設定され得る。いくつかの例では、測定値とスキャンラインの一部の間の関連付けがデータベースにマッピングされ得る。いくつかの例では、測定値とスキャンラインの部分は第１の時間データと第２の時間データとの間の時間差に関係なく互いに関連付けられ得る。

８１６にて、プロセス８００は第１のデータの少なくとも一部を第２のデータの少なくとも一部と関連付け（例えば、融合）て、関連データを生成することを含み得る。例えば、データを関連付けることは測定値とスキャンラインとの間の関連付けに少なくとも部分的に基づき得る。いくつかの例では、第１のデータの少なくとも一部が、第１の時間データと第２の時間データとの間の時間差が時間差閾値を満たすという決定に少なくとも部分的に基づいて、第２のデータの少なくとも一部に関連付けられ得る。

８１８にて、プロセス８００は車両（例えば、自律車両）の動きを制御することを含み得る。例えば、車両の動きは関連データに少なくとも部分的に基づいて制御され得る。非限定的な例として、関連データは車両の環境における障害物の位置を示し得る。車両と障害物との間の衝突を回避する軌道および／または経路は関連データに少なくとも部分的に基づいて決定され得る。車両は軌道および／または経路に沿って移動するように制御され得る。

図９は、本開示の例による、画像フレームのスキャンラインに追加された時間データに少なくとも部分的に基づいて、歪曲効果を是正または補正するために画像を修正する例示的なプロセス９００を示す流れ図である。いくつかの例では、プロセス９００は図１から図８図１０および図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

９０２にて、プロセス９００はローリングシャッター画像キャプチャからスキャンラインデータを取得することを含み得る。例えば、画像センサはローリングシャッター画像キャプチャを実行し得る。ローリングシャッター画像キャプチャは、例えば、図１および図２を参照して本明細書に記載されるように、画像フレームのスキャンラインを生成し得る。

９０４にて、プロセス９００はスキャンラインにそれぞれの時間データを追加することを含み得る。例えば、第１の時間データは第１のスキャンラインの第１のスキャンラインデータに追加され得、第２の時間データは第２のスキャンラインの第２のスキャンラインデータに追加され得る。

９０６にて、プロセス９００は画像が歪んでいるかどうかを決定することを含み得る。９０６にて、画像が歪んでいると決定された場合、プロセス９００は、例えば、図６を参照して本明細書で説明するように、歪曲効果を是正または補正するために画像の少なくとも一部を修正すること（９０８にて）を含み得る。様々な例において、歪曲効果はローリングシャッター画像キャプチャに関連付けられた動き（例えば、画像センサと環境内の物体との間の相対運動）によって引き起こされ得る。非限定的な例として、歪曲効果は、ぐらつき、スキュー、空間的エイリアシング、および／または時間的エイリアシングを含み得る。いくつかの例では、画像は１つまたは複数のスキャンラインに追加された時間データに少なくとも部分的に基づいて修正され得る。

９１０にて、プロセス９００は車両（例えば、自律車両）の動きを制御することを含み得る。例えば、車両の動きは修正された画像に少なくとも部分的に基づいて制御され得る。非限定的な例として、修正された画像は車両の環境における障害物の位置を示し得る。車両と障害物との間の衝突を回避する軌道および／または経路は修正された画像に少なくとも部分的に基づいて決定され得る。車両は軌道および／または経路に沿って移動するように制御され得る。

９０６にて、画像が歪んでいないと決定された場合、プロセス９００は画像に少なくとも部分的に基づいて、車両の動きを制御すること（９１０にて）を含み得る。

図１０は、本開示の例による、第１の視野（第１のセンサに関連付けられている）のローリングシャッター画像キャプチャを第２の視野（第２のセンサに関連付けられている）のデータキャプチャと同期させるための例示的なプロセス１０００を示すフローチャートである。いくつかの例では、プロセス１０００は図１から図９および図１１を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

１００２にて、プロセス１０００はセンサの方向を決定することを含み得、これはセンサの相対的なポーズ（位置および／または方向）を含み得る。例えば、１００４にて、プロセス１０００は第１のセンサに関連付けられた第１の視野の第１の方向を決定することを含み得る。１００６にて、プロセス１０００は第２のセンサに関連付けられた第２の視野の第２の方向を決定することを含み得る。いくつかの例では、視野は視錐台（例えば、センサによってデータをキャプチャするための３Ｄ視野）を含み得る。いくつかの例では、第１のセンサは画像センサを含み得る。さらに、非限定的な例として、第２のセンサは、別の画像センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、および／または飛行時間センサなどを含み得る。

いくつかの例によれば、第２のセンサに関連付けられた第２の視野は第１のセンサに関連付けられた第１の視野に対して移動し得る。いくつかの例では、第２の視野は、例えば、図５Ａおよび図５Ｂを参照して本明細書で説明されるように回転可能であり得る。

いくつかの例では、センサの方向を決定することは（１００２での）、第１のセンサの第１のポーズの決定および／または第２のセンサの第２のポーズを決定することを含み得る。第１のポーズは、第１のセンサに関連付けられた第１の位置および／または第１の方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。第２のポーズは第２のセンサに関連付けられた第２の位置および／または第２の方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、および／またはヨー）を含み得る。いくつかの例では、第１のセンサおよび／または第２のセンサのそれぞれのポーズを追跡し得る。いくつかの例によれば、第１のポーズおよび第２のポーズは互いに対して追跡され得る。

１００８にて、プロセス１０００は１つまたは複数の同期条件に従ってローリングシャッター画像キャプチャを開始するかどうかを決定することを含み得る。１００８にて、同期条件に従ってローリングシャッター画像キャプチャを開始することが決定された場合、プロセス１０００は（１０１０にて）、同期条件に従って、第１の視野の少なくとも第１の部分が第２の視野の少なくとも第２の部分と重なるように、第１の視野のローリングシャッター画像キャプチャを第１のセンサに開始させることを含み得る。非限定的な例として、同期条件は、第１の視野と第２の視野との間の重なり、および／または第１の視野の第１の特定の部分と第２の視野の第２の特定の部分との間の重なりの量などを含み得る。

いくつかの実装形態によれば、第２のセンサがシーンの少なくとも一部に関連付けられた他のデータ（例えば、シーンの少なくとも一部が第２のセンサに関連付けられた第２の視野内にある）をキャプチャしている間、シーンに関連付けられた画像フレームのスキャンラインの少なくとも一部が第１のセンサにキャプチャされるようにローリングシャッター画像キャプチャは時間を調整され得る。いくつかの例では、画像フレームのスキャンラインの大部分がシーンの少なくとも一部の第２の視野をキャプチャする第２のセンサに関連付けられた期間中にキャプチャされるようにローリングシャッター画像キャプチャは時間を調整され得る。いくつかの例では、特定のスキャンライン（またはスキャンラインのセット）が第２の視野の特定の部分に伴って、キャプチャされるようにローリングシャッター画像キャプチャは時間を調整され得る。非限定的な例として、スキャンラインの中央部分（例えば、中央スキャンライン、スキャンラインの中央セットなど）が第２の視野の中央部分にある第２のセンサによってキャプチャされたデータに伴ってキャプチャされ得るように、ローリングシャッター画像キャプチャは時間を調整され得る。

いくつかの例では、例えば、同期条件に従って、第１の視野の少なくとも第１の部分が第２の視野の少なくとも第２の部分と重なるように、方向情報（例えば、第１の方向、第２の方向など）は第１の視野のローリングシャッター画像キャプチャを第１のセンサに開始させるための入力として使用され得る。様々な例において、第２の視野はローリングシャッター画像キャプチャの間に第１の視野に対して移動し得る。

いくつかの例では、例えば、同期条件に従って、第１の視野の少なくとも第１の部分が第２の視野の少なくとも第２の部分と重なるように、ポーズ情報（例えば、第１のポーズ、第２のポーズなど）は第１の視野のローリングシャッター画像キャプチャを第１のセンサに開始させるための入力として使用され得る。

いくつかの例では、露光時間はローリングシャッター画像キャプチャの画像フレームについて推定され得る。例えば、露光時間はローリングシャッター画像キャプチャが実行される前に推定され得る。いくつかの例では、ローリングシャッター画像キャプチャの画像フレームの露光時間は、先のローリングシャッター画像キャプチャに関連付けられた露光時間データに少なくとも部分的に基づいて推定され得る。様々な例によれば、例えば、同期条件に従って、第１の視野の少なくとも第１の部分が第２の視野の少なくとも第２の部分と重なるように、推定された露光時間は第１の視野のローリングシャッター画像キャプチャを第１のセンサに開始させるための入力として使用され得る。

いくつかの例によれば、例えば、同期条件に従って、第１の視野の少なくとも第１の部分が第２の視野の少なくとも第２の部分と重なるように、１つまたは複数のスキャンラインに関連付けられた時間データは、第１の視野のローリングシャッター画像キャプチャを第１のセンサに開始させるための入力として使用され得る。いくつかの例では、第１のセンサは、先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、ローリングシャッター画像キャプチャを開始するように指示され得る。さらに、または代わりに、第１のセンサは、例えば、ローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データおよび／または先のローリングシャッター画像キャプチャの１つまたは複数のスキャンラインに関連付けられた時間データに少なくとも部分的に基づいて、ローリングシャッター画像キャプチャの少なくとも１つのスキャンラインの露光時間を調整するように指示され得る。

１００８にて、同期条件に従ってローリングシャッター画像キャプチャを開始しないと決定された場合、プロセス１０００は、センサ方向の決定（１００２にて）および／または同期条件（１００８にて）に従ってローリングシャッター画像キャプチャを開始するかどうかの決定に進み得る。様々な例において、センサの方向は定期的および／または継続的に（例えば、ほぼリアルタイムで）決定され得る。

図１１は、本開示の例に従って、本明細書に記載の技術を実施するための例示的なシステム１１００のブロック図である。いくつかの例では、システム１１００は図１から図１０を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能を含み得る。

いくつかの例では、システム１１００は車両１１０２（例えば、図１を参照して本明細書で説明される車両１０２）を含み得る。車両１１０２は、車両コンピューティングデバイス１１０４、１つまたは複数のセンサシステム１１０６、１つまたは複数のエミッタ１１０８、１つまたは複数の通信接続部１１１０、少なくとも１つの直接接続部１１１２、および１つまたは複数の駆動モジュール１１１４を含み得る。

車両コンピューティングデバイス１１０４は１つまたは複数のプロセッサ１１１６および１つまたは複数のプロセッサ１１１６と通信可能に結合されたメモリ１１１８を含むことができる。図示の例では、車両１１０２は自律車両である。しかしながら、車両１１０２は任意の他のタイプの車両、または少なくとも画像キャプチャデバイス（例えば、カメラ対応スマートフォン）を有する任意の他のシステムとすることができる。図示の例では、車両コンピューティングデバイス１１０４のメモリ１１１８は、位置測定コンポーネント１１２０、知覚コンポーネント１１２２、計画コンポーネント１１２４、１つまたは複数のシステムコントローラ１１２６、タイムスタンプコンポーネント１１０、センサアソシエーションコンポーネント４１８、センサ同期コンポーネント５１２、および／または画像処理コンポーネント６０２を格納する。例示の目的でメモリ１１１８に属するものとして図１１に示されているが、位置測定コンポーネント１１２０、知覚コンポーネント１１２２、計画コンポーネント１１２４、１つまたは複数のシステムコントローラ１１２６、タイムスタンプコンポーネント１１０、センサアソシエーションコンポーネント４１８、センサ同期コンポーネント５１２、および／または画像処理コンポーネント６０２は、さらに、または代わりに、車両１１０２にアクセス可能であることができることを意図されている（例えば、車両１１０２から遠隔のメモリに格納される、そうでなければアクセス可能である）。いくつかの例では、車両コンピューティングデバイス１１０４は、図１の車両コンピューティングシステム１０８に対応できる。

少なくとも１つの例では、位置測定コンポーネント１１２０はセンサシステム１１０６からデータを受信し、車両１１０２の位置および／または方向（例えば、１つまたは複数のｘ、ｙ、ｚ位置、ロール、ピッチ、またはヨー）を決定する機能を含むことができる。例えば、位置測定コンポーネント１１２０は、環境のマップを含む、および／または要求する／受信することができ、マップ内の自律車両の位置および／または方向を継続的に決定できる。いくつかの例では、位置測定コンポーネント１１２０は、ＳＬＡＭ（同時位置測定およびマッピング）、ＣＬＡＭＳ（較正、位置測定およびマッピングを同時に）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ＬＩＤＡＲデータ、ｒａｄａｒデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定できる。いくつかの例では、本明細書で論じられるように、位置測定コンポーネント１１２０は車両１１０２の様々なコンポーネントにデータを提供して、軌道を生成するための、および／またはオクルージョングリッドを含むマップデータをメモリから検索することを決定するための自律車両の初期位置を決定することができる。

いくつかの例では、知覚コンポーネント１１２２は、物体の検出、セグメンテーションおよび／または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント１１２２は、車両１１０２に近接するエンティティの存在および／またはエンティティタイプ（例えば、自動車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、不明など）としてのエンティティの分類を示す処理済みセンサデータを提供できる。追加および／または代替の例示において、知覚コンポーネント１１２２は、検出されたエンティティ（例えば、追跡された物体）および／またはエンティティが位置する環境に関連付けられた１つまたは複数の特徴を示す処理済みセンサデータを提供できる。いくつかの例では、限定しないが、エンティティに関連付けられた特性には、ｘ位置（グローバルおよび／またはローカル位置）、ｙ位置（グローバルおよび／またはローカル位置）、ｚ位置（グローバルおよび／またはローカル位置）、方向（たとえば、ロール、ピッチ、ヨー）、エンティティタイプ（たとえば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができる。環境に関連付けられた特性は、限定しないが、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができる。

一般に、計画コンポーネント１１２４は環境を横断するために車両１１０２が辿る経路を決定できる。例えば、計画コンポーネント１１２４は、さまざまなルートおよび軌道、ならびにさまざまなレベルの詳細を決定できる。例えば、計画コンポーネント１１２４は第１の場所（例えば現在の場所）から第２の場所（例えば目標の場所）へ走行するルートを決定できる。この議論の目的に、ルートは２つの位置の間を走行するための一連の経由地点にできる。非限定的な例として、経由地点は、道路、交差点、全地球測位システム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント１１２４は、第１の場所から第２の場所への経路の少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも１つの例では、計画コンポーネント１１２４は一連の経由地点内の第１の経由地点から一連の経由地点の第２の経由地点まで自律車両をどのようにガイドするかを決定できる。いくつかの例では、命令は軌道または軌道の一部とすることができる。いくつかの例では、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ技術に従って、複数の軌道を実質的に同時に（例えば、技術的許容範囲内で）生成でき、複数の軌道のうちの１つが車両１１０２の走行ために選択される。

いくつかの例では、計画コンポーネント１１２４は、線形時相論理および／または信号時相論理などの時相論理を使用して、車両１１０２の１つまたは複数の軌道を評価できる。計画コンポーネント１１２４における時相論理の利用の詳細は、参照によりその全体が本明細書に組み込まれる米国特許出願第１５／６３２，１４７号に論じられている。

少なくとも１つの例示において、車両コンピューティングデバイス１１０４は、１つまたは複数のシステムコントローラ１１２６を含むことができ、これは、車両１１０２のステアリング、推進、制動、安全性、エミッタ、通信、およびその他のシステムを制御するよう構成できる。これらのシステムコントローラ１１２６は、車両１１０２の駆動モジュール１１１４および／または他のコンポーネントの対応するシステムと通信および／または制御できる。

メモリ１１１８はさらに、環境内を走行する車両１１０２によって使用できる１つまたは複数のマップ（不図示）を含むことができる。この説明の目的上、限定しないが、マップはトポロジ（交差点のような）、通り、山脈、道路、地形、および一般的な環境などの環境についての情報を提供可能である２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップには、限定しないが、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、ラボ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができる。一例では、マップは環境の３次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の個別部分を表すように、マップをタイルフォーマットで格納でき、必要に応じて作業メモリに読み込むことができる。少なくとも１つの例では、１つまたは複数のマップは、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例では、車両１１０２はマップに少なくとも部分的に基づいて制御できる。すなわち、マップを、位置測定コンポーネント１１２０、知覚コンポーネント１１２２、および／または計画コンポーネント１１２４に関連して使用して、車両１１０２の位置を決定し、環境内の物体を識別し、ならびに／または環境内を走行するためのルートおよび／もしくは軌道を生成できる。

いくつかの例では、１つまたは複数のマップは、ネットワーク１１４２を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス１１４０など）に格納できる。いくつかの例では、複数のマップは、例えば、特性（例えば、エンティティタイプ、時刻、曜日、季節など）に基づいて格納できる。複数のマップを格納することは同様のメモリ要件を有するが、マップ内のデータにアクセスできる速度を増加できる。

いくつかの例では、本明細書で説明されるコンポーネントのうちのいくつかまたはすべての態様は、任意のモデル、アルゴリズムおよび／または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ１１１８（および以下で説明されるメモリ１１４６）の中のコンポーネントをニューラルネットワークとして実装できる。

本明細書で説明するように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する生物学的に着想を得たアルゴリズムである。ニューラルネットワークの各層は別のニューラルネットワークを含むこともでき、任意の数の層（畳み込みかどうかに関係なく）を含むこともできる。本開示のコンテキストで理解できるように、ニューラルネットワークは機械学習を利用でき、これは学習されたパラメータに基づいて出力が生成されるようなアルゴリズムの広範なクラスを指すことができる。

ニューラルネットワークのコンテキストで論じたが、任意のタイプの機械学習を本開示と一致させて使用できる。例えば、機械学習アルゴリズムは、限定しないが、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定されたスカープロット平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木））、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均１依存推定量（ＡＯＤＥ）、ベイジアン信念ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、ディープラーニングアルゴリズム（例えばディープボルツマンマシン（ＤＢＭ）、ディープブリーフネットワーク（ＤＢＮ）、重畳型ニューラルネットワーク（ＣＮＮ）、スタック・オートエンコーダ）、次元数削減アルゴリズム（例えば主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集計（バギング）、アダブースト、スタック一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースティング回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などの方法を含むことができる。

アーキテクチャの追加の例は、ＲｅｓＮｅｔ７０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。

少なくとも１つの例では、センサシステム１１０６は、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、超音波トランスデューサー、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵｓ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えばＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダ、環境センサ（例えば温度センサ、湿度センサ、光センサ、圧力センサなど）など、を含むことができる。センサシステム１１０６は、センサのこれらまたは他のタイプのそれぞれの複数の実例を含むことができる。例えば、ＬＩＤＡＲセンサは、車両１１０２のコーナー、フロント、バック、サイド、および／またはトップに位置する個々のＬＩＤＡＲセンサを含むことができる。別の例として、カメラセンサは車両１１０２の外部および／または内部のさまざまな位置に配置された複数のカメラを含むことができる。センサシステム１１０６は車両コンピューティングデバイス１１０４に入力を提供できる。さらに、または代わりに、センサシステム１１０６は、所定の期間が経過した後、ほぼ実時間で、特定の周波数で１つまたは複数のコンピューティングデバイスに、１つまたは複数のネットワーク１１４２を介して、センサデータを送信できる。いくつかの例では、センサシステム１１０６は図１のセンサ１０６に対応できる。

車両１１０２はまた、上記のように、光および／または音を放出するための１つまたは複数のエミッタ１１０８を含むことができる。この例示のエミッタ１１０８は車両１１０２の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、ライト、標識、ディスプレイ画面、タッチスクリーン、触覚エミッタ（例えば、振動および／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例のエミッタ１１０８はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の向きまたは車両の作動の他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）を信号で送るためのライト、および音響ビームステアリング技術を備える１つまたは複数の歩行者または他の近くの車両と音声で通信するための１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。

車両１１０２はまた、車両１１０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部１１１０を含むことができる。例えば、通信接続部１１１０は車両１１０２および／または駆動モジュール１１１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部１１１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にできる。通信接続部１１１０はまた、車両１１０２が遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。

通信接続部１１１０は、車両コンピューティングデバイス１１０４を別のコンピューティングデバイスまたはネットワーク１１４２などのネットワークに接続するための物理的および／または論理的インターフェースを含むことができる。例えば、通信接続部１１１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。

少なくとも１つの例では、車両１１０２は１つまたは複数の駆動モジュール１１１４を含むことができる。いくつかの例では、車両１１０２は単一の駆動モジュール１１１４を有することができる。少なくとも１つの例では、車両１１０２が複数の駆動モジュール１１１４を有する場合、個々の駆動モジュール１１１４は車両１１０２の両端部（例えば前部および後部など）に配置できる。少なくとも１つの例では、駆動モジュール１１１４は駆動モジュール１１１４および／または車両１１０２の周辺環境の状態を検出するための１つまたは複数のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、駆動モジュールのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えばロータリーエンコーダ）、駆動モジュールの方向と加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたはその他の画像センサ、駆動モジュールの周辺環境の物体を音響的に検出するための超音波センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサなど、を含むことができる。ホイールエンコーダなどの一部のセンサは駆動モジュール１１１４に固有のものにできる。場合によっては、駆動モジュール１１１４上のセンサシステムは車両１１０２の対応するシステム（例えばセンサシステム１１０６）と重複または補足することができる。

駆動モジュール１１１４は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流を他の車両システムで使用する交流に変換するインバーター、ステアリングモーターおよびステアリングラック（電動とすることができる）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば車両の外部環境を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント）を含む多くの車両システムを含むことができる。さらに、駆動モジュール１１１４は、センサシステムからデータを受信し事前処理し、様々な車両システムの操作を制御できる駆動モジュールコントローラを含むことができる。いくつかの例では、駆動モジュールコントローラは、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサと通信可能に結合されたメモリを含むことができる。メモリは１つまたは複数のモジュールを格納して、駆動モジュール１１１４の様々な機能を実行できる。さらに、駆動モジュール１１１４はまた、それぞれの駆動モジュールによる１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続部を含む。

少なくとも１つの例では、直接接続部１１１２は１つまたは複数の駆動モジュール１１１４を車両１１０２の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部１１１２は、駆動モジュール１１１４と車両との間のエネルギー、流体、空気、データなどの転送を可能にできる。いくつかの例では、直接接続部１１１２はさらに駆動モジュール１１１４を車両１１０２の本体に着脱可能に固定できる。

少なくとも１つの例では、本明細書で論じられるコンポーネントは、上記のようにセンサデータを処理することができ、それぞれの出力を１つまたは複数のネットワーク１１４２を介して、１つまたは複数のコンピューティングデバイス１１４０に送信することができる。少なくとも１つの例では、本明細書で論じられるコンポーネントは、所定の期間の経過後、ほぼ実時間で、特定の周波数で１つまたは複数のコンピューティングデバイス１１４０にそれぞれの出力を送信することができる。

いくつかの例では、車両１１０２はネットワーク１１４２を介してセンサデータを１つまたは複数のコンピューティングデバイス１１４０に送信できる。いくつかの例では、車両１１０２は未処理のセンサデータをコンピューティングデバイス１１４０に送信できる。他の例では、車両１１０２は処理済みセンサデータおよび／またはセンサデータの表現をコンピューティングデバイス１１４０に送信できる。いくつかの例では、車両１１０２は、所定の期間の経過後、ほぼ実時間で、特定の周波数などで、センサデータをコンピューティングデバイス１１４０に送信できる。場合によっては、車両１１０２はセンサデータ（未処理または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス１１４０に送信できる。

コンピューティングデバイス１１４０は、プロセッサ１１４４、ならびに、マップコンポーネント１１４８、タイムスタンプコンポーネント１１０、センサアソシエーションコンポーネント４１８、センサ同期コンポーネント５１２、および／または画像処理コンポーネント６０２を格納するメモリ１１４６を含むことができる。

車両１１０２のプロセッサ１１１６およびコンピューティングデバイス１１４０のプロセッサ１１４４は、本明細書で説明されるように、データを処理し操作を実行するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ１１１６および１１４４は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または電子データを処理して電子データをレジスタまたはメモリに格納できる他の電子データに変換する他の任意のデバイスまたはデバイスの一部、を備えることができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスはまた、それらが符号化された命令を実装するよう構成される限り、プロセッサと見なすことができる。

メモリ１１１８およびメモリ１１４６は非一時的コンピュータ可読媒体の例である。メモリ１１１８およびメモリ１１４６は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納して、本明細書に記載の方法および様々なシステムに起因する機能を実施できる。様々な実装では、メモリを、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な他の任意のタイプのメモリなど、適切なメモリ技術を用いて実装できる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的なコンポーネントを含むことができ、それらの添付図面に示されるものは、単に本明細書の説明に関連する例にすぎない。

理解できるように、本明細書で論じられるコンポーネントは、例示の目的で分割されたものとして説明されている。ただし、さまざまなコンポーネントによって実行される操作は、他の任意のコンポーネントと組み合わす、または他の任意のコンポーネントで実行することができる。

図１１は分散システムとして示されているが、代替の例では、車両１１０２のコンポーネントをコンピューティングデバイス１１４０に関連付けることができ、および／またはコンピューティングデバイス１１４０のコンポーネントを車両１１０２に関連付けることができる、という事に留意すべきである。すなわち、車両１１０２はコンピューティングデバイス１１４０に関連付けられた機能のうちの１つまたは複数を実行でき、逆もまた同様である。さらに、タイムスタンプコンポーネント１１０、センサアソシエーションコンポーネント４１８、センサ同期コンポーネント５１２、および／または画像処理コンポーネント６０２の態様は、本明細書で議論されたデバイスのいずれかで実行することができる。

図７から図１０は本開示の例による例示のプロセスを示している。これらのプロセスは論理フローグラフとして図示され、このそれぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装できる一連の操作を表現する。ソフトウェアのコンテキストにおいては、操作は、１つまたは複数のプロセッサで実行したときに、列挙した操作を実行する１つまたは複数のコンピュータ可読記録媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は特定の機能を実行する、または特定の抽象的データタイプを実装するルーチン、プログラム、物体、コンポーネント、データ構造などを含む。操作が記載される順序は限定して解釈されることを意図するものではなく、任意の数の記載される操作を任意の順序でおよび／または並行し結合して、プロセスを実装することができる。いくつかの実装形態では、１つまたは複数の操作が省略され得る。

［例示的な発明内容］
Ａ．１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的コンピュータ可読媒体と、
を備えたシステムであって、前記命令は、実行されると、前記１つまたは複数のプロセッサに、ローリングシャッター画像キャプチャに関連付けられた画像フレームの第１のスキャンラインデータを画像センサから受信するステップと、前記第１のスキャンラインデータに第１の時間データを追加するステップと、前記第１の時間データのサイズに少なくとも部分的に基づいて、前記第１のスキャンラインデータに関連付けられた幅を調整するステップと、前記ローリングシャッター画像キャプチャに関連付けられた前記画像フレームの第２のスキャンラインデータを前記画像センサから受信するステップと、前記第２のスキャンラインデータに第２の時間データを追加するステップと、
を備えた操作を実行させる、システム。

Ｂ．前記操作が、ＬＩＤＡＲセンサからＬＩＤＡＲポイントを含むＬＩＤＡＲデータを受信するステップであって、前記ＬＩＤＡＲデータが第３の時間データに関連付けられている、ステップと、前記第１の時間データおよび前記第３の時間データに少なくとも部分的に基づいて、前記ＬＩＤＡＲポイントを前記第１のスキャンラインデータの少なくとも一部分に関連付けるステップと、をさらに含む、段落Ａに記載のシステム。

Ｃ．前記第１のスキャンラインデータが第１の露光時間に関連付けられており、前記第２のスキャンラインデータが前記第１の露光時間とは異なる第２の露光時間に関連付けられている、段落Ａまたは段落Ｂのどちらかに記載のシステム。

Ｄ．前記操作が、前記ローリングシャッター画像キャプチャに関連付けられた動きによって、引き起こされた歪曲効果を是正または補正するために、前記第１の時間データに少なくとも部分的に基づいて、画像の少なくとも一部分を修正し、修正された画像を生成するステップであって、前記歪曲効果が、ぐらつき、スキュー、空間的エイリアシング、または時間的エイリアシングの１つまたは複数を含む、ステップと、前記修正された画像に少なくとも部分的に基づいて、自律車両の動きを制御するステップと、をさらに備えた段落Ａから段落Ｃのいずれか１つに記載のシステム。

Ｅ．高精度時間プロトコル（ＰＴＰ）クロックと、前記ＰＴＰクロックと同期されるシステムプロセッサクロックと、をさらに備え、前記操作が、前記システムプロセッサクロックに従属するカウンタからデータを取得するステップと、前記データに少なくとも部分的に基づいて、前記第１の時間データを決定するステップと、をさらに含む、段落Ａから段落Ｄのいずれか１つに記載のシステム。

Ｆ．画像フレームの第１のスキャンラインに関連付けられた第１のスキャンラインデータを受信するステップと、第１の時間データを前記第１のスキャンラインに追加するステップと、前記画像フレームの第２のスキャンラインに関連付けられた第２のスキャンラインデータを受信するステップと、第２の時間データを前記第２のスキャンラインに追加するステップと、を備えた方法。

Ｇ．前記第１のスキャンラインデータを受信する前記ステップが、第１のセンサモダリティを有する第１のセンサから前記第１のスキャンラインデータを受信するステップを含み、前記方法が、第２のセンサモダリティを有する第２のセンサからデータを受信するステップであって、前記データが測定値を含む、ステップと、前記第１の時間データに少なくとも部分的に基づいて、前記測定値と前記第１のスキャンラインデータの少なくとも一部分の間の関連付けを決定するステップと、をさらに含む、段落Ｆに記載の方法。

Ｈ．前記第１のセンサが画像センサを含み、前記第２のセンサが、追加画像センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、または飛行時間センサの少なくとも１つを含む、段落Ｇに記載の方法。

Ｉ．前記測定値と前記第１のスキャンラインの前記少なくとも一部分の間の前記関連付けに少なくとも部分的に基づいて、前記第１のスキャンラインデータの少なくとも一部を前記第２のセンサからの前記データの少なくとも一部と関連付け、関連データを生成するステップと、前記関連データに少なくとも部分的に基づいて、自律車両の動きを制御するステップと、をさらに含む段落Ｇまたは段落Ｈのどちらかに記載の方法。

Ｊ．自律車両のシステムプロセッサクロックに従属するカウンタからデータを取得するステップであって、前記システムプロセッサクロックは高精度時間プロトコル（ＰＴＰ）クロックと同期させられる、ステップと、前記データに少なくとも部分的に基づいて、前記第１の時間データを決定するステップと、をさらに含む、段落Ｆから段落Ｉのいずれか１つに記載の方法。

Ｋ．前記第１のスキャンラインデータを受信する前記ステップが、第１のセンサモダリティを有する第１のセンサから前記第１のスキャンラインデータを受信するステップを含み、前記方法が、別のデータが測定値を含み、第２のセンサモダリティを有する第２のセンサからの前記別のデータを受信するステップであって、前記測定値が、前記ＰＴＰクロックからの時間データに基づいて、タイムスタンプに関連付けられている、ステップと、前記第１の時間データおよび前記測定値に関連付けられた前記タイムスタンプに少なくとも部分的に基づいて、前記測定値と前記第１のスキャンラインデータの少なくとも一部分の間の関連付けを決定するステップと、をさらに含む段落Ｊに記載の方法。

Ｌ．前記第１のスキャンラインデータが第１の露光時間に関連付けられており、前記第２のスキャンラインデータが前記第１の露光時間とは異なる第２の露光時間に関連付けられている、段落Ｆから段落Ｋのいずれか１つに記載の方法。

Ｍ．ローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされた歪曲効果を是正または補正するために、前記第１の時間データに少なくとも部分的に基づいて、画像の少なくとも一部分を修正するステップ、をさらに含む、段落Ｆから段落Ｍのいずれか１つに記載の方法。

Ｎ．前記歪曲効果が、ぐらつき、スキュー、空間的エイリアシング、または時間的エイリアシング、の少なくとも１つを含む、段落Ｍに記載の方法。

Ｏ．命令が、実行されると、１つまたは複数のプロセッサに、ローリングシャッター画像キャプチャの画像フレームのスキャンラインに関連付けられたスキャンラインデータを受信するステップと、時間データを前記スキャンラインに追加するステップと、を備えた操作を実行させる、前記１つまたは複数のプロセッサによって実行可能な前記命令を格納した１つまたは複数の非一時的コンピュータ可読媒体。

Ｐ．前記スキャンラインに関連付けられた前記スキャンラインデータが第１のスキャンラインに関連付けられた第１のスキャンラインデータであり、前記時間データが第１の時間データであり、前記操作が、前記ローリングシャッター画像キャプチャの前記画像フレームの第２のスキャンラインに関連付けられた第２のスキャンラインデータを受信するステップと、第２の時間データを前記第２のスキャンラインに追加するステップと、をさらに含む、段落Ｏに記載の１つまたは複数の非一時的コンピュータ可読媒体。

Ｑ．前記スキャンラインデータを受信する前記ステップが、画像センサから前記スキャンラインデータを受信するステップを含み、前記操作が、追加画像センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、または飛行時間センサの少なくとも１つから測定データを受信するステップであって、前記測定データが車両に近接する環境の少なくとも一部分に関連付けられた測定値を含む、ステップと、前記時間データに少なくとも部分的に基づいて、前記測定値と前記スキャンラインデータの１つまたは複数のピクセルの間の関連付けを決定するステップと、をさらに含む、段落Ｏまたは段落Ｐのどちらかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

Ｒ．前記車両が自律車両を含み、前記関連付けが距離データを含み、前記操作が、前記関連データに少なくとも部分的に基づいて、前記自律車両の動きを制御するステップをさらに含む、段落Ｑに記載の１つまたは複数の非一時的コンピュータ可読媒体。

Ｓ．前記測定データが物体に関連付けられた距離データを含み、前記操作が、前記ローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされた歪曲効果を是正または補正するために、前記時間データおよび前記距離データに少なくとも部分的に基づいて、前記物体に関連付けられた画像の少なくとも一部分を修正するステップ、さらに含む段落Ｑまたは段落Ｒのどちらかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

Ｔ．前記操作が、自律車両のシステムプロセッサクロックに従属するカウンタからのデータを取得するステップであって、前記システムプロセッサクロックは高精度時間プロトコル（ＰＴＰ）クロックと同期させられる、ステップと、前記データに少なくとも部分的に基づいて、前記時間データを決定するステップと、をさらに含む、段落Ｏまたは段落Ｓのどちらかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

Ｕ．１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的コンピュータ可読媒体と、を備えたシステムであって、前記命令は、実行されると、前記１つまたは複数のプロセッサに、画像センサの第１のポーズを決定するステップであって、前記画像センサが第１の視野に関連付けられている、ステップと、ＬＩＤＡＲセンサの第２のポーズを決定するステップであって、前記ＬＩＤＡＲセンサが第２の視野に関連付けられている、ステップと、１つまたは複数の同期条件にしたがって、前記第１の視野の少なくとも第１の部分が前記第２の視野の少なくとも第２の部分に重なるように、前記第１の視野のローリングシャッター画像キャプチャを前記画像センサに開始させるステップであって、前記ローリングシャッター画像キャプチャが、第１の露光時間に関連付けられた第１のスキャンラインと、前記第１の露光時間とは異なる第２の露光時間に関連付けられた第２のスキャンラインと、を含む画像フレームを生成する、ステップと、を備えた操作を実行させる、システム。

Ｖ．前記画像センサが第１の画像センサであり、前記ローリングシャッター画像キャプチャが第１のローリングシャッター画像キャプチャであり、前記１つまたは複数の同期条件が１つまたは複数の同期条件の第１のグループを含み、前記操作が、第２の画像センサのポーズを決定するステップであって、前記第２の画像センサが視野に関連付けられている、ステップと、１つまたは複数の同期条件の第２のグループに従って、前記第２の画像センサに関連付けられた前記視野の少なくとも一部分が、前記ＬＩＤＡＲセンサに関連付けられた前記第２の視野の少なくとも一部分に重なるように、前記視野の第２のローリングシャッター画像キャプチャを前記第２の画像センサに開始させるステップと、をさらに含む段落Ｕに記載のシステム。

Ｗ．前記１つまたは複数の同期条件が、前記ＬＩＤＡＲセンサに関連付けられた前記第２の視野の第２の中央部分と実質的に位置合わせされた前記画像フレームの第１の中央部分、または、前記第２の視野に関連付けられた期間中にキャプチャされた前記画像フレームのスキャンラインの大部分、の少なくとも１つを含む、段落Ｕまたは段落Ｖのどちらかに記載のシステム。

Ｘ．前記操作が、前記画像センサから、および前記ローリングシャッター画像キャプチャの前の期間中に、先のローリングシャッター画像キャプチャのスキャンラインに関連付けられたスキャンラインデータを受信するステップと、時間データを前記スキャンラインデータに追加するステップと、をさらに含み、前記ローリングシャッター画像キャプチャを前記画像センサに開始させる前記ステップが前記時間データに少なくとも部分的に基づいている、段落Ｕから段落Ｗのいずれか１つに記載のシステム。

Ｙ．第２のセンサに関連付けられた第２の視野に関して、第１のセンサに関連付けられた第１の視野の方向を決定するステップと、１つまたは複数の同期条件に従って、前記第１の視野の少なくとも一部分が前記第２の視野の少なくとも第２の部分に重なるように、前記第１の視野のローリングシャッター画像キャプチャを前記第１のセンサに開始させるステップであって、前記ローリングシャッター画像キャプチャが、第１の露光時間に関連付けられた第１のスキャンラインと、前記第１の露光時間とは異なる第２の露光時間に関連付けられた第２のスキャンラインと、を含む画像フレームを生成する、ステップと、を含む方法。

Ｚ．前記第１のセンサが自律車両の画像センサを含み、前記第２のセンサが前記自律車両のＬＩＤＡＲセンサを含む、段落Ｙに記載の方法。

ＡＡ．前記第１のセンサの第１のポーズを決定するステップであって、前記第１のポーズが第１の位置と、第１の方向と、を含む、ステップと、前記第２のセンサの第２のポーズを決定するステップであって、前記第２のポーズが第２の位置と、第２の方向と、を含むステップと、をさらに含み、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記第１のポーズおよび前記第２のポーズに少なくとも部分的に基づいている、段落Ｙまたは段落Ｚのどちらかに記載の方法。

ＢＢ．前記第１のセンサが第１の画像センサを含み、前記方向が第１の方向であり、前記ローリングシャッター画像キャプチャが第１のローリングシャッター画像キャプチャであり、前記第２のセンサがＬＩＤＡＲセンサを含み、前記１つまたは複数の同期条件が１つまたは複数の同期条件の第１のセットを含み、前記方法が、前記ＬＩＤＡＲセンサに関して、視野に関連付けられた第２の画像センサの第２の方向を決定するステップと、１つまたは複数の同期条件の第２のセットに従って、前記視野の少なくとも一部分が前記ＬＩＤＡＲセンサに関連付けられた前記第２の視野の少なくとも一部分に重なるように、前記第２の方向に少なくとも部分的に基づいて、前記視野の第２のローリングシャッター画像キャプチャを前記第２の画像センサに開始させるステップと、をさらに含む段落Ｙから段落ＡＡのいずれか１つに記載の方法。

ＣＣ．前記１つまたは複数の同期条件が、前記第２のセンサに関連付けられた前記第２の視野の第２の中央部分と実質的に位置合わせされた前記画像フレームの第１の中央部分、または前記第２の視野に関連付けられた期間中にキャプチャされた前記画像フレームのスキャンラインの大部分、の少なくとも１つを含む、段落Ｙから段落ＢＢのいずれか１つに記載の方法。

ＤＤ．前記画像フレームのための露光時間を推定するステップをさらに含み、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記露光時間に少なくとも部分的に基づいている、段落Ｙから段ＣＣのいずれか１つに記載の方法。

ＥＥ．前記第１のセンサから、および前記ローリングシャッター画像キャプチャの前の期間中に、先のローリングシャッター画像キャプチャに関連付けられた露光時間データを受信するステップをさらに含み、前記画像フレームのための前記露光時間を推定する前記ステップが、前記先のローリングシャッター画像キャプチャに関連付けられた前記露光時間データに少なくとも部分的に基づいている、段落ＤＤに記載の方法。

ＦＦ．高精度時間プロトコル（ＰＴＰ）クロックと同期させられるシステムプロセッサクロックからの第１の時間データに少なくとも部分的に基づいて、前記画像フレームのスキャンラインに関連付けられた第１のタイムスタンプを決定するステップをさらに含み、
前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記第１のタイムスタンプに少なくとも部分的に基づいている、段落Ｙから段ＥＥのいずれか１つに記載の方法。

ＧＧ．前記ＰＴＰクロックからの第２の時間データに少なくとも部分的に基づいて、前記第２のセンサにキャプチャされた測定値に関連付けられた第２のタイムスタンプを決定するステップをさらに含み、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記第２のタイムスタンプに少なくとも部分的に基づいている、段落ＦＦに記載の方法。

ＨＨ．前記第１のセンサが画像センサを含み、前記画像フレームが前記画像フレームの第１の中央部分内のスキャンラインを含み、前記第２のセンサがＬＩＤＡＲセンサを含み、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが、前記スキャンラインが前記ＬＩＤＡＲセンサに関連付けられた前記第２の視野の第２の中央部分に関連付けられた期間中にキャプチャされるように、前記画像センサに前記ローリングシャッター画像キャプチャを開始させるステップ、を含む、段落Ｙから段ＧＧのいずれか１つに記載の方法。

ＩＩ．前記第２の視野が前記ローリングシャッター画像キャプチャ中に前記第１の視野に対して移動する、段落Ｙから段ＨＨのいずれか１つに記載の方法

ＪＪ．命令が、実行されると、１つまたは複数のプロセッサに、第２のセンサに関連付けられた第２の視野に関して、第１のセンサに関連付けられた第１の視野の方向を決定するステップと、１つまたは複数の同期条件にしたがって、前記第１の視野の少なくとも第１の部分が前記第２の視野の少なくとも第２の部分に重なるように前記第１の視野のローリングシャッター画像キャプチャを前記画像センサに開始させるステップであって、前記ローリングシャッター画像キャプチャが、第１の露光時間に関連付けられた第１のスキャンラインと、前記第１の露光時間とは異なる第２の露光時間に関連付けられた第２のスキャンラインと、を含む画像フレームを生成する、ステップと、を含む操作を実行させる、前記１つまたは複数のプロセッサによって実行可能な前記命令を格納する１つまたは複数の非一時的コンピュータ可読媒体。

ＫＫ．前記１つまたは複数の同期条件が、前記第２のセンサに関連付けられた前記第２の視野の第２の中央部分と実質的に位置合わせされた前記画像フレームの第１の中央部分、または前記第２の視野に関連付けられた期間中にキャプチャされた前記画像フレームのスキャンラインの大部分、の少なくとも１つを含む、段落ＪＪに記載の１つまたは複数の非一時的コンピュータ可読媒体。

ＬＬ．前記操作が、前記第１のセンサから、および前記ローリングシャッター画像キャプチャの前の期間中に、先のローリングシャッター画像キャプチャに関連付けられた画像フレームの第１のスキャンラインに関連付けられた第１の露光時間データを受信するステップと、前記第１のセンサから、および前記ローリングシャッター画像キャプチャ前の前記期間中に、前記画像フレームの最後のスキャンラインに関連付けられた第２の露光時間データを受信するステップと、前記第１の露光時間データおよび前記第２の露光時間データに少なくとも部分的に基づいて、前記ローリングシャッター画像キャプチャの前記画像フレームのための露光時間を決定するステップと、をさらに含み、前記画像センサに前記ローリングシャッター画像キャプチャを開始させる前記ステップが、前記露光時間に少なくとも部分的に基づいている、段落ＪＪまたは段落ＫＫのどちらかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

ＭＭ．前記操作が、高精度時間プロトコル（ＰＴＰ）クロックと同期させられるシステムプロセッサクロックからの第１の時間データに少なくとも部分的に基づいて、前記画像フレームのスキャンラインに関連付けられた第１のタイムスタンプを決定するステップをさらに含み、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記第１のタイムスタンプに少なくとも部分的に基づいている、段落ＪＪから段落ＬＬのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読媒体。

ＮＮ．前記操作が、前記ＰＴＰクロックからの第２の時間データに少なくとも部分的に基づいて、前記第２のセンサにキャプチャされた測定値に関連付けられた第２のタイムスタンプを決定するステップをさらに含む、前記ローリングシャッター画像キャプチャを前記第１のセンサに開始させる前記ステップが前記第２のタイムスタンプに少なくとも部分的に基づいている、段落ＭＭに記載の１つまたは複数の非一時的コンピュータ可読媒体。

上述の例示の発明内容は１つの特定の実装に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システムおよび／またはコンピュータ可読媒体、および／またはその他の実装を介して実装できることを理解されたい。

［結論］
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。

例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、場合によっては、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。

Claims (15)

1. １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的コンピュータ可読媒体と、
   を備えたシステムであって、
   前記命令は、実行されると、前記１つまたは複数のプロセッサに、
   ローリングシャッター画像キャプチャに関連付けられた画像フレームの第１のスキャンラインデータを画像センサから受信するステップと、
   前記第１のスキャンラインデータのラインデータの第１の端部の前に第１の時間データを追加するステップと、
   前記第１の時間データのサイズに少なくとも部分的に基づいて、前記第１のスキャンラインデータに関連付けられた幅を調整するステップと、
   前記ローリングシャッター画像キャプチャに関連付けられた前記画像フレームの第２のスキャンラインデータを前記画像センサから受信するステップと、
   前記第２のスキャンラインデータのラインデータの第２の端部の前に第２の時間データを追加するステップと、
   を含む操作を実行させる、
   システム。
2. 前記操作が、
   ＬＩＤＡＲセンサからＬＩＤＡＲポイントを含むＬＩＤＡＲデータを受信するステップであって、前記ＬＩＤＡＲデータが第３の時間データに関連付けられている、ステップと、
   前記第１の時間データおよび前記第３の時間データに少なくとも部分的に基づいて、前記ＬＩＤＡＲポイントを前記第１のスキャンラインデータの少なくとも一部分に関連付けるステップと、
   をさらに含む請求項１に記載のシステム。
3. 前記第１のスキャンラインデータが第１の露光時間に関連付けられており、
   前記第２のスキャンラインデータが前記第１の露光時間とは異なる第２の露光時間に関連付けられている、
   請求項１または請求項２のいずれか１つに記載のシステム。
4. 前記操作が、
   前記ローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされた歪曲効果を是正または補正するために、前記第１の時間データに少なくとも部分的に基づいて、画像の少なくとも一部分を修正し、修正された画像を生成するステップであって、前記歪曲効果が
   ぐらつき、
   スキュー、
   空間的エイリアシング、
   または時間的エイリアシング、
   の１つまたは複数を含む、ステップと、
   前記修正された画像に少なくとも部分的に基づいて、自律車両の動きを制御するステップと、
   をさらに含む、
   請求項１から請求項３のいずれか１つに記載のシステム。
5. 高精度時間プロトコル（ＰＴＰ）クロックと、
   前記ＰＴＰクロックと同期しているシステムプロセッサクロックと、
   をさらに含み、
   前記操作が
   前記システムプロセッサクロックに従属するカウンタからデータを取得するステップと、
   前記データに少なくとも部分的に基づいて、前記第１の時間データを決定するステップと、
   をさらに含む、
   請求項１から請求項４のいずれか１つに記載のシステム。
6. 前記第１のスキャンラインデータを受信する前記ステップが、
   第１のセンサモダリティを有する第１のセンサから前記第１のスキャンラインデータを受信するステップを、含み、
   前記操作が、
   第２のセンサモダリティを有する第２のセンサからデータを受信するステップであって、前記データが測定値を含む、ステップと、
   前記第１の時間データに少なくとも部分的に基づいて、前記測定値と前記第１のスキャンラインデータの少なくとも一部分の間の関連付けを決定するステップと、
   をさらに含む、
   請求項１から請求項５のいずれか１つに記載のシステム。
7. 画像フレームの第１のスキャンラインに関連付けられた第１のスキャンラインデータを受信するステップと、
   第１の時間データを前記第１のスキャンラインのラインデータの第１の端部の前に追加するステップと、
   前記第１の時間データのサイズに少なくとも部分的に基づいて、前記第１のスキャンラインデータに関連付けられた幅を調整するステップと、
   前記画像フレームの第２のスキャンラインに関連付けられた第２のスキャンラインデータを受信するステップと、
   第２の時間データを前記第２のスキャンラインのラインデータの第２の端部の前に追加するステップと、
   を含む方法。
8. 前記第１のスキャンラインデータを受信する前記ステップが、
   第１のセンサモダリティを有する第１のセンサから前記第１のスキャンラインデータを受信するステップを、含み
   前記方法が、
   第２のセンサモダリティを有する第２のセンサからデータを受信するステップであって、前記データが測定値を含む、ステップと、
   前記第１の時間データに少なくとも部分的に基づいて、前記測定値と前記第１のスキャンラインデータの少なくとも一部分の間の関連付けを決定するステップと、
   をさらに含む、
   請求項７に記載の方法。
9. 前記第１のセンサが画像センサを含み、
   前記第２のセンサが
   追加画像センサ、
   ＬＩＤＡＲセンサ、
   ｒａｄａｒセンサ、または
   飛行時間センサ
   の少なくとも１つを含む、
   請求項８に記載の方法。
10. 前記測定値と前記第１のスキャンラインの前記少なくとも一部分の間の前記関連付けに少なくとも部分的に基づいて、前記第１のスキャンラインデータの少なくとも一部を前記第２のセンサからの前記データの少なくとも一部と関連付け、関連データを生成するステップと、
    前記関連データに少なくとも部分的に基づいて、自律車両の動きを制御するステップと、
    をさらに含む請求項８または請求項９のいずれか１つに記載の方法。
11. 自律車両のシステムプロセッサクロックに従属するカウンタからデータを取得するステップであって、前記システムプロセッサクロックは高精度時間プロトコル（ＰＴＰ）クロックと同期している、ステップと、
    前記データに少なくとも部分的に基づいて、前記第１の時間データを決定するステップと、
    をさらに含む請求項７から請求項１０のいずれか１つに記載の方法。
12. 前記第１のスキャンラインデータを受信する前記ステップが、
    第１のセンサモダリティを有する第１のセンサから前記第１のスキャンラインデータを受信するステップ、
    を含み、
    前記方法が、
    別のデータが測定値を含み、第２のセンサモダリティを有する第２のセンサからの前記別のデータを受信するステップであって、前記測定値が、前記ＰＴＰクロックからの時間データに基づいて、タイムスタンプに関連付けられている、ステップと、
    前記第１の時間データおよび前記測定値に関連付けられた前記タイムスタンプに少なくとも部分的に基づいて、前記測定値と前記第１のスキャンラインデータの少なくとも一部分の間の関連付けを決定するステップと、
    をさらに含む、請求項１１に記載の方法。
13. 前記第１のスキャンラインデータが第１の露光時間に関連付けられており、
    前記第２のスキャンラインデータが前記第１の露光時間とは異なる第２の露光時間に関連付けられている、
    請求項７から請求項１２のいずれか１つに記載の方法。
14. ローリングシャッター画像キャプチャに関連付けられた動きによって引き起こされた歪曲効果を是正または補正するために、前記第１の時間データに少なくとも部分的に基づいて、画像の少なくとも一部分を修正するステップであって、前記歪曲効果が
    ぐらつき、
    スキュー、
    空間的エイリアシング、または、
    時間的エイリアシング、
    の少なくとも１つを含む、ステップを、
    さらに含む、請求項７から請求項１３のいずれか１つに記載の方法。
15. 実行されると、１つまたは複数のプロセッサに請求項７から請求項１４のいずれか１つに記載の方法を実行させる命令を格納した１つまたは複数の非一時的コンピュータ可読媒体。

Images