JP6833936B2

JP6833936B2 - 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法

Info

Publication number: JP6833936B2
Application number: JP2019156911A
Authority: JP
Inventors: ユイ・ヤオ; ミンツェ・シー; チホ・チェ; ベザド・ダーリウーシュ
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2018-09-13
Filing date: 2019-08-29
Publication date: 2021-02-24
Anticipated expiration: 2039-08-29
Also published as: US11155259B2; JP2020042808A; US20200086858A1; CN110895674A; CN110895674B

Description

自動先進運転支援システム（advanced driving assist systems、ＡＤＡＳ）内のタスクは、参加車両の行動及び位置予測を必要とし得る。将来の行動予測は、周囲のカメラ、ＬｉＤＡＲシステム、又は航空写真から通常生成される鳥瞰図（bird's eye view、ＢＥＶ）撮像を使用して試行されている。しかしながら、ＢＥＶ画像をキャプチャするために必要なセンサ又はサービスを大部分の量産車両が備えていないため、ＢＥＶ画像の適用性は限定的であり得る。

多くの場合、ＢＥＶ画像は、ＬｉＤＡＲ点を大地面に投影することによって生成することができる。投影された画像は、未確認の将来のフレームを使用して作成され得るか、又は変換関数の性質として道路の不規則性によって歪んでいる場合がある。結果として、これらの解決策は、有効な予測運動計画戦略を開発するために、一般的なＡＤＡＳインターフェースと一貫して機能しない場合がある。

一態様によれば、車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することを含む、自己中心映像に基づく将来の車両位置特定のためのコンピュータ実装方法である。コンピュータ実装方法はまた、少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することを含む。少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態が出力される。コンピュータ実装方法は、少なくとも１つの交通参加者に関連付けられた自己中心一人称視点画像の密なオプティカルフローを符号化することを更に含む。密なオプティカルフロー符号化の最終隠れ状態が出力される。更に、コンピュータ実装方法は、少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態及び密なオプティカルフロー符号化の最終隠れ状態に基づいて、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することを含む。コンピュータ実装方法は、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように車両を制御することを更に含む。

別の態様によれば、自己中心映像に基づく将来の車両位置特定のためのシステムであって、命令を記憶するメモリを含み、メモリは、プロセッサによって実行されると、車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することをプロセッサに行わせる、システムである。命令はまた、プロセッサに、少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化させる。少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態が出力される。命令は更に、プロセッサに、少なくとも１つの交通参加者に関連付けられた自己中心一人称視点画像の密なオプティカルフローを符号化させる。密なオプティカルフロー符号化の最終隠れ状態が出力される。加えて、命令は、プロセッサに、少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態及び密なオプティカルフロー符号化の最終隠れ状態に基づいて、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号させる。命令は、プロセッサに、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように車両を更に制御させる。

更に別の態様によれば、命令を記憶する非一時的コンピュータ可読記憶媒体であって、プロセッサを含むコンピュータによって実行されると、車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することを含む方法を実行する、非一時的コンピュータ可読記憶媒体である。方法はまた、少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することを含む。少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態が出力される。方法は、少なくとも１つの交通参加者に関連付けられた自己中心一人称視点画像の密なオプティカルフローを符号化することを更に含む。密なオプティカルフロー符号化の最終隠れ状態が出力される。加えて、方法は、少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態及び密なオプティカルフロー符号化の最終隠れ状態に基づいて、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することを含む。方法は、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように車両を制御することを更に含む。

本開示の例示的な実施形態による、自己中心映像に基づく将来の車両位置特定のためのシステム及び方法を実施するための例示的な動作環境の概略図である。

本開示の例示的な実施形態による、ニューラルネットワークのＲＮＮエンコーダ−デコーダ構造の例示的な例を含む。

本開示の例示的な実施形態による、過去の境界ボックス軌道を符号化するための方法のプロセスフロー図である。

本開示の例示的な実施形態による、過去の相対運動及びスケール変化を符号化するための方法のプロセスフロー図である。

本開示の例示的な実施形態による、各交通参加者に関連付けられた将来の境界ボックスを復号するための方法のプロセスフロー図である。

車両の周囲環境内に位置する交通参加者のそれぞれについて、過去の境界ボックスから将来の境界ボックスを復号する例示的な例である。

本開示の例示的な実施形態による、車両の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道を考慮するように自律的に運転されるように車両を制御するための方法のプロセスフロー図である。

本開示の例示的な実施形態による、自己中心映像に基づく将来の車両位置特定のための方法のプロセスフロー図である。

以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実装に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。

本明細書で使用される場合、「バス」とは、コンピュータ内部又はコンピュータ間の他のコンピュータ構成要素に操作可能に接続された、相互接続されたアーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、媒体配向システム輸送（media oriented systems transport、ＭＯＳＴ）、コントローラエリアネットワーク（controller area network、ＣＡＮ）、ローカル相互接続ネットワーク（local interconnect network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する、車両バスであってもよい。

本明細書で使用される場合、「コンピュータ通信」とは、２つ以上のコンピューティングデバイス（例えば、コンピュータ、パーソナルデジタルアシスタント、携帯電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）転送などであってもよい。コンピュータ通信は、例えば、とりわけ、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネットシステム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、ポイントツーポイントシステム、回路スイッチングシステム、パケットスイッチングシステムを介して発生し得る。

本明細書で使用される場合、「ディスク」又は「ドライブ」とは、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックであってもよい。更に、ディスクは、ＣＤ−ＲＯＭ（コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（CD recordable drive、ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ（CD rewritable drive、ＣＤ−ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（digital video ROM、ＤＶＤ−ＲＯＭ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。

本明細書で使用される場合、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。不揮発性メモリとしては、例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲＳＤＲＡＭ）、及び／又はダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）を挙げることができる。メモリは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。

本明細書で使用される場合、「モジュール」は、機能若しくは行動を実行するため、並びに／又は別のモジュール、メソッド、及び／若しくはシステムからの機能若しくは行動を引き起こすための、命令を記憶する非一時的コンピュータ可読媒体、機械上で実行される命令、ハードウェア、ファームウェア、機械で実行中のソフトウェア、及び／又はそれぞれの組み合わせを含むが、これらに限定されない。モジュールはまた、論理、ソフトウェア制御マイクロプロセッサ、別個の論理回路、アナログ回路、デジタル回路、プログラムされた論理デバイス、実行命令を含むメモリデバイス、論理ゲート、ゲートの組み合わせ、及び／又は他の回路構成要素を含んでもよい。複数のモジュールは、１つのモジュールに組み合わされてもよく、単一モジュールは、複数のモジュール間に分散されてもよい。

「操作可能な接続」、又はエンティティが「操作可能に接続される」ことによる接続は、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。操作可能な接続は、無線インターフェース、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

本明細書で使用される場合、「プロセッサ」は、信号を処理し、一般的なコンピューティング及び演算機能を実行する。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他の手段を含んでもよい。一般に、プロセッサは、複数の単一及びマルチコアのプロセッサ及びコプロセッサ並びに他の複数の単一及びマルチコアのプロセッサ及びコプロセッサアーキテクチャを含む、多種の様々なプロセッサであってもよい。プロセッサは、様々な機能を実行するための様々なモジュールを含んでもよい。

本明細書で使用される場合、「車両」は、１人以上の人間の乗員を運ぶことができ、任意の形態のエネルギーによって電力供給される、任意の移動車両を指し得る。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクータ、ボート、ゴーカート、アミューズメントライドカー、鉄道輸送、水上バイク、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。更に、「車両」という用語は、１人以上の人間の乗員を運ぶことができ、電気電池によって電力供給される１つ以上の電気モータによって、完全に又は部分的に電力供給される、電気車両（electric vehicle、ＥＶ）を指し得る。ＥＶは、電池電気自動車（battery electric vehicle、ＢＥＶ）及びプラグインハイブリッド電気自動車（plug-in hybrid electric vehicle、ＰＨＥＶ）を含んでもよい。追加的に、「車両」という用語は、任意の形態のエネルギーによって動力を供給される、自律型車両及び／又は自動運転型車両を指し得る。自律型車両は、１人以上の人間の乗員を運んでいても運んでいなくてもよい。更に、「車両」という用語は、所定の経路又は自由移動車両で自動化又は非自動化される車両を含んでもよい。

本明細書で使用される場合、「値」及び「レベル」とは、特に、百分率、非数値、離散的な状態、離散値、連続値などの数値、又は他の種類の値若しくはレベルを含むことができるが、これらに限定されない。「Ｘの値」又は「Ｘのレベル」という用語は、この詳細な説明全体を通じて、及び特許請求の範囲で使用される場合、Ｘの２つの状態か２つ超の状態を区別するための任意の数値又はその他の種類の値を指す。例えば、場合によっては、Ｘの値又はレベルは、０％〜１００％の割合として与えられてもよい。他の場合には、Ｘの値又はレベルは、１〜１０の範囲の値であり得る。更に他の場合では、Ｘの値又はレベルは数値でなくてもよいが、「非Ｘ」、「わずかにｘ」、「ｘ」、「非常にｘ」、及び「極ｘ」などの所与の離散した状態と関連付けることができる。
Ｉ．システムの概要

ここで図面を参照すると、表示は、１つ以上の例示的な実施形態を例示する目的のためであり、限定する目的のためではなく、図１は、本開示の例示的な実施形態による、自己中心映像に基づく将来の車両位置特定のためのシステム及び方法を実施するための例示的な動作環境１００の概略図である。環境１００の構成要素、並びに本明細書で考察される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、様々な実施形態のために異なるアーキテクチャに組み合わされるか、省略されるか、又は編成されてもよい。

一般に、環境１００は、とりわけ、１つ以上のアプリケーション、オペレーティングシステム、車両システム、及びサブシステムユーザインターフェースを実行する電子制御ユニット（electronic control unit、ＥＣＵ）１０４を有する自己車両（車両）１０２を含む。ＥＣＵ１０４はまた、車両１０２の周囲環境内に位置する交通参加者（図６に示す）として本明細書に分類される１つ以上の車両及び／又は歩行者の将来の位置特定を完了する自己中心映像に基づく車両位置特定を完了するように構成され得る将来の車両位置特定アプリケーション（位置特定アプリケーション）１０６を実行してもよい。後述するように、将来の位置特定は、車両１０２の周囲環境内に位置する１つ以上の交通参加者の１つ以上の交通参加者の将来の位置、場所、スケール、深さ、及び軌道の予測を含んでもよい。周囲環境は、車両１０２の近傍を含む領域を含んでもよい。例えば、車両１０２の周囲環境は、車両１０２が位置する（例えば、停止した）交差点、及び／又は車両１０２が運転される道路（例えば、高速道路のレーン）を含んでもよい。

後述するように、将来の位置特定アプリケーション１０６は、ニューラルネットワーク１０８と通信し、これを利用して過去の観測の時間的情報を符号化して、車両１０２の周囲環境内に位置する１つ以上の交通参加者に関する位置及びスケール情報を提供することができる。将来の位置特定アプリケーション１０６はまた、ニューラルネットワーク１０８を利用して、密なオプティカルフローを符号化し、交通参加者の運動、スケール変化、及び外観についての画素レベル情報を提供してもよい。加えて、将来の位置特定アプリケーション１０６は、ニューラルネットワーク１０８を更に利用して、符号化によって提供される融合符号化出力に基づいて将来データを復号し、それにより、車両１０２の周囲環境内の１つ以上の交通参加者のそれぞれに関連付けられた予測される将来の境界ボックスの予測される将来の位置の変化を出力することができる。

後述するように、いくつかの実施形態では、アプリケーション１０６はまた、予測された境界ボックスに関する情報を復号及び出力するためにニューラルネットワーク１０８に提供され得る車両１０２の計画された将来の自己運動に関する車両１０２の車両自律制御装置１１２によって提供されるデータを入力してもよい。いくつかの構成では、アプリケーション１０６はまた、入力として提供される様々なソースからの情報を処理することができ、また、対象物分類、特徴認識、多層知覚、及び自律運転コマンドを含むがこれらに限定されない様々な機能を提供するために、ニューラルネットワーク１０８を利用してもよい。

以下でより詳細に論じられるように、ニューラルネットワーク１０８は、マルチストリーム型のリカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）として構成されてもよく、複数の完全に接続された層を含むエンコーダ−デコーダ構造を含んでもよい。ニューラルネットワーク１０８は、機械学習／深層学習を利用して、過去の観測からの時間的情報及びオプティカルフロー情報を符号化し、車両１０２の周囲環境の自己中心ＦＰＶ画像に基づいて予測される将来の境界ボックスを復号するために利用され得る人工知能能力を提供することができる。

ニューラルネットワーク１０８は、復号された予測される将来の境界ボックスから将来の車両位置特定情報を処理するように構成されてもよく、１つ以上の道路環境シナリオ（例えば、交差点シナリオ）のために収集され得る位置特定データセット１１０を構築及び維持することができる。いくつかの実施形態では、アプリケーション１０６は、車両１０２及び／又は車両１０２の周囲環境内の１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道に事前に適応することができるように車両１０２を自律的に制御するために提供され得る自律運転コマンドを実行しながら、運動計画能力を提供するために位置特定データセット１１０にアクセスして分析してもよい。更なる実施形態では、アプリケーション１０６は、車両１０２及び／又は車両１０２の周囲環境内の１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道に基づいて、事前に衝突回避目的のために運転者に警告／警報するために提供され得る車両１０２の運転者に警告を提供するために、位置特定データセット１１０にアクセスして分析してもよい。

図１を引き続き参照すると、ＥＣＵ１０４及び車両自律制御装置１１２に加えて、車両１０２は、複数の構成要素、例えば、メモリ１１４、１つ以上のカメラ１１８及び複数の車両システム１２０に操作可能に接続された車両カメラシステム１１６を含むことができる。例示的な実施形態では、ＥＣＵ１０４は、車両１０２の複数の構成要素を操作可能に制御するように構成することができる。

１つ以上の実施形態では、ＥＣＵ１０４は、マイクロプロセッサ、１つ以上の特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、又は他の同様のデバイスを含んでもよい。ＥＣＵ１０４はまた、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、車両１０２の複数の構成要素と通信するためのバスラインを含むことができる。ＥＣＵ１０４はまた、車両１０２内でデータを送信し、外部ホスト型コンピューティングシステム（例えば、車両１０２の外部）と通信するための通信デバイス（図示せず）を含んでもよい。概して、ＥＣＵ１０４は、メモリ１１４と通信して、メモリ１１４内に記憶されている１つ以上のアプリケーション、オペレーティングシステム、車両システム、及びサブシステムユーザインターフェースなどを実行する。

一実施形態では、ＥＣＵ１０４は、車両自律制御装置１１２を操作可能に制御して、車両１０２の意図された目的地、車両１０２の周囲環境内に位置する１つ以上の交通参加者、将来の位置特定アプリケーション１０６により決定される１つ以上の交通参加者の１つ以上の将来の予測された位置、及び／又は車両１０２が走行しているレーン、交通信号のステータス、交通パターン、交通規制などを含んでもよいが、これらに限定されない１つ以上の外部要因のうちの１つ以上に基づいて、自律運転計画を処理及び実行することができる。後述するように、いくつかの実施形態では、将来の位置特定アプリケーション１０６は、車両自律制御装置１１２によって処理された自律運転計画に基づいて、車両１０２の将来の自己運動を予測してもよい。

一実施形態では、車両自律制御装置１１２は、車両システム１２０、及び／又は車両１０２のエンジン制御ユニット、ブレーキ制御ユニット、トランスミッション制御ユニット、ステアリング制御ユニットなどを含むがこれに限定されない１つ以上の制御ユニット（図示せず）のうちの１つ以上に１つ以上のコマンドを更に提供し、自律運転計画及び／又はアプリケーション１０６によって通信されるデータに基づいて、車両１０２を自律的に運転するように制御して、車両１０２を自律的又は半自律的に制御する。換言すれば、車両１０２は、自律運転計画に影響し得る１つ以上の要因（例えば、車両１０２が走行しているレーン、交通信号のステータス、交通パターン、交通規制など）に基づいて自律的に運転されてもよく、及び／又はニューラルネットワーク１０８によって出力された最終隠れ状態を符号化及び復号することに基づいて、車両１０２の周囲環境内の１つ以上の交通参加者の予測された位置、場所、スケール、深さ、及び軌道に事前に適応させてもよい。

具体的には、車両自律制御装置１１２は、車両１０２の完全自律的又は半自律的制御を提供するために、１つ以上のコマンド（信号）を車両システム１２０及び／又は制御ユニットのうちの１つ以上に提供するように構成することができる。車両１０２のそのような自律制御は、１つ以上の状況（例えば、運転者支援制御）中に車両１０２を操作（例えば、運転）するように、及び／又は車両１０２の全行程中の車両１０２の運転を完全に制御するために、１つ以上のコマンドを送信して１つ以上の車両システム１２０及び／又は１つ以上の制御ユニットを制御することによって提供されてもよい。

メモリ１１４は、ＥＣＵ１０４によって実行される１つ以上のオペレーティングシステム、アプリケーション、関連するオペレーティングシステムデータ、アプリケーションデータ、車両システム、及びサブシステムユーザインターフェースデータなどに関連付けられた１つ以上の実行可能ファイルを記憶するように構成することができる。１つ以上の実施形態では、車両１０２のメモリ１１４は、将来の位置特定アプリケーション１０６によってアクセスされて、データ、例えば、車両１０２の周囲環境の１つ以上の自己中心ＦＰＶ画像を記憶することができる。いくつかの実施形態では、メモリ１１４は、異なる種類の交通参加者に関連付けられた（画像データに基づく）サイズ及び特徴の範囲を含む値を表す１つ以上の種類の交通参加者に関連付けられた１つ以上の交通参加者モデル（図示せず）を含んでもよい。

例示的な実施形態では、メモリ１１４は、ニューラルネットワーク１０８の構成要素を含むことができる。上述のように、ニューラルネットワーク１０８は、ニューラルネットワーク１０８に提供される１つ以上の形態のデータを中心とし得るコンピュータ／機械ベース／深層学習を処理するように構成されたＲＮＮとして構成することができる。一部の実施形態では、メモリ１１４にホスティングされることに加えて、ニューラルネットワーク１０８、ニューラルネットワーク１０８のサブセット、及び／又はデータのサブセットは、ニューラルネットワーク１０８によって使用されてもよく、これは、ＥＣＵ１０４の通信デバイスを通じて車両１０２のＥＣＵ１０４と通信するように構成され得る外部ホスト型サーバインフラストラクチャ（図示せず）にホスティングされてもよい。

１つ以上の実施形態では、ニューラルネットワーク１０８は、将来の位置特定アプリケーション１０６にデータを出力し、位置特定データセット１１０を構築及び維持するために利用され得る人工知能能力を提供するために、機械学習／深層学習を利用するように構成される処理能力を提供し得る、ニューラルネットワーク処理ユニット１２２を含んでもよい。ニューラルネットワーク処理ユニット１２２は、入力として提供される情報を処理してもよく、記憶された将来の位置特定データにアクセスして、様々な機能を提供するために位置特定データセット１１０を利用して、対象物分類、特徴認識、コンピュータ映像、速度認識、機械並進、自律運転コマンドなどを含むが、これらに限定されない様々な機能を提供することができる。

例示的な実施形態では、ニューラルネットワーク１０８は、ニューラルネットワーク処理ユニット１２２によって操作可能に制御されるＲＮＮエンコーダ−デコーダ構造として構成されてもよく、位置エンコーダ１２４、運動エンコーダ１２６、及び将来の位置特定デコーダ１２８を含む。位置エンコーダ１２４及び運動エンコーダ１２６は、ゲート化された反復単位エンコーダとして構成することができる。例示的な実施形態では、位置エンコーダ１２４は、車両１０２の周囲環境内に位置する１つ以上の交通参加者の過去の境界ボックス軌道に対する１つ以上の自己中心ＦＰＶ画像内にキャプチャされた過去の観測の時間的情報を符号化するように構成することができる。位置エンコーダ１２４は、それにより、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれに関する位置及びスケール情報を提供することができる。

一実施形態では、運動エンコーダ１２６は、１つ以上の自己中心ＦＰＶ画像内にキャプチャされた１つ以上の交通参加者及び背景の、運動、スケール、及び／又は外観変化の密なオプティカルフロー情報を符号化するように構成することができる。後述するように、アプリケーション１０６は、位置エンコーダ１２４及び運動エンコーダ１２６によって出力されたデータを融合して、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれの符号化された過去の位置、スケール、及び対応するオプティカルフローフィールドを提供するように構成することができる。融合データは、将来の位置特定デコーダ１２８に通信されて、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれの将来の境界ボックス軌道を推定することができる。

より具体的には、将来の位置特定デコーダ１２８は、車両１０２の周囲環境の１つ以上の自己中心ＦＰＶ画像に基づいて将来の境界ボックスを復号するように構成された、ゲート化された反復単位デコーダとして構成することができる。将来の位置特定デコーダ１２８の隠れ状態は、位置エンコーダ１２４及び運動エンコーダ１２６の最終融合隠れ状態によって初期化されて、将来の境界ボックスを復号し、それにより、アプリケーション１０６が車両１０２の周囲環境内の１つ以上の交通参加者の予測された位置、場所、スケール、深さ、及び軌道を出力して位置特定データセット１１０に更新させることを可能にする。いくつかの実施形態では、将来の位置特定デコーダ１２８の隠れ状態は、車両１０２の（車両自律制御装置１１２によって提供される自律運転計画に基づく）将来の自己運動に加えて、位置エンコーダ１２４及び運動エンコーダ１２６の最終融合隠れ状態によって初期化されてもよい。

図２は、本開示の例示的な実施形態による、ニューラルネットワーク１０８のＲＮＮエンコーダ−デコーダ構造の例示的な例を含む。以下でより詳細に論じられるように、将来の位置特定アプリケーション１０６によってニューラルネットワーク１０８のニューラルネットワーク処理ユニット１２２に提供される１つ以上のコマンドに基づいて、１つ以上の自己中心ＦＰＶ画像に基づく１つ以上の交通参加者の１つ以上の過去の境界ボックス軌道２０２は、位置及びスケール情報を提供するために位置エンコーダ１２４によって符号化されてもよい。

図示のように、将来の位置特定アプリケーション１０６はまた、車両１０２（例えば、密なオプティカルフローフィールド２０４）の周囲環境内に位置する１つ以上の交通参加者に関連付けられた、自己中心ＦＰＶ画像の密なオプティカルフローを符号化するために、運動エンコーダ１２６のための１つ以上のコマンドを提供し、１つ以上の交通参加者のそれぞれの運動、スケール、及び／又は外観変化の画素レベル情報を提供することができる。いくつかの実施形態では、将来の位置特定アプリケーション１０６は、将来の位置特定デコーダ１２８に車両１０２の自己運動計画に関連付けられた将来の自己運動データ２１４を入力するための１つ以上のコマンドを追加的に提供してもよい。将来の位置特定デコーダ１２８は、車両１０２の周囲環境内に位置する１つ以上の交通参加者に関連付けられた将来の境界ボックス２１６を復号及び予測するように構成することができる。後述するように、将来の位置特定アプリケーション１０６は、それにより、車両１０２の周囲環境に対して復号された隠れ状態を評価することによって、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれに関連付けられた将来の位置、場所、スケール、深さ、及び軌道を予測することができる。

いくつかの実施形態では、車両１０２の周囲環境内の１つ以上の交通参加者の将来の予測された位置、場所、スケール、深さ、及び軌道は、位置特定データセット１１０に追加される車両位置特定データとして提供されてもよい。いくつかの構成では、アプリケーション１０６は、位置特定データセット１１０を利用し、車両１０２の周囲環境内の１つ以上の交通参加者の予測された位置、場所、スケール、深さ、及び軌道に事前に適応するように車両１０２を自律的に制御するために提供され得る自律運転コマンドを実行しながら運動計画能力を提供することができる。

再び図１を参照すると、車両カメラシステム１１６は、車両１０２の周囲環境の１つ以上の領域に位置決めされた１つ以上のカメラ１１８を含んでもよい。例示的な実施形態では、車両１０２の周囲環境は、車両の走行経路内に含まれ得る車両１０２（例えば、車両１０２の前方、側部、及び／又は後方の道路環境）の周り（前方／側部／後方）に位置する所定の領域として定義されてもよい。

車両カメラシステム１１６の１つ以上のカメラ１１８は、車両ダッシュボード、車両バンパ、車両前方照明ユニット、車両フェンダ、及びフロントガラスの異なる部分を含むが、これらに限定されない車両１０２の外部前部に配置されてもよい。一実施形態では、１つ以上のカメラは、対象物の外観に関するリッチな情報、並びに車両１０２と１つ以上の交通参加者が含まれ得る車両１０２の周囲環境内の対象物との間の関係及び相互作用をキャプチャするように構成されたＲＧＢ帯域をキャプチャし得るＲＧＢカメラとして構成することができる。１つ以上のカメラ１１８は、１つ以上の解像度で車両１０２の周囲環境の自己中心ＦＰＶ画像（例えば、画像、ビデオ）をキャプチャするように構成することができる。例えば、１つ以上のカメラ１１８は、１９２０×１２００の解像度及び１０ｆｐｓの車両１０２の前向き周囲環境のビデオクリップをキャプチャするように構成することができる。

論じたように、画像データは、将来の位置特定アプリケーション１０６の１つ以上の構成要素に、車両カメラシステム１１６によって提供されてもよく、ニューラルネットワーク１０８の利用に基づいて更に評価及び処理されてもよい。いくつかの実施形態では、アプリケーション１０６は、画像上の抽出物で特徴抽出を実行するために、画像論理を実行するように構成することができる。画像抽出は、１つ以上の時空間的特徴の抽出を含んでもよく、対象物及びシーン認識に関し得る。一実施形態では、画像論理はまた、交通参加者（例えば、歩行者、バイカー、他の車両）、道路属性（例えば、車線区分線、オフランプ、縁石）、及び道路側対象物（例えば、信号機、停止標識）を含んでもよいが、これらに限定されない１つ以上の対象物に関連付けられた１つ以上の画像座標セットを決定するために利用されてもよい。

１つ以上の実施形態では、車両システム１２０は、車両１０２及び／又は車両１０２の１つ以上の機能及び特徴を自律的に制御するために利用され得る１つ以上のシステムを含んでもよい。例えば、車両システム１２０は、車両運転を強化するために使用され得る任意の自動又は手動システムを含むことができるが、これらに限定されない。車両システム１２０は、車両１０２及び／又は特定の車両システム１２０と関連付けられた異なる刺激（例えば、信号、属性、測定値、量）を感知及び測定する様々な車両センサ（図示せず）を含んでもよいことが理解される。

例えば、一部の車両センサは、車両１０２の外部に装着されたレーダーセンサ及びレーザーセンサを含むことができる。センサは、例えば、とりわけ、音響、電気、環境、光学、イメージング、光、圧力、力、熱、温度、近接などの任意の種類のセンサであってもよい。いくつかの実施形態では、車両システム１２０のうちの１つ以上は、車両１０２を取り囲む対象物を検出するための車両センサを含んでもよい。例えば、近接センサ、レーダーセンサ、レーザーセンサ、ＬＩＤＡＲセンサ、及び他の光学センサを使用して、車両１０２の周囲環境内の対象物を検出することができる。

車両システム１２０は、車両１０２及び／又は車両１０２の周囲環境内の１つ以上の交通参加者の予測された位置、場所、スケール、深さ、及び軌道に基づいて事前に衝突回避目的のために、車両１０２の運転者に（例えば、車両１０２が、運転者によって運転され、自律的ではない場合）警告／警報を提供するために利用され得る、とりわけ、先進運転者支援システム（ＡＤＡＳ）、例えば、適応的なクルーズ制御システム、ブラインドスポット監視システム、衝突緩和システム、レーン出発警告システムを含んでもよい。
ＩＩ．将来の車両位置特定アプリケーション及び関連方法

ここで、例示的な実施形態に従って、かつ図１及び図２を参照して、将来の位置特定アプリケーション１０６の構成要素を説明する。例示的な実施形態では、将来の位置特定アプリケーション１０６は、メモリ１１４上に記憶され、車両１０２のＥＣＵ１０４によって実行されてもよい。別の実施形態では、将来の位置特定アプリケーション１０６は、外部ホスト型コンピューティングインフラストラクチャ上に記憶されてもよく、ＥＣＵ１０４の通信デバイスによってアクセスされ、車両１０２のＥＣＵ１０４によって実行されてもよい。

将来の位置特定アプリケーション１０６の一般的な機能性について説明する。例示的な実施形態では、将来の位置特定アプリケーション１０６は、過去のデータ符号化モジュール１３０、将来のデータ復号モジュール１３２、及び車両制御モジュール１３４を含むことができる。以下でより詳細に論じられるように、過去のデータ符号化モジュール１３０は、車両カメラシステム１１６から画像データを受信し、かつニューラルネットワーク１０８を利用して車両１０２からキャプチャされた１つ以上の自己中心ＦＰＶ画像から１つ以上の過去の境界ボックス軌道を符号化するように構成することができる。過去のデータ符号化モジュール１３０は、１つ以上の過去の境界ボックス軌道に基づく運動エンコーダ１２６によって符号化されるキューとして、１つ以上の交通参加者に関連付けられた密なオプティカルフローを符号化するように更に構成し、運動及び外観についての画素レベル情報を評価し、それにより、車両１０２の周囲環境における相対運動のパターンを決定することができる。

以下でより詳細に論じられるように、将来のデータ復号モジュール１３２は、位置エンコーダ１２４及び運動エンコーダ１２６の最終融合隠れ状態２１０に関するデータを受信してもよく、１つ以上の交通参加者の将来のカメラフレームにおける将来の境界ボックス２１６（例えば、将来の１秒）を予測するために、最終融合隠れ状態２１０を将来の位置特定デコーダ１２８に入力してもよい。それにより、アプリケーション１０６は、現在の自己中心ＦＰＶ画像フレームからの将来の境界ボックスの相対的将来の位置及びスケールを出力して、車両１０２の周囲環境内の１つ以上の交通参加者のそれぞれの将来の車両位置特定を達成することができる。将来の位置特定は、車両１０２の周囲環境内の１つ以上の交通参加者の予測された位置、場所、スケール、深さ、及び軌道に関してもよく、車両１０２を自律的又は半自律的に操作するように制御される車両の１つ以上の車両システムを操作可能に制御するために更に利用されてもよい。将来の位置特定アプリケーション１０６のモジュール１３０〜１３４によって実行されるプロセス工程を説明する方法及び実施例を、より詳細に説明する。

図３は、本開示の例示的な実施形態による、過去の境界ボックス軌道を符号化するための方法３００のプロセスフロー図である。図３は、図１及び図２の構成要素を参照して説明されるが、図３の方法３００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法３００は、ブロック３０２で開始することができ、方法３００は、車両カメラシステム１１６から画像データを受信することを含み得る。例示的な実施形態では、将来の位置特定アプリケーション１０６の過去のデータ符号化モジュール１３０は、１つ以上のカメラ１１８によってキャプチャされた車両１０２の周囲環境の自己中心ＦＰＶ画像／ビデオに関する画像データをパッケージ化及び記憶することができる。一実施形態では、過去のデータ符号化モジュール１３０は、メモリ１１４上に画像データをパッケージ化及び記憶することができる。

方法３００は、ブロック３０４に進んでもよく、方法３００は、画像データを解析することと、複数の画像フレームを決定することと、を含むことができる。いくつかの実施形態では、過去のデータ符号化モジュール１３０は、画像データを評価するために画像論理を利用することができ、機械学習／深層学習を実行して、そのサンプリングレート又は同じサイズを低下させることによって画像データをダウンサンプリングするために、ニューラルネットワーク１０８を利用することができる。ダウンサンプリングは、画像データをより効率的に処理するためにビットレートを減少させることを可能にし得る。

１つ以上の実施形態では、過去のデータ符号化モジュール１３０は、１つ以上のコマンドをニューラルネットワーク１０８に送信して、ダウンサンプリングされたデータを、現在の時点からの１つ以上の直近の過去の時点を含む画像の１つ以上の過去の画像フレームを含み得る複数の画像フレームに変換して、過去の画像フレームの画像データ入力を決定することができる。１つ以上の直近の過去の時点は、画像データの形態で受信される現在の時点の、過去の（例えば、すぐ過去の）時点を含むことができる。いくつかの実施形態では、過去のデータ符号化モジュール１３０はまた、現在の画像フレームの画像データ入力を決定するための現在の画像フレームを含む画像フレームを決定するように構成することができる。

方法３００は、ブロック３０６に進んでもよく、方法３００は、１つ以上の対象物の物理的位置を決定することを含み得る。一実施形態では、過去のデータ符号化モジュール１３０は、画像論理を実行して、車両１０２に対する１つ以上の対象物の物理的位置の決定を実施することができる。過去のデータ符号化モジュール１３０は、対象物及びシーン認識に関する１つ以上の時空間的特徴を抽出することができる。一実施形態では、画像論理はまた、交通参加者（例えば、歩行者、バイカー、他の車両）、道路属性（例えば、車線区分線、オフランプ、縁石）、及び道路側対象物（例えば、信号機、停止標識）を含んでもよいが、これらに限定されない１つ以上の対象物に関連付けられた１つ以上の画像座標セットを決定するために利用され、車両１０２に対する１つ以上の対象物の物理的位置を決定することができる。

方法３００は、ブロック３０８に進んでもよく、方法３００は、１つ以上の交通参加者を各画像フレームから分類することを含み得る。例示的な実施形態では、１つ以上の対象物の物理的位置を出力すると、過去のデータ符号化モジュール１３０は、決定された画像座標の１つ以上のセットに基づいて、交通参加者として分類される１つ以上の対象物に関連付けられた特徴を抽出することができる。１つの構成では、過去のデータ符号化モジュール１３０は、メモリ１１４にアクセスし、対象物の画素位置及びスケールを、交通参加者として１つ以上の対象物を分類する異なる種類の交通参加者に関連付けられたサイズ及び特徴の範囲を含む値を表す１つ以上の種類の交通参加者に関連付けられた１つ以上の交通参加者モデルと比較することができる。いくつかの実施形態では、過去のデータ符号化モジュール１３０は、交通参加者検出のためにＣＯＣＯデータセット（図示せず）に予め訓練されたＭａｓｋ−ＲＣＮＮ（図示せず）を利用してもよい。過去のデータ符号化モジュール１３０は、各画像フレーム（例えば、ビデオの）に対する複数の交通参加者追跡のためのカルマンフィルタを利用して、それにより、各画像フレームから１つ以上の交通参加者を分類することができる。

方法３００は、ブロック３１０に進んでもよく、方法３００は、過去の境界ボックス軌道位置を符号化することを含み得る。１つ以上の交通対象物を分類すると、過去のデータ符号化モジュール１３０は、過去の画像フレームに対する１つ以上の交通参加者の周りの境界ボックスを計算することができる。図２を参照すると、過去の境界ボックス軌道２０２は、ニューラルネットワーク処理ユニット１２２を通じて、ニューラルネットワーク１０８の完全に接続された層２０８ａに、過去のデータ符号化モジュール１３０によって入力されてもよい。

過去のデータ符号化モジュール１３０は、ニューラルネットワーク１０８にアクセスし、位置エンコーダ１２４を利用して、車両１０２の周囲環境内に位置する１つ以上の交通参加者の過去の軌道に関連付けられた過去の境界ボックス軌道のための対象物位置スケールの観測を符号化することができる。１つの構成では、各交通参加者の過去の境界ボックス軌道は、以下のように過去のデータ符号化モジュール１３０によって計算されてもよい。
Ｘ＝｛ｘ_ｔ０−τ_＋１，ｘ_ｔ０−τ_{＋２．．．，}ｘ_ｔ０｝
式中、ｘ_ｔ＝［ｘ_ｔ，ｙ_ｔ，ｗ_ｔ，ｈ_ｔ］は、時間ｔ（フレーム）における各交通参加者の境界ボックスの画素座標を、画素のその幅及び高さと共に含む。

方法３００は、ブロック３１０に進んでもよく、方法３００は、過去のボックス軌道を符号化することを含み得る。例示的な実施形態では、過去のデータ符号化モジュール１３０は、ニューラルネットワーク１０８と通信して、ニューラルネットワーク１０８の完全に接続された層２０８ａを通じて各交通参加者の過去の境界ボックス軌道を位置エンコーダ１２４に提供することができる。一実施形態では、過去のデータ符号化モジュール１３０は、画素のその幅及び高さと共に時間ｔにおける各交通参加者の境界ボックスの画素座標によって指定されるその画素位置及びスケールに基づいて、各交通参加者の過去の位置、場所、及び軌道で過去の軌道を符号化することができる。一例として、画像の中心に位置する別の交通参加者の過去の位置、場所、及び軌道は、交差点の反対側から近くの車両又は離れた車両として決定されてもよい。そのような差異は、交通参加者の将来の位置、場所、及び軌道の異なる位置特定をもたらし得る。

１つ以上の実施形態では、車両１０２の周囲環境内の１つ以上の交通参加者のそれぞれに関連付けられた過去の境界ボックス軌道を符号化すると、位置エンコーダ１２４は、過去のデータ符号化モジュール１３０への画素のその幅及び高さと共に時間ｔにおける各交通参加者の境界ボックスの画素座標によって指定されるその画素位置及びスケールに基づいて、各交通参加者の過去の位置、場所、及び軌道に通信することができ、かつ符号化された過去の境界ボックス軌道のそれぞれに関連付けられた最終隠れ状態を出力することができる。符号化された過去の境界ボックス軌道のそれぞれに関連付けられた最終隠れ状態は、時間ｔにおけるゲート化された反復単位（gated recurrent unit、ＧＲＵ）モデルの隠れ状態ベクトルとして出力されてもよく、ここで、
であり、式中、ＧＲＵは、パラメータ
を有する位置エンコーダ１２４のゲート化された反復単位であり、ＲｅＬＵのアクティブ化を伴う線形投影であり、
は、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルである。一実施形態では、隠れ状態ベクトルを出力すると、位置エンコーダ１２４は、隠れ状態ベクトルを過去のデータ符号化モジュール１３０に通信してもよい。論じたように、位置エンコーダ１２４の最終隠れ状態は、運動エンコーダ１２６の最終隠れ状態と更に融合されてもよい。

図４は、本開示の例示的な実施形態による過去の相対運動及びスケール変化を符号化するための方法４００のプロセスフロー図であり、図１及び図２の構成要素を参照して説明されるが、図４の方法４００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。１つ以上の実施形態では、方法４００は、将来の位置特定アプリケーション１０６の過去のデータ符号化モジュール１３０によって実行されてもよい。

方法４００は、ブロック４０２で開始することができ、方法４００は、積層されたオプティカルフローフィールドを決定することを含み得る。上述のように、車両１０２の周囲環境内の１つ以上の交通参加者のそれぞれに関連付けられた過去の境界ボックス軌道を符号化すると、過去のデータ符号化モジュール１３０は、（方法３００のブロック３０４で決定されたように）画像データに基づいて過去の画像フレームを評価することができる。一実施形態では、過去のデータ符号化モジュール１３０は、過去の画像フレームの画素のそれぞれに対する画素レベル情報を評価して、過去の画像フレームの密なオプティカルフローを決定することができる。密なオプティカルフローは、１つ以上の交通参加者を含み得る対象物の移動によって引き起こされる２つの連続する画像フレーム間の１つ以上の交通参加者の明らかな運動変化のパターンを提供することができる。

一構成では、過去のデータ符号化モジュール１３０は、ベクトル場として密なオプティカルフローデータを提供することができ、各ベクトルは、１つの画像フレームから次の画像フレームへの点の移動を示す変位ベクトルを表す。換言すれば、交通参加者に関連付けられた各特徴については、ベクトル［ｕ，ｖ］は、（ブロック３０４において）画像フレームが決定された画像をキャプチャする１つ以上のそれぞれのカメラ１１８の移動及び画像フレーム内に含まれる１つ以上の交通参加者の移動から生じる、それぞれの交通参加者の相対運動を説明するために使用される。

密なオプティカルフローは、全ての画素の正確な推定を提供する。したがって、過去のデータ符号化モジュール１３０は、画像フレーム内にキャプチャされたバックグラウンド対象物からの交通参加者などの移動対象物を区別することができる。また、過去のデータ符号化モジュール１３０は、それにより、対象物上の異なる画素が異なるフローを有し得るため、対象物の外観の変化を説明することができる。したがって、密なオプティカルフローは、交通参加者の運動、並びに（階段状の）密なオプティカルフローフィールド２０４の形態の外観情報をキャプチャすることができる。決定された密なオプティカルフローフィールド２０４は、過去のデータ符号化モジュール１３０によって更に処理され得るオプティカルフローマップ（データ）を含んでもよく、モジュール１３０によって、過去のτフレームに対するＯ＝｛Ｏ_ｔ０−τ_＋１，Ｏ_ｔ０−τ_{＋２．．．，}Ｏ_ｔ０｝としてコンピュータであってもよい。

方法４００は、ブロック４０４に進んでもよく、方法４００は、オプティカルフローフィールド及び過去の境界ボックス軌道の対象領域のプール化を完了することを含み得る。一実施形態では、積層されたオプティカルフローフィールドを決定すると、将来の位置特定アプリケーション１０６の過去のデータ符号化モジュール１３０は、対象領域のプール化（ＲＯＩプール化）操作２０６を利用して、１つ以上の交通参加者のそれぞれの特徴を抽出することができる。

例示的な実施形態では、ＲＯＩプール化操作２０６は、密なオプティカルフローフィールド２０４からの双線形補間、及び車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれに関連付けられた過去の境界ボックス軌道２０２の使用を含んでもよい。したがって、ＲＯＩ領域は、それぞれの交通参加者に関するコンテキスト情報を含む（例えば、各交通参加者の周りで計算される）各交通参加者に関連付けられた境界ボックスから拡張されてもよい。

モジュール１３０は、ＲＯＩプール化操作２０６を完了することによって、交通参加者の特徴を抽出するように構成することができる。換言すれば、プール化データは、１つ以上の交通参加者のそれぞれの過去の境界ボックス軌道を決定するときに計算された１つ以上の境界ボックス内に囲まれた１つ以上の交通参加者に関連付けられたオプティカルフローに関するデータに基づいて、１つ以上の交通参加者に関連付けられた特徴を抽出するために利用されてもよい。

この機能性は、車両１０２の周囲環境に対する各交通参加者の相対運動もまた、以下で論じるように運動エンコーダ１２６によって符号化されることを確実にすることができる。一実施形態では、結果として得られた相対運動ベクトルは、以下のように表される。
Ｏ_ｔ＝［ｕ_１，ｖ_１，ｕ_２，ｖ_２，ｕ_２，．．．ｕ_ｎ，ｖ_ｎ］_ｔ，
式中、ｎはプール化された領域のサイズである。１つ以上の実施形態では、プール化操作２０６を完了すると、過去のデータ符号化モジュール１３０は、密なオプティカルフローフィールド２０４及び車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれの過去の境界ボックス軌道２０２からの双線形補間に基づいてプール化データを出力することができる。過去のデータ符号化モジュール１３０は、以下に説明するように、別の完全に接続された層２０８ｂに、ニューラルネットワーク処理ユニット１２２を通じてプール化データを更に運動エンコーダ１２６に入力してもよい。

方法４００は、ブロック４０６に進んでもよく、方法４００は、過去の相対運動及びスケール変化を符号化することを含み得る。例示的な実施形態では、ＲＯＩプール化操作２０６を完了し、かつニューラルネットワーク１０８の完全に接続された層２０８ｂにプール化データを出力すると、過去のデータ符号化モジュール１３０は、ニューラルネットワーク１０８のニューラルネットワーク処理ユニット１２２と通信して、完全に接続された層２０８ｂからニューラルネットワーク１０８の運動エンコーダ１２６にデータストリームを入力することができる。運動エンコーダ１２６は、各入力ステムに対して利用されてもよく、後期融合を適用してもよい。したがって、位置エンコーダ１２４及び運動エンコーダ１２６の最終隠れ状態は、位置エンコーダ１２４及び運動エンコーダ１２６による符号化に基づく将来データ復号モジュール１３２に出力されてもよい。

具体的には、運動エンコーダ１２６の隠れ状態は、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルとして出力されてもよく、
式中、ＧＲＵは、パラメータ
を有する運動エンコーダ１２６のゲート化された反復単位であり、ＲｅＬＵのアクティブ化を伴う線形投影であり、
は、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルである。一実施形態では、隠れ状態ベクトルを出力すると、運動エンコーダ１２６は、隠れ状態ベクトルを過去のデータ符号化モジュール１３０に通信してもよい。

方法４００は、ブロック４０８に進んでもよく、方法４００は、位置エンコーダ１２４及び運動エンコーダ１２６によって出力された最終隠れ状態を融合することを含み得る。例示的な実施形態では、（方法３００の実行に基づいて）位置エンコーダ１２４によって出力される１つ以上の交通参加者のそれぞれの過去の境界ボックス軌道と関連付けられた最終隠れ状態及び（ブロック４０６に基づく）オプティカルフローの交通参加者の特徴に関連付けられた最終隠れ状態を受信すると、過去のデータ符号化モジュール１３０は、最終隠れ状態を融合（例えば、合併、集約）することができる。具体的には、過去のデータ符号化モジュール１３０は、位置エンコーダ１２４の最終隠れ状態及び運動エンコーダ１２６の最終隠れ状態を融合して、最終融合隠れ状態２１０を出力してもよい。最終融合隠れ状態２１０は、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルとして出力されてもよく、ここで、
式中、パラメータ
が、ＲｅＬＵのアクティブ化を伴う線形投影であり、
が、時間ｔにおける位置エンコーダ１２４及び運動エンコーダ１２６のそれぞれのＧＲＵモデルの隠れ状態ベクトルである。例示的な実施形態では、位置エンコーダ１２４及び運動エンコーダ１２６によって出力された最終隠れ状態を融合すると、過去のデータ符号化モジュール１３０は、最終融合隠れ状態２１０を、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルとして、将来の位置特定アプリケーション１０６の将来のデータ復号モジュール１３２に通信することができる。

後述するように、将来のデータ復号モジュール１３２は、ニューラルネットワーク１０８を利用して、車両１０２の周囲環境内に位置する１つ以上の交通参加者の将来のカメラフレーム内の将来の境界ボックス２１６（例えば、将来の１秒）を予測するように構成することができる。それにより、将来のデータ復号モジュール１３２は、現在の自己中心ＦＰＶ画像フレームからの将来の境界ボックスの相対的将来の位置及びスケールを出力して、車両１０２の周囲環境内の１つ以上の交通参加者のそれぞれの将来の車両位置特定を達成することができる。

図５は、本開示の例示的な実施形態による各交通参加者に関連付けられた将来の境界ボックスを復号するための方法５００のプロセスフロー図であり、図１及び図２の構成要素を参照して説明されるが、図５の方法５００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。

方法５００は、ブロック５０２で開始することができ、方法５００は、最終融合隠れ状態を将来の位置特定デコーダ１２８に入力することを含み得る。上述のように、位置エンコーダ１２４及び運動エンコーダ１２６によって出力された最終隠れ状態を融合すると、過去のデータ符号化モジュール１３０は、最終融合隠れ状態２１０を、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルとして、将来の位置特定アプリケーション１０６の将来のデータ復号モジュール１３２に通信することができる。

将来のデータ復号モジュール１３２は、ニューラルネットワーク処理ユニット１２２を通じて最終的に融合隠れ状態２１０の隠れ状態ベクトルを別の完全に接続された層２０６ｃに入力するように構成することができる。したがって、符号化された過去の境界ボックス軌道（過去の車両位置）の最終隠れ状態の最終融合隠れ状態２１０及び車両１０２の周囲環境内に位置するそれぞれの交通参加者に関連付けられた積層されたオプティカルフローフィールドの最終隠れ状態は、完全に接続された層２０８ｃに入力されてもよい。例示的な実施形態では、最終融合隠れ状態２１０は、将来のデータ復号モジュール１３２によって将来の位置特定デコーダ１２８に更に出力されて、ＧＲＵを利用して、１つ以上の交通参加者の予測される将来の位置に関連付けられた将来の境界ボックスを復号することができる。

方法５００は、ブロック５０４に進んでもよく、方法５００は、車両１０２の将来の自己運動２１４を推定することを含み得る。１つ以上の実施形態では、将来のデータ復号モジュール１３２は、車両１０２の将来の自己運動２１４を推定して、車両１０２の周囲環境内に位置する１つ以上の交通参加者の将来の位置を予測する際に助けとなり得る追加データを提供することができる。一実施形態では、ブロック５０４は、車両１０２が半自律型又は完全に自律型車両として構成されている場合、任意のプロセス工程として実行されてもよい。

上述のように、車両１０２の車両自律制御装置１１２は、車両１０２の意図された目的地、車両１０２の周囲環境内に位置する１つ以上の交通参加者、将来の位置特定アプリケーション１０６により決定される１つ以上の交通参加者の１つ以上の将来の予測された位置、及び／又は車両１０２が走行しているレーン、交通信号のステータス、交通パターン、交通規制などを含んでもよいが、これらに限定されない１つ以上の外部要因のうちの１つ以上に基づいて、自律運転計画を処理及び実行することができる。

例示的な実施形態では、将来のデータ復号モジュール１３２は、移動車両１０２に対する交通参加者の将来の位置を予測するために、車両１０２に関連付けられた将来の自己運動を推定するように構成することができる。換言すれば、この機能性は、車両１０２の将来のポーズ（場所、位置、及び軌道）が、車両１０２の周囲環境内に位置する１つ以上の交通参加者の将来の位置予測を支援するように推定され得るように、運動計画の認識を決定することができる。このような計画された自己運動情報は、車両１０２と１つ以上の交通参加者との間の相互作用によって引き起こされる運動を予測するのを支援することができる。例えば、車両１０２が交差点で左折すると推定される場合、この推定は、１つ以上の交通参加者が道を譲るために停止するか、又は車両１０２を追い越すために加速し得ることを更に推定するのを支援することができる。

したがって、将来のデータ復号モジュール１３２は、車両自律制御装置によって処理された自律運転計画を分析して、車両１０２の将来の速度、ヨーレート、及び進路（例えば、将来の１秒）を推定することができる。一実施形態では、将来データ復号モジュール１３２は、回転行列
及び並進ベクトル
によって推定される将来の自己運動を表し得、時間ｔからｔ＋１へのカメラ座標フレームの変換を共に説明する。フレーム間の相対的なペアワイズ変換は、現在のフレームから予測水平にわたる変換を推定するように構成することができる。

将来の自己運動は、ベクトルによって表されてもよい。
式中、
は、
から抽出される推定ヨー角であり、
は、時間ｔ_０における座標フレームからの並進である。将来のデータ復号モジュール１３２は、車両１０２に固定された右手座標系を利用してもよく、車両の進路は正のｘである。

方法５００は、ブロック５０６に進んでもよく、方法５００は、将来の軌道復号のために将来の位置特定デコーダ１２８に推定された将来の自己運動を入力することを含んでもよい。例示的な実施形態では、車両１０２の将来の自己運動を推定すると、将来のデータ復号モジュール１３２は、それにより、ニューラルネットワーク処理ユニット１２２を通じてニューラルネットワーク１０８の完全に接続された層２０８ｄに車両１０２の将来の自己運動を入力することができる。将来のデータ復号モジュール１３２は、完全に接続された層２０８ｄからニューラルネットワーク１０８の将来の位置特定デコーダ１２８に推定された将来の自己運動を入力して、ＧＲＵを利用し、最終融合隠れ状態２１０及び車両１０２の推定された自己運動に基づいて、１つ以上の交通参加者の予測される将来の位置に関連付けられた将来の境界ボックスを復号することができる。

方法５００は、ブロック５０８に進んでもよく、方法５００は、車両１０２の周囲環境内に位置する１つ以上の交通参加者に関連付けられた将来の境界ボックスを復号することを含み得る。例示的な実施形態では、将来のデータ復号モジュール１３２は、将来の位置特定デコーダを利用して、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれと関連付けられた将来の境界ボックスを復号することができる。一実施形態では、将来の位置特定デコーダ１２８は、（過去の境界ボックス軌道入力の）位置エンコーダ１２４の最終融合隠れ状態２１０から初期化されたデコーダ隠れ状態、及び（オプティカルフロー入力の）運動エンコーダ１２６を出力してもよい。将来の位置特定デコーダ１２８は、反復関数を計算することができる。

例示的な実施形態では、将来の位置特定デコーダ１２８は、最終融合隠れ状態２１０を復号するＧＲＵ及び将来の位置特定デコーダ１２８に入力された車両１０２の推定された自己運動に基づく過去の境界ボックス軌道から、将来の推定される境界ボックス軌道の推定デルタ（変化）を出力してもよい。デコーダ隠れ状態は、時間ｔにおけるＧＲＵモデルの隠れ状態ベクトルとして出力されてもよく、ここで、
式中、
は、デコーダ隠れ状態であり、
は、将来の位置特定デコーダ１２８の初期隠れ状態であり、
は、ドメイン転送に適用されるＲｅＬＵのアクティブ化を伴う線形投影である。将来の位置特定デコーダ１２８は、それに応じて、画像フレームからの１つ以上の交通参加者のそれぞれに関連付けられた将来の境界ボックスの相対位置及びスケールを生成する（方法３００のブロック３０２で決定され、上記の式によって表される）。将来の位置特定デコーダ１２８によって出力されるモデルは、それにより、ゼロ初期を有するようにシフトされる。

一実施形態では、将来の位置特定デコーダ１２８は、それにより、過去の境界ボックス軌道の位置及びサイズからの将来の（予測される）境界ボックスの位置及びサイズにおけるデルタ（変化）を提供することができ、それぞれのデータを将来のデータ復号モジュール１３２に通信することができる。将来の位置特定デコーダ１２８は、車両１０２の周囲環境内に位置する１つ以上の交通参加者のそれぞれに関連付けられ得る複数の予測される将来の境界ボックスのための将来の境界ボックスの位置にデルタを提供し得ることを理解されたい。

方法５００は、ブロック５１０を処理してもよく、方法５００は、１つ以上の交通参加者の将来の位置、場所、スケール、深さ、及び軌道を予測することを含み得る。一実施形態では、将来のデータ復号モジュール１３２は、画像論理（例えば、予めプログラムされたコンピュータ論理）を利用することができ、また、ニューラルネットワーク１０８と通信し、機械学習／深層学習を提供し、人工知能能力を提供して車両１０２の周囲環境６００内の１つ以上の交通参加者の将来の位置（例えば、物理的位置）、場所（例えば、車両１０２に対する地理的場所、車両１０２に対する走行方向）、スケール（例えば、交通参加者の物理的サイズ）、深さ（例えば、交通参加者と車両１０２との間の距離に変換され得る画像内の深さ）、及び軌道（例えば、走行方向、経路、進路）を予測することができる。

図６の例示的な例に示すように、位置エンコーダ１２４、運動エンコーダ１２６、及び将来の自己運動の決定により完了した符号化に基づいて、将来の位置特定デコーダ１２８は、車両１０２の周囲環境内に位置する交通参加者６１０、６１２のそれぞれについて、過去の境界ボックス６０２から将来の境界ボックス６０４、６０６、６０８を復号することができる。将来のデータ復号モジュール１３２は、それに応じて、車両１０２の周囲環境６００内に位置する交通参加者６１０、６１２の将来の位置、場所、スケール、深さ、及び軌道（例示的な線６１４ａ及び６１４ｂによって表される）を予測することができる。

例示的な実施形態では、将来のデータ復号モジュール１３２は、それぞれのデータをニューラルネットワーク１０８に通信することができ、それにより、１つ以上の道路環境シナリオ（例えば、交差点シナリオ）について収集され得る位置特定データセット１１０を更新してもよい。１つ以上の実施形態では、アプリケーション１０６は、車両１０２の周囲環境内の１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道に事前に適応するように車両１０２を自律的に制御するために提供され得る自律運転コマンドを実行しながら、運動計画能力を提供するために、位置特定データセット１１０にアクセスして分析してもよい。更なる実施形態では、アプリケーション１０６は、車両１０２及び／又は車両１０２の周囲環境内の１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道に基づいて、事前に衝突回避目的のために運転者に警告／警報するために提供され得る車両１０２の運転者に警告を提供するために、位置特定データセット１１０にアクセスして分析してもよい。

図７は、本開示の例示的な実施形態による、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道を考慮するように自律的に運転されるように車両１０２を制御するための方法７００のプロセスフロー図であり、図１及び図２の構成要素を参照して説明されるが、図７の方法は他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法７００は、ブロック７０２で開始することができ、方法７００は、画像データ及び複数の画像フレームを受信することを含み得る。一実施形態では、車両制御モジュール１３４は、車両の周囲環境１０２の画像データを受信するために、車両カメラシステム１１６と通信してもよい。車両制御モジュール１３４は、（ブロック３０４で決定された）複数の画像フレームを受信するために、過去のデータ符号化モジュール１３０と追加的に通信してもよい。

方法７００は、ブロック７０４に進んでもよく、方法７００は、１つ以上の交通参加者に関連付けられた予測される将来の位置特定データを分析することを含み得る。１つ以上の実施形態では、将来のデータ復号モジュール１３２はまた、車両１０２の周囲環境内に位置する１つ以上の交通参加者の将来の位置、場所、スケール、深さ、及び軌道に関するデータを、将来の位置特定アプリケーション１０６の車両制御モジュール１３４に通信してもよい。画像データ及び複数の画像フレームを受信すると、車両制御モジュール１３４は、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道を分析してもよい。車両制御モジュール１３４は、画像データ及び複数の画像フレームに基づいて、１つ以上の将来の時点で車両１０２によって走行し得る１つ以上の経路を更に決定してもよい。１つ以上の経路はまた、（上述のように）車両自律制御装置１１２によって処理された自律運転計画に基づいて、車両１０２の将来の自己運動の更なる分析が決定されてもよい。

追加の実施形態では、車両制御モジュール１３４は、更に、ニューラルネットワーク１０８と通信して、１つ以上の交通参加者が（ブロック５１０で）予測されたのと同様の将来の位置、場所、スケール、深さ、及び軌道内に位置する１つ以上の同様の道路環境シナリオに関し得る位置特定データセット１１０からの位置特定データにアクセスすることができる。データセット１１０からのデータを利用して、車両１０２が運転されている環境及び車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道を考慮するために、車両１０２を自律的に制御するように送信され得る１つ以上のコマンドを更に精緻化することができる。

方法７００は、ブロック７０６に進んでもよく、方法７００は、車両１０２を自律的に制御するために車両自律制御装置１１２と通信することを含み得る。例示的な実施形態では、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道１つ以上の将来の時点で車両１０２によって走行し得る１つ以上の経路、並びに／又は位置特定データセット１１０からのデータを分析すると、車両制御モジュール１３４は、車両自律制御装置１１２及び／又はＥＣＵ１０４に１つ以上のコマンド（例えば、データ信号）に通信して、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測された自己中心映像に基づく将来の車両位置特定に基づいて車両１０２を自律的に制御してもよい。

１つ以上の実施形態では、車両自律制御装置１１２は、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測された自己中心映像に基づく将来の車両位置特定に基づいて、車両１０２を自律的又は半自律的に制御するように、車両システム１２０のうちの１つ以上を操作可能に制御してもよい。車両自律制御装置１１２及び／又はＥＣＵ１０４は、車両１０２の制御ユニットのうちの１つ以上と通信してもよく、それにより、車両１０２を制御して、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測された自己中心映像に基づく将来の車両位置特定に基づいて車両１０２を制御するように運転されてもよい。

例示的な例として、再び図６を参照すると、車両制御モジュール１３６は、車両１０２によって実施され得る１つ以上の離散した将来の行動を決定し、車両１０２の周囲環境６００内に位置する交通参加者６１０、６１２の予測される将来の位置、場所、スケール、深さ、及び軌道（例示的な線６１４ａ及び６１４ｂによって表される）を考慮することができる。より具体的には、車両１０２は、特定の方法（例えば、特定の速度、加速度、操舵角、スロットル角度、制動力の適用によって）で実行され得る１つ以上の別個の行動を実行するように制御されてもよく、車両１０２の推定された自己運動及び車両１０２の周囲環境６００内に位置する交通参加者６１０、６１２の予測される将来の位置、場所、スケール、深さ、及び軌道（例示的な線６１４ｓ及び６１４ｂによって表される）を考慮することができる。例えば、車両１０２は、車両１０２の推定された自己運動及び車両１０２の周囲環境６００内に位置する交通参加者６１０、６１２の予測される将来の位置、場所、スケール、深さ、及び軌道（線６１４ｓ及び６１４ｂによって表される）に基づいて、特定の制動力を使用して減速及び停止するように自律的に制御されてもよい。

更なる実施形態では、車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測される将来の位置、場所、スケール、深さ、及び軌道、１つ以上の将来の時点で車両１０２によって走行し得る１つ以上の経路、並びに／又は位置特定データセット１１０からのデータを分析すると、車両制御モジュール１３４は、１つ以上のコマンド（例えば、データ信号）をＥＣＵ１０４に通信して、それに応じて車両システム１２０の１つ以上を操作可能に制御し、特定の方法で実施し得る１つ以上の別個の行動を実行し、車両１０２の推定された自己運動及び車両１０２の周囲環境内に位置する１つ以上の交通参加者の予測された自己中心映像に基づく将来の車両位置特定を考慮することができる。

図８は、本開示の例示的な実施形態による、自己中心映像に基づく将来の車両位置特定のための方法８００のプロセスフロー図であり、図１及び図２の構成要素を参照して説明されるが、図８の方法は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法８００は、ブロック８０２で開始することができ、方法８００は、車両１０２の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することを含み得る。

方法８００は、ブロック８０４に進んでもよく、方法８００は、少なくとも１つの自己中心ＦＰＶ画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することを含み得る。一実施形態では、少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態が出力される。方法８００は、ブロック８０６に進んでもよく、方法８００は、少なくとも１つの交通参加者に関連付けられた自己中心一人称視点画像の密なオプティカルフローを符号化することを含み得る。

方法８００は、ブロック８０８に進んでもよく、方法８００は、少なくとも１つの過去の境界ボックス軌道符号化の最終隠れ状態及び密なオプティカルフロー符号化の最終隠れ状態に基づいて、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することを含み得る。方法８００は、ブロック８１０に進んでもよく、方法８００は、少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスに基づいて自律的に運転されるように、車両１０２を制御することを含み得る。

上述の説明から、本発明の様々な例示的な実施形態がハードウェアに実装され得ることが明らかであるべきである。更に、様々な例示的な実施形態は、本明細書で詳細に説明される操作を実行するために少なくとも１つのプロセッサによって読み取り及び実行され得る、揮発性又は不揮発性メモリなどの非一時的機械可読記憶媒体上に記憶された命令として実装されてもよい。機械可読記憶媒体は、パーソナルコンピュータ又はラップトップコンピュータ、サーバ、又は他のコンピューティングデバイスなどの機械によって読み取り可能な形態で情報を記憶するための任意の機構を含んでもよい。したがって、非一時的機械可読記憶媒体は、一時信号を除外するが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び同様の記憶媒体を含むがこれらに限定されない揮発性及び不揮発性メモリの両方を含んでもよい。

本明細書の任意のブロック図は、本発明の原理を具現化する例示的な回路の概念図を表すことを当業者は理解すべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、機械可読媒体に実質的に表され、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されるであろう。

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実装が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、現在予測されていない、又は予期されていない様々な代替、修正、変形、又は改良を連続的に行うことができ、これらも添付の特許請求の範囲によって包含されることが意図される。

Claims

自己中心映像に基づく将来の車両位置特定のためのコンピュータ実装方法であって、
車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することと、
前記少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することであって、前記少なくとも１つの過去の境界ボックス軌道の符号化の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの交通参加者に関連付けられた前記自己中心一人称視点画像の密なオプティカルフローを符号化することであって、前記密なオプティカルフロー符号化の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態及び前記密なオプティカルフロー符号化の前記最終隠れ状態に基づいて、前記少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することと、
前記少なくとも１つの交通参加者に関連付けられた前記少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように前記車両を制御することと、を含む、コンピュータ実装方法。
前記少なくとも１つの自己中心一人称視点画像を受信することが、対象物に関連する少なくとも１つの時空間的特徴を抽出することと、少なくとも１つの交通参加者モデルに対する前記対象物の画素位置及びスケールの比較に基づいて、前記対象物を前記少なくとも１つの交通参加者として分類することと、を含む、請求項１に記載のコンピュータ実装方法。
前記少なくとも１つの過去の境界ボックス軌道を符号化することが、分類された前記少なくとも１つの交通参加者の周りの少なくとも１つの境界ボックスを計算することを含み、少なくとも１つの過去の軌道が、前記少なくとも１つの過去の境界ボックスに基づいて計算される、請求項２に記載のコンピュータ実装方法。
前記少なくとも１つの過去の境界ボックス軌道を符号化することが、前記少なくとも１つの交通参加者の前記少なくとも１つの自己中心一人称視点画像の画素内の幅及び高さと共に、前記少なくとも１つの交通参加者の境界ボックスの画素座標によって指定された画素位置及びスケールに基づいて、前記少なくとも１つの交通参加者の過去の位置、場所、及び軌道を一度に符号化することを含む、請求項３に記載のコンピュータ実装方法。
前記自己中心一人称視点画像の前記密なオプティカルフローを符号化することが、過去の画像フレームの画素のそれぞれに対する画素レベル情報を評価して、過去の画像フレームの前記密なオプティカルフローを決定することを含み、２つの連続する画像フレーム間の前記少なくとも１つの交通参加者の明らかな運動変化のパターンが、前記少なくとも１つの交通参加者の移動によって引き起こされる、請求項１に記載のコンピュータ実装方法。
前記自己中心一人称視点画像の前記密なオプティカルフローを符号化することが、オプティカルフローフィールド及び前記過去の境界ボックス軌道の対象領域のプール化を完了することを含み、前記少なくとも１つの交通参加者に関連付けられた特徴を抽出するために、対象領域が、境界ボックスから拡張され得る、請求項５に記載のコンピュータ実装方法。
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態と、前記密なオプティカルフロー符号化の前記最終隠れ状態とを融合することを更に含み、最終融合隠れ状態が、特定の時間にゲート化された反復単位モデルの隠れ状態ベクトルとして出力される、請求項１に記載のコンピュータ実装方法。
前記車両の将来の自己運動を推定することを更に含み、前記車両の前記将来の自己運動が、前記車両の意図された目的地、前記車両が走行しているレーン、交通信号のステータス、交通パターン、及び交通規制のうちの少なくとも１つに基づく自律運転計画によって決定される、請求項７に記載のコンピュータ実装方法。
前記少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することが、前記少なくとも１つの交通参加者に関連付けられた前記少なくとも１つの将来の境界ボックスを復号するために、前記最終融合隠れ状態及び前記車両の前記将来の自己運動を将来の位置特定デコーダに入力することを含む、請求項８に記載のコンピュータ実装方法。
自己中心映像に基づく将来の車両位置特定のためのシステムであって、
命令を記憶するメモリを含み、前記メモリは、プロセッサによって実行されると、
車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することと、
前記少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することであって、前記少なくとも１つの過去の境界ボックス軌道の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの交通参加者に関連付けられた前記自己中心一人称視点画像の密なオプティカルフローを符号化することであって、前記密なオプティカルフロー符号化の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態及び前記密なオプティカルフロー符号化の前記最終隠れ状態に基づいて、前記少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することと、
前記少なくとも１つの交通参加者に関連付けられた前記少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように前記車両を制御することと、を前記プロセッサに行わせる、システム。
前記少なくとも１つの自己中心一人称視点画像を受信することが、対象物に関連する少なくとも１つの時空間的特徴を抽出することと、少なくとも１つの交通参加者モデルに対する前記対象物の画素位置及びスケールの比較に基づいて、前記対象物を前記少なくとも１つの交通参加者として分類することと、を含む、請求項１０に記載のシステム。
前記少なくとも１つの過去の境界ボックス軌道を符号化することが、分類された前記少なくとも１つの交通参加者の周りの少なくとも１つの境界ボックスを計算することを含み、少なくとも１つの過去の軌道が、前記少なくとも１つの過去の境界ボックスに基づいて計算される、請求項１１に記載のシステム。
前記少なくとも１つの過去の境界ボックス軌道を符号化することが、前記少なくとも１つの交通参加者の前記少なくとも１つの自己中心一人称視点画像の画素内の幅及び高さと共に、前記少なくとも１つの交通参加者の境界ボックスの画素座標によって指定された画素位置及びスケールに基づいて、前記少なくとも１つの交通参加者の過去の位置、場所、及び軌道を一度に符号化することを含む、請求項１２に記載のシステム。
前記自己中心一人称視点画像の前記密なオプティカルフローを符号化することが、過去の画像フレームの画素のそれぞれに対する画素レベル情報を評価して、過去の画像フレームの前記密なオプティカルフローを決定することを含み、２つの連続する画像フレーム間の前記少なくとも１つの交通参加者の明らかな運動変化のパターンが、前記少なくとも１つの交通参加者の移動によって引き起こされる、請求項１０に記載のシステム。
前記自己中心一人称視点画像の前記密なオプティカルフローを符号化することが、オプティカルフローフィールド及び前記過去の境界ボックス軌道の対象領域のプール化を完了することを含み、前記少なくとも１つの交通参加者に関連付けられた特徴を抽出するために、対象領域が境界ボックスから拡張され得る、請求項１４に記載のシステム。
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態と、前記密なオプティカルフロー符号化の前記最終隠れ状態とを融合することを更に含み、最終融合隠れ状態が、特定の時間にゲート化された反復単位モデルの隠れ状態ベクトルとして出力される、請求項１０に記載のシステム。
前記車両の将来の自己運動を推定することを更に含み、前記車両の前記将来の自己運動が、前記車両の意図された目的地、前記車両が走行しているレーン、交通信号のステータス、交通パターン、及び交通規制のうちの少なくとも１つに基づく自律運転計画によって決定される、請求項１６に記載のシステム。
前記少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することが、前記少なくとも１つの交通参加者に関連付けられた前記少なくとも１つの将来の境界ボックスを復号するために、前記最終融合隠れ状態及び前記車両の前記将来の自己運動を将来の位置特定デコーダに入力することを含む、請求項１７に記載のシステム。
命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサを含むコンピュータによって実行されると、
車両の周囲環境の少なくとも１つの自己中心一人称視点画像を受信することと、
前記少なくとも１つの自己中心一人称視点画像内にキャプチャされた少なくとも１つの交通参加者に関連付けられた少なくとも１つの過去の境界ボックス軌道を符号化することであって、前記少なくとも１つの過去の境界ボックス軌道の符号化の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの交通参加者に関連付けられた前記自己中心一人称視点画像の密なオプティカルフローを符号化することであって、前記密なオプティカルフロー符号化の最終隠れ状態が出力される、符号化することと、
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態及び前記密なオプティカルフロー符号化の前記最終隠れ状態に基づいて、前記少なくとも１つの交通参加者に関連付けられた少なくとも１つの将来の境界ボックスを復号することと、
前記少なくとも１つの交通参加者に関連付けられた前記少なくとも１つの将来の境界ボックスに基づいて、自律的に運転されるように前記車両を制御することと、を含む方法を実行する、非一時的コンピュータ可読記憶媒体。
前記少なくとも１つの過去の境界ボックス軌道符号化の前記最終隠れ状態と、前記密なオプティカルフロー符号化の前記最終隠れ状態とを融合することを更に含み、最終融合隠れ状態が、特定の時間にゲート化された反復単位モデルの隠れ状態ベクトルとして出力される、請求項１９に記載の非一時的コンピュータ可読記憶媒体。